OPT-175B is vergelykbaar met GPT-3 terwyl dit slegs 1/7 van die koolstofvoetafdruk vereis

OPT: Open Pre-trained Transformer Language Models OPT: Open vooropleide Transformer Taalmodelle Die skrywers: Susan Zhang, Meta AI (susanz@fb.com) Stephen Roller, Meta AI (roller@fb.com) Naman Goyal, Meta AI (naman@fb.com) Mikel Artetxe, Meta AI Moya Chen, Meta AI Shuohui Chen, Meta AI Christopher Dewan, Meta AI Mona Diab, Meta AI Xian Li, Meta AI Xi Victoria Lin, Meta AI Todor Mihaylov, Meta AI Myle Ott, Meta AI Sam Shleifer, Meta AI Kurt Shuster, Meta AI Daniel Simig, Meta AI Punit Singh Koura, Meta AI Anjali Sridhar, Meta AI Tianlu Wang, Meta AI Luke Zettlemoyer, Meta AI Die skrywers: Susan Zhang, Meta AI (susanz@fb.com) Stephen Roller, Meta AI (roller@fb.com) Naman Goyal, Meta AI (naman@fb.com) Mikel Artetxe, Meta AI Moya Chen, Meta AI Shuohui Chen, Meta AI Christophe Dewan, Meta AI Mona Diab, Meta AI Xian Li, Meta AI Xi Victoria Lin, Meta AI Todor Mihaylov, Meta AI Myl Ott, Meta AI Sam Shleifer as Meta AI Kurt Shuster vir Meta AI Daniël Simig, Meta AI Punit Singh Koura, Meta AI Anjali Sridhar, Meta AI Tianlu Wang, Meta AI Luke Zettlemoyer vir Meta AI abstrakte Large language models, which are often trained for hundreds of thousands of compute days, have shown remarkable capabilities for zero- and few-shot learning. Given their computational cost, these models are difficult to replicate without significant capital. For the few that are available through APIs, no access is granted to the full model weights, making them difficult to study. We present Open Pre-trained Transformers (OPT), a suite of decoder-only pre-trained transformers ranging from 125M to 175B parameters, which we aim to fully and responsibly share with interested researchers. We show that OPT-175B is comparable to GPT-3,1 while requiring only 1/7th the carbon footprint to develop. We are also releasing our logbook detailing the infrastructure challenges we faced, along with code for experimenting with all of the released models. 1 Inleiding Grote taalmodelle (LLM's) wat op massiewe tekskolleksies opgelei is, het verrassende opkomende vermoëns getoon om teks te genereer en nul- en min-shot-leer uit te voer (Brown et al., 2020; Lieber et al., 2021; Smith et al., 2022; Rae et al., 2021; Chowdhery et al., 2022). Terwyl die publiek in sommige gevalle met hierdie modelle kan interaksie maak deur middel van betaalde APIs, is volle modeltoegang tans beperk tot slegs 'n paar hoogs hulpbronne laboratoriums.2 Hierdie beperkte toegang het die navorsers se vermoë beperk om te bestudeer hoe en waarom hierdie groot taalmodelle werk, wat vooruitgang in die verbetering van bekende uitdagings in gebiede soos robuustheid, vooroordeel en toksisiteit belemmer. In hierdie tegniese verslag bied ons Open Pretrained Transformers (OPT), 'n suite van dekoder-vooropleide transformers van 125M tot 175B-parameters, wat ons beoog om ten volle en verantwoordelik met belangstellende navorsers te deel. Ons train die OPT-modelle om ongeveer die prestasie en groottes van die GPT-3-klasse van modelle te pas, terwyl ons ook die nuutste beste praktyke in data-insameling en doeltreffende opleiding toepas. Ons doel in die ontwikkeling van hierdie suite van OPT-modelle is Definisies van risiko, skade, vooroordeel, en toksisiteit, ens., moet deur die kollektiewe navorsing gemeenskap as 'n geheel geartikuleer word, wat slegs moontlik is wanneer modelle beskikbaar is vir studie. Ons vrystel al ons modelle tussen 125M en 66B parameters, en sal volle navorsing toegang tot OPT-175B op verzoek verskaf. Toegang sal toegestaan word aan akademiese navorsers; diegene wat aangesloten is by organisasies in die regering, burgerlike samelewing, en akademiese instellings; en diegene in industriële navorsingslaboratories. Ons vrystel ook beide die logboek van ons model skep, sowel as ons kode basis, metaseq,3 wat die opleiding van OPT-175B op 992 80GB A100 GPU's, bereik 147 TFLOP / Van hierdie implementasie, en van die gebruik van die nuutste generasie NVIDIA-hardware, is ons in staat om OPT-175B te ontwikkel met slegs 1/7th van die koolstofvoetafdruk van GPT-3. Alhoewel dit 'n beduidende prestasie is, is die energie koste van die skep van so 'n model nog steeds nie-triviaal, en herhaalde pogings om 'n model van hierdie grootte te repliseer, sal slegs die groeiende rekenaarvoetafdruk van hierdie LLM's versterk. Ons glo dat die hele AI-gemeenskap - akademici, burgerlike samelewing, beleidsmakers en industrie - saam moet werk om duidelike riglyne rondom verantwoordelike AI in die algemeen en verantwoordelike LLM's in die besonder te ontwikkel, gegewe hul sentrale plek in baie 2 Methode 2.1 Die modelle Ons bied resultate op agt Transformer-taalmodelle wat wissel van 125 miljoen tot 175 miljard parameters.Architektiese besonderhede word in Tabel 1 getoon.In die belang van deursigtigheid, en om die risiko van opleiding instabiliteite te verminder, volg ons modelle en hiperparameters grotendeels Brown et al. (2020), met variasies in batchgrootte hoofsaaklik om verhoogde berekeningsdoeltreffendheid te verkry. 2.2 Instruksies vir die opleiding Vir gewigsinitialisering volg ons dieselfde instellings wat in die Megatron-LM-kodebasis verskaf word,4 met behulp van 'n normale verspreiding met nul gemiddelde en standaard afwyking van 0,006. Standaard afwyking vir uitlaatlae word skaleer deur 'n 1.0/ √ 2L term waar L die totale aantal lae is. Alle vooroordeel terme word inisialiseer as 0, en alle modelle word opgelei met ReLU aktivering en 'n reekslengte van 2048. Ons gebruik 'n AdamW optimizer (Loshchilov en Hutter, 2017) met (β1, β2) ingestel op (0.9, 0.95), en gewig verval van 0.1. Ons volg 'n lineêre leerperk skedule, opwarming van 0 tot die maksimum leerperk oor die eerste 2000 stappe in OPT-175B, of oor 375M tokens in ons kleiner baseline, en verval tot 10% van die maksimum LR oor 300B tokens. 'N aantal mid-vlug veranderinge aan LR is ook vereis (sien Afdeling 2.5). Ons batch groottes wissel van 0.5M tot 4M afhangende van die model grootte (sien Tabel 1) en word konstant gehou gedurende die hele opleiding. Ons gebruik 'n drop-out van 0,1 deur die hele tyd, maar ons toepas geen drop-out op embeddings nie. Ons klip gradient norme by 1.0, behalwe vir 'n paar midflight veranderinge wat hierdie drempel afneem van 1,0 na 0,3 (sien Afdeling 2.5). Ons sluit ook 'n gradient voorverdelingsfaktor in om die risiko van over/underflows te verminder wanneer die gradient oor alle rye bereken word (die verdeeldheid deur die wêreldgrootte van N in twee afdelingsoperasies deur √ N). 2.3 Vooropleiding Corpus Die pre-opleiding corpus bevat 'n verbintenis van dataset wat gebruik word in RoBERTa (Liu et al., 2019b), die Pile (Gao et al., 2021a) en PushShift.io Reddit (Baumgartner et al., 2020; Roller et al., 2021). Alle corpora is voorheen versamel of gefiltreer om hoofsaaklik Engelse teks te bevat, maar 'n klein hoeveelheid nie-Engelse data is nog steeds teenwoordig in die corpus via CommonCrawl. Ons het geduplikeerde dokumente oor al die datasets verwyder deur dokumente uit te filter via MinhashLSH (Rajaraman en Ullman, 2011) met 'n Jaccard-gelykheid ≥ .95. Ons het gevind dat die Pile beslis vol geduplike dokumente was, en adviseer toekom Ons het die BookCorpus (Zhu et al., 2015) en Stories (Trinh en Le, 2018) subset van die RoBERTa corpus ingesluit en 'n opgedateerde weergawe van CCNews gebruik, wat nuusverhale bevat wat tot 28 September 2021 gekraak is. RoBERTa Ons het 'n subset van die Pile (Gao et al., 2021a) ingesluit, insluitend: CommonCrawl, DM Mathematics, Project Gutenberg, HackerNews, OpenSubtitles, OpenWebText2, USPTO en Wikipedia. Ander subset van die Pile is geëlimineer, aangesien ons gevind het dat hulle die risiko van onstabiliteiteite verhoog, gemeten deur die neiging om spike in gradientnorme op die 1.3B-schaal te veroorsaak, of andersins ongepas. The Pile Ons het 'n subset van die Pushshift.io corpus ingesluit wat geproduseer is deur Baumgartner et al. (2020) en voorheen gebruik is deur Roller et al. (2021). Om die gespreksbome in taalmodel-toeganklike dokumente te omskep, het ons die langste ketting van kommentaar in elke draad geëxtraheer en al die ander paaie in die boom verwerp. PushShift.io Reddit 2.4 Effektiewe opleiding Ons het OPT-175B op 992 80GB A100 GPU's opgelei, met behulp van Fully Sharded Data Parallel (Artetxe et al., 2021) met Megatron-LM Tensor Parallelism (Shoeybi et al., 2019). Ons het die gebruik van tot 147 TFLOP/s per GPU gerapporteer. Ons hou Adam-toestand in FP32, aangesien ons dit oor alle gaste versprei, terwyl die modelgewigte in FP16 gebly het. 2.5 Opvoedkundige prosesse Hier beskryf ons beduidende aanpassings in die opleidingsproces wat tydens OPT-175B-vooropleiding ontstaan het. Ons het 'n beduidende aantal hardwaresukses in ons rekenaarkluster ondervind tydens die opleiding OPT-175B. In totaal het hardwaresukses bygedra tot ten minste 35 handmatige herstart en die fietsry van meer as 100 gaste in die loop van 2 maande. Tydens die handmatige herstart is die opleiding onderbroek en 'n reeks diagnostiese toetse uitgevoer om problematiese knooppunte op te spoor. Vlaggedrukte knooppunte is dan afgesny en opleiding is hervat van die laaste gered checkpoint. Gegewe die verskil tussen die aantal gaste wat uitgesny is en die aantal handmatige herstart, skat ons 70+ outomatiese herstart as gevolg van hardwareswakke. Hardware Failures Verlies divergensies was ook 'n probleem in ons opleiding loop. Toe die verlies divergeer, het ons gevind dat die verlaging van die leerperk en herstart van 'n vorige checkpoint toegelaat het vir die werk om te herstel en voort te oefen opleiding. Ons het 'n korrelasie waargeneem tussen verlies divergensies, ons dinamiese verlies skaal crashing na 0, en die l 2 -norm van die aktiverings van die finale laag spiking. Hierdie waarnemings het ons gelei tot die herstart van punte waarvoor ons dinamiese verlies skaal was nog in 'n "gesonde" toestand (≥ 1.0), en waarna ons aktivering norme sou neig af in plaas van onbeperkte groei. Ons empiriese LR skedule word in Figuur 1 getoon. Loss Divergences Ons het 'n aantal ander eksperimentele middelvlugveranderings uitgevoer om verliesverskille te hanteer.Hierdie sluit in: oorgang na vanille SGD (optimalisering plateaued vinnig, en ons het teruggekeer na AdamW); die herstel van die dinamiese verlies skalaar (dit het gehelp om sommige, maar nie al die divergensies te herstel); en die oorgang na 'n nuwer weergawe van Megatron (dit verminder die druk op aktiveringsnorme en verbeterde deurvoer). Other Mid-flight Changes 3 Beoordeling 3.1 Prompting en 'n paar foto's Ons evalueer ons model op 16 standaard NLP-takke wat in die literatuur gebruik word: HellaSwag (Zellers et al., 2019), StoryCloze (Mostafazadeh et al., 2016), PIQA (Bisk et al., 2020), ARC Easy and Challenge (Clark et al., 2018), OpenBookQA (Mihaylov et al., 2018), WinoGrad (Levesque et al., 2011), WinoGrande (Sakaguchi et al., 2020), en SuperGLUE (Wang et al., 2019). Ons volg GPT-3 (Brown et al., 2020) deur hul oproepe en algehele eksperimentele instelling te gebruik. Ons vergelyk hoofsaaklik met GPT-3, wat daarop gemik is om hul evaluering taakinstellings te re-implementeer, maar sluit die prestasie van Algehele waarskynlikheid rondom die gemiddelde nul-shoot prestasie oor alle 14 take kan gesien word in Figuur 3. Algehele, ons sien ons gemiddelde prestasie volg die trend van GPT-3. Maar, prestasie kan radikaal verskil oor die take: vir 'n volledige afbraak, sien Aanhangsel A. Let op dat ons opsetlik verwyder MultiRC en WIC van hierdie gemiddelde, aangesien hierdie datasets lyk stelselmatig bevorder GPT-3 of OPT onproporsioneel. Ons prestasie ongeveer ooreenstem GPT-3 vir 10 take, en onderprent in 3 take (ARC Challenge en MultiRC). In 3 take (CB, BoolQ, OPSC), sien ons beide GPT en OPT modelle toon onvoorspelbare gedrag met betrekking tot skaal waarskynlik, as Zero-shot Chinchilla (Hoffmann et al., 2022) en Gopher (Rae et al., 2021) prestasie ongeveer konsekwent met ander vir hul parameter groottes, terwyl PaLM (Chowdhery et al., 2022) oor die algemeen beter in alle instellings, selfs wanneer beheer vir aantal parameters. Die gemiddelde multi-shot-incontext-prestasie word in Figuur 4 getoon (weer om MultiRC en WIC te verwyder), met gedetailleerde prestasies wat in Aanhangsel A getoon word. Oor die gemiddelde van alle metrikes, vind ons dat OPT-modelle op soortgelyke wyse optree as GPT-3-modelle. Maar, soos met zeroshot, verbreek hierdie resultate per taak 'n ander storie: in dieselfde stel van 10 datasette as nul-shot, sien ons soortgelyke prestasies oor die twee modelle. Sommige van die oorblywende datasette toon inkonsistente prestasie met betrekking tot modelgrootte vir beide OPT- en GPT-3-modelle (BoolQ, CB, WSC, RTE). In MultiRC One-shot and Few-shot 3.2 Dialoog Aangesien LLM's bekend is dat hulle 'n integrale komponent van moderne dialoogmodelle is (Adiwardana et al., 2020; Roller et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Chowdhery et al., 2022), evalueer ons OPT-175B byvoorbeeld op verskeie open source dialoogdatasette. In die besonder volg ons Roller et al. (2021), en evalueer ons op ConvAI2 (Dinan et al., 2020b), Wizard of Wikipedia (Dinan et al., 2019b), Empatic Dialogues (Rashkin et al., 2019), en Blended Skill Talk (Smith et al., 2020). Ons evalueer ook op die nuutste Wizard of Internet datasets (Kiliome et al., 2021). Ons fokus ons Ons vergelyk ook met die goed aangepaste R2C2 BlenderBot, 'n 2.7B-parameters BlenderBot-agtige model wat deur Shuster et al. getraind is (2022). Ons rapporteer Perplexity en Unigram F1 (UF1) oorlap, na die metrikes van die ConvAI2 kompetisie (Dinan et al., 2020b). Om te beheer vir verskillende tokenisasie in elkeen van die modelle, normaliseer ons al die perplexities om in die ruimte van die GPT-2 tokenizer te wees (Radford et al., 2019). Ons let ook op watter modelle beheer word met betrekking tot hierdie dialoog take en wat nie beheer word nie. Vir OPT-175B, word alle geslagte uitgevoer met behulp van gretige dekodering tot 'n maksimum Die resultate word in Tabel 2 getoon.Ons sien dat OPT-175B die ookonbeheerde Reddit 2.7B-model aansienlik oorskry op alle take en mededingend met die ten volle bewakte BlenderBot 1-model, veral in die ConvAI2-dataset.Op die Wizard-of-Internet-dataset, wat ten volle onbeheerd is vir alle modelle, sien ons dat OPT-175B die laagste verwarring verkry, maar nog steeds laer UF1 het as die modelle met Wizard-of-Wikipedia-oorsig. Ons was 'n bietjie verbaas dat die evaluerings van die onbeheerde OPT-175B model so mededingend was as BlenderBot 1 op die ConvAI2-dataset. Dit kan dui op lekkage van die ConvAI2-dataset in die algemene vooropleidingskorpus of selfs in die valideringsdata soos in Tabel 2 geëvalueer is. Om bekommernisse van lekkage aan te spreek, het ons ons vooropleidingskorpus vir die eerste gesprek in die ConvAI2-dataset gesoek, maar ons het geen oorlapping gevind nie. Ons het OPT-175B bykomend geëvalueer op die ConvAI2 verborge toets, wat nooit openbaar vrygestel is nie, en het 10.7 ppl en .185 UF1 bereik, wat ooreenstem met die prest 4 Bias en toksisiteitsbeoordeling Om die potensiële skade van OPT-175B te verstaan, evalueer ons 'n reeks benchmarks wat verband hou met haatspraakdeteksie, stereotipesbewustheid en giftige inhoudsopwekking. Alhoewel daar tekortkominge in hierdie benchmarks kan wees (Blodgett et al., 2021; Jacobs en Wallach, 2021), bied hierdie metings 'n eerste stap na die begrip van die beperkings van OPT-175B. Ons vergelyk hoofsaaklik met GPT-3 Davinci, aangesien hierdie benchmarks nog nie beskikbaar was om in Brown et al. (2020) opgenome te word nie. 4.1 Hate speech opsporing Met behulp van die ETHOS-dataset wat in Mollas et al. (2020) verskaf word en deur Chiu en Alexander (2021), meet ons die vermoë van OPT-175B om te identifiseer of sekere Engelse verklarings rassisties of seksisties is (of nie). In die nul-, een-, en min-skot binêre gevalle word die model met teks aangebied en gevra om te oorweeg of die teks rassisties of seksisties is en 'n ja/nee antwoord te gee. Die resultate word in Tabel 3 gepresenteer.Met al ons een-skot-tot-lae-skot-konfigurasies, OPT175B prestasie beduidend beter as Davinci.Ons spekuleer dit gebeur uit twee bronne: (1) evaluering via die Davinci API kan bring in veiligheidsbeheer meganismes buite die oorspronklike 175B GPT-3 model wat gebruik word in Brown et al. (2020); en (2) die beduidende teenwoordigheid van ongemodereerde sosiale media besprekings in die vooropleiding dataset het bykomende induktiewe vooroordele om te help in sulke klassifikasie take. 4.2 Crows-paars CrowSPairs (Nangia et al., 2020) is 'n crowdsourced benchmark wat daarop gemik is om intrasentensie vlak vooroordeel te meet in 9 kategorieë: geslag, godsdiens, ras / kleur, seksuele oriëntasie, ouderdom, nationaliteit, gehandicap, fisiese voorkoms, en sosio-ekonomiese status. Elke voorbeeld bestaan uit 'n paar frases wat 'n stereotipe, of anti-stereotipe, verteenwoordig, met betrekking tot 'n spesifieke groep, met die doel om model voorkeur te meet teen stereotipiese uitdrukkings. As dit vergelyk word met Davinci in Tabel 4, blyk OPT175B meer stereotipiese vooroordele in byna alle kategorieë behalwe godsdiens te wys. Nogmaals, dit is waarskynlik as gevolg van verskille in opleiding data; Nangia et al. (2020) het getoon dat Pushshift.io Reddit corpus het 'n hoër voorkomsgraad vir stereotipes en diskriminerende teks as ander corpora (bv Wikipedia). Aangesien dit 'n primêre databronne vir OPT-175B is, kan die model meer diskriminerende assosiasies geleer het, wat sy prestasie direk beïnvloed op CrowS-pairs. 4.3 Stereotipe Na Lieber et al. (2021) en Artetxe et al. (2021), gebruik ons StereoSet (Nadeem et al., 2021) om stereotipiese vooroordeel oor 4 kategorieë te meet: beroep, geslag, godsdiens en ras. Benewens intrasentensie-meting (soortgelyk aan CrowSPairs), bevat StereoSet meting op intersentensie-vlak om 'n model se vermoë om bykomende konteks in te sluit te toets. Language Modeling Score (LMS) en Stereotype Score (SS), wat dan gekombineer word om die Idealized Context Association Test Score (ICAT) te vorm. In teenstelling met Lieber et al. (2021), normaliseer ons punte deur token getal, eerder as karakter getal, wat hulle rapporteer verbeter metrikes vir verskeie modelle. Resultate word in Tabel 5 getoon. Ons sien dat Davinci en OPT-175B soortgelyke punte op geaggregeer toon (in die algemeen is ICAT baie naby tussen die twee). In die besonder, Davinci verteenwoordig in die gebiede van beroep en ras, terwyl OPT-175B verteenwoordig in die gebiede van geslag en godsdiens. OPT175B verteenwoordig beter oor die bord op die SS-met 4.4 RealToxicityPrompts Ons evalueer die spesifieke neiging van OPT-175B om met giftige taal te reageer via die RealToxicityPrompts (Gehman et al., 2020) dataset. Na hierdie PaLM (Chowdhery et al., 2022), ons monster 25 geslagte van 20 tokens met behulp van kernmonstering (Holtzman et al., 2020) (p = 0.9) vir elkeen van die 10 000 ewekansige monster prompts van RTP, en rapporteer gemiddelde giftigheid waarskynlikheid van die vervolgings, geslagte oor bucket giftighede van die oorspronklike prompts. Vir vergelyking, ons rapporteer bucketed giftigheid tariewe van Davinci en PaLM. Resultate word getoon in Figuur 5. Algehele, ons sien dat 4.5 Dialoog veiligheidsbeoordelings Ten slotte vergelyk ons OPT-175B op twee Dialoog Veiligheidsbeoordelings. Die eerste, SaferDialogues (Ung et al., 2021), meet die vermoë om te herstel van uitdruklike sekuriteit mislukkings, gewoonlik in die vorm van verskoning of erkenning van sy fout. Die tweede, die Veiligheidsbench Unit Tests (Dinan et al., 2021), meet hoe onveilig 'n model se reaksie is, geslagteer oor 4 vlakke van onderwerp sensitiwiteit: Veilig, Realisties, Onveilig en Adversariaal. Soos met die ander dialoogbeoordelings (Seksie 3.2), vergelyk ons met verskeie bestaande oopbron dialoogmodelle. Resultate vir beide eksperimente word in Tabel 6 getoon. Ons sien dat OPT-175 5 Beperkings In afdelings 3.1 en 4 het ons 'n uitgebreide evaluering van alle vrygestelde modelle op verskillende skaal uitgevoer. Ons het pariteit in prestasie gesien vir die standaard evalueringsdatasets wat in die GPT-3-modelle gebruik word. Verder het ons veiligheid, vooroordeel en insluiting evaluerings uitgevoer, wat weer grootliks vergelykbare prestasie sien met sommige variasies in toksisiteit en haatspraakdeteksie. Maar sulke evaluerings kan nie ten volle die volledige beperkings van hierdie modelle kenmerk nie. In die algemeen sien ons dat OPT-175B kwalitatief ly aan dieselfde beperkings wat in ander LLM's (Brown et al., 2020; Lieber et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Smith et al., 2022; Aanmoediging met sulke instruksies is geneig om 'n simulasie van 'n dialoog te produseer wat met so 'n instruksie begin, eerder as 'n uitvoering van die instruksies. Toekomstige werk in instruksies leer, in die oë van InstructGPT (Ouyang et al., 2022), kan hierdie beperkings verlig. OPT-175B is ook geneig om herhalend te wees en kan maklik in 'n loop vasgesteek word. Terwyl sampling die voorkomsgraad van herhalende gedrag kan verminder (Holtzman et al., 2020), het ons anekdotiek gevind dat dit dit nie heeltemal verwyder het wanneer slegs een generasie sampling word nie. Toekomstige werk kan meer moderne strategieë insluit om herhaling te verminder en diversiteit te verbeter, soos onwaar Soos ander LLMs, kan OPT-175B feitelik onjuiste verklarings produseer (Adiwardana et al., 2020; Brown et al., 2020; Roller et al., 2021; Rae et al., 2021; Chowdhery et al., 2022; Thoppilan et al., 2022). Dit kan veral skadelike wees in toepassings waar inligting akkuraatheid kritiek is, soos gesondheidsorg en wetenskaplike ontdekking (Weidinger et al., 2022b). Onlangs het verskeie pogings gerapporteer dat opname-verhoogde modelle die feitelike korrekheid van LLMs kan verbeter (Lewis et al., 2020; Komeili et al., 2021; Thoppilan et al., 2022; Borgeaud et al., 2021; Shuster et al., 2022; Nakano et al., 2021). Ons glo Daar is baie werk gedoen oor die vermindering van toksisiteit en vooroordele (Dathathri et al., 2019; Dinan et al., 2019a; Sheng et al., 2019; Dinan et al., 2020a; Liu et al., 2019a; Krause et al., 2020; Xu et al., 2020; Liang et al., 2021; Dinan et al., 2021a; Xu et al., 2021a; Dhamala et al., 2021a; Schick et al., 2021; Ouyang et al., 2022). Afhangende van downstream-toepassings, kan toekomstige gebruik van OPT-175B hierdie of nuwe verminderingsbenaderings benodig, veral voor enige werklike wêreld-uitbreiding. Gegewe ons primêre doel as 'n replik van GPT-3, kies ons om hierdie verminderings nie in hierdie eerste vrylating toe te pas Ten spyte van die insluiting van data sheets en modelkaarte, glo ons dat meer ondersoek moet word aan die opleiding data met bykomende data karakterisering en seleksie kriteria om data verantwoordelik te gebruik. Die huidige praktyk is om die model te voed met soveel data as moontlik en minimale seleksie binne hierdie datasets. Ten spyte van omvattende evaluerings, sou ons ideaal meer gestroomlijnde en konsekwente evaluering opsetings te verseker replikasie en herhaalbaarheid van evaluering scenario's. Verskille in aanmoediging styl en aantal skotte vir in-kontekst leer kan variasies skep wat lei tot verskillende resultate. Ons hoop dat die openbare vrylating van die OPT modelle sal baie meer navorsers in staat stel om te werk op hierdie belangrike kwessies. 6 Beoordeling van die vrylating In ooreenstemming met die aanbevelings vir individuele navorsers gegenereer deur die Partnership for AI,7 saam met die bestuur riglyne uiteengesit deur NIST,8 ons openbaar al die besonderhede wat betrokke is by die opleiding OPT-175B deur middel van ons logboek,9 ons kode, en bied navorsers toegang tot model gewigte vir OPT-175B, saam met 'n suite van kleiner baseline weerspieël die instelling vir OPT175B. Ons streef na om ten volle verantwoordelik te wees vir die ontwikkelingslewe siklus van OPT-175B, en slegs deur toenemende deursigtigheid rondom LLM-ontwikkeling kan ons die beperkings en risiko's van LLM's begin verstaan voordat breër invoering plaasvind. Deur 'n gedetailleerde verslag van ons daaglikse opleidingsproces te deel, openbaar ons nie net hoeveel rekenaar gebruik is om die huidige weergawe van OPT-175B te oefen nie, maar ook die menslike oorhead wat benodig word wanneer die onderliggende infrastruktuur of die opleidingsproces self onstabiel word op skaal. Hierdie besonderhede word oor die algemeen verlaat uit vorige publikasies, waarskynlik as gevolg van die onmoontlikheid om veranderinge wat in die middel van die vlug gemaak is, ten volle Buite hierdie aantekeninge is die metaseq-kodebasis self die uiteindelike bron van waarheid in baie van ons implementeringsdetails.Met die vrylating van ons ontwikkelingskodebasis is ons daarop gemik om lig te werp op enige implementeringsdetail wat uitdruklik in hierdie papier opgeneem kan word, aangesien dit óf as 'n detail van standaardpraktyk in die veld beskou word, óf dit is bloot 'n detail wat ons misluk het om te verduidelik. Om eksperimente op 175B-schaal te toelaat, bied ons navorsers direkte toegang tot die parameters van OPT-175B. Die rede hier is tweevoudig: verantwoordelike AI-navorsing in LLMs toelaat terwyl die omgewingsimpak van navorsing op hierdie skaal verminder word. Daar is 'n groeiende werk wat die etiese en sosiale risiko's van die invoering van taalmodelle met opkomende vermoëns op die skaal gedetailleer (Weidinger et al., 2021a; Bommasani et al., 2021; Dinan et al., 2021; Kenton et al., 2021). Deur die toegang tot OPT-175B aan die navorsing gemeenskap met 'n nie-kommersiële lisensie te beperk, streef ons na die ontwikkeling van pogings om die beperkings van die LLMs eerste Daarbenewens is daar aansienlike berekenings- en koolstof koste om modelle van hierdie grootte te reproduseer. Terwyl OPT-175B ontwikkel is met 'n geraamde koolstofvoetafdruk (CO2eq) van 75 ton,10 GPT-3 is geraamd om 500 ton te gebruik (Patterson et al., 2021), terwyl Gopher 380 ton nodig het (Rae et al., 2021). Hierdie ramings word nie universeel gerapporteer nie, en die boekhoudmethodologie vir hierdie berekenings word ook nie gestandaardiseer nie. Daarbenewens is modelopleiding slegs een komponent van die algehele koolstofvoetafdruk van AI-stelselsels; ons moet ook eksperimente en uiteindelike afleidingskoste oorweeg, wat alles bydra tot die groeiende energievoetafdruk van die skep van groot Deur die vrylating van ons logboek, hoop ons om die gaping tussen 'n teoretiese koolstofkosteskatting wat geen hardeware mislukkings of opleidingstabiliteit veronderstel nie, te beklemtoon, teenoor een wat die hele lewenscyklus van die LLM-ontwikkeling wil insluit. Ons moet die vervaardiging (of belichaamde) koolstof van hierdie stelsels (Gupta et al., 2021) verstaan, aangesien hulle toenemend kompleks word, en ons hoop dat ons papier toekomstige werk kan help om bykomende faktore te definieer om te oorweeg wanneer die impak van skaal op die omgewing meet. Net so, deur 'n stel baseline op 'n wye verskeidenheid skaal te produseer, hoop ons om die breër navorsingsgemeenskap in staat te stel om die impak en beperkings van hierdie modelle met betrekking tot skaal alleen te bestudeer. Soos in Hoffmann et al. (2022) gerapporteer, is baie van hierdie LLM's miskien onderoplei as 'n funksie van die hoeveelheid opleiding data wat gebruik word, wat impliseer dat die insluiting van meer data en die voortdurende opleiding van hierdie baseline modelle die prestasie kan verbeter. Daar is ook bewyse dat stap-funksie veranderinge in vermoëns kan plaasvind op 'n skaal wat baie kleiner is as 175B (Wei et al., 2021), wat daarop dui dat 'n breër verskeidenheid skaal vir verskillende nav 7 Gerelateerde werk Sedert die publikasie van die Transformer-argitektuur (Vaswani et al., 2017) en BERT (Devlin et al., 2019), het die veld van NLP 'n massiewe verskuiwing in die rigting van die gebruik van LLMs met selfbeheerde vooropleiding ervaar. Multiple gemaskeerde langauge modelle, insluitend T5 (Raffel et al., 2020) en MegatronLM (Shoeybi et al., 2019), het konsekwente verbeterings deur middel van skaal getoon. Hierdie skaalvoordele kom nie net uit die toename van die totale aantal parameters in die modelle nie, maar ook die hoeveelheid en gehalte van vooropleiding data (Liu et al., 2019b; Hoffmann et al., 2022). Auto-regressiewe taalmodelle (Mikolov et al., 2009) het die Die resulterende massiewe verbetering in generatiewe vloeiendheid en gehalte is eers gekenmerk in GPT-2 (Radford et al., 2019) en verder verbeter met GPT-3 (Brown et al., 2020) en latere modelle. Alhoewel 'n verskeidenheid baie groot (meer as 100B parameters) generatiewe modelle nou opgelei is (Lieber et al., 2021; Rae et al., 2021; Thoppilan et al., 2022; Smith et al., 2022; Chowdhery et al., 2022), is hulle almal gesluit bron en toeganklik slegs intern of via betaalde API-dienste. Daar is 'n paar merkwaardige pogings om open-sourcing LLMs van nie-winswese navorsingsorganisasies insluitende EleutherAI (Black et al., 2022) en BigSci Hierdie modelle verskil van die OPT modelle in pre-opleiding data, doeltaal en model skaal, wat die gemeenskap in staat stel om verskillende pre-opleiding strategieë te vergelyk. Sedert Brown et al. (2020), het die primêre evalueringscriterium vir LLMs 'n spoedgebaseerde (Black et al., 2022; Rae et al., 2021; Chowdhery et al., 2022), soos ook uitgevoer in hierdie artikel. Dit is hoofsaaklik te danke aan die gerief van die evaluering op baie take sonder spesialiseerde taak-spesifieke fine-tuning. Prompting self het 'n lang geskiedenis: cloze evaluerings gaan terug vir 'n paar dekades (Chambers en Jurafsky, 2008; Mostafazadeh et al., 2016). Meer onlangs is prompting of Effektiewe prompt-ingenieurswese bly egter 'n oop navorsingsuitdaging. Resultate wissel aansienlik en onvoorspelbaar met die keuse van die prompt (Lu et al., 2021), en modelle lyk nie die prompts so ten volle te verstaan soos ons verwag nie (Webson en Pavlick, 2021). Verder is dit uitdagend om prompts te skryf sonder 'n ontwikkelingsset, wat lei tot vrae oor die mate waarin ons eintlik nul- of min-shoot-lering in die praktyk bereik (Perez et al., 2021). Ons probeer nie hierdie bekommernisse van prompting aan te spreek nie, en in plaas daarvan streef ons slegs na die evaluering van OPT-175B in bestaande instellings. 8 Konklusie In hierdie tegniese verslag het ons OPT, 'n versameling van self-regressiewe taalmodelle wat van 125M tot 175B-parameters bedryf, geïntroduceer. Ons doel was om die prestasie en groottes van die GPT-3-klasse van modelle te herhaal, terwyl ons ook die nuutste beste praktyke in data curation en opleiding doeltreffendheid toepas. Ons beskryf opleiding besonderhede, geëvalueer prestasie in 'n aantal NLP en dialoog instellings, en gekenmerk gedrag met betrekking tot vooroordeel, toksisiteit en haatspraak. Ons het ook beskryf baie ander beperkings wat die modelle het, en bespreek 'n wye stel oorwegings vir die verantwoordelike vrylating van die modelle. Ons glo dat die hele AI gemeenskap erkennings Ons wil Scott Jeschonek, Giri Anantharaman, Diego Sarina, Joaquin Colombo, Chris Bray, Stephen Roylance, Kalyan Saladi, Shubho Sengupta en Brian O’Horo bedank vir die hulp om infrastruktuurblokkers langs die pad te verwyder; Percy Liang, Rishi Bommasani, en Emily Dinan vir besprekings oor verantwoordelike vrylatingspraktyke; Carole-Jean Wu vir besprekings oor volhoubaarheid en koolstofvoetafdruk oorwegings; Srini Iyer, Ramakanth Pasunuru en Shruti Bhosale vir vorige bydraes tot evaluerings; Benjamin Lefaudeux, Geeta Chauhan, Natalia Gimelshein, Horace, en Sam Gross vir besprekings oor prestasieverbetering werk; Emily Dinan, Car Verwysings Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. 2020. Naar 'n menslike open domein chatbot. arXiv voordruk arXiv:2001.09977. Mikel Artetxe, Shruti Bhosale, Naman Goyal, Todor Mihaylov, Myle Ott, Sam Shleifer, Xi Victoria Lin, Jingfei Du, Srinivasan Iyer, Ramakanth Pasunuru, Giri Anantharaman, Xian Li, Shuohui Chen, Halil Akin, Mandeep Baines, Louis Martin, Xing Zhou, Punit Singh Koura, Brian O’Horo, Jeff Wang, Luke Zettlemoyer, Mona T. Diab, Zornitsa Kozareva, en Ves Stoyanov. Jason Baumgartner, Savvas Zannettou, Brian Keegan, Megan Squire, en Jeremy Blackburn. 2020. Die pushshift reddit dataset. CoRR, abs/2001.08435. Emily M Bender, Timnit Gebru, Angelina McMillanMajor, en Shmargaret Shmitchell. 2021. Oor die gevare van stokastiese papegaai: Kan taalmodelle te groot wees? Yonatan Bisk, Rowan Zellers, Ronan Le bras, Jianfeng Gao en Yejin Choi. 2020. Piqa: Refleksie oor fisiese gemeenskaplike verstand in natuurlike taal. Procedures van die AAAI-konferensie oor kunsmatige intelligensie, 34(05):7432–7439. Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, Michael Pieler, USVSN Sai Prashanth, Shivanshu Purohit, Laria Reynolds, Jonathan Tow, Ben Wang, en Samuel Weinbach. 2022. Gpt-neox-20b: 'n open-source autoregressiewe taalmodel. Su Lin Blodgett, Gilsinia Lopez, Alexandra Olteanu, Robert Sim, en Hanna Wallach. 2021. Stereotyping van Noorse lawaai: 'n inventaris van val in regverdigheid benchmark dataset. In Procedures van die 59ste Jaarvergadering van die Vereniging vir Computational Linguistics en die 11de Internasionale Joint Conference on Natural Language Processing (Volume 1: Long Papers), bladsye 1004-1015, Online. Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch, Dallas Card, Rodrigo Castellon, Niladri Chatterji, Annie S. Chen, Kathleen Creel, Jared Quincy Davis, Noah D. Goodman, Shelby Demszky, Chris Donahue, Moussa Doumbouya, Esin Durmus, Stefano Ermon, John Etchemendy, Kawin Ethayarajh, Li FeiFei, Chelsea Finn, Trevor Gale, Lauren Gespillie, Karan Goel, Noah D. Goodman, Shelby Grossman, Neel Guha, Tatsun Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George van den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. 2021. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel HerbertVoss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, en Dario Amodei. 2020. Taalmodelle is 'n paar geleerdes. In Advances in Neural Information Processing Systems, volume 33, bladsye 1877-1901. Curran Associates, Inc. Nathanael Chambers en Dan Jurafsky. 2008. Onbeheerde leer van verhalende gebeurtenisketens. In Proceedings of ACL-08: HLT, bladsye 789–797, Columbus, Ohio. Vereniging vir Computational Linguistics. Ke-Li Chiu en Rohan Alexander. 2021. Hate speech met gpt-3. arXiv voordruk arXiv:2103.12407. Aakanksha Diawon Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Ghemawat, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sun Devipa, Henryk Michalewski, Xavier Garcia, Vedantra Misra, Kevin Robinson, Liam Fedus, Jason Zhou, Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, en Oyvind Tafjord. 2018. Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, en Rosanne Liu. 2019. Plug and play taalmodelle: 'n eenvoudige benadering tot beheerde teksgenerasie. arXiv voordruk arXiv:1912.02164. Jacob Devlin, Ming-Wei Chang, Kenton Lee, en Kristina Toutanova. 2019. BERT: Vooropleiding van diep twee-reeks transformateurs vir taalbegrip. In die Noord-Amerikaanse Vereniging vir Computational Linguistics (NAACL). Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang, en Rahul Gupta. 2021. Begeer: Dataset en metrikes vir die meet van vooroordele in open-end taalgenerasie. Emily Dinan, Gavin Abercrombie, A Stevie Bergman, Shannon Spruit, Dirk Hovy, Y-Lan Boureau, en Verena Rieser. 2021. Veiligheidsprobleme in e2e gespreksaiers: raamwerk en gereedskap. arXiv voordruk arXiv:2107.03451. Emily Dinan, Angela Fan, Adina Williams, Jack Urbanek, Douwe Kiela en Jason Weston. 2020a. Konings is ook kragtig: Genderbias in dialooggenerasie verminder. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), bladsye 8173–8188, Online. Vereniging vir Computational Linguistics. Emily Dinan, Samuel Humeau, Bharath Chintagunta, en Jason Weston. 2019a. Bouw dit breek dit regmaak dit vir dialoog veiligheid: Robustheid van teenstanderlike menslike aanval. arXiv voordruk arXiv:1908.06083. Emily Dinan, Varvara Logacheva, Valentin Malykh, Alexander Miller, Kurt Shuster, Jack Urbanek, Douwe Kiela, Arthur Szlam, Iulian Serban, Ryan Lowe, Shrimai Prabhumoye, Alan W. Black, Alexander Rudnicky, Jason Williams, Joelle Pineau, Mikhail Burtsev, en Jason Weston. Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, en Jason Weston. 2019b. Wizard of Wikipedia: Wetenskapsbestuurde gespreksagente. In Proceedings of the International Conference on Learning Representations. Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, en Connor Leahy. 2021a. Die stapel: 'n 800gb dataset van verskillende teks vir taalmodelleer. CoRR, abs/2101.00027. Tianyu Gao, Adam Fisch, en Danqi Chen. 2021b. Om vooropleide taalmodelle beter te maak.In Procedures van die 59ste Jaarvergadering van die Vereniging vir Computational Linguistics en die 11de Internasionale Joint Conference on Natural Language Processing, ACL/IJCNLP 2021, (Volume 1: Long Papers), Virtual Event, Augustus 1-6, 2021, bladsye 3816-3830. Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, en Kate Crawford. 2021. Datasets vir datasette. Gemeenskaplike ACM, 64(12):86–92. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi, en Noah A. Smith. 2020. RealToxicityPrompts: Beoordeling van neurale giftige degenerasie in taalmodelle. In bevindings van die Vereniging vir Computational Linguistics: EMNLP 2020, bladsye 3356-3369, Online. Vereniging vir Computational Linguistics. Udit Gupta, Young Geun Kim, Sylvia Lee, Jordan Tse, Hsien-Hsin S Lee, Gu-Yeon Wei, David Brooks, en Carole-Jean Wu. 2021. Kaiming He, Xiangyu Zhang, Shaoqing Ren, en Jian Sun. 2016. Diepe residuele leer vir beeldherkenning. In Proceedings of the IEEE conference on computer vision and pattern recognition, bladsye 770–778. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals en Laurent Sifre. Ari Holtzman, Jan Buys, Maxwell Forbes, en Yejin Choi. 2020. Die vreemde geval van neurale teks degenerasie. ArXiv, abs/1904.09751. Abigail Z. Jacobs en Hanna Wallach. 2021. Meeting and fairness. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, FAccT ’21, bladsy 375–385, New York, NY, USA. Zachary Kenton, Tom Everitt, Laura Weidinger, Iason Gabriel, Vladimir Mikulik, en Geoffrey Irving. 2021. Mojtaba Komeili, Kurt Shuster, en Jason Weston. 2021. Internet-vergroot dialoog generasie. CoRR, abs/2107.07566. Ben Krause, Akhilesh Deepak Gotmare, Bryan McCann, Nitish Shirish Keskar, Shafiq Joty, Richard Socher, en Nazneen Fatema Rajani. 2020. Brian Lester, Rami Al-Rfou, en Noah Constant. 2021. Die krag van skaal vir parameter-effektiewe prompt tuning. CoRR, abs/2104.08691. Hector J Levesque, Ernest Davis, en Leora Morgenstern. 2011. Die Winograd skema uitdaging. in AAAI Spring Symposium: Logiese Formalisering van Commonsense Reasoning, volume 46, bladsy 47. Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. 2020. Retrieval-verhoogde generasie vir kennis-intensiewe nlp-takke. Vooruitgang in Neurale Informasie Verwerkingsstelsels, 33:9459–9474. Xiang Lisa Li en Percy Liang. 2021. Prefix-Tuning: Optimalisering van Kontinue Prompts vir Generasie. bladsye 4582–4597. Paul Pu Liang, Chiyu Wu, Louis-Philippe Morency, en Ruslan Salakhutdinov. 2021. Na die begrip en vermindering van sosiale vooroordeel in taalmodelle. Opher Lieber, Or Sharir, Barak Lenz, en Yoav Shoham. 2021. Jurassic-1: Tegniese besonderhede en evaluering. Tegniese verslag, AI21 Labs. Haochen Liu, Jamell Dacon, Wenqi Fan, Hui Liu, Zitao Liu en Jiliang Tang. 2019a. Is geslag belangrik? vir regverdigheid in dialoogstelsels. arXiv voordruk arXiv:1910.10486. Haokun Liu, William Huang, Dhara Mungra en Samuel R. Bowman. 2020. Akkurate taakformalisering is belangrik in Winograd-skema-evaluasies. In Procedures of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), bladsye 8275-8280, Online. Vereniging vir Computational Linguistics. Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan, Lawrence Carin, en Weizhu Chen. 2021. Wat maak goeie voorbeelde in konteks vir gpt-3? Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer en Veselin Stoyanov. 2019b. Roberta: 'n sterk geoptimaliseerde vooropleidingsaanpak. arXiv voordruk arXiv:1907.11692. Ilya Loshchilov en Frank Hutter. 2017. Fixing gewig verval regulasie in adam. CoRR, abs/1711.05101. Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, en Pontus Stenetorp. 2021. Fantasties bestel prompts en waar om hulle te vind: Oorkom die sensitiwiteit van 'n paar-shoot prompts bestelling. Clara Meister, Tim Vieira, en Ryan Cotterell. 2020 Beste eerste stral soek. Transaksie van die Vereniging vir Computational Linguistics, 8:795–809. Paulius Micikevicius, Sharan Narang, Jonah Alben, Gregory Diamos, Erich Elsen, David Garcia, Boris Ginsburg, Michael Houston, Oleksii Kuchaiev, Ganesh Venkatesh, et al. 2017. Gemengde presisie opleiding. arXiv voordruk arXiv:1710.03740. Todor Mihaylov, Peter Clark, Tushar Khot, en Ashish Sabharwal. 2018. Kan 'n wapenrusting elektrisiteit lei? 'n nuwe dataset vir die antwoord op 'n open boekvraag. CoRR, abs/1809.02789. Tomas Mikolov, Jiri Kopecky, Lukas Burget, Ondrej Glembek, et al. 2009. Neurale netwerkgebaseerde taalmodelle vir hoogs inflektiewe tale. In 2009 IEEE internasionale konferensie oor akustiek, spraak en signaalverwerking, bladsye 4725-4728. IEEE. Sewon Min, Mike Lewis, Luke Zettlemoyer en Hannaneh Hajishirzi. 2021. Metaicl: Leer om in konteks te leer. Sewon Min, Xinxi Lyu, Ari Holtzman, Mikel Artetxe, Mike Lewis, Hannaneh Hajishirzi, en Luke Zettlemoyer. 2022. Die rol van demonstrasie herdenk: Wat maak in konteks leer werk? arXiv voordruk arXiv:2202.12837. Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, en Timnit Gebru. 2018. Modelkaarte vir modelverslaglegging. CoRR, abs/1810.03993. Ioannis Mollas, Zoe Chrysopoulou, Stamatis Karlos, en Grigorios Tsoumakas. 2020. ETHOS: 'n aanlyn-dataset vir haatspraakdeteksie. CoRR, abs/2006.08328. Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, en James F. Allen. 2016. 'n Corpus en evalueringsraamwerk vir dieper begrip van gesamentlike stories. CoRR, abs/1604.01696. Moin Nadeem, Anna Bethke, en Siva Reddy. 2021. StereoSet: Die meet van stereotipiese vooroordele in vooropleide taalmodelle. Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, et al. 2021. Nikita Nangia, Clara Vania, Rasika Bhalerao en Samuel R Bowman. 2020. Crows-pairs: 'n uitdaging dataset vir die meet van sosiale vooroordele in maskerde taalmodelle. arXiv voordruk arXiv:2010.00133. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese en Caiming Xiong. Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. 2022. David Patterson, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, en Jeff Dean. 2021. koolstofuitstoot en groot neurale netwerk opleiding. arXiv voordruk arXiv:2104.10350. Ethan Perez, Douwe Kiela, en Kyunghyun Cho. 2021. Ware paar-shot leer met taal modelle. Vooruitgang in Neurale Informasie Verwerkingsstelsels, 34. Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, en Alexander Miller. 2019. Taammodelle as kennisbases? In Procedures van die 2019 Konferensie oor Empirieke Methodes in Natuurlike Taalverwerking en die 9de Internasionale Joint Conference on Natural Language Processing (EMNLPIJCNLP), bladsye 2463–2473, Hong Kong, China. Alec Radford, Karthik Narasimhan, Time Salimans, en Ilya Sutskever. 2018. Verbetering van taalbegrip met onbeheerde leer. tegniese verslag, OpenAI. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei en Ilya Sutskever. 2019. Taalmodelle is onopgeleide multitask leerlinge. Tegniese verslag, OpenAI. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, H. Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Amy Wu, Erich Elsen, Siddhant M. Jayakumar, Po-Sen Huang, Amelia Glaese, David Budden, Johannes Welbl, Sutherland, Simon Datoffri, Saffron Huang, Laurent Sifre Huang, Jonathan Uesayato, John Mellor, Irina Higgins, Antonia Creswell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant M. Ayakemumar, Elena Buchatskaya, David Budden, Igor Es Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, en Peter J Liu. 2020. Verken die grense van oordrag leer met 'n verenigde teks-tot-tekst transformer. The Journal of Machine Learning Research (JMLR), 21:1–67. Anand Rajaraman en Jeffrey David Ullman. 2011. Bergbou van massiewe datasette. Hannah Rashkin, Eric Michael Smith, Margaret Li, en Y-Lan Boureau. 2019. Naar empatiese open-domein gespreksmodelle: 'n nuwe benchmark en dataset. In Procedures van die 57ste jaarlikse vergadering van die Vereniging vir Computational Linguistics, bladsye 5370-5381, Florence, Italië. Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. 2021. Recipes for building an open-domain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pages 300–325, Online. Association for Computational Linguistics Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, en Yejin Choi. 2020. Winogrande: 'n tegemoetkomende wingerdstelsel uitdaging op skaal. In die Dertigste AAAI-konferensie oor kunsmatige intelligensie, AAAI 2020, Die Dertigste Innovatiewe Toepassings van kunsmatige intelligensie konferensie, IAAI 2020, Die Tiende AAAI-simposium oor opvoedkundige vorderings in kunsmatige intelligensie, EAAI 2020, New York, NY, USA, 7-12 Februarie 2020, bladsye 8732-8740. Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Bawden, Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry Jason, Alan Fries Teven Le Scao en Alexander M. Rush. 2021. Hoeveel data punte is 'n spoedwaarde? bladsye 2627– 2636. Timo Schick en Hinrich Schütze. 2020. Dit is nie net grootte wat belangrik is nie: Klein taalmodelle is ook klein leerlinge. CoRR, abs/2009.07118. Timo Schick, Sahana Udupa, and Hinrich Schütze. 2021. Self-diagnosis and self-debiasing: A proposal for reducing corpus-based bias in nlp. Transactions of the Association for Computational Linguistics, 9:1408–1424. Rico Sennrich, Barry Haddow, en Alexandra Birch. 2016. Neurale masjienvertaling van seldsame woorde met subwoorde-eenhede. In Procedures van die 54ste Jaarvergadering van die Vereniging vir Computational Linguistics (Volume 1: Long Papers), bladsye 1715-1725, Berlyn, Duitsland. Emily Sheng, Kai-Wei Chang, Premkumar Natarajan, en Nanyun Peng. 2019. Die vrou het as 'n babysitter gewerk: Op vooroordele in taalgenerasie. arXiv voordruk arXiv:1909.01326. Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, en Sameer Singh. 2020. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, en Bryan Catanzaro. 2019. Megatron-lm: opleiding van multi-miljard parameter taal modelle met behulp van model parallelisme. arXiv voordruk arXiv:1909.08053. Kurt Shuster, Mojtaba Komeili, Leonard Adolphs, Stephen Roller, Arthur Szlam, en Jason Weston. 2022. Taalmodelle wat kennis soek: Modulêre soektog & generasie vir dialoog en spoedvoltooiing. arXiv voordruk arXiv:2203.13224. Eric Smith, Mary Williamson, Kurt Shuster, Jason Weston, en Y-Lan Boureau. 2020. Kan jy dit alles saamstel: Evalueer die vermoë van gespreksagente om vaardighede te meng. In Procedures van die 58ste Jaarvergadering van die Vereniging vir Computational Linguistics. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zheng, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary, en Bryan Catanzaro. 2022. Gebruik diepte en megatron om megatron-turing NLG 530b, 'n groot skaal generatiewe taalmodel te oefen. CoRR, abs/2201.11990. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, et al. 2022. Lamda: Taalmodelle vir dialoogtoepassings. arXiv voordruk arXiv:2201.08239. Trieu H. Trinh en Quoc V. Le. 2018. 'n eenvoudige metode vir gemeenskaplike rede. CoRR, abs/1806.02847. Megan Ung, Jing Xu, en Y-Lan Boureau. 2021. Veiligheidsdialooge: Neem terugvoer gracieus na gespreksveiligheidsversteurings. ArXiv, abs/2110.07518. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, en Illia Polosukhin. 2017. Aandacht is alles wat jy nodig het. In Vooruitgang in neurale inligting verwerkingsstelsels. Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, en Samuel R. Bowman. 2019. SuperGLUE: 'n beter benchmark vir algemene taalbegripstelsels. arXiv voordruk 1905.00537. Albert Webson en Ellie Pavlick. 2021. verstaan promptbased modelle regtig die betekenis van hul prompts? arXiv voordruk arXiv:2109.01247. Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, en Quoc V. Le. 2021. Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, Zac Kenton, Sasha Brown, Will Hawkins, Tom Stepleton, Courtney Biles, Abeba Birhane, Julia Haas, Laura Rimell, Lisa Anne Hendricks, William Isaac, Sean Legassick, Geoffrey Irving, en Iason Gabriel. 2021a. Etiese en sosiale risiko's van skade van taalmodelle. Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, et al. 2021b. Etiese en sosiale risiko's van skade van taalmodelle. arXiv preprint arXiv:2112.04359. Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho, en Jason Weston. 2020. Neurale teksgenerasie met onwaarskynlikheid opleiding. In Internasionale Konferensie oor Learning Representations. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga Behram, James Huang, Charles Bai, Michael Gschwind, Anurag Gupta, Myle Ott, Anastasia Melnikov, Salvatore Candido, David Brooks, Geeta Chauhan, Benjamin Lee, Hsien-Hsin S. Lee, Bugra Akyildiz, Maximilian Balandat, Joe Spisak, Ravi Jain, Mike Rabbat, en Kim Hazelwood. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston en Emily Dinan. 2020. resepte vir veiligheid in open-domein chatbots. arXiv voordruk arXiv:2010.07079. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, and Emily Dinan. 2021a. Bot-adversarial dialogue for safe conversational agents. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 2950–2968, Online. Association for Computational Linguistics. Jing Xu, Arthur Szlam, en Jason Weston. 2021b. Buite goudvis geheue: Langtermyn-open-domein gesprek. arXiv voordruk arXiv:2107.07567. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, en Yejin Choi. 2019. Hellaswag: Kan 'n masjien jou frase regtig voltooi? In Procedures van die 57de Konferensie van die Vereniging vir Computational Linguistics, ACL 2019, Florence, Italië, 28 Julie - 2 Augustus 2019, Volume 1: Long Papers, bladsye 4791-4800. Yukun Zhu, Ryan Kiros, Richard S. Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, en Sanja Fidler. 2015. Boeke en films in ooreenstemming: Naar verhaallike visuele verduidelikings deur films te kyk en boeke te lees. CoRR, abs/1506.06724. Aanvullende evaluerings B. die bydraes Vooropleiding • Oorspronklike ontwerp: Susan Zhang • Opleidingsinfrastruktuur en aanvanklike ablasie: Naman Goyal, Myle Ott, Stephen Roller, Sam Shleifer, Susan Zhang • Opleiding doeltreffendheid: Naman Goyal, Myle Ott, Sam Shleifer • Data kurasie en deduplikasie: Shuhoi Chen, Myle Ott, Stephen Roller • Opleiding en monitoring OPT-175B: Mikel Artetxe, Moya Chen, Naman Goyal, Punit Singh Koura, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Stephen Roller, Susan Zhang Opleiding 125M-66B baseline: Naman Goyal, Stephen Roller, Susan Zhang Beoordeling • NLP: Xian Li, Xi Victoria Lin, Todor Mihaylov, Stephen Roller, Anjali Sridhar Geskryf deur: Stephen Roller • Verantwoordelike AI Assessments: Punit Singh Koura, Stephen Roller, Tianlu Wang Moya Chen, Stephen Roller, Luke Zettlemoyer en Susan Zhang Paper writing: Christophe Dewan en Susan Zhang Code release preparation: Mona Diab deur Susan Zhang Responsible AI conduct: C databasis Ons volg die aanbevelings van Gebru et al. (2021) en bied 'n data kaart vir die dataset wat gebruik word om die OPT-modelle te train. 1 Motivasie Die vooropleiding data vir die opleiding van die OPT-175B model is geskep deur 'n unie van vyf datasette, insluitend drie datasette wat gebruik word deur RoBERTa (Liu et al., 2019b), 'n subset van die Pile (Gao et al., 2021a), saam met die Pushshift.io Reddit dataset wat ontwikkel is in (Baumgartner et al., 2020) en verwerk in (Roller et al., 2021). • For what purpose was the dataset created? Was there a specific task in mind? Was there a specific gap that needed to be filled? Please provide a description. Die doel van AI. • Who created the dataset (e.g., which team, research group) and on behalf of which entity (e.g., company, institution, organization)? Die doel van AI. • Who funded the creation of the dataset? If there is an associated grant, please provide the name of the grantor and the grant name and number. • die nie nie Any other comments? C.2 Die samestelling Die algemene dataset bestaan uit 'n vereniging van die volgende datasette: • What do the instances that comprise the dataset represent (e.g., documents, photos, people, countries)? Are there multiple types of instances (e.g., movies, users, and ratings; people and interactions between them; nodes and edges)? Please provide a description. – BookCorpus (Zhu et al., 2015) bestaan uit meer as 10K ongepubliseerde boeke – CC-Stories (Trinh and Le, 2018) contains a subset of CommonCrawl data filtered to match the story-like style of Winograd schemas – Die pil (Gao et al., 2021a) waaruit die volgende ingesluit is: Die Pyl-CC * OpenWebText2 • Voltooi Die projek Gutenberg • Open ondertiteling · Wikipedia * DM Mathematics * HackerNews – Pushshift.io Reddit dataset wat ontwikkel is in Baumgartner et al. (2020) en verwerk in Roller et al. (2021). – CCNewsV2 bevat 'n opgedateerde weergawe van die Engelse deel van die CommonCrawl News dataset wat in RoBERTa gebruik is (Liu et al., 2019b) Die opleiding data bevat 180B tokens wat ooreenstem met 800 GB van data. • How many instances are there in total (of each type, if appropriate)? Die CC-stories-dataset bevat 'n subset van CommonCrawl-data wat gefiltreer is om te ooreenstem met die verhaal-agtige styl van Winograd-stelsels. • Does the dataset contain all possible instances or is it a sample (not necessarily random) of instances from a larger set? If the dataset is a sample, then what is the larger set? Is the sample representative of the larger set (e.g., geographic coverage)? If so, please describe how this representativeness was validated/verified. If it is not representative of the larger set, please describe why not (e.g., to cover a more diverse range of instances, because instances were withheld or unavailable). Elke instansie bestaan uit ruwe teks data. • What data does each instance consist of? “Raw” data (e.g., unprocessed text or images) or features? In either case, please provide a description. nie nie • Is there a label or target associated with each instance? If so, please provide a description. nie nie • Is any information missing from individual instances? If so, please provide a description, explaining why this information is missing (e.g., because it was unavailable). This does not include intentionally removed information, but might include, e.g., redacted text. Daar is geen eksplisiete verhoudings tussen individuele instanties nie. • Are relationships between individual instances made explicit (e.g., users’ movie ratings, social network links)? If so, please describe how these relationships are made explicit. We hold out a random validation set of approximately 200MB from the pretraining data, sampled proportionally to each dataset’s size in the pretraining corpus. • Are there recommended data splits (e.g., training, development/validation, testing)? If so, please provide a description of these splits, explaining the rationale behind them. Buitens natuurlike duplikaat van potensiële oorlappings tussen die datasette, is daar geen ander redundansies, foute of bronne van lawaai wat ons byvoeg nie. • Are there any errors, sources of noise, or redundancies in the dataset? If so, please provide a description. • die Dit is selfbeperk. Is the dataset self-contained, or does it link to or otherwise rely on external resources (e.g., websites, tweets, other datasets)? Deel van die dataset is 'n subset van openbare Common Crawl data, saam met 'n subset van openbare Reddit data, wat frases kan bevat wat, as dit direk gekyk word, beledigend, beledigend, bedreigend of andersins angs kan veroorsaak. • Does the dataset contain data that, if viewed directly, might be offensive, insulting, threatening, or might otherwise cause anxiety? If so, please describe why. Sommige dokumente van hierdie data verwys na mense, soos nuusartikels, Wikipedia beskrywings, ens. • Does the dataset relate to people? If not, you may skip the remaining questions in this section. Nee, die dataset sluit nie uitdruklik subpopulasie identifikasie in nie. • Does the dataset identify any subpopulations (e.g., by age, gender)? If so, please describe how these subpopulations are identified and provide a description of their respective distributions within the dataset. nie nie • Any other comments? C.3 Sammelproses Die dataset is 'n vereniging van vyf publiek toeganklike datasette. • How was the data associated with each instance acquired? Was the data directly observable (e.g., raw text, movie ratings), reported by subjects (e.g., survey responses), or indirectly inferred/ derived from other data (e.g., part-of-speech tags, model-based guesses for age or language)? If data was reported by subjects or indirectly inferred/derived from other data, was the data validated/verified? If so, please describe how. • die Die data is van die internet afgelaai. What mechanisms or procedures were used to collect the data (e.g., hardware apparatus or sensor, manual human curation, software program, software API)? How were these mechanisms or procedures validated? Sien asseblief die vorige antwoorde vir hoe die dataset geskep is. • If the dataset is a sample from a larger set, what was the sampling strategy (e.g., deterministic, probabilistic with specific sampling probabilities)? Hierdie data word deur masjiene opgeneem, gefiltreer en sampling. • Who was involved in the data collection process (e.g., students, crowdworkers, contractors) and how were they compensated (e.g., how much were crowdworkers paid)? Die CC-News dataset bevat Engelse nuusartikels wat tussen September 2016 en September 2021 gekraak is. • Over what timeframe was the data collected? Does this timeframe match the creation timeframe of the data associated with the instances (e.g., recent crawl of old news articles)? If not, please describe the timeframe in which the data associated with the instances was created. nie nie • Does the dataset relate to people? If not, you may skip the remainder of the questions in this section. • die Die N/A Did you collect the data from the individuals in question directly, or obtain it via third parties or other sources (e.g., websites)? Die N/A • Were the individuals in question notified about the data collection? If so, please describe (or show with screenshots or other information) how notice was provided, and provide a link or other access point to, or otherwise reproduce, the exact language of the notification itself. Die N/A • Did the individuals in question consent to the collection and use of their data? If so, please describe (or show with screenshots or other information) how consent was requested and provided, and provide a link or other access point to, or otherwise reproduce, the exact language to which the individuals consented. Die N/A • If consent was obtained, were the consenting individuals provided with a mechanism to revoke their consent in the future or for certain uses? If so, please provide a description, as well as a link or other access point to the mechanism (if appropriate). Sommige toksisiteit en vooroordeel evaluerings is uitgevoer. Verwys asseblief na die hoofdokument en die modelkaart vir hierdie besonderhede. • Has an analysis of the potential impact of the dataset and its use on data subjects (e.g., a data protection impact analysis) been conducted? If so, please provide a description of this analysis, including the outcomes, as well as a link or other access point to any supporting documentation. nie nie • Any other comments? C.4 Voorbehandeling / skoonmaak / etikettering Die komponentdataset het standaard skoonmaak- en hervormingspraktyke ondergaan, insluitend die verwydering van herhalende / nie-informatiewe teks soos "Chapter One," of "Dit e-boek deur Project Gutenberg." • Was any preprocessing/cleaning/labeling of the data done (e.g., discretization or bucketing, tokenization, part-of-speech tagging, SIFT feature extraction, removal of instances, processing of missing values)? If so, please provide a description. If not, you may skip the remainder of the questions in this section. Die "rooi" komponente dataset is openbaar beskikbaar in hul onderskeie plekke (meer besonderhede kan gesien word in die onderskeie dokumente gekoppel in verwysings). • Was the “raw” data saved in addition to the preprocessed/cleaned/labeled data (e.g., to support unanticipated future uses)? If so, please provide a link or other access point to the “raw” data. nie nie • Any other comments? C.5 Gebruik Ja, hierdie dataset is gebruik vir die vooropleiding van die OPT-modelle. • Has the dataset been used for any tasks already? If so, please provide a description. • die https://github.com/facebookresearch/ metaseq Is there a repository that links to any or all papers or systems that use the dataset? If so, please provide a link or other access point. Hierdie data kan gebruik word om taalmodelle te voorberei, wat die basis is vir baie huidige en toekomstige taaltaak. • What (other) tasks could the dataset be used for? Die pipeline vir die skep van hierdie dataset paving 'n manier vir die bou van 'n skaalbare infrastruktuur vir die mynbou datasets. • Is there anything about the composition of the dataset or the way it was collected and preprocessed/cleaned/labeled that might impact future uses? For example, is there anything that a future user might need to know to avoid uses that could result in unfair treatment of individuals or groups (e.g., stereotyping, quality of service issues) or other undesirable harms (e.g., financial harms, legal risks) If so, please provide a description. Is there anything a future user could do to mitigate these undesirable harms? Niemand wat ons op die oomblik weet nie. • Are there tasks for which the dataset should not be used? If so, please provide a description. nie nie • Any other comments? C.6 Verspreiding Nie op hierdie tyd nie. • Will the dataset be distributed to third parties outside of the entity (e.g., company, institution, organization) on behalf of which the dataset was created? If so, please provide a description. • die Die N/A How will the dataset will be distributed (e.g., tarball on website, API, GitHub)? Does the dataset have a digital object identifier (DOI)? Die N/A • When will the dataset be distributed? Die N/A • Will the dataset be distributed under a copyright or other intellectual property (IP) license, and/or under applicable terms of use (ToU)? If so, please describe this license and/or ToU, and provide a link or other access point to, or otherwise reproduce, any relevant licensing terms or ToU, as well as any fees associated with these restrictions. Die N/A • Do any export controls or other regulatory restrictions apply to the dataset or to individual instances? If so, please describe these restrictions, and provide a link or other access point to, or otherwise reproduce, any supporting documentation. nie nie • Any other comments? C.7 Onderhoud Die doel van AI. • Who is supporting/hosting/maintaining the dataset? • die Verwys na die hoofdokument. How can the owner/curator/manager of the dataset be contacted (e.g., email address)? Die N/A • Is there an erratum? If so, please provide a link or other access point. Geen huidige plan vir opdatering nie. • Will the dataset be updated (e.g., to correct labeling errors, add new instances, delete instances)? If so, please describe how often, by whom, and how updates will be communicated to users (e.g., mailing list, GitHub)? Die N/A • If the dataset relates to people, are there applicable limits on the retention of the data associated with the instances (e.g., were individuals in question told that their data would be retained for a fixed period of time and then deleted)? If so, please describe these limits and explain how they will be enforced. Die N/A • Will older versions of the dataset continue to be supported/hosted/maintained? If so, please describe how. If not, please describe how its obsolescence will be communicated to users. Geen meganisme is tans beskikbaar nie. • If others want to extend/augment/build on/contribute to the dataset, is there a mechanism for them to do so? If so, please provide a description. Will these contributions be validated/ verified? If so, please describe how. If not, why not? Is there a process for communicating/ distributing these contributions to other users? If so, please provide a description. nie nie • Any other comments? D Model kaart Na Mitchell et al. (2018), bied ons 'n modelkaart vir OPT-175B. D.1 Model besonderhede • die OPT-175B is ontwikkel deur Meta AI. Person or organization developing model: • die OPT-175B is op 3 Mei 2022 vrygestel. Model date: • die OPT-175B wat in hierdie artikel beskryf word, is weergawe 1.0.0. Model version: OPT-175B is a large decoder-only transformer language model. • Model type: OPT-175B is met AdamW opgelei vir parameter groottes van 125M tot 175B. Sien die Data Card (Aanhangsel C) vir inligting oor opleiding data en Afdeling 2.2 - 2.5 vir inligting oor die opleiding proses. • Information about training algorithms, parameters, fairness constraints or other applied approaches, and features: Sien die res van hierdie artikel vir meer besonderhede oor OPT-175B sowel as die ooreenstemmende post op die Meta AI Research Blog. • Paper or other resource for more information: OPT-175B en die kleiner baseline modelle word beskikbaar gestel deur middel van 'n nie-kommersiële gebruik lisensie ooreenkoms wat in ons model lisensie.13 • License: • die Kontak asseblief die ooreenstemmende skrywers {susanz,roller,namangoyal}@fb.com vir enige vrae of kommentaar. Where to send questions or comments about the model: D.2 Voorgestelde gebruik Ons het OPT-175B vrygestel vir navorsing in taalmodelle, veral as dit betrekking het op verantwoordelike AI. Sien Afdeling 6 vir meer gedetailleerde oorwegings vir vrystelling. Inligting oor hoe om die model te gebruik, kan gevind word by metaseq, ons open-source repository. • Primary intended uses: Ons is hoofsaaklik gerig op navorsers en die verwante navorsingsgemeenskap. • Primary intended users: • die OPT-175B word nie vrygestel vir produksie-gebruik of werklike ontplooiings nie.Soos ons in Afdeling 5 opmerk, het OPT-175B, soos soortgelyke groot taalmodelle, 'n verskeidenheid tekortkominge wat dit te vroeg vir kommersiële gebruik maak. Out-of-scope use cases: D.3 Data, beperkings en aanbevelings Opleidingsdata vir OPT-175B is gekies op grond van 'n kombinasie van breedte en beskikbaarheid. sien ons Data Card (Aanhangsel C) vir meer gedetailleerde inligting oor die data wat gebruik word om ons model te opleiding. • Data selection for training: • die Gegewe besorgdheid in die gemeenskap rondom die veiligheid en regverdigheid van groot taalmodelle in die algemeen, bied ons ook uitdruklik evaluerings oor Verantwoordelike AI (sien Afdeling 4). Data selection for evaluation: Soos ander groot taalmodelle waarvoor die diversiteit (of gebrek daarvan) van opleidingsgegevens 'n downstream-effek op die kwaliteit van ons model veroorsaak, het OPT-175B beperkings in terme van vooroordeel en veiligheid. OPT-175B kan ook kwaliteitsprobleme hê in terme van generasie diversiteit en hallusinasies. In die algemeen is OPT-175B nie immuun vir die baie probleme wat moderne groot taalmodelle plag nie. Deur die vrystelling met 'n nie-kommersiële lisensie, hoop ons ook om kommunikasie, deursigtigheid en studie van die probleme van groot taalmodelle te verhoog, veral in gebiede wat nie met kommersiële belange in ooreenstemming is nie. • Limitations: Sien afdeling 6 vir meer oor ons oorwegings vir vrylating, insluitend 'n bespreking van potensiële geleenthede vir navorsing wat moontlik gemaak word deur ons model oop te maak vir meer van die navorsing gemeenskap. Ons hoop dat die vrylating van OPT-175B, sowel as inligting rondom ons modelopleiding proses, sal open wetenskap rondom beide groot taalmodelle in spesifieke en natuurlike taalverwerking en diep leer in die algemeen. • Recommendations for future work: Sample model uitkomste Vir al die monster outputs word die aanvanklike oproep in 'n harde en die res is die voortzetting gegee. Hierdie voorbeeld outputs is doelbewus gekies om beide sukses en mislukkings van die OPT-175B model te beklemtoon. Hierdie artikel is beskikbaar onder CC by 4.0 Deed (Attribution 4.0 International) lisensie. Hierdie artikel is beskikbaar onder CC by 4.0 Deed (Attribution 4.0 International) lisensie.