OPT-175B is vergelijkbaar met GPT-3 terwijl het slechts 1/7e van de koolstofvoetafdruk vereist

OPT: Open Pre-trained Transformer Language Models OPT: Open vooraf opgeleide Transformer-taalmodellen De auteurs: Susan Zhang, Meta AI (susanz@fb.com) Stephen Roller, Meta AI (roller@fb.com) Naman Goyal, Meta AI (naman@fb.com) Mikel Artetxe, Meta AI Moya Chen, Meta AI Shuohui Chen met Meta AI Christopher Dewan, Meta AI Mona Diab, Meta AI Xian Li, Meta AI Xi Victoria Lin, Meta AI Todor Mihaylov, Meta AI Myle Ott, Meta AI Sam Shleifer, Meta AI Kurt Shuster, Meta AI Daniel Simig, Meta AI Punit Singh Koura, Meta AI Anjali Sridhar, Meta AI Tianlu Wang, Meta AI Luke Zettlemoyer, Meta AI De auteurs: Susan Zhang, Meta AI (susanz@fb.com) Stephen Roller, Meta AI (roller@fb.com) Naman Goyal, Meta AI (naman@fb.com) Mikel Artetxe, Meta AI Moya Chen, Meta AI Shuohui Chen met Meta AI Christopher Dewan met Meta AI Mona Diab met Meta AI Xian Li, Meta AI Xi Victoria Lin, Meta AI Todor Mihaylov, Meta AI Myle Ott, Meta AI Sam Shleifer als Meta AI Kurt Shuster met Meta AI Daniël Simig, Meta AI Punit Singh Koura, Meta AI Anjali Sridhar, Meta AI Tianlu Wang, Meta AI Luke Zettlemoyer als Meta AI Abstractie Grote taalmodellen, die vaak worden getraind voor honderdduizenden berekeningsdagen, hebben opmerkelijke mogelijkheden getoond voor nul- en weinig-schot leren. Gezien hun berekeningskosten, zijn deze modellen moeilijk te repliceren zonder aanzienlijk kapitaal. Voor de weinige die beschikbaar zijn via APIs, wordt geen toegang verleend tot de volledige modelgewichten, waardoor ze moeilijk te bestuderen zijn. We presenteren Open Pre-trained Transformers (OPT), een suite van decoder-only pre-trained transformers variërend van 125M tot 175B parameters, die we streven naar volledig en verantwoordelijk delen met geïnteresseerde onderzoekers. We laten zien dat OPT-175B vergelijkbaar is met GPT-3,1 terwijl het slechts 1/7e van de koolstofvoetafdruk vereist 1 Inleiding Grote taalmodellen (LLM's) getraind op massale tekstverzamelingen hebben verrassende opkomende mogelijkheden getoond om tekst te genereren en nul- en weinig-shot-leren uit te voeren (Brown et al., 2020; Lieber et al., 2021; Smith et al., 2022; Rae et al., 2021; Chowdhery et al., 2022). Deze beperkte toegang heeft het vermogen van onderzoekers beperkt om te bestuderen hoe en waarom deze grote taalmodellen werken, waardoor de vooruitgang wordt belemmerd bij het verbeteren van bekende uitdagingen op gebieden zoals robuustheid, vooroordelen en toxiciteit. In dit technische verslag presenteren we Open Pretrained Transformers (OPT), een suite van decoderend vooraf opgeleide transformatoren variërend van 125M tot 175B parameters, die we willen volledig en verantwoordelijk delen met geïnteresseerde onderzoekers. We trainen de OPT-modellen om ongeveer overeen te komen met de prestaties en maten van de GPT-3-klasse van modellen, terwijl we ook de nieuwste beste praktijken toepassen in gegevensverzameling en efficiënte training. Ons doel bij het ontwikkelen van deze suite van OPT-modellen is De definities van risico, schade, vooroordelen en toxiciteit, enzovoort, moeten worden gearticuleerd door de collectieve onderzoeksgemeenschap als geheel, wat alleen mogelijk is wanneer modellen beschikbaar zijn voor onderzoek. We geven al onze modellen vrij tussen de parameters 125M en 66B, en bieden volledige onderzoekstoegang tot OPT-175B op verzoek. Toegang zal worden verleend aan academische onderzoekers; degenen die verbonden zijn met organisaties in de overheid, het maatschappelijk middenveld en de academische wereld; en degenen in industriële onderzoekslaboratoria. We geven ook zowel het logboek van onze modelcreatie als onze codebase, metaseq,3 vrij, die de training van OPT-175B op 992 80GB A100 GPU's mogelijk maakte, tot 147 TFLOP/s Van deze implementatie, en van het gebruik van de nieuwste generatie NVIDIA hardware, zijn we in staat om OPT-175B te ontwikkelen met slechts 1/7e van de koolstofvoetafdruk van GPT-3. Hoewel dit een belangrijke prestatie is, is de energie-kosten van het creëren van een dergelijk model nog steeds niet triviaal, en herhaalde inspanningen om een model van deze grootte te repliceren zullen alleen de groeiende computationele voetafdruk van deze LLM's versterken. We geloven dat de hele AI-gemeenschap - academische onderzoekers, het maatschappelijk middenveld, beleidsmakers en de industrie - samen moeten werken om duidelijke richtlijnen te ontwikkelen rond verantwoordelijke AI in het algemeen en verantwoordelijke LLM's in het bijzonder, gezien hun centrale positie in vele 2 Methode 2.1 Modellen We presenteren resultaten op acht Transformer-taalmodellen, variërend van 125 miljoen tot 175 miljard parameters.Architecturale details worden weergegeven in Tabel 1.In het belang van transparantie en om het risico op trainingsinstabiliteiten te verminderen, volgen onze modellen en hyperparameters grotendeels Brown et al. (2020), met variaties in batchgrootte voornamelijk om verbeterde computationele efficiëntie te verkrijgen. 2.2 Opzetten van trainingen Voor de initialisatie van het gewicht volgen we dezelfde instellingen als in de Megatron-LM-codebase,4 met behulp van een normale distributie met nul gemiddelde en standaardafwijking van 0,006. De standaardafwijking voor outputlagen wordt geschat door een 1.0/ √ 2L term waar L het totale aantal lagen is. We gebruiken een AdamW-optimalisator (Loshchilov en Hutter, 2017) met (β1, β2) ingesteld op (0,9, 0,95), en gewichtsverlies van 0,1. We volgen een lineair leerpercentage schema, opwarmen van 0 tot de maximale leerpercentage tijdens de eerste 2000 stappen in OPT-175B, of meer dan 375M tokens in onze kleinere baseline, en afbreken tot 10% van de maximale LR over 300B tokens. Een aantal mid-flight wijzigingen aan LR waren ook vereist (zie Sectie 2.5). Onze batchgroottes variëren van 0,5M tot 4M afhankelijk van de grootte van het model (zie Tabel 1) en worden constant gehouden gedurende de hele training. We snijden de gradiëntnormen op 1.0, behalve voor sommige midflight veranderingen die deze drempel van 1.0 naar 0.3 verminderen (zie paragraaf 2.5). We bevatten ook een gradientverdelingsfactor om het risico van over/underflows te verminderen bij het berekenen van de gradiënt over alle rijen (de splitsing door de wereldgrootte van N in twee divisie-operaties door √ N). 2.3 Voorafgaande training Corpus De pre-training corpus bevat een concatenatie van datasets gebruikt in RoBERTa (Liu et al., 2019b), de Pile (Gao et al., 2021a) en PushShift.io Reddit (Baumgartner et al., 2020; Roller et al., 2021). Alle corpora werden eerder verzameld of gefilterd om voornamelijk Engelse tekst te bevatten, maar een kleine hoeveelheid niet-Engelse gegevens is nog steeds aanwezig in het corpus via CommonCrawl. We verwijderden gedupliceerde documenten over alle datasets door documenten uit te filteren via MinhashLSH (Rajaraman en Ullman, 2011) met een Jaccard-gelijkheid ≥ .95. We vonden dat de Pile bijna vol was met gedupliceerde documenten, en adviseerden toekomstige onderzoekers We hebben de BookCorpus (Zhu et al., 2015) en Stories (Trinh en Le, 2018) subset van het RoBERTa corpus opgenomen en gebruik gemaakt van een bijgewerkte versie van CCNews, die nieuwsverhalen bevat die zijn gerold tot 28 september 2021. RoBERTa We hebben een subset van de Pile (Gao et al., 2021a) opgenomen, waaronder: CommonCrawl, DM Mathematics, Project Gutenberg, HackerNews, OpenSubtitles, OpenWebText2, USPTO en Wikipedia. Andere subset van de Pile werden geëlimineerd omdat we vonden dat ze het risico op instabiliteit verhoogden, gemeten door de neiging om spikes in gradiëntnormen op de schaal 1.3B te veroorzaken, of anderszins ongeschikt werden beschouwd. The Pile We hebben een subset van de Pushshift.io corpus opgenomen, geproduceerd door Baumgartner et al. (2020) en eerder gebruikt door Roller et al. (2021). Om de conversatiebomen om te zetten in taalmodel-toegankelijke documenten, hebben we de langste ketting van opmerkingen in elke draad geëxtraheerd en alle andere paden in de boom weggegooid. PushShift.io Reddit 2.4 Efficiëntie van de training We hebben OPT-175B getraind op 992 80GB A100 GPU's, met behulp van Fully Sharded Data Parallel (Artetxe et al., 2021) met Megatron-LM Tensor Parallelism (Shoeybi et al., 2019). We hebben gebruik gemaakt van tot 147 TFLOP/s per GPU. We houden de Adam-status in FP32, omdat we het over alle hosts splitsen, terwijl de modelgewichten in FP16 bleven. Om onderstromen te voorkomen, gebruikten we dynamische verliesscaling, zoals beschreven in Micikevicius et al. (2017). 2.5 Trainingsprocessen Hier beschrijven we belangrijke aanpassingen in het trainingsproces die zich hebben voorgedaan tijdens de pre-training van OPT-175B. We werden geconfronteerd met een aanzienlijk aantal hardwarefalen in onze computing cluster tijdens de training OPT-175B. In totaal hebben hardwarefalen bijgedragen aan ten minste 35 handmatige opnieuw opstarten en het fietsen van meer dan 100 hosts gedurende 2 maanden. Tijdens de handmatige opnieuw opstarten werd de training gestopt en werden een reeks diagnostische tests uitgevoerd om problematische knooppunten te detecteren. Vlagged knooppunten werden vervolgens afgesloten en de training werd hervat vanaf het laatste opgeslagen checkpoint. Gezien het verschil tussen het aantal uitgerekende hosts en het aantal handmatige opnieuw opstarten, schatten we 70+ automatische opnieuw opstarten als gevolg van hardwarefalen. Hardware Failures Verlies divergenties waren ook een probleem in onze training run. Toen het verlies divergeerde, vonden we dat het verlagen van de leerpercentage en opnieuw opstarten van een eerdere checkpoint de taak mogelijk maakte om te herstellen en de training voort te zetten. We merkten een correlatie op tussen verlies divergentie, onze dynamische verlies scalar crashing naar 0, en de l 2 -norm van de activeringen van de laatste laag spiking. Deze waarnemingen leiden ons tot het opnieuw opstarten van punten waarvoor onze dynamische verlies scalar was nog in een "gezonde" staat (≥ 1.0), en waarna onze activeringsnormen zouden neigen naar beneden in plaats van onbeperkt groeien. Onze empirische LR-schema wordt weergegeven in Figuur 1. Vro Loss Divergences Deze omvatten: overschakelen naar vanille SGD (optimalisatie plateaued snel, en we keerde terug naar AdamW); resetten van de dynamische verlies scalar (dit hielp bij het herstellen van sommige maar niet alle divergenties); en overschakelen naar een nieuwere versie van Megatron (dit verminderde druk op activatie normen en verbeterde doorvoer). Other Mid-flight Changes 3 Beoordelingen 4.1 Prompting & Few-Shot opnemen We evalueren ons model op 16 standaard NLP-taken die in de literatuur worden gebruikt: HellaSwag (Zellers et al., 2019), StoryCloze (Mostafazadeh et al., 2016), PIQA (Bisk et al., 2020), ARC Easy and Challenge (Clark et al., 2018), OpenBookQA (Mihaylov et al., 2018), WinoGrad (Levesque et al., 2011), WinoGrande (Sakaguchi et al., 2020), en SuperGLUE (Wang et al., 2019). We volgen GPT-3 (Brown et al., 2020) met behulp van hun prompts en algemene experimentele setup. We vergelijken voornamelijk met GPT-3, met als doel hun evaluatie-taken opnieuw uit te voeren, maar omvatten de prestaties van andere LLM' Over het algemeen zien we onze gemiddelde prestaties volgen de trend van GPT-3. De prestaties kunnen echter radicaal variëren over de taken: voor een volledige afbraak, zie Bijlage A. Merk op dat we opzettelijk MultiRC en WIC uit deze gemiddelden hebben verwijderd, omdat deze datasets systematisch GPT-3 of OPT onevenredig favoriseren. Onze prestaties passen grotendeels overeen met GPT-3 voor 10 taken en onderpraten in 3 taken (ARC Challenge en MultiRC). In 3 taken (CB, BoolQ, OPSC) vinden we dat zowel GPT- als OPT-modellen onvoorspelbaar gedrag tonen ten opzichte van de waarschijnlijke schaal. Vanwege de kleine grootte van de validatie in deze 3 taken (56, 277, en 104 voorbeelden respectievelijk Zero-shot Chinchilla (Hoffmann et al., 2022) en Gopher (Rae et al., 2021) presteren ongeveer consistent met anderen voor hun parametergroottes, terwijl PaLM (Chowdhery et al., 2022) over het algemeen beter presteren in alle instellingen, zelfs bij het controleren van aantal parameters. De gemiddelde multi-shot-incontext-prestaties worden weergegeven in Figuur 4 (opnieuw, met uitzondering van MultiRC en WIC), met gedetailleerde prestaties weergegeven in Bijlage A. Over het gemiddelde van alle metricen vinden we dat OPT-modellen vergelijkbaar presteren met GPT-3-modellen. Echter, net als bij zeroshot, het afbreken van deze resultaten per taak toont een ander verhaal: in dezelfde reeks van 10 datasets als nul-shot zien we vergelijkbare prestaties over de twee modellen. Sommige van de resterende datasets tonen inconsistente prestaties ten opzichte van de modelgrootte voor zowel OPT- als GPT-3-modellen (BoolQ, CB, WSC, RTE). In MultiRC zien we consequent One-shot and Few-shot 3.2 Dialoog Aangezien LLM's bekend staan om een integraal onderdeel te zijn van moderne dialoogmodellen (Adiwardana et al., 2020; Roller et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Chowdhery et al., 2022), evalueren we OPT-175B bovendien op verschillende open source dialoogdatasets. In het bijzonder volgen we Roller et al. (2021), en evalueren we op ConvAI2 (Dinan et al., 2020b), Wizard of Wikipedia (Dinan et al., 2019b), Empatic Dialogues (Rashkin et al., 2019), en Blended Skill Talk (Smith et al., 2020). We evalueren ook op de nieuwere Wizard of Internet dataset (Kiliome et al., 2021). We richten onze vergelijkingen We vergelijken ook met de goed afgestemde R2C2 BlenderBot, een 2.7B-parameter BlenderBot-achtig model getraind door Shuster et al. (2022). We rapporteren Perplexity en Unigram F1 (UF1) overlapping, na de metricen van de ConvAI2 competitie (Dinan et al., 2020b). Om de verschillende tokenisatie in elk van de modellen te controleren, normaliseren we alle verwarring in de ruimte van de GPT-2 tokenizer (Radford et al., 2019). We merken ook op welke modellen worden gecontroleerd met betrekking tot deze dialoogtaken en welke niet worden gecontroleerd. Voor OPT-175B worden alle generaties uitgevoerd met behulp van hebzuchtige decodering tot maximaal 32 tokens We zien dat OPT-175B op alle taken aanzienlijk beter presteren dan het ook niet-toezichthoudende Reddit 2.7B-model, en concurrerend presteren met het volledig toezichthoudende BlenderBot 1-model, vooral in de ConvAI2-dataset. We waren enigszins verbaasd dat de evaluaties van het niet-gecontroleerde OPT-175B-model even concurrerend waren als BlenderBot 1 op de ConvAI2-dataset. Dit kan wijzen op lekken van de ConvAI2-dataset in het algemene pre-trainingcorpus of zelfs in de validatiegegevens zoals geëvalueerd in Tabel 2. Om zorgen over lekken aan te pakken, zochten we onze pre-trainingcorpus voor het eerste gesprek in de ConvAI2-dataset, maar we vonden geen overlapping. We evalueerden OPT-175B bovendien op de ConvAI2-verborgen testset, die nooit publiekelijk is vrijgegeven, en bereikten 10.7 ppl en .185 UF1, die overeenkomen met de prestaties van de validatie-set. Bov 4 Bias & toxiciteitsbeoordelingen Om de potentiële schade van OPT-175B te begrijpen, evalueren we een reeks benchmarks met betrekking tot haatwoorddetectie, stereotype bewustzijn en giftige contentgeneratie.Hoewel er tekortkomingen kunnen zijn in deze benchmarks (Blodgett et al., 2021; Jacobs en Wallach, 2021), bieden deze metingen een eerste stap in de richting van het begrijpen van de beperkingen van OPT-175B. We vergelijken voornamelijk met GPT-3 Davinci, omdat deze benchmarks nog niet beschikbaar waren om op te nemen in Brown et al. (2020). 4.1 Hate Speech detectie Met behulp van de ETHOS-dataset in Mollas et al. (2020) en geïnstalleerd door Chiu en Alexander (2021), meten we het vermogen van OPT-175B om te bepalen of bepaalde Engelse uitspraken racistisch of seksistisch zijn (of niet). In de nul-, één-, en enkele-schoten binaire gevallen wordt het model met tekst gepresenteerd en gevraagd om te overwegen of de tekst racistisch of seksistisch is en een ja/nee-respons te geven. We speculeren dat dit gebeurt vanuit twee bronnen: (1) evalueren via de Davinci API kan veiligheidscontrole mechanismen inbrengen die verder gaan dan het oorspronkelijke 175B GPT-3-model dat in Brown et al. (2020) wordt gebruikt; en (2) de aanzienlijke aanwezigheid van niet-gemodereerde sociale media discussies in de pre-training dataset heeft extra inductieve vooroordelen geleverd om bij dergelijke classificatietaken te helpen. 4.2 Crows-paren Ontwikkeld voor gemaskeerde taalmodellen, CrowSPairs (Nangia et al., 2020) is een crowdsourced benchmark gericht op het meten van intrasententie niveau vooroordelen in 9 categorieën: geslacht, religie, ras / kleur, seksuele geaardheid, leeftijd, nationaliteit, handicap, fysieke verschijning, en sociaaleconomische status. Elk voorbeeld bestaat uit een paar zinnen die een stereotype, of anti-stereotype, met betrekking tot een bepaalde groep, met het doel van het meten van model voorkeur voor stereotype uitdrukkingen. In vergelijking met Davinci in tabel 4 lijkt OPT175B meer stereotype vooroordelen te tonen in bijna alle categorieën behalve religie. Nogmaals, dit is waarschijnlijk te wijten aan verschillen in trainingsgegevens; Nangia et al. (2020) toonden aan dat Pushshift.io Reddit corpus een hogere incidentie heeft voor stereotypen en discriminerende tekst dan andere corpora (bijv. Wikipedia). Aangezien dit een primaire gegevensbron is voor OPT-175B, kan het model meer discriminerende associaties hebben geleerd, wat de prestaties ervan direct beïnvloedt op CrowS-Pairs. 4.3 Stereotypen Na Lieber et al. (2021) en Artetxe et al. (2021), gebruiken we StereoSet (Nadeem et al., 2021) om stereotypische vooroordelen in 4 categorieën te meten: beroep, geslacht, religie en ras. Naast intrasententie-meting (gelijk aan CrowSPairs) omvat StereoSet meting op intersententie-niveau om het vermogen van een model te testen om aanvullende contexten op te nemen. Om rekening te houden met een potentieel compromis tussen vooroordelendetectie en taalmodelleringscapaciteit, omvat StereoSet twee metricen: Language Modeling Score (LMS) en Stereotype Score (SS), die vervolgens worden gecombineerd om de Idealized Context Association Test Score (ICAT) te vormen. In tegenstelling tot Lieber et al. (2021), normaliseren we scores door token tellen, in plaats van karakter tellen, waarvan ze melden dat de metricen voor verschillende modellen verbeteren. De resultaten worden weergegeven in Tabel 5. We zien dat Davinci en OPT-175B vergelijkbare scores tonen op aggregaten (in het algemeen is ICAT erg dicht tussen de twee). In het bijzonder, Davinci overtreft op het gebied van beroep en ras, terwijl OPT-175B overtreft op het gebied van Gender en Religie. OPT175B werkt beter over het bord op de SS-metric, terwijl Dav 4.4 RealtoxiciteitPrompts We evalueren de specifieke tendens van OPT-175B om met toxische taal te reageren via de RealToxicityPrompts (Gehman et al., 2020) dataset. Na deze PaLM (Chowdhery et al., 2022), we bemonsteren 25 generaties van 20 tokens met behulp van nucleus sampling (Holtzman et al., 2020) (p = 0.9) voor elk van de 10.000 willekeurig bemonsterde prompts van RTP, en melden gemiddelde toxiciteit waarschijnlijkheden van de vervolgingen, gesplanteerd over bucketed toxiciteiten van de oorspronkelijke prompts. Voor vergelijking, we melden bucketed toxiciteit tarieven van Davinci en PaLM. De resultaten worden getoond in Figuur 5. Over het alg 4.5 Dialoogbeoordelingen van de veiligheid Tot slot vergelijken we OPT-175B met twee Safety Bench Unit-evaluaties. De eerste, SaferDialogues (Ung et al., 2021), meet het vermogen om te herstellen van expliciete veiligheidsfalen, meestal in de vorm van verontschuldiging of erkenning van zijn fout. De tweede, de Safety Bench Unit Tests (Dinan et al., 2021), meet hoe onveilig een modelrespons is, gesplanteerd over 4 niveaus van thema-gevoeligheid: Safe, Realistic, Unsafe en Adversarial. Net als bij de andere dialoogevaluaties (Section 3.2), vergelijken we met verschillende bestaande open source dialoogmodellen. Resultaten voor beide experimenten worden weergegeven in Tabel 6. We observeren dat OPT-175B vergelijkbare prestaties heeft als 5 Beperkingen In secties 3.1 en 4 voerden we een uitgebreide evaluatie uit van alle uitgebrachte modellen op verschillende schaal. We zagen pariteit in prestaties voor de standaard evaluatiedatasets die in de GPT-3-modellen werden gebruikt. Bovendien voerden we veiligheids-, vooroordelen- en inclusie-evaluaties uit, waarbij we opnieuw grotendeels vergelijkbare prestaties zagen met sommige variaties in toxiciteit en haatwoorddetectie. Dergelijke evaluaties kunnen echter niet volledig de volledige beperkingen van deze modellen karakteriseren. Over het algemeen observeren we kwalitatief dat OPT-175B lijdt aan dezelfde beperkingen die worden opgemerkt in andere LLM's (Brown et al., 2020; Lieber et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Smith et Het aanmoedigen van dergelijke instructies heeft de neiging om een simulatie van een dialoog te produceren die begint met een dergelijke instructie, in plaats van een uitvoering van de instructie. Toekomstige werkzaamheden in instructie-leren, in het kader van InstructGPT (Ouyang et al., 2022), kunnen deze beperkingen verlichten. OPT-175B heeft ook de neiging om repetitief te zijn en kan gemakkelijk vastzitten in een loop. Terwijl sampling de incidentie van repetitief gedrag kan verminderen (Holtzman et al., 2020), vonden we anekdotisch dat het niet volledig heeft geëlimineerd wanneer slechts één generatie wordt sampled. Toekomstige werkzaamheden kunnen meer moderne strategieën om herhaling te verminderen en diversiteit te ver Net als andere LLM's kan OPT-175B feitelijk onjuiste verklaringen produceren (Adiwardana et al., 2020; Brown et al., 2020; Roller et al., 2021; Rae et al., 2021; Chowdhery et al., 2022; Thoppilan et al., 2022). Dit kan bijzonder schadelijk zijn in toepassingen waar informatie-nauwkeurigheid van cruciaal belang is, zoals gezondheidszorg en wetenschappelijke ontdekking (Weidinger et al., 2022b). Onlangs hebben verschillende inspanningen gemeld dat modellen met verhoogde opname de feitelijke juistheid van LLM's kunnen verbeteren (Lewis et al., 2020; Komeili et al., 2021; Thoppilan et al., 2022; Borgeaud et al., 2021; Shuster et al., 2022; Nakano et al., Er is veel werk verricht aan de vermindering van toxiciteit en vooroordelen (Dathathri et al., 2019; Dinan et al., 2019a; Sheng et al., 2019; Dinan et al., 2020a; Liu et al., 2019a; Krause et al., 2020; Xu et al., 2020; Liang et al., 2021; Dinan et al., 2021a; Xu et al., 2021a; Dhamala et al., 2021a; Schick et al., 2021; Ouyang et al., 2022). Afhankelijk van downstream-toepassingen moeten toekomstige toepassingen van OPT-175B deze of nieuwe verminderingsbenaderingen gebruiken, vooral vóór elke real-world-implementatie. Gezien ons primaire doel als een replicatie van GPT-3, kiezen we ervoor deze verminderingen niet toe te passen in deze eerste release. Ondanks het opnemen van gegevensbladen en modelkaarten, geloven we dat er meer controle moet worden verleend aan de trainingsgegevens met aanvullende gegevenskarakterisering en selectiecriteria om de gegevens verantwoord te gebruiken. De huidige praktijk is om het model te voeden met zoveel mogelijk gegevens en minimale selectie binnen deze datasets. Ondanks uitgebreide evaluaties, zouden we idealiter meer gestroomlijnde en consistente evaluatie-instellingen hebben om replicabiliteit en reproduceerbaarheid van evaluatiescenario's te garanderen. Verschillen in aanbevelende stijlen en aantal opnames voor in-context leren kunnen variaties creëren die leiden tot verschillende resultaten. 6 Overwegingen voor vrijlating Naar aanleiding van de aanbevelingen voor individuele onderzoekers gegenereerd door de Partnership for AI,7 samen met de governance richtsnoeren uiteengezet door NIST,8 we onthullen alle details die betrokken zijn bij de training OPT-175B via ons logboek,9 onze code, en bieden onderzoekers toegang tot modelgewichten voor OPT-175B, samen met een suite van kleinere basislijnen die de setup voor OPT175B weerspiegelen. We streven ernaar om volledig verantwoordelijk te zijn voor de ontwikkelingslevenscyclus van OPT-175B, en alleen door meer transparantie rond de LLM-ontwikkeling kunnen we beginnen met het begrijpen van de beperkingen en risico's van LLM's voordat een bredere implementatie plaatsvindt. Door een gedetailleerd verslag te delen van ons dagelijkse trainingsproces, onthullen we niet alleen hoeveel computer werd gebruikt om de huidige versie van OPT-175B te trainen, maar ook de menselijke overhead die nodig is wanneer de onderliggende infrastructuur of het trainingsproces zelf onstabiel wordt op schaal. Deze details worden over het algemeen weggelaten uit eerdere publicaties, waarschijnlijk vanwege het onvermogen om veranderingen die zijn gemaakt in het midden van de vlucht (zonder het drastisch Buiten deze aantekeningen is de metaseq-codebasis zelf de ultieme bron van waarheid in veel van onze implementatiedetails.Door onze ontwikkelingscodebasis vrij te geven, streven we ernaar om licht te werpen op eventuele implementatiedetails die mogelijk zijn uitgesloten van expliciet genoemd in dit document, omdat het ofwel wordt beschouwd als een detail van standaardpraktijk op het gebied, ofwel gewoon een detail is dat we niet hebben meegedeeld.Deze huidige codebase is ook de enige bekende open-source implementatie van het trainen van een decodertransformator die ≥175B-parameters heeft zonder het gebruik van pipeline-parallelisme op NVIDIA-GPU's. Om experimenten op 175B-schaal mogelijk te maken, bieden we onderzoekers directe toegang tot de parameters van OPT-175B. De redenering hier is tweevoudig: verantwoord AI-onderzoek in LLM's mogelijk maken en tegelijkertijd de milieueffecten van onderzoek op deze schaal verminderen. Er is een groeiende hoeveelheid werk dat de ethische en sociale risico's van het implementeren van taalmodellen met opkomende mogelijkheden op schaal gedetailleert (Weidinger et al., 2021a; Bommasani et al., 2021; Dinan et al., 2021; Kenton et al., 2021). Door de toegang tot OPT-175B aan de onderzoeksgemeenschap met een niet-commerciële licentie te beperken, streven we ernaar de ontwikkelingsinspanningen te richten op het kwantificeren van Bovendien zijn er aanzienlijke berekenings- en koolstofkosten om modellen van deze grootte te reproduceren. Terwijl OPT-175B werd ontwikkeld met een geschatte koolstofvoetafdruk (CO2eq) van 75 ton,10 GPT-3 werd geschat op het gebruik van 500 ton (Patterson et al., 2021), terwijl Gopher 380 ton nodig had (Rae et al., 2021). Deze schattingen worden niet universeel gerapporteerd en de boekhoudmethoden voor deze berekeningen zijn ook niet gestandaardiseerd. Bovendien is modeltraining slechts een onderdeel van de totale koolstofvoetafdruk van AI-systemen; we moeten ook experimenteren en eventuele downstream inferentiekosten overwegen, die allemaal bijdragen aan de groeiende energievoetafdruk van het maken van grootschalige modellen (W Door het vrijgeven van ons logboek, hopen we de kloof te benadrukken tussen een theoretische koolstofkosten schatting die geen hardware storingen of trainingsinstabiliteiten veronderstelt, versus een die tot doel heeft om de hele levenscyclus van de LLM-ontwikkeling te omvatten.We moeten de productie (of belichaamde) koolstof van deze systemen (Gupta et al., 2021) begrijpen, omdat ze steeds complexer worden, en we hopen dat ons papier toekomstige werk kan helpen bij het definiëren van aanvullende factoren te overwegen bij het meten van de impact van schaal op het milieu. Evenzo, door het produceren van een reeks basislijnen over een breed scala van schaal, hopen we de bredere onderzoeksgemeenschap in staat te stellen de impact en beperkingen van deze modellen met betrekking tot schaal alleen te bestuderen. Zoals gemeld in Hoffmann et al. (2022), veel van deze LLM's kunnen worden onderopleid als een functie van de hoeveelheid gebruikte trainingsgegevens, wat impliceert dat het opnemen van meer gegevens en doorgaan met het trainen van deze basislijnmodellen de prestaties kan blijven verbeteren. Er is ook bewijs dat stap-functie veranderingen in capaciteiten kunnen optreden op een schaal die veel kleiner is dan 175B (Wei et al., 2021), wat aangeeft dat een breder scala voor verschillende onderzoekstoepassingen moet worden onderzocht. 7 Gerelateerde werkzaamheden Sinds de publicatie van de Transformer-architectuur (Vaswani et al., 2017) en BERT (Devlin et al., 2019), heeft het NLP-veld een enorme verschuiving ondervonden in de richting van het gebruik van LLM's met zelfbeheerde pre-training. Meerdere gemaskeerde langauge-modellen, waaronder T5 (Raffel et al., 2020) en MegatronLM (Shoeybi et al., 2019), hebben consistente verbeteringen getoond door middel van schaal. Deze schaalwinsten komen niet alleen van het verhogen van het totale aantal parameters in de modellen, maar ook van de hoeveelheid en kwaliteit van pre-traininggegevens (Liu et al., 2019b; Hoffmann et al., 2022). Auto-regressieve taalmodellen (Mikolov et al., 2009) hebben de De resulterende enorme verbetering in generatieve vloeiendheid en kwaliteit werd voor het eerst gekenmerkt in GPT-2 (Radford et al., 2019) en verder verbeterd met GPT-3 (Brown et al., 2020) en latere modellen. Hoewel een verscheidenheid aan zeer grote (meer dan 100B parameters) generatieve modellen nu zijn getraind (Lieber et al., 2021; Rae et al., 2021; Thoppilan et al., 2022; Smith et al., 2022; Chowdhery et al., 2022), ze zijn allemaal gesloten bron en alleen toegankelijk intern of via betaalde API-diensten. Er zijn een paar opmerkelijke inspanningen om open-source LLM's van non-profitorganisaties, waaronder EleutherAI (Black et al., 2022) en BigScience.11 Deze modellen verschillen van de OPT-modellen in pre-trainingsgegevens, doeltaal en modelschalen, waardoor de gemeenschap verschillende pre-trainingsstrategieën kan vergelijken. Sinds Brown et al. (2020), is het primaire evaluatiecriterium voor LLM's prompt-gebaseerd (Black et al., 2022; Rae et al., 2021; Chowdhery et al., 2022), zoals ook in dit document wordt uitgevoerd. Dit is grotendeels te wijten aan het gemak van het evalueren van veel taken zonder gespecialiseerde taak-specifieke fine-tuning. Prompting zelf heeft een lange geschiedenis: cloze-evaluaties gaan enkele decennia terug (Chambers en Jurafsky, 2008; Mostafazadeh et al., 2016). Meer recent, prompting of masked Effectieve prompt engineering blijft echter een open onderzoeksuitdaging. Resultaten variëren aanzienlijk en onvoorspelbaar met de selectie van de prompt (Lu et al., 2021), en modellen lijken de prompt niet zo volledig te begrijpen als we verwachten (Webson en Pavlick, 2021). Bovendien is het uitdagend om prompt te schrijven zonder een ontwikkelingsset, wat leidt tot vragen over de mate waarin we eigenlijk nul- of weinig-schot leren in de praktijk bereiken (Perez et al., 2021). We proberen deze zorgen van prompting niet aan te pakken, en in plaats daarvan streven we alleen naar evaluatie van OPT-175B in bestaande instellingen. 8 Conclusie In dit technische verslag hebben we OPT geïntroduceerd, een verzameling van auto-regressieve taalmodellen die variëren van 125M tot 175B parameters. Ons doel was om de prestaties en maten van de GPT-3-klasse van modellen te repliceren, terwijl we ook de nieuwste beste praktijken in data curation en trainingsefficiëntie toepassen. We beschreven trainingsdetails, beoordeelde prestaties in een aantal NLP- en dialooginstellingen en gekenmerkte gedragingen met betrekking tot vooroordelen, toxiciteit en haatspreken. We hebben ook vele andere beperkingen beschreven die de modellen hebben en een brede reeks overwegingen besproken voor de verantwoordelijke release van de modellen. We geloven dat de hele AI-gemeenschap baat zou hebben bij erkenningen We willen Scott Jeschonek, Giri Anantharaman, Diego Sarina, Joaquin Colombo, Chris Bray, Stephen Roylance, Kalyan Saladi, Shubho Sengupta en Brian O’Horo bedanken voor het helpen verwijderen van infrastructuurblokkers langs de weg; Percy Liang, Rishi Bommasani, en Emily Dinan voor discussies over verantwoord vrijgeven; Carole-Jean Wu voor discussies over duurzaamheid en koolstofvoetafdruk overwegingen; Srini Iyer, Ramakanth Pasunuru en Shruti Bhosale voor eerdere bijdragen aan evaluaties; Benjamin Lefaudeux, Geeta Chauhan, Natalia Gimelshein, Horace, Heace en Sam Gross voor discussies over prestatieverbetering werk; Emily Dinan, Carole-Jean Wu Referenties Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. 2020. Naar een menselijke open-domein chatbot. arXiv preprint arXiv:2001.09977. Mikel Artetxe, Shruti Bhosale, Naman Goyal, Todor Mihaylov, Myle Ott, Sam Shleifer, Xi Victoria Lin, Jingfei Du, Srinivasan Iyer, Ramakanth Pasunuru, Giri Anantharaman, Xian Li, Shuohui Chen, Halil Akin, Mandeep Baines, Louis Martin, Xing Zhou, Punit Singh Koura, Brian O’Horo, Jeff Wang, Luke Zettlemoyer, Mona T. Diab, Zornitsa Kozareva en Ves Stoyanov. 2021. Efficiënte grootschalige taalmodellering met mixen van deskundigen. Jason Baumgartner, Savvas Zannettou, Brian Keegan, Megan Squire en Jeremy Blackburn. 2020. De pushshift reddit dataset. CoRR, abs/2001.08435. Emily M Bender, Timnit Gebru, Angelina McMillanMajor en Shmargaret Shmitchell. 2021. over de gevaren van stochastische papegaaien: kunnen taalmodellen te groot zijn? in Procedures of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pagina 610-623. Yonatan Bisk, Rowan Zellers, Ronan Le bras, Jianfeng Gao en Yejin Choi. 2020. Piqa: redeneren over fysieke gezond verstand in natuurlijke taal. Procedures van de AAAI-conferentie over kunstmatige intelligentie, 34(05):7432–7439. Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, Michael Pieler, USVSN Sai Prashanth, Shivanshu Purohit, Laria Reynolds, Jonathan Tow, Ben Wang en Samuel Weinbach. Su Lin Blodgett, Gilsinia Lopez, Alexandra Olteanu, Robert Sim en Hanna Wallach. 2021. Stereotyping Noorse zalm: een inventaris van valkuilen in fairness benchmark datasets. in Procedures van de 59e Jaarlijkse Vergadering van de Vereniging voor Computational Linguistics en de 11e Internationale Joint Conference on Natural Language Processing (Volume 1: Long Papers), pagina 1004-1015, Online. Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch, Dallas Card, Rodrigo Castellon, Niladri Chatterji, Annie S. Chen, Kathleen Creel, Jared Quincy Davis, Dorottya Demszky, Chris Donahue, Moussa Doumbouya, Esin Durmus, Stefano Ermon, John Etchemendy, Kawin Ethayarajh, Li FeiFei, Chelsea Finn, Trevor Gale, Lauren Gespillie, Karan Goel, Noah D. Goodman, Shelby Grossman, Neel Guha, Tatsunori Hashimoto, Peter Henderson Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George van den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. 2021. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel HerbertVoss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever en Dario Amodei. 2020. Taalmodellen zijn een paar schot leerlingen. In Advances in Neural Information Processing Systems, volume 33, 1877–1901. Curran Associates, Inc. Nathanael Chambers en Dan Jurafsky. 2008. Onbeheerd leren van narratieve gebeurtenisketens. in Proceedings of ACL-08: HLT, pagina 789-797 Columbus, Ohio. Vereniging voor Computational Linguistics. Ke-Li Chiu and Rohan Alexander. 2021. Detecting hate speech with gpt-3. arXiv preprint arXiv:2103.12407. Aakanksha Diawon Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Ghemawat, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sun Devipa, Henryk Michalewski, Xavier Garcia, Vedantra Misra, Kevin Robinson, Liam Fedus, Jason Zhou, Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick en Oyvind Tafjord. 2018. Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski en Rosanne Liu. 2019. Plug and play taalmodellen: Een eenvoudige benadering van gecontroleerde tekstgeneratie. arXiv preprint arXiv:1912.02164. Jacob Devlin, Ming-Wei Chang, Kenton Lee en Kristina Toutanova. 2019. BERT: Pre-training van diepe bidirectionele transformatoren voor taalbegrip. In de Noord-Amerikaanse Vereniging voor Computational Linguistics (NAACL). Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang en Rahul Gupta. 2021. Bold: Dataset en metrices voor het meten van vooroordelen in open taalgeneratie. in Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pages 862–872. Emily Dinan, Gavin Abercrombie, A Stevie Bergman, Shannon Spruit, Dirk Hovy, Y-Lan Boureau en Verena Rieser. 2021. Veiligheidsproblemen voorspellen in e2e conversational ai: Framework en tooling. arXiv preprint arXiv:2107.03451. Emily Dinan, Angela Fan, Adina Williams, Jack Urbanek, Douwe Kiela en Jason Weston. 2020a. Queens zijn ook krachtig: Gender bias verminderen in dialooggeneratie. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pagina 8173-8188, Online. Association for Computational Linguistics. Emily Dinan, Samuel Humeau, Bharath Chintagunta en Jason Weston. 2019a. Build it break it fix it for dialogue safety: Robustness from adversarial human attack. arXiv preprint arXiv:1908.06083. Emily Dinan, Varvara Logacheva, Valentin Malykh, Alexander Miller, Kurt Shuster, Jack Urbanek, Douwe Kiela, Arthur Szlam, Iulian Serban, Ryan Lowe, Shrimai Prabhumoye, Alan W. Black, Alexander Rudnicky, Jason Williams, Joelle Pineau, Mikhail Burtsev en Jason Weston. Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli en Jason Weston. 2019b. Wizard of Wikipedia: Knowledge-powered conversational agents. in Proceedings of the International Conference on Learning Representations. Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser en Connor Leahy. 2021a. De stapel: Een 800gb dataset van diverse tekst voor taalmodellen. CoRR, abs/2101.00027. Tianyu Gao, Adam Fisch en Danqi Chen. 2021b. Het maken van vooraf opgeleide taalmodellen tot betere leerlingen. in Procedures van de 59e Jaarvergadering van de Vereniging voor Computational Linguistics en de 11e Internationale Joint Conference on Natural Language Processing, ACL/IJCNLP 2021, (Volume 1: Long Papers), Virtual Event, 1 tot 6 augustus 2021, pagina 3816-3830. Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III en Kate Crawford. 2021. Datasets voor datasets. Gemeenschappelijk. ACM, 64(12):86–92. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi en Noah A. Smith. 2020. RealToxicityPrompts: Beoordeling van neurotoxische degeneratie in taalmodellen. In de bevindingen van de Vereniging voor Computational Linguistics: EMNLP 2020, pagina 3356-3369, Online. Udit Gupta, Young Geun Kim, Sylvia Lee, Jordan Tse, Hsien-Hsin S Lee, Gu-Yeon Wei, David Brooks en Carole-Jean Wu. 2021. Kaiming He, Xiangyu Zhang, Shaoqing Ren en Jian Sun. 2016. Deep residual learning voor beeldherkenning. in Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals en Laurent Sifre. Ari Holtzman, Jan Buys, Maxwell Forbes en Yejin Choi. 2020. Het nieuwsgierige geval van neurale tekstdegeneratie. ArXiv, abs/1904.09751. Abigail Z. Jacobs en Hanna Wallach. 2021. Measurement and fairness. in Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, FAccT ’21, pagina 375–385, New York, NY, USA. Zachary Kenton, Tom Everitt, Laura Weidinger, Iason Gabriel, Vladimir Mikulik en Geoffrey Irving. 2021. Aanpassing van taalagenten. CoRR, abs/2103.14659. Mojtaba Komeili, Kurt Shuster en Jason Weston. 2021 Internet-vergrote dialooggeneratie. CoRR, abs/2107.07566. Ben Krause, Akhilesh Deepak Gotmare, Bryan McCann, Nitish Shirish Keskar, Shafiq Joty, Richard Socher en Nazneen Fatema Rajani. 2020. GEDI: Generative discriminator guided sequence generation. arXiv preprint arXiv:2009.06367. Brian Lester, Rami Al-Rfou en Noah Constant. 2021. De kracht van schaal voor parameter-efficiënte prompt tuning. CoRR, abs/2104.08691. Hector J Levesque, Ernest Davis, en Leora Morgenstern. 2011. The Winograd schema challenge. in AAAI Spring Symposium: Logical Formalizations of Commonsense Reasoning, volume 46, pagina 47. Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. 2020. Retrieval-vergrote generatie voor kennisintensieve nlp-taken. Vooruitgang in Neural Information Processing Systems, 33:9459–9474. Xiang Lisa Li en Percy Liang. 2021. Prefix-Tuning: Het optimaliseren van continue prompts voor generatie. pagina 4582–4597. Paul Pu Liang, Chiyu Wu, Louis-Philippe Morency en Ruslan Salakhutdinov. 2021. Naar het begrijpen en verminderen van sociale vooroordelen in taalmodellen. Opher Lieber, Or Sharir, Barak Lenz en Yoav Shoham. 2021. Jurassic-1: Technische details en evaluatie. Technisch rapport, AI21 Labs. Haochen Liu, Jamell Dacon, Wenqi Fan, Hui Liu, Zitao Liu en Jiliang Tang. 2019a. Is gender belangrijk? naar billijkheid in dialoogstelsels. arXiv preprint arXiv:1910.10486. Haokun Liu, William Huang, Dhara Mungra en Samuel R. Bowman. 2020. Precieze taakformalisatie is belangrijk bij schema-evaluaties in Winograd. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pagina 8275-8280, Online. Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan, Lawrence Carin en Weizhu Chen. 2021. Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, en Veselin Stoyanov. 2019b. Roberta: Een robuust geoptimaliseerde aanpak voor de voorbereiding van het berten. arXiv preprint arXiv:1907.11692. Ilya Loshchilov en Frank Hutter. 2017. Fixing gewichtsverlies regularisatie in adam. CoRR, abs/1711.05101. Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel en Pontus Stenetorp. 2021. Fantastically ordered prompts en waar ze te vinden: Overwinnen van de gevoeligheid van weinig-shot prompts. Clara Meister, Tim Vieira en Ryan Cotterell. 2020 Best-first beam search. Transactions of the Association for Computational Linguistics, 8:795–809. Paulius Micikevicius, Sharan Narang, Jonah Alben, Gregory Diamos, Erich Elsen, David Garcia, Boris Ginsburg, Michael Houston, Oleksii Kuchaiev, Ganesh Venkatesh, et al. 2017 Mixed precision training. arXiv preprint arXiv:1710.03740. Todor Mihaylov, Peter Clark, Tushar Khot en Ashish Sabharwal. 2018. Kan een armorpak elektriciteit leiden? Een nieuwe dataset voor het beantwoorden van openboekvragen. CoRR, abs/1809.02789. Tomas Mikolov, Jiri Kopecky, Lukas Burget, Ondrej Glembek, et al. 2009. Neurale netwerkgebaseerde taalmodellen voor zeer inflectieve talen. In 2009 IEEE internationale conferentie over akoestiek, spraak en signaalverwerking, pagina 4725-4728 IEEE. Sewon Min, Mike Lewis, Luke Zettlemoyer en Hannaneh Hajishirzi. 2021. Sewon Min, Xinxi Lyu, Ari Holtzman, Mikel Artetxe, Mike Lewis, Hannaneh Hajishirzi en Luke Zettlemoyer. 2022. Het heroverwegen van de rol van demonstraties: wat maakt in-context leren werkzaam? arXiv preprint arXiv:2202.12837. Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji en Timnit Gebru. 2018. Modelkaarten voor modelrapportage. CoRR, abs/1810.03993. Ioannis Mollas, Zoe Chrysopoulou, Stamatis Karlos en Grigorios Tsoumakas. 2020. ETHOS: een online dataset voor de detectie van haatspreken. CoRR, abs/2006.08328. Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli en James F. Allen. 2016. Een corpus en evaluatie kader voor een dieper begrip van gezamenlijke verhalen. CoRR, abs/1604.01696. Moin Nadeem, Anna Bethke en Siva Reddy. 2021. StereoSet: Stereotypische vooroordelen meten in vooraf opgeleide taalmodellen. Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, et al. 2021. Nikita Nangia, Clara Vania, Rasika Bhalerao en Samuel R. Bowman. 2020. Crows-pairs: Een uitdaging dataset voor het meten van sociale vooroordelen in maskerde taalmodellen. arXiv preprint arXiv:2010.00133. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese en Caiming Xiong. 2022. Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. 2022. David Patterson, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier en Jeff Dean. 2021. koolstofemissies en grote neurale netwerktraining. arXiv preprint arXiv:2104.10350. Ethan Perez, Douwe Kiela, en Kyunghyun Cho. 2021. Echt paar-shot leren met taalmodellen. Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu en Alexander Miller. 2019 Taalmodellen als kennisbasis? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing en the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pagina 2463–2473, Hong Kong, China. Alec Radford, Karthik Narasimhan, Time Salimans en Ilya Sutskever. 2018. Verbeteren van het taalbegrip met onbeheerd leren. Technisch rapport, OpenAI. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei en Ilya Sutskever. 2019 Taalmodellen zijn onbeheerde multitask leerlingen. Technisch rapport, OpenAI. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, H. Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Amy Wu, Erich Elsen, Siddhant M. Jayakumar, Po-Sen Huang, Amelia Glaese, David Budden, Johannes Welbl, Sutherland, Simon Datoffri, Saffron Huang, Laurent Sifre, Jonathan Uesayato, John Mellor, Irina Higgins, Antonia Creswell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant M. Ayakemumar, Elena Buchatskaya, David Budden, Igor Esme Wel Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li en Peter J Liu. 2020. Onderzoeken van de grenzen van overdrachtsonderwijs met een uniforme tekst-to-teksttransformer. The Journal of Machine Learning Research (JMLR), 21:1–67. Anand Rajaraman en Jeffrey David Ullman. 2011. mijnbouw van enorme datasets. Hannah Rashkin, Eric Michael Smith, Margaret Li en Y-Lan Boureau. 2019 In de richting van empathische open-domain conversatiemodellen: een nieuwe benchmark en dataset. in Procedures van de 57e jaarlijkse vergadering van de Association for Computational Linguistics, pagina 5370-5381, Florence, Italië. Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau en Jason Weston. 2021. Recepten voor het bouwen van een open-domein chatbot. In Procedures van de 16e Conferentie van het Europees Hoofdstuk van de Association for Computational Linguistics: Main Volume, pagina's 300-325, Online. Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula en Yejin Choi. 2020. Winogrande: Een uitdagende wijnstokschema-uitdaging op schaal. In de dertigste AAAI-conferentie over kunstmatige intelligentie, AAAI 2020, De dertigste innovatieve toepassingen van kunstmatige intelligentie-conferentie, IAAI 2020, Het tiende AAAI-symposium over educatieve vooruitgang in kunstmatige intelligentie, EAAI 2020, New York, NY, USA, 7-12 februari 2020, pagina 8732-8740. Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry Jason, Alan Fries, Ryan Te Teven Le Scao en Alexander M. Rush. 2021.Hoeveel gegevenspunten is een promptwaarde? pagina 2627– 2636. Timo Schick en Hinrich Schütze.2020 Het is niet alleen de grootte die telt: Kleine taalmodellen zijn ook leerlingen met weinig kans. CoRR, abs/2009.07118. Timo Schick, Sahana Udupa, en Hinrich Schütze. 2021 Zelfdiagnose en zelfdebiasing: Een voorstel voor het verminderen van corpus-gebaseerde vooroordelen in NLP. Rico Sennrich, Barry Haddow en Alexandra Birch. 2016. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pagina 1715-1725, Berlijn, Duitsland. Emily Sheng, Kai-Wei Chang, Premkumar Natarajan en Nanyun Peng. 2019 De vrouw werkte als babysitter: Over vooroordelen in taalgeneratie. arXiv preprint arXiv:1909.01326. Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, en Sameer Singh. 2020 AutoPrompt: Kennis uit taalmodellen met automatisch gegenereerde prompts genereren. pagina's 4222-4235. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper en Bryan Catanzaro. 2019. Megatron-lm: Training van meerdere miljard parametertaalmodellen met behulp van modelparallelisme. arXiv preprint arXiv:1909.08053. Kurt Shuster, Mojtaba Komeili, Leonard Adolphs, Stephen Roller, Arthur Szlam en Jason Weston. 2022. Taalmodellen die kennis zoeken: Modulair zoeken en genereren voor dialoog en prompt completion. arXiv preprint arXiv:2203.13224. Eric Smith, Mary Williamson, Kurt Shuster, Jason Weston en Y-Lan Boureau. 2020. Kun je het allemaal samen zetten: Het vermogen van gespreksagenten om vaardigheden te combineren evalueren. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zheng, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary en Bryan Catanzaro. 2022. Met behulp van diepte en megatron om megatron-turing NLG 530b te trainen, Een grootschalig generatief taalmodel. CoRR, abs/2201.11990. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, et al. 2022. Lamda: taalmodellen voor dialoogtoepassingen. arXiv preprint arXiv:2201.08239. Trieu H. Trinh en Quoc V. Le. 2018. Een eenvoudige methode voor gezond verstand redeneren. CoRR, abs/1806.02847. Megan Ung, Jing Xu en Y-Lan Boureau. 2021. Veiligheidsdialogen: Gracieus feedback nemen na gespreksveiligheidsfalen. ArXiv, abs/2110.07518. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser en Illia Polosukhin. 2017 Aandacht is alles wat je nodig hebt. Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy en Samuel R. Bowman. 2019. SuperGLUE: Een meer stijve benchmark voor taalbegripssystemen voor algemene doeleinden. arXiv preprint 1905.00537. Albert Webson en Ellie Pavlick. 2021. begrijpen promptbased modellen echt de betekenis van hun prompts? arXiv preprint arXiv:2109.01247. Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai en Quoc V. Le. 2021. Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, Zac Kenton, Sasha Brown, Will Hawkins, Tom Stepleton, Courtney Biles, Abeba Birhane, Julia Haas, Laura Rimell, Lisa Anne Hendricks, William Isaac, Sean Legassick, Geoffrey Irving en Iason Gabriel. 2021a. Ethische en sociale risico's van schade door taalmodellen. Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, et al. 2021b. Ethische en sociale risico's van schade door taalmodellen. arXiv preprint arXiv:2112.04359. Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho en Jason Weston. 2020. Neurale tekstgeneratie met onwaarschijnlijkheidstraining. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga Behram, James Huang, Charles Bai, Michael Gschwind, Anurag Gupta, Myle Ott, Anastasia Melnikov, Salvatore Candido, David Brooks, Geeta Chauhan, Benjamin Lee, Hsien-Hsin S. Lee, Bugra Akyildiz, Maximilian Balandat, Joe Spisak, Ravi Jain, Mike Rabbat en Kim Hazelwood. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston en Emily Dinan. 2020. Recepten voor veiligheid in open-domein chatbots. arXiv preprint arXiv:2010.07079. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston en Emily Dinan. 2021a. Bot-tegenstander dialoog voor veilige gespreksagenten. In Procedures van de 2021 Conferentie van het Noord-Amerikaanse hoofdstuk van de Vereniging voor Computational Linguistics: Human Language Technologies, pagina 2950–2968, Online. Jing Xu, Arthur Szlam en Jason Weston. 2021b. Beyond goldfish memory: Long-term open-domain conversation. arXiv preprint arXiv:2107.07567. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi en Yejin Choi. 2019. Hellaswag: Kan een machine je zin echt voltooien? In Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italië, 28 juli – 2 augustus 2019, Volume 1: Long Papers, pagina 4791–4800. Yukun Zhu, Ryan Kiros, Richard S. Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba en Sanja Fidler. 2015 Boeken en films uitlijnen: naar verhalenachtige visuele verklaringen door films te kijken en boeken te lezen. Een aanvullende evaluatie B bijdragen Pre-training Oorspronkelijke titel: Susan Zhang • Trainingsinfrastructuur en initiële ablatie: Naman Goyal, Myle Ott, Stephen Roller, Sam Shleifer, Susan Zhang • Trainingsefficiëntie: Naman Goyal, Myle Ott, Sam Shleifer • Data curation and deduplication: Shuhoi Chen, Myle Ott, Stephen Roller • Training en monitoring OPT-175B: Mikel Artetxe, Moya Chen, Naman Goyal, Punit Singh Koura, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Stephen Roller, Susan Zhang Training 125M-66B basislijnen: Naman Goyal, Stephen Roller, Susan Zhang Evaluaties • NLP: Xian Li, Xi Victoria Lin, Todor Mihaylov, Stephen Roller, Anjali Sridhar • Dialoog: Stephen Roller • Verantwoordelijke AI-evaluaties: Punit Singh Koura, Stephen Roller, Tianlu Wang Moya Chen, Stephen Roller, Luke Zettlemoyer en Susan Zhang Paper writing: met Christopher Dewan en Susan Zhang Code release preparation: Mona Diab met Susan Zhang Responsible AI conduct: C Datasheet We volgen de aanbevelingen van Gebru et al. (2021) en bieden een gegevenskaart voor de dataset die wordt gebruikt om de OPT-modellen te trainen. C.1 Motivatie De vooropleidingsgegevens voor de training van het OPT-175B-model werden gecreëerd door een unie van vijf datasets, waaronder drie datasets die worden gebruikt door RoBERTa (Liu et al., 2019b), een subset van de Pile (Gao et al., 2021a), samen met de Pushshift.io Reddit dataset die werd ontwikkeld in (Baumgartner et al., 2020) en verwerkt in (Roller et al., 2021). • For what purpose was the dataset created? Was there a specific task in mind? Was there a specific gap that needed to be filled? Please provide a description. Doel van AI. • Who created the dataset (e.g., which team, research group) and on behalf of which entity (e.g., company, institution, organization)? Doel van AI. • Who funded the creation of the dataset? If there is an associated grant, please provide the name of the grantor and the grant name and number. • Nee niet Any other comments? C.2 Samenstelling De instanties zijn tekstdocumenten.De algemene dataset bestaat uit een unie van de volgende datasets: • What do the instances that comprise the dataset represent (e.g., documents, photos, people, countries)? Are there multiple types of instances (e.g., movies, users, and ratings; people and interactions between them; nodes and edges)? Please provide a description. – BookCorpus (Zhu et al., 2015) bestaat uit meer dan 10K ongepubliceerde boeken CC-Stories (Trinh en Le, 2018) bevat een subset van CommonCrawl-gegevens gefilterd om overeen te komen met de verhaal-achtige stijl van Winograd-schema's – De Pile (Gao et al., 2021a) waaruit het volgende is opgenomen: De Pile-CC • OpenWebText2 * Het resultaat * Project Gutenberg * Openondertitels • Wikipedia * DM wiskunde * HackerNews – Pushshift.io Reddit dataset dat werd ontwikkeld in Baumgartner et al. (2020) en verwerkt in Roller et al. (2021). – CCNewsV2 bevat een bijgewerkte versie van het Engelse deel van de CommonCrawl News-dataset dat werd gebruikt in RoBERTa (Liu et al., 2019b) De training gegevens bevat 180B tokens die overeenkomen met 800 GB van gegevens. • How many instances are there in total (of each type, if appropriate)? De CC-stories-dataset bevat een subset van CommonCrawl-gegevens gefilterd om overeen te komen met de verhaal-achtige stijl van Winograd-schema's. De rest van de dataset werd verzameld uit de bovenstaande bronnen, hervormd en gedupliceerd. • Does the dataset contain all possible instances or is it a sample (not necessarily random) of instances from a larger set? If the dataset is a sample, then what is the larger set? Is the sample representative of the larger set (e.g., geographic coverage)? If so, please describe how this representativeness was validated/verified. If it is not representative of the larger set, please describe why not (e.g., to cover a more diverse range of instances, because instances were withheld or unavailable). Elke instantie bestaat uit ruwe tekstgegevens. • What data does each instance consist of? “Raw” data (e.g., unprocessed text or images) or features? In either case, please provide a description. Nee niet • Is there a label or target associated with each instance? If so, please provide a description. Nee niet • Is any information missing from individual instances? If so, please provide a description, explaining why this information is missing (e.g., because it was unavailable). This does not include intentionally removed information, but might include, e.g., redacted text. Er zijn geen duidelijke relaties tussen individuele instanties. • Are relationships between individual instances made explicit (e.g., users’ movie ratings, social network links)? If so, please describe how these relationships are made explicit. We hold out a random validation set of approximately 200MB from the pretraining data, sampled proportionally to each dataset’s size in the pretraining corpus. • Are there recommended data splits (e.g., training, development/validation, testing)? If so, please provide a description of these splits, explaining the rationale behind them. Buiten de natuurlijk voorkomende duplicatie van potentiële overlappingen tussen de datasets, zijn er geen andere redundanties, fouten of bronnen van lawaai die we toevoegen. • Are there any errors, sources of noise, or redundancies in the dataset? If so, please provide a description. • Het is zelfvoorzienend. Is the dataset self-contained, or does it link to or otherwise rely on external resources (e.g., websites, tweets, other datasets)? Delen van de dataset zijn een subset van openbare Common Crawl-gegevens, samen met een subset van openbare Reddit-gegevens, die zinnen kunnen bevatten die, als ze rechtstreeks worden bekeken, beledigend, beledigend, bedreigend of anderszins angst kunnen veroorzaken. • Does the dataset contain data that, if viewed directly, might be offensive, insulting, threatening, or might otherwise cause anxiety? If so, please describe why. Sommige documenten van deze gegevens hebben betrekking op mensen, zoals nieuwsartikelen, Wikipedia-beschrijvingen, enz. • Does the dataset relate to people? If not, you may skip the remaining questions in this section. Nee, de dataset bevat niet expliciet subpopulatie-identificatie. • Does the dataset identify any subpopulations (e.g., by age, gender)? If so, please describe how these subpopulations are identified and provide a description of their respective distributions within the dataset. Nee niet • Any other comments? C.3 Verzamelproces De dataset is een unie van vijf openbaar beschikbare datasets. • How was the data associated with each instance acquired? Was the data directly observable (e.g., raw text, movie ratings), reported by subjects (e.g., survey responses), or indirectly inferred/ derived from other data (e.g., part-of-speech tags, model-based guesses for age or language)? If data was reported by subjects or indirectly inferred/derived from other data, was the data validated/verified? If so, please describe how. • De gegevens zijn van internet gedownload. What mechanisms or procedures were used to collect the data (e.g., hardware apparatus or sensor, manual human curation, software program, software API)? How were these mechanisms or procedures validated? Zie de vorige antwoorden voor hoe de dataset is gemaakt. • If the dataset is a sample from a larger set, what was the sampling strategy (e.g., deterministic, probabilistic with specific sampling probabilities)? This data is mined, filtered and sampled by machines. • Who was involved in the data collection process (e.g., students, crowdworkers, contractors) and how were they compensated (e.g., how much were crowdworkers paid)? De CC-News-dataset bevat Engelse nieuwsartikelen die tussen september 2016 en september 2021 zijn gekraald. • Over what timeframe was the data collected? Does this timeframe match the creation timeframe of the data associated with the instances (e.g., recent crawl of old news articles)? If not, please describe the timeframe in which the data associated with the instances was created. Nee niet • Does the dataset relate to people? If not, you may skip the remainder of the questions in this section. • De N/A Did you collect the data from the individuals in question directly, or obtain it via third parties or other sources (e.g., websites)? De N/A • Were the individuals in question notified about the data collection? If so, please describe (or show with screenshots or other information) how notice was provided, and provide a link or other access point to, or otherwise reproduce, the exact language of the notification itself. De N/A • Did the individuals in question consent to the collection and use of their data? If so, please describe (or show with screenshots or other information) how consent was requested and provided, and provide a link or other access point to, or otherwise reproduce, the exact language to which the individuals consented. De N/A • If consent was obtained, were the consenting individuals provided with a mechanism to revoke their consent in the future or for certain uses? If so, please provide a description, as well as a link or other access point to the mechanism (if appropriate). Sommige toxiciteits- en biasbeoordelingen zijn uitgevoerd.Voor deze details raadpleegt u het hoofddocument en de modelkaart. • Has an analysis of the potential impact of the dataset and its use on data subjects (e.g., a data protection impact analysis) been conducted? If so, please provide a description of this analysis, including the outcomes, as well as a link or other access point to any supporting documentation. Nee niet • Any other comments? C.4 Voorbehandeling / reiniging / etikettering De datasets van de componenten ondergingen standaard reinigings- en opnieuw formateringspraktijken, waaronder het verwijderen van repetitieve/niet-informatieve tekst zoals "Chapter One" of "Dit ebook door Project Gutenberg". • Was any preprocessing/cleaning/labeling of the data done (e.g., discretization or bucketing, tokenization, part-of-speech tagging, SIFT feature extraction, removal of instances, processing of missing values)? If so, please provide a description. If not, you may skip the remainder of the questions in this section. De "ruwe" componentdatasets zijn publiekelijk beschikbaar op hun respectieve locaties (meer details zijn te vinden in de respectieve papers gekoppeld aan referenties). • Was the “raw” data saved in addition to the preprocessed/cleaned/labeled data (e.g., to support unanticipated future uses)? If so, please provide a link or other access point to the “raw” data. Nee niet • Any other comments? C.5 Gebruik Ja, deze dataset werd gebruikt om de OPT-modellen voor te trainen. • Has the dataset been used for any tasks already? If so, please provide a description. • https://github.com/facebookonderzoek/ metaseq Is there a repository that links to any or all papers or systems that use the dataset? If so, please provide a link or other access point. Deze gegevens kunnen worden gebruikt om taalmodellen voor te trainen, die de basis vormen voor veel huidige en toekomstige taaltaken. • What (other) tasks could the dataset be used for? De pijpleiding voor het maken van deze datasets opent een manier voor het bouwen van een schaalbare infrastructuur voor mijnbouwdatasets. • Is there anything about the composition of the dataset or the way it was collected and preprocessed/cleaned/labeled that might impact future uses? For example, is there anything that a future user might need to know to avoid uses that could result in unfair treatment of individuals or groups (e.g., stereotyping, quality of service issues) or other undesirable harms (e.g., financial harms, legal risks) If so, please provide a description. Is there anything a future user could do to mitigate these undesirable harms? Niets waarvan we ons op dit moment bewust zijn. • Are there tasks for which the dataset should not be used? If so, please provide a description. Nee niet • Any other comments? C.6 Distributie Niet op dit moment. • Will the dataset be distributed to third parties outside of the entity (e.g., company, institution, organization) on behalf of which the dataset was created? If so, please provide a description. • De N/A How will the dataset will be distributed (e.g., tarball on website, API, GitHub)? Does the dataset have a digital object identifier (DOI)? De N/A • When will the dataset be distributed? De N/A • Will the dataset be distributed under a copyright or other intellectual property (IP) license, and/or under applicable terms of use (ToU)? If so, please describe this license and/or ToU, and provide a link or other access point to, or otherwise reproduce, any relevant licensing terms or ToU, as well as any fees associated with these restrictions. De N/A • Do any export controls or other regulatory restrictions apply to the dataset or to individual instances? If so, please describe these restrictions, and provide a link or other access point to, or otherwise reproduce, any supporting documentation. Nee niet • Any other comments? C.7 Onderhoud Doel van AI. • Who is supporting/hosting/maintaining the dataset? • Verwijst naar het hoofddocument. How can the owner/curator/manager of the dataset be contacted (e.g., email address)? De N/A • Is there an erratum? If so, please provide a link or other access point. Geen actueel updateplan. • Will the dataset be updated (e.g., to correct labeling errors, add new instances, delete instances)? If so, please describe how often, by whom, and how updates will be communicated to users (e.g., mailing list, GitHub)? De N/A • If the dataset relates to people, are there applicable limits on the retention of the data associated with the instances (e.g., were individuals in question told that their data would be retained for a fixed period of time and then deleted)? If so, please describe these limits and explain how they will be enforced. De N/A • Will older versions of the dataset continue to be supported/hosted/maintained? If so, please describe how. If not, please describe how its obsolescence will be communicated to users. Op dit moment is er geen mechanisme beschikbaar. • If others want to extend/augment/build on/contribute to the dataset, is there a mechanism for them to do so? If so, please provide a description. Will these contributions be validated/ verified? If so, please describe how. If not, why not? Is there a process for communicating/ distributing these contributions to other users? If so, please provide a description. Nee niet • Any other comments? Model D kaart Na Mitchell et al. (2018), bieden we een modelkaart voor OPT-175B. D.1 Model details • OPT-175B is ontwikkeld door Meta AI. Person or organization developing model: • OPT-175B werd gelanceerd op 3 mei 2022. Model date: • OPT-175B described in this paper is version 1.0.0. Model version: OPT-175B is een groot decoder-only transformer taalmodel. • Model type: OPT-175B was trained with AdamW for parameter sizes from 125M to 175B. See the Data Card (Appendix C) for information about training data and Section 2.2 - 2.5 for information about the training process. • Information about training algorithms, parameters, fairness constraints or other applied approaches, and features: Zie de rest van dit artikel voor meer details over OPT-175B en de bijbehorende post op de Meta AI Research Blog. • Paper or other resource for more information: De OPT-175B en de kleinere basismodellen worden beschikbaar gesteld via een licentieovereenkomst voor niet-commercieel gebruik die is opgenomen in onze modellicentie.13 • License: • Neem contact op met de respectieve auteurs {susanz,roller,namangoyal}@fb.com voor eventuele vragen of opmerkingen. Where to send questions or comments about the model: D.2 Bedoeld gebruik We geven OPT-175B vrij voor onderzoek naar taalmodellen, vooral wat betreft Responsible AI. Zie sectie 6 voor meer gedetailleerde overwegingen over release. • Primary intended uses: We richten ons voornamelijk op onderzoekers en de gerelateerde onderzoeksgemeenschap. • Primary intended users: • OPT-175B wordt niet vrijgegeven voor productiegebruik of real-world-implementaties.Zoals we in Sectie 5 opmerken, heeft OPT-175B, net als soortgelijke grote taalmodellen, een verscheidenheid aan tekortkomingen die het te vroeg maken voor commercieel gebruik. Out-of-scope use cases: D.3 Gegevens, beperkingen en aanbevelingen De trainingsgegevens voor OPT-175B zijn geselecteerd op basis van een combinatie van breedte en beschikbaarheid.Zie onze gegevenskaart (Aanhangsel C) voor meer gedetailleerde informatie over de gegevens die worden gebruikt om ons model te trainen. • Data selection for training: • Gezien de bezorgdheid in de gemeenschap over de veiligheid en eerlijkheid van grote taalmodellen in het algemeen, bieden we ook expliciet beoordelingen over Responsible AI (zie rubriek 4). Data selection for evaluation: Net als andere grote taalmodellen waarvoor de verscheidenheid (of het ontbreken daarvan) van trainingsgegevens een downstream-impact op de kwaliteit van ons model veroorzaakt, heeft OPT-175B beperkingen op het gebied van vooroordelen en veiligheid. OPT-175B kan ook kwaliteitsproblemen hebben op het gebied van generatieverscheidenheid en hallucinatie. Over het algemeen is OPT-175B niet immuun voor de overvloed aan problemen die moderne grote taalmodellen plagen. Door met een niet-commerciële licentie vrij te geven, hopen we ook de communicatie, transparantie en studie van de problemen van grote taalmodellen te vergroten, vooral op gebieden die mogelijk niet in lijn zijn met commerciële belangen. • Limitations: We hopen dat de release van OPT-175B, evenals informatie over ons modelopleidingsproces, de open wetenschap rondom zowel grote taalmodellen in specifieke en natuurlijke taalverwerking en diep leren in het algemeen zal vergroten. • Recommendations for future work: E Sample Model outputs Voor alle steekproefuitgangen wordt de oorspronkelijke prompt gegeven in ruwe en de rest is de voortzetting.Deze steekproefuitgangen zijn opzettelijk geselecteerd om zowel succes als falen van het OPT-175B-model te benadrukken. Dit document is verkrijgbaar onder CC by 4.0 Deed (Attribution 4.0 International) licentie. Dit document is verkrijgbaar onder CC by 4.0 Deed (Attribution 4.0 International) licentie.