OPT-175B ir salīdzināms ar GPT-3, kamēr nepieciešams tikai 1/7th oglekļa pēdas nospiedums

OPT: Open Pre-trained Transformer Language Models OPT: Atvērti iepriekš apmācīti transformatoru valodas modeļi Autori : Susan Zhang, Meta AI (susanz@fb.com) Stephen Roller, Meta AI (roller@fb.com) Naman Goyal, Meta AI (naman@fb.com) Mikel Artetxe, Meta AI Moya Chen, Meta AI Shuohui Chen, Meta AI Christopher Dewan, Meta AI Mona Diab, Meta AI Xian Li, Meta AI Xi Victoria Lin, Meta AI Todors Mihajlovs, Meta AI Myle Ott, Meta AI Sam Shleifer, Meta AI Kurt Shuster, Meta AI Daniel Simig, Meta AI Punit Singh Koura, Meta AI Anjali Sridhar, Meta AI Tianlu Wang, Meta AI Luke Zettlemoyer, Meta AI Autori : Susan Zhang, Meta AI (susanz@fb.com) Stīvens Rolers, Meta AI (roller@fb.com) Naman Goyal, Meta AI (naman@fb.com) Mikel Artetxe, Meta AI Moja Čen, Meta AI Shuohui Čen, Meta AI Kristofers Dewan, Meta AI Mona Diab, Meta AI Xian Li, Meta AI Xi Viktorija Lin, Meta AI Todors Mihajlovs, Meta AI Mīlestība, Meta AI Sems Šleifers, Meta AI Kurts Šusteris, Meta AI Daniels Simigs, Meta AI Punit Singh Koura, Meta AI Anžela Šridhara, Meta AI Tianlu Wang, Meta AI Lūks Zettlemojers, Meta AI Abstraktā Lieli valodu modeļi, kas bieži tiek apmācīti simtiem tūkstošu skaitļošanas dienu laikā, ir parādījuši ievērojamas iespējas nulles un dažu šāvienu mācīšanai. Ņemot vērā to aprēķina izmaksas, šos modeļus ir grūti replicēt bez ievērojama kapitāla. Dažiem, kas ir pieejami, izmantojot API, nav piešķirta piekļuve pilnajiem modeļa svariem, padarot tos grūti izpētīt. Mēs piedāvājam Open Pre-Trained Transformers (OPT), dekodera-tikai iepriekš apmācītu transformatoru komplektu, kas svārstās no 125M līdz 175B parametriem, kuru mērķis ir pilnībā un atbildīgi dalīties ar ieinteresētiem pētniekiem. Mēs parādām, ka OPT-175B ir salīdzināms ar GPT-3,1 1 Ievads Liela mēroga valodu modeļi (LLM), kas apmācīti masveida teksta kolekcijās, ir parādījuši pārsteidzošas jaunas spējas ģenerēt tekstu un veikt nulles un dažu šāvienu mācīšanos (Brown et al., 2020; Lieber et al., 2021; Smith et al., 2022; Rae et al., 2021; Chowdhery et al., 2022). Šī ierobežotā piekļuve ir ierobežojusi pētnieku spēju pētīt, kā un kāpēc šie lieli valodas modeļi darbojas, kavējot progresu, uzlabojot zināmas problēmas tādās jomās kā izturība, aizspriedumi un toksicitāte. Šajā tehniskajā ziņojumā mēs iepazīstinām ar Open Pretrained Transformers (OPT), dekoderiem sagatavotu transformatoru komplektu, kas svārstās no 125M līdz 175B parametriem, kuru mērķis ir pilnībā un atbildīgi dalīties ar ieinteresētiem pētniekiem. Mēs apmācām OPT modeļus, lai aptuveni atbilstu GPT-3 modeļu klases veiktspējai un izmēriem, vienlaikus piemērojot arī jaunāko paraugpraksi datu vākšanā un efektīvā apmācībā. Mūsu mērķis šajā OPT modeļu komplekt Riska, kaitējuma, aizspriedumu un toksicitātes definīcijas utt. vajadzētu formulēt kopējai pētniecības kopienai kopumā, kas ir iespējams tikai tad, ja modeļi ir pieejami pētniecībai. Mēs izlaižam visus mūsu modeļus starp 125M un 66B parametriem un pēc pieprasījuma nodrošināsim pilnīgu pētniecības piekļuvi OPT-175B. Pieeja tiks piešķirta akadēmiskajiem pētniekiem; tiem, kas ir saistīti ar organizācijām valdībā, pilsoniskajā sabiedrībā un akadēmijā; un tiem, kas ir nozares pētniecības laboratorijās. Mēs arī izlaižam gan mūsu modeļu izveides žurnālu, gan mūsu kodubāzi, metaseq,3 kas ļāva apmācīt OPT-175B uz 992 80GB A100 GPU, sasniedzot 147 TFL No šīs ieviešanas, izmantojot jaunākās paaudzes NVIDIA aparatūru, mēs varam izstrādāt OPT-175B, izmantojot tikai 1/7th GPT-3 oglekļa dioksīda pēdas nospiedumu. Kaut arī tas ir nozīmīgs sasniegums, šāda modeļa radīšanas enerģijas izmaksas joprojām ir nontriviālas, un atkārtoti centieni replicēt šāda izmēra modeli tikai palielinās šo LLM pieaugošo aprēķinu pēdu. Mēs uzskatām, ka visa AI kopiena - akadēmiskie pētnieki, pilsoniskā sabiedrība, politikas veidotāji un nozare - ir jāstrādā kopā, lai izstrādātu skaidras vadlīnijas par atbildīgu AI kopumā un atbildīgi LLM jo īpaši, ņemot vērā to centrālo lomu daudzās valodu lietojum 2 Metodes 2.1 Modeļi Mēs prezentējam rezultātus par astoņiem Transformer valodas modeļiem, kas svārstās no 125 miljoniem līdz 175 miljardiem parametru.Arhitektūras detaļas ir parādītas Tabulā 1.Pārredzamības labad un, lai samazinātu apmācības nestabilitātes risku, mūsu modeļi un hiperparametri lielā mērā seko Brown et al. (2020), ar partiju izmēra izmaiņām galvenokārt, lai iegūtu lielāku aprēķinu efektivitāti. 2.2 Apmācība Lai sāktu svaru, mēs ievērojam tos pašus iestatījumus, kas paredzēti Megatron-LM kodubāzē,4 izmantojot normālu sadalījumu ar nulles vidējo un standarta novirzi 0,006. standarta novirzi par izejas slāņiem skalē ar 1.0/ √ 2L terminu, kur L ir kopējais slāņu skaits. Mēs izmantojam AdamW optimizatoru (Loshchilov un Hutter, 2017) ar (β1, β2) iestatījumu (0,9, 0,95), un svara zudums ir 0,1. Mēs ievērojam lineāro mācīšanās ātruma grafiku, uzsildot no 0 līdz maksimālajam mācīšanās ātrumam pirmajos 2000 soļos OPT-175B, vai vairāk nekā 375M zīmes mūsu mazākajās pamatlīnijās, un samazinot līdz 10% no maksimālā LR vairāk nekā 300B zīmes. Arī bija nepieciešamas vairākas izmaiņas lidojuma vidū LR (skatīt 2.5. iedaļu). Mūsu partiju izmēri svārstās no 0.5M līdz 4M atkarībā no modeļa lieluma (skatīt 1. tabulu) un tiek saglabāti pastāvīgi visā apmācības gaitā. Mēs izmantojam 0,1 lejupslīdi visā, bet mēs neizmantojam jebkādu lejupslīdi iesaiņojumiem. Mēs noklikšķinām uz gradienta normām 1,0, izņemot dažas viduslaiku izmaiņas, kas samazina šo slieksni no 1,0 līdz 0,3 (skatīt 2.5. iedaļu). Mēs arī iekļaujam gradienta predivīda faktoru, lai samazinātu over/underflows risku, aprēķinot gradientu visās rindās (sadalot sadalījumu pēc N pasaules lieluma divās sadalīšanas operācijās ar √ N). 2.3 Priekšapmācības korpuss Pirmsapmācības korpusā ir datu kopums, ko izmanto RoBERTa (Liu et al., 2019b), Pile (Gao et al., 2021a) un PushShift.io Reddit (Baumgartner et al., 2020; Roller et al., 2021). Visi korpusi iepriekš tika savākti vai filtrēti, lai saturētu galvenokārt angļu tekstu, bet neliels daudzums ne-angļu valodas datu joprojām ir klāt korpusā, izmantojot CommonCrawl. Mēs noņēma dublētus dokumentus visās datu kopās, filtrējot dokumentus, izmantojot MinhashLSH (Rajaraman un Ullman, 2011) ar Jaccard līdzību ≥ .95. Mēs atklājām, ka Pile bija gandrīz pilns ar dublētiem dokumentiem, un iesakām nākotnes pētniekiem Mēs iekļuvām BookCorpus (Zhu et al., 2015) un Stories (Trinh un Le, 2018) apakšsistēmā no RoBERTa korpusa un izmantojām atjauninātu CCNews versiju, kurā ir ziņas, kas nokasītas līdz 2021. gada 28. septembrim. RoBERTa Mēs iekļāvām Pile apakšsistēmu (Gao et al., 2021a), tostarp: CommonCrawl, DM Mathematics, Project Gutenberg, HackerNews, OpenSubtitles, OpenWebText2, USPTO un Wikipedia. Citas Pile apakšsistēmas tika likvidētas, jo mēs atklājām, ka tās palielina nestabilitātes risku, ko mēra ar tendenci izraisīt pīķus gradientu normās 1.3B mērogā, vai arī tika uzskatītas par citādi nepiemērotām. Visas apakšsistēmas izturēja papildu ad-hoc baltajā telpā normalizāciju. The Pile Mēs iekļāvām daļu no Pushshift.io korpusa, ko izgatavoja Baumgartner et al. (2020) un iepriekš izmantoja Roller et al. (2021). Lai konversijas kokus pārvērstu par valodas modeļa pieejamiem dokumentiem, mēs izņemām garāko komentāru ķēdi katrā virzienā un izmetām visus citus ceļus kokā. PushShift.io Reddit 2.4 Apmācības efektivitāte Mēs apmācījāmies OPT-175B uz 992 80GB A100 GPU, izmantojot Pilnīgi Sharded Data Parallel (Artetxe et al., 2021) ar Megatron-LM Tensor Parallelism (Shoeybi et al., 2019). Mēs ziņojām par izmantošanu līdz pat 147 TFLOP/s par GPU. Mēs saglabājam Adam statusu FP32, jo mēs to sadalām visās saimniecībās, bet modeļa svars palika FP16. Lai izvairītos no underflows, mēs izmantojām dinamisko zaudējumu skalēšanu, kā aprakstīts Micikevicius et al. (2017). 2.5 Apmācības veidi Šeit mēs aprakstām nozīmīgus apmācības procesa pielāgojumus, kas radušies OPT-175B pirmsapmācības laikā. OPT-175B apmācības laikā mēs saskārāmies ar ievērojamu skaitu aparatūras kļūmju mūsu aprēķinu klasterī. Kopumā aparatūras kļūmes veicināja vismaz 35 manuālos restartus un vairāk nekā 100 saimnieku riteņbraukšanu 2 mēnešu laikā. Manuālā restartēšanas laikā apmācības brauciens tika pārtraukts un tika veikta virkne diagnostikas testu, lai atklātu problemātiskus mezglus. Hardware Failures Zaudējumu atšķirības bija arī problēma mūsu apmācības braucienā. Kad zaudējumi atšķīrās, mēs atklājām, ka mācīšanās ātruma pazemināšana un atsākšana no iepriekšējā pārbaudes punkta ļāva darbam atgūties un turpināt apmācību. Mēs pamanījām korelāciju starp zaudējumu atšķirībām, mūsu dinamisko zaudējumu skalaru sabrukumu līdz 0, un pēdējā slāņa palielināšanas aktivāciju l 2 -normu. Šie novērojumi noveda pie tā, ka mēs izvēlējāmies atkārtot punktus, kur mūsu dinamisko zaudējumu skalaru joprojām bija "veselīgā" stāvoklī (≥ 1.0), un pēc tam mūsu aktivācijas normas tendētu samazināties, nevis augt bez ierobežojumiem. Mūsu empīriskais LR grafiks Loss Divergences Tie ietvēra: pāreju uz vaniljas SGD (optimizācija strauji platoja, un mēs atgriezāmies atpakaļ uz AdamW); dinamiskās zaudējumu skalārā (tas palīdzēja atgūt dažas, bet ne visas novirzes); un pāreju uz jaunāku Megatron versiju (tas samazināja spiedienu uz aktivēšanas normām un uzlaboja caurlaidību). Other Mid-flight Changes 3 Novērtējums 4.1 Prompting & Few-Shot uzņemšana Mēs novērtējam mūsu modeli par 16 standarta NLP uzdevumiem, kas izmantoti literatūrā: HellaSwag (Zellers et al., 2019), StoryCloze (Mostafazadeh et al., 2016), PIQA (Bisk et al., 2020), ARC Easy and Challenge (Clark et al., 2018), OpenBookQA (Mihaylov et al., 2018), WinoGrad (Levesque et al., 2011), WinoGrande (Sakaguchi et al., 2020), un SuperGLUE (Wang et al., 2019). Mēs sekojam GPT-3 (Brown et al., 2020), izmantojot viņu ielūgumus un vispārējo eksperimentālo iestatījumu. Mēs galvenokārt salīdzinām ar GPT-3, kuru mērķis ir atkārtoti īstenot to novērtēšanas uzdevumu iestatījumus, bet ietver arī citu LLM Kopumā mēs redzam, ka mūsu vidējā veiktspēja seko GPT-3 tendencēm. Tomēr veiktspēja var radikāli atšķirties starp uzdevumiem: pilnīgai sadalīšanai skatiet A pielikumu. Ņemiet vērā, ka mēs apzināti no šiem vidējiem rādītājiem izņemam MultiRC un WIC, jo šie datu kopumi, šķiet, sistemātiski atbalsta GPT-3 vai OPT nesamērīgi. Mūsu veiktspēja aptuveni atbilst GPT-3 šajos 3 uzdevumos (56, 277, 104 piemēri, attiecīgi) un ir nepietiekami veikta 3 uzdevumos (ARC Challenge un MultiRC). 3 uzdevumos (CB, BoolQ, OPSC) mēs konstatējam, ka gan GPT, gan OPT modeļi var rādīt neparedzamu uzvedību salīdzinājumā ar iespēj Zero-shot Chinchilla (Hoffmann et al., 2022) un Gopher (Rae et al., 2021) darbojas aptuveni konsekventi ar citiem parametru izmēriem, savukārt PaLM (Chowdhery et al., 2022) parasti darbojas labāk visos iestatījumos, pat tad, ja tiek kontrolēts parametru skaits. Vidējā vairāku šāvienu nekonteksta veiktspēja ir parādīta 4. attēlā (atkal, izlaižot MultiRC un WIC), ar detalizētu veiktspēju, kas parādīta A pielikumā. Visā visu rādītāju vidū mēs konstatējam, ka OPT modeļi darbojas līdzīgi GPT-3 modeļiem. Tomēr, tāpat kā ar nulles šāvienu, šo rezultātu sadalīšana pēc uzdevuma parāda citu stāstu: tajā pašā 10 datu kopu kopā kā nulles šāvienu mēs redzam līdzīgu veiktspēju abos modeļos. Daži no atlikušajiem datu kopumiem parāda neatbilstošu veiktspēju attiecībā uz modeļa izmēru gan OPT, gan GPT-3 modeļiem (BoolQ, CB, WSC, RTE). MultiRC mēs konsekventi redzam OPT mode One-shot and Few-shot 3.2 Dialogs Ņemot vērā, ka LLM ir zināms, ka ir neatņemama mūsdienu dialoga modeļu sastāvdaļa (Adiwardana et al., 2020; Roller et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Chowdhery et al., 2022), mēs papildus izvērtējam OPT-175B vairākos atvērtā koda dialoga datu kopos. Jo īpaši mēs sekojam Roller et al. (2021), un izvērtējam ConvAI2 (Dinan et al., 2020b), Vikipēdijas vednis (Dinan et al., 2019b), Empatic Dialoges (Rashkin et al., 2019), un Blended Skill Talk (Smith et al., 2020). Mēs papildus izvērtējam jaunāko Interneta datu kopu vedni (Kome et al., 2021). Mēs galvenokārt koncentr Mēs arī salīdzinām ar smalki pielāgoto R2C2 BlenderBot, 2.7B parametru BlenderBot līdzīgu modeli, ko apmācīja Shuster et al. (2022). Mēs ziņojam par Perplexity un Unigram F1 (UF1) pārklāšanos, ievērojot ConvAI2 konkursa metrikas (Dinan et al., 2020b). Lai kontrolētu atšķirīgu tokenizāciju katrā no modeļiem, mēs normalizējam visas neskaidrības, lai būtu GPT-2 tokenizētāja telpā (Radford et al., 2019). Mēs arī atzīmējam, kuri modeļi tiek uzraudzīti attiecībā uz šiem dialoga uzdevumiem un kuri nav uzraudzīti. OPT-175B gadījumā visas paaudzes tiek veiktas, izmantojot alkatīgu dekodēšanu līdz 32 žetoniem Mēs redzam, ka OPT-175B ievērojami pārspēj arī neuzraudzīto Reddit 2.7B modeli visos uzdevumos un darbojas konkurētspējīgi ar pilnībā uzraudzīto BlenderBot 1 modeli, it īpaši ConvAI2 datu kopumā. Mēs bijām nedaudz pārsteigti, ka novērtējumi par neuzraudzīto OPT-175B modeli bija tikpat konkurētspējīgi kā BlenderBot 1 ConvAI2 datu kopā. Tas var liecināt par ConvAI2 datu kopas noplūdi vispārējā pirmsapmācības korpusā vai pat validācijas datiem, kā novērtēts 2. tabulā. Lai risinātu bažas par noplūdi, mēs meklējām mūsu pirmsapmācības korpusu par pirmo sarunu ConvAI2 datu kopā, bet mēs neatrada nekādas pārklāšanās. Mēs papildus novērtējām OPT-175B par ConvAI2 slēpto testu kopu, kas nekad nav bijis publiski izlaists, un panākām 10,7 ppl un 185 UF1, kas atbilst validācijas kopas veiktspējai. 4 Bias un toksicitātes novērtējumi Lai saprastu OPT-175B potenciālo kaitējumu, mēs izvērtējam virkni kritēriju, kas saistīti ar naida runas atklāšanu, stereotipu izpratni un toksiska satura radīšanu. Lai gan šajos kritērijos var būt trūkumi (Blodgett et al., 2021; Jacobs and Wallach, 2021), šie mērījumi sniedz pirmo soli, lai saprastu OPT-175B ierobežojumus. 4.1 Nāves runas atklāšana Izmantojot ETHOS datu kopu, kas sniegta Mollas et al. (2020) un ko instrumentē Chiu un Aleksandrs (2021), mēs mēra OPT-175B spēju noteikt, vai daži angļu izteikumi ir rasistiski vai seksistiski (vai ne). Nulle, viens, un daži šāvieni binārajos gadījumos modelis tiek prezentēts ar tekstu un tiek lūgts apsvērt, vai teksts ir rasistisks vai seksistisks un sniedz jā/nē atbildi. Ar visām mūsu vienreizējām konfigurācijām OPT175B darbojas ievērojami labāk nekā Davinci. Mēs spekulējam, ka tas notiek no diviem avotiem: (1) novērtēšana, izmantojot Davinci API, var radīt drošības kontroles mehānismus, kas pārsniedz sākotnējo 175B GPT-3 modeli, ko izmanto Brown et al. (2020); un (2) ievērojama sociālo mediju diskusiju klātbūtne pirmsapmācības datu kopumā ir nodrošinājusi papildu induktīvu aizspriedumu, lai palīdzētu šādos klasifikācijas uzdevumos. 4.2 Crows pāri Izstrādāts maskētiem valodas modeļiem, CrowSPairs (Nangia et al., 2020) ir crowdsourced benchmark, kura mērķis ir izmērīt intrasentence līmeņa aizspriedumus 9 kategorijās: dzimums, reliģija, rase / krāsa, seksuālā orientācija, vecums, tautība, invaliditāte, fiziskā izskats un sociālekonomiskais statuss. Katrs piemērs sastāv no pāriem teikumiem, kas pārstāv stereotipu vai anti-stereotipu, attiecībā uz noteiktu grupu, ar mērķi izmērīt modeļa priekšroku stereotipiskām izteiksmēm. Salīdzinot ar Davinci 4. tabulā, OPT175B, šķiet, demonstrē vairāk stereotipu aizspriedumus gandrīz visās kategorijās, izņemot reliģiju. Vēlreiz, tas, iespējams, ir saistīts ar atšķirībām apmācības datiem; Nangia et al. (2020) parādīja, ka Pushshift.io Reddit korpusam ir augstāks stereotipu un diskriminējoša teksta sastopamības rādītājs nekā citām korpusa (piemēram, Wikipedia). Ņemot vērā, ka tas ir OPT-175B primārais datu avots, modelis var būt iemācījies vairāk diskriminējošas asociācijas, kas tieši ietekmē tā sniegumu CrowS-Pairs. 4.3 Stereotipi Pēc Lieber et al. (2021) un Artetxe et al. (2021), mēs izmantojam StereoSet (Nadeem et al., 2021), lai izmērītu stereotipiskās aizspriedumus 4 kategorijās: profesija, dzimums, reliģija un rase. Papildus intrasentences mērījumam (līdzīgs CrowSPairs), StereoSet ietver mērījumus intersentences līmenī, lai pārbaudītu modeļa spēju iekļaut papildu kontekstu. Valodas modelēšanas rādītājs (LMS) un stereotipu rādītājs (SS), kas pēc tam tiek apvienoti, lai izveidotu Idealizēto kontekstu asociācijas testa rādītāju (ICAT). Atšķirībā no Lieber et al. (2021), mēs normalizējam rādītājus pēc zīmuļu skaita, nevis pēc rakstzīmju skaita, par kuru viņi ziņo, uzlabo metriku vairākiem modeļiem. Rezultāti ir parādīti 5. tabulā. Mēs redzam, ka Davinci un OPT-175B uzrāda līdzīgus rādītājus agregātā (kopumā ICAT ir ļoti tuvu starp abiem). Jo īpaši, Davinci pārsniedz profesijas un rases jomās, bet OPT-175B pārsniedz dzimuma un reliģijas jomā. OPT175B darbojas labāk SS metrikā, 4.4 RealToxicityPrompts Nākotnē mēs izvērtējam OPT-175B specifisko tendenci reaģēt ar toksisku valodu, izmantojot RealToxicityPrompts (Gehman et al., 2020) datu kopumu. Pēc šī PaLM (Chowdhery et al., 2022), mēs paraugam 25 paaudzes no 20 žetoniem, izmantojot kodola paraugu ņemšanu (Holtzman et al., 2020) (p = 0.9) katram no 10 000 izlases izlases izlases izlases izlases no RTP, un ziņojam par turpinājumu vidējo toksicitātes varbūtību, kas ir stratificēta starp sākotnējo izlases bucketed toksicitātes. Salīdzinājumam, mēs ziņojam par bucketed toksicitātes likmēm no Davinci un PaLM. Rezultāti ir parādīti 5. attēl 4.5 Dialogu drošības novērtējumi Visbeidzot, mēs salīdzinām OPT-175B divos Dialogu drošības novērtējumos. Pirmais, SaferDialogues (Ung et al., 2021), mēra spēju atgūties no skaidriem drošības neveiksmēm, parasti atvainošanās vai kļūdas atzīšanas veidā. Otrs, drošības banku vienības testi (Dinan et al., 2021), mēra, cik nedroša ir modeļa reakcija, stratificēta 4 tēmas jutības līmeņos: droša, reālistiska, nedroša un pretrunīga. Tāpat kā ar citiem dialoga novērtējumiem (3.2. iedaļa), mēs salīdzinām ar vairākiem esošajiem atvērtā koda dialoga modeļiem. Abu eksperimentu rezultāti ir parādīti 6. tabulā. Mēs novērojam, ka OPT-175 5 Ierobežojumi 3.1. un 4. iedaļā mēs veicām visaptverošu visu izlaisto modeļu novērtējumu dažādos mērogos. Mēs redzējām, ka GPT-3 modeļos izmantoto standarta novērtējuma datu kopu veiktspēja ir vienāda. Turklāt mēs veicām drošības, aizspriedumu un iekļaušanas novērtējumus, atkal redzot lielā mērā salīdzināmu veiktspēju ar dažām toksicitātes un naida runas noteikšanas variācijām. Tomēr šādas novērtēšanas var nebūt pilnībā raksturīgas šo modeļu pilnīgajiem ierobežojumiem. Kopumā mēs kvalitatīvi novērojam, ka OPT-175B cieš no tādiem pašiem ierobežojumiem, kas atzīmēti citos LLM (Brown et al., 2020; Lieber et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Smith et al Prasot ar šādām instrukcijām, mēdz rasties dialoga simulācija, kas sākas ar šādu instrukciju, nevis instrukcijas izpilde. Nākotnes darbs instrukcijas mācīšanās procesā InstructGPT (Ouyang et al., 2022) vēnās var mazināt šos ierobežojumus. OPT-175B arī mēdz būt atkārtojošs un var viegli nokļūt sloksnē. Kamēr paraugu ņemšana var samazināt atkārtojošas uzvedības biežumu (Holtzman et al., 2020), mēs anekdotiski konstatējām, ka tas to pilnībā neiznīcina, kad tiek ņemta tikai viena paaudze. Nākotnē darbs var vēlēties iekļaut vairāk modernas stratēģijas atkārtošanās samazināšanai un daudzveidības uzlabošanai, piemēram, neiespējamības apmāc Līdzīgi kā citi LLM, OPT-175B var radīt faktiski nepareizus apgalvojumus (Adiwardana et al., 2020; Brown et al., 2020; Roller et al., 2021; Rae et al., 2021; Chowdhery et al., 2022; Thoppilan et al., 2022). Tas var būt īpaši kaitīgs lietojumprogrammās, kurās informācijas precizitāte ir kritiska, piemēram, veselības aprūpe un zinātniski atklājumi (Weidinger et al., 2022b). Nesen vairākus centienus ziņoja, ka atgūšanas palielinātie modeļi var uzlabot LLM faktisko pareizību (Lewis et al., 2020; Komeili et al., 2021; Thoppilan et al., 2022; Borgeaud et al., 2021; Shuster et al., 2022; Nakano et al., 2021). Mēs Ir veikts liels darbs, lai mazinātu toksicitāti un aizspriedumus (Dathathri et al., 2019; Dinan et al., 2019a; Sheng et al., 2019; Dinan et al., 2020a; Liu et al., 2019a; Krause et al., 2020; Xu et al., 2020; Liang et al., 2021; Dinan et al., 2021a; Xu et al., 2021a; Dhamala et al., 2021; Schick et al., 2021; Ouyang et al., 2022). Atkarībā no turpmākajām lietojumprogrammām OPT-175B turpmākajai izmantošanai var būt jāizmanto šīs vai jaunas mazināšanas pieejas, it īpaši pirms jebkādas reālās pasaules izvietošanas. Ņemot vērā mūsu galveno mērķi kā GPT-3 replikāciju, mēs izvēlamies nepiemērot šos mazināšanas Neskatoties uz datu lapu un modeļu karšu iekļaušanu, mēs uzskatām, ka apmācību datiem ar papildu datu raksturojumu un atlases kritērijiem būtu jāpiešķir lielāka pārbaude, lai datus izmantotu atbildīgi. Pašreizējā prakse ir nodrošināt modeli ar pēc iespējas vairāk datu un minimālu atlases līmeni šajos datu kopumos. Neskatoties uz visaptverošiem novērtējumiem, ideālā gadījumā mums būtu vairāk racionalizētu un konsekventu novērtējuma iestatījumu, lai nodrošinātu novērtēšanas scenāriju reproducējamību un atkārtojamību. Atšķirības ieteicamajos stilos un kontekstā mācīšanās šāvienu skaitā varētu radīt variācijas, kas novedīs pie atšķirīgiem rezultātiem. 6 Apsvērumi par atbrīvošanu Saskaņā ar ieteikumiem atsevišķiem pētniekiem, ko izveidoja Partnerība AI,7 kopā ar vadības vadlīnijām, ko izklāstīja NIST,8 mēs atklājam visas detaļas, kas saistītas ar OPT-175B apmācību, izmantojot mūsu žurnālu,9 mūsu kodu, un sniedzot pētniekiem piekļuvi OPT-175B modeļa svariem, kā arī mazāku bāzes līniju komplektu, kas atspoguļo OPT175B uzstādīšanu. Mēs cenšamies būt pilnībā atbildīgi par OPT-175B attīstības dzīves ciklu, un tikai palielinot pārredzamību saistībā ar LLM izstrādi, mēs varam sākt saprast LLM ierobežojumus un riskus, pirms notiek plašāka izvietošana. Kopīgojoties ar detalizētu pārskatu par mūsu ikdienas apmācības procesu, mēs atklājam ne tikai to, cik daudz datoru tika izmantots, lai apmācītu pašreizējo OPT-175B versiju, bet arī cilvēka pārpalikumu, kas nepieciešams, kad pamatā esošā infrastruktūra vai apmācības process pats kļūst nestabils mērogā. Šīs detaļas parasti tiek izlaistas no iepriekšējām publikācijām, iespējams, pateicoties nespējai pilnībā apspiest izmaiņas, kas veiktas lidojuma vidū (neparasti palielinot Ārpus šīm piezīmēm pati metaseq kodu bāze ir galīgais patiesības avots daudzās mūsu īstenošanas detaļās. Izlaižot mūsu izstrādes kodu bāzi, mēs cenšamies izgaismot jebkuru īstenošanas detaļu, kas šajā dokumentā varētu būt izlaists, jo to uzskata par standarta prakses detaļu šajā jomā, vai vienkārši par detaļu, ko mēs neesam izskaidrojuši. Šī pašreizējā kodu bāze ir arī vienīgā zināma atvērtā koda ieviešana, apmācot dekoderu transformatoru, kas ir ≥175B parametri bez NVIDIA GPU cauruļvadu paralēliem. Lai ļautu eksperimentēt 175B mērogā, mēs pētniekiem nodrošinām tiešu piekļuvi OPT-175B parametriem. Pamatojums šeit ir divkāršs: ļaut atbildīgam AI pētījumam LLM, vienlaikus samazinot pētījumu veikšanas ietekmi uz vidi šajā mērogā. Ir arvien vairāk darbu, kas detalizē ētiskos un sociālos riskus, izmantojot valodu modeļus ar jaunām iespējām mērogā (Weidinger et al., 2021a; Bommasani et al., 2021; Dinan et al., 2021; Kenton et al., 2021). Ierobežojot piekļuvi OPT-175B pētniecības kopienai ar nekomerciālu licenci, mēs cenšamies koncentrēties uz attīstības centieniem, lai vispirms kvantitatīvi noteiktu LLM ierobežojumus, pirms notiek plašāka komerciāla iz Turklāt ir ievērojamas aprēķinu un oglekļa izmaksas, lai reproducētu šāda izmēra modeļus. Kamēr OPT-175B tika izstrādāts ar aplēstu oglekļa emisiju pēdu (CO2eq) 75 tonnas,10 GPT-3 tika lēsts izmantot 500 tonnas (Patterson et al., 2021), bet Gopher pieprasīja 380 tonnas (Rae et al., 2021). Šie aprēķini nav vispārīgi ziņoti, un šo aprēķinu grāmatvedības metodoloģijas arī nav standartizētas. Turklāt modeļu apmācība ir tikai viena daļa no AI sistēmu kopējās oglekļa pēdas; mums arī jāapsver eksperimenti un iespējamās lejupslīdes izmaksas, kas visas veicina lielapjoma modeļu radīšanas pieaugošo enerģijas pēdu (Wu et al Izlaižot mūsu dienasgrāmatu, mēs ceram uzsvērt atšķirību starp teorētisko oglekļa izmaksu aprēķinu, kas neuzskata par aparatūras neveiksmēm vai apmācības nestabilitāti, salīdzinājumā ar vienu, kura mērķis ir iekļaut visu LLM attīstības dzīves ciklu. Līdzīgi, ražojot pamatlīniju kopumu plašā mērogā, mēs ceram ļaut plašākai pētniecības kopienai izpētīt šo modeļu ietekmi un ierobežojumus attiecībā tikai uz mērogu. Kā ziņots Hoffmann et al. (2022), daudzi no šiem LLM var būt nepietiekami apmācīti kā izmantoto apmācības datu apjoma funkcija, kas nozīmē, ka, iekļaujot vairāk datu un turpinot apmācīt šos pamatlīnijas modeļus, var turpināt uzlabot veiktspēju. Ir arī pierādījumi, ka pakāpeniskas funkcijas izmaiņas spējās var notikt mērogā, kas ir daudz mazāks par 175B (Wei et al., 2021), kas norāda uz nepieciešamību izpētīt plašāku mērogu dažādiem pētniecības pielietojumiem. 7 Saistītie darbi Kopš Transformer arhitektūras (Vaswani et al., 2017) un BERT (Devlin et al., 2019) publicēšanas NLP joma ir piedzīvojusi milzīgu pārmaiņu virzienā uz LLM izmantošanu ar pašpārraudzītu pirmsapmācību. Vairāki maskētie langauge modeļi, tostarp T5 (Raffel et al., 2020) un MegatronLM (Shoeybi et al., 2019), ir parādījuši konsekventus uzlabojumus mērogā. Šie mēroga ieguvumi rodas ne tikai no kopējā modeļu parametru skaita pieauguma, bet arī no pirmsapmācības datu apjoma un kvalitātes (Liu et al., 2019b; Hoffmann et al., 2022). Auto-regresīvie valodu modeļi (Mikolov et al., 2009) ir redzējuši Rezultātā iegūtais milzīgs uzlabojums ģeneratīvās plūsmas un kvalitātes jomā vispirms tika raksturots GPT-2 (Radford et al., 2019) un vēl vairāk uzlabots ar GPT-3 (Brown et al., 2020) un vēlākiem modeļiem. Lai gan tagad ir apmācīti ļoti lieli (vairāk nekā 100B parametru) ģeneratīvie modeļi (Lieber et al., 2021; Rae et al., 2021; Thoppilan et al., 2022; Smith et al., 2022; Chowdhery et al., 2022), tie visi ir slēgts avots un pieejami tikai iekšēji vai ar apmaksātu API pakalpojumu starpniecību. Ir daži ievērojami centieni atvērt LLM no bezpeļņas pētniecības organizācijām, tostarp EleutherAI (Black et al., 2022) un BigSci Šie modeļi atšķiras no OPT modeļiem pirmsapmācības datiem, mērķa valodām un modeļa mērogā, ļaujot kopienai salīdzināt dažādas pirmsapmācības stratēģijas. Kopš Brown et al. (2020), primārais novērtēšanas kritērijs LLM ir balstīts uz īsziņām (Black et al., 2022; Rae et al., 2021; Chowdhery et al., 2022), kā arī tiek veikts šajā dokumentā. Tas lielā mērā ir saistīts ar to, ka ir ērti novērtēt daudzus uzdevumus bez specializētas uzdevumu specifiskas smalkas pielāgošanas. Prompting ir ilga vēsture: cloze novērtējumi iet atpakaļ vairākas desmitgades (Chambers un Jurafsky, 2008; Mostafazadeh et al., 2016). Vēlāk, prompt Tomēr efektīva prompt inženierija joprojām ir atklāts pētniecības izaicinājums. Rezultāti ievērojami un neparedzami atšķiras ar prompt izvēli (Lu et al., 2021), un modeļi nešķiet, ka viņi saprot promptus tik pilnībā, kā mēs sagaidām (Webson un Pavlick, 2021). Turklāt tas ir izaicinājums rakstīt promptus bez attīstības kopuma, kas noved pie jautājumiem par to, cik lielā mērā mēs faktiski sasniedzam nulles vai mazā šāviena mācīšanos praksē (Perez et al., 2021). Mēs nemēģinām risināt šīs problēmas, un tā vietā cenšamies tikai sniegt OPT-175B novērtējumu esošajos iestatījumos. Tomēr mēs ceram, ka OPT-175B pilna izlaišana ļaus citiem labāk izpēt 8 Secinājumi Šajā tehniskajā ziņojumā mēs ieviesām OPT, automātiski regresīvo valodas modeļu kolekciju, kas svārstās no 125M līdz 175B parametriem. Mūsu mērķis bija replicēt GPT-3 klases modeļu veiktspēju un izmērus, vienlaikus piemērojot jaunāko labāko praksi datu kurēšanā un apmācības efektivitātē. Mēs aprakstījām apmācības detaļas, novērtējām veiktspēju vairākos NLP un dialoga iestatījumos un raksturojām uzvedību attiecībā uz aizspriedumiem, toksicitāti un naida runu. Mēs arī aprakstījām daudzus citus modeļu ierobežojumus un apspriedām plašu apsvērumu kopumu, lai atbildīgi atbrīvotu modeļus. Mēs uzskatām, ka visa AI kopiena gūs labumu Atzinības Mēs vēlētos pateikties Scott Jeschonek, Giri Anantharaman, Diego Sarina, Joaquin Colombo, Chris Bray, Stephen Roylance, Kalyan Saladi, Shubho Sengupta un Brian O’Horo par palīdzību novērst infrastruktūras bloķētājus ceļā; Percy Liang, Rishi Bommasani un Emily Dinan par diskusijām par atbildīgu atbrīvošanas praksi; Carole-Jean Wu par diskusijām par ilgtspējību un oglekļa dioksīda emisiju rādītāja apsvērumiem; Srini Iyer, Ramakanth Pasunuru un Shruti Bhosale par iepriekšējiem ieguldījumiem novērtējumos; Benjamin Lefaudeux, Geeta Chauhan, Natalia Gimelshein, Horace, Heace un Sam Gross par diskusijām par snieguma uzl References Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. 2020. Mikel Artetxe, Shruti Bhosale, Naman Goyal, Todor Mihaylov, Myle Ott, Sam Shleifer, Xi Victoria Lin, Jingfei Du, Srinivasan Iyer, Ramakanth Pasunuru, Giri Anantharaman, Xian Li, Shuohui Chen, Halil Akin, Mandeep Baines, Louis Martin, Xing Zhou, Punit Singh Koura, Brian O’Horo, Jeff Wang, Luke Zettlemoyer, Mona T. Diab, Zornitsa Kozareva un Ves Stoyanov. 2021. Jason Baumgartner, Savvas Zannettou, Brian Keegan, Megan Squire un Jeremy Blackburn. 2020. pushshift reddit datu kopums. CoRR, abs/2001.08435. Emily M Bender, Timnit Gebru, Angelina McMillanMajor un Shmargaret Shmitchell. 2021. gadā. par stokastikas papagaiļu briesmām: vai valodu modeļi var būt pārāk lieli? Yonatan Bisk, Rowan Zellers, Ronan Le bras, Jianfeng Gao un Yejin Choi. 2020. Piqa: pamatojums par fizisko saprātu dabiskajā valodā. AAAI Konferences par mākslīgo intelektu protokoli, 34(05):7432–7439. Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, Michael Pieler, USVSN Sai Prashanth, Shivanshu Purohit, Laria Reynolds, Jonathan Tow, Ben Wang un Samuel Weinbach. 2022. Su Lin Blodgett, Gilsinia Lopez, Alexandra Olteanu, Robert Sim, un Hanna Wallach. 2021. gadā Norvēģijas lašu stereotipi: lamatas taisnīguma atsauces datu kopās. 59th Association for Computational Linguistics ikgadējās sanāksmes un 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 1004–1015, Online. Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch, Dallas Card, Rodrigo Castellon, Niladri Chatterji, Annie S. Chen, Kathleen Creel, Jared Quincy Davis, Noah D. Goodman, Shelby Demszky, Chris Donahue, Moussa Doumbouya, Esin Durmus, Stefano Ermon, John Etchemendy, Kawin Ethayarajh, Li FeiFei, Chelsea Finn, Trevor Gale, Lauren Gespillie, Karan Goel, Noah D. Goodman, Shelby Grossman, Neel Guha, Tatsun Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George van den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. 2021. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel HerbertVoss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, un Dario Amodei. 2020. Valodu modeļi ir daži-shot mācītāji. In Advances in Neural Information Processing Systems, apjoms 33, 1877–1901. Nathanael Chambers un Dan Jurafsky. 2008. gads Neuzraudzīta mācīšanās stāstīšanas notikumu ķēdes. Proceedings of ACL-08: HLT, lappuses 789–797, Columbus, Ohio. Association for Computational Linguistics. Ke-Li Chiu un Rohan Aleksandrs. 2021. gads. naida runas atklāšana ar gpt-3. arXiv preprint arXiv:2103.12407. Aakanksha Diawon Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Ghemawat, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sun Devipa, Henryk Michalewski, Xavier Garcia, Vedantra Mis, Kevin Robinson, Liam Fedus, Jason Zhou Denny Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick un Oyvind Tafjord. 2018. Domājat, ka esat atrisinājuši jautājumu, atbildot? izmēģiniet AI2 argumentācijas izaicinājumu. CoRR, abs/1803.05457. Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski un Rosanne Liu. 2019. Plug and play valodu modeļi: vienkārša pieeja kontrolētai teksta ģenerācijai. arXiv preprint arXiv:1912.02164. Jacob Devlin, Ming-Wei Chang, Kenton Lee un Kristina Toutanova. 2019. BERT: dziļu divvirzienu transformatoru sagatavošana valodas izpratnei. Ziemeļamerikas Aprēķinu lingvistikas asociācijā (NAACL). Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang un Rahul Gupta. 2021. Bold: Dataset un metrikas, lai novērtētu aizspriedumus atvērtās valodas paaudzē. Emily Dinan, Gavin Abercrombie, A Stevie Bergman, Shannon Spruit, Dirk Hovy, Y-Lan Boureau un Verena Rieser. 2021. drošības problēmu prognozēšana e2e sarunu ai: Framework un rīki. arXiv preprint arXiv:2107.03451. Emily Dinan, Angela Fan, Adina Williams, Jack Urbanek, Douwe Kiela un Jason Weston. 2020a. Karalienes ir spēcīgas arī: Dzimumu līdztiesības mazināšana dialoga radīšanā. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 8173–8188, Online. Association for Computational Linguistics. Emily Dinan, Samuel Humeau, Bharath Chintagunta un Jason Weston. 2019a. Build it break it fix it for dialogue safety: Robustness from adversarial human attack. arXiv preprint arXiv:1908.06083. Emily Dinan, Varvara Logacheva, Valentin Malykh, Alexander Miller, Kurt Shuster, Jack Urbanek, Douwe Kiela, Arthur Szlam, Iulian Serban, Ryan Lowe, Shrimai Prabhumoye, Alan W. Black, Alexander Rudnicky, Jason Williams, Joelle Pineau, Mikhail Burtsev un Jason Weston. 2020b. Otrais sarunu inteliģences izaicinājums (ConvAI2). Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli un Jason Weston. 2019b. Vikipēdijas burvis: zināšanu balstīti sarunu aģenti. Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser un Connor Leahy. 2021a. kaudze: 800gb datu kopa dažādu tekstu valodu modelēšanai. CoRR, abs/2101.00027. Tianyu Gao, Adam Fisch, un Danqi Chen. 2021b. Izveidot iepriekš apmācītus valodu modeļus, kas ir labāki par dažiem skolēniem. 59th Association for Computational Linguistics gada sanāksmes un 11th International Joint Conference on Natural Language Processing, ACL/IJCNLP 2021, (Volume 1: Long Papers), Virtuālais notikums, 1.–6. augusts, 2021, lapas 3816–3830. Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III un Kate Crawford. 2021. Datubāzes datu kopām. Kopējais. ACM, 64(12):86–92. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi un Noah A. Smith. 2020. RealToxicityPrompts: Neironu toksiskās deģenerācijas novērtēšana valodas modeļos. Aprēķinu lingvistikas asociācijas konstatējumos: EMNLP 2020, 3356–3369, tiešsaistē. Aprēķinu lingvistikas asociācija. Udit Gupta, Young Geun Kim, Sylvia Lee, Jordan Tse, Hsien-Hsin S Lee, Gu-Yeon Wei, David Brooks un Carole-Jean Wu. 2021. gadā. Kaiming He, Xiangyu Zhang, Shaoqing Ren, un Jian Sun. 2016. dziļa atlikušo mācīšanās attēlu atpazīšanai. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals un Laurent Sifre. 2022. Ari Holtzman, Jan Buys, Maxwell Forbes un Yejin Choi. 2020. Neironu teksta deģenerācijas dīvainais gadījums. ArXiv, abs/1904.09751. Abigail Z. Jacobs un Hanna Wallach. 2021. gads Mērīšana un taisnīgums. 2021. gada ACM konferences par taisnīgumu, pārskatatbildību un pārredzamību procesā, FAccT ’21, 375–385, Ņujorka, Ņujorka, Amerikas Savienotās Valstis. Zachary Kenton, Tom Everitt, Laura Weidinger, Iason Gabriel, Vladimir Mikulik un Geoffrey Irving. 2021. valodas aģentu saskaņošana. CoRR, abs/2103.14659. Mojtaba Komeili, Kurt Shuster un Jason Weston. 2021. internetā palielināta dialoga ģenerācija. CoRR, abs/2107.07566. Ben Krause, Akhilesh Deepak Gotmare, Bryan McCann, Nitish Shirish Keskar, Shafiq Joty, Richard Socher un Nazneen Fatema Rajani. Brian Lester, Rami Al-Rfou un Noah Constant. 2021. mēroga jauda parametru efektīvai ātrgaitas pielāgošanai. CoRR, abs/2104.08691. Hector J Levesque, Ernest Davis, un Leora Morgenstern. 2011. gadā Winograd shema izaicinājums. Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. 2020. atgūšanas palielinātā paaudze zināšanu intensīviem nlp uzdevumiem. Neironu informācijas apstrādes sistēmu attīstība, 33:9459–9474. Xiang Lisa Li un Percy Liang. 2021. prefikss - pielāgošana: nepārtrauktu sprādzienu optimizēšana paaudzei. lapas 4582–4597. Paul Pu Liang, Chiyu Wu, Louis-Philippe Morency un Ruslan Salakhutdinov. 2021. — Par sociālo aizspriedumu izpratni un mazināšanu valodu modeļos. — International Conference on Machine Learning, 6565–6576. Opher Lieber, Or Sharir, Barak Lenz, un Yoav Shoham. 2021. Jurassic-1: Tehniskās detaļas un novērtējums. Tehniskais ziņojums, AI21 Labs. Haochen Liu, Jamell Dacon, Wenqi Fan, Hui Liu, Zitao Liu un Jiliang Tang. 2019a. Vai dzimums ir svarīgs? uz taisnīgumu dialoga sistēmās. arXiv preprint arXiv:1910.10486. Haokun Liu, William Huang, Dhara Mungra un Samuel R. Bowman. 2020. Precīza uzdevumu formalizācija ir svarīga Winograd shēmas izvērtējumos. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 8275–8280, Online. Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan, Lawrence Carin un Weizhu Chen. 2021. Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer un Veselin Stoyanov. 2019b. Roberta: Stingri optimizēta bert priekšapmācības pieeja. arXiv priekšizdrukā arXiv:1907.11692. Ilya Loshchilov un Frank Hutter. 2017. Veicot svara zuduma normalizāciju adam. CoRR, abs/1711.05101. Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, un Pontus Stenetorp. 2021. Fantastiski pasūtīti ielūgumi un kur tos atrast: pārvarot dažu šaušanas ielūgumu pasūtījuma jutīgumu. Clara Meister, Tim Vieira, un Ryan Cotterell. 2020. labākais pirmā staru meklēšana. Darījumi asociācijas Computational Lingvistics, 8:795–809. Paulius Micikevicius, Sharan Narang, Jonah Alben, Gregory Diamos, Erich Elsen, David Garcia, Boris Ginsburg, Michael Houston, Oleksii Kuchaiev, Ganesh Venkatesh, et al. 2017. Jaukta precizitātes apmācība. arXiv preprint arXiv:1710.03740. Todor Mihaylov, Peter Clark, Tushar Khot, un Ashish Sabharwal. 2018. Vai bruņurupucis var vadīt elektrību? Jauna datu kopa, lai atbildētu uz atvērtās grāmatas jautājumiem. CoRR, abs/1809.02789. Tomas Mikolov, Jiri Kopecky, Lukas Burget, Ondrej Glembek, et al. 2009. Neironu tīkla balstīti valodu modeļi ļoti inflektivām valodām. 2009. gadā IEEE starptautiskā konference par akustiku, runu un signālu apstrādi, 4725–4728. Sewon Min, Mike Lewis, Luke Zettlemoyer un Hannaneh Hajishirzi. 2021. gads Metaicl: Mācīšanās mācīties kontekstā. Sewon Min, Xinxi Lyu, Ari Holtzman, Mikel Artetxe, Mike Lewis, Hannaneh Hajishirzi un Luke Zettlemoyer. 2022. gads Demonstrāciju lomas pārdomāšana: kas padara kontekstā mācīšanos par darbu? arXiv preprint arXiv:2202.12837. Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji un Timnit Gebru. 2018. modeļa ziņošanas kartes. CoRR, abs/1810.03993. Ioannis Mollas, Zoe Chrysopoulou, Stamatis Karlos un Grigorios Tsoumakas. 2020. ETHOS: tiešsaistes naida runas atklāšanas datu kopums. CoRR, abs/2006.08328. Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli un James F. Allen. 2016. korpuss un novērtēšanas sistēma, lai padziļinātu izpratni par vispārējo saprātu. CoRR, abs/1604.01696. Moin Nadeem, Anna Bethke, un Siva Reddy. 2021. StereoSet: Mērīšana stereotipiskās aizspriedumus iepriekš apmācītu valodu modeļiem. Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, et al. 2021. Nikita Nangia, Clara Vania, Rasika Bhalerao un Samuel R. Bowman. 2020. Crows-pairs: izaicinājums datu kopums sociālo aizspriedumu mērīšanai maskētajos valodu modeļos. arXiv preprint arXiv:2010.00133. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese un Caiming Xiong. 2022. Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. 2022. David Patterson, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier un Jeff Dean. 2021. oglekļa emisijas un liela neironu tīkla apmācība. arXiv preprint arXiv:2104.10350. Ethan Perez, Douwe Kiela, un Kyunghyun Cho. 2021. Patiesas dažu šāvienu mācīšanās ar valodu modeļiem. Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu un Alexander Miller. 2019. gada valodu modeļi kā zināšanu bāzes? 2019. gada Konferences par empīriskajām metodēm dabiskās valodas apstrādē un 9. starptautiskās kopkonferences par dabiskās valodas apstrādi (EMNLPIJCNLP) darbā, 2463–2473, Honkongā, Ķīnā. Alec Radford, Karthik Narasimhan, Time Salimans un Ilya Sutskever. 2018. valodu izpratnes uzlabošana ar neuzraudzītu mācīšanos. Tehniskais ziņojums, OpenAI. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei un Ilya Sutskever. 2019. valodu modeļi ir neuzraudzīti daudzfunkcionāli skolēni. Tehniskais ziņojums, OpenAI. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, H. Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Amy Wu, Erich Elsen, Siddhant M. Jayakumar, Po-Sen Huang, Amelia Glaese, David Budden, Johannes Welbl, Sumanth Dathathri, Chris Saffron Huang, Laurent Sifre Huang, Jonathan Uesayato, John Mellor, Irina Higgins, Antonia Creswell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant M. Ayakemumar, Elena Buchatskaya, David Budden, Igor Sutherland Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li un Peter J Liu. 2020. Izpētīt pārsūtīšanas mācīšanās robežas ar vienotu teksta-teksta transformatoru. The Journal of Machine Learning Research (JMLR), 21:1–67. Anand Rajaraman un Jeffrey David Ullman. 2011. gads Masveida datu kopu ieguves. Hannah Rashkin, Eric Michael Smith, Margaret Li, un Y-Lan Boureau. 2019. uz empātisku atvērtā domēna sarunu modeļiem: jauns kritērijs un datu kopums. Asociācijas Computational Linguistics 57. gadskārtējās sanāksmes ziņojumā, lapas 5370–5381, Florence, Itālija. Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau un Jason Weston. 2021. receptes, lai izveidotu atvērtā domēna tērzēšanas robotu. Eiropas Aprēķinu lingvistikas asociācijas 16. nodaļas konferences procedūrās: galvenais apjoms, 300–325, tiešsaistes. Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula un Yejin Choi. 2020. Winogrande: pretinieku vīnogulāju shēmas izaicinājums mērogā. Trīsdesmit ceturtajā AAAI konferencē par mākslīgo intelektu, AAAI 2020, Trīsdesmit otrā mākslīgā intelekta inovatīvās lietojumprogrammas konference, IAAI 2020, Desmitais AAAI simpozijs par mākslīgā intelekta izglītības attīstību, EAAI 2020, Ņujorka, Ņujorka, ASV, 2020. gada 7.-12. februāris, 8732–8740. Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Bawden, Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry Jason, Alan Fries Teven Le Scao un Alexander M. Rush. 2021. — Cik datu punkti ir īslaicīga vērtība? 2627—2636 lappuses. Timo Schick un Hinrich Schütze. 2020. ir svarīgs ne tikai izmērs: mazie valodu modeļi ir arī mazi skolēni. CoRR, abs/2009.07118. Timo Schick, Sahana Udupa un Hinrich Schütze. 2021. — Pašdiagnoze un pašaizliedzība: priekšlikums par korpusa balstītu aizspriedumu samazināšanu nlp. Rico Sennrich, Barry Haddow, un Alexandra Birch. 2016. Neironu mašīntulkošana retos vārdos ar apakšvārdu vienībām. Asociācijas 54th ikgadējā sanāksmē Computational Linguistics (Volume 1: Long Papers), lappuses 1715–1725, Berlīne, Vācija. Emily Sheng, Kai-Wei Chang, Premkumar Natarajan un Nanyun Peng. 2019. gads Sieviete strādāja par bērnudārzu: par aizspriedumiem valodu radīšanā. arXiv preprint arXiv:1909.01326. Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace un Sameer Singh. 2020. gads AutoPrompt: zināšanu iegūšana no valodu modeļiem ar automātiski ģenerētiem signāliem. lapas 4222–4235. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper un Bryan Catanzaro. 2019. Megatron-lm: vairāku miljardu parametru valodas modeļu apmācība, izmantojot modelēšanas paralēli. arXiv preprint arXiv:1909.08053. Kurt Shuster, Mojtaba Komeili, Leonard Adolphs, Stephen Roller, Arthur Szlam un Jason Weston. 2022. valodu modeļi, kas meklē zināšanas: Moduļu meklēšana un ģenerācija dialogam un ātro pabeigšanu. arXiv preprint arXiv:2203.13224. Eric Smith, Mary Williamson, Kurt Shuster, Jason Weston un Y-Lan Boureau. 2020. Vai jūs varat to visu apvienot: Konversācijas aģentu spēju novērtēšana, lai apvienotu prasmes. 58th Association for Computational Linguistics ikgadējā sanāksmē. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zheng, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary, un Bryan Catanzaro. 2022. Izmantojot dziļuma un megatronu, lai apmācītu megatron-turing NLG 530b, Liela mēroga ģeneratīvā valodas modelis. CoRR, abs/2201.11990. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, et al. 2022. Trieu H. Trinh un Quoc V. Le. 2018. Vienkārša prāta domāšanas metode. CoRR, abs/1806.02847. Megan Ung, Jing Xu un Y-Lan Boureau. 2021. Drošības dialogi: atsauksmes pēc sarunu drošības neveiksmēm. ArXiv, abs/2110.07518. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser un Illia Polosukhin. 2017. Uzmanība ir viss, kas jums nepieciešams. Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy un Samuel R. Bowman. 2019. gads SuperGLUE: uzticamāks kritērijs vispārējas nozīmes valodas izpratnes sistēmām. arXiv preprint 1905.00537. Albert Webson un Ellie Pavlick. 2021. – Vai uz norādēm balstītie modeļi patiešām saprot viņu norādījumu nozīmi? arXiv preprint arXiv:2109.01247. Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai un Quoc V. Le. 2021. Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, Zac Kenton, Sasha Brown, Will Hawkins, Tom Stepleton, Courtney Biles, Abeba Birhane, Julia Haas, Laura Rimell, Lisa Anne Hendricks, William Isaac, Sean Legassick, Geoffrey Irving, un Iason Gabriel. 2021a. Ētikas un sociālie riski kaitējumu no valodas modeļiem. Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, et al. 2021b. Ētikas un sociālie riski kaitējumu no valodas modeļiem. arXiv preprint arXiv:2112.04359. Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho un Jason Weston. 2020. Neironu teksta ģenerācija ar neiespējamības apmācību. Starptautiskajā konferencē par mācīšanos. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga Behram, James Huang, Charles Bai, Michael Gschwind, Anurag Gupta, Myle Ott, Anastasia Melnikov, Salvatore Candido, David Brooks, Geeta Chauhan, Benjamin Lee, Hsien-Hsin S. Lee, Bugra Akyildiz, Maximilian Balandat, Joe Spisak, Ravi Jain, Mike Rabbat un Kim Hazelwood. 2022. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston un Emily Dinan. 2020. receptes drošībai atvērtā domēna tērzēšanas botos. arXiv preprint arXiv:2010.07079. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston un Emily Dinan. 2021.a. Bot-pretinieku dialogs drošiem sarunu aģentiem. 2021. gada Ziemeļamerikas asociācijas skaitļošanas lingvistikas nodaļas konferences protokols: Cilvēka valodas tehnoloģijas, 2950.–2968. lappuse. Jing Xu, Arthur Szlam un Jason Weston. 2021b. Bez zelta zivtiņu atmiņas: Ilgtermiņa atvērta domēna saruna. arXiv priekšraksts arXiv:2107.07567. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi un Yejin Choi. 2019. Hellaswag: Vai mašīna var patiešām pabeigt savu teikumu? ACL 2019, Florence, Itālija, 2019. gada 28. jūlijs, 2019. gada 2. augusts, Volume 1: Long Papers, 4791–4800. Yukun Zhu, Ryan Kiros, Richard S. Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba un Sanja Fidler. 2015. grāmatu un filmu saskaņošana: virzība uz stāstu līdzīgiem vizuāliem paskaidrojumiem, skatoties filmas un lasot grāmatas. Papildu novērtējumi B Iemaksas Priekšapmācība • Sākotnējā plānošana: Susan Zhang Apmācības infrastruktūra un sākotnējās ablācijas: Naman Goyal, Myle Ott, Stephen Roller, Sam Shleifer, Susan Zhang • Apmācības efektivitāte: Naman Goyal, Myle Ott, Sam Shleifer • Datu kurēšana un deduplikācija: Shuhoi Chen, Myle Ott, Stephen Roller • Apmācība un uzraudzība OPT-175B: Mikel Artetxe, Moya Chen, Naman Goyal, Punit Singh Koura, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Stephen Roller, Susan Zhang Apmācības 125M–66B bāzes līnijas: Naman Goyal, Stephen Roller, Susan Zhang Vērtējumi • NLP: Xian Li, Xi Victoria Lin, Todor Mihaylov, Stephen Roller, Anjali Sridhar • Dialogs: Stīvens Rolers • Atbildīgi AI novērtējumi: Punit Singh Koura, Stephen Roller, Tianlu Wang Moya Čens, Stīvens Rolers, Lūks Zettlemojers, Susan Zhang Paper writing: Kristofers Deivans, Susan Zhang Code release preparation: Mona Diab un Susan Zhang Responsible AI conduct: C datubāze Mēs sekojam Gebru et al. (2021) ieteikumiem un nodrošinām OPT modeļu apmācībai izmantoto datu kopu datu karti. C.1 Motivācija Pirmsapmācības dati OPT-175B modeļa apmācībai tika izveidoti, apvienojot piecus datu kopumus, tostarp trīs datu kopumus, ko izmantoja RoBERTa (Liu et al., 2019b), Pile apakšsadaļa (Gao et al., 2021a), kopā ar Pushshift.io Reddit datu kopu, kas tika izstrādāta (Baumgartner et al., 2020) un apstrādāta (Roller et al., 2021). • For what purpose was the dataset created? Was there a specific task in mind? Was there a specific gap that needed to be filled? Please provide a description. Mērķis ir. • Who created the dataset (e.g., which team, research group) and on behalf of which entity (e.g., company, institution, organization)? Mērķis ir. • Who funded the creation of the dataset? If there is an associated grant, please provide the name of the grantor and the grant name and number. · Nē Any other comments? C.2 Sastāvs Vispārējais datu kopums sastāv no šādu datu kopu apvienošanas: • What do the instances that comprise the dataset represent (e.g., documents, photos, people, countries)? Are there multiple types of instances (e.g., movies, users, and ratings; people and interactions between them; nodes and edges)? Please provide a description. – BookCorpus (Zhu et al., 2015) sastāv no vairāk nekā 10K neizdotajām grāmatām – CC-Stories (Trinh un Le, 2018) satur CommonCrawl datu apakšnodaļu, kas filtrēta, lai atbilstu Winograd shēmu stāstu stilam – The Pile (Gao et al., 2021a) from which the following was included: * Pile-CC • OpenWebText2 * Ieguvumi Projekts Gutenberg • OpenSubtitles • Vikipēdija * DM Mathematics * HackerNews – Pushshift.io Reddit datu kopums, kas tika izstrādāts Baumgartner et al. (2020) un apstrādāts Roller et al. (2021). – CCNewsV2, kas satur atjauninātu CommonCrawl News datu kopas angļu valodas daļas versiju, ko izmantoja RoBERTa (Liu et al., 2019b) Apmācības dati satur 180B žetonus, kas atbilst 800 GB datu. • How many instances are there in total (of each type, if appropriate)? CC-stories datu kopā ir CommonCrawl datu apakšsadaļa, kas filtrēta, lai atbilstu Winograd shēmu stila stilu. • Does the dataset contain all possible instances or is it a sample (not necessarily random) of instances from a larger set? If the dataset is a sample, then what is the larger set? Is the sample representative of the larger set (e.g., geographic coverage)? If so, please describe how this representativeness was validated/verified. If it is not representative of the larger set, please describe why not (e.g., to cover a more diverse range of instances, because instances were withheld or unavailable). Katra instance sastāv no neapstrādātiem teksta datiem. • What data does each instance consist of? “Raw” data (e.g., unprocessed text or images) or features? In either case, please provide a description. Nē • Is there a label or target associated with each instance? If so, please provide a description. Nē • Is any information missing from individual instances? If so, please provide a description, explaining why this information is missing (e.g., because it was unavailable). This does not include intentionally removed information, but might include, e.g., redacted text. Nav skaidras attiecības starp atsevišķām instancēm. • Are relationships between individual instances made explicit (e.g., users’ movie ratings, social network links)? If so, please describe how these relationships are made explicit. Mēs izņemam izlases validācijas kopumu aptuveni 200 MB no priekšapmācības datiem, ņemot paraugus proporcionāli katra datu kopuma izmēram priekšapmācības korpusā. • Are there recommended data splits (e.g., training, development/validation, testing)? If so, please provide a description of these splits, explaining the rationale behind them. Papildus dabiskai dublēšanai no iespējamām datu kopām, nav citu redundanču, kļūdu vai trokšņa avotu, ko mēs pievienojam. • Are there any errors, sources of noise, or redundancies in the dataset? If so, please provide a description. · Tas ir pašpietiekams. Is the dataset self-contained, or does it link to or otherwise rely on external resources (e.g., websites, tweets, other datasets)? Datu kopas daļas ir publisku Common Crawl datu apakšsadaļa, kā arī publisku Reddit datu apakšsadaļa, kas varētu saturēt teikumus, kas, ja tie tiek skatīti tieši, varētu būt aizskaroši, aizskaroši, draudīgi vai citādi izraisīt trauksmi. • Does the dataset contain data that, if viewed directly, might be offensive, insulting, threatening, or might otherwise cause anxiety? If so, please describe why. Daži no šiem datiem attiecas uz cilvēkiem, piemēram, ziņu raksti, Vikipēdijas apraksti utt. • Does the dataset relate to people? If not, you may skip the remaining questions in this section. Nē, datu kopā nav skaidri iekļauta apakšpopulācijas identifikācija. • Does the dataset identify any subpopulations (e.g., by age, gender)? If so, please describe how these subpopulations are identified and provide a description of their respective distributions within the dataset. Nē • Any other comments? C.3 Collection Process N/A Datu kopa ir piecu publiski pieejamu datu kopu apvienojums. • How was the data associated with each instance acquired? Was the data directly observable (e.g., raw text, movie ratings), reported by subjects (e.g., survey responses), or indirectly inferred/ derived from other data (e.g., part-of-speech tags, model-based guesses for age or language)? If data was reported by subjects or indirectly inferred/derived from other data, was the data validated/verified? If so, please describe how. · Dati tika lejupielādēti no interneta. What mechanisms or procedures were used to collect the data (e.g., hardware apparatus or sensor, manual human curation, software program, software API)? How were these mechanisms or procedures validated? Lūdzu, skatiet iepriekšējās atbildes par to, kā datu kopums tika izveidots. • If the dataset is a sample from a larger set, what was the sampling strategy (e.g., deterministic, probabilistic with specific sampling probabilities)? Šie dati tiek iegūti, filtrēti un paraugu ņemti no mašīnām. • Who was involved in the data collection process (e.g., students, crowdworkers, contractors) and how were they compensated (e.g., how much were crowdworkers paid)? CC-News datu kopumā ir angļu valodas ziņu raksti, kas nokasīti no 2016. gada septembra līdz 2021. gada septembrim. • Over what timeframe was the data collected? Does this timeframe match the creation timeframe of the data associated with the instances (e.g., recent crawl of old news articles)? If not, please describe the timeframe in which the data associated with the instances was created. Nē • Does the dataset relate to people? If not, you may skip the remainder of the questions in this section. · N / A Did you collect the data from the individuals in question directly, or obtain it via third parties or other sources (e.g., websites)? N / A • Were the individuals in question notified about the data collection? If so, please describe (or show with screenshots or other information) how notice was provided, and provide a link or other access point to, or otherwise reproduce, the exact language of the notification itself. N / A • Did the individuals in question consent to the collection and use of their data? If so, please describe (or show with screenshots or other information) how consent was requested and provided, and provide a link or other access point to, or otherwise reproduce, the exact language to which the individuals consented. N / A • If consent was obtained, were the consenting individuals provided with a mechanism to revoke their consent in the future or for certain uses? If so, please provide a description, as well as a link or other access point to the mechanism (if appropriate). Ir veikti daži toksicitātes un aizspriedumu novērtējumi.Lūdzu, skatiet šo informāciju galvenajā dokumentā un parauga kartē. • Has an analysis of the potential impact of the dataset and its use on data subjects (e.g., a data protection impact analysis) been conducted? If so, please provide a description of this analysis, including the outcomes, as well as a link or other access point to any supporting documentation. Nē • Any other comments? C.4 Pirmapstrāde / tīrīšana / marķēšana Sastāvdaļu datu kopām tika veikta standarta tīrīšana un formatēšana, ieskaitot atkārtojoša/neinformatīva teksta noņemšanu, piemēram, “Pirmais nodaļa” vai “Šī e-grāmata no projekta Gutenberg”. • Was any preprocessing/cleaning/labeling of the data done (e.g., discretization or bucketing, tokenization, part-of-speech tagging, SIFT feature extraction, removal of instances, processing of missing values)? If so, please provide a description. If not, you may skip the remainder of the questions in this section. Pamatkomponentu datu kopas ir publiski pieejamas to attiecīgajās vietās (detalizētākus datus var apskatīt attiecīgajos dokumentos, kas saistīti ar atsauci). • Was the “raw” data saved in addition to the preprocessed/cleaned/labeled data (e.g., to support unanticipated future uses)? If so, please provide a link or other access point to the “raw” data. Nē • Any other comments? C.5 Izmantošana Jā, šis datu kopums tika izmantots, lai iepriekš apmācītu OPT modeļus. • Has the dataset been used for any tasks already? If so, please provide a description. · HTTPS://github.com/facebookresearch/ metaseq Mājas lapa Is there a repository that links to any or all papers or systems that use the dataset? If so, please provide a link or other access point. Šos datus var izmantot, lai iepriekš apmācītu valodas modeļus, kas ir pamats daudziem pašreizējiem un nākotnes valodas uzdevumiem. • What (other) tasks could the dataset be used for? Šīs datu kopas izveides cauruļvads paver ceļu, kā izveidot mērogojamu infrastruktūru ieguves datu kopām. • Is there anything about the composition of the dataset or the way it was collected and preprocessed/cleaned/labeled that might impact future uses? For example, is there anything that a future user might need to know to avoid uses that could result in unfair treatment of individuals or groups (e.g., stereotyping, quality of service issues) or other undesirable harms (e.g., financial harms, legal risks) If so, please provide a description. Is there anything a future user could do to mitigate these undesirable harms? Neviens, par kuru mēs šobrīd nezinām. • Are there tasks for which the dataset should not be used? If so, please provide a description. Nē • Any other comments? C.6 Izplatīšana Ne šajā laikā. • Will the dataset be distributed to third parties outside of the entity (e.g., company, institution, organization) on behalf of which the dataset was created? If so, please provide a description. · N / A How will the dataset will be distributed (e.g., tarball on website, API, GitHub)? Does the dataset have a digital object identifier (DOI)? N / A • When will the dataset be distributed? N / A • Will the dataset be distributed under a copyright or other intellectual property (IP) license, and/or under applicable terms of use (ToU)? If so, please describe this license and/or ToU, and provide a link or other access point to, or otherwise reproduce, any relevant licensing terms or ToU, as well as any fees associated with these restrictions. N/A. • Do any export controls or other regulatory restrictions apply to the dataset or to individual instances? If so, please describe these restrictions, and provide a link or other access point to, or otherwise reproduce, any supporting documentation. Nē • Any other comments? C.7 Uzglabāšana Mērķis ir. • Who is supporting/hosting/maintaining the dataset? · Atsaucoties uz galveno dokumentu. How can the owner/curator/manager of the dataset be contacted (e.g., email address)? N / A • Is there an erratum? If so, please provide a link or other access point. Nav pašreizējā atjaunināšanas plāna. • Will the dataset be updated (e.g., to correct labeling errors, add new instances, delete instances)? If so, please describe how often, by whom, and how updates will be communicated to users (e.g., mailing list, GitHub)? N / A • If the dataset relates to people, are there applicable limits on the retention of the data associated with the instances (e.g., were individuals in question told that their data would be retained for a fixed period of time and then deleted)? If so, please describe these limits and explain how they will be enforced. N / A • Will older versions of the dataset continue to be supported/hosted/maintained? If so, please describe how. If not, please describe how its obsolescence will be communicated to users. Pašlaik mehānisms nav pieejams. • If others want to extend/augment/build on/contribute to the dataset, is there a mechanism for them to do so? If so, please provide a description. Will these contributions be validated/ verified? If so, please describe how. If not, why not? Is there a process for communicating/ distributing these contributions to other users? If so, please provide a description. Nē • Any other comments? D modeļa karte Pēc Mitchell et al. (2018), mēs nodrošinām OPT-175B modeļa karti. D.1 modeļa detaļas · OPT-175B izstrādāja Meta AI. Person or organization developing model: · OPT-175B tika izlaists 2022. gada 3. maijā. Model date: · Šajā rakstā aprakstītais OPT-175B ir versija 1.0.0. Model version: OPT-175B ir liels tikai dekodera transformatora valodas modelis. • Model type: OPT-175B tika apmācīts ar AdamW par parametru izmēriem no 125M līdz 175B. Skatīt Datu karti (pielikums C) informāciju par apmācības datiem un sadaļu 2.2 - 2.5 informāciju par apmācības procesu. • Information about training algorithms, parameters, fairness constraints or other applied approaches, and features: Sīkāku informāciju par OPT-175B skatiet šajā rakstā, kā arī attiecīgajā ziņojumā Meta AI pētniecības blogā. • Paper or other resource for more information: OPT-175B un mazāki bāzes līnijas modeļi tiek darīti pieejami, izmantojot mūsu modeļa licencē paredzēto nekomerciālo lietošanas licences līgumu.13 • License: · Lūdzu, sazinieties ar attiecīgajiem autoriem {susanz,roller,namangoyal}@fb.com par jebkādiem jautājumiem vai komentāriem. Where to send questions or comments about the model: D.2 paredzētais lietošanas veids Mēs izlaižam OPT-175B, lai pētītu valodu modeļus, jo īpaši saistībā ar atbildīgu AI. Skatīt 6. iedaļu, lai iegūtu detalizētākus apsvērumus par izlaišanu. • Primary intended uses: Mēs galvenokārt vēršamies pret pētniekiem un saistīto pētniecības kopienu. • Primary intended users: · Kā mēs atzīmējam 5. sadaļā, OPT-175B, tāpat kā līdzīgi lieliem valodu modeļiem, ir dažādi trūkumi, kas padara to priekšlaicīgu komerciālai lietošanai. Out-of-scope use cases: D.3 Dati, ierobežojumi un ieteikumi Apmācību dati par OPT-175B tika izvēlēti, pamatojoties uz platuma un pieejamības kombināciju. skatiet mūsu Datu karti (C pielikums), lai iegūtu detalizētāku informāciju par datiem, ko izmanto mūsu modeļa apmācībai. • Data selection for training: · Ņemot vērā sabiedrības bažas par lielo valodu modeļu drošību un taisnīgumu kopumā, mēs arī skaidri sniedzam novērtējumus par atbildīgu AI (skatīt 4. iedaļu). Data selection for evaluation: Tāpat kā citiem lieliem valodas modeļiem, kuriem apmācības datu daudzveidība (vai trūkums) rada lejupējo ietekmi uz mūsu modeļa kvalitāti, OPT-175B ir ierobežojumi, kas attiecas uz aizspriedumiem un drošību. OPT-175B var būt arī kvalitātes problēmas, kas attiecas uz paaudžu daudzveidību un halucinācijām. Kopumā OPT-175B nav imūna pret problēmām, kas skar mūsdienu lielo valodu modeļus. Izlaižot ar nekomerciālu licenci, mēs ceram arī palielināt komunikāciju, pārredzamību un pētīt lielo valodu modeļu problēmas, jo īpaši jomās, kas var nebūt saskaņotas ar komerciālām interesēm. skatīt 5. iedaļu, lai sīkāk apspriestu OPT-175B ierobežoj • Limitations: Mēs ceram, ka OPT-175B izlaišana, kā arī informācija par mūsu modeļa apmācības procesu, palielinās atvērto zinātni gan ap lieliem valodu modeļiem konkrētās un dabiskās valodas apstrādes un dziļas mācīšanās jomā kopumā. • Recommendations for future work: E parauga modeļa iznākumi Visiem parauga izejas rezultātiem sākotnējais rādītājs ir dīvains, bet pārējais ir turpinājums.Šie parauga izejas rezultāti tika apzināti izvēlēti, lai izceltu gan OPT-175B modeļa panākumus, gan neveiksmes. Šis dokuments ir pieejams arhīvā saskaņā ar CC by 4.0 Deed (attribution 4.0 International) licenci. Šis dokuments ir pieejams arhīvā saskaņā ar CC by 4.0 Deed (attribution 4.0 International) licenci.