OPT-175B je usporediv s GPT-3, dok zahtijeva samo 1/7 ugljičnog otiska

OPT: Open Pre-trained Transformer Language Models OPT: Otvoreni pre-trenirani modeli jezika transformatora Autori : Susan Zhang, Meta AI (susanz@fb.com) Stephen Roller, Meta AI (roller@fb.com) Naman Goyal, Meta AI (naman@fb.com) Mikel Artetxe, Meta AI Moya Chen, Meta AI Shuohui Chen, Meta AI Christopher Dewan, Meta AI Mona Diab, Meta AI Xian Li, Meta AI Xi Victoria Lin, Meta AI Todor Mihaylov, Meta AI Myle Ott, Meta AI Sam Shleifer, Meta AI Kurt Shuster, Meta AI Daniel Simig, Meta AI Punit Singh Koura, Meta AI Anjali Sridhar, Meta AI Tianlu Wang, Meta AI Luke Zettlemoyer, Meta AI Autori : Susan Zhang, Meta AI (susanz@fb.com) Stephen Roller, Meta AI (roller@fb.com) Naman Goyal, Meta AI (naman@fb.com) Mikel Artetxe, Meta AI Moya Chen, Meta AI Shuohui Chen, Meta AI Christopher Dewan, Meta AI Mona Diab, Meta AI Xian Li, Meta AI Xi Victoria Lin, Meta AI Todor Mihaylov, Meta AI Myle Ott, Meta AI Sam Shleifer, Meta AI Kurt Shuster, Meta AI Daniel Simig, Meta AI Punit Singh Koura, Meta AI Anjali Sridhar, Meta AI Tianlu Wang, Meta AI Luke Zettlemoyer, Meta AI Abstrakcija Veliki jezični modeli, koji su često obučeni za stotine tisuća računskih dana, pokazali su izvanredne mogućnosti za učenje nula i nekoliko udaraca. S obzirom na svoje računalne troškove, ti su modeli teško reproducirati bez značajnog kapitala. Za nekoliko koji su dostupni putem API-ja, nema pristupa punim težinama modela, što ih čini teškim za proučavanje. Predstavljamo Open Pre-trained Transformers (OPT), paket dekoder-only pre-trained transformers u rasponu od 125M do 175B parametara, koje želimo u potpunosti i odgovorno podijeliti s zainteresiranim istraživačima. Pokazujemo da je OPT-175B usporediv s GPT-3,1 dok zahtijeva samo 1/7th ugljični otisak za razvoj. Također objavljujemo naš dnevnik koji detaljno opis 1 Uvod Veliki jezični modeli (LLM) obučeni na masivnim zbirkama teksta pokazali su iznenađujuće nove mogućnosti za generiranje teksta i izvršavanje učenja s nultom i malom brzinom (Brown et al., 2020; Lieber et al., 2021; Smith et al., 2022; Rae et al., 2021; Chowdhery et al., 2022). Ovaj ograničeni pristup ograničava sposobnost istraživača da proučavaju kako i zašto ti veliki jezični modeli rade, ometajući napredak u poboljšanju poznatih izazova u područjima kao što su robustnost, predrasude i toksičnost. U ovom tehničkom izvješću predstavljamo Open Pretrained Transformers (OPT), paket dekoderno pre-treniranih transformatora u rasponu od 125M do 175B parametara, koje želimo u potpunosti i odgovorno podijeliti s zainteresiranim istraživačima. Mi treniramo OPT modele kako bi se približno uskladili s učinkovitostima i veličinama klase modela GPT-3, a također primjenjuju najnoviju najbolju praksu u prikupljanju podataka i učinkovitom osposobljavanju. Naš cilj u razvoju ovog skupa OPT modela je omogućiti reproduktiv Definicije rizika, štete, predrasuda i toksičnosti, itd., trebaju biti izrađene od strane kolektivne istraživačke zajednice u cjelini, što je moguće samo kada su modeli dostupni za proučavanje. Mi objavljujemo sve naše modele između 125M i 66B parametara, i pružit ćemo puni istraživački pristup OPT-175B na zahtjev. Pristup će biti odobren akademskim istraživačima; oni povezani s organizacijama u vladi, civilnom društvu i akademskim zajednicama; i oni u industrijskim istraživačkim laboratorijima. Mi također objavljujemo i dnevnik našeg stvaranja modela, kao i našu bazu kodova, metaseq,3 koja je omogućila obuku OPT-175B na 992 80GB A100 GPU-ovima, dostižući 147 TFLOP/s upotrebe Iako je to značajno postignuće, trošak energije stvaranja takvog modela i dalje je nontrivialan, a ponovljeni napori za replikaciju modela ove veličine samo će pojačati rastući računalni otisak ovih LLM-ova. Mi vjerujemo da cijela AI zajednica – akademski istraživači, civilno društvo, tvorci politika i industrija – moraju surađivati kako bi razvili jasne smjernice oko odgovornog AI-a općenito i odgovornog LLM-a posebno, s obzirom na njihovu središnju ulogu u mnogim daljinskim jezikovnim aplikacijama. Mnogo širi segment AI zajednice treba pristup tim modelima kako bi provodio reproduktivno istraživanje i kolektivno pokrenuo polje naprijed. 2 Metoda 2.1 Modeli U interesu transparentnosti i kako bi se smanjio rizik od treninga nestabilnosti, naši modeli i hiperparametri uglavnom slijede Brown et al. (2020), s varijacijama u veličini serije uglavnom kako bi se postigla povećana računalna učinkovitost. 2.2 Obuka u nastavku Za inicijaliziranje težine, slijedimo iste postavke koje su predviđene u kodnoj bazi Megatron-LM,4 koristeći normalnu distribuciju s nultim prosjekom i standardnim odstupanjem od 0,006. Standardna odstupanja za izlazne slojeve su skalirana po terminu 1.0/ √ 2L gdje je L ukupni broj slojeva. Koristimo AdamW optimizator (Loshchilov i Hutter, 2017) s (β1, β2) postavljenim na (0,9, 0,95), a gubitak težine od 0,1. Slijedimo raspored linearne stope učenja, zagrijavanje od 0 do maksimalne stope učenja tijekom prvih 2000 koraka u OPT-175B, ili preko 375M žetona u našim manjim osnovnim linijama, i propadanje do 10% maksimalnog LR preko 300B žetona. Također je potrebno nekoliko promjena u sredini leta na LR (vidi Odjeljak 2.5). Naše veličine serije variraju od 0,5M do 4M ovisno o veličini modela (vidi Tablicu 1) i održavaju se konstantno tijekom cijelog tijeka obuke. Koristimo ispuštanje od 0,1 tijekom cijelog razdoblja, ali ne primjenjujemo ispuštanje na ugrađivanja. Normaliziramo gradient na 1,0, osim nekih promjena u sredini leta koje smanjuju taj prag sa 1,0 na 0,3 (vidi Odjeljak 2.5). Također uključujemo faktor predodjeljivanja gradienta kako bismo smanjili rizik od over/underflows prilikom izračunavanja gradienta u svim redovima (razdvajanje podjele po veličini svijeta N u dvije operacije podjele √ N). 2.3 Pre-treniranje Corpus Pre-trening korpus sadrži konkateniranje skupova podataka koji se koriste u RoBERTa (Liu et al., 2019b), Pile (Gao et al., 2021a) i PushShift.io Reddit (Baumgartner et al., 2020; Roller et al., 2021). Svi korpusi su prethodno prikupljeni ili filtrirani kako bi sadržavali uglavnom engleski tekst, ali mala količina ne-engleskih podataka još uvijek je prisutna unutar korpusa putem CommonCrawla. Uklonili smo duplicirane dokumente diljem svih skupova podataka filtriranjem dokumenata putem MinhashLSH (Rajaraman i Ullman, 2011) s Jaccard sličnosti ≥ .95. Otkrili smo da je Pile gotovo pun dupliciranih dokumenata, i savjetujemo budućim istraživačima koji koriste Pile Uključili smo BookCorpus (Zhu et al., 2015.) i Stories (Trinh i Le, 2018) podskupine RoBERTa korpusa i upotrijebili ažuriranu verziju CCNews-a, koja sadrži vijesti koje su prešle do 28. rujna 2021. godine. RoBERTa Uključili smo podskup Pile (Gao et al., 2021a), uključujući: CommonCrawl, DM Mathematics, Project Gutenberg, HackerNews, OpenSubtitles, OpenWebText2, USPTO i Wikipediju. Ostali podskupovi Pile su eliminirani jer smo otkrili da povećavaju rizik od nestabilnosti, mjereno tendencijom da uzrokuju vrhove u gradientnim normama na ljestvici 1.3B, ili su na drugi način smatrani neprikladnima. The Pile Uključili smo podskupinu Pushshift.io korpusa koji je proizvela Baumgartner et al. (2020) i prethodno koristio Roller et al. (2021). Da bismo konvertirali drveće razgovora u dokumente koji su dostupni na jeziku, izvadili smo najduži lanac komentara u svakoj nitci i odbacili sve ostale staze u stablu. PushShift.io Reddit 2.4 Učinkovitost vježbanja Obučavali smo OPT-175B na 992 80GB A100 GPU-ima, koristeći potpuno podijeljene paralelne podatke (Artetxe et al., 2021) s Megatron-LM Tensor Parallelism (Shoeybi et al., 2019). Zabilježili smo korištenje do 147 TFLOP/s po GPU-u. Održavamo stanje Adama u FP32, budući da ga razbijemo na svim hostovima, dok je težina modela ostala u FP16. Da bismo izbjegli podtoke, koristili smo dinamičko skaliranje gubitaka, kako je opisano u Micikevicius et al. (2017). 2.5 Obrazovni procesi Ovdje opisujemo značajne prilagodbe procesa treninga koje su se pojavile tijekom OPT-175B predtreninga. Tijekom osposobljavanja OPT-175B suočili smo se s značajnim brojem hardverskih neuspjeha u našem računalnom klasteru. Ukupno, hardverske neuspjehe pridonijele su najmanje 35 ručnim ponovnim pokretanjima i bicikliranju više od 100 domaćina tijekom 2 mjeseca. Tijekom ručnog ponovnog pokretanja, trening je bio obustavljen, a serija dijagnostičkih testova provedena je kako bi se otkrili problematični čvorovi. Zabilježeni čvorovi su zatim isključeni i obuka je nastavljena s posljednje sačuvane kontrolne točke. S obzirom na razliku između broja domaćina koji su izbačeni i broja ručnih ponovnih pokretanja, procjenjujemo 70+ automatskih ponovnih pokretanja zbog neuspjeha hardvera. Hardware Failures Kad se gubitak razlikovao, otkrili smo da je snižavanje stope učenja i ponovno pokretanje s ranijeg kontrolnog mjesta omogućilo da se posao oporavi i nastavi s obukom. Primijetili smo korelaciju između razlike u gubitku, našeg dinamičkog skalara gubitka koji se srušio na 0, i l 2 -norme aktivacija konačnog sloja. Ova opažanja dovela su nas do ponovnog pokretanja točaka za koje je naš dinamički skalar gubitka još uvijek bio u "zdravom" stanju (≥ 1.0), a nakon čega bi naše norme aktivacije rasle prema dolje umjesto da rastu neograničeno. Naš empirički LR raspored je prikazan na slici 1. Loss Divergences Proveli smo niz drugih eksperimentalnih promjena u sredini leta kako bismo se nosili s odstupanjima gubitka.Ovi su uključivali: prebacivanje na vanilju SGD (optimizacija je brzo platoo, a mi smo se vratili na AdamW); resetiranje dinamičkog gubitka skalar (to je pomoglo oporaviti neke, ali ne sve odstupanja); i prebacivanje na noviju verziju Megatron (to smanjuje pritisak na norme aktivacije i poboljšava prodor). Other Mid-flight Changes 3 Procjene 3.1 Prompting i nekoliko snimaka Procjenjujemo naš model na 16 standardnih NLP zadataka koji se koriste u literaturi: HellaSwag (Zellers et al., 2019), StoryCloze (Mostafazadeh et al., 2016), PIQA (Bisk et al., 2020), ARC Easy and Challenge (Clark et al., 2018), OpenBookQA (Mihaylov et al., 2018), WinoGrad (Levesque et al., 2011), WinoGrande (Sakaguchi et al., 2020), i SuperGLUE (Wang et al., 2019). Slijedimo GPT-3 (Brown et al., 2020) pomoću njihovih promptova i ukupne eksperimentalne konfiguracije. Uspoređujemo uglavnom s GPT-3, s ciljem ponovne provedbe njihovih postavki zadataka za evaluaciju, ali uključujemo uspješnost drugih LLM-ova Općenito, vidimo da naša prosječna izvedba slijedi trend GPT-3. Međutim, izvedba se može radikalno razlikovati kroz zadatke: za potpuni raspad, vidjeti Dodatak A. Imajte na umu da smo namjerno uklonili MultiRC i WIC iz tih prosjeka, jer se čini da ti skupovi podataka sustavno favoriziraju GPT-3 ili OPT nesrazmjerno. Naša izvedba se približno podudarala s GPT-3 za 10 zadataka, a podređena je u 3 zadatka (ARC Challenge i MultiRC). U 3 zadatka (CB, BoolQ, OPSC), nalazimo kako GPT i OPT modeli pokazuju nepredvidivo ponašanje u odnosu na vjerojatnu ljestvicu, zbog male veličine validacije postavljene u tim 3 zadatke (56, 277, i 104 primjera, odnosno). Zero-shot Chinchilla (Hoffmann et al., 2022) i Gopher (Rae et al., 2021) rade približno dosljedno s drugima za njihove veličine parametara, dok PaLM (Chowdhery et al., 2022) općenito radi bolje u svim postavkama, čak i kada kontrolira broj parametara. Prosječna performansa višestrukih neskladnih snimaka prikazana je na Slika 4 (ponovno, izostavljajući MultiRC i WIC), s detaljnim performansima prikazanima u Dodatku A. U prosjeku svih metrika, nalazimo da OPT modeli djeluju slično kao i GPT-3 modeli. Međutim, kao i kod zeroshot, razbijanje tih rezultata po zadatku pokazuje drugačiju priču: u istom skupu od 10 skupova podataka kao što je nula snimka, vidimo sličan učinak u oba modela. Neki od preostalih skupova podataka pokazuju nedosljedne performanse u odnosu na veličinu modela za oba OPT i GPT-3 modela (BoolQ, CB, WSC, RTE). U MultiRC-u, dosljedno vidimo potporu OPT modela u One-shot and Few-shot 3.2 Dijalog Budući da su LLM-ovi poznati po tome što su sastavni dio modernih modela dijaloga (Adiwardana et al., 2020; Roller et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Chowdhery et al., 2022), mi dodatno ocjenjujemo OPT-175B na nekoliko skupova podataka o dijalogu otvorenog izvora. Posebno slijedimo Roller et al. (2021), i ocjenjujemo na ConvAI2 (Dinan et al., 2020b), Wizard of Wikipedia (Dinan et al., 2019b), Empatic Dialogues (Rashkin et al., 2019), i Blended Skill Talk (Smith et al., 2020). Dodatno ocjenjujemo na najnovijem čarobnjaku internetskih skupova podataka (Kiliome et al., 2021). Također uspoređujemo s fino prilagođenim R2C2 BlenderBotom, 2.7B-parametarskim modelom BlenderBot-a koji je trenirao Shuster et al. (2022). Izvješćujemo o preklapanju Perplexity i Unigram F1 (UF1), slijedeći metriku ConvAI2 natjecanja (Dinan et al., 2020b). Da bismo kontrolirali različitu tokenizaciju u svakom od modela, normaliziramo sve zbunjenosti da budu u prostoru GPT-2 tokenizera (Radford et al., 2019). Također primjećujemo koji su modeli nadzirani u odnosu na ove zadatke dijaloga i koji su bez nadzora. Za OPT-175B, sve generacije se izvode koristeći pohlepno dekodiranje do maksimalno 32 tokena. Mi ne pokušavamo Rezultati su prikazani u Tablici 2. Vidimo da OPT-175B značajno nadmašuje model Reddit 2.7B koji također nije pod nadzorom na svim zadatcima, i da je konkurentan s modelom BlenderBot 1 koji je u potpunosti pod nadzorom, posebno u ConvAI2 skupu podataka. Bili smo pomalo iznenađeni činjenicom da su ocjene nepovjerenog modela OPT-175B bile jednako konkurentne kao BlenderBot 1 na ConvAI2 skupu podataka. To može ukazivati na curenje ConvAI2 skupova podataka u opći pre-trening korpus ili čak u podatke o validaciji kao što je ocijenjeno u Tablici 2. Kako bismo riješili zabrinutosti o curenju, pretražili smo naš pre-trening korpus za prvi razgovor u ConvAI2 skupu podataka, ali nismo pronašli nikakvo preklapanje. Dodatno smo ocijenili OPT-175B na ConvAI2 skrivenom skupu testova, koji nikada nije bio javno objavljen, i postigli 10.7 ppl i .185 UF1, usklađujući performanse validacijskog skupa. Nadalje 4 Procjene predrasuda i toksičnosti Da bismo razumjeli potencijalnu štetu OPT-175B-a, ocijenili smo niz referentnih vrijednosti povezanih s otkrivanjem govora mržnje, svjesnošću stereotipa i proizvodnjom toksičnog sadržaja.Iako u tim referentnim vrijednostima mogu postojati nedostatci (Blodgett et al., 2021.; Jacobs i Wallach, 2021.), ove mjerenja pružaju prvi korak prema razumijevanju ograničenja OPT-175B-a. 4.1 Detekcija govora mržnje Koristeći ETHOS-ov skup podataka koji su dostupni u Mollas et al. (2020) i instrumentirani od strane Chiu i Alexander (2021), mjerimo sposobnost OPT-175B-a da utvrdi jesu li određene engleske izjave rasističke ili seksističke (ili ne). U nultom, jednome i nekoliko-šut binarnim slučajevima, model je predstavljen s tekstom i zatražen da razmotri je li tekst rasistički ili seksistički i pruži odgovor da/ne. Rezultati su predstavljeni u Tablici 3. Uz sve naše konfiguracije od jednog do nekoliko snimaka, OPT175B djeluje znatno bolje od Davincija. Špekuliramo da se to događa iz dva izvora: (1) evaluacija putem Davinci API-ja može dovesti do sigurnosnih mehanizama kontrole izvan originalnog modela 175B GPT-3 koji se koristi u Brown et al. (2020); i (2) značajna prisutnost ne-moderiranih društvenih medija u prettreningskom skupu podataka pružila je dodatne induktivne predrasude kako bi pomogla u takvim zadaćama klasifikacije. 4.2 Crows-parovi CrowSPairs (Nangia et al., 2020) je usmjeren na mjerenje predrasuda na razini intrasentence u 9 kategorija: spol, religija, rasa/boja, seksualna orijentacija, dob, nacionalnost, invalidnost, fizički izgled i socioekonomski status.Svaki primjer sastoji se od para rečenica koje predstavljaju stereotip ili anti-stereotip u odnosu na određenu skupinu, s ciljem mjerenja preferencije modela prema stereotipnim izrazima. U usporedbi s Davincijem u Tablici 4, OPT175B čini se da pokazuje više stereotipnih predrasuda u gotovo svim kategorijama osim religije. Još jednom, to je vjerojatno zbog razlika u podacima o osposobljavanju; Nangia et al. (2020) pokazali su da Pushshift.io Reddit korpus ima veću stopu učestalosti za stereotipe i diskriminirajući tekst od drugih korpora (npr. Wikipedija). S obzirom na to da je ovo primarni izvor podataka za OPT-175B, model je možda naučio više diskriminirajućih asocijacijacija, što izravno utječe na njegovu izvedbu na CrowS-Pairs. 4.3 Stereotipi Nakon Lieber et al. (2021) i Artetxe et al. (2021), koristimo StereoSet (Nadeem et al., 2021) za mjerenje stereotipskih predrasuda u 4 kategorije: zanimanje, spol, religija i rasa. Osim mjerenja intrasentence (sličan CrowSPairs), StereoSet uključuje mjerenje na intersententententnoj razini kako bi testirao sposobnost modela da uključi dodatni kontekst. Jezik Modeliranje Score (LMS) i Stereotype Score (SS), koji se zatim kombiniraju kako bi se formirao Idealized Context Association Test Score (ICAT). Za razliku od Lieber et al. (2021), mi normaliziramo ocjene po broju žetona, a ne broju znakova, što izvješćuju poboljšava metriku za nekoliko modela. Rezultati su prikazani u Tablici 5. Vidimo da Davinci i OPT-175B pokazuju slične rezultate na agregatu (u cjelini ICAT je vrlo blizu između njih dviju). Konkretno, Davinci nadmašuje u područjima profesije i rase, dok OPT-175B nadmašuje u područjima spola i religije. OPT175B bolje djeluje na ploči na SS metrici, dok Davinci općenito 4.4 RealToxicityPrompts U budućnosti procjenjujemo odgovarajuću tendenciju OPT-175B-a da odgovori toksičnim jezikom putem RealToxicityPrompts (Gehman et al., 2020) podatkovnog skupa. Nakon ovog PaLM-a (Chowdhery et al., 2022), uzorkujemo 25 generacija od 20 tokena pomoću uzorkovanja jezgra (Holtzman et al., 2020) (p = 0.9) za svaku od 10 000 slučajno uzorkovanih prompta iz RTP-a i izvješćujemo o prosječnim vjerojatnostima toksičnosti nastavaka, stratificiranim preko toksikoza u kutiji izvornih prompta. Za usporedbu, izvješćujemo o stope toksičnosti u kutiji od Davincija i PaLM-a. Rezultati su prikazani na slici 5. Op 4.5 Procjene sigurnosti dijaloga Naposljetku, uspoređujemo OPT-175B na dvije evaluacije sigurnosti dijaloga. Prvi, SaferDialogues (Ung et al., 2021) mjeri sposobnost oporavka od izričitih sigurnosnih neuspjeha, obično u obliku isprike ili priznavanja svoje pogreške. Drugi, Testovi jedinice sigurnosnog stožera (Dinan et al., 2021) mjeri koliko je siguran odgovor modela, stratificiran na 4 razine osjetljivosti teme: Safe, Realistic, Unsafe i Adversarial. Kao i kod drugih evaluacija dijaloga (odjeljak 3.2), uspoređujemo se s nekoliko postojećih modela dijaloga otvorenog izvora. Rezultati za oba eksperimenta prikazani su u Tablici 6. Primjećujemo da OPT-175B ima slične performanse 5 Ograničenja U odjeljcima 3.1 i 4 proveli smo opsežnu evaluaciju svih objavljenih modela na različitim razmjerima. Vidjeli smo paritet performansi za standardne skupove podataka za evaluaciju koji se koriste u modelima GPT-a-3. Osim toga, proveli smo evaluacije sigurnosti, predrasuda i uključivanja, ponovno vidjevši uglavnom usporedive performanse s nekim varijacijama u otkrivanju toksičnosti i govora mržnje. Međutim, takve evaluacije možda ne karakteriziraju potpuna ograničenja tih modela. Općenito, kvalitativno promatramo da OPT-175B pati od istih ograničenja koja su zabilježena u drugim LLM-ovima (Brown et al., 2020; Lieber et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Smith et Prompting s takvim uputama ima tendenciju da proizvede simulaciju dijaloga koji počinje s takvim uputama, a ne izvršenje uputa. Budući rad u učenju uputa, u žilu InstructGPT (Ouyang et al., 2022), može ublažiti ta ograničenja. OPT-175B također ima tendenciju da se ponavlja i može se lako zaglaviti u krugu. Dok uzorkovanje može smanjiti učestalost ponavljajućeg ponašanja (Holtzman et al., 2020), anekdotski smo otkrili da ga nije u potpunosti uklonio kada se uzima uzorak samo jedne generacije. Budući rad može željeti uključiti modernije strategije za smanjenje ponavljanja i poboljšanje raznolikosti, kao što je treniranje vjerojatnosti (Welleck et al., 2020) Poput drugih LLM-ova, OPT-175B može proizvesti faktički netočne izjave (Adiwardana et al., 2020; Brown et al., 2020; Roller et al., 2021; Rae et al., 2021; Chowdhery et al., 2022; Thoppilan et al., 2022). To može biti posebno štetno u aplikacijama gdje je točnost informacija ključna, kao što su zdravstvo i znanstvena otkrića (Weidinger et al., 2022b). Nedavno je nekoliko napora prijavljeno da modeli povećani prikupljanjem mogu poboljšati činjenicnu točnost LLM-ova (Lewis et al., 2020; Komeili et al., 2021; Thoppilan et al., 2022; Borgeaud et al., 2021; Shuster et al., 2022; Nakano et al., 2021). Vjerujemo da će OPT-175 Bilo je puno rada na ublažavanju toksičnosti i predrasuda (Dathathri et al., 2019; Dinan et al., 2019a; Sheng et al., 2019; Dinan et al., 2020a; Liu et al., 2019a; Krause et al., 2020; Xu et al., 2020; Liang et al., 2021; Dinan et al., 2021a; Xu et al., 2021a; Dhamala et al., 2021; Schick et al., 2021; Ouyang et al., 2022). Ovisno o daljnjim primjenama, buduće uporabe OPT-175B-a možda će morati primijeniti te ili nove pristupe ublažavanju, posebno prije bilo kakve realne implementacije. S obzirom na naš primarni cilj kao replikacije GPT-3-a, odlučili smo ne primijeniti ta ublažavanja u ovom prvom izdanju. Unatoč uključivanju podatkovnih listova i kartica modela, vjerujemo da bi se više provjere trebalo dati na podacima o osposobljavanju s dodatnim karakterizacijama podataka i kriterijima odabira kako bi se podaci odgovorno koristili. Trenutačna praksa je da model hranimo što je više moguće podataka i minimalnim odabirom unutar tih skupova podataka. Unatoč sveobuhvatnim evaluacijama, idealno bi bilo da imamo strože i dosljednije postavke evaluacije kako bi se osigurala replikacija i reproduktivnost evaluacijskih scenarija. Razlike u stilovima i broju snimaka za učenje u kontekstu mogle bi stvoriti varijacije koje bi dovele do različitih rezultata. Nadamo se da će javno objavljivanje OPT modela omogućiti mnogo više istraživača da rade na tim važnim pitan 6 Razmatranja za oslobađanje U skladu s preporukama za pojedinačne istraživače koje je generiralo Partnerstvo za AI,7 zajedno s smjernicama za upravljanje koje je opisao NIST,8 otkrivamo sve pojedinosti uključene u obuku OPT-175B kroz naš dnevnik,9 naš kod, i pružamo istraživačima pristup modelnim težinama za OPT-175B, zajedno sa paketom manjih baznih linija koje odražavaju postavljanje za OPT175B. Cilj nam je biti u potpunosti odgovorni za životni ciklus razvoja OPT-175B-a, a tek povećanjem transparentnosti oko razvoja LLM-a možemo početi razumjeti ograničenja i rizike LLM-a prije nego što dođe do šire implementacije. Dijeljenjem detaljnog izvješća o našem svakodnevnom procesu osposobljavanja, otkrivamo ne samo koliko je računala korišteno za obuku trenutne verzije OPT-175B-a, već i ljudsku površinu potrebnu kada temeljna infrastruktura ili sam proces osposobljavanja postane nestabilan u razmjeru. Ovi detalji su općenito propušteni iz prethodnih publikacija, vjerojatno zbog nemogućnosti da se u potpunosti ublaže promjene napravljene u sredini leta (bez drastičnog povećanja proračuna za računanje). Nadamo se da ćemo Iznad ovih bilješki, sama metaseq koda baza je konačni izvor istine u mnogim detaljima naše implementacije. objavom naše razvojne koda baze, nastojimo baciti svjetlo na bilo koji detalj implementacije koji je možda bio propušten izričito naveden u ovom dokumentu, jer se smatra detaljem standardne prakse na terenu, ili je jednostavno detalj koji nismo uspjeli objasniti. Ova trenutna koda baza je također jedina poznata open-source implementacija obuke dekoderni transformator koji je ≥175B parametara bez korištenja paralelnosti na NVIDIA GPU-ovima. Da bi se omogućilo eksperimentiranje na razini 175B, istraživačima pružamo izravan pristup parametrima OPT-175B. Razlog je ovdje dvostruki: omogućiti odgovorno istraživanje AI-a u LLM-ove, a istodobno smanjiti utjecaj istraživanja na okoliš na ovoj razini. Postoji sve veći broj radova koji detaljno opisuju etičke i društvene rizike od uvođenja jezičnih modela s novim sposobnostima na razini (Weidinger et al., 2021a; Bommasani et al., 2021; Dinan et al., 2021; Kenton et al., 2021). Ograničavanjem pristupa OPT-175B-u istraživačkoj zajednici s nekomercijalnom dozvolom nastojimo usmjeriti napore razvoja na kvantificiranje ograničenja LLM-ova prije nego što Osim toga, postoji značajan računalni i ugljični trošak za reprodukciju modela ove veličine. Dok je OPT-175B razvijen s procijenjenim emisijskim otiscima ugljika (CO2eq) od 75 tona,10 GPT-3 je procijenjeno da će koristiti 500 tona (Patterson et al., 2021.), dok je Gopher zahtijevao 380 tona (Rae et al., 2021.). Te procjene nisu univerzalno prijavljene, a računovodstvene metodologije za ove izračune također nisu standardizirane. Osim toga, obuka modela je samo jedna komponenta ukupnog ugljičnog otiska AI sustava; također moramo uzeti u obzir eksperimentiranje i eventualne troškove zaključivanja, što sve pridonosi rastućem energetskom otisku stvaranja velikih modela (Wu et al., 2022). Objavljivanjem našeg dnevnika nadamo se da ćemo istaknuti razliku između teoretske procjene troškova ugljika koja ne podrazumijeva neuspjeh hardvera ili nestabilnost treninga, u odnosu na onu koja ima za cilj uključiti cijeli životni ciklus razvoja LLM-a. Moramo razumjeti proizvodnju (ili utjelovljeni) ugljik tih sustava (Gupta et al., 2021) jer postaju sve složeniji, a nadamo se da će naš rad pomoći u budućnosti definirati dodatne čimbenike koje treba uzeti u obzir prilikom mjerenja utjecaja razmjera na okoliš. Slično tome, proizvodnjom niza osnovnih linija u širokom rasponu ljestvica, nadamo se da ćemo omogućiti širu istraživačku zajednicu da proučava utjecaj i ograničenja tih modela u odnosu na ljestvicu. Kao što je prijavljeno u Hoffmann et al. (2022), mnogi od tih LLM-ova možda su bili podtrenjeni kao funkcija količine podataka o obuci koji se koriste, što znači da uključivanje više podataka i nastavak obuke tih osnovnih modela može nastaviti poboljšati performanse. 7 Povezani radovi Od objavljivanja Transformer arhitekture (Vaswani et al., 2017) i BERT (Devlin et al., 2019), područje NLP-a doživjelo je masivni pomak u smjeru korištenja LLM-ova s samonadzorovanim pretreniranjem. Mnogobrojni maskirani modeli langauge, uključujući T5 (Raffel et al., 2020) i MegatronLM (Shoeybi et al., 2019), pokazali su dosljedna poboljšanja kroz razmjeru. Ovi uspjesi u razmjeru dolaze ne samo od povećanja ukupnog broja parametara u modelima, već i od količine i kvalitete pretreniranih podataka (Liu et al., 2019b; Hoffmann et al., 2022). Auto-regresivni jezični modeli (Mikolov et al., 2009) vidjeli su najveći modelski Rezultirajuće ogromno poboljšanje u generativnoj tekućini i kvaliteti prvo je karakterizirano u GPT-2 (Radford et al., 2019) i dodatno poboljšano s GPT-3 (Brown et al., 2020) i kasnijim modelima. Iako su razni vrlo veliki (preko 100B parametara) generativni modeli sada obučeni (Lieber et al., 2021; Rae et al., 2021; Thoppilan et al., 2022; Smith et al., 2022; Chowdhery et al., 2022), svi su zatvoreni izvor i dostupni samo interno ili putem plaćene API usluge. Postoji nekoliko značajnih napora prema otvaranju LLM-ova od neprofitnih istraživačkih organizacija uključujući EleutherAI (Black et al., 2022) i BigScience.11 Ovi modeli se razlikuju od modela OPT u podacima o predtreningu, ciljnim jezicima i veličini modela, što omogućuje zajednici da usporedi različite strategije predtreninga. Od Brown et al. (2020), primarni kriterij ocjenjivanja za LLM-ove bio je prompt-based (Black et al., 2022; Rae et al., 2021; Chowdhery et al., 2022), kao što se također provodi u ovom članku. To je uglavnom zbog pogodnosti ocjenjivanja na mnogim zadaćama bez specijaliziranog zadatka specifičnog fine-tuning. Prompting ima dugu povijest: ocjene cloze idu nekoliko desetljeća (Chambers i Jurafsky, 2008; Mostafazadeh et al., 2016). Nedavno je prompting ili masked infilling korišten za ispitiv Međutim, učinkovito inženjering prompt ostaje otvoren istraživački izazov. Rezultati variraju značajno i nepredvidivo s odabirom prompt (Lu et al., 2021.), a modeli ne izgledaju da razumiju promptove u potpunosti kao što očekujemo (Webson i Pavlick, 2021.). Nadalje, izazov je napisati promptove bez razvojnog skupa, što dovodi do pitanja o tome u kojoj mjeri stvarno postižemo učenje nule ili malo u praksi (Perez et al., 2021.). Mi ne pokušavamo riješiti ove zabrinutosti promptinga, a umjesto toga nastojimo samo pružiti evaluaciju OPT-175B u postojećim postavkama. Međutim, nadamo se da će potpuno objavljivanje OPT-175B omogućiti drugima da bolje proučavaju ove izazove u budućnosti. 8 Zaključak U ovom tehničkom izvješću predstavili smo OPT, zbirku modela auto-regresivnog jezika u veličini od 125M do 175B parametara. Naš je cilj bio reproducirati performanse i veličine modela klase GPT-3, dok smo primjenjivali i najnoviju najbolju praksu u kuriranju podataka i učinkovitosti obuke. Opisali smo detalje obuke, ocijenili performanse u brojnim postavkama NLP-a i dijaloga te karakterizirali ponašanje u pogledu predrasuda, toksičnosti i govora mržnje. Također smo opisali mnoge druge ograničenja modela i raspravljali o širokom nizu razmatranja za odgovorno objavljivanje modela. Vjerujemo da bi cijela AI zajednica imala koristi od zajedničkog rada na razvoju smjernica za odgovorne LLM-ove i nadamo se da Priznanja Želimo zahvaliti Scott Jeschonek, Giri Anantharaman, Diego Sarina, Joaquin Colombo, Chris Bray, Stephen Roylance, Kalyan Saladi, Shubho Sengupta i Brian O’Horo za pomoć u uklanjanju infrastrukturnih blokera na putu; Percy Liang, Rishi Bommasani, i Emily Dinan za rasprave o odgovornim praksama otpuštanja; Carole-Jean Wu za rasprave o održivosti i razmatranjima ugljičnog otiska; Srini Iyer, Ramakanth Pasunuru i Shruti Bhosale za prethodne doprinose evaluacijama; Benjamin Lefaudeux, Geeta Chauhan, Natalia Gimelshein, Horace, Heace i Sam Gross za rasprave o radu na poboljšanju performansi; Emily Dinan, Carole-Jean Wu, referenciji Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. 2020. U smjeru humanog chatbota otvorenog domena. arXiv preprint arXiv:2001.09977. Mikel Artetxe, Shruti Bhosale, Naman Goyal, Todor Mihaylov, Myle Ott, Sam Shleifer, Xi Victoria Lin, Jingfei Du, Srinivasan Iyer, Ramakanth Pasunuru, Giri Anantharaman, Xian Li, Shuohui Chen, Halil Akin, Mandeep Baines, Louis Martin, Xing Zhou, Punit Singh Koura, Brian O’Horo, Jeff Wang, Luke Zettlemoyer, Mona T. Diab, Zornitsa Kozareva, i Ves Stoyanov. 2021. Jason Baumgartner, Savvas Zannettou, Brian Keegan, Megan Squire i Jeremy Blackburn. 2020. Pushshift redit dataset. CoRR, abs/2001.08435. Emily M Bender, Timnit Gebru, Angelina McMillanMajor, i Shmargaret Shmitchell. 2021. O opasnostima stohastičnih papagaja: mogu li jezični modeli biti preveliki? Yonatan Bisk, Rowan Zellers, Ronan Le bras, Jianfeng Gao i Yejin Choi. 2020. Piqa: Razmišljanje o fizičkom zdravom razumu u prirodnom jeziku. Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, Michael Pieler, USVSN Sai Prashanth, Shivanshu Purohit, Laria Reynolds, Jonathan Tow, Ben Wang i Samuel Weinbach. 2022. Su Lin Blodgett, Gilsinia Lopez, Alexandra Olteanu, Robert Sim i Hanna Wallach. 2021. Stereotipiranje norveškog lososa: popis zamki u referentnim skupovima podataka o pravednosti. u Procedurama 59. godišnjeg sastanka Udruge za računalne lingvistike i 11. međunarodne zajedničke konferencije o obradi prirodnog jezika (Volume 1: Dugi dokumenti), stranice 1004-1015, Online. Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch, Dallas Card, Rodrigo Castellon, Niladri Chatterji, Annie S. Chen, Kathleen Creel, Jared Quincy Davis, Dorottya Demszky, Chris Donahue, Moussa Doumbouya, Esin Durmus, Stefano Ermon, John Etchemendy, Kawin Ethayarajh, Li FeiFei, Chelsea Finn, Trevor Gale, Lauren Gespillie, Karan Goel, Noah D. Goodman, Shelby Grossman, Neel Guha, Tatsunori Hashimoto, Peter Henderson Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George van den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. 2021. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel HerbertVoss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever i Dario Amodei. 2020. Jezikovi modeli su mali učenici. Nathanael Chambers i Dan Jurafsky. 2008. Nepovjereno učenje o narativnim lancima događaja. u Proceedings of ACL-08: HLT, stranice 789-797, Columbus, Ohio. Ke-Li Chiu i Rohan Alexander. 2021. Detekcija govora mržnje s gpt-3. arXiv preprint arXiv:2103.12407. Aakanksha Diawon Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Ghemawat, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sun Devipa, Henryk Michalewski, Xavier Garcia, Vedantra Misra, Kevin Robinson, Liam Fedus, Jason Zhou Den Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick i Oyvind Tafjord. 2018. Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski i Rosanne Liu. 2019. Plug and play jezični modeli: Jednostavan pristup kontroliranoj generaciji teksta. arXiv preprint arXiv:1912.02164. Jacob Devlin, Ming-Wei Chang, Kenton Lee i Kristina Toutanova. 2019. BERT: Pre-trening dubokih dvosmjernih transformatora za razumijevanje jezika. u Sjevernoameričkom udruženju za računalne lingvistike (NAACL). Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang i Rahul Gupta. 2021. Bold: Dataset i mjerila za mjerenje predrasuda u generaciji otvorenog jezika. Emily Dinan, Gavin Abercrombie, A Stevie Bergman, Shannon Spruit, Dirk Hovy, Y-Lan Boureau i Verena Rieser. 2021. Predviđanje sigurnosnih problema u e2e razgovorima: okvir i alat. arXiv preprint arXiv:2107.03451. Emily Dinan, Angela Fan, Adina Williams, Jack Urbanek, Douwe Kiela i Jason Weston. 2020a. Kraljice su također moćne: ublažavanje rodne predrasude u generaciji dijaloga. U Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), stranice 8173–8188, Online. Emily Dinan, Samuel Humeau, Bharath Chintagunta i Jason Weston. 2019a. Izgradite ga za sigurnost dijaloga: Robustnost od protivničkog ljudskog napada. arXiv preprint arXiv:1908.06083. Emily Dinan, Varvara Logacheva, Valentin Malykh, Alexander Miller, Kurt Shuster, Jack Urbanek, Douwe Kiela, Arthur Szlam, Iulian Serban, Ryan Lowe, Shrimai Prabhumoye, Alan W. Black, Alexander Rudnicky, Jason Williams, Joelle Pineau, Mikhail Burtsev i Jason Weston. 2020b. Drugi izazov za razgovornu inteligenciju (ConvAI2). Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli i Jason Weston. 2019b. Wizard of Wikipedia: Knowledge-powered conversational agents. Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser i Connor Leahy. 2021a. Stack: 800gb podatkovni set različitog teksta za modeliranje jezika. CoRR, abs/2101.00027. Tianyu Gao, Adam Fisch, i Danqi Chen. 2021.b. Izgradnja unaprijed osposobljenih jezičnih modela boljim učenicima.U Proceduri 59. godišnjeg sastanka Udruge za računalne lingvistike i 11. međunarodne zajedničke konferencije o obradi prirodnog jezika, ACL/IJCNLP 2021, (Volume 1: Dugi papiri), Virtualni događaj, 1. – 6. kolovoza 2021, stranice 3816–3830. Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, i Kate Crawford. 2021. Listovi podataka za skupove podataka. Zajednički. ACM, 64(12):86–92. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi i Noah A. Smith. 2020. RealToxicityPrompts: Evaluating neural toxic degeneration in language models. In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 3356–3369, Online. Udit Gupta, Young Geun Kim, Sylvia Lee, Jordan Tse, Hsien-Hsin S Lee, Gu-Yeon Wei, David Brooks i Carole-Jean Wu. 2021. - Pronalaženje ugljika: neizvjesni ekološki otisak računanja. Kaiming He, Xiangyu Zhang, Shaoqing Ren i Jian Sun. 2016. Duboko preostalo učenje za prepoznavanje slika. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals i Laurent Sifre. 2022. Ari Holtzman, Jan Buys, Maxwell Forbes i Yejin Choi. 2020. Zanimljiv slučaj degeneracije neuralnog teksta. ArXiv, abs/1904.09751. Abigail Z. Jacobs i Hanna Wallach. 2021. mjerenje i pravednost. u Proceduri ACM konferencije o pravednosti, odgovornosti i transparentnosti 2021., FAccT ’21, stranica 375–385, New York, NY, USA. Zachary Kenton, Tom Everitt, Laura Weidinger, Iason Gabriel, Vladimir Mikulik i Geoffrey Irving. 2021. Usklađivanje jezičnih agenata. CoRR, abs/2103.14659. Mojtaba Komeili, Kurt Shuster i Jason Weston. 2021. internetom povećana generacija dijaloga. CoRR, abs/2107.07566. Ben Krause, Akhilesh Deepak Gotmare, Bryan McCann, Nitish Shirish Keskar, Shafiq Joty, Richard Socher i Nazneen Fatema Rajani. 2020. Brian Lester, Rami Al-Rfou, i Noah Constant. 2021. Moć razmjera za parametri učinkovito prompt tuning. CoRR, abs/2104.08691. Hector J Levesque, Ernest Davis, i Leora Morgenstern. 2011. The Winograd schema challenge. In AAAI Spring Symposium: Logical Formalizations of Commonsense Reasoning, volumen 46, stranica 47. Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. 2020. Generacija s povećanjem povratka za zadatke s intenzivnim znanjem. Napredak u neuralnim sustavima za obradu informacija, 33:9459–9474. Xiang Lisa Li i Percy Liang. 2021. Prefix-Tuning: Optimizing Continuous Prompts for Generation. stranice 4582–4597. Paul Pu Liang, Chiyu Wu, Louis-Philippe Morency i Ruslan Salakhutdinov. 2021. Kroz razumijevanje i ublažavanje društvenih predrasuda u jezikovnim modelima. Na Međunarodnoj konferenciji o strojnom učenju, stranice 6565–6576. Opher Lieber, Or Sharir, Barak Lenz i Yoav Shoham. 2021. Jurassic-1: Tehnički detalji i evaluacija. Tehničko izvješće, AI21 Labs. Haochen Liu, Jamell Dacon, Wenqi Fan, Hui Liu, Zitao Liu i Jiliang Tang. 2019a. Je li spol važan? prema pravednosti u sustavima dijaloga. arXiv preprint arXiv:1910.10486. Haokun Liu, William Huang, Dhara Mungra i Samuel R. Bowman. 2020. Precizna formalizacija zadataka važna je u evaluacijama sheme Winograd. U Procedurama Konferencije o empirijskim metodama u obradi prirodnog jezika (EMNLP), stranice 8275-8280, Online. Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan, Lawrence Carin i Weizhu Chen. 2021. Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer i Veselin Stoyanov. 2019b. Roberta: Robustno optimizirani pristup pretrainingu. arXiv preprint arXiv:1907.11692. Ilya Loshchilov i Frank Hutter. 2017. Ispravljanje normalizacije gubitka težine u adam. CoRR, abs/1711.05101. Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel i Pontus Stenetorp. 2021. Fantastično naručene upute i gdje ih naći: Prevladavanje osjetljivosti nekoliko hitova. Clara Meister, Tim Vieira, i Ryan Cotterell. 2020. Najbolje prvo traženje zraka. transakcije Udruge za računalne lingvistike, 8:795–809. Paulius Micikevicius, Sharan Narang, Jonah Alben, Gregory Diamos, Erich Elsen, David Garcia, Boris Ginsburg, Michael Houston, Oleksii Kuchaiev, Ganesh Venkatesh, et al. 2017. Todor Mihaylov, Peter Clark, Tushar Khot i Ashish Sabharwal. 2018. Može li oklopna haljina voditi električnu energiju? Novi skup podataka za odgovaranje na pitanja otvorene knjige. CoRR, abs/1809.02789. Tomas Mikolov, Jiri Kopecky, Lukas Burget, Ondrej Glembek, et al. 2009. Modeli jezika na temelju neuronske mreže za visoko inflektivne jezike. U 2009. godini Međunarodna konferencija IEEE o akustici, govoru i obradi signala, stranice 4725–4728. Sewon Min, Mike Lewis, Luke Zettlemoyer i Hannaneh Hajishirzi. 2021. Sewon Min, Xinxi Lyu, Ari Holtzman, Mikel Artetxe, Mike Lewis, Hannaneh Hajishirzi i Luke Zettlemoyer. 2022. Preispitivanje uloge demonstracija: Što čini učenje u kontekstu radnim? arXiv preprint arXiv:2202.12837. Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji i Timnit Gebru. 2018. Model kartice za model izvješćivanje. CoRR, abs/1810.03993. Ioannis Mollas, Zoe Chrysopoulou, Stamatis Karlos i Grigorios Tsoumakas. 2020. ETHOS: online skup podataka za otkrivanje govora mržnje. CoRR, abs/2006.08328. Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli i James F. Allen. 2016. Korpus i okvir evaluacije za dublje razumijevanje priča o zajedničkom razumu. Moin Nadeem, Anna Bethke i Siva Reddy. 2021. StereoSet: Mjerenje stereotipskih predrasuda u predtreniranim jezikovnim modelima. Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, et al. 2021. Nikita Nangia, Clara Vania, Rasika Bhalerao i Samuel R. Bowman. 2020. Crows-pairs: A challenge dataset for measuring social biases in masked language models. arXiv preprint arXiv:2010.00133. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese i Caiming Xiong. 2022. Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. 2022. David Patterson, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier i Jeff Dean. 2021. emisije ugljika i obuka velikih neuronskih mreža. arXiv preprint arXiv:2104.10350. Ethan Perez, Douwe Kiela i Kyunghyun Cho. 2021. - Istinsko učenje s jezikovnim modelima. Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu i Alexander Miller. 2019. jezični modeli kao baze znanja? U Procedurama Konferencije o empirijskim metodama u obradi prirodnog jezika 2019. i 9. međunarodne zajedničke konferencije o obradi prirodnog jezika (EMNLPIJCNLP), stranice 2463–2473, Hong Kong, Kina. Alec Radford, Karthik Narasimhan, Time Salimans i Ilya Sutskever. 2018. Poboljšanje razumijevanja jezika uz neovlašteno učenje. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei i Ilya Sutskever. 2019. Jezikovi modeli su neovlašteni učenici multitask. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, H. Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Amy Wu, Erich Elsen, Siddhant M. Jayakumar, Po-Sen Huang, Amelia Glaese, David Budden, Johannes Welbl, Sumanth Dathathri, Chris Saffron Huang, Laurent Sifre Huang, Jonathan Uesayato, John Mellor, Irina Higgins, Antonia Creswell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant M. Jayakumar, Elena Buchatskaya, David Budden, Igor Sutherland, Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li i Peter J Liu. 2020. Istraživanje granica učenja prijenosa pomoću jedinstvenog tekstualnog transformatora The Journal of Machine Learning Research (JMLR), 21:1–67. Anand Rajaraman i Jeffrey David Ullman. 2011. rudarenje masivnih skupova podataka. Hannah Rashkin, Eric Michael Smith, Margaret Li i Y-Lan Boureau. 2019. U smjeru empatičnih modela razgovora na otvorenom domenu: nova referentna vrijednost i skup podataka. Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau i Jason Weston. 2021. Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula i Yejin Choi. 2020. Winogrande: izazov protivničke sheme vinograda u veličini. Na Trideset četvrtoj AAAI konferenciji o umjetnoj inteligenciji, AAAI 2020, Trideset druga inovativna primjena umjetne inteligencije konferencija, IAAI 2020, Deseti AAAI simpozij o obrazovnom napretku u umjetnoj inteligenciji, EAAI 2020, New York, NY, USA, 7.-12. veljače 2020, stranice 8732-8740. Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Bawden, Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry Jason, Alan Fries Teven Le Scao i Alexander M. Rush. 2021. Koliko je točke podataka promptna vrijednost? stranice 2627– 2636. Timo Schick i Hinrich Schütze. 2020. Nije važno samo veličina: mali jezični modeli također su mali učenici. CoRR, abs/2009.07118. Timo Schick, Sahana Udupa i Hinrich Schütze. 2021. – Samodiagnoza i samodijagnoza: Prijedlog za smanjenje predrasuda na temelju korpusa u nlp. Rico Sennrich, Barry Haddow, i Alexandra Birch. 2016. Neuralni strojni prijevod rijetkih riječi s podjedinicama riječi. U Proceduri 54. godišnjeg sastanka Udruge za računalne lingvistike (Volume 1: Long Papers), stranice 1715-1725, Berlin, Njemačka. Emily Sheng, Kai-Wei Chang, Premkumar Natarajan i Nanyun Peng. 2019. Žena je radila kao dadilja: Na predrasudama u jezičnoj generaciji. arXiv preprint arXiv:1909.01326. Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace i Sameer Singh. 2020. AutoPrompt: Izvođenje znanja iz jezičnih modela s automatski generiranim promptovima. stranice 4222–4235. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper i Bryan Catanzaro. 2019. Megatron-lm: Obuka nekoliko milijardi modela parametarskog jezika pomoću paralelizma modela. arXiv preprint arXiv:1909.08053. Kurt Shuster, Mojtaba Komeili, Leonard Adolphs, Stephen Roller, Arthur Szlam i Jason Weston. 2022. Jezikovi modeli koji traže znanje: Modularno pretraživanje i generacija za dijalog i prompt završetak. arXiv preprint arXiv:2203.13224. Eric Smith, Mary Williamson, Kurt Shuster, Jason Weston i Y-Lan Boureau. 2020. Možete li sve to spojiti: Procjena sposobnosti razgovornih agenata da kombiniraju vještine. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zheng, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary i Bryan Catanzaro. 2022. Korištenje dubine i megatron za treniranje megatron-turing NLG 530b, Veliki generativni jezik model. CoRR, abs/2201.11990. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, et al. 2022. Trieu H. Trinh i Quoc V. Le. 2018. Jednostavna metoda razmatranja općeg razuma. CoRR, abs/1806.02847. Megan Ung, Jing Xu i Y-Lan Boureau. 2021. Sigurnosni dijalogi: Graciozno uzimanje povratnih informacija nakon neuspjeha u sigurnosti razgovora. ArXiv, abs/2110.07518. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser i Illia Polosukhin. 2017. Pozornost je sve što vam je potrebno. Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy i Samuel R. Bowman. 2019. SuperGLUE: Viši referent za sustave za sveobuhvatno razumijevanje jezika. arXiv preprint 1905.00537. Albert Webson i Ellie Pavlick. 2021. – Jesu li prompt-based modeli doista razumjeli značenje njihovih promptova? arXiv preprint arXiv:2109.01247. Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai i Quoc V. Le. 2021. Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, Zac Kenton, Sasha Brown, Will Hawkins, Tom Stepleton, Courtney Biles, Abeba Birhane, Julia Haas, Laura Rimell, Lisa Anne Hendricks, William Isaac, Sean Legassick, Geoffrey Irving i Iason Gabriel. 2021a. Etički i društveni rizici štete od jezičnih modela. Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, et al. 2021b. Etički i društveni rizici štete od jezičnih modela. arXiv preprint arXiv:2112.04359. Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho i Jason Weston. 2020. Neuralna tekstualna generacija s osposobljavanjem za vjerojatnost. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga Behram, James Huang, Charles Bai, Michael Gschwind, Anurag Gupta, Myle Ott, Anastasia Melnikov, Salvatore Candido, David Brooks, Geeta Chauhan, Benjamin Lee, Hsien-Hsin S. Lee, Bugra Akyildiz, Maximilian Balandat, Joe Spisak, Ravi Jain, Mike Rabbat, i Kim Hazelwood. 2022. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston i Emily Dinan. 2020. Recepti za sigurnost u chatbotsima otvorenog domena. arXiv preprint arXiv:2010.07079. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, i Emily Dinan. 2021.a. Bot-protivnik dijalog za sigurne razgovorne agente. U postupcima konferencije 2021. sjevernoameričkog poglavlja Udruge za računalne lingvistike: Tehnologije ljudskog jezika, stranice 2950–2968, Online. Jing Xu, Arthur Szlam i Jason Weston. 2021.b. Iznad pamćenja zlatne ribice: dugoročni razgovori s otvorenim domenom. arXiv preprint arXiv:2107.07567. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi i Yejin Choi. 2019. Hellaswag: Može li mašina doista završiti vašu rečenicu? U Procedurama 57. konferencije Udruženja za računalne lingvistike, ACL 2019, Firenca, Italija, 28. srpnja – 2. kolovoza 2019. Yukun Zhu, Ryan Kiros, Richard S. Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba i Sanja Fidler. 2015. Usklađivanje knjiga i filmova: prema vizualnim objašnjenjima poput priče gledanjem filmova i čitanjem knjiga. Dodatne procjene B. doprinosi Pre-treniranje • Početno planiranje: Susan Zhang • Infrastruktura obuke i početne ablacije: Naman Goyal, Myle Ott, Stephen Roller, Sam Shleifer, Susan Zhang Učinkovitost treninga: Naman Goyal, Myle Ott, Sam Shleifer • Kuriranje podataka i deduplikiranje: Shuhoi Chen, Myle Ott, Stephen Roller • Obuka i praćenje OPT-175B: Mikel Artetxe, Moya Chen, Naman Goyal, Punit Singh Koura, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Stephen Roller, Susan Zhang Obuka osnovnih linija 125M-66B: Naman Goyal, Stephen Roller, Susan Zhang Procjene • NLP: Xian Li, Xi Victoria Lin, Todor Mihaylov, Stephen Roller, Anjali Sridhar Redatelj: Stephen Roller • Odgovorni AI evaluacije: Punit Singh Koura, Stephen Roller, Tianlu Wang Moya Chen, Stephen Roller, Luke Zettlemoyer i Susan Zhang Paper writing: Christopher Dewan i Susan Zhang Code release preparation: Mona Diab, Susan Zhang Responsible AI conduct: C Podatke Slijedimo preporuke Gebru et al. (2021) i pružamo karticu podataka za skup podataka koji se koriste za obuku OPT modela. C.1 Motivacija Podatke za pre-trening za obuku modela OPT-175B stvorio je savez od pet skupova podataka, uključujući tri skupova podataka koje koristi RoBERTa (Liu et al., 2019b), podskup Pile (Gao et al., 2021a), zajedno s Pushshift.io Reddit skupom podataka koji je razvijen u (Baumgartner et al., 2020) i obrađen u (Roller et al., 2021). • For what purpose was the dataset created? Was there a specific task in mind? Was there a specific gap that needed to be filled? Please provide a description. Cilj je AI. • Who created the dataset (e.g., which team, research group) and on behalf of which entity (e.g., company, institution, organization)? Cilj je AI. • Who funded the creation of the dataset? If there is an associated grant, please provide the name of the grantor and the grant name and number. • Ne Any other comments? C.2 Sastav Ukupni skup podataka sastoji se od udruživanja sljedećih skupova podataka: • What do the instances that comprise the dataset represent (e.g., documents, photos, people, countries)? Are there multiple types of instances (e.g., movies, users, and ratings; people and interactions between them; nodes and edges)? Please provide a description. – BookCorpus (Zhu et al., 2015) sastoji se od više od 10K neobjavljenih knjiga – CC-Stories (Trinh i Le, 2018) sadrži podskup CommonCrawl podataka filtriranih kako bi odgovarali stilu Winogradovih shema poput priče – Stupanj (Gao et al., 2021a) iz kojeg je uključeno sljedeće: Sljedeći: Pile-CC • OpenWebText2 • uspjeh Projekt Gutenberg * otvorene podnaslove • Wikipedija * DM Mathematics HackerNews – Pushshift.io Reddit skup podataka koji je razvijen u Baumgartner et al. (2020) i obrađen u Roller et al. (2021). – CCNewsV2 koji sadrži ažuriranu verziju engleskog dijela skupova podataka CommonCrawl News koji se koristi u RoBERTa (Liu et al., 2019b) Podaci o obuci sadrže 180B žetona koji odgovaraju 800 GB podataka. • How many instances are there in total (of each type, if appropriate)? Sastav podataka CC-stories sadrži podskup CommonCrawl podataka filtriranih kako bi odgovarali stilu poput priče Winogradskih shema. • Does the dataset contain all possible instances or is it a sample (not necessarily random) of instances from a larger set? If the dataset is a sample, then what is the larger set? Is the sample representative of the larger set (e.g., geographic coverage)? If so, please describe how this representativeness was validated/verified. If it is not representative of the larger set, please describe why not (e.g., to cover a more diverse range of instances, because instances were withheld or unavailable). Svaki primjerak sastoji se od podataka sirovog teksta. • What data does each instance consist of? “Raw” data (e.g., unprocessed text or images) or features? In either case, please provide a description. Ne • Is there a label or target associated with each instance? If so, please provide a description. Ne • Is any information missing from individual instances? If so, please provide a description, explaining why this information is missing (e.g., because it was unavailable). This does not include intentionally removed information, but might include, e.g., redacted text. Ne postoji izričita povezanost između pojedinih slučajeva. • Are relationships between individual instances made explicit (e.g., users’ movie ratings, social network links)? If so, please describe how these relationships are made explicit. Iz prettreninga prikupljamo niz slučajnih potvrda od otprilike 200 MB, uzorkovanih razmjerno veličini svakog skupa podataka u prettreningu. • Are there recommended data splits (e.g., training, development/validation, testing)? If so, please provide a description of these splits, explaining the rationale behind them. Osim prirodne dupliranja potencijalnih preklapanja između skupova podataka, nema drugih redundancija, pogrešaka ili izvora buke koje dodajemo. • Are there any errors, sources of noise, or redundancies in the dataset? If so, please provide a description. • To je samostalno. Is the dataset self-contained, or does it link to or otherwise rely on external resources (e.g., websites, tweets, other datasets)? Dijelovi skupova podataka su podskup javnih Common Crawl podataka, zajedno s podskupom javnih Reddit podataka, koji mogu sadržavati rečenice koje, ako se gledaju izravno, mogu biti uvredljive, uvredljive, prijetnje ili na drugi način uzrokovati tjeskobu. • Does the dataset contain data that, if viewed directly, might be offensive, insulting, threatening, or might otherwise cause anxiety? If so, please describe why. Neki dokumenti tih podataka odnose se na ljude, kao što su članci iz vijesti, opisi Wikipedije itd. • Does the dataset relate to people? If not, you may skip the remaining questions in this section. Ne, skup podataka ne uključuje izričito identifikaciju podpopulacije. • Does the dataset identify any subpopulations (e.g., by age, gender)? If so, please describe how these subpopulations are identified and provide a description of their respective distributions within the dataset. Ne • Any other comments? C.3 Proces prikupljanja N/A. Dataset je unija pet javno dostupnih skupova podataka. • How was the data associated with each instance acquired? Was the data directly observable (e.g., raw text, movie ratings), reported by subjects (e.g., survey responses), or indirectly inferred/ derived from other data (e.g., part-of-speech tags, model-based guesses for age or language)? If data was reported by subjects or indirectly inferred/derived from other data, was the data validated/verified? If so, please describe how. • Podaci su preuzeti s interneta. What mechanisms or procedures were used to collect the data (e.g., hardware apparatus or sensor, manual human curation, software program, software API)? How were these mechanisms or procedures validated? Molimo pogledajte prethodne odgovore o tome kako je sastav podataka nastao. • If the dataset is a sample from a larger set, what was the sampling strategy (e.g., deterministic, probabilistic with specific sampling probabilities)? This data is mined, filtered and sampled by machines. • Who was involved in the data collection process (e.g., students, crowdworkers, contractors) and how were they compensated (e.g., how much were crowdworkers paid)? Sastav podataka CC-News sadrži članke na engleskom jeziku koje su pregledane između rujna 2016. i rujna 2021. • Over what timeframe was the data collected? Does this timeframe match the creation timeframe of the data associated with the instances (e.g., recent crawl of old news articles)? If not, please describe the timeframe in which the data associated with the instances was created. Ne • Does the dataset relate to people? If not, you may skip the remainder of the questions in this section. • N / A Did you collect the data from the individuals in question directly, or obtain it via third parties or other sources (e.g., websites)? N / A • Were the individuals in question notified about the data collection? If so, please describe (or show with screenshots or other information) how notice was provided, and provide a link or other access point to, or otherwise reproduce, the exact language of the notification itself. N / A • Did the individuals in question consent to the collection and use of their data? If so, please describe (or show with screenshots or other information) how consent was requested and provided, and provide a link or other access point to, or otherwise reproduce, the exact language to which the individuals consented. N / A • If consent was obtained, were the consenting individuals provided with a mechanism to revoke their consent in the future or for certain uses? If so, please provide a description, as well as a link or other access point to the mechanism (if appropriate). Provedene su neke procjene toksičnosti i predrasuda. Molimo pogledajte glavni dokument i model kartice za ove pojedinosti. • Has an analysis of the potential impact of the dataset and its use on data subjects (e.g., a data protection impact analysis) been conducted? If so, please provide a description of this analysis, including the outcomes, as well as a link or other access point to any supporting documentation. Ne • Any other comments? C.4 Predobrada / čišćenje / označivanje Sastavni skupovi podataka prolazili su kroz standardne prakse čišćenja i preformatacije, uključujući uklanjanje ponavljajućeg/neinformativnog teksta kao što je "Poglavlje jedan" ili "Ova e-knjiga projekta Gutenberg". • Was any preprocessing/cleaning/labeling of the data done (e.g., discretization or bucketing, tokenization, part-of-speech tagging, SIFT feature extraction, removal of instances, processing of missing values)? If so, please provide a description. If not, you may skip the remainder of the questions in this section. Sastavi podataka o "surovim" komponentama javno su dostupni na njihovim lokacijama (više detalja može se vidjeti u odgovarajućim člancima povezanim u referencijama). • Was the “raw” data saved in addition to the preprocessed/cleaned/labeled data (e.g., to support unanticipated future uses)? If so, please provide a link or other access point to the “raw” data. Ne • Any other comments? C.5 Koristi Da, ovaj skup podataka koristio se za predtreniranje modela OPT. • Has the dataset been used for any tasks already? If so, please provide a description. • HTTPS://github.com/facebookresearch/ metaseq Sljedeći članak Is there a repository that links to any or all papers or systems that use the dataset? If so, please provide a link or other access point. Ti se podaci mogu upotrijebiti za predtreniranje jezičnih modela, koji su temelj za mnoge aktualne i buduće jezične zadatke. • What (other) tasks could the dataset be used for? Pipeline za stvaranje ovog skupova podataka otvara put za izgradnju skalabilne infrastrukture za rudarenje skupova podataka. • Is there anything about the composition of the dataset or the way it was collected and preprocessed/cleaned/labeled that might impact future uses? For example, is there anything that a future user might need to know to avoid uses that could result in unfair treatment of individuals or groups (e.g., stereotyping, quality of service issues) or other undesirable harms (e.g., financial harms, legal risks) If so, please provide a description. Is there anything a future user could do to mitigate these undesirable harms? Nijedan od onih o kojima smo trenutačno svjesni. • Are there tasks for which the dataset should not be used? If so, please provide a description. Ne • Any other comments? C.6 Distribucija Ne u ovo vrijeme. • Will the dataset be distributed to third parties outside of the entity (e.g., company, institution, organization) on behalf of which the dataset was created? If so, please provide a description. • N / A How will the dataset will be distributed (e.g., tarball on website, API, GitHub)? Does the dataset have a digital object identifier (DOI)? N / A • When will the dataset be distributed? N / A • Will the dataset be distributed under a copyright or other intellectual property (IP) license, and/or under applicable terms of use (ToU)? If so, please describe this license and/or ToU, and provide a link or other access point to, or otherwise reproduce, any relevant licensing terms or ToU, as well as any fees associated with these restrictions. N / A • Do any export controls or other regulatory restrictions apply to the dataset or to individual instances? If so, please describe these restrictions, and provide a link or other access point to, or otherwise reproduce, any supporting documentation. Ne • Any other comments? C.7 održavanje Cilj je AI. • Who is supporting/hosting/maintaining the dataset? • Riječ je o glavnom dokumentu. How can the owner/curator/manager of the dataset be contacted (e.g., email address)? N / A • Is there an erratum? If so, please provide a link or other access point. Nema trenutnog plana za ažuriranje. • Will the dataset be updated (e.g., to correct labeling errors, add new instances, delete instances)? If so, please describe how often, by whom, and how updates will be communicated to users (e.g., mailing list, GitHub)? N / A • If the dataset relates to people, are there applicable limits on the retention of the data associated with the instances (e.g., were individuals in question told that their data would be retained for a fixed period of time and then deleted)? If so, please describe these limits and explain how they will be enforced. N / A • Will older versions of the dataset continue to be supported/hosted/maintained? If so, please describe how. If not, please describe how its obsolescence will be communicated to users. Trenutno nije dostupan nikakav mehanizam. • If others want to extend/augment/build on/contribute to the dataset, is there a mechanism for them to do so? If so, please provide a description. Will these contributions be validated/ verified? If so, please describe how. If not, why not? Is there a process for communicating/ distributing these contributions to other users? If so, please provide a description. Ne • Any other comments? D Model kartice Nakon Mitchell et al. (2018), nudimo model kartice za OPT-175B. D.1 Podrobnosti o modelu • OPT-175B je razvijen od strane Meta AI. Person or organization developing model: • OPT-175B lansiran je 3. svibnja 2022. Model date: • OPT-175B opisan u ovom dokumentu je verzija 1.0.0. Model version: OPT-175B is a large decoder-only transformer language model. • Model type: OPT-175B je osposobljen s AdamW-om za veličine parametara od 125M do 175B. Pogledajte Karticu podataka (Prilog C) za informacije o podacima o osposobljavanju i Odjeljak 2.2 - 2.5 za informacije o procesu osposobljavanja. • Information about training algorithms, parameters, fairness constraints or other applied approaches, and features: Pogledajte ostatak ovog članka za više detalja o OPT-175B, kao i odgovarajući post na Meta AI Research Blog. • Paper or other resource for more information: OPT-175B i manji osnovni modeli stavljeni su na raspolaganje putem ugovora o licenci za nekomercijalno korištenje koji je predviđen u našem licenciranju modela. • License: • Molimo kontaktirajte odgovarajuće autori {susanz,roller,namangoyal}@fb.com za bilo kakva pitanja ili komentare. Where to send questions or comments about the model: D.2 Predviđena uporaba Objavljujemo OPT-175B za istraživanje jezikovnih modela, posebno u odnosu na odgovornu umjetnu inteligenciju. pogledajte odjeljak 6 za detaljnije razmatranje objavljivanja. Informacije o tome kako koristiti model možete pronaći na metaseq, našem repozitoriju otvorenog koda. • Primary intended uses: Mi smo prvenstveno usmjereni na istraživače i povezanu istraživačku zajednicu. • Primary intended users: • OPT-175B nije objavljen za upotrebu u proizvodnji ili u stvarnom svijetu.Kao što smo primijetili u odjeljku 5, OPT-175B, poput sličnih velikih jezičnih modela, ima razne nedostatke koji ga čine prerano za komercijalnu uporabu. Out-of-scope use cases: D.3 Podaci, ograničenja i preporuke Podaci o osposobljavanju za OPT-175B odabrani su na temelju kombinacije širine i dostupnosti. Pogledajte našu karticu podataka (Prilog C) za detaljnije informacije o podacima koji se koriste za osposobljavanje našeg modela. • Data selection for training: • S obzirom na zabrinutosti u zajednici oko sigurnosti i pravednosti velikih jezičnih modela općenito, također izričito nudimo procjene o odgovornoj umjetnoj inteligenciji (vidi odjeljak 4). Data selection for evaluation: Poput drugih velikih jezičnih modela za koje raznolikost (ili nedostatak) podataka o osposobljavanju utječe na kvalitetu našeg modela, OPT-175B ima ograničenja u pogledu pristranosti i sigurnosti. OPT-175B također može imati kvalitativne probleme u pogledu generacijske raznolikosti i halucinacija. Općenito, OPT-175B nije imun na mnoštvo problema koji pogađaju moderne velike jezične modele. Pružanjem nekomercijalne licence, nadamo se da ćemo povećati komunikaciju, transparentnost i proučavanje problema velikih jezičnih modela, posebno u područjima koja možda nisu u skladu s komercijalnim interesima. • Limitations: Vidjeti odjeljak 6 za više o našim razmatranjima za puštanje na tržište, uključujući raspravu o potencijalnim putovima istraživanja omogućene otvaranjem našeg modela na više istraživačke zajednice. Nadamo se da će puštanje na tržište OPT-175B, kao i informacije oko našeg procesa obuke modela, povećati otvorenu znanost oko velikih jezikovnih modela u specifičnoj i prirodnoj obradi jezika i dubokom učenju općenito. • Recommendations for future work: Sample model izlaza Za sve izlaze uzorka, početni poziv se daje u velikom broju, a ostatak je nastavak.Ovi izlazi uzora namjerno su odabrani kako bi se istakli uspjesi i neuspjesi modela OPT-175B. Ovaj dokument je dostupan na arhivu pod licencom CC by 4.0 Deed (Attribution 4.0 International). Ovaj dokument je dostupan na arhivu pod licencom CC by 4.0 Deed (Attribution 4.0 International).