postizanje najmodernijih rezultata osposobljavanjem isključivo na javno dostupnim podacima

LLaMA: Open and Efficient Foundation Language Models LLaMA: Otvoreni i učinkoviti osnovni jezični modeli Autori : Hugo Touvron, Meta AI Thibaut Lavril, Meta AI Gautier Izacard, Meta AI Xavier Martinet, Meta AI Marie-Anne Lachaux, Meta AI Timothee Lacroix, Meta AI Baptiste Rozière, Meta AI Naman Goyal, Meta AI Eric Hambro, Meta AI Faisal Azhar, Meta AI Aurelien Rodriguez, Meta AI Armand Joulin Edouard Grave, Meta AI Guillaume Lample, Meta AI Authors: Hugo Touvron, Meta AI Thibaut Lavril, Meta AI Gautier Izacard, Meta AI Xavier Martinet, Meta AI Marie-Anne Lachaux, Meta AI Timothee Lacroix, Meta AI Baptiste Rozière, Meta AI Naman Goyal, Meta AI Eric Hambro, Meta AI Faisal Azhar, Meta AI Aurelien Rodriguez, Meta AI Armand Joulin Edouard Grave, Meta AI Guillaume Lample, Meta AI Abstrakcija Predstavljamo LLaMA, zbirku osnovnih jezika modela u rasponu od 7B do 65B parametara. Obučavamo naše modele na trilijune žetona i pokazujemo da je moguće obučavati najmodernije modele koristeći javno dostupne skupove podataka isključivo, bez pribjegavanja vlastitim i nedostupnim skupovima podataka. 1 Uvod Veliki tokuages Modeli (LLM) osposobljeni na masivnom korpusu tekstova pokazali su svoju sposobnost za obavljanje novih zadataka iz tekstualnih uputa ili iz nekoliko primjera (Brown et al., 2020). Ove malo-shot svojstva prvi put su se pojavili kada skale modele na dovoljnu veličinu (Kaplan et al., 2020), što je rezultiralo linijom rada koja se usredotočuje na daljnje skaliranje tih modela (Chowdhery et al., 2022; Rae et al., 2021). Ovi napori su čak zasnovani na pretpostavci da će više parametara dovesti do boljih performansi. Međutim, nedavni rad Hoffmann et al. (2022) pokazuje da, za određeni proračun računanja, najbolji rezultati nisu postignuti od strane najvećih modela, već od manjih modela Fokus ovog rada je usavršavanje niza jezičnih modela koji postižu najbolje moguće performanse na različitim proračunima zaključivanja, trenirajući na više žetona nego što se obično koristi. Rezultirajući modeli, nazvani LLaMA, variraju od 7B do 65B parametara s konkurentnim performansi u usporedbi s najboljim postojećim LLM-ovima. Na primjer, LLaMA-13B nadmašuje GPT-3 na većini referentnih vrijednosti, unatoč tome što je 10× manji. Vjerujemo da će ovaj model pomoći demokratizirati pristup i proučavanje LLM-ova, jer se može pokrenuti na jednoj GPU-u. Na višoj strani ljestvice, naš 65B-parametarni model je također konkurentan s najboljim velikim jezičnim modelima kao što su Chinchilla ili Pa Postoje neke iznimke, posebno OPT (Zhang et al., 2022), GPT-NeoX (Black et al., 2022), BLOOM (Scao et al., 2022) i GLM (Zeng et al., 2022), ali nijedna koja je konkurentna s PaLM-62B ili Chinchilla. U ostatku ovog članka predstavljamo pregled izmjena koje smo napravili u arhitekturi transformatora (Vaswani et al., 2017), kao i našu metodu obuke. Zatim izvješćujemo o uspješnosti naših modela i uspoređujemo s drugim LLM-ovima na skupu standardnih referentnih vrijednosti. Konačno, izložimo neke od predrasuda i toksičnosti kodiranih u našim modelima, koristeći neke od najnovijih referentnih vrijednosti iz odgovorne AI zajednice. 2 Pristup Naš pristup osposobljavanju je sličan metodama opisanim u prethodnom radu (Brown et al., 2020; Chowdhery et al., 2022), a nadahnuta je Chinchilla zakonima skaliranja (Hoffmann et al., 2022). Mi treniramo velike transformatore na velikoj količini tekstualnih podataka koristeći standardni optimizator. 2.1 Podatci za prethodnu obuku Naš skup podataka o osposobljavanju je mješavina nekoliko izvora, posebno u Tablici 1, koji pokrivaju raznolik skup domena. U većini slučajeva, ponovno koristimo izvore podataka koji su iskorišteni za osposobljavanje drugih LLM-ova, uz ograničenje korištenja samo podataka koji su javno dostupni i kompatibilni s otvorenim izvorima. Preprocesirali smo pet skupova CommonCrawla, u razdoblju od 2017. do 2020. godine, pomoću CCNet pipeline (Wenzek et al., 2020). Ovaj proces deduplicira podatke na razini linije, izvodi jezičnu identifikaciju s linearnim klasifikatorom fastText kako bi uklonili stranice koje nisu na engleskom jeziku i filtrira sadržaj niske kvalitete s jezikovnim modelom ngram. English CommonCrawl [67%] Tijekom istraživačkih eksperimenata, promatrali smo da korištenje različitih predprocesiranih skupova podataka CommonCrawl poboljšava performanse. Tako smo uključili javno dostupni skup podataka C4 (Raffel et al., 2020) u naše podatke. C4 [15%]. Koristimo javni skup podataka GitHub koji je dostupan na Google BigQuery-u. Čuvali smo samo projekte koji su distribuirani pod licencama Apache, BSD i MIT. Osim toga, filtrirali smo datoteke niske kvalitete s heuristikama na temelju dužine linije ili omjera alfanumeričkih znakova i uklonili boilerplate, kao što su glave, s redovitim izrazima. Github [4.5%]. Dodajemo Wikipediju za razdoblje od lipnja do kolovoza 2022. godine, koja obuhvaća 20 jezika, koji koriste latinske ili ciriličke skripte: bg, ca, cs, da, de, en, es, fr, hr, hu, it, nl, pl, pt, ro, ru, sl, sr, sv, uk. Wikipedia [4.5%]. U naš skup podataka za obuku uključujemo dvije knjige: Projekt Gutenberg, koji sadrži knjige koje su u javnom vlasništvu, i odjeljak Books3 ThePile (Gao et al., 2020), javno dostupan skup podataka za obuku velikih jezičnih modela. Gutenberg and Books3 [4.5%] Nakon Lewkowycz et al. (2022), uklonili smo sve prije prvog odjeljka, kao i bibliografiju. ArXiv [2.5%]. Uključujemo i Stack Exchange, web stranicu visokokvalitetnih pitanja i odgovora koja pokriva raznolik skup domena, od računalnih znanosti do kemije. Stack Exchange [2%]. Tokeniziramo podatke pomoću algoritma kodiranja bytepair (BPE) (Sennrich et al., 2015), koristeći implementaciju iz SentencePiece (Kudo i Richardson, 2018). Tokenizer. Ukupno, cijeli naš skup podataka o osposobljavanju sadrži otprilike 1,4 T tokena nakon tokenizacije. Za većinu naših podataka o osposobljavanju, svaki token se koristi samo jednom tijekom osposobljavanja, uz iznimku domena Wikipedia i Knjige, tijekom kojih obavljamo otprilike dvije epohe. 2.2 Arhitektura Nakon nedavnog rada na velikim jezikovnim modelima, naša mreža temelji se na arhitekturi transformatora (Vaswani et al., 2017). Iskoristimo različita poboljšanja koja su naknadno predložena i korištena u različitim modelima kao što je PaLM. Da bismo poboljšali stabilnost treninga, normaliziramo ulaz svakog podplata transformatora, umjesto da normaliziramo izlaz. Pre-normalization [GPT3] Ne-linearnost ReLU-a zamijenili smo funkcijom aktivacije SwiGLU-a, koju je uveo Shazeer (2020) kako bi poboljšao performanse. SwiGLU activation function [PaLM]. Uklonimo apsolutna pozicijska ugrađivanja, a umjesto toga dodamo rotacijska pozicijska ugrađivanja (RoPE), koju je uveo Su et al. (2021), na svaki sloj mreže. Rotary Embeddings [GPTNeo]. 2.3 Optimizacija Naši modeli su obučeni pomoću AdamW optimizera (Loshchilov i Hutter, 2017), s sljedećim hiper-parametrima: β1 = 0,9, β2 = 0,95. Koristimo raspored kozinske stope učenja, tako da je konačna stopa učenja jednaka 10% maksimalne stope učenja. Koristimo raspad težine od 0,1 i gradientno rezanje od 1,0. Koristimo 2000 koraka zagrijavanja, a stopa učenja i veličina serije variraju s veličinom modela (vidjeti Tablicu 2 za detalje). 2.4 Učinkovita provedba Prvo, koristimo učinkovitu implementaciju uzročne multi-glavne pažnje kako bismo smanjili upotrebu memorije i radno vrijeme. Ova implementacija, dostupna u knjižnici xformers,2 inspirirana je Rabe i Staats (2021) i koristi nazad iz Dao et al. (2022). To se postiže ne pohranjivanjem težina pažnje i ne izračunavanjem rezultata ključa / upita koji su prikriveni zbog uzročne prirode zadatka za modeliranje jezika. Da bismo dodatno poboljšali učinkovitost treninga, smanjili smo količinu aktivacija koje se ponovno izračunavaju tijekom povratnog prijenosa s kontrolnom točkom. Preciznije, uštedimo aktivacije koje su skupe za izračunavanje, kao što su izlazi linearnih slojeva. To se postiže ručnim implementiranjem retroaktivne funkcije za slojeve transformatora, umjesto da se oslanjamo na PyTorch autograd. Da bismo u potpunosti iskoristili ovu optimizaciju, moramo smanjiti upotrebu memorije modela pomoću paralelizma modela i sekvencije, kako je opisao Korthikanti et al. (2022). Osim toga, mi također preklapamo izračunavanje aktivacija i komunikaciju između GPU-a preko mreže (zbog operacija all_reduce) što je više moguće.Kada treniramo model 65B-parametra, naš kod obrađuje oko 380 tokena/sec/GPU na 2048 A100 GPU-u s 80 GB RAM-a. 3 Glavni rezultati Slijedom prethodnog rada (Brown et al., 2020), razmatramo zadatke s nultim i rijetkim pogodcima i izvješćujemo o rezultatima na ukupno 20 referentnih točaka: Model ili daje odgovor koristeći otvorenu generaciju ili rangira predložene odgovore. • Zero-shot. Pružamo nekoliko primjera zadatka (između 1 i 64) i testni primjer. model uzima ovaj tekst kao ulaz i generira odgovor ili rangira različite opcije. • Few-shot. Uspoređujemo LLaMA s drugim osnovnim modelima, odnosno jezikovnim modelima koji nisu javno dostupni GPT-3 (Brown et al., 2020), Gopher (Rae et al., 2021), Chinchilla (Hoffmann et al., 2022) i PaLM (Chowdhery et al., 2022), kao i OPT modelima otvorenog izvora (Zhang et al., 2022), GPT-J (Wang i Komatsuzaki, 2021) i GPTNeo (Black et al., 2022). U odjeljku 4. također kratko uspoređujemo LLaMA s modelima prilagođenim uputama kao što su OPT-IML (Iyer et al., 2022) i Flan-PaLM (Chung et al., 2022). Mi procjenjujemo LLaMA na zadatcima slobodne generacije i zadatcima višestrukog U zadacima s višestrukim izborom, cilj je odabrati najprikladnije dovršetak iz niza određenih opcija, na temelju predviđenog konteksta. Odaberemo dovršetak s najvećom vjerojatnošću s obzirom na predviđeni kontekst. Slijedimo Gao et al. (2021) i koristimo vjerojatnost normaliziranu brojem znakova u dovršetku, osim za određene skupove podataka (OpenBookQA, BoolQ), za koje slijedimo Brown et al. (2020), i odaberemo dovršetak na temelju vjerojatnosti normalizirane vjerojatnošću dovršetka datog „Odgovor:” kao kontekst: P(completion context)/P(completion “Awerns:”). 3.1 Razumijevanje zdravog razuma Razmatramo osam standardnih referentnih točaka za razmatranje dobrog razuma: BoolQ (Clark et al., 2019), PIQA (Bisk et al., 2020), SIQA (Sap et al., 2019), HellaSwag (Zellers et al., 2019), WinoGrande (Sakaguchi et al., 2021), ARC easy and challenge (Clark et al., 2018) i OpenBookQA (Mihaylov et al., 2018). Ovi skupovi podataka uključuju zadatke u stilu Cloze i Winograd, kao i odgovore na pitanja s višestrukim izborom. Procjenjujemo u nultom postavljanju kao u zajednici za modeliranje jezika. U Tablici 3 uspoređujemo postojeće modele različitih veličina i izvješćujemo brojeve iz odgovarajućih radova. prvo, LLaMA-65B nadmašuje Chinchilla-70B na svim prijavljenim referentnim vrijednostima, ali BoolQ. Slično tome, ovaj model nadmašuje PaLM540B svugdje osim na BoolQ i WinoGrande. 3.2 Odgovori na pitanja zaključane knjige Uspoređujemo LLaMA s postojećim velikim jezikovnim modelima na dva referentna kriterija za odgovore na pitanja zatvorene knjige: Natural Questions (Kwiatkowski et al., 2019) i TriviaQA (Joshi et al., 2017). Za oba referentna kriterija, izvješćujemo o točnoj usklađenosti u zatvorenoj knjizi, tj. gdje modeli nemaju pristup dokumentima koji sadrže dokaze za odgovor na pitanje. U tablici 4, izvješćujemo o uspješnosti na NaturalQuestions, a u tablici 5, izvješćujemo o TriviaQA. Na oba referentna kriterija, LLaMA-65B izvješćuje o najsuvremenijoj izvedbi u postavkama s nultom fotografijom i malo fotografijom. Što je važnije, LLaMA-13B je također konkurentan na tim referentnim 3.3 Razumijevanje čitanja Procjenjujemo naše modele na referentnoj razini razumijevanja čitanja RACE-a (Lai et al., 2017). Ovaj skup podataka prikupljen je iz ispita razumijevanja čitanja engleskog jezika namijenjenih srednjoškolskim i srednjoškolskim kineskim učenicima. Slijedimo postavku evaluacije Brown et al. (2020) i izvješćujemo rezultate u tablici 6. 4.3 Matematički razlozi MATH je skup podataka o 12K srednjoškolskim i srednjoškolskim matematičkim problemima napisanima u LaTeX-u. GSM8k je skup srednjoškolskih matematičkih problema. U tablici 7 uspoređujemo s PaLM-om i Minervom (Lewkowycz et al., 2022). Minerva je serija PaLM-ovih modela koji su upotrijebljeni za 38.5B žetone izvučene s ArXiv-a i Matematskih web stranica, dok ni PaLM ni LLaMA nisu upotrijebljeni na matematičkim podacima. Brojevi za PaLM i Minerva uzeti su iz Lewkowycz et al. (2022), a mi uspoređujemo s i bez maj1@k. maj1@k označava procjene gdje generiramo uzorke za svaki problem i glasanje 3.5 Generacija koda Procjenjujemo sposobnost naših modela da napišu kod iz opisa prirodnog jezika na dva referentna znaka: HumanEval (Chen et al., 2021) i MBPP (Austin et al., 2021). Za oba zadatka, model prima opis programa u nekoliko rečenica, kao i nekoliko primjera ulaznog-izlaza. U HumanEvalu, on također prima potpis funkcije, a prompt je formatiran kao prirodni kod s tekstualnim opisom i testovima u docstringu. Model treba generirati Python program koji odgovara opisu i zadovoljava testne slučajeve. U tablici 8, uspoređujemo ocjene pass@1 naših modela s postojećim jezikovnim modelima koji nisu bili rafinirani na kod, naime PaLM i LaMDA (Thoppilan et al., 2022). PaLM i LMA su obučeni na Kao što je prikazano u Tablici 8, za sličan broj parametara, LLaMA nadmašuje druge opće modele kao što su LaMDA i PaLM, koji nisu obučeni ili finetuned posebno za kod. LLaMA s 13B parametara i više nadmašuje LaMDA 137B na HumanEval i MBPP. LLaMA 65B također nadmašuje PaLM 62B, čak i kada je obučena duže. Rezultati pass@1 prijavljeni u ovoj tablici dobiveni su uzorkovanjem s temperaturom 0.1. Mjere pass@100 i pass@80 dobivene su s temperaturom 0.8. Koristimo istu metodu kao i Chen et al. (2021) za dobivanje nepristranih procjena pass@k. Na primjer, PaLM-Coder (Chowdhery et al., 2022) povećava PaLM pas@1 ocjenu na HumanEval s 26,2% za PaLM na 36%. Ostali modeli obučeni posebno za kod također rade bolje od općih modela na tim zadaćama (Chen et al., 2021; Nijkamp et al., 2022; Fried et al., 2022). 3.6 Razumijevanje masivnog multitask jezika (2020) sastoji se od višestrukih pitanja izbora koja pokrivaju različita područja znanja, uključujući humanističke znanosti, STEM i društvene znanosti. Procjenjujemo naše modele u uspostavi od 5 slučajeva, koristeći primjere koje pruža referentna vrijednost i izvještavajući rezultate u Tablici 9. Na ovoj referentnoj vrijednosti, promatramo da je LLaMA-65B iza Chinchilla70B i PaLM-540B za nekoliko posto u prosjeku, i u većini domena. Potencijalno objašnjenje je da smo koristili ograničenu količinu knjiga i akademskih radova u našim podacima prije obuke, tj. ArXiv, Gutenberg i Books3, koji iznosi samo 177GB, dok su ti modeli bili obučeni na do 2TB knjiga. Ova velika količina knjiga koje koriste G 3.7 Evolucija performansi tijekom treninga Tijekom treninga pratili smo performanse naših modela na nekoliko referentnih točaka odgovora na pitanja i dobrog razuma, te ih izvještavamo na Slika 2. Na većini referentnih točaka, performanse se stalno poboljšavaju i koreliraju s perplexitetom treninga modela (vidi Slika 1). Iznimke su SIQA i WinoGrande. Najznačajnije, na SIQA-i promatramo puno varijacije u performansi, što može ukazivati na to da ta referentna točka nije pouzdana. Na WinoGrandeu, performanse također ne koreliraju s perplexitetom treninga: LLaMA-33B i LLaMA-65B imaju slične performanse tijekom treninga. 4 Upute za finetuning Iako je ne-finetuned verzija LLaMA-65B već u stanju slijediti osnovne upute, primjećujemo da vrlo mala količina finetuning poboljšava performanse na MMLU-u i dodatno poboljšava sposobnost modela da slijedi upute. U Tablici 10 izvješćujemo o rezultatima našeg modela uputa LLaMA-I na MMLU i uspoređujemo ga s postojećim modelima uputa finetuning umjerenih veličina, naime, OPT-IML (Iyer et al., 2022) i Flan-PaLM serija (Chung et al., 2022). Svi prijavljeni brojevi su iz odgovarajućih radova. Unatoč jednostavnosti pristupa uputa finetuning koji se ovdje koristi, dosegnuli smo 68,9% na MMLU. LLaMA-I (65B) nadmašuje na MMLU postojeće modele uputa finetuning umjerenih veličina, ali su još uvijek daleko od state-of-the-art, što je 77.4 za GPT kod-davinci-002 na MMLU (brojevi uzeti od Iyer et al. (2022)). 5 Predrasude, toksičnost i pogrešne informacije Pokazalo se da veliki jezični modeli reproduciraju i pojačavaju predrasude koje postoje u podacima o osposobljavanju (Sheng et al., 2019; Kurita et al., 2019), te da stvaraju toksični ili uvredljivi sadržaj (Gehman et al., 2020). Budući da naš skup podataka o osposobljavanju sadrži veliki udio podataka s mreže, vjerujemo da je ključno utvrditi potencijal za naše modele za stvaranje takvog sadržaja. Da bismo razumjeli potencijalnu štetu LLaMA-65B-a, procjenjujemo na različitim referentnim vrijednostima koji mjere proizvodnju toksičnog sadržaja i otkrivanje stereotipa. Dok smo odabrali neke od standardnih referentnih vrijednosti koje koristi zajednica jezičnog modela kako bi ukazali na neke probleme s tim modelima, ove procjene nisu dovolj 5.1 RealToxicityPrompts Jezikovi modeli mogu generirati toksični jezik, npr. uvrede, govor mržnje ili prijetnje. Postoji vrlo širok raspon toksičnog sadržaja koji model može generirati, čineći temeljitu procjenu izazovnom. Nekoliko nedavnih radova (Zhang et al., 2022; Hoffmann et al., 2022) razmotrilo je RealToxicityPrompts referentnu vrijednost (Gehman et al., 2020) kao pokazatelj koliko je njihov model toksičan. RealToxicityPrompts sastoji se od oko 100k uputa koje model mora dovršiti; onda se ocjena toksičnosti automatski ocjenjuje podnošenjem zahtjeva PerspectiveAPI 3. Nemamo kontrolu nad cijevom koji koristi PerspectiveAPI treće strane, čineći usporedbu s prethodnim modelima teškom. Za svaku od 100k promptova, pohlepno generiramo s našim modelima i mjeri njihov rezultat toksičnosti. Ocjena po prompt varira od 0 (neotrovno) do 1 (otrovno). U Tablici 11, izvješćujemo o našoj prosječnoj ocjeni na osnovnim i poštovanim kategorijama promptova RealToxicityPrompts. Te ocjene su "porazumljive" s onim što promatramo u literaturi (npr. 0,087 za Chinchilla) ali metodologije se razlikuju između ovih radova i naših (u smislu strategije uzorkovanja, broja promptova vremena i API-ja). Promatramo da se toksičnost poveć 5.2 Brojni parovi Mi procjenjujemo predrasude u našem modelu na CrowSPairs (Nangia et al., 2020). Ovaj skup podataka omogućuje mjerenje predrasuda u 9 kategorija: spol, religija, rasa/boja, spolna orijentacija, dob, nacionalnost, invalidnost, fizički izgled i socioekonomski status. Svaki primjer se sastoji od stereotipa i anti-stereotipa, mi mjeri model preferencije za stereotipnu rečenicu koristeći zbunjenost obje rečenice u nultom smjeru. Viši rezultati stoga ukazuju na veće predrasude. Uspoređujemo s GPT-3 i OPT-175B u Tablici 12. LLaMA se pomalo povoljno uspoređuje s oba modela u prosjeku. Naš model je posebno predrasuda u kategoriji vjere (+10% u 5.3 Vinogradarstvo Da bismo dodatno istražili predrasude našeg modela o rodnoj kategoriji, pogledamo referentni WinoGender (Rudinger et al., 2018), skup podataka o rezoluciji ko-referencije. WinoGender je napravljen od Winogradske sheme, a predrasude se procjenjuju određivanjem je li model u rezoluciji ko-referencije utjecao na spol pronouna. Točnije, svaka rečenica ima tri spominjanja: „okupacija“, „udjelnik“ i „pronoun“ u kojem se pronoun ko-referentira ili okupacijom ili sudionikom. Mi pozivamo model da odredi odnos ko-referencije i mjeri je li to ispravno prema kontekstu rečenice. Cilj je otkriti jesu li društvene predrasude povezane s zanimanjima uhvaćene modelom. Na primjer, rečenica u WinoGender podatkovnom skupu je „Sestra je obavijestila pacijenta da će njegova smjena završiti za sat vremena.“, nakon čega slijedi „On“ koji se odnosi na. Zatim uspoređujemo zbunjenost nastavaka medicinske sestre i pacijenta kako bi izvršili rezoluciju ko-referencije s modelom. Procjenjujemo performanse kada koristimo 3 pronouna: „ona/ona“, „on/ona“ i „oni/oni/nekome“ (različiti izbori koji odgovaraju gramatičkoj funkciji pronouna. Primjećujemo da je naš model znatno bolji u izvršavanju rezolucije ko-referencije za pronošice „njezine/njezine/nekoga“ nego za pronošice „njezine/njezine/njezine“ i „njegove/njezine/njezine“. Slična je promatranja napravljena u prethodnom radu (Rae et al., 2021; Hoffmann et al., 2022), i vjerojatno ukazuje na rodnu predrasudu. Da bismo dodatno istražili ovu hipotezu, pogledamo skup slučajeva „gotcha“ za pronome „ona/ona“ i „on/ona“ u skupu podataka WinoGender. Ti slučajevi odgovaraju rečenicama u kojima se pronom ne podudara s većinskim spolom zanimanja, a zanimanje je ispravan odgovor. U tablici 13, promatramo da naš model, LLaMA-65B, čini više pogrešaka na gotcha primjerima, jasno pokazujući da ona hvata društvene predrasude povezane s spolom i zanimanjem. Pad performansi postoji za pronome „ona/ona“ i „on/ona“, što ukazuje na predrasude bez obzira na spol. 5.4 Istina TruthfulQA (Lin et al., 2021) nastoji mjeriti istinitost modela, tj. njegovu sposobnost da identificira kada je tvrdnja istinita. Lin et al. (2021) razmatraju definiciju „istine“ u smislu „literalne istine o stvarnom svijetu“, a ne tvrdnje koje su istinite samo u kontekstu sustava uvjerenja ili tradicije. Ovaj referent može procijeniti rizike modela za generiranje dezinformacija ili lažnih tvrdnji. Pitanja su napisana u raznolikom stilu, pokrivaju 38 kategorija i dizajnirana su da budu protivrečna. U tablici 14 izvješćujemo o uspješnosti naših modela na oba pitanja kako bismo mjerili istinite modele i križanje istinitih i informativnih.U usporedbi s GPT-3, naš model postiže veće rezultate u obje kategorije, ali stopa ispravnih odgovora je još uvijek niska, što pokazuje da naš model vjerojatno halucinira pogrešne odgovore 6 Ugljični otisak Trening naših modela je potrošio ogromnu količinu energije, odgovoran za emisije ugljičnog dioksida. Slijedimo nedavnu literaturu na temu i raspodijeliti i ukupnu potrošnju energije i rezultirajući ugljični otisak u Tablici 15. Slijedimo formulu za Wu et al. (2022) kako bismo procijenili Watt-sat, Wh, potreban za obuku modela, kao i tone emisija ugljika, tCO2eq. Wh = GPU-h × (GPU potrošnja energije) × PUE, Na primjer, BLOOM koristi mrežu koja emituje 0,057 kg CO2eq/KWh što dovodi do 27 tCO2eq i OPT mrežu koja emituje 0,231 kg CO2eq/KWh, što dovodi do 82 tCO2eq. U ovoj studiji, zainteresirani smo za usporedbu troškova emisije ugljika u obuci tih modela ako su bili obučeni u istom centru podataka. tCO2eq = MWh × 0,385 Primjenjujemo istu formulu na OPT i BLOOM za poštenu usporedbu. Za OPT pretpostavljamo da je potrebno 34 dana obuke na 992 A100-80B (vidi njihove dnevnike4 ). Konačno, procjenjujemo da smo koristili 2048 A100-80GB za razdoblje od oko 5 mjeseci za razvoj naših modela. To znači da bi razvoj tih modela koštao oko 2,638 MWh pod našim pretpostavkama, a ukupna emisija je 1,015 tCO2eq. Nadamo se da će objavljivanje tih modela pomoći smanjiti buduće emisije ugljika jer je obuka već završena, a neki od modela su relativno mali i mogu se pokrenuti na jednom GPU-u. 7 Povezani radovi Jezikovi modeli su distribucije vjerojatnosti preko sekvencija riječi, žetona ili znakova (Shannon, 1948, 1951). Ovaj zadatak, često okviriran kao predviđanje sljedećeg žetona, dugo se smatra ključnim problemom u obradi prirodnog jezika (Bahl et al., 1983; Brown et al., 1990). Budući da je Turing (1950) predložio mjerenje strojne inteligencije pomoću jezika kroz "igru imitacije", jezikovno modeliranje je predloženo kao referentni kriterij za mjerenje napretka prema umjetnoj inteligenciji (Mahoney, 1999). Tradicionalno, jezikovni modeli temeljili su se na statistici broja n-gramova (Bahl et al., 1983), a predložene su različite tehnike ispravljanja kako bi se poboljšala procjena rijetkih događaja (Katz, 1987; Kneser i Ney, 1995). U posljednja dva desetljeća, neuralne mreže uspješno su primijenjene na zadatak modeliranja jezika, počevši od modela za napajanje (Bengio et al., 2000), ponavljajućih neuronskih mreža (Elman, 1990; Mikolov et al., 2010) i LSTM-ova (Hochreiter i Schmidhuber, 1997; Graves, 2013). Više u posljednje vrijeme, transformatorske mreže, zasnovane na samopouzdanju, dovele su do važnih poboljšanja, posebno za hvatan Architecture. Brants et al. (2007) pokazali su prednosti korištenja jezičnih modela osposobljenih na 2 bilijuna žetona, što rezultira 300 milijardi n-gramova, na kvalitetu strojnog prijevoda. Dok se ovaj rad oslanjao na jednostavnu tehniku ispravljanja, nazvanu Stupid Backoff, Heafield et al. (2013) kasnije pokazali kako ispraviti Kneser-Ney na web-skale podataka. Scaling. To je omogućilo obuku 5-gramskog modela na 975 milijardi žetona iz CommonCrawla, što je rezultiralo modelom s 500 milijardi n-gramova (Buck et al., 2014). Chelba et al. (2013) uveo je One Billion Word benchmark, skup podataka o obuci velikog razmjera za mjerenje napretka jezičnih modela. U kontekstu neuralnih jezičnih modela, Jozefowicz et al. (2016) dobio je najmodernije rezultate na Benchmark Billion Word skalanjem LSTM-ova na 1 milijardu parametara. Poznati modeli uključuju BERT (Devlin et al., 2018), GPT-2 (Radford et al., 2019), MegatronLM (Shoeybi et al., 2019), i T5 (Raffel et al., 2020). Značajan proboj postignut je s GPT-3 (Brown et al., 2020), modelom s 175 milijardi parametara. To dovodi do niza Modela velikog jezika, kao što su Jurassic-1 (Lieber et al., 2021), Megatron-Turing NLG (Smith et al., 2022), Gopher (Rae et al., 2021), Chinchilla (Hoffmann et al., 2022), PaLM (Chowdhery et al., 2022), OPT (Zhang et al., 2022), i GLM (Zeng et al., 2022) Hestness et al. (2017) i Rosen 8 Zaključak U ovom članku predstavili smo niz jezikovnih modela koji su objavljeni otvoreno i konkurentni s najmodernijim osnovnim modelima. Najznačajnije je da LLaMA-13B nadmašuje GPT-3 dok je više od 10× manji, a LLaMA-65B je konkurentan s Chinchilla-70B i PaLM-540B. Za razliku od prethodnih studija, pokazujemo da je moguće postići najmodernije performanse osposobljavanjem isključivo na javno dostupnim podacima, bez pribjegavanja vlastitim skupinama podataka. Nadamo se da će objavljivanje tih modela istraživačkoj zajednici ubrzati razvoj velikih jezikovnih modela i pomoći naporima za poboljšanje njihove robusnosti i ublažavanje poznatih problema kao što su toksičnost i predrasude. Osim toga, primijet Priznanja Zahvaljujemo Daniel Haziza, Francisco Massa, Jeremy Reizenstein, Artem Korenev i Patrick Labatut iz tima xformers. Zahvaljujemo se Susan Zhang i Stephen Roller za njihovu potporu deduplikaciji podataka. Zahvaljujemo se Luci Wehrstedt, Vegard Mella i Pierre-Emmanuel Mazaré za njihovu potporu stabilnosti treninga. Zahvaljujemo se Shubho Sengupti, Kalyan Saladi i cijelom AI infra timu za njihovu potporu. Zahvaljujemo se Jane Yu za njezin doprinos evaluaciji. Zahvaljujemo se Yongyi Hu za njegovu pomoć u prikupljanju podataka. referenciji Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le i Charles Sutton. 2021. Lalit R. Bahl, Frederick Jelinek i Robert L. Mercer. 1983. Maksimalni pristup vjerojatnosti kontinuiranog prepoznavanja govora. Yoshua Bengio, Réjean Ducharme, i Pascal Vincent. 2000. Neuralni vjerojatnostni jezik model. Yonatan Bisk, Rowan Zellers, Jianfeng Gao, Yejin Choi, et al. 2020. Piqa: Razmišljanje o fizičkom zdravom razumu u prirodnom jeziku. Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, et al. 2022. Thorsten Brants, Ashok C. Popat, Peng Xu, Franz J. Och, i Jeffrey Dean. 2007. Veliki jezični modeli u strojnom prijevodu. u Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), stranice 858–867, Prag, Češka. Peter F Brown, John Cocke, Stephen A Della Pietra, Vincent J Della Pietra, Frederick Jelinek, John Lafferty, Robert L Mercer, i Paul S Roossin. 1990. Statistički pristup strojnom prijevodu. Računalna lingvistika, 16(2):79–85. Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever i Dario Amodei 2020. Christian Buck, Kenneth Heafield i Bas Van Ooyen. 2014. N-gram brojevi i jezični modeli iz zajedničkog crawl. Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn, i Tony Robinson. 2013. milijardu riječi referent za mjerenje napretka u statističkom modeliranju jezika. arXiv preprint arXiv:1312.3005. Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, William Hebgen Guss, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Sutarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth, Ariel Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nicholino, Paino, Nikolas Tezak, Jie, Igor Tang Aakanksha Diawon Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Ghemawat, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sun Devipa, Henryk Michalewski, Xavier Garcia, Vedantra Misra, Kevin Robinson, Liam Fedus, Jason Zhou Den Hyung Won Chung, Le Hou, S. Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Dasha Valter, Sharan Narang, Gaurav Mishra, Adams Wei Yu, Vincent Zhao, Yanping Huang, Andrew M. Dai, Hongkun Yu, Petrov, Slav, Ed Huai hsin Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc Le, Jason Wei. 2022. Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins i Kristina Toutanova. 2019. Boolq: Istraživanje iznenađujuće poteškoće prirodnih pitanja da/ne. arXiv preprint arXiv:1905.10044. Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick i Oyvind Tafjord. 2018. mislite da ste riješili pitanje odgovorom? pokušajte arc, izazov razmatranja ai2. arXiv preprint arXiv:1803.05457. Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, et al. 2021. Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V Le i Ruslan Salakhutdinov. 2019. Transformer-xl: pažljivi jezični modeli izvan konteksta fiksne dužine. arXiv preprint arXiv:1901.02860 Tri Dao, Daniel Y Fu, Stefano Ermon, Atri Rudra i Christopher Ré. 2022. Flashattention: Brza i pamćenje učinkovita točna pažnja s io-svjesnošću. arXiv preprint arXiv:2205.14135. Jacob Devlin, Ming-Wei Chang, Kenton Lee i Kristina Toutanova. 2018. Bert: Pre-trening dubokih dvosmjernih transformatora za razumijevanje jezika. arXiv preprint arXiv:1810.04805. Jeffrey L. Elman. 1990. Pronalazak strukture u vremenu. Kognitivna znanost, 14(2):179–211. Daniel Fried, Armen Aghajanyan, Jessy Lin, Sida Wang, Eric Wallace, Freda Shi, Ruiqi Zhong, Wentau Yih, Luke Zettlemoyer i Mike Lewis. 2022. Incoder: Generativni model za uvođenje i sintezu koda. arXiv preprint arXiv:2204.05999. Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser i Connor Leahy. Leo Gao, Jonathan Tow, Stella Biderman, Sid Black, Anthony DiPofi, Charles Foster, Laurence Golding, Jeffrey Hsu, Kyle McDonell, Niklas Muennighoff, Jason Phang, Laria Reynolds, Eric Tang, Anish Thite, Ben Wang, Kevin Wang i Andy Zou. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi i Noah A Smith. 2020. Realtoxicityprompts: Evaluating neural toxic degeneration in language models. arXiv preprint arXiv:2009.11462. Alex Graves. 2013. Generiranje sekvencija s ponavljajućim neuronskim mrežama. arXiv preprint arXiv:1308.0850. Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H Clark i Philipp Koehn. 2013. Scalable modified kneserney model estimation. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), stranice 690-696. Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song i Jacob Steinhardt. Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song i Jacob Steinhardt. 2021. mjerenje matematičkog rješavanja problema s matematičkim skupom podataka. arXiv preprint arXiv:2103.03874. Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md Patwary, Mostofa Ali, Yang Yang i Yanqi Zhou. 2017. Sepp Hochreiter i Jürgen Schmidhuber. 1997. Dugo kratkoročno sjećanje. Neuralno izračunavanje, 9(8):1735–1780. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals i Laurent Sifre. 2022. Srinivasan Iyer, Xi Victoria Lin, Ramakanth Pasunuru, Todor Mihaylov, Dániel Simig, Ping Yu, Kurt Shuster, Tianlu Wang, Qing Liu, Punit Singh Koura, et al. 2022. Mandar Joshi, Eunsol Choi, Daniel S Weld i Luke Zettlemoyer. 2017. Triviaqa: Veliki, daljinski nadgledani skup podataka izazova za razumijevanje čitanja. arXiv preprint arXiv:1705.03551. Rafal Jozefowicz, Oriol Vinyals, Mike Schuster, Noam Shazeer i Yonghui Wu. 2016. Istraživanje granica jezičnog modeliranja. arXiv preprint arXiv:1602.02410. Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu i Dario Amodei. Procjena vjerojatnosti iz rijetkih podataka za komponentu jezičnog modela prepoznavatelja govora. IEEE transakcije o akustici, govoru i obradi signala, 35(3):400–401. Reinhard Kneser i Hermann Ney. 1995. Poboljšan back-off za m-gram modeliranje jezika. 1995. međunarodna konferencija o akustici, govoru i obradi signala, volumen 1, stranice 181–184. Vijay Korthikanti, Jared Casper, Sangkug Lym, Lawrence McAfee, Michael Andersch, Mohammad Shoeybi i Bryan Catanzaro. 2022. Taku Kudo i John Richardson. 2018. Sentencepiece: Jednostavni i jezično neovisni tokenizeri i detokenizeri za neuralnu obradu teksta. arXiv preprint arXiv:1808.06226. Keita Kurita, Nidhi Vyas, Ayush Pareek, Alan W Black i Yulia Tsvetkov. 2019. Kvantificiranje društvenih predrasuda u kontekstualnim predstavama riječi. Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, et al. 2019. Prirodna pitanja: referentna točka za istraživanje odgovora na pitanja. Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang i Eduard Hovy. 2017. utrka: Veliki skup podataka o razumijevanju čitanja iz ispita. arXiv preprint arXiv:1704.04683. Aitor Lewkowycz, Anders Johan Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Venkatesh Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari i Vedant Misra. 2022. Rješavanje kvantitativnih problema razmatranja jezikovnim modelima. Opher Lieber, Or Sharir, Barak Lenz i Yoav Shoham. 2021. Jurassic-1: Tehnički detalji i evaluacija. Bijela knjiga. AI21 Labs, 1. Stephanie Lin, Jacob Hilton i Owain Evans. 2021. Truthfulqa: Mjerenje kako modeli oponašaju ljudske laži. arXiv preprint arXiv:2109.07958. Ilya Loshchilov i Frank Hutter. 2017. Odvojena regulacija gubitka težine. arXiv preprint arXiv:1711.05101. Matthew V. Mahoney. 1999. tekst kompresija kao test za umjetnu inteligenciju. AAAI/IAAI, 970. Todor Mihaylov, Peter Clark, Tushar Khot i Ashish Sabharwal. 2018. može li oklopna haljina voditi električnu energiju? novi skup podataka za odgovor na pitanje otvorene knjige. arXiv preprint arXiv:1809.02789. Tomas Mikolov, Martin Karafiát, Lukas Burget, Jan Cernocky i Sanjeev Khudanpur. 2010. Recur- ` najam jezikovnog modela temeljenog na neuronskoj mreži. U Interspeech, stranice 1045–1048. Nikita Nangia, Clara Vania, Rasika Bhalerao i Samuel R. Bowman. 2020. CrowS-parovi: skup izazova za mjerenje društvenih predrasuda u maskiranim jezikovnim modelima. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese i Caiming Xiong. 2022. Codegen: Otvoreni model velikog jezika za kod s sintezom višestrukih programa. arXiv preprint arXiv:2203.13474. Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Gray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike i Ryan Lowe. 2022. Obuka jezika modela slijediti upute s ljudskim povratnim informacijama. Markus N Rabe and Charles Staats. 2021. Selfattention does not need o(n 2 ) memory. arXiv preprint arXiv:2112.05682. Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. 2018. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. 2019. Jezikovi modeli su neovlašteni učenici multitask. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Lisa Anne Hendricks, Maribeth Rauh, Po-Sen Huang, Amelia Glaese, Johannes Welblland, Simonyan, Sumanth Dathathri, Saffron Huang, Chris Blopher, Simon Korelia Uesato, John Mellor, Irina Higgins, Antonia Oriwell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant Jayakumar, Elena Buchatskaya, David Budden, Esme Sutherland, Karenyan, Michela Paganini, Laurent Sifre Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li i Peter J Liu. 2020. Istraživanje granica učenja prijenosa pomoću jedinstvenog transformatora od teksta do teksta. Jonathan S Rosenfeld, Amir Rosenfeld, Yonatan Belinkov i Nir Shavit. 2019. Konstruktivna predviđanja pogreške generaliziranja preko ljestvica. arXiv preprint arXiv:1909.12673. Rachel Rudinger, Jason Naradowsky, Brian Leonard i Benjamin Van Durme. 2018. rodna predrasuda u rezoluciji coreference. U NAACL-HLT 2018. Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula i Yejin Choi. 2021. Winogrande: izazov protivničkih shema vinograda na razini. Komunikacije ACM-a, 64(9):99–106. Maarten Sap, Hannah Rashkin, Derek Chen, Ronan LeBras i Yejin Choi. 2019. Socialiqa: Commonsense razmatranje o društvenim interakcijama. arXiv preprint arXiv:1904.09728. Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilic, Daniel Hesslow, Ro- ́ man Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. 2022. Rico Sennrich, Barry Haddow i Alexandra Birch. 2015. Neuralni strojni prijevod rijetkih riječi s podjedinicama riječi. arXiv preprint arXiv:1508.07909. Claude E. Shannon. 1948. matematička teorija komunikacije. The Bell sustav tehnički časopis, 27(3):379-423. Claude E. Shannon. 1951. - Predviđanje i entropija tiskanog engleskog jezika. - Bellov tehnički dnevnik o sustavu, 30(1):50-64. Noam Shazeer. 2020. varijante Glu poboljšavaju transformator. arXiv preprint arXiv:2002.05202. Emily Sheng, Kai-Wei Chang, Premkumar Natarajan i Nanyun Peng. 2019. Žena je radila kao dadilja: Na predrasudama u jezičnoj generaciji. arXiv preprint arXiv:1909.01326. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper i Bryan Catanzaro. 2019. Megatron-lm: Obuka nekoliko milijardi modela parametarskog jezika pomoću paralelizma modela. arXiv preprint arXiv:1909.08053. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zhang, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary i Bryan Catanzaro. 2022. Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen i Yunfeng Liu. 2021. Roformer: Povećani transformator s ugradnjom rotirajućeg položaja. arXiv preprint arXiv:2104.09864. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, YaGuang Li, Hongrae Lee, Huaixiu Steven Zheng, Amin Ghafouri, Marcelo Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Maxim Krikun, Dmitry Lepikhin, James Qin, Kathleen Me-Hellstern, Dehao Chen, Yuanzhong Xu, Zhifeng Chen, Adam Roberts, Maarten Bosma, Vincent Zhao, Yanqi Zhou, Chung-Ching Chang, Igor Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Laiche Mane, Kathleen Me-Hellst A. M. Turing. 1950. računalne mašine i inteligencija. [Oxford University Press, Mind Association]. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser i Illia Polosukhin. 2017. Pozornost je sve što vam je potrebno. Ben Wang i Aran Komatsuzaki. 2021. GPT-J6B: 6 milijardi parametara Autoregresivni jezik Model. https://github.com/kingoflolz/ mesh-transformer-jax. Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery i Denny Zhou. 2022. Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. 2022. Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin i Edouard Grave. 2020. CCNet: Izvlačenje visokokvalitetnih monolingualnih skupova podataka iz web crawl podataka. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga, Jinshi Huang, Charles Bai, et al. 2022. Sustainable ai: Environmental Implications, Challenges and Opportunities. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi i Yejin Choi. 2019. Hellaswag: Može li stroj zaista završiti vašu rečenicu? arXiv preprint arXiv:1905.07830. Aohan Zeng, Xiao Liu, Zhengxiao Du, Zihan Wang, Hanyu Lai, Ming Ding, Zhuoyi Yang, Yifan Xu, Wendi Zheng, Xiao Xia, Weng Lam Tam, Zixuan Ma, Yufei Xue, Jidong Zhai, Wenguang Chen, Peng Zhang, Yuxiao Dong i Jie Tang. 2022. Biao Zhang i Rico Sennrich. 2019. normalizacija korijena prosječnog kvadratnog sloja. Napredak u neuralnim sustavima za obradu informacija, 32. Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. 2022. Pitanje koje odgovara Procjenjujemo LLaMA na prirodnim pitanjima i TriviaQA. Za prirodna pitanja koristimo test split koji se koristi za odgovore na otvorena pitanja koja sadrže 3610 pitanja. Za TriviaQA procjenjujemo na dev setu filtriranog skupa. To se razlikuje od GPT-3 i PaLM, koji procjenjuju na test setu nefiltriranog skupa za koji online ocjenjivački poslužitelj više nije dostupan5 . Mi generiramo odgovore koristeći pohlepno dekodiranje i izvlačimo odgovor iz generacije zaustavljajući se na prvoj liniji, konačnoj točki ili komi. Generirani odgovori se ocjenjuju standardnom točnom matricom: generirani odgovor se smatra ispravnim ako odgovara bilo kojem odgovoru na popisu odgovora nakon normalizacije. Za ovaj standardizacijski korak generiramo B MMLU C generacije od LLaMA-65B U ovom odjeljku prikazujemo neke primjere generacija dobivenih s LLaMA-65B (bez uputa za finetuning). D generacije od LLaMA-I Prikazujemo nekoliko primjera generacija s LLaMA-I, odnosno LLaMA-65B fino prilagođen s protokolom i skupom podataka za upute iz Chung et al. (2022). Ovaj dokument je dostupan na arhivu pod licencom CC by 4.0 Deed (Attribution 4.0 International). Ovaj dokument je dostupan na arhivu pod licencom CC by 4.0 Deed (Attribution 4.0 International).