Pasiekti pažangiausius rezultatus mokant tik viešai prieinamais duomenimis

LLaMA: Open and Efficient Foundation Language Models LLAMA: Atviros ir efektyvios pamatinės kalbos modeliai Autorių : Hugo Touvron, Meta AI Thibaut Lavril, Meta AI Gautier Izacard, Meta AI Xavier Martinet, Meta AI Marie-Anne Lachaux „Meta AI“ Timothee Lacroix, Meta AI Baptiste Rozière, Meta AI Naman Goyal, Meta AI Eric Hambro, „Meta AI“ Faisal Azhar, „Meta AI“ Aurelien Rodriguez, Meta AI Armand Joulin Edouard Grave, Meta AI Guillaume Lample, Meta AI Authors: Hugo Touvron, „Meta AI“ Thibaut Lavril, „Meta AI“ Gautier Izacard, Meta AI Xavier Martinet „Meta AI“ Marie-Anne Lachaux „Meta AI“ Timothee Lacroix, „Meta AI“ Baptiste Rozière, Meta AI Naman Goyal, „Meta AI“ Eric Hambro, „Meta AI“ Faisal Azhar, „Meta AI“ Aurelijanas Rodriguezas, „Meta AI“ Armand Joulin Edouard Grave, „Meta AI“ Guillaume Lample, „Meta AI“ Abstrakcijos Mes pristatome LLaMA, pagrindinių kalbų modelių, kurių parametrai svyruoja nuo 7B iki 65B, rinkinį. Mes mokome savo modelius trilijonuose žetonų ir parodome, kad galima mokyti moderniausius modelius, naudojant viešai prieinamus duomenų rinkinius, išskirtinai, nenaudojant nuosavybės ir neprieinamų duomenų rinkinių. 1 Įvadas Dideli tokuages modeliai (LLMs), apmokyti didžiuliu tekstų korpusu, parodė savo gebėjimą atlikti naujas užduotis iš tekstinių instrukcijų arba iš kelių pavyzdžių (Brown et al., 2020). Šie keletas šūvių savybės pirmą kartą pasirodė, kai skalavimo modeliai iki pakankamo dydžio (Kaplan et al., 2020), todėl darbo linija, kurioje daugiausia dėmesio skiriama tolesniam šių modelių skalavimui (Chowdhery et al., 2022; Rae et al., 2021). Šios pastangos yra pagrįstos prielaida, kad daugiau parametrų lemia geresnį našumą. Tačiau neseniai atliktas darbas iš Hoffmann et al. (2022) rodo, kad tam tikram skaičiavimo biudžetui geriausius rezultatus pasiekia ne didžia Šio darbo tikslas yra mokyti kalbų modelius, kurie pasiekia geriausią įmanomą našumą įvairiuose išvados biudžetuose, mokydami daugiau žetonų nei paprastai naudojami. Gautas modelis, vadinamas LLaMA, svyruoja nuo 7B iki 65B parametrų su konkurenciniu našumu, palyginti su geriausiais esamais LLM. Pavyzdžiui, LLaMA-13B pralenkia GPT-3 daugelyje lyginamųjų indeksų, nepaisant to, kad jis yra 10x mažesnis. Mes manome, kad šis modelis padės demokratizuoti prieigą ir LLM tyrimą, nes jis gali būti paleistas viename GPU. Aukščiausiame skalės krašte mūsų 65B parametrų modelis taip pat konkuruoja su geriausiais dideliais kalbų modeliais, tokiais Yra keletas išimčių, ypač OPT (Zhang et al., 2022), GPT-NeoX (Black et al., 2022), BLOOM (Scao et al., 2022) ir GLM (Zeng et al., 2022), bet nė vienas iš jų nėra konkurencingas su PaLM-62B ar Chinchilla. Likusioje šio dokumento dalyje pateikiame apžvalgą apie pakeitimus, kuriuos padarėme transformatorių architektūroje (Vaswani et al., 2017), taip pat mūsų mokymo metodą. Mes tada pranešame apie mūsų modelių našumą ir palyginame su kitais LLM dėl standartinių lyginamųjų indeksų. Galiausiai, mes atskleidžiame kai kuriuos mūsų modeliuose koduojamus šališkumus ir toksiškumą, naudojant kai kuriuos naujausius lyginamųjų indeksų iš atsakingos AI bendruomenės. 2 požiūris Mūsų mokymo metodas yra panašus į metodus, aprašytus ankstesniame darbe (Brown et al., 2020; Chowdhery et al., 2022), ir yra įkvėptas Chinchilla skalavimo įstatymų (Hoffmann et al., 2022). 2.1 Priešmokyklinio mokymo duomenys Mūsų mokymo duomenų rinkinys yra kelių šaltinių mišinys, ypač 1 lentelėje, apimantis įvairius domenų rinkinius. Daugiausia mes pakartotinai naudojame duomenų šaltinius, kurie buvo panaudoti mokyti kitus LLM, su apribojimu naudoti tik duomenis, kurie yra viešai prieinami ir suderinami su atvirais šaltiniais. Mes iš anksto apdorojame penkis „CommonCrawl“ dumps, nuo 2017 iki 2020 m., naudojant CCNet vamzdyną (Wenzek et al., 2020). Šis procesas dedupliuoja duomenis eilutės lygyje, atlieka kalbos identifikavimą naudojant „fastText“ linijinį klasifikatorių, kad pašalintų ne anglų kalbos puslapius ir filtruotų žemos kokybės turinį naudojant „ngram“ kalbos modelį. English CommonCrawl [67%] Tyrimų eksperimentų metu pastebėjome, kad naudojant įvairius iš anksto apdorotus CommonCrawl duomenų rinkinius pagerėja našumas.Todėl į mūsų duomenis įtraukėme viešai prieinamą C4 duomenų rinkinį (Raffel et al., 2020).C4 išankstinis apdorojimas taip pat apima deduplikavimo ir kalbos identifikavimo veiksmus: pagrindinis skirtumas su CCNet yra kokybės filtravimas, kuris daugiausia priklauso nuo heuristikos, pvz., punktavimo ženklų buvimo ar žodžių ir sakinių skaičiaus tinklalapyje. C4 [15%]. Mes naudojame viešą „GitHub“ duomenų rinkinį, prieinamą „Google BigQuery“. Mes laikėme tik tuos projektus, kurie platinami pagal „Apache“, „BSD“ ir „MIT“ licencijas. Be to, mes filtravome žemos kokybės failus su heuristikomis, pagrįstomis eilutės ilgiu arba alfanumerinių simbolių proporcija, ir pašalinome katilines plokštes, pvz., antraštes, su įprastomis išraiškomis. Github [4.5%]. Mes pridedame "Wikipedia dumps" iš 2022 m. birželio-rugpjūčio mėn. laikotarpio, apimančio 20 kalbų, kuriose naudojami arba lotyniški, arba ciriliški scenarijai: bg, ca, cs, da, de, en, es, fr, hr, hu, it, nl, pl, pt, ro, ru, sl, sr, sv, uk. Mes tvarkome duomenis, kad pašalintume hipersaitas, komentarus ir kitus formatuojančius katilus. Wikipedia [4.5%]. Mes įtraukiame dvi knygos korpusus į mūsų mokymo duomenų rinkinį: Gutenbergo projektą, kuriame yra viešojoje erdvėje esančių knygų, ir „ThePile“ knygos3 skyrių (Gao et al., 2020), viešai prieinamą duomenų rinkinį, skirtą mokyti didelius kalbų modelius. Gutenberg and Books3 [4.5%] Po Lewkowycz et al. (2022), mes pašalinome viską prieš pirmąjį skyrių, taip pat bibliografiją. Mes taip pat pašalinome komentarus iš .tex failų, taip pat vartotojų parašytus inline išplėstinius apibrėžimus ir makrus, kad padidintume nuoseklumą tarp straipsnių. ArXiv [2.5%]. Mes įtraukėme "Stack Exchange", aukštos kokybės klausimų ir atsakymų svetainę, apimančią įvairius domenus, pradedant kompiuterių mokslu ir baigiant chemija. Mes saugojome duomenis iš 28 didžiausių svetainių, pašalino HTML žymes iš teksto ir rūšiuoja atsakymus pagal rezultatus (nuo aukščiausio iki mažiausio). Stack Exchange [2%]. Mes tokenizuojame duomenis naudojant bytepair kodavimo (BPE) algoritmą (Sennrich et al., 2015), naudojant SentencePiece įgyvendinimą (Kudo ir Richardson, 2018). Tokenizer. Apskritai, visas mūsų mokymo duomenų rinkinys apima maždaug 1,4 T žetonų po tokenizacijos. Daugumai mūsų mokymo duomenų kiekvienas žetonas naudojamas tik vieną kartą mokymo metu, išskyrus Vikipedijos ir knygų domenus, per kuriuos mes atliekame maždaug dvi epochas. 2.2 Architektūra Po neseniai atlikto darbo su dideliais kalbų modeliais, mūsų tinklas yra pagrįstas transformatorių architektūra (Vaswani et al., 2017). Mes naudojame įvairius patobulinimus, kurie vėliau buvo pasiūlyti ir naudojami skirtinguose modeliuose, pvz., „PaLM“. Norėdami pagerinti mokymo stabilumą, mes normalizuojame kiekvieno transformatoriaus paviršiaus sluoksnio įvestį, o ne normalizuojame išvestį. Pre-normalization [GPT3] Mes pakeičiame ReLU neliniarumą SwiGLU aktyvacijos funkcija, kurią pristatė Shazeer (2020) siekiant pagerinti našumą. mes naudojame 2 3 4d dimensiją vietoj 4d, kaip ir PaLM. SwiGLU activation function [PaLM]. Mes pašaliname absoliučius pozicionavimo įterpimus, o vietoj to į kiekvieną tinklo sluoksnį įvedame sukamąjį pozicionavimo įterpimą (RoPE), kurį pristatė Su et al. (2021). Rotary Embeddings [GPTNeo]. 2.3 Optimizavimas Mūsų modeliai yra apmokomi naudojant „AdamW“ optimizatorių (Loshchilov ir Hutter, 2017 m.) su šiais hiperparametrais: β1 = 0,9, β2 = 0,95. Mes naudojame cosine mokymosi greičio tvarkaraštį, kad galutinis mokymosi greitis būtų lygus 10% didžiausio mokymosi greičio. mes naudojame svorio suskaidymą 0,1 ir gradiento klijavimą 1,0. Mes naudojame 2 000 šildymo žingsnių ir mokymosi greitis ir partijos dydis skiriasi priklausomai nuo modelio dydžio (žr. 2 lentelę detalėms). 2.4 Efektyvus įgyvendinimas Mes atliekame keletą optimizavimų, siekiant pagerinti mūsų modelių mokymo greitį. Pirma, mes naudojame veiksmingą priežastinio daugiašalio dėmesio įgyvendinimą, kad sumažintume atminties naudojimą ir paleidimo laiką. Šis įgyvendinimas, prieinamas xformers bibliotekoje,2 yra įkvėptas Rabe ir Staats (2021) ir naudoja atgalinę iš Dao et al. (2022). Tai pasiekiama nesaugant dėmesio svorių ir neskaičiuojant raktų / užklausų balų, kurie yra užmaskuoti dėl kalbinio modeliavimo užduoties priežastinio pobūdžio. Siekiant dar labiau pagerinti mokymo efektyvumą, mes sumažinome aktyvacijų, kurios atkuriamos per atgalinį perėjimą su kontroliniu tašku, skaičių. Tiksliau tariant, mes išsaugome aktyvacijas, kurios yra brangios apskaičiuoti, pvz., linijinių sluoksnių išėjimus. Tai pasiekiama rankiniu būdu įgyvendinant transformatorių sluoksnių atgalinę funkciją, o ne pasikliauti PyTorch autogradu. Norėdami visapusiškai pasinaudoti šia optimizacija, turime sumažinti modelio atminties naudojimą naudojant modelio ir sekos paralelizmą, kaip aprašė Korthikanti et al. (2022). Be to, mes taip pat perkelti skaičiavimo aktyvacijos ir ryšio tarp GPU per tinklą (dėl all_reduce operacijų) kiek įmanoma.Kai mokymo 65B-parametro modelį, mūsų kodas apdoroja apie 380 žetonų/sek / GPU 2048 A100 GPU su 80GB RAM. 3 Pagrindiniai rezultatai Atsižvelgdami į ankstesnį darbą (Brown et al., 2020), mes svarstome nulinio šūvio ir nedaugelio šūvio užduotis ir pranešame apie rezultatus iš viso 20 lyginamųjų rodiklių: Mes pateikiame užduoties tekstinį aprašymą ir bandymo pavyzdį.Modelis arba pateikia atsakymą naudojant atvirojo galo generavimą, arba reitinguoja siūlomus atsakymus. • Zero-shot. Mes pateikiame keletą užduoties pavyzdžių (nuo 1 iki 64) ir bandymo pavyzdį. • Few-shot. Mes palyginame LLaMA su kitais pamatiniais modeliais, būtent ne viešai prieinamais kalbų modeliais GPT-3 (Brown et al., 2020), Gopher (Rae et al., 2021), Chinchilla (Hoffmann et al., 2022) ir PaLM (Chowdhery et al., 2022), taip pat atviro šaltinio OPT modeliais (Zhang et al., 2022), GPT-J (Wang ir Komatsuzaki, 2021), ir GPTNeo (Black et al., 2022). 4 skyriuje taip pat trumpai palyginame LLaMA su instrukcijomis pritaikytais modeliais, tokiais kaip OPT-IML (Iyer et al., 2022) ir Flan-PaLM (Chung et al., 2022). Mes vertiname LLaMA laisvos formos generavimo užduotis ir daug Daugelio pasirinkimo užduočių tikslas yra pasirinkti tinkamiausią užbaigimą iš tam tikrų parinkčių rinkinio, remiantis pateiktu kontekstu. Mes pasirenkame užbaigimą su didžiausia tikimybe, atsižvelgiant į pateiktą kontekstą. Mes laikomės Gao et al. (2021) ir naudojame tikimybę, normalizuotą pagal užbaigimo simbolių skaičių, išskyrus tam tikrus duomenų rinkinius (OpenBookQA, BoolQ), kuriems mes sekame Brown et al. (2020), ir pasirenkame užbaigimą, pagrįstą tikimybe, normalizuotą pateikto užbaigimo tikimybe „Answer:” kaip kontekstą: P(completion fagcontext)/P(completion fag“Awer 3.1 Paprastas protas Mes svarstome aštuonis standartinius sveiko proto motyvų kriterijus: BoolQ (Clark et al., 2019), PIQA (Bisk et al., 2020), SIQA (Sap et al., 2019), HellaSwag (Zellers et al., 2019), WinoGrande (Sakaguchi et al., 2021), ARC lengva ir iššūkis (Clark et al., 2018) ir OpenBookQA (Mihaylov et al., 2018). Šie duomenų rinkiniai apima Cloze ir Winograd stiliaus užduotis, taip pat atsakymus į daugelio pasirinkimų klausimus. Mes vertiname nulinio šūvio nustatymą, kaip ir kalbų modeliavimo bendruomenėje. 3 lentelėje palyginame esamus įvairių dydžių modelius ir ataskaitų numerius iš atitinkamų dokumentų. Pirma, LLaMA-65B pranoksta Chinchilla-70B visuose praneštuose lyginamuosiuose rodikliuose, bet ne BoolQ. Panašiai šis modelis pranoksta PaLM540B visur, išskyrus BoolQ ir WinoGrande. 3.2 Atsakymai į uždarą knygą Mes palyginame LLaMA su esamais dideliais kalbų modeliais dviem uždarų knygų klausimams atsakyti atitikmenimis: „Natural Questions“ (Kwiatkowski et al., 2019) ir „TriviaQA“ (Joshi et al., 2017). Abiems atitikmenims mes pranešame apie tikslius atitikmenų rezultatus uždaroje knygoje, t. y. kai modeliai neturi prieigos prie dokumentų, kuriuose yra įrodymų, kad galėtų atsakyti į klausimą. 4 lentelėje mes pranešame apie „NaturalQuestions“ rezultatus, o 5 lentelėje – apie „TriviaQA“. Abiems atitikmenims LLaMA-65B praneša apie pažangiausius rezultatus nulinio šūvio ir nedaugelio šūvio nustatymuose. Dar svarbiau, 3.3 Skaitymo supratimas Mes vertiname savo modelius pagal RACE skaitymo supratimo lyginamąjį indeksą (Lai et al., 2017). Šis duomenų rinkinys buvo surinktas iš anglų kalbos skaitymo supratimo egzaminų, skirtų vidurinės ir vidurinės mokyklos kinų studentams. Mes laikomės Brown et al. (2020) vertinimo nustatymų ir pranešame apie rezultatus 6 lentelėje. 4.3 Matematinis mąstymas Mes vertiname savo modelius pagal du matematinius duomenų motyvavimo kriterijus: MATH (Hendrycks et al., 2021) ir GSM8k (Cobbe et al., 2021). MATH yra 12K vidurinės mokyklos ir vidurinės mokyklos matematikos problemų, parašytų LaTeX, duomenų rinkinys. GSM8k yra vidurinės mokyklos matematinių problemų rinkinys. 7 lentelėje palyginame su PaLM ir Minerva (Lewkowycz et al., 2022). Minerva yra PaLM modelių serija, suderinta su 38.5B ženklais, išgautais iš ArXiv ir Math žiniatinklio puslapių, o nei PaLM, nei LLaMA nėra suderinti su matematiniais duomenimis. PaLM ir Minerva skaičiai yra paimti iš Lewkowycz 3.5 Kodų kartos Mes vertiname mūsų modelių gebėjimą parašyti kodą iš natūralios kalbos aprašymo dviem lyginamosiomis reikšmėmis: HumanEval (Chen et al., 2021) ir MBPP (Austin et al., 2021). Abiems užduotims modelis gauna programos aprašymą keliais sakiniais, taip pat kelis įvesties-išvesties pavyzdžius. HumanEval, jis taip pat gauna funkcijos parašą, o skambutis yra suformatuotas kaip natūralus kodas su teksto aprašymu ir testais dokstringoje. Modeliui reikia sukurti Python programą, kuri atitinka aprašymą ir atitinka bandymo atvejus. 8 lentelėje mes palyginame mūsų modelių pass@1 balus su esamais kalbos modeliais, kurie nebuvo supaprastinti kodu, ty PaLM ir Kaip parodyta 8 lentelėje, panašaus skaičiaus parametrų atžvilgiu LLaMA pranoksta kitus bendrus modelius, tokius kaip LaMDA ir PaLM, kurie nėra specialiai apmokyti ar patikslinti kodui. LLaMA su 13B parametrais ir daugiau pranoksta LaMDA 137B tiek HumanEval, tiek MBPP. LLaMA 65B taip pat pranoksta PaLM 62B, net jei jis yra apmokytas ilgiau. Šioje lentelėje pateikti pas@1 rezultatai buvo gauti ėminant temperatūrą 0.1. Pas@100 ir pas@80 metrikos buvo gautos su temperatūra 0.8. Mes naudojame tą patį metodą kaip Chen et al. (2021) norėdami gauti nešališkus pas@k. Pavyzdžiui, PaLM-Coder (Chowdhery et al., 2022) padidina PaLM pas@1 balų skaičių HumanEval nuo 26,2% PaLM iki 36%. Kiti modeliai, specialiai apmokyti kodui, taip pat atlieka šias užduotis geriau nei bendrieji modeliai (Chen et al., 2021; Nijkamp et al., 2022; Fried et al., 2022). 3.6 Daugiafunkcinis kalbos supratimas „Hendrycks et al. (2020)“ pateiktą didžiulį daugialypės kalbos supratimo lyginamąjį indeksą (MMLU) sudaro keli pasirinkimo klausimai, apimantys įvairias žinių sritis, įskaitant humanitarinius, STEM ir socialinius mokslus. Mes vertiname savo modelius 5 šūvių nustatymuose, naudojant pavyzdžius, pateiktus pagal lyginamąjį indeksą, ir pranešame apie rezultatus 9 lentelėje. Šiame lyginamajame indeksą pastebime, kad „LLaMA-65B“ yra už „Chinchilla70B“ ir „PaLM-540B“ keliais procentais vidutiniškai ir daugelyje sričių. Galimas paaiškinimas yra tas, kad mes naudojome ribotą knygų ir akademinių dokumentų kiekį mūsų ikimokyklinio 3.7 Treniruočių metu atliktų rezultatų raida Mokymo metu mes stebėjome mūsų modelių našumą pagal keletą klausimų atsakymo ir sveiko proto lyginamųjų rodiklių ir pranešėme apie juos 2 pavyzdyje. Daugumoje lyginamųjų rodiklių našumas nuolat gerėja ir koreliuoja su modelio mokymosi netvarka (žr. 1 pavyzdį). Išimtys yra SIQA ir WinoGrande. Svarbiausia, SIQA, mes stebime daugybę našumo skirtumų, kurie gali reikšti, kad šis lyginamasis rodiklis nėra patikimas. „WinoGrande“ našumas taip pat nesusijęs su mokymosi netvarka: LLaMA-33B ir LLaMA-65B treniruočių metu turi panašų našumą. 4 Instrukcijos Finetuning Šiame skyriuje parodome, kad trumpas instrukcijų duomenų patikslinimas greitai pagerina MMLU. Nors LLaMA-65B versija, kuri nėra patikslinta, jau gali sekti pagrindines instrukcijas, pastebime, kad labai nedidelis patikslinimo kiekis pagerina MMLU našumą ir dar labiau pagerina modelio gebėjimą sekti instrukcijomis. Kadangi tai nėra šio dokumento dėmesys, mes atlikome tik vieną eksperimentą pagal tą patį protokolą kaip Chung et al. (2022) mokyti instrukcijų modelį, LLaMA-I 10 lentelėje mes pranešame apie mūsų instrukcijų modelio LLaMA-I rezultatus MMLU ir palyginame juos su esamais vidutinio dydžio instrukcijų finetuning modeliais, būtent OPT-IML (Iyer et al., 2022) ir Flan-PaLM serijos (Chung et al., 2022). Visi pranešti skaičiai yra iš atitinkamų dokumentų. Nepaisant čia naudojamo instrukcijų finetuning metodo paprastumo, mes pasiekiame 68,9% MMLU. LLaMA-I (65B) viršija MMLU esamus instrukcijų finetuning modelius vidutinio dydžio, tačiau vis dar toli nuo pažangiausių, tai yra 77,4 GPT kodas-davinci-002 MMLU (skaičiai paimti iš Iyer et al. (2022)). Išsamią informaciją apie MMLU 57 už 5 Prietarai, toksiškumas ir neteisinga informacija Buvo įrodyta, kad dideli kalbos modeliai atkuria ir sustiprina mokymo duomenyse esamus šališkumus (Sheng et al., 2019; Kurita et al., 2019), taip pat generuoja toksišką ar įžeidžiantį turinį (Gehman et al., 2020). Kadangi mūsų mokymo duomenų rinkinyje yra didelė dalis duomenų iš žiniatinklio, manome, kad labai svarbu nustatyti mūsų modelių galimybes generuoti tokį turinį. Norint suprasti galimą LLaMA-65B žalą, mes vertiname pagal skirtingus lyginamuosius indeksus, kurie matuoja toksiško turinio gamybą ir stereotipų aptikimą. Nors mes pasirinkome kai kuriuos standartinius lyginamuosius indeksus, kuriuos naudoja kalbos modelio bendruomenė, kad nurodytume kai kurias problemas su šiais modeliais 5.1 RealToxicityPrompts Kalbų modeliai gali generuoti toksišką kalbą, pvz., įžeidimus, neapykantos kalbą ar grėsmes. Yra labai didelis toksiško turinio asortimentas, kurį modelis gali generuoti, todėl išsamus vertinimas yra sudėtingas. Keletas neseniai atliktų darbų (Zhang et al., 2022; Hoffmann et al., 2022) apsvarstė „RealToxicityPrompts“ lyginamąjį indeksą (Gehman et al., 2020) kaip jų modelio toksiškumo rodiklį. „RealToxicityPrompts“ susideda iš maždaug 100 000 užklausų, kurias modelis turi užbaigti; tada toksiškumo balas automatiškai vertinamas pateikiant prašymą „PerspectiveAPI 3“. Mes neturime kontrolės dėl trečiosios šalies PerspectiveAPI naudojamo vamzdžio, todėl palyginimas su ankstesniais modeliais yra sudėtingas. Kiekvienam iš 100k skambučių mes godžiai generuojame su mūsų modeliais ir matuojame jų toksiškumo balą. Skambučių balai svyruoja nuo 0 (netoksiški) iki 1 (toksiški). 11 lentelėje mes pranešame apie mūsų vidutinį balą pagrindinėse ir pagarbiai skambučių kategorijose RealToxicityPrompts. Šie balai yra „palyginami“ su tuo, ką pastebime literatūroje (pvz., 0,087 Chinchilla), tačiau metodai skiriasi tarp šių darbų ir mūsų (dėl mėginių ėmimo strategijos, skambučių laiko ir API skaičiaus). Mes pastebime, kad tok 5.2 Liaudies poros Mes vertiname mūsų modelio šališkumą CrowSPairs (Nangia et al., 2020). Šis duomenų rinkinys leidžia išmatuoti šališkumą 9 kategorijose: lytis, religija, rasė / spalva, seksualinė orientacija, amžius, tautybė, negalia, fizinė išvaizda ir socialinis statusas. Kiekvienas pavyzdys susideda iš stereotipo ir anti-stereotipo, mes matuojame modelio pageidavimą stereotipiniam sakiniui, naudojant abiejų sakinių painiojimą nulinio šūvio sąlygomis. Didesni rezultatai rodo didesnį šališkumą. Mes palyginame su GPT-3 ir OPT-175B 12 lentelėje. LLaMA palygina šiek tiek palankiai abiem modeliams vidutiniškai. Mūsų modelis 5.3 Vynuogės Norėdami toliau ištirti mūsų modelio prietarus dėl lyčių kategorijos, mes žiūrime į WinoGender lyginamąjį indeksą (Rudinger et al., 2018), duomenų rinkinį dėl bendros nuorodos sprendimo. WinoGender yra pagamintas iš Winograd schemos, o prietarai vertinami nustatant, ar modelio bendros nuorodos sprendimo našumą veikia pranašo lytis. Tiksliau, kiekviename sakinyje yra trys paminėjimai: „okupacija“, „dalyvautojas“ ir „pranašas“, kuriame pranašas bendrai nurodo arba profesiją, arba dalyvis. Mes raginame modelį nustatyti bendros nuorodos santykį ir išmatuoti, ar jis tai daro teisingai, atsižvelgiant į sakinio kontekstą. Pavyzdžiui, „WinoGender“ duomenų rinkinyje esanti frazė yra „ Slaugytoja pranešė pacientui, kad jo perėjimas baigsis per valandą.“, po kurios seka „Jis“ nuoroda.Tada palyginame slaugytojo ir paciento tęstinumo sutrikimą, kad būtų galima atlikti bendro nuorodos sprendimą su modeliu.Mes vertiname našumą naudojant 3 pronominus: „ji / ji / ji“, „jo / jis / jis“ ir „jo / jos / kažkas“ (skirtingi pasirinkimai, atitinkanti gramatinę pronomino funkciją. Mes pastebime, kad mūsų modelis yra žymiai geriau atlikti ko-referencijos rezoliuciją už "jų / jų / kažkas" priesakai nei už "jos / jos / ji" ir "jo / jo / jis" priesakai. Panašus pastebėjimas buvo padaryta ankstesniame darbe (Rae et al., 2021; Hoffmann et al., 2022), ir tikriausiai rodo lyčių polinkį. Iš tikrųjų, kai "jos / jos / ji" ir "jo / jo / jo" priesakai, modelis tikriausiai naudoja daugumos lyties profesijos atlikti ko-referencijos rezoliuciją, o ne naudoti įrodymus sakinio. Norėdami toliau ištirti šią hipotezę, mes pažvelgsime į "gotcha" atvejų rinkinį "jos / jos" ir "jo / jos" pranašams WinoGender duomenų rinkinyje. Šie atvejai atitinka sakinius, kuriuose pranašas neatitinka daugumos lyties profesijoje, o profesija yra teisingas atsakymas. 13 lentelėje pastebime, kad mūsų modelis, LLaMA-65B, daro daugiau klaidų gotcha pavyzdžiuose, aiškiai parodydamas, kad jis užfiksuoja visuomenės prietarus, susijusius su lytimi ir profesija. Veiklos sumažėjimas egzistuoja "jos / jos" ir "jo / jos" pranašams, o tai rodo prietarus, neatsižvelgiant į lytį. 5.4 Tikrovė TruthfulQA (Lin et al., 2021) siekia išmatuoti modelio teisingumą, t. y. jo gebėjimą nustatyti, kada teiginys yra teisingas. Lin et al. (2021) apsvarsto „tiesos“ apibrėžimą „literalios tiesos apie realų pasaulį“ prasme, o ne teiginius, kurie yra teisingi tik tikėjimo sistemos ar tradicijos kontekste. Šis lyginamasis indeksas gali įvertinti modelio riziką generuoti dezinformaciją ar klaidingus teiginius. Klausimai yra parašyti įvairiais stiliais, apima 38 kategorijas ir yra suprojektuoti kaip priešingi. 14 lentelėje mes pranešame apie mūsų modelių našumą abiejuose klausimuose, kad išmatuotume teisingus modelius ir tiesos ir informacijos sankirtą. Palyginti su GPT-3, mūsų modelis abiejose kategorijose uždirba daugiau, tačiau teisingų atsakymų lygis vis dar yra mažas, o tai rodo, kad mūsų modelis greičiausiai haliucinuoja neteisingus atsakymus. 6 Anglies pėdsakai Mūsų modelių mokymas sunaudojo didžiulį energijos kiekį, atsakingą už anglies dioksido išmetimą. Mes sekame naujausią literatūrą šiuo klausimu ir suskirstome tiek bendrą energijos suvartojimą, tiek gautą anglies pėdsaką 15 lentelėje. Wh = GPU-h × (GPU galios suvartojimas) × PUE, Pavyzdžiui, BLOOM naudoja tinklą, kuris išskiria 0,057 kg CO2eq/KWh, o tai lemia 27 tCO2eq, o OPT tinklą, kuris išskiria 0,231 kg CO2eq/KWh, o tai lemia 82 tCO2eq. Šiame tyrime mes norime palyginti šių modelių mokymo anglies dioksido išmetimo sąnaudas, jei jie buvo mokomi tame pačiame duomenų centre. tCO2eq = MWh × 0,385 Mes taikome tą pačią formulę OPT ir BLOOM sąžiningam palyginimui. OPT atveju mes manome, kad mokymas reikalingas 34 dienas 992 A100-80B (žr. jų žurnalus4 ). Galiausiai, mes apskaičiuojame, kad mes naudojome 2048 A100-80GB maždaug 5 mėnesius mūsų modelių kūrimui. Tai reiškia, kad šių modelių kūrimas kainuotų apie 2638 MWh pagal mūsų prielaidas ir bendras išmetamųjų teršalų kiekis yra 1,015 tCO2eq. Tikimės, kad šių modelių išleidimas padės sumažinti būsimą anglies dioksido kiekį, nes mokymas jau yra baigtas, o kai kurie modeliai yra santykinai maži ir gali būti paleisti viename GPU. 7 Susiję darbai Kalbų modeliai yra tikimybės pasiskirstymas per žodžių, žetonų ar simbolių sekas (Shannon, 1948, 1951). Ši užduotis, dažnai rengiama kaip kita žetonų prognozavimas, jau seniai laikoma pagrindine problema natūralios kalbos apdorojimo (Bahl et al., 1983; Brown et al., 1990). Kadangi Turingas (1950) pasiūlė išmatuoti mašinos intelektą naudojant kalbą per "imitacijos žaidimą", kalbos modeliavimas buvo pasiūlytas kaip lyginamasis kriterijus, siekiant išmatuoti pažangą link dirbtinio intelekto (Mahoney, 1999). Tradiciškai kalbų modeliai buvo pagrįsti n-gramų skaičiavimo statistika (Bahl et al., 1983), ir buvo pasiūlyti įvairūs lyginimo metodai, siekiant pagerinti retų įvykių įvertinimą (Katz, 1987; Kneser ir Ney, 1995). Per pastaruosius du dešimtmečius, neuroniniai tinklai buvo sėkmingai taikomi kalbos modeliavimo užduočiai, pradedant nuo išankstinių modelių (Bengio et al., 2000), pasikartojančių neuroninių tinklų (Elman, 1990; Mikolov et al., 2010) ir LSTMs (Hochreiter ir Schmidhuber, 1997; Graves, 2013). Be to, pastaruoju metu, transformatorių tinklai, pagrįsti savęs dėmesio, lėmė svarbius patobulinimus, ypač Architecture. Yra ilga istorija skalavimo kalbos modelius, tiek modelio ir duomenų rinkinio dydžių. Brants et al. (2007) parodė naudą naudojant kalbos modelius mokomi 2 trilijonų žetonų, todėl 300 milijardų n-gramų, apie mašininio vertimo kokybę. Nors šis darbas remiasi paprasta lyginimo technika, vadinamas Stupid Backoff, Heafield et al. (2013) vėliau parodė, kaip skalavimo Kneser-Ney lyginimo į žiniatinklio masto duomenis. Scaling. Tai leido mokyti 5 gramų modelį 975 milijardų žetonų iš CommonCrawl, o tai lėmė modelį su 500 milijardų n-gramų (Buck et al., 2014). Chelba et al. (2013) pristatė "One Billion Word" lyginamąjį indeksą, didelio masto mokymo duomenų rinkinį, skirtą kalbų modelių pažangai išmatuoti. Neuroninių kalbų modelių kontekste Jozefowicz et al. (2016) pasiekė pažangiausius rezultatus apie "Billion Word" lyginamąjį indeksą, skaluojant LSTM iki 1 milijardo parametrų. Vėliau skalavimo transformatoriai pagerino daugelį NLP užduočių. Įspūdingi modeliai yra BERT (Devlin et al., 2018), GPT-2 (Radford et al., 2019), MegatronLM (Shoeybi et al., 2019), ir T5 (Raffel et al., 2020). Reikšmingas proveržis buvo pasiektas su GPT-3 (Brown et al., 2020), modeliu su 175 milijardų parametrų. Tai lėmė didelių kalbų modelių seriją, pvz., Jurassic-1 (Lieber et al., 2021), Megatron-Turing NLG (Smith et al., 2022), Gopher (Rae et al., 2021), Chinchilla (Hoffmann et al., 2022), PaLM (Chowdhery et al., 2022), OPT (Zhang et al., 2022), ir GLM (Zeng et al., 2022). Hestness 8 Išvados Šiame straipsnyje pristatėme kalbų modelius, kurie išleidžiami atvirai ir konkuruoja su naujausiais pagrindiniais modeliais. Svarbiausia, kad LLaMA-13B yra geresnis už GPT-3, nors jis yra daugiau nei 10x mažesnis, o LLaMA-65B yra konkurencingas su Chinchilla-70B ir PaLM-540B. Skirtingai nuo ankstesnių tyrimų, mes parodome, kad galima pasiekti pažangiausius rezultatus mokydami tik viešai prieinamus duomenis, nesinaudojant nuosavybiniais duomenų rinkiniais. Tikimės, kad šių modelių išleidimas mokslinių tyrimų bendruomenei paspartins didelių kalbų modelių kūrimą ir padės pagerinti jų tvirtumą ir sumažinti žinomus klausimus, tokius kaip toksiškumas ir šališkumas Pripažinimai Dėkojame Daniel Haziza, Francisco Massa, Jeremy Reizenstein, Artem Korenev ir Patrick Labatut iš xformers komandos. Dėkojame Susan Zhang ir Stephen Roller už paramą duomenų deduplikavimui. Dėkojame Luca Wehrstedt, Vegard Mella ir Pierre-Emmanuel Mazaré už paramą mokymo stabilumui. Dėkojame Shubho Sengupta, Kalyan Saladi ir visai AI infra komandai už paramą. Dėkojame Jane Yu už įnašą į vertinimą. Dėkojame Yongyi Hu už pagalbą duomenų rinkimo srityje. Referencijos Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le ir Charles Sutton. Lalit R. Bahl, Frederick Jelinek ir Robert L. Mercer. 1983 m. Maksimalios tikimybės požiūris į nuolatinį kalbos atpažinimą. Yoshua Bengio, Réjean Ducharme ir Pascal Vincent. 2000 m. Neuroninės tikimybinės kalbos modelis. Yonatan Bisk, Rowan Zellers, Jianfeng Gao, Yejin Choi ir kt. 2020 Piqa: Apmąstymai apie fizinį bendrą protą natūralioje kalboje. Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang ir kt. 2022 Gpt-neox-20b: atviro kodo autoregresyvios kalbos modelis. arXiv iš anksto atspausdintas arXiv arXiv:2204.06745. Thorsten Brants, Ashok C. Popat, Peng Xu, Franz J. Och, ir Jeffrey Dean. 2007 Dideli kalbos modeliai mašininio vertimo srityje. 2007 m. Jungtinės konferencijos dėl empirinių metodų natūralios kalbos apdorojimo ir skaičiavimo natūralios kalbos mokymosi (EMNLP-CoNLL), 858–867, Praha, Čekija. Peter F Brown, John Cocke, Stephen A Della Pietra, Vincent J Della Pietra, Frederick Jelinek, John Lafferty, Robert L Mercer ir Paul S Roossin. 1990 m. Statistinis požiūris į mašininį vertimą. Kompiuterinė lingvistika, 16(2):79–85. Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever ir Dario Amodei. Christian Buck, Kenneth Heafield, ir Bas Van Ooyen. 2014 N-gramų skaičiavimai ir kalbos modeliai iš bendro nuskaitymo. Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn ir Tony Robinson. 2013 m. Vienas milijardas žodžių lyginamasis rodiklis statistinio kalbų modeliavimo pažangai įvertinti. arXiv iš anksto atspausdintas arXiv:1312.3005. Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, William Hebgen Guss, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Sutarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nicholino, Alex Paino, Nikolas Tezak, Jie, Igor Tangleckin Aakanksha Diawon Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Ghemawat, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sun Devipa, Henryk Michalewski, Xavier Garcia, Vedantra Misra, Kevin Robinson, Liam Fedus, Jason Zhou Den Hyung Won Chung, Le Hou, S. Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Dasha Valter, Sharan Narang, Gaurav Mishra, Adams Wei Yu, Vincent Zhao, Yanping Huang, Andrew M. Dai, Hongkun Yu, Petrov, Slav, Ed Huai hsin Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc Le, ir Jason Wei. 2022. Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins ir Kristina Toutanova. 2019 Boolq: Tyrinėti nenuostabų natūralių „taip“ / „ne“ klausimų sudėtingumą. arXiv preprint arXiv:1905.10044. Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick ir Oyvind Tafjord. 2018. manote, kad atsakydami į klausimą išsprendėte klausimą? pabandykite arka, ai2 argumentų iššūkis. arXiv iš anksto atspausdintas arXiv:1803.05457. Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano ir kt. 2021 m. Mokymo tikrintojai matematinių žodžių problemoms spręsti. arXiv iš anksto atspausdintas arXiv:2110.14168. Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V Le ir Ruslan Salakhutdinov. 2019. „Transformer-xl“: dėmesingi kalbos modeliai už fiksuoto ilgio konteksto ribų. arXiv iš anksto atspausdintas arXiv:1901.02860 Tri Dao, Daniel Y Fu, Stefano Ermon, Atri Rudra ir Christopher Ré. 2022 Flashattention: Greitas ir atminties efektyvus tikslus dėmesys su io sąmoningumu. arXiv preprint arXiv:2205.14135. Jacob Devlin, Ming-Wei Chang, Kenton Lee ir Kristina Toutanova. 2018. Bert: gilių dvišalių transformatorių išankstinis mokymas kalbos supratimui. arXiv iš anksto atspausdintas arXiv:1810.04805. Jeffrey L Elman. 1990. rasti struktūrą laiku. pažinimo mokslas, 14(2):179–211. Daniel Fried, Armen Aghajanyan, Jessy Lin, Sida Wang, Eric Wallace, Freda Shi, Ruiqi Zhong, Wentau Yih, Luke Zettlemoyer, ir Mike Lewis. 2022. Incoder: generacinis modelis kodų pildymui ir sintezei. arXiv iš anksto atspausdintas arXiv:2204.05999. Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser ir Connor Leahy. Leo Gao, Jonathan Tow, Stella Biderman, Sid Black, Anthony DiPofi, Charles Foster, Laurence Golding, Jeffrey Hsu, Kyle McDonell, Niklas Muennighoff, Jason Phang, Laria Reynolds, Eric Tang, Anish Thite, Ben Wang, Kevin Wang ir Andy Zou. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi ir Noah A Smith. 2020. Realtoxicityprompts: Neurono toksinės degeneracijos vertinimas kalbų modeliuose. arXiv preprint arXiv:2009.11462. Alex Graves. 2013. sekų generavimas naudojant pasikartojančius neuroninius tinklus. arXiv iš anksto atspausdintas arXiv:1308.0850. Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H Clark ir Philipp Koehn. 2013 m. Skaliuojamas modifikuotas kneserney kalbos modelio įvertinimas. Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song ir Jacob Steinhardt. Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song ir Jacob Steinhardt. 2021. matavimo matematinių problemų sprendimas naudojant matematikos duomenų rinkinį. arXiv iš anksto spausdinti arXiv:2103.03874. Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md Patwary, Mostofa Ali, Yang Yang ir Yanqi Zhou. 2017 m. Gilus mokymasis yra nuspėjamas, empiriškai. arXiv iš anksto atspausdintas arXiv:1712.00409. Sepp Hochreiter ir Jürgen Schmidhuber. 1997 Ilgalaikė trumpalaikė atmintis. Neurologiniai skaičiavimai, 9(8):1735–1780. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals ir Laurent Sifre. Srinivasan Iyer, Xi Victoria Lin, Ramakanth Pasunuru, Todor Mihaylov, Dániel Simig, Ping Yu, Kurt Shuster, Tianlu Wang, Qing Liu, Punit Singh Koura, et al. 2022 Opt-iml: skalavimo kalbos modelio instrukcijos meta mokymasis per apibendrinimo objektyvą. arXiv iš anksto spausdinti arXiv:2212.12017. Mandar Joshi, Eunsol Choi, Daniel S Weld ir Luke Zettlemoyer. 2017. „Triviaqa“: didelio masto nuotoliniu būdu prižiūrimas skaitymo supratimo iššūkių duomenų rinkinys. arXiv iš anksto atspausdintas arXiv:1705.03551. Rafal Jozefowicz, Oriol Vinyals, Mike Schuster, Noam Shazeer ir Yonghui Wu. 2016 m. Kalbų modeliavimo ribų tyrimas. arXiv iš anksto atspausdintas arXiv:1602.02410. Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu ir Dario Amodei. Slava Katz. 1987 m. Kalbos atpažinimo kalbos modelio komponento tikimybės įvertinimas iš retų duomenų. „IEEE“ operacijos akustikoje, kalboje ir signalų apdorojime, 35(3):400–401. Reinhard Kneser ir Hermann Ney. 1995. patobulintas m-gramų kalbos modeliavimas. 1995 m. tarptautinė konferencija akustikoje, kalboje ir signalų apdorojime, 1 tomas, puslapiai 181–184. Vijay Korthikanti, Jared Casper, Sangkug Lym, Lawrence McAfee, Michael Andersch, Mohammad Shoeybi ir Bryan Catanzaro. 2022. mažinant aktyvacijos atkūrimą dideliuose transformatorių modeliuose. arXiv iš anksto atspausdintas arXiv:2205.05198. Taku Kudo ir John Richardson. 2018. „Sentencepiece“: paprastas ir kalbos nepriklausomas pogrupio žymeklis ir detokeneris neuroniniam teksto apdorojimui. arXiv iš anksto spausdintas arXiv:1808.06226. Keita Kurita, Nidhi Vyas, Ayush Pareek, Alan W Black ir Yulia Tsvetkov. 2019. Socialinių polinkių kiekybinis nustatymas kontekstinėse žodžių reprezentacijose. 1-ame ACL seminare dėl lyčių polinkių natūralios kalbos apdorojimui. Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee ir kt. 2019 m. Natūralūs klausimai: atsakymo į klausimus tyrimų lyginamasis indeksas. Apskaitos kalbotyros asociacijos sandoriai, 7:453–466. Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang ir Eduard Hovy. 2017 m. Lenktynės: didelio masto skaitymo supratimo duomenų rinkinys iš egzaminų. arXiv iš anksto atspausdintas arXiv:1704.04683. Aitor Lewkowycz, Anders Johan Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Venkatesh Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari ir Vedant Misra. 2022. Sprendžiant kiekybinių argumentų problemas kalbų modeliais. Opher Lieber, Or Sharir, Barak Lenz ir Yoav Shoham. 2021 Jurassic-1: Techninės detalės ir vertinimas. Baltoji knyga. AI21 Labs, 1. Stephanie Lin, Jacob Hilton, ir Owain Evans. 2021 Truthfulqa: matuojant, kaip modeliai imituoja žmogaus melus. arXiv iš anksto spausdinti arXiv:2109.07958. Ilya Loshchilov ir Frank Hutter. 2017. atjungtas svorio kritimo reguliavimas. arXiv iš anksto spausdintas arXiv:1711.05101. Teksto suspaudimas kaip dirbtinio intelekto testas. AAAI/IAAI, 970. Todor Mihaylov, Peter Clark, Tushar Khot ir Ashish Sabharwal. 2018. ar šarvai gali laidinti elektros energiją? naujas duomenų rinkinys atviros knygos klausimui atsakyti. arXiv iš anksto atspausdintas arXiv:1809.02789. Tomas Mikolov, Martin Karafiát, Lukas Burget, Jan Cernocky, ir Sanjeev Khudanpur. 2010 m. Recur- ` rent neuroninių tinklų pagrįstą kalbos modelį. Interspeech, puslapiuose 1045–1048. Makuhari. Nikita Nangia, Clara Vania, Rasika Bhalerao ir Samuel R. Bowman. 2020. „CrowS-pairs“: iššūkis duomenų rinkinyje, skirtame socialiniams šališkumams matuoti užmaskuotuose kalbų modeliuose. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese ir Caiming Xiong. 2022. kodekas: atviras didelės kalbos kodo modelis su daugkartine programų sinteze. arXiv iš anksto atspausdintas arXiv:2203.13474. Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Gray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, ir Ryan Lowe. 2022. Mokymo kalbos modelius sekti instrukcijas su žmogaus atsiliepimais. Markus N Rabe ir Charles Staats. 2021. savarankiškumui nereikia o(n 2) atminties. arXiv iš anksto spausdinti arXiv:2112.05682. Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever ir kt. 2018 m. Kalbų supratimo gerinimas generuojant išankstinį mokymą. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever ir kt. 2019. Kalbų modeliai yra nekontroliuojami daugiafunkciniai besimokantieji. „OpenAI“ tinklaraštis, 1(8):9. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Lisa Anne Hendricks, Siddhant Jayakumar, Elena Buchatskaya, Po-Sen Huang, Amelia Glaese, Johannes Welblland, Simonyan, Sumanth Dathathri, Saffron Huang, Chris Blopher, Jonathan Uesato, Jeffelia Korato, John Mellor, Irina Higgins, Antonia Oriwell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant Jayakumar, Elena Buchatskaya, David Budden, Esme Sutherland, Karenyan, Mich Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li ir Peter J Liu. 2020 m. Ištirti perdavimo mokymosi ribas naudojant vieningą teksto į tekstą transformatorių. „The Journal of Machine Learning Research“, 21(1):5485–5551. Jonathan S Rosenfeld, Amir Rosenfeld, Yonatan Belinkov ir Nir Shavit. 2019 m. Konstruktyvus apibendrinimo klaidos prognozavimas visose skalėse. arXiv iš anksto atspausdintas arXiv:1909.12673. Rachel Rudinger, Jason Naradowsky, Brian Leonard ir Benjamin Van Durme. 2018. lyčių polinkis pagrindinėje ataskaitoje. Į NAACL-HLT 2018. Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula ir Yejin Choi. 2021. „Winogrande“: prieštaringos vynuogių auginimo schemos iššūkis mastu. ACM komunikacijos, 64(9):99–106. Maarten Sap, Hannah Rashkin, Derek Chen, Ronan LeBras ir Yejin Choi. 2019. „Socialiqa: Commonsense“ argumentai apie socialinę sąveiką. arXiv preprint arXiv:1904.09728. Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilic, Daniel Hesslow, Ro- ́ man Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. 2022 Bloom: 176bparametro atviros prieigos daugiakalbės kalbos modelis. arXiv iš anksto atspausdintas arXiv:2211.05100. Rico Sennrich, Barry Haddow ir Alexandra Birch. 2015. retų žodžių neuroninis mašininis vertimas su pogrupiais. arXiv iš anksto spausdintas arXiv:1508.07909. Claude E. Shannon. 1948 m. Matematinė komunikacijos teorija. „Bell“ sistemų techninis žurnalas, 27(3):379–423. Claude E. Shannon. 1951. spausdintos anglų kalbos prognozavimas ir entropija. „Bell“ sistemų techninis žurnalas, 30(1):50–64. Glu variantai pagerina transformatorių. arXiv iš anksto spausdinti arXiv:2002.05202. Emily Sheng, Kai-Wei Chang, Premkumar Natarajan ir Nanyun Peng. 2019 m. Moteris dirbo slaugytoja: apie kalbinės kartos šališkumą. arXiv iš anksto atspausdintas arXiv:1909.01326. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper ir Bryan Catanzaro. 2019 Megatron-lm: mokymas kelių milijardų parametrų kalbos modelius naudojant modelio paralelizmą. arXiv iš anksto atspausdintas arXiv:1909.08053. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zhang, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary ir Bryan Catanzaro. Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen ir Yunfeng Liu. 2021. „Roformer“: patobulintas transformatorius su sukimosi padėties įterpimu. arXiv iš anksto atspausdintas arXiv:2104.09864. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, YaGuang Li, Hongrae Lee, Huaixiu Steven Zheng, Amin Ghafouri, Marcelo Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Maxim Krikun, Dmitry Lepikhin, James Qin, Dehao Chen, Yuanzhong Xu, Zhifeng Chen, Adam Roberts, Maarten Bosma, Vincent Zhao, Yanqi Zhou, Chung-Ching Chang, Igor Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Laichee Man, Kathleen Me-Hellstern, Merith Ringel Morris, Tul A. M. Turingas, 1950 m. Kompiuterių mašinos ir intelektas (Oxford University Press, Mind Association). Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser ir Illia Polosukhin. 2017. Dėmesys yra viskas, ko jums reikia. In Advances in Neural Information Processing Systems 30, puslapiai 5998–6008. Ben Wang ir Aran Komatsuzaki. 2021. GPT-J6B: 6 milijardų parametrų autoregresinis kalbos modelis. https://github.com/kingoflolz/ mesh-transformer-jax. Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery ir Denny Zhou. Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler ir kt. 2022 m. Nauji didelių kalbų modelių gebėjimai. arXiv iš anksto atspausdintas arXiv:2206.07682. Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin ir Edouard Grave. 2020. CCNet: Aukštos kokybės monolingvistinių duomenų rinkinių gavimas iš žiniatinklio nuskaitymo duomenų. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga, Jinshi Huang, Charles Bai ir kt. 2022 m. Tvarus ai: poveikis aplinkai, iššūkiai ir galimybės. Mašininio mokymosi ir sistemų tyrimai, 4:795–813. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi ir Yejin Choi. 2019 Hellaswag: Ar mašina gali iš tikrųjų baigti sakinį? arXiv iš anksto atspausdintas arXiv:1905.07830. Aohan Zeng, Xiao Liu, Zhengxiao Du, Zihan Wang, Hanyu Lai, Ming Ding, Zhuoyi Yang, Yifan Xu, Wendi Zheng, Xiao Xia, Weng Lam Tam, Zixuan Ma, Yufei Xue, Jidong Zhai, Wenguang Chen, Peng Zhang, Yuxiao Dong ir Jie Tang. Biao Zhang ir Rico Sennrich. 2019. šaknų vidutinio kvadratinio sluoksnio normalizavimas. Neuroninės informacijos apdorojimo sistemų pažanga, 32. Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin ir kt. 2022 m. Pasirinkimas: Atidaryti iš anksto apmokytus transformatorių kalbos modelius. arXiv iš anksto atspausdintas arXiv:2205.01068. Atsakymas į klausimą Mes vertiname LLaMA dėl natūralių klausimų ir TriviaQA. Dėl natūralių klausimų mes naudojame testų padalijimą, naudojamą atvirojo domeno klausimams, kuriuose yra 3610 klausimų. Dėl TriviaQA mes vertiname ant filtruoto rinkinio kūrėjo rinkinio. Tai skiriasi nuo GPT-3 ir PaLM, kurie vertina ant nefiltruoto rinkinio bandymo rinkinio, kuriam internetinis vertinimo serveris nebėra prieinamas5 . Mes generuojame atsakymus naudojant godų dekodavimą ir išgauname atsakymą iš kartos, sustojant pirmoje eilutėje, galutiniame taške ar komoje. Sukurti atsakymai vertinami naudojant standartinę tikslią matavimo metrą: sukurtas atsakymas laikomas teisingu, jei jis atit B MMLU C kartos iš LLaMA-65B Šiame skyriuje pateikiame keletą LLaMA-65B (be instrukcijų) gautų kartų pavyzdžių. D kartos iš LLAMA-I Pateikiame keletą kartų pavyzdžių su LLaMA-I, t. Y. LLaMA-65B subtiliai sureguliuotas su Chung et al. protokolu ir instrukcijų duomenų rinkiniu (2022). Šis dokumentas yra prieinamas archyve pagal CC by 4.0 Deed (Attribution 4.0 International) licenciją. Šis dokumentas yra prieinamas archyve pagal CC by 4.0 Deed (Attribution 4.0 International) licenciją.