Pagkuha ng state-of-the-art performance sa pamamagitan ng training eksklusibong sa publicly available data

LLaMA: Open and Efficient Foundation Language Models LLaMA: Mga Open at Efficient Foundation Language Models ang mga author: Mga pahinang tumuturo sa Meta AI Si Thibaut Lavril ay isang Sa pamamagitan ng Gautier Izacard, Meta AI Si Xavier Martinet, ang meta AI Si Marie-Anne Lachaux ay isang Si Timothee Lacroix ay isang Baptiste Rozière, sa pamamagitan ng Meta AI ang napili ng mga taga-hanga: Meta AI Si Eric Hambro, ang kanyang Si Faisal Azhar ay isang Si Aurelien Rodriguez, ang kanyang Armand Joulin Edouard Grave, Meta AI ang napili ng mga taga-hanga: Meta AI Authors: Mga pahinang tumuturo sa Meta AI Si Thibaut Lavril ay isang Sa pamamagitan ng Gautier Izacard, Meta AI Si Xavier Martinet, ang meta AI Si Marie-Anne Lachaux ay isang Si Timothee Lacroix ay isang Baptiste Rozière, sa pamamagitan ng Meta AI ang napili ng mga taga-hanga: Meta AI Si Eric Hambro, ang kanyang Si Faisal Azhar ay isang Si Aurelien Rodriguez, ang kanyang Si Armand Joulin Edouard Grave ay isang manlalaro ang napili ng mga taga-hanga: Meta AI abstrak ang Ipinapakita namin ang LLaMA, isang koleksyon ng mga modelo ng pangunahing wika mula sa 7B hanggang sa 65B parameters. Nagtraining ang aming mga modelo sa trilyon ng tokens, at nagpapakita na posible na magtraining state-of-the-art na mga modelo sa paggamit ng publicly available datasets eksklusibong, nang walang pag-aalok sa mga proprietary at inaccessible datasets. Halimbawa, ang LLaMA-13B ay mas mataas sa GPT-3 (175B) sa karamihan ng mga benchmarks, at ang LLaMA65B ay competitive sa mga pinakamahusay na mga modelo, Chinchilla-70B at PaLM-540B. I-release ang lahat ng aming mga modelo sa pananaliksik na komunidad1. 1 Mga Introduction Big tokuages Languages Models (LLMs) na nagtrabaho sa isang massive corpora ng mga teksto ay nagpakita ang kanilang kakayahan na magsagawa ng mga bagong mga gawain mula sa mga instruksyon ng teksto o mula sa ilang mga halimbawa (Brown et al., 2020). Ang mga ilang-shot na katangian na unang dumating sa pag-scale ng mga modelo sa isang katumbas na laki (Kaplan et al., 2020), na nagpapakita ng isang linya ng trabaho na nagkakahalaga sa mas mahusay na pag-scale ng mga modelo na ito (Chowdhery et al., 2022; Rae et al., 2021). Ang mga gawain na ito ay batay sa assumption na higit pa ng mga parameter ay magdadala sa mas mahusay na pagganap. Gayunpaman, ang karaniwang trabaho mula sa Ang fokus ng trabaho na ito ay magtraining isang serye ng mga modelo ng wika na makakuha ng ang pinakamahusay na posible na pagganap sa iba't-ibang mga budget na inference, sa pamamagitan ng pagtraining sa higit sa mga tokens kaysa sa kung ano ang karaniwang ginagamit. Ang mga resulta na modelo, na tinatawag na LLaMA, ay nagkakataon mula sa 7B hanggang 65B na mga parameter na may competitive pagganap sa pinakamahusay na karaniwang mga LLMs. Halimbawa, ang LLaMA-13B ay mas mataas sa GPT-3 sa karamihan ng mga benchmarks, kahit na 10x mas maliit. Kami ay naniniwala na ang modelo na ito ay makakatulong sa pag-democratize ang access at pag-aaral ng LLMs, dahil ito ay maaaring pumunta sa isang single GPU. Sa mas mataas May ilang mga eksena, kabilang ang OPT (Zhang et al., 2022), GPT-NeoX (Black et al., 2022), BLOOM (Scao et al., 2022) at GLM (Zeng et al., 2022), ngunit walang na maaaring makipag-ugnayan sa PaLM-62B o Chinchilla. Sa likod ng dokumento na ito, inihahanda namin ang isang paksa ng mga pagbabago na ginawa namin sa transformer architecture (Vaswani et al., 2017), pati na rin ang aming pagsasanay na pamamaraan. Pagkatapos ay inilarawan namin ang pagganap ng aming mga modelo at ibahagi sa iba pang mga LLMs sa isang set ng mga standard benchmarks. Sa katapusan, inihayag namin ang ilang mga biases at toksicity na inilagay sa aming mga modelo, gamit ang ilang mga pinakabag 2 ang approach Ang aming pagsasanay ay katulad sa mga pamamaraan na inilarawan sa mga nakaraang trabaho (Brown et al., 2020; Chowdhery et al., 2022), at ay inspirado sa Chinchilla scaling laws (Hoffmann et al., 2022). Nagtraining ang mga malaking transformers sa isang malaking halaga ng text data gamit ang isang standard optimizer. 2.1 Pre-training mga data Ang aming training dataset ay isang mix ng ilang mga source, lalo na sa Table 1, na naglalaman ng isang iba't-ibang set ng mga domain. Para sa karamihan, kami reuse data sources na ginagamit upang bumuo ng iba't-ibang mga LLMs, na may limitasyon sa paggamit lamang ng data na ay magagamit sa publiko, at compatible sa open source. Ito ay nagdadala sa mga sumusunod na mix ng data at ang porsyento na ito ay pinagsasama sa training set: Nag-preprocess kami ng limang CommonCrawl dumps, mula sa 2017 hanggang 2020, sa CCNet pipeline (Wenzek et al., 2020). Ang proseso na ito deduplicates ang data sa level ng linya, gumagana ang pag-identification ng wika gamit ang isang fastText linear classifier upang i-remove non-English mga pahina at i-filter low quality content gamit ang isang ngram language model. Sa karagdagang, nagtatrabaho kami ng isang linear na modelo upang i-classify ang mga pahina na ginagamit bilang mga reference sa Wikipedia v.s. randomly sampled mga pahina, at ang mga nakalipas na pahina ay hindi na-classified bilang mga reference. English CommonCrawl [67%] Sa panahon ng mga eksperimento ng pag-exploratory, natagpuan namin na ang paggamit ng iba't-ibang pre-processed CommonCrawl datasets ay mapabuti ang pagganap. Ito ay naglalaman namin ang publicly available C4 datasets (Raffel et al., 2020) sa aming data. Ang preprocessing ng C4 ay din naglalaman ng deduplication at mga hakbang ng pag-identifikasi ng wika: ang pangunahing pagkakaiba sa CCNet ay ang pag-filtration ng kalidad, na karamihan sa heuristics tulad ng presence ng punctuation marks o ang bilang ng mga salita at sentences sa isang webpage. C4 [15%]. Ginagamit namin ang mga publikong dataset ng GitHub na magagamit sa Google BigQuery. Sinusuportahan namin lamang ang mga proyekto na inilathala sa ilalim ng mga lisensya ng Apache, BSD at MIT. Sa karagdagang, inilathala namin ang mga file ng mababang kalidad na may heuristics batay sa length ng linya o proportion ng alfanumeric character, at inilathala ang boilerplate, tulad ng headers, na may regular na mga ekspresyon. Sa katapusan, i-deduplicate namin ang mga dataset na nakuha sa level ng file, na may eksaktong matches. Github [4.5%]. Ipinapakita namin ang mga dumps ng Wikipedia mula sa panahon ng Hunyo-August 2022, na naglalaman ng 20 mga wika, na gumagamit ng ang Latin o Cyrillic scripts: bg, ca, cs, da, de, en, es, fr, hr, hu, it, nl, pl, pt, ro, ru, sl, sr, sv, uk. Nagtatrabaho namin ang data upang i-remove ang mga hyperlinks, mga komento at iba pang formatting boilerplate. Wikipedia [4.5%]. Kami ay naglalaman ng dalawang libro corpora sa aming training dataset: ang Gutenberg Project, na naglalaman ng mga aklat na ay sa public domain, at ang Books3 section ng ThePile (Gao et al., 2020), isang publikong magagamit na dataset para sa pagsasanay ng malaking mga modelo ng wika. Gutenberg and Books3 [4.5%] Pagkatapos ng Lewkowycz et al. (2022), natagpuan namin ang lahat bago ang unang seksyon, pati na rin ang bibliography. Kami din natagpuan ang mga komento mula sa mga .tex file, at inline-expanded definitions at macros written by users to increase consistency across papers. ArXiv [2.5%]. Naglalaman namin ang isang dumpling ng Stack Exchange, isang website ng mataas na kalidad na mga tanong at solusyon na naglalaman ng isang iba't-ibang set ng mga domain, mula sa computer science hanggang chemistry. Ipinanganak namin ang data mula sa 28 pinakamalaking mga website, ilipat ang mga tag HTML mula sa teksto at na-sort ang mga solusyon sa pamamagitan ng score ( mula sa pinakamataas sa mas mababang). Stack Exchange [2%]. Kami tokenize ang data gamit ang bytepair encoding (BPE) algorithm (Sennrich et al., 2015), gamit ang pag-implementasyon mula sa SentencePiece (Kudo and Richardson, 2018). Karamihan, kami split ang lahat ng mga numero sa mga indibidwal na numero, at pag-back sa bytes upang i-decompose ang hindi kilala UTF-8 character. Tokenizer. Sa kabuuan, ang buong dataset ng aming pagsasanay ay naglalaman ng halos 1.4T tokens pagkatapos ng tokenization. Para sa karamihan ng aming mga data ng pagsasanay, ang bawat token ay ginagamit lamang ng isang beses sa panahon ng pagsasanay, kasama ang mga domain ng Wikipedia at mga Books, sa pagitan ng kung saan kami ay nagtatrabaho ng halos dalawang epoke. 2.2 Mga Arkitektura Pagkatapos ng nakalipas na trabaho sa mga malaking mga modelo ng wika, ang aming network ay batay sa transformer architecture (Vaswani et al., 2017). Nagtatrabaho kami ng iba't ibang mga pag-unlad na ipinapakita, at ginagamit sa iba't ibang mga modelo tulad ng PaLM. Narito ang pangunahing pagkakaiba mula sa orihinal na architecture, at kung saan natagpuan namin ang inspirasyon para sa pagbabago na ito (in bracket): Upang mapabuti ang pag-training stability, kami normalize ang input ng bawat sub-layer ng transformer, sa halip ng normalizing ang output. Pre-normalization [GPT3] Ipinapakita namin ang ReLU non-linearity sa pamamagitan ng SwiGLU activation function, na inilunsad sa Shazeer (2020) upang mapabuti ang pagganap. SwiGLU activation function [PaLM]. I-remove ang absolute positional embeddings, at sa halip, sumali ang rotary positional embeddings (RoPE), na inilunsad ng Su et al. (2021), sa bawat layer ng network. Rotary Embeddings [GPTNeo]. 4.3 Ang optimization Ang aming mga modelo ay na-trained gamit ang AdamW optimizer (Loshchilov at Hutter, 2017), na may mga sumusunod na hyper-parameters: β1 = 0.9, β2 = 0.95. Ginagamit namin ang isang cosine learning rate schedule, kaya ang final learning rate ay katumbas ng 10% ng maximum learning rate. Ginagamit namin ang isang weight degradation ng 0.1 at gradient clipping ng 1.0. Ginagamit namin ang 2 000 warup steps, at mag-variate ang learning rate at batch size sa size ng modelo (tingnan ang Table 2 para sa mga detalye). 2.4 Efektibong pagsusuri Kami ay gumagawa ng ilang mga pag-optimize upang mapabuti ang pag-training speed ng aming mga modelo. Sa unang, ginagamit namin ang isang efficient implementation ng causal multi-head attention upang mabawasan ang paggamit ng memory at runtime. Ang implementation na ito, na magagamit sa xformers library,2 ay inspirado sa Rabe at Staats (2021) at gumagamit ang backward mula sa Dao et al. (2022). Ito ay gawa sa pamamagitan ng hindi maglagay ng mga timbang ng atensyon at hindi pag-calculate ang mga score ng key / query na masked dahil sa causal nature ng mga trabaho ng modeling ng wika. Upang mas mababago ang efficiency ng pag-training, natagpuan namin ang halaga ng mga pag-recount ng mga pag-activations sa panahon ng backward pass na may checkpointing. Higit pa, natagpuan namin ang mga pag-activations na mahal sa pag-calculate, tulad ng mga output ng mga linear layer. Ito ay natagpuan sa pamamagitan ng manually na-implementasyon ng ang backward function para sa mga layer ng transformer, sa halip na tumingin sa PyTorch autograd. Upang makakuha ng lahat ng karamihan mula sa pag-optimize na ito, kailangan natagpuan ang paggamit ng memory ng modelo sa pamamagitan ng paggamit ng model at sequence parallelism, tulad ng inilarawan ng Korthikanti et al. (2022). Sa karagdagang, kami ay naglalaman din ang pagkalkula ng mga pag-activation at ang komunikasyon sa pagitan ng GPU sa pamamagitan ng network (sa pamamagitan ng all_reduction operations) sa karamihan na posible. Sa pag-training ng isang modelo ng 65B-parameter, ang aming code processes tungkol sa 380 tokens/sec/GPU sa 2048 A100 GPU na may 80GB ng RAM. Ito ay nangangahulugan na ang pag-training sa aming dataset na naglalaman ng 1.4T tokens ay nangangailangan ng halos 21 araw. 3 Mga pangunahing resulta Pagkatapos ng mga nakaraang trabaho (Brown et al., 2020), nagtatagumpay ang mga trabaho ng zero-shot at ilang-shot, at inilathala ang mga resulta sa isang kabuuan ng 20 benchmarks: Ang modelo ay nagbibigay ng isang solusyon gamit ang open-end generation, o ayusin ang mga sumusunod na mga solusyon. • Zero-shot. Nagbibigay kami ng ilang mga halimbawa ng gawain (sa pagitan ng 1 at 64) at isang halimbawa ng pagsubok. Ang modelo ay gumagamit ng teksto na ito bilang input at generates ang solusyon o tinatawag ang iba pang mga pagpipilian. • Few-shot. Ipinapakita namin ang LLaMA sa iba pang mga modelo ng pangunahing pangkalahatan, na kung saan ang mga modelo ng wika na hindi magagamit sa publiko ay ang GPT-3 (Brown et al., 2020), Gopher (Rae et al., 2021), Chinchilla (Hoffmann et al., 2022) at PaLM (Chowdhery et al., 2022), pati na rin ang mga modelo ng OPT na open-source (Zhang et al., 2022), GPT-J (Wang at Komatsuzaki, 2021), at GPTNeo (Black et al., 2022). Sa seksyon 4, dinala natin rin ang LLaMA sa mga modelo ng instructions-tuned na tulad ng OPT-IML (Iyer et al., 2022) at Flan-PaLM (Chung et al., 2022). Nag-evaluate ang LLaMA Sa mga multi-selection tasks, ang target ay upang piliin ang pinakamahusay na katumbas na katumbas mula sa isang pakikipagsapalaran ng mga opsyon, batay sa isang ibinigay na konteksto. Kami ay piliin ang katumbas na may pinakamataas na katumbas ayon sa ibinigay na konteksto. Kami ay sumusunod sa Gao et al. (2021) at ginagamit ang katumbas na normalized sa bilang ng mga character sa katumbas, batay sa anumang dataset (OpenBookQA, BoolQ), para sa kung saan kami ay sumusunod sa Brown et al. (2020), at piliin ang isang katumbas ay batay sa katumbas ng katumbas na normalized sa katumbas ng katumbas na ibinigay na “Answer:” bilang konteksto: P(completion 3.1 Ang pag-iisip ng common sense Nag-aalok kami ng 8 standard na benchmarks ng common sense reasoning: BoolQ (Clark et al., 2019), PIQA (Bisk et al., 2020), SIQA (Sap et al., 2019), HellaSwag (Zellers et al., 2019), WinoGrande (Sakaguchi et al., 2021), ARC easy and challenge (Clark et al., 2018) at OpenBookQA (Mihaylov et al., 2018). Ang mga dataset na ito ay binubuo ng mga trabaho ng estilo ng Cloze at Winograd, pati na rin ang pagbabago ng mga question ng multiple choice. Nag-evaluate sa setting ng zero-shot tulad ng ginawa sa komunidad ng modeling ng wika. Sa Tablo 3, nakipag-ugnay namin sa mga kasalukuyang mga modelo ng iba't ibang mga size at ang mga numero ng report mula sa mga katulad na papers. Sa unang, ang LLaMA-65B ay mas mataas sa Chinchilla-70B sa lahat ng inilathala na mga benchmarks ngunit BoolQ. Halimbawa, ang modelo na ito ay mas mataas sa PaLM540B sa lahat ng mga lugar ngunit sa BoolQ at WinoGrande. Ang modelo ng LLaMA-13B ay mas mataas sa GPT-3 sa karamihan ng mga benchmarks kahit na ito ay 10x mas maliit 4.2 Pag-aayos ng mga libro Ipinapakita namin ang LLaMA sa mga kasalukuyang mga modelo ng pangunahing wika sa dalawang mga benchmarks na nag-aalok ng mga tanong ng mga libreng libro: Natural Questions (Kwiatkowski et al., 2019) at TriviaQA (Joshi et al., 2017). Para sa parehong benchmarks, inilarawan namin ang eksaktong pagganap na pagganap sa isang setting ng mga libreng libro, i.e., kung saan ang mga modelo ay hindi may access sa mga dokumento na naglalaman ng mga dokumento upang makipag-usap ang tanong. Sa Tabelong 4, inilarawan namin ang pagganap sa NaturalQuestions, at sa Tabelong 5, inilarawan namin ang TriviaQA. Sa parehong benchmarks, ang LLaMA-65B ay inilarawan ng state-of-the-art 3.3 Mga pahinang tumuturo Nag-evaluate ang aming mga modelo sa RACE reading comprehension benchmark (Lai et al., 2017). Ang dataset na ito ay nakuha mula sa English reading comprehension exams na dinisenyo para sa mga estudyante ng middle at high school Chinese. Kami ay sumusunod sa evaluation setup mula sa Brown et al. (2020) at inilathala ang mga resulta sa Table 6. Sa mga benchmarks na ito, ang LLaMA-65B ay competitive sa PaLM-540B, at, ang LLaMA-13B ay humihingi ng GPT-3 ng ilang porsyento. 4.3 Matematika ng pag-iisip Nag-evaluate ang aming mga modelo sa dalawang mathematician data reasoning benchmarks: MATH (Hendrycks et al., 2021) at GSM8k (Cobbe et al., 2021). MATH ay isang dataset ng 12K high school at high school mathematician na mga problema na itinatag sa LaTeX. GSM8k ay isang set ng mathematician mathematician na mga problema sa high school. Sa Table 7, nag-aalok kami sa PaLM at Minerva (Lewkowycz et al., 2022). Minerva ay isang serye ng mga modelo ng PaLM finetuned sa 38.5B tokens na inilathala mula sa ArXiv at Math Web Pages, habang hindi PaLM o LLaMA ay finetuned sa mathematician data. Sa GSM8k, ang mga numero para sa PaLM at Minerva 5.3 Ang Generation ng Code Nag-evaluate ang kapangyarihan ng aming mga modelo upang i-writing code mula sa isang natural language description sa dalawang benchmarks: HumanEval (Chen et al., 2021) at MBPP (Austin et al., 2021). Para sa parehong mga gawain, ang modelo ay makakuha ng isang paglalarawan ng programa sa ilang mga salita, pati na rin ng ilang mga halimbawa ng input-output. Sa HumanEval, ito ay din makakuha ng isang signature ng function, at ang prompt ay formatado bilang natural code na may text description at mga pagsubok sa isang docstring. Ang modelo ay kinakailangan upang lumikha ng isang Python program na matatagpuan sa paglalarawan at matugunan ang mga kaso ng pagsubok. Sa Tablo 8, lumikha namin ang pass@1 na mga resulta ng aming mga modelo sa mga kasalukuyang mga Tulad ng ipinapakita sa Tablo 8, para sa isang parehong bilang ng mga parameter, ang LLaMA ay mas mahusay kaysa sa iba pang mga modelo ng pangkalahatan tulad ng LaMDA at PaLM, na hindi nagtrabaho o finetuned para sa code. Ang LLaMA na may mga parameter ng 13B at higit pa ay mas mahusay kaysa sa LaMDA 137B sa parehong HumanEval at MBPP. Ang LLaMA 65B ay mas mahusay kaysa sa PaLM 62B, kahit na kung ito ay nagtrabaho sa mas mababang panahon. Ang mga resulta ng pass@1 na inilabas sa tablo na ito ay inihahanda sa pamamagitan ng sampling sa temperatura ng 0.1. Ang pass@100 at pass@80 metric ay inihayag sa temperatura ng 0.8. Ginagamit namin ang parehong paraan bilang Chen et al. (2021) upang mak Halimbawa, ang PaLM-Coder (Chowdhery et al., 2022) ay nagbabago ang pass@1 na score ng PaLM sa HumanEval mula sa 26.2% para sa PaLM sa 36%. Ang iba pang mga modelo na nag-trained para sa code ay gumagana din mas mahusay kaysa sa mga pangkalahatang modelo sa mga gawain na ito (Chen et al., 2021; Nijkamp et al., 2022; Fried et al., 2022). 3.6 Masyadong multitask pag-uugali ng wika Ang massive multitask language understanding benchmark, o MMLU, na inilunsad sa pamamagitan ng Hendrycks et al. (2020) ay binubuo ng multiple choice questions na naglalaman ng iba't-ibang mga domain ng kaalaman, kabilang ang humanities, STEM at social sciences. Nag-evaluate ang aming mga modelo sa 5-shot setting, gamit ang mga halimbawa na ibinigay sa pamamagitan ng benchmark, at report ang mga resulta sa Table 9. Sa benchmark na ito, makikita namin na ang LLaMA-65B ay sa ilalim ng parehong Chinchilla70B at PaLM-540B ng ilang porsyento sa average, at sa buong karamihan ng mga domain. Ang isang potensyal na paglalarawan ay na ginagamit namin ng isang limitadong halaga ng mga libro at mga akademikal na papel sa aming pre-training data 3.7 Evolution ng performance sa panahon ng pagsasanay Sa panahon ng pagsasanay, nag-track ang pagganap ng aming mga modelo sa ilang mga question answering at common sense benchmarks, at i-report ang mga ito sa Figure 2. Sa karamihan ng benchmarks, ang pagganap ay patuloy na mapabuti, at matatagpuan sa pagsasanay perplexity ng modelo (tingnan ang Figure 1). Ang mga exception ay SIQA at WinoGrande. Karamihan sa karamihan, sa SIQA, makikita namin ang maraming mga variance sa pagganap, na maaaring nagpapakita na ang benchmark na ito ay hindi reliable. Sa WinoGrande, ang pagganap ay hindi matatagpuan din sa pagsasanay perplexity: ang LLaMA-33B at LLaMA-65B ay may parehong pagganap sa panahon ng pagsasanay. 4 Mga pahinang tumuturo Sa seksyon na ito, nagpapakita namin na ang briefly finetuning sa mga data ng instruksyon ay mabilis na humantong sa mga pag-uugali sa MMLU. Habang ang non-finetuned bersyon ng LLaMA-65B ay magkakaroon ng basahin ang mga pangunahing instruksyon, makikita natin na ang isang maliit na halaga ng finetuning ay mapabuti ang pagganap sa MMLU, at higit pa ang pag-uugali ng modelo sa pag-uugali ng mga instruksyon. Dahil ito ay hindi ang fokus ng dokumento na ito, kami lamang nagtatrabaho ng isang single eksperimento sa pamamagitan ng parehong protocol na tulad ng Chung et al. (2022) upang i-train ang isang instruktong modelo, LLaMA-I Sa Tablo 10, inilathala namin ang mga resulta ng aming instruktwal na modelo ng LLaMA-I sa MMLU at i-compare sa mga kasalukuyang mga modelo ng finetuning ng instruktwal na may madalas na antas, na ang OPT-IML (Iyer et al., 2022) at ang serye ng Flan-PaLM (Chung et al., 2022). Lahat ng mga numero na inilathala ay mula sa mga katumbas na papel. Sa kabuuan ng simpleng pamamaraan ng finetuning ng instruktwal na ginagamit dito, lumapit namin sa 68.9% sa MMLU. Ang LLaMA-I (65B) ay mas mataas sa MMLU na kasalukuyang mga modelo ng finetuning ng instruktwal na may madalas na antas, ngunit ngayon ay malapit sa state-of-the-art, 5 Bias, Toxicity at misinformation Ang maliliit na mga modelo ng wika ay ipinakita na mag-replicate at i-amplify ang mga bias na nasa mga data ng pag-training (Sheng et al., 2019; Kurita et al., 2019), at upang lumikha ng toksikong o pag-atake na nilalaman (Gehman et al., 2020). Dahil ang aming dataset ng pag-training ay naglalaman ng isang malaking porsyento ng data mula sa Web, tinatanggap namin na ito ay mahalaga upang matukoy ang potensyal para sa aming mga modelo upang lumikha ng materyal na ito. Upang malaman ang mga potensyal na damdamin ng LLaMA-65B, mag-evaluate kami sa iba't ibang mga benchmarks na matukoy sa produksyon ng toksikong nilalaman at pag-detection ng mga stereotype. 5.1 Mga pahinang tumuturo Ang mga modelo ng wika ay maaaring lumikha ng toxic language, halimbawa, insults, hate speech o mga pangangasiwa. Mayroong isang napaka-laro ng toxic content na maaaring lumikha ng isang modelo, na nagbibigay ng isang katunayan na pag-evaluation. Ang ilang kamakailan na trabaho (Zhang et al., 2022; Hoffmann et al., 2022) ay tinanggap na ang RealToxicityPrompts benchmark (Gehman et al., 2020) bilang isang indicator ng kung paano toksic ay ang kanilang modelo. Ang RealToxicityPrompts ay binubuo ng tungkol sa 100k mga prompts na ang modelo ay dapat bumuo; pagkatapos ay ang isang toksicity score ay automatically na-evaluated sa pamamagitan ng paggawa ng isang request sa PerspectiveAPI 3. Hindi namin makakakuha ng kontrol sa pipeline na ginagamit ng third-party PerspectiveAPI, gumawa ng paghahambing sa mga nakaraang mga modelo ay karaniwang. Para sa bawat ng 100k prompts, kami na-generate sa pamamagitan ng aming mga modelo, at matuklasan ang kanilang mga score ng toksicity. Ang score per prompt ay nagkakaiba mula sa 0 (non-toxic) hanggang 1 (toxic). Sa Table 11, nag-report ang aming average na score sa mga pangunahing at katangian na mga kategorya ng prompts ng RealToxicityPrompts. Ang mga score na ito ay "comparable" sa kung ano ang makikita natin sa literature (e.g., 0.087 para sa Chinchilla) ngunit ang mga metodolohiya ay nagkakaiba sa pagitan ng mga trabaho na ito at 5.2 Ang mga CrowS-Pairs Nag-evaluate ang mga bias sa aming modelo sa CrowSPairs (Nangia et al., 2020). Ang dataset na ito ay nagbibigay-daan upang matugunan ang bias sa 9 kategorya: gender, relihiyon, race/color, sexual orientation, edad, nationality, disability, physical appearance at socioeconomic status. Ang bawat halimbawa ay binubuo ng isang stereotype at isang anti-stereotype, kami ay matugunan ang modelo preference para sa stereotypical sentence gamit ang perplexity ng parehong sentence sa isang zero-shot setting. Ang mas mataas na mga score ay nagpapakita ng mas mataas na bias. Kami ay naghahambing sa GPT-3 at OPT-175B sa Taba 12. Ang LLaMA ay nagkakaiba ng isang maliit na favorably sa parehong mga modelo 5.3 Mga pahinang Para sa karagdagang pag-aaral ng mga bias ng aming modelo sa kategorya ng gender, tingnan namin ang WinoGender benchmark (Rudinger et al., 2018), isang dataset ng resolusyon ng co-reference. Ang WinoGender ay ginawa ng Winograd schema, at ang bias ay na-evaluate sa pamamagitan ng pagkuha ng kung ano ang pagganap ng resolusyon ng co-reference ng isang modelo ay nakakaapekto sa gender ng pronoun. Sa karagdagang, ang bawat sentence ay may tatlong mga pag-iisip: isang "occupation", isang "participant", at isang "pronoun" kung saan ang pronoun ay co-referencing ang kasosyo o participant. Nag-iisip namin ang modelo upang matukoy ang relasyon ng co-reference Halimbawa, ang isang sentence sa dataset ng WinoGender ay “Ang nurse ay inilathala sa pasyente na ang kanyang pagbabago ay nagsisimula sa isang oras.”, na nangangahulugan ng “His” ay tinatawag na. Ipinapakita kami pagkatapos ng paghahambing ang perplexity ng mga pag-unlad na ang nurse at ang pasyente upang gawin ang co-reference resolution sa modelo. Kami ay inilathala ang pagganap kapag ginagamit ang 3 pronouns: “han/she/she”, “his/he/he/he” at “their/them/somebody” (ang iba pang mga pagpipilian na katumbas sa grammatical function ng pronoun. Sa Table 13, inilathala namin ang co-reference score para sa tatlong iba pang prono Makikita natin na ang aming modelo ay malaki na mas mahusay sa paggawa ng co-reference resolution para sa mga pronouns na "ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito / ang mga ito. Upang mas mabuti ang hipotesis na ito, tingnan natin ang set ng mga kaso ng "gotcha" para sa mga pronouns ng "han/she/she" at "han/he/he" sa dataset ng WinoGender. Ang mga kaso na ito ay katumbas sa mga sentensya kung saan ang pronoun ay hindi matatagpuan sa mayority gender ng trabaho, at ang occupation ay ang katumbas na solusyon. Sa Table 13, tinatanggap namin na ang aming modelo, LLaMA-65B, ay gumagawa ng higit pa ng mga error sa mga halimbawa ng gotcha, na nagpapakita ng malinaw na ito ay nagkakahalaga ng mga social biases na may kaugnayan sa gender at occupation. Ang pagbabago ng pagganap ay magagamit para sa pronouns ng "han/she/he" at 5.4 Ang katotohanan Ang TruthfulQA (Lin et al., 2021) ay nagtatagumpay upang matuklasan ang katotohanan ng isang modelo, i.e., ang kanyang kakayahan upang i-identify kapag ang isang claim ay katotohanan. Lin et al. (2021) tinanggap ang definisyon ng "sa katotohanan" sa katotohanan ng "literal na katotohanan tungkol sa real na mundo", at hindi ang mga claim na ay katotohanan lamang sa konteksto ng isang sistema o tradisyon. Ang benchmark na ito ay maaaring i-evaluate ang mga risk ng isang modelo upang lumikha ng malinis na impormasyon o mga katotohanan. Ang mga tanong ay inilathala sa iba't ibang gaya, naglalarawan ng 38 mga kategorya at ay dinisenyo upang maging adversarial. Sa Taba 14, inilarawan namin ang pagganap ng aming mga modelo sa parehong mga tanong upang matukoy ang mga modelo ng katotohanan at ang pag-intersection ng katotohanan at informative. Sa pagitan ng GPT-3, ang aming modelo ay mas mataas sa parehong kategorya, ngunit ang rate ng mga katotohanan ay mas mababa, na nagpapakita na ang aming modelo ay may posibilidad na halusin ang mga katotohanan. 6 Ang carbon footprint Ang pagsasanay ng aming mga modelo ay gumagamit ng isang malaking halaga ng enerhiya, na responsable para sa emisyon ng carbon dioxide. Magsimula namin ang pinakabagong literatura sa tema at pag-decompose ang parehong kabuuang paggamit ng enerhiya at ang mga resulta ng carbon footprint sa Tablo 15. Magsimula namin ang isang formula para sa Wu et al. (2022) upang estimate ang Watt-hour, Wh, na kinakailangan para sa pagsasanay ng isang modelo, pati na rin ang mga tonelada ng emissions ng carbon, tCO2eq. Para sa Wh, ginagamit namin ang formula: Wh = GPU-h × (GPU power consumption) × PUE, kung saan i-set ang Power Usage Efficiency (PUE) sa 1.1. Ang mga emisyon ng carbon na natagpuan ay depende sa lokasyon ng data center na ginamit upang i-train ang network. Halimbawa, ang BLOOM ay gumagamit ng isang grid na inilathala ng 0.057 kg CO2eq/KWh na nangangahulugan sa 27 tCO2eq at OPT ng isang grid na inilathala ng 0.231 kg CO2eq/KWh, na nangangahulugan sa 82 tCO2eq. Sa pananaliksik na ito, interesado kami sa paghahambing ang gastos sa carbon emissions ng pagsasanay ng mga modelo na ito kung ang mga ito ay inilathala sa parehong data center. ang tCO2eq = MWh × 0.385. Ginagamit namin ang parehong formula sa OPT at BLOOM para sa fair comparison. Para sa OPT, inihahanda namin ang pagsasanay na kinakailangan ng 34 araw sa 992 A100-80B (tingnan ang kanilang mga logs4 ). Sa katapusan, inihahanda namin na ginagamit namin ang 2048 A100-80GB para sa isang panahon ng halos 5 buwan upang bumuo ng aming mga modelo. Ito ay nangangahulugan na pag-unlad ng mga modelo na ito ay magkakahalaga ng tungkol sa 2,638 MWh sa ilalim ng aming mga sumusunod, at isang kabuuang emisyon ng 1,015 tCO2eq. Kami ay naghintay na ang pag-release ng mga modelo na ito ay makakatulong sa pagbabago ng future carbon emissions dahil ang pagsasanay ay lumabas, at ang ilang mga modelo ay relatively maliit at 7 Mga trabaho Ang mga modelo ng wika ay mga probability distribution sa pamamagitan ng mga sekuensiya ng mga salita, tokens o mga character (Shannon, 1948, 1951). Ang trabaho na ito, karaniwang inihahanda bilang isang susunod na token prediction, ay lang tinatanggap bilang isang pangunahing problema sa natural na pagproseso ng wika (Bahl et al., 1983; Brown et al., 1990). Dahil ang Turing (1950) inihayag upang matukoy ang machine intelligence sa pamamagitan ng paggamit ng wika sa pamamagitan ng "imitation game", ang modeling ng wika ay inihayag bilang isang benchmark upang matukoy ang pag-unlad sa pamamagitan ng artificial intelligence (Mahoney, 1999). Tradisyonal, ang mga modelo ng wika ay batay sa n-gram count statistics (Bahl et al., 1983), at iba't ibang mga teknolohiya ng pag-aalok ay inihayag upang mapabuti ang pag-estimation ng mga karaniwang mga kaganapan (Katz, 1987; Kneser and Ney, 1995). Sa nakaraang dalawang dekada, ang mga networks ng neural ay ganap na ginagamit sa trabaho ng modeling ng wika, mula sa feed forward models (Bengio et al., 2000), recurrent neural networks (Elman, 1990; Mikolov et al., 2010) at LSTMs (Hochreiter and Schmidhuber, 1997; Graves, 2013). Higit pa, ang mga networks ng transformer, batay sa self-attention, ay nangangahulugan sa mga pangunahing Architecture. May isang mahabang kasaysayan ng pag-scaling para sa mga modelo ng wika, para sa parehong modelo at mga size ng dataset. Brants et al. (2007) ay nagpapakita ng mga benepisyo ng paggamit ng mga modelo ng wika na nagtrabaho sa 2 trillion tokens, na nagpapakita ng 300 bilyon n-grams, sa kalidad ng machine translation. Habang ang trabaho na ito ay batay sa isang simpleng teknolohiya ng pag-ease, na tinatawag na Stupid Backoff, Heafield et al. (2013) pagkatapos ay nagpapakita kung paano i-scale ang Kneser-Ney pag-ease sa data sa web-scale. Scaling. Ito ay nagbibigay-daan para sa pagsasanay ng isang modelo ng 5 gram sa 975 bilyon ng tokens mula sa CommonCrawl, na nagpapakita ng isang modelo na may 500 bilyon ng n-grams (Buck et al., 2014). Chelba et al. (2013) inilunsad ang One Billion Word benchmark, isang malaking-scale training dataset upang matugunan ang pag-unlad ng mga modelo ng wika. Sa konteksto ng mga modelo ng neural na wika, si Jozefowicz et al. (2016) ay nakuha ng state-of-the-art mga resulta sa Billion Word benchmark sa pamamagitan ng pag-scale ng LSTMs sa 1 bilyon ng mga parameters. Matapos, ang pag-scale ng mga transformers ay humantong sa pagbutihin sa maraming mga gawain ng NLP. Ang mga pangunahing mga modelo ay ang BERT (Devlin et al., 2018), GPT-2 (Radford et al., 2019), MegatronLM (Shoeybi et al., 2019), at T5 (Raffel et al., 2020). Ang isang pangunahing breakthrough ay nakuha sa GPT-3 (Brown et al., 2020), isang modelo na may 175 bilyon na mga parameter. Ito ay nagdadala sa isang serye ng Large Language Models, tulad ng Jurassic-1 (Lieber et al., 2021), Megatron-Turing NLG (Smith et al., 2022), Gopher (Rae et al., 2021), Chinchilla (Hoffmann et al., 2022), PaLM (Chowdhery et al., 2022), OPT (Zhang et al., 2022), at GLM (Zeng et al., 202 8 Konklusyon Sa artikulong ito, inihahanda namin ang isang serye ng mga modelo ng wika na inilathala ng open, at nag-competitive sa mga modelo ng state-of-the-art foundation. Karamihan sa mga nangungunang, ang LLaMA-13B ay mas mataas sa GPT-3 habang ito ay higit sa 10x mas mababang, at ang LLaMA-65B ay nag-competitive sa Chinchilla-70B at PaLM-540B. Sa parehong mga pananaliksik, nagpakita namin na posible na makakuha ng state-of-the-art na pagganap sa pamamagitan ng pagsasanay eksklusibong sa mga publikong magagamit na data, nang hindi gumagamit ng mga proprietary datasets. Naghintay namin na ang pag-release ng mga modelo na ito sa pananaliksik na komunidad ay magpap ang recognition Salamat kami sa Daniel Haziza, Francisco Massa, Jeremy Reizenstein, Artem Korenev, at Patrick Labatut mula sa team ng xformers. Salamat kami sa Susan Zhang at Stephen Roller para sa kanilang suporta sa data deduplication. Salamat kami sa Luca Wehrstedt, Vegard Mella, at Pierre-Emmanuel Mazaré para sa kanilang suporta sa training stability. Salamat kami Shubho Sengupta, Kalyan Saladi, at lahat ng AI infra team para sa kanilang suporta. Salamat kami sa Jane Yu para sa kanyang input sa evaluation. Salamat kami sa Yongyi Hu para sa kanyang tulong sa data collection. ang reference Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le, at Charles Sutton. Lalit R Bahl, Frederick Jelinek, at Robert L Mercer. 1983. A maximum probability approach to continuous speech recognition. IEEE transactions on pattern analysis and machine intelligence, pahina 179-190. Yoshua Bengio, Réjean Ducharme, at Pascal Vincent. 2000. Ang isang neural probabilistic language model. Advances sa neural information processing systems, 13. Yonatan Bisk, Rowan Zellers, Jianfeng Gao, Yejin Choi, et al. 2020. Piqa: Reasoning tungkol sa physical common sense sa natural na wika. sa Proceedings of AAAI conference on artificial intelligence, pahina 7432–7439. Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, et al. 2022. Gpt-neox-20b: A open-source autoregressive language model. arXiv preprint arXiv:2204.06745. Thorsten Brants, Ashok C. Popat, Peng Xu, Franz J. Och, at Jeffrey Dean. 2007. Large language models in machine translation. In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), mga pahina 858–867, Prague, Czech Republic. Peter F Brown, John Cocke, Stephen A Della Pietra, Vincent J Della Pietra, Frederick Jelinek, John Lafferty, Robert L Mercer, at Paul S Roossin. 1990. Ang isang statistical approach sa machine translation. Computational linguistics, 16(2):79-85. Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, at Dario Amodei. Christian Buck, Kenneth Heafield, at Bas Van Ooyen. 2014. N-gram count at mga modelo ng wika mula sa common crawl. sa LREC, volume 2, pahina 4. Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn, at Tony Robinson. 2013. Ang isang bilyon ng mga salita na benchmark para sa pag-uugali ng progreso sa statistical language modeling. arXiv preprint arXiv:1312.3005. Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, William Hebgen Guss, Michael Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Sutarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nicholino, Alex Paino, Nikolas Tezak, Jie Tanglec Bruschkin, Aakanksha Diawon Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Ghemawat, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sun Devipa, Henryk Michalewski, Xavier Garcia, Vedantra Misra, Kevin Robinson, Liam Fedus, Jason Zhou, Si Hyung Won Chung, Le Hou, S. Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Dasha Valter, Sharan Narang, Gaurav Mishra, Adams Wei Yu, Vincent Zhao, Yanping Huang, Andrew M. Dai, Hongkun Yu, Petrov, Slav, Ed Huai hsin Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc Le, at Jason Wei. Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins, at Kristina Toutanova. 2019. Boolq: I-explore ang mahigpit na pagkakaiba ng natural yes/no questions. arXiv preprint arXiv:1905.10044. Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, at Oyvind Tafjord. 2018. Ikaw ba ay naniniwala sa mga tanong sa pag-uusap? try arc, ang argumentation challenge ng ai2. arXiv preprint arXiv:1803.05457. Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, et al. 2021. Pag-aaral ng mga verifier para sa solusyon ng mga problema sa matematika. arXiv preprint arXiv:2110.14168. Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V Le, at Ruslan Salakhutdinov. 2019. Transformer-xl: Attentive language models beyond a fixed-length context. arXiv preprint arXiv:1901.02860 Tri Dao, Daniel Y Fu, Stefano Ermon, Atri Rudra, at Christopher Ré. 2022. flashattention: mabilis at memory-efficient eksaktong pag-attention na may io-awareness. arXiv preprint arXiv:2205.14135. Jacob Devlin, Ming-Wei Chang, Kenton Lee, at Kristina Toutanova. 2018. Bert: Pre-training ng deep bidirectional transformers para sa pag-unawa ng wika. arXiv preprint arXiv:1810.04805. Jeffrey L Elman. 1990. Maghanap ng Structure sa panahon. Cognitive Science, 14(2):179–211. Daniel Fried, Armen Aghajanyan, Jessy Lin, Sida Wang, Eric Wallace, Freda Shi, Ruiqi Zhong, Wentau Yih, Luke Zettlemoyer, at Mike Lewis. 2022. Incoder: Ang isang generative model para sa code filling at synthesis. arXiv preprint arXiv:2204.05999. Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, at Connor Leahy. Leo Gao, Jonathan Tow, Stella Biderman, Sid Black, Anthony DiPofi, Charles Foster, Laurence Golding, Jeffrey Hsu, Kyle McDonell, Niklas Muennighoff, Jason Phang, Laria Reynolds, Eric Tang, Anish Thite, Ben Wang, Kevin Wang, at Andy Zou. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi, at Noah A Smith. 2020. Realtoxicityprompts: Pag-evaluate ng neurotoxic degeneration sa mga modelo ng wika. arXiv preprint arXiv:2009.11462. Alex Graves. 2013. Paggawa ng mga sequence sa pamamagitan ng recurrent neural networks. arXiv preprint arXiv:1308.0850. Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H Clark, at Philipp Koehn. 2013. Scalable modified kneserney language model estimation. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pahina 690-696. Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, at Jacob Steinhardt. Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, at Jacob Steinhardt. 2021. Matematika ng solusyon ng problema sa matematika ng dataset. arXiv preprint arXiv:2103.03874. Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md Patwary, Mostofa Ali, Yang Yang, at Yanqi Zhou. 2017. Deep learning scaling ay predictable, empirically. arXiv preprint arXiv:1712.00409. Si Sepp Hochreiter at si Jürgen Schmidhuber. 1997. Long-term short-term memory. Neural computing, 9(8):1735–1780. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, at Laurent Sifre. Srinivasan Iyer, Xi Victoria Lin, Ramakanth Pasunuru, Todor Mihaylov, Dániel Simig, Ping Yu, Kurt Shuster, Tianlu Wang, Qing Liu, Punit Singh Koura, et al. 2022. Opt-iml: Scaling language model instruction meta learning sa pamamagitan ng lens ng generalization. arXiv preprint arXiv:2212.12017. Mandar Joshi, Eunsol Choi, Daniel S Weld, at Luke Zettlemoyer. 2017. Triviaqa: A big-scale remote-supervised challenge dataset para sa reading comprehension. arXiv preprint arXiv:1705.03551. Rafal Jozefowicz, Oriol Vinyals, Mike Schuster, Noam Shazeer, at Yonghui Wu. 2016. I-explore ang mga limitasyon ng modeling ng wika. arXiv preprint arXiv:1602.02410. Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, at Dario Amodei. Slava Katz. 1987. Estimate ng mga probabilidad mula sa maliit na data para sa mga bahagi ng modelo ng wika ng isang speech recognizer. IEEE transactions on acoustics, speech, and signal processing, 35(3):400–401. Reinhard Kneser at Hermann Ney. 1995. Improved backing-off para sa m-gram language modeling. Sa 1995 international conference on acoustics, speech, and signal processing, volume 1, mga pahina 181-184. Vijay Korthikanti, Jared Casper, Sangkug Lym, Lawrence McAfee, Michael Andersch, Mohammad Shoeybi, at Bryan Catanzaro. 2022. Reducing activation recomputation sa malaking mga modelo ng transformer. arXiv preprint arXiv:2205.05198. Taku Kudo at John Richardson. 2018. Sentencepiece: Ang isang simpleng at linguistically-independent subword tokenizer at detokenizer para sa neural text processing. arXiv preprint arXiv:1808.06226. Keita Kurita, Nidhi Vyas, Ayush Pareek, Alan W Black, at Yulia Tsvetkov. 2019. Kuantification ng social biases sa contextual word representations. Sa 1st ACL Workshop sa Gender Bias para sa Natural Language Processing. Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, et al. 2019. Ang mga natural na mga tanong: isang benchmark para sa pananaliksik na tumugon sa mga tanong. Transactions ng Association for Computational Linguistics, 7:453–466. Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang, at Eduard Hovy. 2017. Race: Large-scale reading comprehension dataset mula sa mga eksamen. arXiv preprint arXiv:1704.04683. Si Aitor Lewkowycz, Si Anders Johan Andreassen, Si David Dohan, Si Ethan Dyer, Si Henryk Michalewski, Si Vinay Venkatesh Ramasesh, Si Ambrose Slone, Si Cem Anil, Si Imanol Schlag, Si Theo Gutman-Solo, Si Yuhuai Wu, Si Behnam Neyshabur, Si Guy Gur-Ari, at Si Vedant Misra. 2022. Pag-solve ng mga problema ng quantitative reasoning sa pamamagitan ng mga modelo ng wika. Opher Lieber, Or Sharir, Barak Lenz, at Yoav Shoham. 2021. Jurassic-1: Technical details at evaluation. White Paper. AI21 Labs, 1. Stephanie Lin, Jacob Hilton, at Owain Evans. 2021. Truthfulqa: Pagkakaiba kung paano ang mga modelo ay nagmamay-ari ng mga mensahe. arXiv preprint arXiv:2109.07958. Ilya Loshchilov at Frank Hutter. 2017. Disappointed weight decay regularization. arXiv preprint arXiv:1711.05101. Mathew V Mahoney. 1999. Text compression bilang isang test para sa artificial intelligence. AAAI/IAAI, 970. Todor Mihaylov, Peter Clark, Tushar Khot, at Ashish Sabharwal. 2018. Maaari na ang isang panloob ay humahantong sa electricity? isang bagong dataset para sa open book question answering. arXiv preprint arXiv:1809.02789. Tomas Mikolov, Martin Karafiát, Lukas Burget, Jan Cernocky, at Sanjeev Khudanpur. 2010. Recur- ` rental neural network based language model. Sa Interspeech, pahina 1045-1048. Makuhari. Nikita Nangia, Clara Vania, Rasika Bhalerao, at Samuel R. Bowman. 2020. CrowS-pairs: Ang isang challenge dataset para sa pag-uusap ng social biases sa masked language models. sa EMNLP 2020. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese, at Caiming Xiong. 2022. Codegen: Isang open big language model para sa code na may multi-turn program synthesis. arXiv preprint arXiv:2203.13474. Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Gray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, at Ryan Lowe. 2022. Pagsasanay ng mga modelo ng wika upang sumusunod sa mga instruksyon na may mga feedback ng tao. Sa Advances sa Neural Information Processing Systems. Markus N Rabe at Charles Staats. 2021. Selfattention ay hindi kailangang o(n 2 ) memory. arXiv preprint arXiv:2112.05682. Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. 2018. Pagbutihin ang pag-uugali ng wika sa pamamagitan ng generative pre-training. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. 2019. Ang mga modelo ng wika ay mga hindi na-supervised multitask learners. OpenAI blog, 1(8):9. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Erich Elsen, Siddhant Jayakumar, Elena Buchatskaya, Po-Sen Huang, Amelia Glaese, Johannes Welblland, Simonyan, Sumanth Dathathri, Saffron Huang, Chris Blopher, Jonathan Korelia Uesato, John Mellor, Irina Higgins, Antonia Oriwell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant Jayakumar, Elena Buchatskaya, David Budden, Esme Sutherland, Karenyan, Michela Paganini Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, at Peter J Liu. 2020. I-explore ang mga limitasyon ng transfer learning gamit ang isang unified text-to-text transformer. The Journal of Machine Learning Research, 21(1):5485–5551. Jonathan S Rosenfeld, Amir Rosenfeld, Yonatan Belinkov, at Nir Shavit. 2019. Ang isang konstruktadong pag-aari ng error ng generalization sa pagitan ng mga skala. arXiv preprint arXiv:1909.12673. Rachel Rudinger, Jason Naradowsky, Brian Leonard, at Benjamin Van Durme. 2018. Gender bias sa coreference resolution. Sa NAACL-HLT 2018. Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, at Yejin Choi. 2021. Winogrande: Ang isang adversarial na problema sa mga skema ng mga kahulugan sa skala. Communications of the ACM, 64(9):99-106. Maarten Sap, Hannah Rashkin, Derek Chen, Ronan LeBras, at Yejin Choi. 2019. Socialiqa: Commonsense argumentasyon tungkol sa social interactions. arXiv preprint arXiv:1904.09728. Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilic, Daniel Hesslow, Ro-'man Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. 2022. Bloom: A 176bparameter open-access multilingual language model. arXiv preprint arXiv:2211.05100. Rico Sennrich, Barry Haddow, at Alexandra Birch. 2015. Neural machine translation ng mga karaniwang mga salita na may mga subword unit. arXiv preprint arXiv:1508.07909. Claude E Shannon. 1948. isang matematikal na teorya ng komunikasyon. The Bell system technical journal, 27(3):379-423. Claude E Shannon. 1951. prediction at entropy ng printed English. Bell system technical journal, 30(1):50–64. Ipinapakita ang mga patakaran sa pag-aayos ng transformer. arXiv preprint arXiv:2002.05202. Emily Sheng, Kai-Wei Chang, Premkumar Natarajan, at Nanyun Peng. 2019. Ang babae ay nagtatrabaho bilang babysitter: On biases in language generation. arXiv preprint arXiv:1909.01326. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, at Bryan Catanzaro. 2019. Megatron-lm: Pag-training multi-billion parameter language models gamit ang model parallelism. arXiv preprint arXiv:1909.08053. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zhang, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary, at Bryan Catanzaro. Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, at Yunfeng Liu. 2021. Roformer: Enhanced transformer na may rotary position embedding. arXiv preprint arXiv:2104.09864. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, YaGuang Li, Hongrae Lee, Huaixiu Steven Zheng, Amin Ghafouri, Igor Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Maxim Krikun, Dmitry Lepikhin, James Qin, Kathleen Me-Hellstern, Dehao Chen, Yuanzhong Xu, Zhifeng Chen, Adam Roberts, Maarten Bosma, Vincent Zhao, Yanqi Zhou, Chung-Ching Chang, Igor Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Laichee Man, Kathleen Me-Hellstern A. M. Turing. 1950. Computing Machinery at Intelligence. [Oxford University Press, Mind Association]. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, at Illia Polosukhin. 2017. Attention ay lahat ng kailangan mo. In Advances in Neural Information Processing Systems 30, pahina 5998–6008. Ben Wang at Aran Komatsuzaki. 2021. GPT-J6B: A 6 Billion Parameter Autoregressive Language Model. https://github.com/kingoflolz/ mesh-transformer-jax. Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, at Denny Zhou. Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. 2022. Emerging abilities ng malaking mga modelo ng wika. arXiv preprint arXiv:2206.07682. Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, at Edouard Grave. 2020. CCNet: I-extract high quality monolingual datasets mula sa web crawl data. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga, Jinshi Huang, Charles Bai, et al. 2022. Sustainable ai: Environmental Implications, Challenges and Opportunities. Proceedings of Machine Learning and Systems, 4:795-813 Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, at Yejin Choi. 2019. Hellaswag: Maaari ba ang isang makina makamit ang iyong sentence? arXiv preprint arXiv:1905.07830. Aohan Zeng, Xiao Liu, Zhengxiao Du, Zihan Wang, Hanyu Lai, Ming Ding, Zhuoyi Yang, Yifan Xu, Wendi Zheng, Xiao Xia, Weng Lam Tam, Zixuan Ma, Yufei Xue, Jidong Zhai, Wenguang Chen, Peng Zhang, Yuxiao Dong, at Jie Tang. Biao Zhang at Rico Sennrich. 2019. Root average square layer normalization. Advances sa Neural Information Processing Systems, 32. Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. 2022. Opt: Open pre-trained transformer language models. arXiv preprint arXiv:2205.01068. isang question na sinasabi I-evaluate ang LLaMA sa Natural Questions at ang TriviaQA. Para sa Natural Questions, ginagamit namin ang test split na ginagamit para sa mga open-domain question answering na may 3610 mga tanong. Para sa TriviaQA, i-evaluate kami sa dev set ng filtered set. Ito ay tinatawag mula sa GPT-3 at PaLM, na i-evaluate sa test set ng unfiltered set para sa kung saan ang online evaluation server ay hindi mas magagamit5 . I-generate mga solusyon gamit ang ganap na decoding, at i-extract ang isang solusyon mula sa generation sa pamamagitan ng pag-atake sa unang linya break, final dot o comma. Ang mga solusyon na inilathala ay inilathala sa standard na eksaktong match metric: ang B sa MML C Generations mula sa LLaMA-65B Sa seksyon na ito, ipakita namin ang ilang mga halimbawa ng mga generations na nakuha na may LLaMA-65B (hindi pag-finetuning instructions). D Generations mula sa LLaMA-I Ipakita namin ang ilang mga halimbawa ng mga generations na may LLaMA-I, i.e. LLaMA-65B fin-tuned sa protocol at instruction dataset mula sa Chung et al. (2022). Ang artikulong ito ay magagamit sa archiv sa ilalim ng lisensya ng CC by 4.0 Deed (Attribution 4.0 International). Ang papel na ito ay Sa ilalim ng CC by 4.0 Deed (Attribution 4.0 International) lisensya. Available sa archive