Untuk mencapai prestasi state-of-the-art dengan latihan secara eksklusif pada data yang tersedia secara awam

LLaMA: Open and Efficient Foundation Language Models LLaMA: Model Bahasa Asas Terbuka dan Efisien Penulis : Hugo Touvron, Meta AI Thibaut Lavril, Meta AI Gautier Izacard, Meta AI Xavier Martinet dan Meta AI Marie-Anne Lachaux, Meta AI Timothee Lacroix, Meta AI Baptiste Rozière, Meta AI Naman Goyal, Meta AI Eric Hambro, Meta AI Faisal Azhar, Meta AI Aurelien Rodriguez, Meta AI Armand Joulin Edouard Grave, Meta AI Guillaume Lample, Meta AI Authors: Hugo Touvron dan Meta AI Thibaut Lavril sebagai Meta AI Gautier Izacard dan Meta AI Xavier Martinet dan Meta AI Marie-Anne Lachaux sebagai Meta AI oleh Timothee Lacroix, Meta AI Baptiste Rozière, Meta AI Naman Goyal, Meta AI Eric Hambro ialah Meta AI. Faisal Azhar dan Meta AI Aurelien Rodriguez sebagai Meta AI Armand Joulin Edouard Grave sebagai Meta AI Guillaume Lample, Meta AI abstrak Kami memperkenalkan LLaMA, koleksi model bahasa asas yang berkisar dari 7B hingga 65B. Kami melatih model kami pada triliun token, dan menunjukkan bahawa ia adalah mungkin untuk melatih model state-of-the-art menggunakan set data yang tersedia secara eksklusif, tanpa menggunakan set data milik dan tidak boleh diakses. Khususnya, LLaMA-13B melebihi GPT-3 (175B) pada kebanyakan benchmarks, dan LLaMA65B bersaing dengan model terbaik, Chinchilla-70B dan PaLM-540B. 1 Pengenalan Model Tokuages Besar (LLMs) yang dilatih pada corpora besar teks telah menunjukkan keupayaan mereka untuk melaksanakan tugas-tugas baru dari arahan teks atau dari beberapa contoh (Brown et al., 2020). Ciri-ciri yang sedikit pertama muncul apabila meluaskan model ke saiz yang mencukupi (Kaplan et al., 2020), yang menghasilkan garis kerja yang memberi tumpuan kepada meluaskan model-model ini lebih lanjut (Chowdhery et al., 2022; Rae et al., 2021). Upaya-upaya ini juga berdasarkan kepada asumsi bahawa lebih banyak parameter akan membawa kepada prestasi yang lebih baik. Walau bagaimanapun, kerja-kerja baru-baru ini daripada Hoffmann et al. (2022) menunjukkan bahawa, untuk bajet pengiraan yang diberikan, prestasi terbaik tidak dicapai oleh model-model yang lebih besar, tetapi oleh model-model yang lebih kecil yang dilatih pada Fokus kerja ini ialah untuk melatih serangkaian model bahasa yang mencapai prestasi terbaik yang mungkin pada pelbagai anggaran inferensi, dengan melatih pada lebih banyak token daripada yang biasanya digunakan. Model yang dihasilkan, yang dipanggil LLaMA, berkisar dari 7B hingga 65B parameter dengan prestasi kompetitif berbanding dengan LLM terbaik yang sedia ada. Sebagai contoh, LLaMA-13B melebihi GPT-3 pada kebanyakan benchmarks, walaupun 10x lebih kecil. Kami percaya bahawa model ini akan membantu mendemokratiskan akses dan kajian LLM, kerana ia boleh dijalankan pada GPU tunggal. Pada ujung yang lebih tinggi skala, model parameter 65B kami juga bersaing dengan model bahasa besar terbaik seperti Chinchilla atau PaLM-540B. Berbeza dengan Chinchilla, PaLM, atau GPT-3, kami hanya menggunakan data yang tersedia kepada umum, membuat kerja kami serasi Terdapat beberapa pengecualian, terutamanya OPT (Zhang et al., 2022), GPT-NeoX (Black et al., 2022), BLOOM (Scao et al., 2022) dan GLM (Zeng et al., 2022), tetapi tiada yang bersaing dengan PaLM-62B atau Chinchilla. Dalam sisa kertas ini, kami memperkenalkan gambaran keseluruhan perubahan yang kami buat kepada seni bina transformator (Vaswani et al., 2017), serta kaedah latihan kami. Kami kemudian melaporkan prestasi model kami dan membandingkan dengan LLM lain pada satu set benchmark standard. Akhirnya, kami mendedahkan beberapa bias dan toksisiti yang dikodkan dalam model kami, menggunakan beberapa benchmark terbaru dari komuniti AI yang bertanggungjawab. 2 Pendekatan Pendekatan latihan kami adalah serupa dengan kaedah yang diterangkan dalam kerja terdahulu (Brown et al., 2020; Chowdhery et al., 2022), dan diilhamkan oleh undang-undang skala Chinchilla (Hoffmann et al., 2022). 2.1 Data pra-latihan Set data latihan kami adalah campuran beberapa sumber, terutamanya dalam Jadual 1, yang meliputi satu set pelbagai domain. Kebanyakan, kami menggunakan semula sumber data yang telah digunakan untuk melatih LLM lain, dengan batasan hanya menggunakan data yang tersedia secara awam, dan bersesuaian dengan sumber terbuka. Ini membawa kepada campuran berikut data dan peratusan yang mereka mewakili dalam set latihan: Kami praproses lima sampah CommonCrawl, dari 2017 hingga 2020, dengan paip CCNet (Wenzek et al., 2020). Proses ini deduplikasi data di peringkat baris, melaksanakan pengenalan bahasa dengan pemasukan linier FastText untuk menghapuskan halaman non-Inggeris dan menapis kandungan berkualiti rendah dengan model bahasa ngram. Selain itu, kami melatih model linier untuk mengklasifikasikan halaman yang digunakan sebagai rujukan dalam Wikipedia v.s. halaman sampel acak, dan halaman yang dibuang tidak diklasifikasikan sebagai rujukan. English CommonCrawl [67%] Semasa eksperimen eksploratif, kami mengamati bahawa menggunakan pelbagai set data CommonCrawl pra-proses meningkatkan prestasi. Oleh itu, kami memasukkan set data C4 yang tersedia secara awam (Raffel et al., 2020) dalam data kami. Preprocessing C4 juga mengandungi langkah deduplikasi dan pengenalan bahasa: perbezaan utama dengan CCNet adalah penapisan kualiti, yang kebanyakannya bergantung kepada heuristik seperti kehadiran tanda titik atau bilangan perkataan dan ayat dalam halaman web. C4 [15%]. Kami menggunakan dataset GitHub awam yang tersedia di Google BigQuery. Kami hanya menyimpan projek yang didistribusikan di bawah lesen Apache, BSD dan MIT. Selain itu, kami menapis fail berkualiti rendah dengan heuristik berdasarkan panjang baris atau peratusan watak alfanumeric, dan menghapuskan boilerplate, seperti headers, dengan ekspresi biasa. Akhirnya, kami deduplikasi set data yang dihasilkan pada tahap fail, dengan perlawanan yang tepat. Github [4.5%]. Kami menambah sampah Wikipedia daripada tempoh Jun-Agustus 2022, yang meliputi 20 bahasa, yang menggunakan skrip Latin atau Cyrillic: bg, ca, cs, da, de, en, es, fr, hr, hu, it, nl, pl, pt, ro, ru, sl, sr, sv, uk. Kami memproses data untuk menghapuskan pautan, komen dan pemformatan lain boilerplate. Wikipedia [4.5%]. Kami memasukkan dua corpora buku dalam dataset latihan kami: Projek Gutenberg, yang mengandungi buku yang berada dalam domain awam, dan bahagian Books3 daripada ThePile (Gao et al., 2020), set data yang tersedia secara awam untuk melatih model bahasa yang besar. Gutenberg and Books3 [4.5%] Kami memproses fail arXiv Latex untuk menambah data saintifik kepada dataset kami. Selepas Lewkowycz et al. (2022), kami mengalih keluar segala-galanya sebelum seksyen pertama, serta bibliografi. ArXiv [2.5%]. Kami termasuk stok Stack Exchange, sebuah laman web soalan dan jawapan berkualiti tinggi yang meliputi satu set pelbagai domain, dari sains komputer kepada kimia.Kami menyimpan data daripada 28 laman web terbesar, menghapuskan tag HTML daripada teks dan mengatur jawapan mengikut skor (dari tertinggi kepada terendah). Stack Exchange [2%]. Kami tokenize data dengan algoritma koding bytepair (BPE) (Sennrich et al., 2015), menggunakan pelaksanaan dari SentencePiece (Kudo and Richardson, 2018). terutamanya, kami membahagikan semua nombor ke dalam digit individu, dan jatuh balik kepada byte untuk memecahkan watak UTF-8 yang tidak diketahui. Tokenizer. Secara keseluruhan, keseluruhan dataset latihan kami mengandungi kira-kira 1.4T token selepas tokenization.Pada kebanyakan data latihan kami, setiap token hanya digunakan sekali semasa latihan, dengan pengecualian domain Wikipedia dan Buku, di mana kami menjalankan kira-kira dua era. 2.2 Arsitektur Selepas kerja-kerja baru-baru ini pada model bahasa yang besar, rangkaian kami didasarkan pada seni bina transformator (Vaswani et al., 2017). kami memanfaatkan pelbagai penambahbaikan yang diusulkan kemudian, dan digunakan dalam model yang berbeza seperti PaLM. Berikut ialah perbezaan utama dengan seni bina asal, dan di mana kami mendapati inspirasi untuk perubahan ini (dalam bracket): Untuk meningkatkan kestabilan latihan, kami menormalkan input setiap sub-lapisan transformator, bukannya menormalkan output. Pre-normalization [GPT3] Kami menggantikan non-linearity ReLU dengan fungsi pengaktifan SwiGLU, diperkenalkan oleh Shazeer (2020) untuk meningkatkan prestasi. SwiGLU activation function [PaLM]. Kami menghapuskan embeddings kedudukan mutlak, dan sebaliknya, menambah embeddings kedudukan berputar (RoPE), yang diperkenalkan oleh Su et al. (2021), pada setiap lapisan rangkaian. Rotary Embeddings [GPTNeo]. 4.3 Optimisasi Model-model kami dilatih menggunakan pengoptimuman AdamW (Loshchilov dan Hutter, 2017), dengan hiper-parameter berikut: β1 = 0.9, β2 = 0.95. Kami menggunakan jadual kadar pembelajaran kosin, sehingga kadar pembelajaran akhir adalah sama dengan 10% daripada kadar pembelajaran maksimum.Kami menggunakan penurunan berat badan 0.1 dan pemotongan gradient 1.0.Kami menggunakan langkah pemanasan 2, 000, dan berbeza kadar pembelajaran dan saiz batch dengan saiz model (lihat Jadual 2 untuk butiran). 2.4 Implementasi yang berkesan Kami membuat beberapa optimisasi untuk meningkatkan kelajuan latihan model kami. Pertama, kami menggunakan pelaksanaan yang cekap perhatian kausal multi-kepala untuk mengurangkan penggunaan memori dan runtime. Implementasi ini, boleh didapati dalam perpustakaan xformers,2 diilhamkan oleh Rabe dan Staats (2021) dan menggunakan latar belakang dari Dao et al. (2022). Ini dicapai dengan tidak menyimpan berat perhatian dan tidak mengira skor kunci / pertanyaan yang disamarkan kerana sifat kausal tugas pemodelan bahasa. Untuk meningkatkan lebih lanjut kecekapan latihan, kami mengurangkan jumlah pengaktifan yang dikira semula semasa lulus balik dengan checkpointing. Lebih tepatnya, kami menyimpan pengaktifan yang mahal untuk dikira, seperti output lapisan linier. Ini dicapai dengan menggunakan fungsi balik untuk lapisan transformator secara manual, bukannya bergantung kepada autograd PyTorch. Untuk mendapat manfaat penuh daripada pengoptimuman ini, kita perlu mengurangkan penggunaan memori model dengan menggunakan model dan paralelisme siri, seperti yang diterangkan oleh Korthikanti et al. (2022). Selain itu, kami juga meliputi pengiraan pengaktifan dan komunikasi antara GPU melalui rangkaian (karena operasi all_reduce) sebanyak mungkin. Apabila melatih model parameter 65B, kod kami memproses kira-kira 380 token/sec/GPU pada 2048 A100 GPU dengan 80GB RAM. Ini bermakna bahawa latihan atas set data kami yang mengandungi token 1.4T mengambil masa kira-kira 21 hari. 3 Hasil utama Selepas kerja terdahulu (Brown et al., 2020), kami mempertimbangkan tugas-tugas nol-shot dan beberapa-shot, dan melaporkan hasil pada jumlah 20 benchmark: Kami menyediakan deskripsi teks tugas dan contoh ujian. model ini sama ada menyediakan jawapan menggunakan pengeluaran akhir terbuka, atau mengurutkan jawapan yang dicadangkan. • Zero-shot. Kami menyediakan beberapa contoh tugas (antara 1 dan 64) dan contoh ujian. model ini mengambil teks ini sebagai input dan menjana jawapan atau merangkumi pilihan yang berbeza. • Few-shot. Kami membandingkan LLaMA dengan model asas lain, iaitu model bahasa yang tidak tersedia secara awam GPT-3 (Brown et al., 2020), Gopher (Rae et al., 2021), Chinchilla (Hoffmann et al., 2022) dan PaLM (Chowdhery et al., 2022), serta model OPT open-source (Zhang et al., 2022), GPT-J (Wang dan Komatsuzaki, 2021), dan GPTNeo (Black et al., 2022). Dalam Bahagian 4, kami juga membandingkan LLaMA dengan model yang disesuaikan dengan arahan seperti OPT-IML (Iyer et al., 2022) dan Flan-PaLM (Chung et al., 2022). Kami menilai LLaMA pada tugas-tugas pengeluaran bebas dan tugas pilihan berbilang. Dalam tugas pilihan berbilang, matlamatnya adalah untuk memilih penyelesaian yang paling sesuai daripada set opsyen yang diberikan, berdasarkan konteks yang diberikan. Kami memilih penyelesaian dengan kebarangkalian tertinggi berdasarkan konteks yang diberikan. Kami mengikuti Gao et al. (2021) dan menggunakan kebarangkalian yang diatur oleh bilangan watak dalam penyelesaian, kecuali untuk set data tertentu (OpenBookQA, BoolQ), yang kami ikuti Brown et al. (2020), dan memilih penyelesaian berdasarkan kebarangkalian yang diatur oleh kebarangkalian penyelesaian yang diberikan "Pertanyaan:" sebagai konteks: P(completion fagcontext)/P(completion fag "Awerns:"). 3.1 Pengertian Kesihatan Kami mempertimbangkan lapan kriteria penilaian akal sehat standard: BoolQ (Clark et al., 2019), PIQA (Bisk et al., 2020), SIQA (Sap et al., 2019), HellaSwag (Zellers et al., 2019), WinoGrande (Sakaguchi et al., 2021), ARC mudah dan cabaran (Clark et al., 2018) dan OpenBookQA (Mihaylov et al., 2018). Set data ini termasuk tugas gaya Cloze dan Winograd, serta jawapan soalan pilihan berbilang. Kami menilai dalam tetapan nol-shot seperti yang dilakukan dalam komuniti pemodelan bahasa. Dalam Jadual 3, kami membandingkan dengan model yang sedia ada dengan saiz yang berbeza dan nombor laporan daripada kertas yang sesuai. Pertama, LLaMA-65B melebihi Chinchilla-70B pada semua benchmarks yang dilaporkan tetapi BoolQ. Demikian juga, model ini melebihi PaLM540B di mana-mana sahaja kecuali pada BoolQ dan WinoGrande. model LLaMA-13B juga melebihi GPT-3 pada kebanyakan benchmarks walaupun ia 10x lebih kecil 3.2 Jawapan kepada soalan-soalan buku Kami membandingkan LLaMA dengan model bahasa besar yang sedia ada pada dua benchmark yang menjawab soalan buku tertutup: Soalan Semulajadi (Kwiatkowski et al., 2019) dan TriviaQA (Joshi et al., 2017). Untuk kedua-dua benchmark, kami melaporkan prestasi perlawanan yang tepat dalam tetapan buku tertutup, iaitu di mana model tidak mempunyai akses kepada dokumen yang mengandungi bukti untuk menjawab soalan tersebut. Dalam Jadual 4, kami melaporkan prestasi pada NaturalQuestions, dan dalam Jadual 5, kami melaporkan pada TriviaQA. Pada kedua-dua benchmark, LLaMA-65B melaporkan prestasi state-of-the-art dalam tetapan nol-shot dan beberapa-shot. Lebih penting, LLaMAB-13B juga bersaing pada benchmarks ini dengan GPT-3 dan Chinchilla, walaupun 3.3 Pembahasan membaca Kami menilai model kami pada benchmark pemahaman bacaan RACE (Lai et al., 2017). Dataset ini dikumpulkan daripada peperiksaan pemahaman bacaan Bahasa Inggeris yang direka untuk pelajar sekolah menengah dan sekolah menengah Cina. Kami mengikuti setup penilaian daripada Brown et al. (2020) dan melaporkan hasil dalam Jadual 6. Pada benchmarks ini, LLaMA-65B bersaing dengan PaLM-540B, dan, LLaMA-13B melebihi GPT-3 beberapa peratus. 4.3 Pertimbangan matematik Kami mengevaluasi model kami pada dua benchmark pertimbangan data matematik: MATH (Hendrycks et al., 2021) dan GSM8k (Cobbe et al., 2021). MATH adalah set data masalah matematik sekolah menengah dan sekolah menengah 12K yang ditulis dalam LaTeX. GSM8k adalah satu set masalah matematik sekolah menengah. Dalam Jadual 7, kami membandingkan dengan PaLM dan Minerva (Lewkowycz et al., 2022). Minerva adalah siri model PaLM yang disesuaikan dengan token 38.5B yang dikeluarkan daripada ArXiv dan Laman Web Matematik, manakala tidak PaLM atau LLaMA disesuaikan dengan data matematik. Pada GSM8, nombor-nombor untuk PaLM dan Minerva diambil daripada Lewkowycz et al. (2022), dan kita membandingkan dengan dan tanpa maj1@k. maj1@k 3.5 Generasi kod Kami menilai keupayaan model kami untuk menulis kod daripada penerangan bahasa semulajadi pada dua benchmark: HumanEval (Chen et al., 2021) dan MBPP (Austin et al., 2021). Untuk kedua-dua tugas, model ini menerima penerangan program dalam beberapa ayat, serta beberapa contoh input-output. Dalam HumanEval, ia juga menerima tanda tangan fungsi, dan prompt itu diformat sebagai kod semulajadi dengan penerangan teks dan ujian dalam docstring. Model ini perlu menghasilkan program Python yang sesuai dengan penerangan dan memenuhi kes ujian. Dalam Jadual 8, kami membandingkan skor pass@1 model kami dengan model bahasa sedia ada yang belum disesuaikan dengan kod, iaitu PaLM dan LaMDA (Thoppilan et al., 2022). PaLM dan LMA dilatih pada set data yang mengandungi bilangan token kod yang serupa. Seperti yang ditunjukkan dalam Jadual 8, untuk bilangan parameter yang serupa, LLaMA melebihi model umum lain seperti LaMDA dan PaLM, yang tidak dilatih atau disesuaikan secara khusus untuk kod. LLaMA dengan parameter 13B dan lebih melebihi LaMDA 137B pada kedua-dua HumanEval dan MBPP. LLaMA 65B juga melebihi PaLM 62B, walaupun apabila dilatih lebih lama. Hasil pass@1 yang dilaporkan dalam jadual ini diperolehi dengan sampel dengan suhu 0.1. Metrik pass@100 dan pass@80 diperolehi dengan suhu 0.8. Kami menggunakan kaedah yang sama seperti Chen et al. (2021) untuk mendapatkan perkiraan yang tidak bersepadu dari pass@k. Contohnya, PaLM-Coder (Chowdhery et al., 2022) meningkatkan skor pass@1 PaLM pada HumanEval daripada 26.2% untuk PaLM kepada 36%. Model lain yang dilatih secara khusus untuk kod juga melakukan lebih baik daripada model umum pada tugas-tugas ini (Chen et al., 2021; Nijkamp et al., 2022; Fried et al., 2022). 3.6 Pemahaman bahasa multitask Benchmark pemahaman bahasa multitask yang besar, atau MMLU, yang diperkenalkan oleh Hendrycks et al. (2020) terdiri daripada soalan pilihan yang pelbagai yang meliputi pelbagai bidang pengetahuan, termasuk humaniora, STEM dan sains sosial. Kami menilai model kami dalam tetapan 5-shot, menggunakan contoh yang disediakan oleh benchmark, dan melaporkan hasil dalam Jadual 9. Pada benchmark ini, kami mengamati bahawa LLaMA-65B berada di belakang Chinchilla70B dan PaLM-540B dengan beberapa peratus rata-rata, dan di seluruh kebanyakan domain. Satu penjelasan yang berpotensi adalah bahawa kami telah menggunakan jumlah terhad buku dan kertas akademik dalam data pra-latihan kami, iaitu, ArXiv, Gutenberg dan Books3, yang jumlahnya hanya 177GB, manakala model ini dilatih pada sehingga 2TB buku. Jumlah besar buku yang digunakan oleh Gopher, 3.7 Perkembangan prestasi semasa latihan Semasa latihan, kami mengesan prestasi model kami pada beberapa rujukan menjawab soalan dan akal sehat, dan melaporkan mereka dalam Gambar 2. Pada kebanyakan rujukan, prestasi meningkat secara berterusan, dan berkorelasi dengan kebingungan latihan model (lihat Gambar 1). Pengecualian adalah SIQA dan WinoGrande. Paling penting, pada SIQA, kami mengamati banyak perbezaan prestasi, yang boleh menunjukkan bahawa rujukan ini tidak boleh dipercayai. Pada WinoGrande, prestasi tidak berkorelasi juga dengan kebingungan latihan: LLaMA-33B dan LLaMA-65B mempunyai prestasi yang serupa semasa latihan. 4 Instruksi Finetuning Dalam seksyen ini, kami menunjukkan bahawa penyempurnaan singkat pada data arahan dengan cepat membawa kepada peningkatan pada MMLU. Walaupun versi LLaMA-65B yang tidak disempurnakan sudah boleh mengikuti arahan asas, kami memperhatikan bahawa jumlah yang sangat kecil penyempurnaan meningkatkan prestasi pada MMLU, dan meningkatkan lebih lanjut keupayaan model untuk mengikuti arahan. Oleh kerana ini bukan tumpuan kertas ini, kami hanya menjalankan satu eksperimen mengikut protokol yang sama seperti Chung et al. (2022) untuk melatih model instruksi, LLaMA-I Dalam Jadual 10, kami melaporkan hasil model instruksi kami LLaMA-I pada MMLU dan membandingkan dengan model finetuning instruksi yang sedia ada saiz sedang, iaitu, OPT-IML (Iyer et al., 2022) dan siri Flan-PaLM (Chung et al., 2022). Semua nombor yang dilaporkan berasal daripada kertas yang sesuai. Walaupun kesederhanaan pendekatan finetuning instruksi yang digunakan di sini, kami mencapai 68.9% pada MMLU. LLaMA-I (65B) melebihi pada MMLU model finetuned instruksi sedia ada saiz sedang, tetapi masih jauh daripada state-of-the-art, iaitu 77.4 untuk GPT code-davinci-002 pada MMLU (nombor yang diambil daripada Iyer et al. (2022)). Rincian prestasi pada MMLU pada 57 tugas boleh didapati dalam Jadual 16 5 Bias, toksisiti dan kesilapan maklumat Model bahasa besar telah ditunjukkan untuk mereproduksi dan memperkuat bias yang wujud dalam data latihan (Sheng et al., 2019; Kurita et al., 2019), dan untuk menghasilkan kandungan toksik atau menyinggung (Gehman et al., 2020). Oleh kerana set data latihan kami mengandungi sebahagian besar data dari Web, kami percaya bahawa ia adalah penting untuk menentukan potensi model kami untuk menghasilkan kandungan tersebut. Untuk memahami bahaya potensial LLaMA-65B, kami menilai pada benchmarks yang berbeza yang mengukur pengeluaran kandungan toksik dan pengesanan stereotip. Walaupun kami telah memilih beberapa benchmarks standard yang digunakan oleh komuniti model bahasa untuk menunjukkan beberapa masalah dengan model ini, penilaian ini tidak mencukupi untuk sepenuhnya memahami risiko yang berkaitan dengan model ini. 5.1 Kegunaan RealToxic Model bahasa boleh menghasilkan bahasa toksik, contohnya, penghinaan, ucapan kebencian atau ancaman. Terdapat pelbagai kandungan toksik yang sangat besar yang boleh dihasilkan oleh model, menjadikan penilaian menyeluruh mencabar. Beberapa kerja baru-baru ini (Zhang et al., 2022; Hoffmann et al., 2022) telah mempertimbangkan benchmark RealToxicityPrompts (Gehman et al., 2020) sebagai indikator seberapa toksik model mereka. RealToxicityPrompts terdiri daripada kira-kira 100k prompts yang model mesti melengkapkan; maka skor toksisiti secara automatik dinilai dengan membuat permintaan kepada PerspectiveAPI 3. Kami tidak mempunyai kawalan atas paip yang digunakan oleh PerspektifAPI pihak ketiga, membuat perbandingan dengan model terdahulu sukar. Untuk setiap 100k prompts, kami dengan cemburu menghasilkan dengan model kami, dan mengukur skor toksisiti mereka. Skor per prompt berkisar dari 0 (non-toksik) kepada 1 (toksik). Dalam Jadual 11, kami melaporkan skor purata kami pada kategori prompt asas dan hormat RealToxicityPrompts. Skor ini "berbanding" dengan apa yang kita lihat dalam literatur (contohnya, 0.087 untuk Chinchilla) tetapi kaedah berbeza antara kerja ini dan kita (dalam hal strategi sampel, bilangan prompts masa dan API). Kami mengamati bahawa toksisiti meningkat dengan saiz model, terutamanya untuk Prompts yang hormat. Ini juga diamati dalam kerja terdahulu (Z 5.2 Pasangan Melayu Kami mengevaluasi bias dalam model kami pada CrowSPairs (Nangia et al., 2020). Dataset ini membolehkan kita mengukur bias dalam 9 kategori: jantina, agama, bangsa/warna, orientasi seksual, umur, kebangsaan, kecacatan, penampilan fizikal dan status sosial ekonomi. Setiap contoh terdiri daripada stereotip dan anti-stereotip, kami mengukur keutamaan model untuk ayat stereotip menggunakan kebingungan kedua-dua ayat dalam tetapan nol. Skor yang lebih tinggi dengan itu menunjukkan bias yang lebih tinggi. Kami membandingkan dengan GPT-3 dan OPT-175B dalam Jadual 12. LLaMA membandingkan sedikit positif dengan kedua-dua model pada purata. Model kami agak bias dalam kategori agama (+10% berbanding OPT-175B), diikuti oleh umur dan jantina. Kami mengharapkan bias ini datang dari CommonC 5.3 Penghantaran Untuk mengkaji lebih lanjut bias model kami pada kategori jantina, kita melihat benchmark WinoGender (Rudinger et al., 2018), satu set data penyelesaian ko-referensi. WinoGender diperbuat daripada skim Winograd, dan bias dinilai dengan menentukan sama ada prestasi penyelesaian ko-referensi model dipengaruhi oleh jantina pronoun. Lebih tepatnya, setiap ayat mempunyai tiga peringatan: "penglibatan", "pihak berpartisipasi", dan "pronoun" di mana pronoun adalah ko-referensi kepada sama ada pekerjaan atau peserta. Kami memanggil model untuk menentukan hubungan ko-referensi dan mengukur sama ada ia melakukannya dengan betul mengikut konteks perkataan. Matlamatnya ialah untuk mendedahkan sama ada bias sosial yang berkaitan dengan pekerjaan telah ditangkap oleh model. contohnya, satu ayat dalam set data WinoGender ialah “Perawat memaklumkan pesakit bahawa peralihan beliau akan berakhir dalam satu jam.”, yang diikuti oleh ‘Ia’ merujuk kepada.Selepas itu, kami membandingkan kebingungan penyelenggaraan jururawat dan pesakit untuk melakukan penyelesaian ko-referensi dengan model.Kami menilai prestasi apabila menggunakan 3 pronoun: “dia/dia/dia”, “dia/dia/dia” dan “dia/dia/siapa” (pilihan yang berbeza yang sesuai dengan fungsi gramatikal pronoun. Kami mengamati bahawa model kami adalah lebih baik dalam melaksanakan penyelesaian ko-referensi untuk pronoun "mereka / mereka / seseorang" daripada untuk pronoun "dia / dia" dan "dia / dia / dia". Pengamatan yang sama telah dibuat dalam kerja terdahulu (Rae et al., 2021; Hoffmann et al., 2022), dan mungkin menunjukkan bias jantina. Untuk mengkaji lebih lanjut hipotesis ini, kita melihat set kes "gotcha" untuk pronoun "dia / dia" dan "dia / dia" dalam set data WinoGender. Kes-kes ini sesuai dengan ayat di mana pronoun tidak sesuai dengan jantina majoriti pekerjaan, dan pekerjaan adalah jawapan yang betul. Dalam Jadual 13, kita melihat bahawa model kami, LLaMA-65B, membuat lebih banyak kesilapan pada contoh gotcha, dengan jelas menunjukkan bahawa ia menangkap bias masyarakat yang berkaitan dengan jantina dan pekerjaan. Penurunan prestasi wujud untuk pronoun "dia / dia" dan "dia / dia", yang menunjukkan bias tanpa mengira jantina. 5.4 Kebenaran TruthfulQA (Lin et al., 2021) bertujuan untuk mengukur kewujudan model, iaitu keupayaan untuk mengenal pasti apabila suatu klaim adalah benar. Lin et al. (2021) mempertimbangkan definisi "benar" dalam arti "kebenaran literal mengenai dunia sebenar", dan bukan klaim yang hanya benar dalam konteks sistem kepercayaan atau tradisi. Benchmark ini boleh menilai risiko model untuk menghasilkan maklumat yang salah atau klaim palsu. Soalan-soalan ditulis dalam gaya yang berlainan, merangkumi 38 kategori dan direka untuk bertentangan. Dalam Jadual 14, kami melaporkan prestasi model kami pada kedua-dua soalan untuk mengukur model yang benar dan persimpangan yang benar dan informatif. berbanding dengan GPT-3, model kami mencecah skor yang lebih tinggi dalam kedua-dua kategori, tetapi kadar jawapan yang betul masih rendah, menunjukkan bahawa model kami mungkin menghalusinasi jawapan yang salah 6 Tindakan karbon Latihan model kami telah mengkonsumsi sejumlah besar tenaga, bertanggungjawab untuk pelepasan karbon dioksida.Kami mengikuti literatur baru-baru ini mengenai subjek dan memecah kedua-dua penggunaan tenaga keseluruhan dan jejak karbon yang dihasilkan dalam Jadual 15.Kami mengikuti formula untuk Wu et al. (2022) untuk menganggarkan Watt-jam, Wh, diperlukan untuk melatih model, serta ton pelepasan karbon, tCO2eq. Wh = GPU-h × (konsumsi kuasa GPU) × PUE, di mana kami menetapkan Keselesaan Penggunaan Tenaga (PUE) kepada 1.1. Emisi karbon yang dihasilkan bergantung kepada lokasi pusat data yang digunakan untuk melatih rangkaian. contohnya, BLOOM menggunakan rangkaian yang mengeluarkan 0.057 kg CO2eq/KWh yang membawa kepada 27 tCO2eq dan OPT rangkaian yang mengeluarkan 0.231 kg CO2eq/KWh, membawa kepada 82 tCO2eq. Dalam kajian ini, kami berminat untuk membandingkan kos dalam emisi karbon latihan model-model ini jika mereka dilatih di pusat data yang sama. tCO2eq = MWh × 0.385 Kami menggunakan formula yang sama untuk OPT dan BLOOM untuk perbandingan yang adil. Untuk OPT, kami menganggap latihan yang diperlukan selama 34 hari pada 992 A100-80B (lihat log mereka4 ). Akhirnya, kami menganggarkan bahawa kami menggunakan 2048 A100-80GB selama tempoh kira-kira 5 bulan untuk membangunkan model kami. Ini bermakna bahawa membangunkan model ini akan kos kira-kira 2,638 MWh di bawah asumsi kami, dan emisi keseluruhan 1,015 tCO2eq. Kami berharap bahawa pelepasan model ini akan membantu mengurangkan emisi karbon masa depan kerana latihan telah selesai, dan beberapa model agak kecil dan boleh dijalankan pada GPU tunggal. 7 Kerja berkaitan Model bahasa adalah pengedaran kebarangkalian di atas urutan kata, token atau watak (Shannon, 1948, 1951). Tugas ini, sering dibahagikan sebagai prediksi token seterusnya, telah lama dianggap sebagai masalah teras dalam pemprosesan bahasa semulajadi (Bahl et al., 1983; Brown et al., 1990). Oleh kerana Turing (1950) mencadangkan untuk mengukur kecerdasan mesin dengan menggunakan bahasa melalui "permainan imitasi", pemodelan bahasa telah dicadangkan sebagai benchmark untuk mengukur kemajuan ke arah kecerdasan buatan (Mahoney, 1999). Secara tradisional, model bahasa didasarkan pada statistik bilangan n-gram (Bahl et al., 1983), dan pelbagai teknik penyejukan telah dicadangkan untuk meningkatkan perkiraan peristiwa langka (Katz, 1987; Kneser dan Ney, 1995). Dalam dua dekad yang lalu, rangkaian saraf telah berjaya digunakan untuk tugas pemodelan bahasa, bermula daripada model ke hadapan (Bengio et al., 2000), rangkaian saraf berulang (Elman, 1990; Mikolov et al., 2010) dan LSTMs (Hochreiter dan Schmidhuber, 1997; Graves, 2013). Lebih baru-baru ini, rangkaian transformator, berdasarkan perhatian diri, telah membawa kepada peningkatan penting, terutamanya untuk menangkap ketergantungan jangka panjang (Vaswani et al., 2017; Radford et al., 2018; Dai et al., 2019). Architecture. Brants et al. (2007) menunjukkan faedah menggunakan model bahasa yang dilatih pada 2 triliun token, yang menghasilkan 300 bilion n-gram, pada kualiti terjemahan mesin. Walaupun kerja ini bergantung kepada teknik pengecasan yang mudah, yang dipanggil Stupid Backoff, Heafield et al. (2013) kemudian menunjukkan bagaimana untuk mengecas pengecasan Kneser-Ney kepada data skala Web. Scaling. Ini membolehkan untuk melatih model 5 gram pada 975 bilion token dari CommonCrawl, menghasilkan model dengan 500 bilion n-gram (Buck et al., 2014). Chelba et al. (2013) memperkenalkan benchmark One Billion Word, satu set data latihan skala besar untuk mengukur kemajuan model bahasa. Dalam konteks model bahasa saraf, Jozefowicz et al. (2016) memperoleh hasil state-of-the-art pada benchmark Bilion Word dengan meluaskan LSTMs kepada 1 bilion parameter. Model yang menonjol termasuk BERT (Devlin et al., 2018), GPT-2 (Radford et al., 2019), MegatronLM (Shoeybi et al., 2019), dan T5 (Raffel et al., 2020). Kejayaan yang signifikan telah dicapai dengan GPT-3 (Brown et al., 2020), model dengan 175 bilion parameter. Ini membawa kepada siri Model Bahasa Besar, seperti Jurassic-1 (Lieber et al., 2021), Megatron-Turing NLG (Smith et al., 2022), Gopher (Rae et al., 2021), Chinchilla (Hoffmann et al., 2022), PaLM (Chowdhery et al., 2022), OPT (Zhang et al., 2022), dan GLM (Zeng et al., 2022). Hestness et al. (2017) dan Rosenfeld et al. (2019) mengka 8 Kesimpulan Dalam makalah ini, kami memperkenalkan serangkaian model bahasa yang dikeluarkan secara terbuka, dan bersaing dengan model asas terkini. Paling penting, LLaMA-13B melebihi GPT-3 walaupun lebih daripada 10x lebih kecil, dan LLaMA-65B bersaing dengan Chinchilla-70B dan PaLM-540B. Tidak seperti kajian terdahulu, kami menunjukkan bahawa ia adalah mungkin untuk mencapai prestasi terkini dengan melatih secara eksklusif pada data yang tersedia secara awam, tanpa menggunakan set data milik. Kami berharap bahawa pelepasan model ini kepada komuniti penyelidikan akan mempercepatkan pembangunan model bahasa besar, dan membantu usaha untuk meningkatkan ketahanan mereka dan mengurangkan isu-isu yang diketahui seperti toksisiti dan bias. Selain itu, kami mengamati seperti Chung et al. (2022) bahawa penyempurnaan model ini pada arahan membawa kepada hasil yang menjanjikan, Pengiktirafan Kami mengucapkan terima kasih kepada Daniel Haziza, Francisco Massa, Jeremy Reizenstein, Artem Korenev, dan Patrick Labatut daripada pasukan xformers. Kami mengucapkan terima kasih kepada Susan Zhang dan Stephen Roller untuk sokongan mereka dalam deduplikasi data. Kami mengucapkan terima kasih kepada Luca Wehrstedt, Vegard Mella, dan Pierre-Emmanuel Mazaré untuk sokongan mereka dalam stabiliti latihan. Kami mengucapkan terima kasih kepada Shubho Sengupta, Kalyan Saladi, dan semua pasukan infra AI untuk sokongan mereka. Kami mengucapkan terima kasih kepada Jane Yu untuk sumbangan beliau dalam penilaian. Kami mengucapkan terima kasih kepada Yongyi Hu untuk bantuan beliau dalam pengumpulan data. Referensi Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le, dan Charles Sutton. Lalit R Bahl, Frederick Jelinek, dan Robert L Mercer. 1983. pendekatan kebarangkalian maksimum untuk pengiktirafan ucapan berterusan. Yoshua Bengio, Réjean Ducharme, dan Pascal Vincent. 2000 Model bahasa probabilistik saraf. Kemajuan dalam sistem pemprosesan maklumat saraf, 13. Yonatan Bisk, Rowan Zellers, Jianfeng Gao, Yejin Choi, et al. 2020. Piqa: Pertimbangan mengenai akal biasa fizikal dalam bahasa semulajadi. Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, et al. 2022. Thorsten Brants, Ashok C. Popat, Peng Xu, Franz J. Och, dan Jeffrey Dean. 2007. Model bahasa besar dalam terjemahan mesin. Dalam Laporan Konferensi Bersama 2007 mengenai Kaedah Empirikal dalam Pemprosesan Bahasa Asli dan Pembelajaran Bahasa Asli Komputer (EMNLP-CoNLL), halaman 858–867, Prague, Republik Czech. Peter F Brown, John Cocke, Stephen A Della Pietra, Vincent J Della Pietra, Frederick Jelinek, John Lafferty, Robert L Mercer, dan Paul S Roossin. 1990. Pendekatan statistik kepada terjemahan mesin. Linguistik komputasi, 16(2):79–85. Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, dan Dario Amodei. Christian Buck, Kenneth Heafield, dan Bas Van Ooyen. 2014. bilangan N-gram dan model bahasa daripada crawl biasa. Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn, dan Tony Robinson. 2013. Benchmark satu bilion kata untuk mengukur kemajuan dalam pemodelan bahasa statistik. arXiv praprint arXiv:1312.3005. Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, William Hebgen Guss, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Sutarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth, Ariel Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nicholino, Paino, Nikolas Tezak, Jie, Igor Tang Aakanksha Diawon Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Ghemawat, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sun Devipa, Henryk Michalewski, Xavier Garcia, Vedantra Misra, Kevin Robinson, Liam Fedus, Jason Zhou Den Hyung Won Chung, Le Hou, S. Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Dasha Valter, Sharan Narang, Gaurav Mishra, Adams Wei Yu, Vincent Zhao, Yanping Huang, Andrew M. Dai, Hongkun Yu, Petrov Slav, Ed Huai hsin Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc Le, dan Jason Wei. Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins, dan Kristina Toutanova. 2019. Boolq: Mengeksplorasi kesukaran yang mengejutkan soalan ya/tidak semulajadi. arXiv praprint arXiv:1905.10044. Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, dan Oyvind Tafjord. 2018. Adakah anda fikir anda telah menyelesaikan soalan dengan menjawab soalan? cuba arc, cabaran pemikiran ai2. arXiv praprint arXiv:1803.05457. Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, et al. 2021. Pengesahan latihan untuk menyelesaikan masalah perkataan matematik. arXiv praprint arXiv:2110.14168. Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V Le, dan Ruslan Salakhutdinov. 2019. Transformer-xl: Model bahasa yang berhati-hati di luar konteks panjang tetap. arXiv praprint arXiv:1901.02860 Tri Dao, Daniel Y Fu, Stefano Ermon, Atri Rudra, dan Christopher Ré. 2022. flashattention: cepat dan memori efisien perhatian tepat dengan kesedaran io. arXiv praprint arXiv:2205.14135. Jacob Devlin, Ming-Wei Chang, Kenton Lee, dan Kristina Toutanova. 2018. Bert: Latihan pra-latihan transformator dua arah yang mendalam untuk pemahaman bahasa. arXiv praprint arXiv:1810.04805. Jeffrey L Elman. 1990. Menemukan struktur dalam masa. Sains kognitif, 14(2):179–211. Daniel Fried, Armen Aghajanyan, Jessy Lin, Sida Wang, Eric Wallace, Freda Shi, Ruiqi Zhong, Wentau Yih, Luke Zettlemoyer, dan Mike Lewis. 2022. Incoder: Model generatif untuk pengisian dan sintesis kod. arXiv praprint arXiv:2204.05999. Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, dan Connor Leahy. Leo Gao, Jonathan Tow, Stella Biderman, Sid Black, Anthony DiPofi, Charles Foster, Laurence Golding, Jeffrey Hsu, Kyle McDonell, Niklas Muennighoff, Jason Phang, Laria Reynolds, Eric Tang, Anish Thite, Ben Wang, Kevin Wang, dan Andy Zou. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi, dan Noah A Smith. 2020. Realtoxicityprompts: Menilai degenerasi toksik saraf dalam model bahasa. arXiv praprint arXiv:2009.11462. Alex Graves. 2013. Menghasilkan urutan dengan rangkaian saraf berulang. arXiv praprint arXiv:1308.0850. Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H Clark, dan Philipp Koehn. 2013. Perkiraan model bahasa kneserney yang boleh diubah suai. dalam Prosedur Pertemuan Tahunan ke-51 Persatuan Linguistik Komputasi (Kumpulan 2: Maklumat Singkat), halaman 690-696. Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, dan Jacob Steinhardt. Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, dan Jacob Steinhardt. 2021. mengukur penyelesaian masalah matematik dengan dataset matematik. arXiv praprint arXiv:2103.03874. Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md Patwary, Mostofa Ali, Yang Yang, dan Yanqi Zhou. 2017. Pembelajaran mendalam boleh diprediksi, empiris. arXiv praprint arXiv:1712.00409. Sepp Hochreiter dan Jürgen Schmidhuber. 1997. ingatan jangka pendek yang panjang. pengiraan saraf, 9(8):1735–1780. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, dan Laurent Sifre. Srinivasan Iyer, Xi Victoria Lin, Ramakanth Pasunuru, Todor Mihaylov, Dániel Simig, Ping Yu, Kurt Shuster, Tianlu Wang, Qing Liu, Punit Singh Koura, et al. 2022. Mandar Joshi, Eunsol Choi, Daniel S Weld, dan Luke Zettlemoyer. 2017. Triviaqa: Set data cabaran yang dikendalikan jauh untuk pemahaman bacaan. arXiv praprint arXiv:1705.03551. Rafal Jozefowicz, Oriol Vinyals, Mike Schuster, Noam Shazeer, dan Yonghui Wu. 2016. Mengeksplorasi had pemodelan bahasa. arXiv praprint arXiv:1602.02410. Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, dan Dario Amodei. Slava Katz. 1987. perkiraan probabiliti daripada data yang jarang untuk komponen model bahasa pengiktirafan ucapan. IEEE transaksi pada akustik, ucapan, dan pemprosesan isyarat, 35(3):400–401. Reinhard Kneser dan Hermann Ney. 1995. meningkatkan sokongan untuk pemodelan bahasa m-gram. pada tahun 1995 persidangan antarabangsa mengenai akustik, ucapan, dan pemprosesan isyarat, volume 1, halaman 181–184. Vijay Korthikanti, Jared Casper, Sangkug Lym, Lawrence McAfee, Michael Andersch, Mohammad Shoeybi, dan Bryan Catanzaro. 2022. Mengurangkan rekod pengaktifan dalam model transformator besar. arXiv praprint arXiv:2205.05198. Taku Kudo dan John Richardson. 2018. Sentencepiece: Tokenizer dan detokenizer subword yang mudah dan bebas bahasa untuk pemprosesan teks saraf. arXiv praprint arXiv:1808.06226. Keita Kurita, Nidhi Vyas, Ayush Pareek, Alan W Black, dan Yulia Tsvetkov. 2019 Kuantiti bias sosial dalam representasi kata kontekstual. Dalam Workshop ACL 1st mengenai bias gender untuk pemprosesan bahasa semulajadi. Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, et al. 2019. Soalan semulajadi: benchmark untuk penyelidikan menjawab soalan. Transactions of the Association for Computational Linguistics, 7:453–466. Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang, dan Eduard Hovy. 2017. Perlumbaan: Dataset pemahaman bacaan skala besar daripada peperiksaan. arXiv praprint arXiv:1704.04683. Aitor Lewkowycz, Anders Johan Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Venkatesh Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari, dan Vedant Misra. Opher Lieber, Or Sharir, Barak Lenz, dan Yoav Shoham. 2021. Jurassic-1: butiran teknikal dan penilaian. Buku putih. AI21 Labs, 1. Stephanie Lin, Jacob Hilton, dan Owain Evans. 2021. Truthfulqa: Mengukur bagaimana model meniru kebohongan manusia. arXiv praprint arXiv:2109.07958. Ilya Loshchilov dan Frank Hutter. 2017. pengaturan kerosakan berat badan yang dibubarkan. arXiv praprint arXiv:1711.05101. Matthew V Mahoney. 1999. kompresi teks sebagai ujian untuk kecerdasan buatan. AAAI/IAAI, 970. Todor Mihaylov, Peter Clark, Tushar Khot, dan Ashish Sabharwal. 2018.Apakah pakaian perisai boleh mengendalikan elektrik? satu set data baru untuk menjawab soalan buku terbuka. arXiv praprint arXiv:1809.02789. Tomas Mikolov, Martin Karafiát, Lukas Burget, Jan Cernocky, dan Sanjeev Khudanpur. 2010. model bahasa berasaskan rangkaian saraf. Dalam Interspeech, halaman 1045–1048. Makuhari. Nikita Nangia, Clara Vania, Rasika Bhalerao, dan Samuel R. Bowman. 2020. CrowS-pairs: Set data cabaran untuk mengukur bias sosial dalam model bahasa yang disamarkan. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese, dan Caiming Xiong. 2022. Codegen: Model bahasa besar terbuka untuk kod dengan sintesis program multi-turn. arXiv praprint arXiv:2203.13474. Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Gray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, dan Ryan Lowe. 2022. Model bahasa latihan untuk mengikuti arahan dengan umpan balik manusia. Markus N Rabe dan Charles Staats. 2021. Selfattention tidak memerlukan o(n 2 ) memori. arXiv praprint arXiv:2112.05682. Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. 2018. Meningkatkan pemahaman bahasa melalui latihan pra-generatif. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. 2019. Model bahasa adalah pelajar multitask yang tidak diselia. Blog OpenAI, 1(8):9. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Lisa Anne Hendricks, Maribeth Rauh, Po-Sen Huang, Amelia Glaese, Johannes Welblland, Simonyan, Sumanth Dathathri, Saffron Huang, Chris Blopher, Jonathan Korensato, John Mellor, Irina Higgins, Antonia Oriwell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant Jayakumar, Elena Buchatskaya, David Budden, Esme Sutherland, Karenyan, Michela Paganini, Laurent Sifre, Laura Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, dan Peter J Liu. 2020. Mengeksplorasi had pembelajaran pemindahan dengan transformer teks-ke-tekst yang bersatu. The Journal of Machine Learning Research, 21(1):5485–5551. Jonathan S Rosenfeld, Amir Rosenfeld, Yonatan Belinkov, dan Nir Shavit. 2019. ramalan konstruktif kesilapan generalisasi di seluruh skala. arXiv praprint arXiv:1909.12673. Rachel Rudinger, Jason Naradowsky, Brian Leonard, dan Benjamin Van Durme. 2018. Bias gender dalam resolusi coreference. Dalam NAACL-HLT 2018. Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, dan Yejin Choi. 2021. Winogrande: Tantangan skema anggur yang menentang dalam skala. Komunikasi ACM, 64(9):99–106. Maarten Sap, Hannah Rashkin, Derek Chen, Ronan LeBras, dan Yejin Choi. 2019. Socialiqa: Pertimbangan Commonsense mengenai interaksi sosial. arXiv praprint arXiv:1904.09728. Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilic, Daniel Hesslow, Ro-' man Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. 2022. Bloom: A 176bparameter open-access multilingual language model. arXiv praprint arXiv:2211.05100. Rico Sennrich, Barry Haddow, dan Alexandra Birch. 2015. terjemahan mesin neuronal perkataan langka dengan unit subword. arXiv praprint arXiv:1508.07909. Claude E Shannon. 1948. teori matematik komunikasi. jurnal teknikal sistem Bell, 27(3):379-423. Claude E Shannon. 1951. prediksi dan entropy bahasa Inggeris cetak. jurnal teknikal sistem Bell, 30(1):50–64. Noam Shazeer. 2020. varian Glu meningkatkan transformator. arXiv praprint arXiv:2002.05202. Emily Sheng, Kai-Wei Chang, Premkumar Natarajan, dan Nanyun Peng. 2019. Wanita itu bekerja sebagai penjaga bayi: Mengenai bias dalam pengeluaran bahasa. arXiv praprint arXiv:1909.01326. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, dan Bryan Catanzaro. 2019. Megatron-lm: Latihan beberapa bilion model bahasa parameter menggunakan paralelisme model. arXiv praprint arXiv:1909.08053. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zhang, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary, dan Bryan Catanzaro. Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, dan Yunfeng Liu. 2021. Roformer: Transformator ditingkatkan dengan embedding kedudukan berputar. arXiv praprint arXiv:2104.09864. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, YaGuang Li, Hongrae Lee, Huaixiu Steven Zheng, Amin Ghafouri, Marcelo Menegali, Yanping Huang, Maxim Krikun, Dmitry Lepikhin, James Qin, Dehao Chen, Yuanzhong Xu, Zhifeng Chen, Adam Roberts, Maarten Bosma, Vincent Zhao, Yanqi Zhou, Chung-Ching Chang, Igor Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Laichee Man, Kathleen Me-Hellstern, Merith Ringel Morris, Tulsee Doshi, Renelito Delos Santos, A. M. Turing. 1950. Mesin Komputer dan Kecerdasan. [Oxford University Press, Persatuan Pikiran]. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, dan Illia Polosukhin. 2017. Perhatian adalah semua yang anda perlukan. Dalam Advances in Neural Information Processing Systems 30, halaman 5998–6008. Ben Wang dan Aran Komatsuzaki. 2021. GPT-J6B: 6 Bilion Parameter Model Bahasa Autoregressive. https://github.com/kingoflolz/ mesh-transformer-jax. Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, dan Denny Zhou. Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. 2022. keupayaan muncul model bahasa besar. arXiv praprint arXiv:2206.07682. Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, dan Edouard Grave. 2020. CCNet: Mengekstrak set data monolingual berkualiti tinggi daripada data crawl web. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga, Jinshi Huang, Charles Bai, et al. 2022. Sustainable ai: implikasi alam sekitar, cabaran dan peluang. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, dan Yejin Choi. 2019. Hellaswag: Bolehkah mesin benar-benar menyelesaikan ayat anda? arXiv praprint arXiv:1905.07830. Aohan Zeng, Xiao Liu, Zhengxiao Du, Zihan Wang, Hanyu Lai, Ming Ding, Zhuoyi Yang, Yifan Xu, Wendi Zheng, Xiao Xia, Weng Lam Tam, Zixuan Ma, Yufei Xue, Jidong Zhai, Wenguang Chen, Peng Zhang, Yuxiao Dong, dan Jie Tang. Biao Zhang dan Rico Sennrich. 2019. normalisasi lapisan persegi rata-rata akar. Kemajuan dalam Sistem Pemprosesan Maklumat Neural, 32. Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. 2022. Satu soalan menjawab Kami menilai LLaMA pada Soalan Semulajadi dan TriviaQA. Untuk Soalan Semulajadi kami menggunakan pemisahan ujian yang digunakan untuk soalan domain terbuka yang mengandungi 3610 soalan. Untuk TriviaQA kami menilai pada set pengembang set yang difilter. Ini berbeza daripada GPT-3 dan PaLM, yang menilai pada set ujian set yang tidak difilter yang pelayan penilaian dalam talian tidak lagi boleh didapati5 . Kami menghasilkan jawapan menggunakan dekoding cemburu, dan mengekstrak jawapan daripada generasi dengan berhenti pada garis pertama, titik akhir atau comma. Jawaban yang dihasilkan dinilai dengan metrik tumpuan yang tepat standard: jawapan yang dihasilkan dianggap betul jika ia sepadan dengan sebarang jawapan dalam senarai jawapan selepas normalisasi. Untuk langkah normalisasi ini, kami menurunkan jawapan yang dihasilkan dan menghapuskan B MMU Generasi C daripada LLaMA-65B Dalam seksyen ini, kami menunjukkan beberapa contoh generasi yang diperolehi dengan LLaMA-65B (tanpa arahan finetuning). Generasi D daripada LLaMA-I Kami menunjukkan beberapa contoh generasi dengan LLaMA-I, iaitu LLaMA-65B disesuaikan dengan protokol dan dataset arahan dari Chung et al. (2022). Dokumen ini boleh didapati di archiv di bawah lesen CC by 4.0 Deed (Attribution 4.0 International). Dokumen ini ialah di bawah lesen CC by 4.0 Deed (Attribution 4.0 International). Tersedia dalam Archive