Untuk mencapai kinerja state-of-the-art dengan pelatihan secara eksklusif pada data yang tersedia secara publik

LLaMA: Open and Efficient Foundation Language Models LLaMA: Model Bahasa Yayasan yang Terbuka dan Efisien Penulis : Hugo Touvron dengan Meta AI Thibaut Lavril sebagai Meta AI Gautier Izacard, Meta AI Xavier Martinet sebagai Meta AI Marie-Anne Lachaux sebagai Meta AI Timothee Lacroix sebagai Meta AI Baptiste Rozière sebagai Meta AI Naman Goyal, Meta AI Eric Hambro, Meta AI Faisal Azhar sebagai Meta AI Aurelien Rodriguez, Meta AI Armand Joulin Edouard Grave, Meta AI Guillaume Lample sebagai Meta AI Authors: Hugo Touvron dengan Meta AI Thibaut Lavril sebagai Meta AI Gautier Izacard sebagai Meta AI Xavier Martinet sebagai Meta AI Marie-Anne Lachaux sebagai Meta AI Timothee Lacroix sebagai Meta AI Baptiste Rozière sebagai Meta AI Naman Goyal, Meta AI Eric Hambro sebagai Meta AI Faisal Azhar sebagai Meta AI Aurelien Rodriguez sebagai Meta AI Armand Joulin Edouard Grave sebagai Meta AI Guillaume Lample sebagai Meta AI abstrak Kami memperkenalkan LLaMA, koleksi model bahasa dasar yang berkisar dari 7B hingga 65B parameter. Kami melatih model kami pada triliun token, dan menunjukkan bahwa itu mungkin untuk melatih model state-of-the-art menggunakan dataset yang tersedia secara publik secara eksklusif, tanpa menggunakan dataset milik dan tidak dapat diakses. khususnya, LLaMA-13B melampaui GPT-3 (175B) pada sebagian besar referensi, dan LLaMA65B bersaing dengan model terbaik, Chinchilla-70B dan PaLM-540B. 1 Pengantar Model Tokuages Besar (LLM) yang dilatih pada corpora besar teks telah menunjukkan kemampuan mereka untuk melakukan tugas-tugas baru dari instruksi teks atau dari beberapa contoh (Brown et al., 2020). Properti-properti ini pertama kali muncul ketika skala model ke ukuran yang cukup (Kaplan et al., 2020), menghasilkan garis kerja yang berfokus pada skala lebih lanjut dari model-model ini (Chowdhery et al., 2022; Rae et al., 2021). Upaya ini bahkan didasarkan pada asumsi bahwa lebih banyak parameter akan menyebabkan kinerja yang lebih baik. Namun, pekerjaan terbaru dari Hoffmann et al. (2022) menunjukkan bahwa, untuk anggaran komputasi tertentu, kinerja terbaik tidak dicapai oleh model-model terbesar, tetapi oleh model-model yang lebih kecil yang dilatih lebih banyak. Tujuan dari undang-undang skala dari Hoffmann et al. (2022) adalah untuk menentukan Fokus dari pekerjaan ini adalah untuk melatih serangkaian model bahasa yang mencapai kinerja terbaik di berbagai anggaran inferensi, dengan melatih pada lebih banyak token daripada yang biasanya digunakan. Model yang dihasilkan, yang disebut LLaMA, berkisar dari 7B hingga 65B parameter dengan kinerja kompetitif dibandingkan dengan terbaik LLM yang ada. Misalnya, LLaMA-13B melampaui GPT-3 pada sebagian besar referensi, meskipun 10x lebih kecil. Kami percaya bahwa model ini akan membantu mendemokrasi akses dan studi LLM, karena dapat dijalankan pada GPU tunggal. Pada ujung yang lebih tinggi dari skala, model parameter 65B kami juga kompetitif dengan model bahasa besar terbaik seperti Chinchilla atau PaLM-540B. Tidak seperti Chinchilla, PaLM, atau GPT-3, kami hanya menggunakan data yang tersedia secara publik, pekerjaan kami kompatibel dengan sumber terbuka, sementara sebagian besar model yang Ada beberapa pengecualian, terutama OPT (Zhang et al., 2022), GPT-NeoX (Black et al., 2022), BLOOM (Scao et al., 2022) dan GLM (Zeng et al., 2022), tetapi tidak ada yang bersaing dengan PaLM-62B atau Chinchilla. Dalam sisa makalah ini, kami menyajikan gambaran keseluruhan modifikasi yang kami lakukan pada arsitektur transformator (Vaswani et al., 2017), serta metode pelatihan kami. Kami kemudian melaporkan kinerja model kami dan membandingkan dengan LLM lain pada serangkaian referensi standar. Akhirnya, kami mengekspos beberapa bias dan toksisitas yang dikodekan dalam model kami, menggunakan beberapa referensi terbaru dari komunitas AI yang bertanggung jawab. 2 Pendekatan Pendekatan pelatihan kami mirip dengan metode yang dijelaskan dalam pekerjaan sebelumnya (Brown et al., 2020; Chowdhery et al., 2022), dan terinspirasi oleh hukum skala Chinchilla (Hoffmann et al., 2022). 2.1 Data pra-pelatihan Dataset pelatihan kami adalah campuran dari beberapa sumber, khususnya dalam Tabel 1, yang mencakup serangkaian domain yang beragam. Untuk sebagian besar, kami menggunakan kembali sumber data yang telah dimanfaatkan untuk melatih LLM lain, dengan pembatasan hanya menggunakan data yang tersedia secara publik, dan kompatibel dengan open source. Kami memproses lima sampel CommonCrawl, mulai dari 2017 hingga 2020, dengan CCNet pipeline (Wenzek et al., 2020). Proses ini deduplikasi data pada tingkat baris, melakukan identifikasi bahasa dengan klasifikator linear fastText untuk menghapus halaman non-Inggris dan menyaring konten berkualitas rendah dengan model bahasa ngram. English CommonCrawl [67%] Selama eksperimen eksploratif, kami melihat bahwa menggunakan berbagai dataset pra-proses CommonCrawl meningkatkan kinerja. maka kami memasukkan dataset C4 yang tersedia secara publik (Raffel et al., 2020) ke dalam data kami. preprocessing C4 juga berisi langkah-langkah deduplikasi dan identifikasi bahasa: perbedaan utama dengan CCNet adalah filtrasi kualitas, yang sebagian besar bergantung pada heuristik seperti kehadiran tanda titik atau jumlah kata dan kalimat dalam halaman web. C4 [15%]. Kami menggunakan dataset GitHub publik yang tersedia di Google BigQuery. Kami hanya menyimpan proyek yang didistribusikan di bawah lisensi Apache, BSD dan MIT. Selain itu, kami memfilter file berkualitas rendah dengan heuristik berdasarkan panjang baris atau proporsi karakter alfanumerik, dan menghapus boilerplate, seperti header, dengan ekspresi reguler. Akhirnya, kami deduplikasi dataset yang dihasilkan di tingkat file, dengan matching yang akurat. Github [4.5%]. Kami menambahkan sampah Wikipedia dari periode Juni-August 2022, yang mencakup 20 bahasa, yang menggunakan script Latin atau Cyrillic: bg, ca, cs, da, de, en, es, fr, hr, hu, it, nl, pl, pt, ro, ru, sl, sr, sv, uk. Kami memproses data untuk menghapus hyperlink, komentar dan pemformatan lain boilerplate. Wikipedia [4.5%]. Kami memasukkan dua corpora buku dalam dataset pelatihan kami: Proyek Gutenberg, yang berisi buku yang berada di domain publik, dan bagian Books3 dari ThePile (Gao et al., 2020), dataset yang tersedia secara publik untuk pelatihan model bahasa besar. Gutenberg and Books3 [4.5%] Kami memproses file arXiv Latex untuk menambahkan data ilmiah ke dataset kami. Setelah Lewkowycz et al. (2022), kami menghapus segala sesuatu sebelum bagian pertama, serta bibliografi. Kami juga menghapus komentar dari file .tex, dan definisi dan makro yang diperluas secara inline yang ditulis oleh pengguna untuk meningkatkan konsistensi di seluruh kertas. ArXiv [2.5%]. Kami termasuk stok dari Stack Exchange, sebuah situs web pertanyaan dan jawaban berkualitas tinggi yang mencakup serangkaian domain yang beragam, mulai dari ilmu komputer hingga kimia. kami menyimpan data dari 28 situs web terbesar, menghapus tag HTML dari teks dan mengatur jawaban berdasarkan skor (dari tertinggi ke terendah). Stack Exchange [2%]. Kami tokenisasi data dengan algoritma pengkodean bytepair (BPE) (Sennrich et al., 2015), menggunakan implementasi dari SentencePiece (Kudo and Richardson, 2018). Tokenizer. Secara keseluruhan, seluruh dataset pelatihan kami berisi sekitar 1.4T token setelah tokenisasi. Untuk sebagian besar data pelatihan kami, setiap token hanya digunakan sekali selama pelatihan, kecuali untuk domain Wikipedia dan Buku, di mana kami melakukan sekitar dua era. 2.2 Arsitektur Setelah pekerjaan baru-baru ini pada model bahasa besar, jaringan kami didasarkan pada arsitektur transformator (Vaswani et al., 2017). kami memanfaatkan berbagai perbaikan yang kemudian diusulkan, dan digunakan dalam model yang berbeda seperti PaLM. Berikut adalah perbedaan utama dengan arsitektur asli, dan di mana kami menemukan inspirasi untuk perubahan ini (dalam bracket): Untuk meningkatkan stabilitas pelatihan, kami menormalkan input dari setiap sub-layer transformator, alih-alih menormalkan output. Pre-normalization [GPT3] Kami menggantikan non-linearitas ReLU dengan fungsi aktivasi SwiGLU, yang diperkenalkan oleh Shazeer (2020) untuk meningkatkan kinerja. SwiGLU activation function [PaLM]. Kami menghapus embeddings positional mutlak, dan sebaliknya, menambahkan rotary positional embeddings (RoPE), yang diperkenalkan oleh Su et al. (2021), pada setiap lapisan jaringan. Rotary Embeddings [GPTNeo]. 2.3 Optimalisasi Model kami dilatih menggunakan AdamW optimizer (Loshchilov dan Hutter, 2017), dengan hyper-parameter berikut: β1 = 0,9, β2 = 0,95. kami menggunakan jadwal kecepatan belajar kosin, sehingga kecepatan pembelajaran akhir sama dengan 10% dari kecepatan belajar maksimum. kami menggunakan penurunan berat badan 0,1 dan pemotongan gradient 1,0. kami menggunakan 2.000 langkah pemanasan, dan bervariasi kecepatan belajar dan ukuran batch dengan ukuran model (lihat Tabel 2 untuk rincian). 2.4 Implementasi yang efektif Kami melakukan beberapa optimasi untuk meningkatkan kecepatan pelatihan model kami. Pertama, kami menggunakan implementasi efisien dari perhatian multi-kepala kausal untuk mengurangi penggunaan memori dan runtime. Implementasi ini, tersedia di perpustakaan xformers,2 terinspirasi oleh Rabe dan Staats (2021) dan menggunakan latar belakang dari Dao et al. (2022). Ini dicapai dengan tidak menyimpan beban perhatian dan tidak menghitung skor kunci / pertanyaan yang disamarkan karena sifat kausal tugas pemodelan bahasa. Untuk meningkatkan lebih lanjut efisiensi pelatihan, kami mengurangi jumlah aktivasi yang dikomunikasikan selama lulus mundur dengan checkpointing. Lebih tepatnya, kami menyimpan aktivasi yang mahal untuk dihitung, seperti output lapisan linear. Ini dicapai dengan secara manual menerapkan fungsi backward untuk lapisan transformator, alih-alih bergantung pada PyTorch autograd. Untuk sepenuhnya mengambil keuntungan dari optimasi ini, kita perlu mengurangi penggunaan memori model dengan menggunakan model dan paralelisme urutan, seperti yang dijelaskan oleh Korthikanti et al. (2022). Selain itu, kami juga melipatgandakan perhitungan aktivasi dan komunikasi antara GPU melalui jaringan (karena operasi all_reduce) sebanyak mungkin. Ketika melatih model parameter 65B, kode kami memproses sekitar 380 token/sec/GPU pada 2048 A100 GPU dengan 80GB RAM. 3 Hasil utama Mengikuti pekerjaan sebelumnya (Brown et al., 2020), kami mempertimbangkan tugas nol-shot dan beberapa-shot, dan melaporkan hasil pada total 20 benchmark: Kami menyediakan deskripsi teks dari tugas dan contoh tes. model ini menyediakan jawaban menggunakan generasi open-end, atau peringkat jawaban yang diusulkan. • Zero-shot. Kami memberikan beberapa contoh tugas (antara 1 dan 64) dan contoh tes. model mengambil teks ini sebagai input dan menghasilkan jawaban atau peringkat pilihan yang berbeda. • Few-shot. Kami membandingkan LLaMA dengan model dasar lainnya, yaitu model bahasa yang tidak tersedia secara publik GPT-3 (Brown et al., 2020), Gopher (Rae et al., 2021), Chinchilla (Hoffmann et al., 2022) dan PaLM (Chowdhery et al., 2022), serta model OPT open-source (Zhang et al., 2022), GPT-J (Wang dan Komatsuzaki, 2021), dan GPTNeo (Black et al., 2022). Di Bagian 4, kami juga membandingkan LLaMA secara singkat dengan model yang disesuaikan dengan instruksi seperti OPT-IML (Iyer et al., 2022) dan Flan-PaLM (Chung et al., 2022). Kami menilai LLaMA pada tugas-tugas pembangkit bebas dan tugas-tugas pilihan ganda. Dalam beberapa pilihan tugas, tujuannya adalah untuk memilih penyelesaian yang paling sesuai di antara seperangkat pilihan yang diberikan, berdasarkan konteks yang diberikan. Kami memilih penyelesaian dengan probabilitas tertinggi berdasarkan konteks yang diberikan. Kami mengikuti Gao et al. (2021) dan menggunakan probabilitas yang diatur oleh jumlah karakter dalam penyelesaian, kecuali untuk set data tertentu (OpenBookQA, BoolQ), yang kami ikuti Brown et al. (2020), dan memilih penyelesaian berdasarkan probabilitas yang diatur oleh probabilitas penyelesaian yang diberikan “Answer:” sebagai konteks: P(completion fagcontext)/P(completion fag“Awerns:”). 3.1 Pengertian akal sehat Kami mempertimbangkan delapan kriteria penilaian akal sehat standar: BoolQ (Clark et al., 2019), PIQA (Bisk et al., 2020), SIQA (Sap et al., 2019), HellaSwag (Zellers et al., 2019), WinoGrande (Sakaguchi et al., 2021), ARC mudah dan menantang (Clark et al., 2018) dan OpenBookQA (Mihaylov et al., 2018). Set data ini mencakup tugas gaya Cloze dan Winograd, serta jawaban pertanyaan pilihan ganda. Kami menilai dalam pengaturan nol-shot seperti yang dilakukan di komunitas pemodelan bahasa. Di Tabel 3, kita membandingkan dengan model yang ada dari berbagai ukuran dan laporan nomor dari kertas yang sesuai. pertama, LLaMA-65B melampaui Chinchilla-70B pada semua referensi yang dilaporkan tetapi BoolQ. Demikian pula, model ini melampaui PaLM540B di mana-mana kecuali pada BoolQ dan WinoGrande. model LLaMA-13B juga melampaui GPT-3 pada sebagian besar referensi meskipun 10x lebih kecil 3.2 Jawaban atas pertanyaan-pertanyaan Kami membandingkan LLaMA dengan model bahasa besar yang ada pada dua referensi jawaban pertanyaan buku tertutup: Natural Questions (Kwiatkowski et al., 2019) dan TriviaQA (Joshi et al., 2017). Untuk kedua referensi, kami melaporkan kinerja matching yang akurat dalam pengaturan buku tertutup, yaitu, di mana model tidak memiliki akses ke dokumen yang berisi bukti untuk menjawab pertanyaan tersebut. Di Tabel 4, kami melaporkan kinerja pada NaturalQuestions, dan di Tabel 5, kami melaporkan pada TriviaQA. Pada kedua referensi, LLaMA-65B melaporkan kinerja state-of-the-art dalam pengaturan nol-shot dan beberapa-shot. Lebih penting, LLaMAB-13B juga kompetitif pada referensi ini dengan GPT-3 dan Chinchilla, meskipun 5-10× lebih kecil. 3.3 Pembahasan membaca Kami mengevaluasi model kami pada referensi pemahaman membaca RACE (Lai et al., 2017). Dataset ini dikumpulkan dari ujian pemahaman membaca bahasa Inggris yang dirancang untuk siswa sekolah menengah dan menengah Cina. Kami mengikuti pengaturan evaluasi dari Brown et al. (2020) dan melaporkan hasilnya di Tabel 6. Pada referensi ini, LLaMA-65B bersaing dengan PaLM-540B, dan, LLaMA-13B melampaui GPT-3 beberapa persen. 4.3 Pengertian Matematika Kami mengevaluasi model kami pada dua referensi pertimbangan data matematika: MATH (Hendrycks et al., 2021) dan GSM8k (Cobbe et al., 2021). MATH adalah kumpulan data dari 12K masalah matematika sekolah menengah dan sekolah menengah yang ditulis dalam LaTeX. GSM8k adalah seperangkat masalah matematika sekolah menengah. Dalam Tabel 7, kami membandingkan dengan PaLM dan Minerva (Lewkowycz et al., 2022). Minerva adalah serangkaian model PaLM finetuned pada token 38.5B yang diekstraksi dari ArXiv dan Matematika Web Pages, sementara tidak ada PaLM atau LLaMA finetuned pada data matematika. Pada GSM8, angka untuk PaLM dan Minerva diambil dari Lewkowycz et al. (2022), dan kami membandingkan dengan dan tanpa maj1@k. maj 3.5 Generasi kode Kami mengevaluasi kemampuan model kami untuk menulis kode dari deskripsi bahasa alami pada dua benchmark: HumanEval (Chen et al., 2021) dan MBPP (Austin et al., 2021). Untuk kedua tugas, model menerima deskripsi program dalam beberapa kalimat, serta beberapa contoh input-output. Dalam HumanEval, itu juga menerima tanda tangan fungsi, dan prompt diformat sebagai kode alami dengan deskripsi teks dan tes dalam docstring. Model ini perlu menghasilkan program Python yang sesuai dengan deskripsi dan memenuhi kasus tes. Dalam Tabel 8, kami membandingkan skor pass@1 dari model kami dengan model bahasa yang ada yang belum disesuaikan dengan kode, yaitu PaLM dan LaMDA (Thoppilan et al., 2022). PaLM dan LMA dilatih pada dataset yang mengandung sejumlah token kode yang serupa. Seperti yang ditunjukkan dalam Tabel 8, untuk sejumlah parameter yang sama, LLaMA melampaui model umum lainnya seperti LaMDA dan PaLM, yang tidak dilatih atau disesuaikan khusus untuk kode. LLaMA dengan parameter 13B dan lebih melampaui LaMDA 137B pada kedua HumanEval dan MBPP. LLaMA 65B juga melampaui PaLM 62B, bahkan ketika dilatih lebih lama. Hasil pass@1 yang dilaporkan dalam tabel ini diperoleh dengan sampling dengan suhu 0.1. metrik pass@100 dan pass@80 diperoleh dengan suhu 0.8. Kami menggunakan metode yang sama dengan Chen et al. (2021) untuk mendapatkan perkiraan yang tidak bias dari pass@k. Misalnya, PaLM-Coder (Chowdhery et al., 2022) meningkatkan skor pass@1 dari PaLM pada HumanEval dari 26,2% untuk PaLM menjadi 36%. Model lain yang dilatih khusus untuk kode juga tampil lebih baik daripada model umum pada tugas-tugas ini (Chen et al., 2021; Nijkamp et al., 2022; Fried et al., 2022). 3.6 Pemahaman bahasa multitask besar Benchmark pemahaman bahasa multitask yang besar, atau MMLU, yang diperkenalkan oleh Hendrycks et al. (2020) terdiri dari beberapa pertanyaan pilihan yang mencakup berbagai bidang pengetahuan, termasuk humaniora, STEM dan ilmu sosial. Kami mengevaluasi model kami dalam pengaturan 5-shot, menggunakan contoh yang disediakan oleh benchmark, dan melaporkan hasil dalam Tabel 9. Pada benchmark ini, kami melihat bahwa LLaMA-65B berada di belakang Chinchilla70B dan PaLM-540B dengan beberapa persen rata-rata, dan di sebagian besar domain. Penjelasan potensial adalah bahwa kami telah menggunakan sejumlah buku dan kertas akademik yang terbatas dalam data pra-latihan kami, yaitu, ArXiv, Gutenberg dan Books3, yang jumlahnya hanya 177GB, sementara model ini dilatih pada hingga 2TB buku. Jumlah besar buku yang digunakan oleh Gopher, Chinillach dan PaL 3.7 Perkembangan kinerja selama pelatihan Selama pelatihan, kami melacak kinerja model kami pada beberapa jawaban pertanyaan dan referensi akal sehat, dan melaporkan mereka dalam Gambar 2. Pada sebagian besar referensi, kinerja meningkat secara konsisten, dan berkorelasi dengan perpleksitas pelatihan model (lihat Gambar 1). Pengecualian adalah SIQA dan WinoGrande. Paling menonjol, pada SIQA, kami melihat banyak variasi kinerja, yang dapat menunjukkan bahwa referensi ini tidak dapat diandalkan. Pada WinoGrande, kinerja tidak berkorelasi juga dengan perpleksitas pelatihan: LLaMA-33B dan LLaMA-65B memiliki kinerja yang serupa selama pelatihan. 4 Instruksi Finetuning Meskipun versi non-finetuned dari LLaMA-65B sudah mampu mengikuti instruksi dasar, kami melihat bahwa sejumlah kecil finetuning meningkatkan kinerja pada MMLU, dan meningkatkan kemampuan model untuk mengikuti instruksi. Di Tabel 10, kami melaporkan hasil dari model instruksi kami LLaMA-I pada MMLU dan membandingkan dengan model finetuning instruksi yang ada dengan ukuran sedang, yaitu, OPT-IML (Iyer et al., 2022) dan seri Flan-PaLM (Chung et al., 2022). Semua angka yang dilaporkan berasal dari kertas yang sesuai. Terlepas dari kesederhanaan pendekatan finetuning instruksi yang digunakan di sini, kami mencapai 68,9% pada MMLU. LLaMA-I (65B) unggul pada MMLU model finetuned instruksi yang ada dengan ukuran sedang, tetapi masih jauh dari state-of-the-art, yaitu 77.4 untuk GPT code-davinci-002 pada MMLU (nomor yang diambil dari Iyer et al. (2022)). Detail kinerja pada MMLU pada 57 tugas dapat ditemukan di Tabel 16 dari lampiran. 5 Bias, Toksisitas dan Malinformasi Model bahasa besar telah ditunjukkan untuk mereproduksi dan memperkuat bias yang ada dalam data pelatihan (Sheng et al., 2019; Kurita et al., 2019), dan untuk menghasilkan konten beracun atau menyinggung (Gehman et al., 2020). Karena dataset pelatihan kami berisi sebagian besar data dari Web, kami percaya bahwa sangat penting untuk menentukan potensi model kami untuk menghasilkan konten tersebut. Untuk memahami bahaya potensial dari LLaMA-65B, kami menilai pada referensi yang berbeda yang mengukur produksi konten beracun dan deteksi stereotip. Sementara kami telah memilih beberapa referensi standar yang digunakan oleh komunitas model bahasa untuk menunjukkan beberapa masalah dengan model ini, penilaian ini tidak cukup untuk sepenuhnya memahami risiko yang terkait dengan model ini. 5.1 RealToxicitasPrompts Model bahasa dapat menghasilkan bahasa beracun, misalnya, penghinaan, ucapan kebencian atau ancaman. Ada berbagai macam konten beracun yang dapat dihasilkan model, membuat evaluasi menyeluruh menantang. Beberapa pekerjaan terbaru (Zhang et al., 2022; Hoffmann et al., 2022) telah mempertimbangkan benchmark RealToxicityPrompts (Gehman et al., 2020) sebagai indikator seberapa beracun model mereka. RealToxicityPrompts terdiri dari sekitar 100k prompts yang harus diselesaikan model; maka skor toksisitas secara otomatis dievaluasi dengan membuat permintaan ke PerspectiveAPI 3. Kami tidak memiliki kendali atas pipa yang digunakan oleh PerspectiveAPI pihak ketiga, membuat perbandingan dengan model sebelumnya sulit. Untuk masing-masing dari 100k prompts, kami sengaja menghasilkan dengan model kami, dan mengukur skor toksisitas mereka. Skor per prompts berkisar dari 0 (non-toksik) hingga 1 (toksik). Dalam Tabel 11, kami melaporkan skor rata-rata kami pada kategori promp dasar dan hormat RealToxicityPrompts. Skor ini "dibandingkan" dengan apa yang kita perhatikan dalam literatur (misalnya, 0.087 untuk Chinchilla) tetapi metodologi berbeda antara pekerjaan ini dan kita (dalam hal strategi sampling, jumlah prompts waktu dan API). Kami melihat bahwa toksisitas meningkat dengan ukuran model, terutama untuk Prompts yang hormat. Ini juga diamati dalam pekerjaan sebelumnya (Zhang et al., 2022), dengan pengecu 5.2 Kelompok Pasangan Kami mengevaluasi bias dalam model kami pada CrowSPairs (Nangia et al., 2020). Dataset ini memungkinkan untuk mengukur bias dalam 9 kategori: jenis kelamin, agama, ras / warna, orientasi seksual, usia, kebangsaan, cacat, penampilan fisik dan status sosial-ekonomi. Setiap contoh terdiri dari stereotip dan anti-stereotip, kami mengukur preferensi model untuk kalimat stereotip menggunakan kebingungan kedua kalimat dalam pengaturan nol shot. Skor yang lebih tinggi dengan demikian menunjukkan bias yang lebih tinggi. Kami membandingkan dengan GPT-3 dan OPT-175B dalam Tabel 12. LLaMA membandingkan sedikit menguntungkan pada rata-rata kedua model. Model kami sangat bias dalam kategori agama (+10% dibandingkan dengan OPT-175B), diikuti oleh usia dan jenis kelamin. Kami mengharapkan bias ini berasal dari CommonCrawl 5.3 Anggur Untuk menyelidiki lebih lanjut bias model kami pada kategori gender, kita melihat benchmark WinoGender (Rudinger et al., 2018), dataset resolusi ko-referensi. WinoGender terbuat dari skema Winograd, dan bias dievaluasi dengan menentukan apakah kinerja resolusi ko-referensi model dipengaruhi oleh jenis kelamin pronoun. Lebih tepatnya, setiap kalimat memiliki tiga pernyataan: “okupasi”, “pengikut”, dan “pronoun” di mana pronoun adalah ko-referensi atau profesi atau peserta. Kami mendesak model untuk menentukan hubungan ko-referensi dan mengukur apakah itu benar sesuai dengan konteks kalimat. Tujuannya adalah untuk mengungkapkan apakah bias sosial yang terkait dengan profesi telah dicatat oleh model. misalnya, sebuah kalimat dalam dataset WinoGender adalah “Perawat memberitahu pasien bahwa pergeseran akan berakhir dalam satu jam.”, yang diikuti oleh “Dia” merujuk ke. Kami kemudian membandingkan kebingungan dari kelanjutan perawat dan pasien untuk melakukan resolusi ko-referensi dengan model. Kami mengevaluasi kinerja ketika menggunakan 3 pronoun: “dia/dia/dia”, “dia/dia/dia” dan “dia/dia/dia/seseorang” (pilihan yang berbeda yang sesuai dengan fungsi gramatikal pronoun. Kami mencatat bahwa model kami jauh lebih baik dalam melakukan resolusi ko-referensi untuk pronoun "mereka / mereka / seseorang" daripada untuk pronoun "dia / dia / dia" dan "dia / dia / dia". pengamatan yang sama dilakukan dalam pekerjaan sebelumnya (Rae et al., 2021; Hoffmann et al., 2022), dan mungkin menunjukkan bias gender. Untuk menyelidiki lebih lanjut hipotesis ini, kita melihat serangkaian kasus “gotcha” untuk pronoun “dia/dia” dan “dia/dia” dalam dataset WinoGender. Kasus-kasus ini sesuai dengan kalimat di mana pronoun tidak sesuai dengan jenis kelamin mayoritas dari profesi, dan profesi adalah jawaban yang benar. Dalam Tabel 13, kita perhatikan bahwa model kami, LLaMA-65B, membuat lebih banyak kesalahan pada contoh-contoh gotcha, dengan jelas menunjukkan bahwa itu menangkap bias sosial yang terkait dengan jenis kelamin dan profesi. Penurunan kinerja ada untuk pronoun “dia/dia” dan “dia/dia”, yang menunjukkan bias terlepas dari jenis kelamin. 5.4 Kebenaran TruthfulQA (Lin et al., 2021) bertujuan untuk mengukur keaslian sebuah model, yaitu kemampuan untuk mengidentifikasi kapan klaim itu benar. Lin et al. (2021) mempertimbangkan definisi “benar” dalam arti “kebenaran harfiah tentang dunia nyata”, dan bukan klaim yang hanya benar dalam konteks sistem kepercayaan atau tradisi. Benchmark ini dapat mengevaluasi risiko sebuah model untuk menghasilkan informasi yang salah atau klaim palsu. Pertanyaan-pertanyaan ditulis dalam gaya yang beragam, mencakup 38 kategori dan dirancang untuk bertentangan. Di Tabel 14, kami melaporkan kinerja model kami pada kedua pertanyaan untuk mengukur model yang benar dan persimpangan yang benar dan informatif. Dibandingkan dengan GPT-3, model kami skor lebih tinggi di kedua kategori, tetapi tingkat jawaban yang benar masih rendah, menunjukkan bahwa model kami cenderung menghalusinasi jawaban yang salah 6 jejak karbon Pelatihan model kami telah mengkonsumsi sejumlah besar energi, bertanggung jawab atas emisi karbon dioksida. Kami mengikuti literatur terbaru tentang topik ini dan membagi kedua konsumsi energi total dan jejak karbon yang dihasilkan dalam Tabel 15. Kami mengikuti rumus untuk Wu et al. (2022) untuk memperkirakan Watt-jam, Wh, yang diperlukan untuk melatih model, serta ton emisi karbon, tCO2eq. Untuk Wh, kami menggunakan rumus: Wh = GPU-h × (konsumsi daya GPU) × PUE, Misalnya, BLOOM menggunakan grid yang mengeluarkan 0,057 kg CO2eq/KWh yang mengarah ke 27 tCO2eq dan OPT sebuah grid yang mengeluarkan 0,231 kg CO2eq/KWh, yang mengarah ke 82 tCO2eq. Dalam penelitian ini, kami tertarik untuk membandingkan biaya emisi karbon pelatihan dari model-model ini jika mereka dilatih di pusat data yang sama. tCO2eq = MWh × 0,385 Kami menerapkan rumus yang sama untuk OPT dan BLOOM untuk perbandingan yang adil. Untuk OPT, kami mengasumsikan pelatihan yang dibutuhkan 34 hari pada 992 A100-80B (lihat log mereka4 ). Akhirnya, kami memperkirakan bahwa kami menggunakan 2048 A100-80GB selama periode sekitar 5 bulan untuk mengembangkan model kami. Ini berarti bahwa mengembangkan model ini akan memiliki biaya sekitar 2.638 MWh di bawah asumsi kami, dan total emisi 1.015 tCO2eq. Kami berharap bahwa merilis model ini akan membantu mengurangi emisi karbon masa depan karena pelatihan sudah selesai, dan beberapa model relatif kecil dan dapat dijalankan pada GPU tunggal. 7 Pekerjaan terkait Model bahasa adalah distribusi probabilitas atas urutan kata, token, atau karakter (Shannon, 1948, 1951). Tugas ini, sering diatur sebagai prediksi token berikutnya, telah lama dianggap sebagai masalah inti dalam pemrosesan bahasa alami (Bahl et al., 1983; Brown et al., 1990). Karena Turing (1950) mengusulkan untuk mengukur kecerdasan mesin dengan menggunakan bahasa melalui “permainan imitasi”, pemodelan bahasa telah diusulkan sebagai referensi untuk mengukur kemajuan menuju kecerdasan buatan (Mahoney, 1999). Secara tradisional, model bahasa didasarkan pada statistik penghitungan n-gram (Bahl et al., 1983), dan berbagai teknik pelarasan diusulkan untuk meningkatkan perkiraan peristiwa langka (Katz, 1987; Kneser and Ney, 1995). Dalam dua dekade terakhir, jaringan saraf telah berhasil diterapkan pada tugas pemodelan bahasa, mulai dari model feed forward (Bengio et al., 2000), jaringan saraf berulang (Elman, 1990; Mikolov et al., 2010) dan LSTMs (Hochreiter and Schmidhuber, 1997; Graves, 2013). Lebih baru-baru ini, jaringan transformator, berdasarkan perhatian diri, telah menyebabkan perbaikan penting, terutama untuk menangkap ketergantungan jangka panjang (Vaswani et al., 2017; Radford et al., 2018; Dai et al., 2019). Architecture. Brants et al. (2007) menunjukkan manfaat menggunakan model bahasa yang dilatih pada 2 triliun token, menghasilkan 300 miliar n-gram, pada kualitas terjemahan mesin. Sementara pekerjaan ini bergantung pada teknik peluncur sederhana, yang disebut Stupid Backoff, Heafield et al. (2013) kemudian menunjukkan bagaimana untuk meluncur Kneser-Ney peluncur ke data skala Web. Scaling. Hal ini memungkinkan untuk melatih model 5 gram pada 975 miliar token dari CommonCrawl, menghasilkan model dengan 500 miliar n-gram (Buck et al., 2014). Chelba et al. (2013) memperkenalkan benchmark One Billion Word, sebuah dataset pelatihan skala besar untuk mengukur kemajuan model bahasa. Dalam konteks model bahasa neural, Jozefowicz et al. (2016) memperoleh hasil state-of-the-art pada benchmark Billion Word dengan mengukur LSTM ke 1 miliar parameter. Model yang menonjol termasuk BERT (Devlin et al., 2018), GPT-2 (Radford et al., 2019), MegatronLM (Shoeybi et al., 2019), dan T5 (Raffel et al., 2020). Sebuah terobosan signifikan dicapai dengan GPT-3 (Brown et al., 2020), sebuah model dengan 175 miliar parameter. Ini mengarah ke serangkaian Model Bahasa Besar, seperti Jurassic-1 (Lieber et al., 2021), Megatron-Turing NLG (Smith et al., 2022), Gopher (Rae et al., 2021), Chinchilla (Hoffmann et al., 2022), PaLM (Chowdhery et al., 2022), OPT (Zhang et al., 2022), dan GLM (Zeng et al., 2021). Hestness et al. (2017) dan Rosenfeld et al. (201 8 Kesimpulan Dalam makalah ini, kami memperkenalkan serangkaian model bahasa yang dirilis secara terbuka, dan bersaing dengan model dasar state-of-the-art. Yang paling menonjol, LLaMA-13B melampaui GPT-3 sementara lebih dari 10x lebih kecil, dan LLaMA-65B bersaing dengan Chinchilla-70B dan PaLM-540B. Tidak seperti studi sebelumnya, kami menunjukkan bahwa itu mungkin untuk mencapai kinerja state-of-the-art dengan pelatihan secara eksklusif pada data yang tersedia secara publik, tanpa menggunakan dataset data milik sendiri. Kami berharap bahwa merilis model ini ke komunitas penelitian akan mempercepat pengembangan model bahasa besar, dan membantu upaya untuk meningkatkan ketahanan mereka dan mengurangi masalah yang diketahui seperti toksisitas dan bias. Selain itu, kami mengamati seperti Chung et al. (2022) bahwa finetuning model ini pada instruksi menyebabkan hasil yang men Pengakuan Kami berterima kasih kepada Daniel Haziza, Francisco Massa, Jeremy Reizenstein, Artem Korenev, dan Patrick Labatut dari tim xformers. Kami berterima kasih kepada Susan Zhang dan Stephen Roller atas dukungan mereka dalam deduplikasi data. Kami berterima kasih kepada Luca Wehrstedt, Vegard Mella, dan Pierre-Emmanuel Mazaré atas dukungan mereka dalam stabilitas pelatihan. Kami berterima kasih kepada Shubho Sengupta, Kalyan Saladi, dan seluruh tim infra AI atas dukungan mereka. Kami berterima kasih kepada Jane Yu atas kontribusinya dalam evaluasi. Kami berterima kasih kepada Yongyi Hu atas bantuannya dalam pengumpulan data. Referensi Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le, dan Charles Sutton. Lalit R Bahl, Frederick Jelinek, dan Robert L Mercer. 1983. pendekatan probabilitas maksimum untuk pengenalan bicara berkelanjutan. Yoshua Bengio, Réjean Ducharme, dan Pascal Vincent. 2000. sebuah model bahasa probabilistik saraf. kemajuan dalam sistem pemrosesan informasi saraf, 13. Yonatan Bisk, Rowan Zellers, Jianfeng Gao, Yejin Choi, et al. 2020. Piqa: Reasoning about physical common sense in natural language. in Proceedings of the AAAI conference on artificial intelligence, pages 7432–7439. Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, et al. 2022. Thorsten Brants, Ashok C. Popat, Peng Xu, Franz J. Och, dan Jeffrey Dean. 2007. model bahasa besar dalam terjemahan mesin. dalam Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), halaman 858–867, Praha, Republik Ceko. Peter F Brown, John Cocke, Stephen A Della Pietra, Vincent J Della Pietra, Frederick Jelinek, John Lafferty, Robert L Mercer, dan Paul S Roossin. 1990. pendekatan statistik untuk terjemahan mesin. linguistik komputasi, 16(2):79–85. Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, dan Dario Amodei 2020. Christian Buck, Kenneth Heafield, dan Bas Van Ooyen. 2014. hitungan N-gram dan model bahasa dari crawl umum. Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn, dan Tony Robinson. 2013. Satu miliar kata benchmark untuk mengukur kemajuan dalam pemodelan bahasa statistik. arXiv preprint arXiv:1312.3005. Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, William Hebgen Guss, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Sutarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth, Ariel Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nicholino, Paino, Nikolas Tezak, Jie, Igor Tang Aakanksha Diawon Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Ghemawat, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sun Devipa, Henryk Michalewski, Xavier Garcia, Vedantra Misra, Kevin Robinson, Liam Fedus, Jason Zhou Den Hyung Won Chung, Le Hou, S. Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Dasha Valter, Sharan Narang, Gaurav Mishra, Adams Wei Yu, Vincent Zhao, Yanping Huang, Andrew M. Dai, Hongkun Yu, Petrov, Slav, Ed Huai hsin Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc Le, dan Jason Wei. Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins, dan Kristina Toutanova. 2019. Boolq: Mengeksplorasi kesulitan yang mengejutkan dari pertanyaan ya/tidak alami. arXiv print arXiv:1905.10044. Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, dan Oyvind Tafjord. 2018. Apakah Anda berpikir Anda telah menyelesaikan pertanyaan dengan menjawabnya? coba arc, tantangan argumen ai2. arXiv preprint arXiv:1803.05457. Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, et al. 2021. Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V Le, dan Ruslan Salakhutdinov. 2019. Transformer-xl: Model bahasa yang memperhatikan di luar konteks panjang tetap. arXiv preprint arXiv:1901.02860 Tri Dao, Daniel Y Fu, Stefano Ermon, Atri Rudra, dan Christopher Ré. 2022. flashattention: cepat dan memori efisien perhatian yang tepat dengan kesadaran io. arXiv praprint arXiv:2205.14135. Jacob Devlin, Ming-Wei Chang, Kenton Lee, dan Kristina Toutanova. 2018. Bert: Pre-training dari transformator dua arah yang mendalam untuk pemahaman bahasa. arXiv preprint arXiv:1810.04805. Jeffrey L Elman. 1990. menemukan struktur dalam waktu. ilmu kognitif, 14(2):179–211. Daniel Fried, Armen Aghajanyan, Jessy Lin, Sida Wang, Eric Wallace, Freda Shi, Ruiqi Zhong, Wentau Yih, Luke Zettlemoyer, dan Mike Lewis. 2022. Incoder: Sebuah model generatif untuk pengisian dan sintesis kode. arXiv preprint arXiv:2204.05999. Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, dan Connor Leahy. Leo Gao, Jonathan Tow, Stella Biderman, Sid Black, Anthony DiPofi, Charles Foster, Laurence Golding, Jeffrey Hsu, Kyle McDonell, Niklas Muennighoff, Jason Phang, Laria Reynolds, Eric Tang, Anish Thite, Ben Wang, Kevin Wang, dan Andy Zou. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi, dan Noah A Smith. 2020. Realtoxicityprompts: Evaluating neural toxic degeneration in language models. arXiv preprint arXiv:2009.11462. Alex Graves. 2013. Generasi urutan dengan jaringan saraf berulang. arXiv preprint arXiv:1308.0850. Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H Clark, dan Philipp Koehn. 2013. perkiraan model bahasa kneserney yang dapat dimodifikasi. dalam Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), halaman 690–696. Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, dan Jacob Steinhardt. Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, dan Jacob Steinhardt. 2021. pengukuran pemecahan masalah matematika dengan dataset matematika. arXiv preprint arXiv:2103.03874. Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md Patwary, Mostofa Ali, Yang Yang, dan Yanqi Zhou. Sepp Hochreiter dan Jürgen Schmidhuber. 1997. memori jangka pendek panjang. komputasi saraf, 9(8):1735–1780. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, dan Laurent Sifre. Srinivasan Iyer, Xi Victoria Lin, Ramakanth Pasunuru, Todor Mihaylov, Dániel Simig, Ping Yu, Kurt Shuster, Tianlu Wang, Qing Liu, Punit Singh Koura, et al. 2022. Mandar Joshi, Eunsol Choi, Daniel S Weld, dan Luke Zettlemoyer. 2017. Triviaqa: Dataset tantangan yang diawasi dari jarak jauh untuk pemahaman membaca. arXiv preprint arXiv:1705.03551. Rafal Jozefowicz, Oriol Vinyals, Mike Schuster, Noam Shazeer, dan Yonghui Wu. 2016. mengeksplorasi batas-batas pemodelan bahasa. arXiv preprint arXiv:1602.02410. Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, dan Dario Amodei. Slava Katz. 1987. perkiraan probabilitas dari data langka untuk komponen model bahasa pengenal bicara. transaksi IEEE pada akustik, bicara, dan pemrosesan sinyal, 35(3):400–401. Reinhard Kneser dan Hermann Ney. 1995. meningkatkan backing-off untuk pemodelan bahasa m-gram. pada tahun 1995 konferensi internasional tentang akustik, bicara, dan pemrosesan sinyal, volume 1, halaman 181–184. Vijay Korthikanti, Jared Casper, Sangkug Lym, Lawrence McAfee, Michael Andersch, Mohammad Shoeybi, dan Bryan Catanzaro. 2022. Taku Kudo dan John Richardson. 2018. Sentencepiece: Tokenizer dan detokenizer subword sederhana dan independen bahasa untuk pemrosesan teks saraf. arXiv preprint arXiv:1808.06226. Keita Kurita, Nidhi Vyas, Ayush Pareek, Alan W Black, dan Yulia Tsvetkov. 2019. Kuantifikasi bias sosial dalam representasi kata kontekstual. Di Workshop ACL 1st tentang bias gender untuk pemrosesan bahasa alami. Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, et al. 2019. Natural questions: a benchmark for question answering research. Transactions of the Association for Computational Linguistics, 7:453–466. Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang, dan Eduard Hovy. 2017. Race: Dataset pemahaman membaca skala besar dari ujian. arXiv praprint arXiv:1704.04683. Aitor Lewkowycz, Anders Johan Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Venkatesh Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari, dan Vedant Misra. Opher Lieber, Or Sharir, Barak Lenz, dan Yoav Shoham. 2021. Jurassic-1: rincian teknis dan evaluasi. buku putih. AI21 Labs, 1. Stephanie Lin, Jacob Hilton, dan Owain Evans. 2021. Truthfulqa: Mengukur bagaimana model meniru kebohongan manusia. arXiv preprint arXiv:2109.07958. Ilya Loshchilov dan Frank Hutter. 2017. regulasi penurunan berat badan yang terpisah. arXiv praprint arXiv:1711.05101. Matthew V Mahoney. 1999. kompresi teks sebagai tes untuk kecerdasan buatan. AAAI/IAAI, 970. Todor Mihaylov, Peter Clark, Tushar Khot, dan Ashish Sabharwal. 2018.Bolehkah baju besi mengarahkan listrik? sebuah dataset baru untuk menjawab pertanyaan buku terbuka. arXiv praprint arXiv:1809.02789. Tomas Mikolov, Martin Karafiát, Lukas Burget, Jan Cernocky, dan Sanjeev Khudanpur. 2010. Recur- ` menyewa model bahasa berbasis jaringan saraf. Dalam Interspeech, halaman 1045-1048. Makuhari. Nikita Nangia, Clara Vania, Rasika Bhalerao, dan Samuel R. Bowman. 2020. CrowS-pairs: Sebuah dataset tantangan untuk mengukur bias sosial dalam model bahasa yang disamarkan. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese, dan Caiming Xiong. 2022. Codegen: Sebuah model bahasa besar terbuka untuk kode dengan sintesis program multi-turn. arXiv preprint arXiv:2203.13474. Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Gray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, dan Ryan Lowe. 2022. Model bahasa pelatihan untuk mengikuti instruksi dengan umpan balik manusia. Markus N Rabe dan Charles Staats. 2021. Selfattention tidak memerlukan o(n 2 ) memori. arXiv preprint arXiv:2112.05682. Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. 2018 Meningkatkan pemahaman bahasa melalui pelatihan pra-generatif. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. 2019 Model bahasa adalah pengajar multitask yang tidak diawasi. blog OpenAI, 1(8):9. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Lisa Anne Hendricks, Maribeth Rauh, Po-Sen Huang, Amelia Glaese, Johannes Welblland, Simonyan, Sumanth Dathathri, Saffron Huang, Chris Blopher, Jonathan Uesato, Jeff He He, John Mellor, Irina Higgins, Antonia Oriwell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant Jayakumar, Elena Buchatskaya, David Budden, Esme Sutherland, Karenyan, Michela Paganini, Laurent S Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, dan Peter J Liu. 2020. Mengeksplorasi batas-batas pembelajaran transfer dengan transformator teks ke teks yang bersatu. The Journal of Machine Learning Research, 21(1):5485–5551. Jonathan S Rosenfeld, Amir Rosenfeld, Yonatan Belinkov, dan Nir Shavit. 2019. prediksi konstruktif dari kesalahan generalisasi di seluruh skala. arXiv praprint arXiv:1909.12673. Rachel Rudinger, Jason Naradowsky, Brian Leonard, dan Benjamin Van Durme. 2018. Bias gender dalam resolusi coreference. Dalam NAACL-HLT 2018. Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, dan Yejin Choi. 2021. Winogrande: Tantangan skema anggur yang menantang dalam skala. Komunikasi ACM, 64(9):99–106. Maarten Sap, Hannah Rashkin, Derek Chen, Ronan LeBras, dan Yejin Choi. 2019. Socialiqa: Argumentasi Commonsense tentang interaksi sosial. arXiv preprint arXiv:1904.09728. Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilic, Daniel Hesslow, Ro-' man Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. 2022. Bloom: Sebuah model bahasa multilingual akses terbuka 176bparameter. arXiv printable arXiv:2211.05100. Rico Sennrich, Barry Haddow, dan Alexandra Birch. 2015. terjemahan mesin saraf dari kata-kata langka dengan unit subword. arXiv preprint arXiv:1508.07909. Claude E. Shannon. 1948. teori matematika komunikasi. jurnal teknis sistem Bell, 27(3):379-423. Claude E. Shannon. 1951. prediksi dan entropia bahasa Inggris cetak. jurnal teknis sistem Bell, 30(1):50–64. Noam Shazeer. 2020. varian Glu meningkatkan transformator. arXiv preprint arXiv:2002.05202. Emily Sheng, Kai-Wei Chang, Premkumar Natarajan, dan Nanyun Peng. 2019. Wanita itu bekerja sebagai pengasuh bayi: Pada bias dalam generasi bahasa. arXiv preprint arXiv:1909.01326. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, dan Bryan Catanzaro. 2019. Megatron-lm: Pelatihan beberapa miliar model bahasa parameter dengan menggunakan paralelisme model. arXiv preprint arXiv:1909.08053. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zhang, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary, dan Bryan Catanzaro. Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, dan Yunfeng Liu. 2021. Roformer: Transformer yang ditingkatkan dengan embedding posisi rotasi. arXiv preprint arXiv:2104.09864. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, YaGuang Li, Hongrae Lee, Huaixiu Steven Zheng, Amin Ghafouri, Marcelo Menegali, Yanping Huang, Maxim Krikun, Dmitry Lepikhin, James Qin, Dehao Chen, Yuanzhong Xu, Zhifeng Chen, Adam Roberts, Maarten Bosma, Vincent Zhao, Yanqi Zhou, Chung-Ching Chang, Igor Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Laichee Man, Kathleen Me-Hellstern, Merith Ringel Morris, Tulsee Doshi, Renelito Delos Santos, A. M. Turing. 1950. mesin komputasi dan kecerdasan. [Oxford University Press, Mind Association]. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, dan Illia Polosukhin. 2017. Perhatian adalah semua yang Anda butuhkan. dalam Advances in Neural Information Processing Systems 30, halaman 5998–6008. Ben Wang dan Aran Komatsuzaki. 2021. GPT-J6B: A 6 Billion Parameter Autoregressive Language Model. https://github.com/kingoflolz/ mesh-transformer-jax. Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, dan Denny Zhou. Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. 2022. kemampuan muncul dari model bahasa besar. arXiv preprint arXiv:2206.07682. Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, dan Edouard Grave. 2020. CCNet: Mengekstrak set data monolingual berkualitas tinggi dari data crawl web. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga, Jinshi Huang, Charles Bai, et al. 2022. Sustainable ai: Implikasi Lingkungan, Tantangan dan Peluang. Proceedings of Machine Learning and Systems, 4:795–813. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, dan Yejin Choi. 2019. Hellaswag: Dapatkah sebuah mesin benar-benar menyelesaikan kalimat Anda? arXiv praprint arXiv:1905.07830. Aohan Zeng, Xiao Liu, Zhengxiao Du, Zihan Wang, Hanyu Lai, Ming Ding, Zhuoyi Yang, Yifan Xu, Wendi Zheng, Xiao Xia, Weng Lam Tam, Zixuan Ma, Yufei Xue, Jidong Zhai, Wenguang Chen, Peng Zhang, Yuxiao Dong, dan Jie Tang. Biao Zhang dan Rico Sennrich. 2019. normalisasi lapisan rata-rata persegi akar. Kemajuan dalam Sistem Pemrosesan Informasi Neural, 32. Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. 2022. Pertanyaan yang dijawab Kami mengevaluasi LLaMA pada pertanyaan alami dan TriviaQA. Untuk pertanyaan alami kami menggunakan tes split yang digunakan untuk pertanyaan domain terbuka yang berisi 3610 pertanyaan. Untuk TriviaQA kami mengevaluasi pada set developer dari set yang difilter. Ini berbeda dari GPT-3 dan PaLM, yang mengevaluasi pada set tes dari set yang tidak difilter untuk mana server evaluasi online tidak lagi tersedia5 . Kami menghasilkan jawaban menggunakan dekoding cemburu, dan mengekstrak jawaban dari generasi dengan menghentikan pada garis pertama break, dot final atau comma. Jawaban yang dihasilkan dievaluasi dengan metrik persis standar: jawaban yang dihasilkan dianggap benar jika sesuai dengan jawaban dari daftar jawaban setelah normalisasi. Untuk langkah normalisasi ini kami menurunkan jawaban yang dihasilkan dan menghapus artikel, titik dan duplikat whitespaces. Gambar 3 menyajikan b. mamu Generasi C dari LLaMA-65B Dalam bagian ini, kami menunjukkan beberapa contoh generasi yang diperoleh dengan LLaMA-65B (tanpa instruksi finetuning). Generasi D dari LLaMA-I Kami menunjukkan beberapa contoh generasi dengan LLaMA-I, yaitu LLaMA-65B disesuaikan dengan protokol dan dataset instruksi dari Chung et al. (2022). Dokumen ini tersedia di archiv di bawah lisensi CC by 4.0 Deed (Attribution 4.0 International). Kertas ini adalah dengan lisensi CC by 4.0 Deed (Attribution 4.0 International). Tersedia di Arsip