A legmodernebb teljesítmény elérése kizárólag a nyilvánosan elérhető adatokon alapuló képzéssel

LLaMA: Open and Efficient Foundation Language Models LLaMA: Nyílt és hatékony alapnyelvi modellek A szerzők: Hugo Touvron, Meta AI Thibaut Lavril, Meta AI Gautier Izacard, Meta AI Xavier Martinet, Meta AI Marie-Anne Lachaux, Meta AI Timothee Lacroix, Meta AI Baptiste Rozière, Meta AI Naman Goyal, Meta AI Eric Hambro, Meta AI Faisal Azhar, Meta AI Aurelien Rodriguez, Meta AI Armand Joulin Edouard Grave, Meta AI Guillaume Lample, Meta AI Authors: Hugo Touvron és Meta AI Thibaut Lavril, a Meta AI Gautier Izacard, Meta AI Xavier Martinet, a Meta AI Marie-Anne Lachaux és a Meta AI Timothee Lacroix és a Meta AI Baptiste Rozière, Meta AI Máté György, Meta AI Eric Hambro, a Meta AI Faisal Azhar, Meta AI Aurelien Rodriguez, a Meta AI Armand Joulin Edouard Grave, a Meta AI Guillaume Lample, Meta AI absztrakt Bemutatjuk az LLaMA-t, a 7B-től 65B-ig terjedő paraméterek közötti alapnyelvi modellek gyűjteményét. A modelljeinket billió tokeneken képezzük, és megmutatjuk, hogy a legkorszerűbb modelleket kizárólag nyilvánosan elérhető adatkészletekkel lehet képezni, anélkül, hogy saját és elérhetetlen adatkészletekre lenne szükség. Különösen az LLaMA-13B meghaladja a GPT-3 (175B) teljesítményét a legtöbb referenciaértékben, és az LLaMA65B versenyképes a legjobb modellekkel, Chinchilla-70B és PaLM-540B. Minden modellt kiadunk a kutatási közösségnek1 . 1 Bevezetés A nagy tokuages modellek (LLM-ek), amelyeket a szövegek hatalmas korpusain képeztek, bizonyították, hogy képesek új feladatokat végrehajtani a szöveges utasításokból vagy néhány példából (Brown et al., 2020). Ezek a kevés lövéses tulajdonságok először a megfelelő méretű modellek skálázásakor jelentek meg (Kaplan et al., 2020), ami egy olyan munkavonalat eredményez, amely a modellek további skálázására összpontosít (Chowdhery et al., 2022; Rae et al., 2021). Ezek az erőfeszítések még azon a feltételezésen alapulnak, hogy több paraméter vezet a jobb teljesítményhez. A Hoffmann et al. (2022) legutóbbi munkája azonban azt mutatja, hogy egy adott számítási költségvetés esetében a legjobb Ennek a munkának a középpontjában az a nyelvi modellek sorozata áll, amelyek a különböző következtetési költségvetésekben a lehető legjobb teljesítményt érik el, a szokásosnál több tokenre való képzés révén. Az eredményes modellek, az LLaMA-nak nevezett, 7B-től 65B-ig terjednek, versenyképes teljesítményűek a legjobb meglévő LLM-khez képest. Például az LLaMA-13B a legtöbb referenciaértéknél a GPT-3-t felülmúlja, annak ellenére, hogy 10x kisebb. Úgy gondoljuk, hogy ez a modell segít demokratizálni az LLM-ek hozzáférését és tanulmányozását, mivel egyetlen GPU-n futhat. A skála magasabb szélén a 65B-paraméter modellünk is versenyképes a legjobb nagy nyelvi mod Vannak bizonyos kivételek, különösen az OPT (Zhang et al., 2022), a GPT-NeoX (Black et al., 2022), a BLOOM (Scao et al., 2022) és a GLM (Zeng et al., 2022), de egyik sem versenyképes a PaLM-62B-vel vagy a Chinchillával. A papír többi részében áttekintjük a transzformátor architektúrájához (Vaswani et al., 2017), valamint a képzési módszerünket. Ezután jelentjük modelljeink teljesítményét, és összehasonlítjuk más LLM-kkel egy sor szabványos referenciaértékek alapján. Végül bemutatjuk a modelleinkben kódolt előítéleteket és toxicitást, a felelős AI közösség néhány legfrissebb referenciaértékével. 2 Megközelítés A képzési megközelítésünk hasonló az előző munkákban leírt módszerekhez (Brown et al., 2020; Chowdhery et al., 2022), és a Chinchilla skálázási törvények (Hoffmann et al., 2022) ihlette. 2.1 Előzetes képzés A képzési adatkészletünk több forrás keveréke, különösen az 1. táblázatban, amelyek különböző tartományokat fednek le. Legtöbbször olyan adatforrásokat használunk fel, amelyeket más LLM-ek képzésére használtak fel, korlátozással, hogy csak olyan adatokat használjunk, amelyek nyilvánosan elérhetők, és kompatibilisek a nyílt forrással. Öt CommonCrawl hulladékot előre feldolgoztunk, 2017 és 2020 között a CCNet csővezetékkel (Wenzek és társai, 2020). Ez a folyamat a vonalszintű adatokat megduplázza, nyelvi azonosítást végez egy gyorsText lineáris osztályozóval, hogy eltávolítsa a nem angol oldalakat, és alacsony minőségű tartalmakat szűr egy ngram nyelvi modellel. Ezenkívül egy lineáris modellt képeztünk a hivatkozásként használt oldalak osztályozására a Wikipédia vs. véletlenszerűen mintavételezett oldalakban, és a nem hivatkozásként osztályozott elhagyott oldalak. English CommonCrawl [67%] A felfedező kísérletek során megfigyeltük, hogy a különböző előzetesen feldolgozott CommonCrawl adatkészletek használata javítja a teljesítményt. Így a nyilvánosan elérhető C4 adatkészletet (Raffel et al., 2020) is belefoglaltuk az adatainkba. A C4 előzetes feldolgozása deduplikációs és nyelvi azonosítási lépéseket is tartalmaz: a fő különbség a CCNet-el a minőségszűrés, amely nagyrészt az olyan heurisztikákra támaszkodik, mint a pontszámok jelenléte vagy a szavak és mondatok száma egy weboldalon. C4 [15%]. A Google BigQuery-n elérhető nyilvános GitHub-adatkészletet használjuk. Csak az Apache, BSD és MIT licenc alatt terjesztett projekteket tartottuk meg. Ezenkívül az alfanumerikus karakterek vonalhosszán vagy arányán alapuló heurisztikával alacsony minőségű fájlokat szűrtünk, és a hengerlemezeket, például a fejléceket rendszeres kifejezésekkel távolítottuk el. Github [4.5%]. A 2022 június-augusztusi időszakból származó Wikipédia dobozokat adunk hozzá, amelyek 20 nyelvre terjednek ki, amelyek latin vagy cirill szkriptet használnak: bg, ca, cs, da, de, en, es, fr, hr, hu, it, nl, pl, pt, ro, ru, sl, sr, sv, uk. Az adatokat hiperhivatkozások, megjegyzések és egyéb formázás eltávolítására dolgozzuk fel. Wikipedia [4.5%]. A képzési adatkészletünkbe két könyvtárat is belefoglalunk: a Gutenberg projektet, amely nyilvános könyveket tartalmaz, és a ThePile Books3 szakaszát (Gao et al., 2020), egy nyilvánosan elérhető adatkészletet nagy nyelvi modellek képzésére. Gutenberg and Books3 [4.5%] Az arXiv Latex fájlok feldolgozásával tudományos adatokat adunk hozzá az adatkészletünkhöz. Lewkowycz et al. (2022) után mindent eltávolítottunk az első szakasz előtt, valamint a bibliográfiát. Továbbá eltávolítottuk a megjegyzéseket a .tex fájlokból, valamint a felhasználók által írt inline bővített definíciókat és makrókat a papírok közötti következetesség növelése érdekében. ArXiv [2.5%]. A Stack Exchange egy magas színvonalú kérdéseket és válaszokat tartalmazó weboldal, amely a számítógépes tudománytól a kémiaig terjedő különböző területekre terjed ki. Megtartottuk a 28 legnagyobb weboldal adatait, eltávolítottuk a HTML-címeket a szövegből, és a válaszokat pontszám szerint rendeztük (a legmagasabbtól a legalacsonyabbig). Stack Exchange [2%]. Az adatokat a bytepair kódolási (BPE) algoritmussal tokenizáljuk (Sennrich et al., 2015), a SentencePiece (Kudo és Richardson, 2018) implementációját használva. Tokenizer. Összességében az egész képzési adatkészletünk tokenizálás után körülbelül 1,4 tonna tokent tartalmaz. A legtöbb képzési adatunk esetében minden tokent csak egyszer használnak a képzés során, kivéve a Wikipédiát és a Könyvek tartományokat, amelyeken körülbelül két korszakot végzünk. 2.2 Építészet A nagy nyelvi modellekkel kapcsolatos közelmúltbeli munkát követően hálózatunk a transzformátor-architektúrára épül (Vaswani et al., 2017). A későbbiekben javasolt és különböző modellekben, például a PaLM-ben használt különböző fejlesztéseket használjuk fel. A képzés stabilitásának javítása érdekében normalizáljuk az egyes transzformátor alrétegek bemenetét, ahelyett, hogy normalizálnánk a kimenetet. Pre-normalization [GPT3] A teljesítmény javítása érdekében a Shazeer (2020) által bevezetett SwiGLU aktiválási funkcióval helyettesítjük a ReLU nem linearitását. SwiGLU activation function [PaLM]. Az abszolút pozícionális beágyazásokat eltávolítjuk, és helyette a Su et al. (2021) által bevezetett forgó pozícionális beágyazásokat (RoPE) adjuk hozzá a hálózat minden rétegéhez. Rotary Embeddings [GPTNeo]. 2.3 Optimalizálás A modelljeinket az AdamW optimalizálóval (Loshchilov és Hutter, 2017) képezzük, a következő hiperparaméterekkel: β1 = 0,9, β2 = 0,95. Használunk egy cosine tanulási sebesség ütemtervet, így a végső tanulási sebesség a maximális tanulási sebesség 10% -a. Használunk 0,1 súlyvesztést és 1,0 gradiens vágást. 2000 melegítő lépést használunk, és a tanulási sebességet és a tétel méretét a modell méretével változtatjuk meg (a részletekért lásd a 2. táblázatot). 2.4 Hatékony végrehajtás Több optimalizálást végzünk modelleink képzési sebességének javítása érdekében. Először is, az ok-okozati többfejű figyelem hatékony megvalósítását használjuk a memóriafelhasználás és a futási idő csökkentése érdekében. Ez a megvalósítás, amely az xformers könyvtárban található,2 Rabe és Staats (2021) által inspirált, és a Dao et al. (2022) visszamenőleges alkalmazását használja. Ezt úgy érjük el, hogy nem tároljuk a figyelem súlyait, és nem számítjuk ki a kulcs / lekérdezés pontszámokat, amelyek a nyelvi modellezési feladat ok-okozati jellege miatt el vannak álcázva. Annak érdekében, hogy tovább javítsuk a képzési hatékonyságot, csökkentettük a visszamenőleges átvitel során visszamenőlegesen számított aktiválások számát. Pontosabban, megtakarítjuk azokat az aktiválásokat, amelyek drágák a számításhoz, mint például a lineáris rétegek kimenetei. Ezt úgy érjük el, hogy manuálisan végrehajtjuk a transzformátorrétegek visszamenőleges funkcióját, ahelyett, hogy a PyTorch autogradra támaszkodnánk. Ahhoz, hogy teljes mértékben kihasználhassuk ezt az optimalizálást, csökkenteni kell a modell memóriaköltségét a modell és a szekvencia párhuzam használatával, ahogyan azt Korthikanti et al. (2022). Továbbá a lehető legnagyobb mértékben átfedjük az aktiválások kiszámítását és a GPU-k közötti kommunikációt a hálózaton keresztül (az all_reduce műveletek miatt). Amikor egy 65B-paraméteres modellt képzünk, kódunk körülbelül 380 token/sec/GPU-t dolgoz fel 2048 A100 GPU-n 80 GB RAM-mal. 3 Főbb eredmények A korábbi munkát követve (Brown és társai, 2020) figyelembe vesszük a nulla lövésű és kevés lövésű feladatokat, és jelentjük az eredményeket összesen 20 referenciamutatón: A feladat szöveges leírását és egy tesztpéldát adjuk meg. A modell vagy nyílt generációval ad választ, vagy rangsorolja a javasolt válaszokat. • Zero-shot. Néhány példát adunk a feladatról (1 és 64) és egy tesztpéldát.A modell ezt a szöveget a bemenetként használja, és a választ generálja, vagy különböző lehetőségeket sorol fel. • Few-shot. Összehasonlítjuk az LLaMA-t más alapmodellekkel, nevezetesen a nem nyilvánosan elérhető nyelvi modellekkel GPT-3 (Brown et al., 2020), Gopher (Rae et al., 2021), Chinchilla (Hoffmann et al., 2022) és PaLM (Chowdhery et al., 2022), valamint a nyílt forráskódú OPT modellekkel (Zhang et al., 2022), a GPT-J (Wang és Komatsuzaki, 2021), és a GPTNeo (Black et al., 2022). A 4. szakaszban röviden összehasonlítjuk az LLaMA-t az utasításokhoz igazított modellekkel, mint például az OPT-IML (Iyer et al., 2022) és a Flan-PaLM (Chung et al., 2022). A többválasztási feladatokban a cél az adott lehetőségek közül a legmegfelelőbb befejezés kiválasztása a megadott összefüggés alapján. A megadott összefüggés alapján a legmagasabb valószínűséggel kiválasztjuk a befejezést. Gao et al. (2021) követjük, és a befejezésben szereplő karakterek számával normalizált valószínűséget használjuk, kivéve bizonyos adatkészleteket (OpenBookQA, BoolQ), amelyekre Brown et al. (2020) követjük, és kiválasztunk egy befejezést a megadott befejezés valószínűségével normalizált valószínűség alapján „Válasz:” mint összefüggés: P(completion context)/P(completion “Awerns:”). 3.1 A józan ész értelmezése Nyolc szabványos értelmes érvelési referenciamutatót mérlegelünk: BoolQ (Clark et al., 2019), PIQA (Bisk et al., 2020), SIQA (Sap et al., 2019), HellaSwag (Zellers et al., 2019), WinoGrande (Sakaguchi et al., 2021), ARC easy and challenge (Clark et al., 2018) és OpenBookQA (Mihaylov et al., 2018). Ezek az adatkészletek közé tartoznak a Cloze és Winograd stílusú feladatok, valamint a többválasztási kérdések megválaszolása. A nyelvi modellezési közösségben elvégzett nulla lövés beállításban értékeljük. A 3. táblázatban összehasonlítjuk a különböző méretű meglévő modellekkel és a megfelelő papírokból származó jelentési számokat. Először is, az LLaMA-65B az összes bejelentett benchmarkon felülmúlja a Chinchilla-70B-t, de a BoolQ-t. Hasonlóképpen, ez a modell mindenhol felülmúlja a PaLM540B-t, de a BoolQ és a WinoGrande esetében. 3.2 Zárókönyvi kérdések Összehasonlítjuk az LLaMA-t a meglévő nagyméretű nyelvi modellekkel a két zártkönyv-kérdésre válaszoló referenciamutató alapján: Természetes kérdések (Kwiatkowski et al., 2019) és TriviaQA (Joshi et al., 2017). Mindkét referenciamutató esetében a zártkönyv-beállításban jelentjük a pontos mérkőzések teljesítményét, azaz ahol a modellek nem férnek hozzá a kérdés megválaszolásához szükséges bizonyítékokat tartalmazó dokumentumokhoz. A 4. táblázatban jelentjük a NaturalQuestions teljesítményét, az 5. táblázatban pedig a TriviaQA-t. Mindkét referenciamutató esetében az LLaMA-65B a legmodernebb teljesítményt jelentette a nulla lövés és a kevés 3.3 Az olvasás megértése A modelleket a RACE olvasási megértési referenciamutató alapján értékeltük (Lai et al., 2017). Ezt az adatkészletet angol nyelvű olvasási megértési vizsgákból gyűjtöttük össze, amelyeket közép- és középiskolai kínai diákok számára terveztek. A Brown et al. (2020) értékelési beállítását követjük, és az eredményeket a 6. táblázatban jelentjük. 4.3 Matematikai érvelés A modelleket két matematikai érvelési referenciaértékre értékeljük: a MATH (Hendrycks et al., 2021) és a GSM8k (Cobbe et al., 2021). A MATH 12K középiskolai és középiskolai matematikai problémák adatkészletét írja LaTeX-ben. A GSM8k a középiskolai matematikai problémák összessége. A 7. táblázatban összehasonlítjuk a PaLM-t és a Minervát (Lewkowycz et al., 2022). A Minerva egy sor PaLM-modell, amelyet az ArXiv és a Math weboldalakból kivont 38.5B tokenekre finetizálnak, míg sem a PaLM, sem az LLaMA nem finetizálnak matematikai adatokat. A PaLM és a Minerva számát a Lewkowycz et al. 3.5 Kód generáció Értékeljük modelljeink azon képességét, hogy két referenciaértékre kódot írjanak egy természetes nyelvi leírásból: HumanEval (Chen et al., 2021) és MBPP (Austin et al., 2021). Mindkét feladat esetében a modell néhány mondatban kapja meg a program leírását, valamint néhány bemeneti és kimeneti példát. A HumanEval-ban funkció aláírást is kap, és a prompt formázva van természetes kódként a szöveges leírással és teszteléssel docstringban. A modellnek olyan Python programot kell generálnia, amely megfelel a leírásnak és megfelel a teszt eseteknek. A 8. táblázatban összehasonlítjuk modelljeink pass@1 pontszámát a meglévő nyelvi modellekkel, amelyek nem finetizálták a kódot, nevezetesen Amint azt a 8. táblázat mutatja, hasonló számú paraméter tekintetében az LLaMA felülmúlja más általános modelleket, például a LaMDA-t és a PaLM-t, amelyek nem képzettek vagy nem finomhangoltak kifejezetten a kódhoz. Az 13B-s paraméterekkel rendelkező LLaMA és a többiek felülmúlják a LaMDA 137B-t mind a HumanEval, mind az MBPP-n. Az LLaMA 65B szintén felülmúlja a PaLM 62B-t, még akkor is, ha hosszabb ideig képzettek. Az ebben a táblázatban jelentett pass@1 eredmények 0.1-es hőmérsékletű mintavétellel készültek. Például a PaLM-Coder (Chowdhery et al., 2022) növeli a PaLM pas@1 pontszámát a HumanEvalon a PaLM 26,2% -ról 36% -ra. 3.6 Multitask nyelvtudás A Hendrycks et al. (2020) által bevezetett nagyméretű többfeladatos nyelvi megértési referenciamutató vagy MMLU a tudás különböző területeire kiterjedő többválasztási kérdésekből áll, beleértve a humán, a STEM és a társadalomtudományokat is. A modelljeinket az 5-shot beállításban értékeljük, a referenciamutató által biztosított példákat használva, és a 9. táblázatban jelentjük az eredményeket. Ezen referenciamutatón megfigyeljük, hogy az LLaMA-65B mind a Chinchilla70B, mind a PaLM-540B mögött néhány százalékkal áll átlagosan, és a legtöbb területen. Egy lehetséges magyarázat az, hogy korlátozott mennyiségű könyvet és tudományos papírt használtunk előképzési adatainkban 3.7 A teljesítmény alakulása a képzés során A képzés során a modellek teljesítményét néhány kérdésre adott válaszra és a józan észrevehetőségre vonatkozóan nyomon követjük, és a 2. ábrán jelentjük be őket. A legtöbb referenciaértéknél a teljesítmény folyamatosan javul, és összefügg a modell képzési zavarosságaival (lásd az 1. ábrát). A kivételek a SIQA és a WinoGrande. Leginkább a SIQA-nál megfigyeljük a teljesítmény sok eltérését, ami azt jelezheti, hogy ez a referenciaérték nem megbízható. A WinoGrande-en a teljesítmény nem összefügg sem a képzési zavarossággal: az LLaMA-33B és az LLaMA-65B hasonló teljesítményt mutat a képzés során. 4 Utasítás Finetuning Bár az LLaMA-65B nem finetuned verziója már képes az alapvető utasításokat követni, megfigyeljük, hogy egy nagyon kis mennyiségű finetuning javítja az MMLU teljesítményét, és tovább javítja a modell utasításokat követő képességét. Mivel ez nem a fókusz ebben a papíron, csak egyetlen kísérletet hajtottunk végre ugyanazon protokollt követve, mint Chung et al. (2022) az utasítási modell, az LLaMA-I képzésére. A 10. táblázatban beszámolunk az utasítási modell LLaMA-I eredményeiről az MMLU-n, és összehasonlítjuk a mérsékelt méretű meglévő utasítási finetuning modellekkel, nevezetesen az OPT-IML (Iyer et al., 2022) és a Flan-PaLM sorozat (Chung et al., 2022). Minden jelentett szám a megfelelő papírokból származik. Az itt használt utasítási finetuning megközelítés egyszerűsége ellenére az MMLU-n elérjük a 68,9%-ot. Az LLaMA-I (65B) a mérsékelt méretű meglévő utasítási finetuning modelleken felülmúlja az MMLU-t, de még mindig messze van a legkorszerűbbtől, azaz 77,4 a GPT kód- 5 Félreértések, toxicitás és félretájékoztatás A nagyméretű nyelvi modellek a képzési adatokban meglévő előítéleteket reprodukálják és erősítik (Sheng et al., 2019; Kurita et al., 2019), valamint mérgező vagy sértő tartalmakat generálnak (Gehman et al., 2020). Mivel képzési adatkészletünk a webről származó adatok nagy részét tartalmazza, úgy véljük, hogy kulcsfontosságú meghatározni a modellek számára az ilyen tartalmak generálásának lehetőségét. Ahhoz, hogy megértsük az LLaMA-65B potenciális káros hatásait, különböző referenciaértékek alapján értékeljük a mérgező tartalmak termelését és a sztereotípiák észlelését. Bár a nyelvi modellközösség által használt standard referenciaértékek közül néhányat kiválasztottunk, hogy jelez 5.1 Valódi toxicitás A nyelvi modellek mérgező nyelvet generálhatnak, például sértéseket, gyűlöletbeszédet vagy fenyegetéseket. Nagyon széles körű mérgező tartalom létezik, amelyet egy modell generálhat, így egy alapos értékelés kihívást jelent. Számos közelmúltbeli munka (Zhang et al., 2022; Hoffmann et al., 2022) a RealToxicityPrompts referenciamutatót (Gehman et al., 2020) a modell mérgező hatásának mutatójaként tekintette meg. Nincs ellenőrzésünk a harmadik fél PerspectiveAPI által használt csővezeték felett, ami megnehezíti a korábbi modellekhez való összehasonlítást. A 100k prompts mindegyikére kapkodva generáljuk a modelljeinket, és mérjük a toxicitási pontszámukat. A prompt pontszám 0 (nem mérgező) és 1 (mérgező) között változik. A 11. táblázatban jelentjük az alapvető és tiszteletteljes prompt kategóriákra vonatkozó átlagos pontszámunkat. Ezek a pontszámok „összehasonlíthatók” azzal, amit az irodalomban megfigyeltünk (pl. 0,087 Chinchilla esetében), de a módszerek különböznek ezektől a munkáktól és a miénk között (mint a mintavételi stratégia, a prompts idő és 5.2 Crows párok A CrowSPairs (Nangia és társai, 2020) modellünkben értékeljük az előítéleteket. Ez az adatkészlet lehetővé teszi, hogy 9 kategóriában mérjük a előítéleteket: nem, vallás, faj/szín, szexuális irányultság, életkor, nemzetiség, fogyatékosság, fizikai megjelenés és társadalmi-gazdasági státusz. Minden példát sztereotípiából és anti-sztereotípiából állítunk össze, a sztereotípiás mondat modellelőnyét a zéró ütemben mindkét mondat zavarossága segítségével mérjük. A magasabb pontszámok így magasabb előítéleteket jelentenek. A 12. táblázatban a GPT-3-vel és az OPT-175B-vel összehasonlítjuk. Az LLaMA-t kissé kedvezően 5.3 A szőlő A nemek kategóriájára vonatkozó modellünk előítéleteinek további vizsgálatához megvizsgáljuk a WinoGender referenciamutatót (Rudinger et al., 2018), a ko-referencia-felbontás adatkészletét. A WinoGender Winograd-rendszerből készül, és az előítéleteket annak meghatározásával értékelik, hogy egy modell ko-referencia-felbontási teljesítményét befolyásolja-e a közmondás neme. Pontosabban, minden mondatnak három megemlítése van: egy „foglalkozás”, egy „résztvevő”, és egy „közmondás”, ahol a közmondás a foglalkozást vagy a résztvevőt együtt utalja. Megkérdezzük a modellt, hogy határozza meg a közmondási kapcsolatot, és mérje meg, hogy helyes-e a A cél annak feltárása, hogy a foglalkozásokhoz kapcsolódó társadalmi előítéleteket rögzítette-e a modell. Például a WinoGender adatkészletben található egy mondat: „Az ápoló értesítette a beteget arról, hogy a váltás egy óra múlva véget ér.”, amelyet az „Ő” utal. Ezután összehasonlítjuk az ápoló és a páciens folytatásainak zavarosságát a modellrel való együttes referenciamegoldás elvégzéséhez. A teljesítményt 3 főnev használatakor értékeljük: „Ő/Ő/Ő”, „Ő/Ő/Ő/Ő” és „Ő/Ő/Ő/Ő/valaki” (a főnev nyelvtani funkciójának megfelelő különböző választások). Megfigyeljük, hogy modellünk lényegesen jobban teljesít a „ő/ő/valaki” előszavak együttes referencia-felbontásában, mint a „ő/Ő/Ő” és „Ő/Ő/Ő” előszavaknál. Hasonló megfigyelés történt a korábbi munkákban (Rae et al., 2021; Hoffmann et al., 2022), és valószínűleg a nemi előítéletre utal. Ennek a hipotézisnek a további vizsgálatához megvizsgáljuk a WinoGender adatkészletben szereplő „ő/Ő” és „Ő/Ő” előszavak „gotcha” eseteinek sorát. Ezek az esetek olyan mondatoknak felelnek meg, amelyekben a előszó nem egyezik meg a foglalkozás többségi nemével, és a foglalkozás a helyes válasz. A 13. táblázatban megfigyeljük, hogy a modellünk, az LLaMA-65B, több hibát követ el a gotcha példákon, világosan megmutatva, hogy a nemhez és foglalkozáshoz kapcsolódó társadalmi előítéleteket rögzíti. A teljesítmény csökkenése a „ő/Ő” és a „Ő/Ő” előszavak esetében létezik, ami a nemtől függetlenül a előítéleteket jelzi. 5.4 Igazság A TruthfulQA (Lin et al., 2021) célja, hogy mérje a modell igazságosságát, azaz annak képességét, hogy azonosítsa, amikor egy állítás igaz. Lin et al. (2021) fontolja meg a „igaz” meghatározását a „igazi világról szóló szó szerinti igazság” értelmében, és nem olyan állításokat, amelyek csak egy hitrendszer vagy hagyomány kontextusában igazak. Ez a referenciaérték felmérheti a modell kockázatát a félretájékoztatás vagy hamis állítások generálására. A kérdések változatos stílusban vannak megírva, 38 kategóriát fednek le, és ellentmondásosak. A 14. táblázatban beszámolunk modelleink teljesítményéről mindkét kérdésben, hogy mérjük a valós modelleket, valamint a valós és informatív közötti kereszteződést.A GPT-3-hez képest modellünk mindkét kategóriában magasabb pontszámot ér el, de a helyes válaszok aránya még mindig alacsony, ami azt mutatja, hogy modellünk valószínűleg hamis válaszokat hallucinál. 6 Szénlábnyom A képzés a modellek fogyasztott hatalmas mennyiségű energiát, felelős a szén-dioxid-kibocsátás. Követjük a legújabb irodalom a témában, és lebontani mind a teljes energiafogyasztás és a kapott szén-dioxid-lábnyom a 15. táblázatban. kövessük a képlet Wu et al. (2022) becsülni a Watt-óra, Wh, szükséges, hogy a képzés egy modell, valamint a tonna szén-dioxid-kibocsátás, tCO2eq. A Wh, használjuk a képletet: Wh = GPU-h × (GPU teljesítményfogyasztás) × PUE, Például a BLOOM egy olyan hálózatot használ, amely 0,057 kg CO2eq/KWh-t bocsát ki, ami 27 tCO2eq-t eredményez, és az OPT egy hálózatot, amely 0,231 kg CO2eq/KWh-t bocsát ki, ami 82 tCO2eq-t eredményez. tCO2eq = MWh × 0,385 Ugyanezt a képletet alkalmazzuk az OPT-re és a BLOOM-ra a méltányos összehasonlítás érdekében. Az OPT-re vonatkozóan 34 napos képzést feltételezünk a 992 A100-80B-re (lásd a naplóikat4 ). Végül becslésünk szerint 2048 A100-80GB-t használtunk körülbelül 5 hónapig modelljeink fejlesztésére. Ez azt jelenti, hogy ezeknek a modelleknek a fejlesztése a feltételezéseink szerint körülbelül 2,638 MWh-ba kerülne, és összesen 1,015 tCO2eq. Reméljük, hogy ezeknek a modelleknek a kiadása segít a jövőbeli szén-dioxid-kibocsátás csökkentésében, mivel a képzés már megtörtént, és néhány modell viszonylag kicsi 7 Kapcsolódó munkák A nyelvi modellek valószínűségi eloszlások a szavak, tokenek vagy karakterek szekvenciáiban (Shannon, 1948, 1951). Ezt a feladatot, amelyet gyakran a következő token-előrejelzésnek tekintik, régóta a természetes nyelvi feldolgozás alapvető problémájának tekintik (Bahl et al., 1983; Brown et al., 1990). Mivel Turing (1950) javasolta a gépi intelligencia mérését a „imitációs játék” segítségével, a nyelvi modellezést benchmarkként javasolták a mesterséges intelligencia felé tett haladás mérésére (Mahoney, 1999). Hagyományosan a nyelvi modellek az n-gram számlálási statisztikákon alapultak (Bahl et al., 1983), és különböző simító technikákat javasoltak a ritka események becslésének javítására (Katz, 1987; Kneser és Ney, 1995). Az elmúlt két évtizedben az ideghálózatokat sikeresen alkalmazták a nyelvi modellezési feladathoz, kezdve a feed forward modellektől (Bengio et al., 2000), az ismétlődő ideghálózatoktól (Elman, 1990; Mikolov et al., 2010) és az LSTM-ektől (Hochreiter és Schmidhuber, 1997; Graves, 2013). Továbbá a közelmúltban az önmegfigyelésen alapuló transzformáló hálózatok jelentős fejlesztésekhez vez Architecture. Van egy hosszú története skálázás nyelvi modellek, mind a modell és az adatkészlet méretét. Brants et al. (2007) megmutatta az előnyeit használata nyelvi modellek képzett 2 billió token, ami 300 milliárd n-gram, a minőségi gépi fordítás. Bár ez a munka támaszkodott egy egyszerű kiegyenlítő technika, az úgynevezett Stupid Backoff, Heafield et al. (2013) később megmutatta, hogyan kell skálázni Kneser-Ney kiegyenlítés a webes skála adatokat. Scaling. Ez lehetővé tette egy 5 grammos modell képzését 975 milliárd tokenről a CommonCrawl-ből, ami 500 milliárd n-grammal (Buck et al., 2014). Chelba et al. (2013) bevezette az One Billion Word referenciamutatót, egy nagyméretű képzési adatkészletet a nyelvi modellek előrehaladásának mérésére. A neurális nyelvi modellek összefüggésében Jozefowicz et al. (2016) a Billion Word referenciamutató legmodernebb eredményeit érte el az LSTM-ek 1 milliárd paraméterre való skálázásával. Később a skálázó transzformátorok számos NLP-tevékenység javításához vezetnek. Figyelemre méltó modellek közé tartozik a BERT (Devlin et al., 2018), a GPT-2 (Radford et al., 2019), a MegatronLM (Shoeybi et al., 2019), és a T5 (Raffel et al., 2020). Jelentős áttörést értek el a GPT-3 (Brown et al., 2020), egy modell 175 milliárd paraméterrel. Ez vezet a nagy nyelvi modellek sorozatához, mint például a Jurassic-1 (Lieber et al., 2021), a Megatron-Turing NLG (Smith et al., 2022), a Gopher (Rae et al., 2021), a Chinchilla (Hoffmann et al., 2022), a PaLM (Chowdhery et al., 2022), az OPT (Zhang et al., 2022), és a GLM ( 8 Következtetés Ebben a cikkben bemutattuk a nyílt nyelvi modellek sorozatát, amelyek a legmodernebb alapmodellekkel versenyképesek. A legfontosabb, hogy az LLaMA-13B a GPT-3-et több mint 10x kisebb, és az LLaMA-65B versenyképes a Chinchilla-70B-vel és a PaLM-540B-vel. A korábbi tanulmányoktól eltérően azt mutatjuk, hogy a legmodernebb teljesítményt kizárólag a nyilvánosan elérhető adatokra való képzéssel lehet elérni, anélkül, hogy saját adatkészletekre lenne szükség. Reméljük, hogy ezeknek a modelleknek a kutatási közösség számára történő kiadása felgyorsítja a nagyméretű nyelvi modellek fejlesztését, és segíti erőfeszítéseiket a robusztusságuk javításában és elismerések Köszönjük Daniel Haziza, Francisco Massa, Jeremy Reizenstein, Artem Korenev és Patrick Labatut az xformers csapatból. Köszönjük Susan Zhangnak és Stephen Rollernek az adatduplikációval kapcsolatos támogatásukat. Köszönjük Luca Wehrstedt, Vegard Mella és Pierre-Emmanuel Mazaré támogatását a képzési stabilitás terén. Köszönjük Shubho Sengupta, Kalyan Saladi és az összes AI infra csapat támogatását. Köszönjük Jane Yu hozzájárulását az értékeléshez. Köszönjük Yongyi Hu segítségét az adatgyűjtésben. Referenciák Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le és Charles Sutton. Lalit R. Bahl, Frederick Jelinek és Robert L. Mercer. 1983. A folyamatos beszédfelismerés maximális valószínűségi megközelítése. Yoshua Bengio, Réjean Ducharme és Pascal Vincent. 2000. A neuro-valószínűségi nyelvi modell. Yonatan Bisk, Rowan Zellers, Jianfeng Gao, Yejin Choi, et al. 2020. Piqa: A fizikai értelem természetes nyelven történő értelmezése. Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, et al. 2022 Gpt-neox-20b: Egy nyílt forráskódú autoregresszív nyelvi modell. arXiv előnyben arXiv:2204.06745. Thorsten Brants, Ashok C. Popat, Peng Xu, Franz J. Och és Jeffrey Dean. 2007. Nagyméretű nyelvi modellek gépi fordításban. A 2007-es Közös Konferencia a Természetes Nyelvfeldolgozás Empirikus Módszereiről és Számítástechnikai Természetes Nyelvtanulásról (EMNLP-CoNLL), 858–867, Prága, Cseh Köztársaság. Peter F. Brown, John Cocke, Stephen A Della Pietra, Vincent J Della Pietra, Frederick Jelinek, John Lafferty, Robert L. Mercer és Paul S. Roossin. 1990. A gépi fordítás statisztikai megközelítése. Számítási nyelvészet, 16(2):79–85. Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever és Dario Amodei 2020. Christian Buck, Kenneth Heafield és Bas Van Ooyen. 2014. N-gram számok és nyelvi modellek a közös crawl. Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn és Tony Robinson. 2013. Egy milliárd szó referenciaérték a statisztikai nyelvi modellezés előrehaladásának mérésére. arXiv preprint arXiv:1312.3005. Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, William Hebgen Guss, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Sutarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nicholino, Alex Paino, Nikolas Tezak, Jie, Igor Tanglecki Aakanksha Diawon Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sun Devipa, Henryk Michalewski, Xavier Garcia, Vedantra Misra, Kevin Robinson, Liam Fedus, Jason Zhou Denny Hyung Won Chung, Le Hou, S. Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Dasha Valter, Sharan Narang, Gaurav Mishra, Adams Wei Yu, Vincent Zhao, Yanping Huang, Andrew M. Dai, Hongkun Yu, Petrov, Slav, Ed Huai hsin Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc Le, Jason Wei és Jason Wei. 2022. Skálázás utasítás-finomított nyelvi modellek. Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins és Kristina Toutanova. 2019. Boolq: A természetes igen/nem kérdések meglepő nehézségeinek feltárása. arXiv preprint arXiv:1905.10044. Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick és Oyvind Tafjord. 2018. Gondolod, hogy megoldottad a kérdést a válaszadással? próbáld ki az arcot, az ai2 érvelési kihívást. arXiv preprint arXiv:1803.05457. Karl Cobbe, Vineet Kosaraju, Mohammad Bajor, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, et al. 2021. Képzési ellenőrzők matematikai szóproblémák megoldására. arXiv preprint arXiv:2110.14168. Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V Le és Ruslan Salakhutdinov. 2019. Transformer-xl: Figyelemre méltó nyelvi modellek a rögzített hosszúságú kontextuson túl. arXiv preprint arXiv:1901.02860 Tri Dao, Daniel Y Fu, Stefano Ermon, Atri Rudra és Christopher Ré. 2022. Flashattention: Gyors és memóriatakarékos pontos figyelem az io-tudatossággal. arXiv preprint arXiv:2205.14135. Jacob Devlin, Ming-Wei Chang, Kenton Lee és Kristina Toutanova. 2018. Bert: mély kétirányú transzformátorok előképzése a nyelv megértéséhez. arXiv előnyben arXiv:1810.04805. Jeffrey L. Elman. 1990. Az idő szerkezetének megtalálása. kognitív tudomány, 14(2):179–211. Daniel Fried, Armen Aghajanyan, Jessy Lin, Sida Wang, Eric Wallace, Freda Shi, Ruiqi Zhong, Wentau Yih, Luke Zettlemoyer és Mike Lewis. 2022. Incoder: Egy generatív modell a kód kitöltésére és szintézisére. arXiv preprint arXiv:2204.05999. Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser és Connor Leahy. Leo Gao, Jonathan Tow, Stella Biderman, Sid Black, Anthony DiPofi, Charles Foster, Laurence Golding, Jeffrey Hsu, Kyle McDonell, Niklas Muennighoff, Jason Phang, Laria Reynolds, Eric Tang, Anish Thite, Ben Wang, Kevin Wang és Andy Zou. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi és Noah A Smith. 2020. Realtoxicityprompts: Neural toxikus degeneráció értékelése nyelvi modellekben. arXiv preprint arXiv:2009.11462. Alex Graves. 2013. Folyamatok generálása ismétlődő ideghálózatokkal. arXiv előnyben arXiv:1308.0850. Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H Clark és Philipp Koehn. 2013. Skálázható módosított kneserney nyelvi modell becslés. Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song és Jacob Steinhardt. Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song és Jacob Steinhardt. 2021. A matematikai problémamegoldás mérése a matematikai adatkészlet segítségével. arXiv preprint arXiv:2103.03874. Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md Patwary, Mostofa Ali, Yang Yang és Yanqi Zhou. 2017. A mély tanulás skálázása kiszámítható, empirikusan. arXiv előnyben arXiv:1712.00409. Sepp Hochreiter és Jürgen Schmidhuber. 1997. Hosszú távú memória. Neurális számítás, 9(8):1735–1780. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals és Laurent Sifre. Srinivasan Iyer, Xi Victoria Lin, Ramakanth Pasunuru, Todor Mihaylov, Dániel Simig, Ping Yu, Kurt Shuster, Tianlu Wang, Qing Liu, Punit Singh Koura, et al. 2022 Opt-iml: Skálázó nyelvi modell oktatási meta tanulás az általánosítás lencse segítségével. arXiv előnyben arXiv:2212.12017. Mandar Joshi, Eunsol Choi, Daniel S Weld és Luke Zettlemoyer. 2017. Triviaqa: Nagy méretű, távolról felügyelt kihívásadatkészlet az olvasás megértéséhez. arXiv preprint arXiv:1705.03551. Rafal Jozefowicz, Oriol Vinyals, Mike Schuster, Noam Shazeer és Yonghui Wu. 2016. A nyelvi modellezés határainak feltárása. arXiv preprint arXiv:1602.02410. Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu és Dario Amodei. Slava Katz. 1987. A beszédfelismerő nyelvi modellelemének kevés adatból származó valószínűségek becslése. IEEE tranzakciók az akusztikában, a beszédben és a jelfeldolgozásban, 35(3):400–401. Reinhard Kneser és Hermann Ney. 1995. Javították az m-gram nyelvi modellezés támogatását. 1995-ben az akusztikáról, a beszédről és a jelfeldolgozásról szóló nemzetközi konferencián, 1. kötet, 181–184. oldal. Vijay Korthikanti, Jared Casper, Sangkug Lym, Lawrence McAfee, Michael Andersch, Mohammad Shoeybi és Bryan Catanzaro. 2022. A nagy transzformátoros modellekben az aktiválási számítás csökkentése. arXiv preprint arXiv:2205.05198. Taku Kudo és John Richardson. 2018. Sentencepiece: Egyszerű és nyelvi független alszó tokenizáló és detokenizáló a neurális szövegfeldolgozáshoz. arXiv preprint arXiv:1808.06226. Keita Kurita, Nidhi Vyas, Ayush Pareek, Alan W Black és Yulia Tsvetkov. 2019. A társadalmi előítéletek számszerűsítése a kontextusos szavak megjelenítésében. Az 1. ACL Workshop a nemi előítéletekről a természetes nyelvi feldolgozásban. Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee és társai 2019. Természetes kérdések: referenciaérték a kérdésekre válaszoló kutatások számára. Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang és Eduard Hovy. 2017. Verseny: nagy léptékű olvasási megértési adatkészlet a vizsgákból. arXiv előnyben arXiv:1704.04683. Aitor Lewkowycz, Anders Johan Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Venkatesh Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari és Vedant Misra. 2022. Kvantitatív érvelési problémák megoldása nyelvi modellekkel. Opher Lieber, Or Sharir, Barak Lenz és Yoav Shoham. 2021. Jurassic-1: Műszaki részletek és értékelés. Fehér könyv. AI21 Labs, 1. Stephanie Lin, Jacob Hilton, és Owain Evans. 2021. Truthfulqa: Mérés, hogy a modellek utánozzák az emberi hamisságokat. arXiv előnyben arXiv:2109.07958. Ilya Loshchilov és Frank Hutter. 2017. A párosított súlyvesztés szabályozása. arXiv előnyben arXiv:1711.05101. Matthew V. Mahoney. 1999. szöveges tömörítés mint a mesterséges intelligencia tesztje. AAAI/IAAI, 970. Todor Mihaylov, Peter Clark, Tushar Khot és Ashish Sabharwal. 2018. A páncél öltözete vezethet elektromosságot? egy új adatkészlet a nyílt könyv kérdéseinek megválaszolásához. arXiv preprint arXiv:1809.02789. Tomas Mikolov, Martin Karafiát, Lukas Burget, Jan Cernocky és Sanjeev Khudanpur. 2010. Recur- ` bérelt ideghálózaton alapuló nyelvi modell. Interspeech, oldalak 1045–1048. Makuhari. Nikita Nangia, Clara Vania, Rasika Bhalerao és Samuel R. Bowman. 2020. CrowS-pár: A társadalmi előítéletek mérésére szolgáló kihívás adatkészlet a maszkos nyelvi modellekben. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese és Caiming Xiong. 2022 Codegen: Nyílt nagy nyelvi modell a kódhoz többfordulós programszintézissal. arXiv preprint arXiv:2203.13474. Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Gray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike és Ryan Lowe. 2022. Képzési nyelvi modellek követni az utasításokat az emberi visszajelzést. Markus N. Rabe és Charles Staats. 2021. Az önbizalomnak nincs szüksége o(n 2) memóriára. arXiv előnyben arXiv:2112.05682. Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. 2018. A nyelvi megértés javítása generatív előképzéssel. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. 2019. A nyelvi modellek felügyelet nélküli multitask tanulók. OpenAI blog, 1(8):9. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Lisa Anne Hendricks, Maribeth Rauh, Po-Sen Huang, Amelia Glaese, Johannes Welblland, Simonyan, Sumanth Dathathri, Saffron Huang, Chris Blopher, Jonathan Korelia Uesato, John Mellor, Irina Higgins, Antonia Oriwell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant Jayakumar, Elena Buchatskaya, David Budden, Esme Sutherland, Karenyan, Michela Paganini, Laurent Sifre Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li és Peter J Liu. 2020. Az átadási tanulás határainak feltárása egy egységes szöveg-szöveg transzformátorral. A Machine Learning Research Journal, 21(1):5485–5551. Jonathan S. Rosenfeld, Amir Rosenfeld, Yonatan Belinkov és Nir Shavit. 2019. A skálák közötti általánosítási hiba konstruktív előrejelzése. arXiv preprint arXiv:1909.12673. Rachel Rudinger, Jason Naradowsky, Brian Leonard és Benjamin Van Durme. 2018. Nemek közötti előítélet a coreference felbontásban. A NAACL-HLT 2018-ban. Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula és Yejin Choi. 2021. Winogrande: Egy ellenséges szőlőültetvény kihívás méretben. Az ACM közleménye, 64(9):99–106. Maarten Sap, Hannah Rashkin, Derek Chen, Ronan LeBras és Yejin Choi. 2019. Socialiqa: Commonsense érvelés a társadalmi interakciókról. arXiv preprint arXiv:1904.09728. Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilic, Daniel Hesslow, Ro- ́ man Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. 2022. Bloom: A 176bparaméter nyílt hozzáférésű többnyelvű nyelvi modell. arXiv előnyben arXiv:2211.05100. Rico Sennrich, Barry Haddow és Alexandra Birch. 2015. ritka szavak neuro-gépes fordítása alszóegységekkel. arXiv előnyben arXiv:1508.07909. Claude E. Shannon. 1948. A kommunikáció matematikai elmélete. A Bell rendszer technikai folyóirata, 27(3):379–423. Claude E. Shannon. 1951. Előrejelzés és entrópiája nyomtatott angol. Bell rendszer technikai folyóirat, 30(1):50–64. Noam Shazeer. 2020. A Glu változatai javítják a transzformátort. arXiv előnyben arXiv:2002.05202. Emily Sheng, Kai-Wei Chang, Premkumar Natarajan és Nanyun Peng. 2019. A nő gyermekgondozóként dolgozott: A nyelvi generáció előítéleteiről. arXiv preprint arXiv:1909.01326. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper és Bryan Catanzaro. 2019. Megatron-lm: Több milliárd paraméteres nyelvi modellek képzése a modellparalelizmus használatával. arXiv preprint arXiv:1909.08053. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zhang, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary és Bryan Catanzaro. Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen és Yunfeng Liu. 2021. Roformer: Fokozott transzformátor forgó pozíció beágyazással. arXiv előnyben arXiv:2104.09864. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, YaGuang Li, Hongrae Lee, Huaixiu Steven Zheng, Amin Ghafouri, Marcelo Menegali, Yanping Huang, Maxim Krikun, Dmitry Lepikhin, James Qin, Dehao Chen, Yuanzhong Xu, Zhifeng Chen, Adam Roberts, Maarten Bosma, Vincent Zhao, Yanqi Zhou, Chung-Ching Chang, Igor Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Laichee Man, Kathleen Me-Hellstern, Merith Ringel Morris, Tulsee Doshi, Renelito Delos Santos, A. M. Turing 1950. számítástechnikai gépek és intelligencia [Oxford University Press, Mind Association]. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser és Illia Polosukhin. 2017. A figyelem minden, amire szükséged van. Ben Wang és Aran Komatsuzaki. 2021. GPT-J6B: A 6 milliárd paraméter Autoregresszív nyelvi modell. https://github.com/kingoflolz/ mesh-transformer-jax. Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery és Denny Zhou. 2022. Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. 2022. Nagy nyelvi modellek feltörekvő képességei. arXiv preprint arXiv:2206.07682. Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin és Edouard Grave. 2020. CCNet: Kivonat magas színvonalú egynyelvű adatkészletek webes lekérdezés adatait. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga, Jinshi Huang, Charles Bai, et al. 2022. Fenntartható AI: környezeti hatások, kihívások és lehetőségek. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi és Yejin Choi. 2019. Hellaswag: Egy gép valóban befejezi a mondatot? arXiv preprint arXiv:1905.07830. Aohan Zeng, Xiao Liu, Zhengxiao Du, Zihan Wang, Hanyu Lai, Ming Ding, Zhuoyi Yang, Yifan Xu, Wendi Zheng, Xiao Xia, Weng Lam Tam, Zixuan Ma, Yufei Xue, Jidong Zhai, Wenguang Chen, Peng Zhang, Yuxiao Dong és Jie Tang. Biao Zhang és Rico Sennrich. 2019. A gyökér átlagos négyzetréteg normalizálása. Előrelépések a neurális információfeldolgozó rendszerekben, 32. Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. 2022. Opt: Nyissa meg az előre képzett transzformátor nyelvi modelleket. arXiv preprint arXiv:2205.01068. Egy kérdésre válaszolva Értékeljük az LLaMA-t a Természetes Kérdésekről és a TriviaQA-t. A Természetes Kérdések esetében a 3610 kérdést tartalmazó nyílt tartományi kérdésekre használt teszteloszlást használjuk. A TriviaQA-ra a szűrt készlet fejlesztőkészletén értékeljük. Ez különbözik a GPT-3-től és a PaLM-től, amelyek a szűrt készlet tesztkészletén értékelik, amelyhez az online értékelési kiszolgáló már nem áll rendelkezésre5 . Válaszokat generálunk mohó dekódolással, és kivonunk egy választ a generációból az első vonal megszakításán, végponton vagy comma-on való megállás révén. A generált válaszokat a szabványos pontos mércével értékelik: a gener B MMLSZ C generáció LLaMA-65B Ebben a részben bemutatunk néhány példát az LLaMA-65B-vel kapott generációkról (az utasítások nélkül finetuning). D generációk a LLaMA-I-től Néhány példát mutatunk a generációk LLaMA-I, azaz LLaMA-65B finomított protokoll és utasítás adatkészlet Chung et al. (2022). Ez a dokumentum a CC by 4.0 Deed (Attribution 4.0 International) licenc alatt érhető el. Ez a dokumentum a CC by 4.0 Deed (Attribution 4.0 International) licenc alatt érhető el.