OPT-175B е сравнима с GPT-3, като изисква само 1/7 от въглеродния отпечатък

OPT: Open Pre-trained Transformer Language Models OPT: Отворени предварително обучени трансформаторски езикови модели на авторите: Сюзън Чанг, Meta AI (susanz@fb.com) Стивън Ролър, Meta AI (roller@fb.com) Наман Гоял, Мета АИ (naman@fb.com) Микел Артекс, Мета AI Моя Чен, Мета АИ Шухуи Чен, Мета АИ Кристофър Деван, Meta AI Mona Diab, Мета AI Xian Li, Мета AI Си Виктория Лин, Мета АИ Тодор Михайлов, Мета АИ Майкъл Оут, Мета AI Sam Shleifer, Meta AI Кърт Шустър, Meta AI Даниел Симиг, Meta AI Punit Singh Koura, Мета AI Анжали Сридар, Мета АИ Тианлу Уанг, Meta AI Люк Зетлемайер, Meta AI на авторите: Сюзън Чанг, Meta AI (susanz@fb.com) Стивън Ролър, Meta AI (roller@fb.com) Наман Гоял, Мета АИ (naman@fb.com) Микел Артекс, Мета AI Моя Чен, Мета АИ Шухуи Чен, Мета АИ Кристофър Деван, Meta AI Mona Diab, Мета AI Xian Li, Мета AI Си Виктория Лин, Мета АИ Тодор Михайлов, Мета АИ Майкъл Оут, Мета AI Сам Шлейфър, Meta AI Кърт Шустър, Meta AI Даниел Симиг, Meta AI Punit Singh Koura, Мета AI Анжали Сридар, Мета АИ Тианлу Уанг, Meta AI Люк Зетлемайер, Meta AI абстрактна Големите езикови модели, които често се обучават в продължение на стотици хиляди изчислителни дни, показват забележителни възможности за учене с нула и няколко удара. Като се има предвид тяхната изчислителна цена, тези модели са трудни за възпроизвеждане без значителен капитал. За малкото, които са достъпни чрез API, не се дава достъп до пълните тежести на модела, което ги прави трудни за изучаване. Представяме Open Pre-Trained Transformers (OPT), пакет от декодиращи само предварително обучени трансформатори, вариращи от 125M до 175B параметри, с които се стремим да споделяме напълно и отговорно с заинтересованите изследователи. Показваме, че OPT-175B е сравнима с GPT-3,1 и изисква само 1/7 от въгле 1 Въведение Големите езикови модели (LLMs), обучени върху масивни текстови колекции, показват изненадващи нововъзникващи възможности за генериране на текст и извършване на учене с нулеви и малки скорости (Brown et al., 2020; Lieber et al., 2021; Smith et al., 2022; Rae et al., 2021; Chowdhery et al., 2022). Този ограничен достъп ограничава способността на изследователите да изучават как и защо тези големи езикови модели работят, възпрепятствайки напредъка в подобряването на познатите предизвикателства в области като здравина, предразсъдъци и токсичност. В този технически доклад представяме Open Pretrained Transformers (OPT), набор от декодерно предварително обучени трансформатори, вариращи от 125M до 175B параметри, които целим да споделим напълно и отговорно с заинтересованите изследователи. Ние обучаваме OPT моделите да съответстват приблизително на производителността и размера на класа модели GPT-3, като същевременно прилагаме най-новите най-добри практики в събирането на данни и ефективното обучение. Нашата цел при разработването на този набор от модели OPT е да позволим възпроизве Определенията за риск, вреда, предразсъдъци и токсичност и т.н. трябва да бъдат формулирани от колективната изследователска общност като цяло, което е възможно само когато моделите са на разположение за проучване. Ние пускаме всички наши модели между параметрите 125M и 66B и ще предоставим пълен изследователски достъп до OPT-175B при поискване. Достъпът ще бъде предоставен на академични изследователи; тези, свързани с организации в правителството, гражданското общество и академичните среди; и тези в промишлените изследователски лаборатории. От тази реализация и от използването на най-новото поколение хардуер на NVIDIA, ние можем да разработим OPT-175B, като използваме само 1/7 от въглеродния отпечатък на GPT-3. Въпреки че това е значително постижение, разходите за енергия за създаване на такъв модел все още не са тривиални, а повтарящите се усилия за възпроизвеждане на модел от този размер само ще увеличат нарастващия изчислителен отпечатък на тези LLMs. Ние вярваме, че цялата общност на ИИ – академични изследователи, гражданско общество, политици и индустрия – трябва да работят заедно, за да разработят ясни насоки около отговорния ИИ като цяло и отговорни LLMs по-специално, като се има предвид тяхната централност в много приложения 2 Методи 2.1 Модели Представяме резултати по осем модела на Transformer език, вариращи от 125 милиона до 175 милиарда параметри. Архитектурни детайли са показани в Таблица 1.В интерес на прозрачността и за намаляване на риска от тренировъчни нестабилности, нашите модели и хиперпараметри до голяма степен следват Brown et al. (2020), с вариации в размера на партидата най-вече за постигане на повишена изчислителна ефективност. 2.2 Тренировъчен план За инициализацията на теглото следваме същите настройки, предвидени в кодовата база Megatron-LM,4 като използваме нормално разпределение с нулева средна и стандартно отклонение от 0,006. Стандартното отклонение за изходните слоеве се мащабират с термин 1.0/ √ 2L, където L е общият брой слоеве. Ние използваме AdamW оптимизатор (Loshchilov и Hutter, 2017) с (β1, β2) зададен на (0.9, 0.95), и загуба на тегло от 0.1. Ние следваме график за линейна скорост на обучение, затопляне от 0 до максималната скорост на обучение през първите 2000 стъпки в OPT-175B, или над 375M токени в нашите по-малки начални линии, и разпадане до 10% от максималния LR над 300B токени. Редица промени в средата на полета към LR също са били необходими (виж раздел 2.5). Размерите на нашите партиди варират от 0.5M до 4M в зависимост от размера на модела (виж таблица 1) и се поддържат постоянни през целия курс на обучение. Използваме пропуск от 0,1 през цялото време, но не прилагаме никакъв пропуск към вгражданията.Ние отрязваме нормите на градиента на 1,0, с изключение на някои промени в средата на полета, които намаляват този праг от 1,0 до 0,3 (виж раздел 2.5).Ние също така включваме фактор за предразпределение на градиента, за да намалим риска от над/под течение при изчисляване на градиента във всички редове (разделяне на разделянето по размер на света на N на две операции на разделяне от √ N). 2.3 Предварително обучение Corpus Предварителен корпус съдържа съвкупност от набори от данни, използвани в RoBERTa (Liu et al., 2019b), Pile (Gao et al., 2021a) и PushShift.io Reddit (Baumgartner et al., 2020; Roller et al., 2021). Всички корпуси преди това са били събрани или филтрирани, за да съдържат предимно английски текст, но малко количество неанглийски данни все още присъстват в корпуса чрез CommonCrawl. Ние премахнахме дублираните документи във всички набори от данни чрез филтриране на документи чрез MinhashLSH (Rajaraman и Ullman, 2011) с Jaccard сходство ≥ .95. Ние открихме, че Pile е почти пълен с дублирани документи и съветваме бъдещите изследователи, използващи Pile, да Ние включихме подсети BookCorpus (Zhu et al., 2015) и Stories (Trinh и Le, 2018) на корпуса на RoBERTa и използвахме актуализирана версия на CCNews, съдържаща новинарски истории, проследени до 28 септември 2021 г. Този корпус на CCNews v2 е предварително обработен по същия начин като оригиналния RoBERTa CCNews (Liu et al., 2019b). RoBERTa Ние включихме подкомплект от Pile (Gao et al., 2021a), включително: CommonCrawl, DM Mathematics, Project Gutenberg, HackerNews, OpenSubtitles, OpenWebText2, USPTO и Wikipedia. Други подкомплекти на Pile бяха елиминирани, тъй като открихме, че те увеличават риска от нестабилност, измерено от тенденцията да причиняват пикове в градиентни норми по скалата 1.3B, или бяха считани за неподходящи по друг начин. The Pile Включихме подкомплект от Pushshift.io corpus, произведен от Baumgartner et al. (2020) и преди това използван от Roller et al. (2021). За да конвертираме разговорните дървета в езикови-модел-достъпни документи, извадихме най-дългата верига от коментари във всяка нишка и изхвърлихме всички други пътища в дървото. PushShift.io Reddit 2.4 Ефективност на обучението Обучихме OPT-175B на 992 80GB A100 GPU, като използваме Parallel Data Parallel (Artetxe et al., 2021) с Megatron-LM Tensor Parallelism (Shoeybi et al., 2019). Докладвахме за използването на до 147 TFLOP/s на GPU. Запазваме състоянието на Адам в FP32, тъй като го разделяме на всички хостове, докато теглото на модела остава в FP16. За да избегнем подтоци, използвахме динамично скалиране на загуби, както е описано в Micikevicius et al. (2017). 2.5 Процес на обучение Тук ние описваме значителни корекции в процеса на обучение, които възникнаха по време на предварителното обучение на OPT-175B. Ние се сблъскахме със значителен брой хардуерни неуспехи в нашия изчислителен клъстер по време на обучението на OPT-175B. Като цяло хардуерните неуспехи допринесоха за най-малко 35 ръчни рестарти и преместването на над 100 домакини в продължение на 2 месеца. По време на ръчното рестартиране тренировката беше спряна и бяха проведени серия от диагностични тестове за откриване на проблемни възли. Hardware Failures Когато загубата се отклони, открихме, че намаляването на скоростта на учене и рестартирането от по-ранна контролна точка позволява на работата да се възстанови и да продължи обучението. Ние забелязахме корелация между загубата на отклонение, нашата динамична скала на загубата се срива до 0 и l 2 -нормата на активирането на окончателния слой. Тези наблюдения ни доведоха до избиране на точки за рестартиране, за които нашата динамична скала на загубата все още е в "здравословно" състояние (≥ 1.0), и след което нашите норми за активиране ще се движат надолу, вместо да растат неограничено. Нашият емпиричен LR график е показан на фигура 1. Ранно в обучението, ние също забелязахме, че понижаването на Loss Divergences Извършихме редица други експериментални промени в средата на полета, за да се справим с отклоненията от загубата. Те включват: превключване на ванилова SGD (оптимизацията се придвижи бързо и се върнахме към AdamW); нулиране на динамичния скалар на загубата (това помогна да се възстановят някои, но не всички отклонения); и превключване на по-нова версия на Megatron (това намали натиска върху нормите за активиране и подобри пропускателността). Other Mid-flight Changes 3 Оценки 4.1 Помощ и няколко изстрела Ние оценяваме нашия модел върху 16 стандартни NLP задачи, използвани в литературата: HellaSwag (Zellers et al., 2019), StoryCloze (Mostafazadeh et al., 2016), PIQA (Bisk et al., 2020), ARC Easy and Challenge (Clark et al., 2018), OpenBookQA (Mihaylov et al., 2018), WinoGrad (Levesque et al., 2011), WinoGrande (Sakaguchi et al., 2020), и SuperGLUE (Wang et al., 2019). Ние следваме GPT-3 (Brown et al., 2020) чрез използване на техните обаждания и цялостна експериментална конфигурация. Ние сравняваме главно с GPT-3, като целта е да се въведат отново задачите за оценка, но включват изпълнението на други LLM Като цяло виждаме, че нашата средна производителност следва тенденцията на GPT-3. Въпреки това, производителността може да варира радикално в рамките на задачите: за пълно разпадане, вижте Приложение А. Забележете, че ние умишлено премахнахме MultiRC и WIC от тези средни стойности, тъй като тези набори от данни изглеждат систематично да благоприятстват GPT-3 или OPT непропорционално. Нашата производителност приблизително съвпада с GPT-3 за 10 задачи и е недостатъчно изпълнена в 3 задачи (ARC Challenge и MultiRC). В 3 задачи (CB, BoolQ, OPSC) откриваме, че както GPT, така и OPT моделите показват непредсказуемо поведение по отношение на мащаба, вероятно поради малкия размер на валидацията Zero-shot Chinchilla (Hoffmann et al., 2022) и Gopher (Rae et al., 2021) изпълняват приблизително последователно с други за техните размери на параметрите, докато PaLM (Chowdhery et al., 2022) обикновено изпълнява по-добре във всички настройки, дори когато се контролира за броя на параметрите. Средната мулти-шот неконтекстна производителност е показана на фигура 4 (отново, без MultiRC и WIC), с подробно представяне, показано в приложение А. Средно на всички показатели, откриваме, че моделите OPT изпълняват подобно на моделите GPT-3. Въпреки това, както при нулошот, разделянето на тези резултати на задача показва различна история: в същия набор от 10 набора от данни като нулошот, виждаме подобна производителност в двата модела. Някои от останалите набори от данни показват непоследователна производителност по отношение на размера на модела както за OPT, така и за GPT-3 модели (BoolQ, CB, WSC, RTE). В MultiRC, ние последователно виждаме недостатъчно представяне на моделите OPT в сравнение с моделите One-shot and Few-shot 3.2 Диалог Като се има предвид, че LLM са известни като неразделна част от съвременните диалогови модели (Adiwardana et al., 2020; Roller et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Chowdhery et al., 2022), ние допълнително оценяваме OPT-175B върху няколко диалогови бази данни с отворен код. По-специално, ние следваме Roller et al. (2021), и оценяваме на ConvAI2 (Dinan et al., 2020b), Wizard of Wikipedia (Dinan et al., 2019b), Empatic Dialogues (Rashkin et al., 2019), и Blended Skill Talk (Smith et al., 2020). Ние допълнително оценяваме на по-новия Wizard на интернет набор от данни (Kiliome et al., Ние също така сравняваме с фино настроен R2C2 BlenderBot, 2.7B параметър BlenderBot-подобен модел, обучен от Shuster et al. (2022). Ние докладваме за объркване и Unigram F1 (UF1) припокриване, следвайки метриките на състезанието ConvAI2 (Dinan et al., 2020b). За да контролираме за различна токенизация във всеки от моделите, ние нормализираме всички обърквания да бъдат в пространството на токенизатора GPT-2 (Radford et al., 2019). Ние също така отбелязваме кои модели се наблюдават по отношение на тези диалогови задачи и кои са ненадзорни. За OPT-175B, всички поколения се извършват с помощта на алчно декодиране до максимум 32 токена. Резултатите са показани в таблица 2. Виждаме, че OPT-175B значително превъзхожда също таканенадзорния модел Reddit 2.7B по всички задачи и изпълнява конкурентно с напълно надзорния модел BlenderBot 1, особено в ConvAI2 набора от данни. Ние бяхме малко изненадани, че оценките на ненадзорния модел OPT-175B бяха толкова конкурентни, колкото BlenderBot 1 на набора от данни ConvAI2. Това може да показва изтичане на набора от данни ConvAI2 в общия предтренировъчен корпус или дори в данните за валидиране, както е оценено в Таблица 2. За да се отговори на притесненията за изтичане, ние търсихме нашия предтренировъчен корпус за първия разговор в набора от данни ConvAI2, но не намерихме никакво припокриване. Ние допълнително оценихме OPT-175B на скрития тест на ConvAI2, който никога не е бил публикуван публично, и постигнахме 10.7 ppl и .185 UF1, съответстващи на изпълнението на вали 4 Предразсъдъци и оценка на токсичността За да разберем потенциалната вреда на OPT-175B, ние оценяваме поредица от референтни показатели, свързани с откриването на речта на омразата, стереотипната осведоменост и генерирането на токсично съдържание.Въпреки че може да има недостатъци в тези референтни показатели (Blodgett et al., 2021; Jacobs and Wallach, 2021), тези измервания предоставят първа стъпка към разбирането на ограниченията на OPT-175B. Ние сравняваме главно с GPT-3 Davinci, тъй като тези референтни показатели все още не са налични, за да бъдат включени в Brown et al. (2020). 4.1 Откриване на речта на омразата Използвайки набора от данни ETHOS, предоставен в Mollas et al. (2020) и инструментиран от Chiu и Alexander (2021), ние измерваме способността на OPT-175B да идентифицира дали определени английски изявления са расистки или сексистки (или не и двете). В нулевите, единичните и малкото бинарни случаи моделът се представя с текст и се изисква да се разгледа дали текстът е расистки или сексистки и да се даде да/не отговор. Резултатите са представени в Таблица 3.С всичките ни конфигурации за еднократна употреба, OPT175B изпълнява значително по-добре от Davinci.Спекулираме, че това се случва от два източника: (1) оценяването чрез Davinci API може да доведе до механизми за контрол на безопасността извън оригиналния модел 175B GPT-3, използван в Brown et al. (2020); и (2) значителното присъствие на неумерени дискусии в социалните медии в предварителния набор от данни е осигурило допълнителни индуктивни предразсъдъци за подпомагане на такива задачи за класификация. 4.2 Кръстоносци двойки Разработен за маскирани езикови модели, CrowSPairs (Nangia et al., 2020) е референтен показател, насочен към измерване на предразсъдъците на нивото на интрасентентност в 9 категории: пол, религия, раса / цвят, сексуална ориентация, възраст, националност, увреждане, физически външен вид и социално-икономически статус. Всеки пример се състои от двойка изречения, представляващи стереотип или антистероид, по отношение на определена група, с цел измерване на предпочитанието на модела към стереотипни изрази. Когато се сравнява с Davinci в Таблица 4, OPT175B изглежда показва повече стереотипни предразсъдъци в почти всички категории, с изключение на религията. Отново, това вероятно се дължи на различия в данните за обучението; Nangia et al. (2020) показват, че Pushshift.io Reddit корпус има по-висока честота за стереотипи и дискриминационен текст, отколкото други corpora (напр. Wikipedia). Като се има предвид, че това е първичен източник на данни за OPT-175B, моделът може да е научил повече дискриминационни асоциации, което пряко влияе върху изпълнението му върху CrowS-Pairs. 4.3 Стереотипи След Lieber et al. (2021) и Artetxe et al. (2021), ние използваме StereoSet (Nadeem et al., 2021) за измерване на стереотипни предразсъдъци в 4 категории: професия, пол, религия и раса. В допълнение към измерването на интрасенцията (подобно на CrowSPairs), StereoSet включва измерване на ниво на интерсенция, за да тества способността на модела да включва допълнителен контекст. Language Modeling Score (LMS) и Stereotype Score (SS), които след това се комбинират, за да образуват идеализирания контекст на асоциацията (ICAT). За разлика от Lieber et al. (2021), ние нормализираме резултатите по броя на токените, а не по броя на знаците, което те съобщават подобрява показателите за няколко модела. Резултатите са показани в Таблица 5. Виждаме, че Davinci и OPT-175B показват сходни резултати на агрегата (общо ICAT е много близо между двете). По-специално, Davinci превъзхожда в областта на професията и расата, докато OPT-175B превъзхожда в областта на пола и религията. OPT175B изпълнява по-добре на борда на SS метриката 4.4 Реална токсичност В бъдеще оценяваме специфичната тенденция на OPT-175B да реагира с токсичен език чрез набора от данни RealToxicityPrompts (Gehman et al., 2020) . След това PaLM (Chowdhery et al., 2022), ние вземаме проби от 25 поколения от 20 токена с помощта на изваждане на ядра (Holtzman et al., 2020) (p = 0.9) за всеки от 10 000 случайно взети проби от RTP и съобщаваме за средните вероятности за токсичност на продълженията, стратифицирани през кубкови токсичности на оригиналните проби. За сравнение, съобщаваме за процентите на токсичност с кубче от Davinci и PaLM. Резултатите са показани на фигура 5. Като цяло виждаме, че OP 4.5 Диалогови оценки на безопасността Накрая, ние сравняваме OPT-175B с две оценки за безопасност на диалога. Първият, SaferDialogues (Ung et al., 2021), измерва способността да се възстанови от изрични неуспехи в сигурността, обикновено под формата на извинение или признаване на грешката си. Вторият, Safety Bench Unit Tests (Dinan et al., 2021), измерва колко несигурен е отговорът на модела, стратифициран в 4 нива на чувствителност към темата: Safe, Realistic, Unsafe и Adversarial. Както при другите диалогови оценки (раздел 3.2), ние сравняваме с няколко съществуващи модела за диалог с отворен код. Резултатите за двата експеримента са показани в таблица 6. Ние наблюдаваме, че OPT-175B има 5 Ограничения В раздели 3.1 и 4 извършихме обширна оценка на всички пуснати модели в различни мащаби. Видяхме паритет в изпълнението за стандартните набори от данни за оценка, използвани в моделите GPT-3. Освен това извършихме оценки за безопасност, предразсъдъци и включване, отново виждайки до голяма степен сравними резултати с някои вариации в токсичността и откриването на речта на омразата. Въпреки това такива оценки може да не характеризират напълно пълните ограничения на тези модели. Като цяло наблюдаваме качествено, че OPT-175B страда от същите ограничения, отбелязани в други LLMs (Brown et al., 2020; Lieber et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Smith et al., 2022; Chowdhery et al., 2022 Помощта с такива инструкции има тенденция да произвежда симулация на диалог, който започва с такава инструкция, а не изпълнение на инструкцията. Бъдещата работа в обучението на инструкциите, във вената на InstructGPT (Ouyang et al., 2022), може да облекчи тези ограничения. OPT-175B също има тенденция да бъде повтарящ се и лесно може да се заплита в една верига. Докато вземането на проби може да намали честотата на повтарящо се поведение (Holtzman et al., 2020), анекдотично открихме, че не го елиминира напълно, когато се взема проба само от едно поколение. Бъдещата работа може да иска да включва по-модерни стратегии за намаляване на повторението и подобряване на разнообразието Подобно на други LLMs, OPT-175B може да произвежда фактически неверни изявления (Adiwardana et al., 2020; Brown et al., 2020; Roller et al., 2021; Rae et al., 2021; Chowdhery et al., 2022; Thoppilan et al., 2022). Това може да бъде особено вредно в приложения, където точността на информацията е от решаващо значение, като например здравеопазването и научното откритие (Weidinger et al., 2021b). Напоследък няколко усилия са докладвали, че моделите с повишено възстановяване могат да подобрят фактическата коректност на LLMs (Lewis et al., 2020; Komeili et al., 2021; Thoppilan et al., 2022; Borgeaud et al., 2021; Shuster et al., 2022; Nakano et al Има много работа по смекчаване на токсичността и предразсъдъците (Dathathri et al., 2019; Dinan et al., 2019a; Sheng et al., 2019; Dinan et al., 2020a; Liu et al., 2019a; Krause et al., 2020; Xu et al., 2020; Liang et al., 2021; Dinan et al., 2021a; Xu et al., 2021a; Dhamala et al., 2021a; Schick et al., 2021; Ouyang et al., 2022). В зависимост от приложенията надолу по веригата, бъдещите приложения на OPT-175B може да се нуждаят от използване на тези или нови подходи за смекчаване, особено преди всяко разгръщане в реалния свят. Като се има предвид нашата основна цел като репликация на GPT-3, ние избираме да не прилагаме тези Въпреки включването на листове с данни и карти с модели, ние вярваме, че на данните за обучение с допълнителни характеристики на данните и критерии за подбор трябва да се даде по-голям контрол, за да се използват данните отговорно. Настоящата практика е да се захранва модела с възможно най-много данни и минимален избор в рамките на тези набори от данни. Въпреки че имаме всеобхватни оценки, в идеалния случай бихме имали по-рационализирани и последователни настройки за оценка, за да се гарантира повторяемостта и възпроизвеждамостта на сценариите за оценка. Разликите в стиловете за насърчаване и броя на снимките за обучение в контекста могат да създадат вариации, които водят до различни резултати. 6 Съображения за освобождаване Следвайки препоръките за отделни изследователи, генерирани от Партньорството за AI,7 заедно с насоките за управление, очертани от NIST,8 ние разкриваме всички подробности, свързани с обучението на OPT-175B чрез нашия дневник,9 нашия код, и предоставяме на изследователите достъп до моделни тежести за OPT-175B, заедно с по-малки базисни линии, отразяващи настройката за OPT175B. Стремим се да бъдем напълно отговорни за жизнения цикъл на разработването на OPT-175B и само чрез увеличаване на прозрачността около разработването на LLM можем да започнем да разбираме ограниченията и рисковете на LLM, преди да се случи по-широко разгръщане. Чрез споделяне на подробно описание на нашия ежедневен тренировъчен процес, ние разкриваме не само колко компютър е бил използван за обучение на текущата версия на OPT-175B, но и човешкия обем, необходим, когато основната инфраструктура или самият процес на обучение става нестабилен по мащаб. Тези подробности обикновено се изпускат от предишни публикации, вероятно поради невъзможността напълно да се намалят промените, направени в средата на полета (без Извън тези бележки, самата кодова база metaseq е крайният източник на истина в много от нашите детайли за изпълнение. С освобождаването на нашата кодова база за разработване, ние се стремим да хвърлим светлина върху всеки детайл за изпълнение, който може да е бил пропуснат от изрично изброяване в тази статия, тъй като той или се счита за детайл от стандартната практика в областта, или е просто детайл, който не успяхме да разберем. За да се даде възможност за експериментиране в мащаб 175B, ние предоставяме на изследователите директен достъп до параметрите на OPT-175B. Причината тук е двойна: да се даде възможност за отговорно изследване на ИИ в LLMs, като същевременно се намали въздействието върху околната среда на провеждането на изследвания в този мащаб. Има нарастваща работа, която описва етичните и социалните рискове от разгръщането на езикови модели с нововъзникващи възможности в мащаб (Weidinger et al., 2021a; Bommasani et al., 2021; Dinan et al., 2021; Kenton et al., 2021). Чрез ограничаване на достъпа до OPT-175B до изследователската общност с нетърговска лицензия, ние се стремим да съсредоточим усили Освен това съществуват значителни изчислителни и въглеродни разходи за възпроизвеждане на модели от този размер. Докато OPT-175B е разработен с приблизително 75 тона въглероден отпечатък (CO2eq),10 GPT-3 се оценява да използва 500 тона (Patterson et al., 2021), докато Gopher изисква 380 тона (Rae et al., 2021). Тези оценки не се съобщават универсално, а методологиите за отчитане на тези изчисления също не са стандартизирани. Освен това обучението на моделите е само един компонент от общия въглероден отпечатък на AI системи; трябва също така да обмислим експериментирането и евентуалните разходи за извод, които допринасят за нарастващия енергиен отпечатък от създаването на мащабни С пускането на нашия дневник се надяваме да подчертаем разликата между теоретичната оценка на разходите за въглерод, която не предполага хардуерни неуспехи или тренировъчна нестабилност, срещу тази, която има за цел да включва целия жизнен цикъл на разработването на LLM. Трябва да разберем производството (или въплътения) въглерод на тези системи (Gupta et al., 2021) като те стават все по-сложни, и се надяваме, че нашата статия може да помогне на бъдещата работа за определяне на допълнителни фактори, които да се вземат предвид при измерването на въздействието на мащаба върху околната среда. По същия начин, като произвеждаме набор от базови линии в широк кръг от мащаби, ние се надяваме да позволим на по-широката изследователска общност да проучи въздействието и ограниченията на тези модели по отношение на мащаба сам. Както се съобщава в Hoffmann et al. (2022), много от тези LLM може да са били недостатъчно обучени като функция на количеството използвани данни за обучение, което означава, че включването на повече данни и продължаването на обучението на тези базови модели може да продължи да подобрява производителността. Има и доказателства, че стъпка-функционалните промени в способностите могат да възникнат в мащаб, който е много по-малък от 175B (Wei et al., 2021), което показва необходимостта от изследване на по-широк 7 Свързани дейности От публикуването на архитектурата Transformer (Vaswani et al., 2017) и BERT (Devlin et al., 2019), областта на NLP е претърпяла масивна промяна към използването на LLMs с самонаблюдавано предварително обучение. Многобройни маскирани модели на langauge, включително T5 (Raffel et al., 2020) и MegatronLM (Shoeybi et al., 2019), показаха последователни подобрения в мащаба. Тези печалби от мащаба идват не само от увеличаването на общия брой параметри в моделите, но и от количеството и качеството на данните за предварително обучение (Liu et al., 2019b; Hoffmann et al., 2022). Авторегресивните езикови модели (Mikolov et al., 2009) са видели най-голям растеж на Полученото масивно подобрение в генериращата течност и качество първо се характеризира с GPT-2 (Radford et al., 2019) и допълнително се подобрява с GPT-3 (Brown et al., 2020) и по-късни модели. Въпреки че сега са обучени различни много големи (над 100B параметри) генериращи модели (Lieber et al., 2021; Rae et al., 2021; Thoppilan et al., 2022; Smith et al., 2022; Chowdhery et al., 2022), всички те са затворени и достъпни само вътрешно или чрез платени API услуги. Има няколко забележителни усилия за откриване на LLM от нестопански изследователски организации, включително EleutherAI (Black et al., 2022) и BigScience.11 Тези модели се различават от моделите OPT в данните за предварително обучение, целевите езици и мащаба на модела, което позволява на общността да сравнява различни стратегии за предварително обучение. Тъй като Brown et al. (2020), основният критерий за оценка за LLMs е базиран на моменти (Black et al., 2022; Rae et al., 2021; Chowdhery et al., 2022), както се извършва и в тази статия. Това се дължи главно на удобството на оценяването на много задачи без специализирано специфично фино настройване. Prompting има дълга история: оценките на ключалките вървят няколко десетилетия назад (Chambers и Jurafsky, 2008; Mostafazadeh et al., 2016). По-скоро, prompting или маскирано попълване Резултатите варират значително и непредсказуемо с избора на сигнал (Lu et al., 2021), а моделите не изглеждат да разбират сигналите толкова напълно, колкото очакваме (Webson и Pavlick, 2021). Освен това е предизвикателство да се пишат сигнали без набор от разработки, което води до въпроси за степента, до която всъщност постигаме учене с нула или малко удари на практика (Perez et al., 2021). Ние не се опитваме да се справим с тези притеснения за сигнализиране, а вместо това се стремим само да предоставим оценка на OPT-175B в съществуващи настройки. Въпреки това се надяваме, че пълното освобождаване на OPT-175B ще позволи на другите да изучават по-добре тези предизвикателства в бъдеще. 8 Заключения В този технически доклад представихме OPT, колекция от авторегресивни езикови модели, вариращи от 125M до 175B параметри. Целта ни беше да възпроизведем производителността и размерите на GPT-3 клас модели, като същевременно прилагаме най-новите най-добри практики в областта на обработката на данни и ефективността на обучението. Описахме подробности за обучението, оценихме производителността в редица НЛП и диалогови настройки и характеризираме поведението по отношение на предразсъдъците, токсичността и речта на омразата. Ние също така описахме много други ограничения, които моделите имат, и обсъдихме широк набор от съображения за отговорно освобождаване на моделите. Ние вярваме, че цялата общност на ИИ ще се възползва Признания Бихме искали да благодарим на Scott Jeschonek, Giri Anantharaman, Diego Sarina, Joaquin Colombo, Chris Bray, Stephen Roylance, Kalyan Saladi, Shubho Sengupta и Brian O’Horo за помощта за премахване на инфраструктурните блокери по пътя; Percy Liang, Rishi Bommasani, и Emily Dinan за дискусиите относно отговорните практики за освобождаване от отговорност; Carole-Jean Wu за дискусиите относно устойчивостта и съображенията за въглеродния отпечатък; Srini Iyer, Ramakanth Pasunuru и Shruti Bhosale за предишните си приноси в оценките; Benjamin Lefaudeux, Geeta Chauhan, Natalia Gimelshein, Horace, Heace и Sam Gross за дискусиите относно работата по подобряване Референции Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. 2020. Към човек-подобен чат-бот с отворен домейн. arXiv предварително отпечатан arXiv:2001.09977. Mikel Artetxe, Shruti Bhosale, Naman Goyal, Todor Mihaylov, Myle Ott, Sam Shleifer, Xi Victoria Lin, Jingfei Du, Srinivasan Iyer, Ramakanth Pasunuru, Giri Anantharaman, Xian Li, Shuohui Chen, Halil Akin, Mandeep Baines, Louis Martin, Xing Zhou, Punit Singh Koura, Brian O’Horo, Jeff Wang, Luke Zettlemoyer, Mona T. Diab, Zornitsa Kozareva, и Ves Stoyanov. 2021. Ефективно мащабно езиково моделиране със смеси от експерти. Jason Baumgartner, Savvas Zannettou, Brian Keegan, Megan Squire и Jeremy Blackburn. Emily M Bender, Timnit Gebru, Angelina McMillanMajor, and Shmargaret Shmitchell. 2021. On the dangers of stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pages 610–623. Yonatan Bisk, Rowan Zellers, Ronan Le bras, Jianfeng Gao и Yejin Choi. 2020. Piqa: Разсъждение за физическия здравият разум в естествения език. Процедури на конференцията на AAAI за изкуствен интелект, 34(05):7432–7439. Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, Michael Pieler, USVSN Sai Prashanth, Shivanshu Purohit, Laria Reynolds, Jonathan Tow, Ben Wang и Samuel Weinbach. 2022. Su Lin Blodgett, Gilsinia Lopez, Alexandra Olteanu, Robert Sim и Hanna Wallach. 2021. Стереотипиране на норвежкия сьомга: Инвентаризация на капаните в наборите от данни за референтни показатели за справедливост. В доклади от 59-ото годишно събрание на Асоциацията по изчислителна лингвистика и 11-та международна съвместна конференция по обработка на естествен език (том 1: Дълги документи), стр. 1004–1015, онлайн. Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch, Dallas Card, Rodrigo Castellon, Niladri Chatterji, Annie S. Chen, Kathleen Creel, Jared Quincy Davis, Noah D. Goodman, Shelby Demszky, Chris Donahue, Moussa Doumbouya, Esin Durmus, Stefano Ermon, John Etchemendy, Kawin Ethayarajh, Li FeiFei, Chelsea Finn, Trevor Gale, Lauren Gespillie, Karan Goel, Noah D. Goodman, Shelby Grossman, Neel Guha, Tatsun Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George van den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. 2021. Подобряване на езиковите модели чрез извличане от трилиони токени. arXiv предварително отпечатано arXiv:2112.04426. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel HerbertVoss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, и Dario Amodei. 2020. Езиковите модели са малко ученици. In Advances in Neural Information Processing Systems, volume 33, 1877–1901. Curran Associates, Inc. Nathanael Chambers и Dan Jurafsky. 2008. неуправляемо учене на вериги от повествователни събития. в Proceedings of ACL-08: HLT, стр. 789-797, Колумб, Охайо. Ke-Li Chiu и Rohan Alexander. 2021 Откриване на речта на омразата с gpt-3. arXiv предварително отпечатване arXiv:2103.12407. Aakanksha Diawon Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Ghemawat, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sun Devipa, Henryk Michalewski, Xavier Garcia, Vedantra Misra, Kevin Robinson, Liam Fedus, Jason Zhou Den Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick и Oyvind Tafjord. 2018. Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski и Rosanne Liu. 2019. Модели на езика Plug and play: A simple approach to controlled text generation. arXiv preprint arXiv:1912.02164. Jacob Devlin, Ming-Wei Chang, Kenton Lee и Kristina Toutanova. 2019. BERT: предварително обучение на дълбоки двупосочни трансформатори за езиково разбиране. в Северноамериканската асоциация за изчислителна лингвистика (NAACL). Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang и Rahul Gupta. 2021. Bold: Dataset and metrics for measuring biases in open-end language generation. In Proceedings of 2021 ACM Conference on Fairness, Accountability, and Transparency, pages 862–872. Emily Dinan, Gavin Abercrombie, A Stevie Bergman, Shannon Spruit, Dirk Hovy, Y-Lan Boureau и Verena Rieser. 2021. Предвиждане на проблеми със сигурността в e2e разговорни ai: рамка и инструменти. arXiv предварително отпечатан arXiv:2107.03451. Emily Dinan, Angela Fan, Adina Williams, Jack Urbanek, Douwe Kiela и Jason Weston. 2020а. Кралиците също са мощни: Намаляване на гендерните предразсъдъци при генерирането на диалог. В доклада на Конференцията за емпиричните методи в обработката на естествения език (EMNLP) през 2020 г., страници 8173–8188, Online. Emily Dinan, Samuel Humeau, Bharath Chintagunta и Jason Weston. 2019a. Build it break it fix it for dialogue safety: Robustness from adversarial human attack. arXiv preprint arXiv:1908.06083. Emily Dinan, Varvara Logacheva, Valentin Malykh, Alexander Miller, Kurt Shuster, Jack Urbanek, Douwe Kiela, Arthur Szlam, Iulian Serban, Ryan Lowe, Shrimai Prabhumoye, Alan W. Black, Alexander Rudnicky, Jason Williams, Joelle Pineau, Mikhail Burtsev и Jason Weston. 2020b. Второто предизвикателство за разговорна интелигентност (ConvAI2). Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli и Jason Weston. 2019b. Wizard of Wikipedia: Knowledge-powered conversation agents. In Proceedings of the International Conference on Learning Representations. Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser и Connor Leahy. 2021a. Наборът: 800GB набор от различни текстове за езиково моделиране. CoRR, abs/2101.00027. Tianyu Gao, Adam Fisch, и Danqi Chen. 2021b. Изработване на предварително обучени езикови модели за по-добри малоумни учащи се. В докладите от 59-ото годишно събрание на Асоциацията по изчислителна лингвистика и 11-та международна съвместна конференция по обработка на естествен език, ACL/IJCNLP 2021, (Том 1: Дълги документи), Виртуално събитие, 1-6, август 2021, стр. 3816-3830. Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, и Kate Crawford. 2021. Страници за набори от данни. Общи. ACM, 64(12):86–92. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi и Noah A. Smith. 2020. RealToxicityPrompts: Оценяване на невронната токсична дегенерация в езиковите модели. В констатациите на Асоциацията за изчислителна лингвистика: EMNLP 2020, страници 3356-3369, Online. Udit Gupta, Young Geun Kim, Sylvia Lee, Jordan Tse, Hsien-Hsin S Lee, Gu-Yeon Wei, David Brooks и Carole-Jean Wu. 2021. Преследване на въглерода: неуловимият екологичен отпечатък на компютрите. Kaiming He, Xiangyu Zhang, Shaoqing Ren и Jian Sun. 2016 г. Дълбоко остатъчно обучение за разпознаване на изображения. В доклада на конференцията на IEEE за компютърното зрение и разпознаването на модели, стр. 770-778. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals и Laurent Sifre. 2022. Ari Holtzman, Jan Buys, Maxwell Forbes и Yejin Choi. 2020. Любопитен случай на дегенерация на невронния текст. ArXiv, abs/1904.09751. Abigail Z. Jacobs и Hanna Wallach. 2021 Измерване и справедливост. В доклада на Конференцията на ACM за справедливост, отчетност и прозрачност през 2021 г., FAccT ’21, стр. 375–385, Ню Йорк, Ню Йорк, САЩ. Zachary Kenton, Tom Everitt, Laura Weidinger, Iason Gabriel, Vladimir Mikulik и Geoffrey Irving. 2021. Съгласуване на езиковите агенти. CoRR, abs/2103.14659. Mojtaba Komeili, Курт Шустер и Джейсън Уестън. 2021 г. Internet-augmented dialogue generation. CoRR, abs/2107.07566. Ben Krause, Akhilesh Deepak Gotmare, Bryan McCann, Nitish Shirish Keskar, Shafiq Joty, Richard Socher и Nazneen Fatema Rajani. 2020. GEDI: Generative discriminator guided sequence generation. arXiv preprint arXiv:2009.06367. Брайън Лестър, Рами Ал-Рфоу и Ноа Констант. 2021. Силата на мащаба за параметрично-ефективно инстанционно регулиране. CoRR, abs/2104.08691. Hector J Levesque, Ernest Davis и Leora Morgenstern. 2011. The Winograd schema challenge. In AAAI Spring Symposium: Logical Formalizations of Commonsense Reasoning, том 46, стр. 47. Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel и др. 2020 г. Получаване-увеличено поколение за знания-интензивни задачи nlp. Напредък в системите за обработка на невронна информация, 33:9459–9474. Ксианг Лиза Ли и Перси Лианг. 2021 Префикс-подреждане: Оптимизиране на непрекъснатите бутони за поколение. страници 4582–4597. Paul Pu Liang, Chiyu Wu, Louis-Philippe Morency и Ruslan Salakhutdinov. 2021. към разбирането и смекчаването на социалните предразсъдъци в езиковите модели. в Международната конференция за машинно обучение, стр. 6565–6576. Opher Lieber, Or Sharir, Barak Lenz, и Yoav Shoham. 2021. Jurassic-1: Технически подробности и оценка. Технически доклад, AI21 Labs. Haochen Liu, Jamell Dacon, Wenqi Fan, Hui Liu, Zitao Liu и Jiliang Tang. 2019a. Има ли значение полът? към справедливостта в системите за диалог. arXiv предварително отпечатано arXiv:1910.10486. Haokun Liu, William Huang, Dhara Mungra и Samuel R. Bowman. 2020. Точна формализация на задачите е от значение в оценките на схемите на Виноград. В доклада на Конференцията за емпиричните методи в обработката на естествения език (EMNLP) през 2020 г., страници 8275-8280, онлайн. Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan, Lawrence Carin и Weizhu Chen. 2021. Какво прави добри примери в контекста за gpt-3? Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, и Veselin Stoyanov. 2019b. Roberta: Robustly оптимизиран подход за предварително обучение. arXiv preprint arXiv:1907.11692. Иля Лошилов и Франк Хатър. 2017. Регулиране на нормализацията на загубата на тегло в adam. CoRR, abs/1711.05101. Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel и Pontus Stenetorp. 2021. Фантастично поръчани обаждания и къде да ги намерите: Преодоляване на чувствителността на редките обаждания. Clara Meister, Tim Vieira и Ryan Cotterell. 2020 Най-доброто първо търсене на лъча. транзакции на Асоциацията за изчислителна лингвистика, 8:795–809. Paulius Micikevicius, Sharan Narang, Jonah Alben, Gregory Diamos, Erich Elsen, David Garcia, Boris Ginsburg, Michael Houston, Oleksii Kuchaiev, Ganesh Venkatesh, et al. 2017 Смесено обучение за прецизност. arXiv предварително отпечатан arXiv:1710.03740. Todor Mihaylov, Peter Clark, Tushar Khot и Ashish Sabharwal. 2018. Може ли един костюм от броня да води електричество? Нов набор от данни за отговаряне на въпроси от отворена книга. CoRR, abs/1809.02789. Tomas Mikolov, Jiri Kopecky, Lukas Burget, Ondrej Glembek, et al. 2009. Модели на езика, базирани на невронна мрежа за високоинфлективни езици. През 2009 г. международна конференция на IEEE по акустика, реч и обработка на сигнали, страници 4725-4728 на IEEE. Sewon Min, Mike Lewis, Luke Zettlemoyer и Hannaneh Hajishirzi. 2021. Sewon Min, Xinxi Lyu, Ari Holtzman, Mikel Artetxe, Mike Lewis, Hannaneh Hajishirzi и Luke Zettlemoyer. 2022. Преосмисляне на ролята на демонстрациите: Какво прави ученето в контекста работа? arXiv предварително отпечатан arXiv:2202.12837. Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji и Timnit Gebru. 2018. Моделни карти за отчитане на модели. CoRR, abs/1810.03993. Ioannis Mollas, Zoe Chrysopoulou, Stamatis Karlos и Grigorios Tsoumakas. 2020. ETHOS: онлайн набор от данни за откриване на речта на омразата. CoRR, abs/2006.08328. Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli и James F. Allen. 2016. Корпус и рамка за оценка за по-дълбоко разбиране на историите за общ разум. CoRR, abs/1604.01696. Moin Nadeem, Anna Bethke и Siva Reddy. 2021. StereoSet: Измерване на стереотипни предразсъдъци в предварително обучени езикови модели. Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, et al. 2021. Webgpt: Браузър-помощно отговаряне на въпроси с човешка обратна връзка. arXiv предварително отпечатване arXiv:2112.09332. Nikita Nangia, Clara Vania, Rasika Bhalerao и Samuel R Bowman. 2020. Crows-pairs: A challenge dataset for measuring social biases in masked language models. arXiv preprint arXiv:2010.00133. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese и Caiming Xiong. 2022. Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. 2022. David Patterson, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier и Jeff Dean. 2021. въглеродни емисии и обучение на големи невронни мрежи. arXiv предварително отпечатан arXiv:2104.10350. Ethan Perez, Douwe Kiela, и Kyunghyun Cho. 2021. истинско малко обучение с езикови модели. Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu и Alexander Miller. 2019. езикови модели като основи на знанието? В доклада на Конференцията за емпиричните методи в обработката на естествения език през 2019 г. и на IX Международната съвместна конференция по обработката на естествения език (EMNLPIJCNLP), стр. 2463–2473, Хонг Конг, Китай. Alec Radford, Karthik Narasimhan, Time Salimans и Ilya Sutskever. 2018. Подобряване на езиковото разбиране с ненадзорно обучение. Технически доклад, OpenAI. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei и Ilya Sutskever. 2019 Езикови модели са ненадзорни многозадачни учащи се. Технически доклад, OpenAI. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, H. Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Amy Wu, Erich Elsen, Siddhant M. Jayakumar, Po-Sen Huang, Amelia Glaese, David Budden, Johannes Welbl, Sumanth Dathathri, Chris Saffron Huang, Laurent Sifre Huang, Jonathan Uesayato, John Mellor, Irina Higgins, Antonia Creswell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant M. Jayakumar, Elena Buchatskaya, David Budden, Igor Sutherland, Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li и Peter J Liu. 2020 г. Изследване на границите на трансферното обучение с единен текстов трансформатор The Journal of Machine Learning Research (JMLR), 21:1–67. Ананд Раджараман и Джефри Дейвид Улман. 2011 г. Извличане на масивни набори от данни. Хана Рашкин, Ерик Майкъл Смит, Маргарет Ли и Й-Лан Буроу. 2019. Към емпатични модели за диалог с отворени домейни: Нов референтен показател и набор от данни. В доклада на 57-ото годишно събрание на Асоциацията за изчислителна лингвистика, стр. 5370-5381, Флоренция, Италия. Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. 2021. Recipes for building an open-domain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pages 300–325, Online. Association for Computational Linguistics Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula и Yejin Choi. 2020. Winogrande: предизвикателство за схема на гроздето в мащаб. В тридесет и четвъртата конференция на AAAI за изкуствен интелект, AAAI 2020, Тридесет и втората конференция за иновативни приложения на изкуствения интелект, IAAI 2020, Десетият симпозиум на AAAI за образователни постижения в изкуствения интелект, EAAI 2020, Ню Йорк, Ню Йорк, САЩ, 7-12 февруари 2020 г., страници 8732-8740. Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry Jason, Alan Fries, Ryan Te Teven Le Scao и Alexander M. Rush. 2021. колко точки от данни е незабавна стойност? страници 2627– 2636. Timo Schick и Hinrich Schütze. 2020. Не е важен само размерът: малките езикови модели също са малко учащи. CoRR, abs/2009.07118. Timo Schick, Sahana Udupa, и Hinrich Schütze. 2021. самодиагностика и самообезпокояване: предложение за намаляване на предразсъдъците, основани на корпуса в nlp. Rico Sennrich, Barry Haddow, и Alexandra Birch. 2016 Неврологичен машинно превод на редки думи с подразделения. В доклади от 54-то годишно събрание на Асоциацията за изчислителна лингвистика (Volume 1: Long Papers), страници 1715-1725, Берлин, Германия Асоциация за изчислителна лингвистика. Emily Sheng, Kai-Wei Chang, Premkumar Natarajan и Nanyun Peng. 2019 Жената работи като бавачка: На предразсъдъците в генерирането на езици. arXiv предварително отпечатан arXiv:1909.01326. Тейлър Шин, Ясаман Ражеги, Робърт Л. Логан IV, Ерик Уолъс и Самейър Синг. „AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts“. страници 4222–4235. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, and Bryan Catanzaro. 2019. Megatron-lm: Training multi-billion parameter language models using model parallelism. arXiv preprint arXiv:1909.08053. Kurt Shuster, Mojtaba Komeili, Leonard Adolphs, Stephen Roller, Arthur Szlam и Jason Weston. 2022. езикови модели, които търсят знания: Модулно търсене и генериране за диалог и незабавно завършване. arXiv preprint arXiv:2203.13224. Ерик Смит, Мери Уилямсън, Курт Шустер, Джейсън Уестън и Й-Лан Буро. 2020. Можете ли да ги обедините: Оценяване на способността на разговорните агенти да смесват умения. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zheng, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary, и Bryan Catanzaro. 2022. Използване на дълбочина и мегатрон, за да се обучават мегатрон-турни NLG 530b, A мащабен генеративен език модел. CoRR, abs/2201.11990. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, et al. 2022. Lamda: Езикови модели за приложения за диалог. arXiv предварително отпечатан arXiv:2201.08239. Trieu H. Trinh и Quoc V. Le. 2018. Прост метод за разсъждение на здравия разум. CoRR, abs/1806.02847. Megan Ung, Jing Xu и Y-Lan Boureau. 2021. Безопасни диалози: Получаване на обратна връзка грациозно след неуспехи в сигурността на разговора. ArXiv, abs/2110.07518. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser и Illia Polosukhin. 2017. Внимание е всичко, от което се нуждаете. Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy и Samuel R. Bowman. 2019. SuperGLUE: По-прикрепен референтен показател за системи за разбиране на езици с общо предназначение. arXiv предварително отпечатан 1905.00537. Алберт Уебсън и Ели Павлик. 2021. – Разбират ли моделите, базирани на известия, наистина значението на техните известия? arXiv preprint arXiv:2109.01247. Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai и Quoc V. Le. 2021 г. Финирани езикови модели са нулеви ученици. CoRR, abs/2109.01652. Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, Zac Kenton, Sasha Brown, Will Hawkins, Tom Stepleton, Courtney Biles, Abeba Birhane, Julia Haas, Laura Rimell, Lisa Anne Hendricks, William Isaac, Sean Legassick, Geoffrey Irving и Iason Gabriel. 2021a. Етични и социални рискове от вреди от езикови модели. Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, et al. 2021b. Етични и социални рискове от вреди от езикови модели. arXiv preprint arXiv:2112.04359. Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho и Jason Weston. 2020. Невронно текстово генериране с обучение за вероятност. В Международната конференция за представяне на ученето. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga Behram, James Huang, Charles Bai, Michael Gschwind, Anurag Gupta, Myle Ott, Anastasia Melnikov, Salvatore Candido, David Brooks, Geeta Chauhan, Benjamin Lee, Hsien-Hsin S. Lee, Bugra Akyildiz, Maximilian Balandat, Joe Spisak, Ravi Jain, Mike Rabbat и Kim Hazelwood. 2022. Устойчив AI: екологични последици, предизвикателства и възможности. В процеса на конференцията за машинно обучение и системи. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston и Emily Dinan. 2020. Рецепти за безопасност в чатботите с отворен домейн. arXiv предварително изготвяне arXiv:2010.07079. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston и Emily Dinan. 2021a. Диалог между ботове и противници за безопасни агенти на разговора. В доклада на Конференцията на Северноамериканската глава на Асоциацията за изчислителна лингвистика: Човешки езикови технологии, стр. 2950–2968, Online. Jing Xu, Arthur Szlam и Jason Weston. 2021b. Beyond goldfish memory: Long-term open-domain conversation. arXiv preprint arXiv:2107.07567. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, и Yejin Choi. 2019. Hellaswag: Може ли една машина наистина да завърши вашето изречение? в Процедури от 57-ата конференция на Асоциацията за изчислителна лингвистика, ACL 2019, Флоренция, Италия, 28 юли – 2 август 2019 г., том 1: Дълги документи, страници 4791–4800. Юкун Жу, Райън Кирос, Ричард С. Земел, Руслан Салахутдинов, Ракел Уртасун, Антонио Торралба и Саня Фидлер. 2015 г. Сравняване на книгите и филмите: към визуални обяснения, подобни на историята, чрез гледане на филми и четене на книги. Допълнителни оценки Б. Вноски Предварително обучение • Първоначално планиране: Сюзън Чанг • Training infrastructure and initial ablations: Naman Goyal, Myle Ott, Stephen Roller, Sam Shleifer, Susan Zhang • Ефективност на обучението: Naman Goyal, Myle Ott, Sam Shleifer • Извличане на данни и дедупликация: Shuhoi Chen, Myle Ott, Stephen Roller • Training and monitoring OPT-175B: Mikel Artetxe, Moya Chen, Naman Goyal, Punit Singh Koura, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Stephen Roller, Susan Zhang • Training 125M–66B baselines: Naman Goyal, Stephen Roller, Susan Zhang Оценките • НЛП: Xian Li, Xi Victoria Lin, Todor Mihaylov, Stephen Roller, Anjali Sridhar Диалог: Стивън Ролър • Отговорни оценки на ИИ: Punit Singh Koura, Stephen Roller, Tianlu Wang Моя Чен, Стивън Ролър, Лук Зетлемайер, Сюзън Чанг Paper writing: Кристофър Деван, Сюзън Чанг Code release preparation: Мона Диаб, Сюзън Чанг Responsible AI conduct: C Данни Ние следваме препоръките на Gebru et al. (2021) и предоставяме карта с данни за набора от данни, използван за обучение на моделите OPT. C.1 Мотивация Предварителните данни за обучението на модела OPT-175B са създадени чрез обединение на пет набора от данни, включително три набора от данни, използвани от RoBERTa (Liu et al., 2019b), подкомплект от Pile (Gao et al., 2021a), заедно с Pushshift.io Reddit набора от данни, който е разработен в (Baumgartner et al., 2020) и обработен в (Roller et al., 2021). • For what purpose was the dataset created? Was there a specific task in mind? Was there a specific gap that needed to be filled? Please provide a description. Целта на AI. • Who created the dataset (e.g., which team, research group) and on behalf of which entity (e.g., company, institution, organization)? Целта на AI. • Who funded the creation of the dataset? If there is an associated grant, please provide the name of the grantor and the grant name and number. • не е Any other comments? C.2 Състав Инстанциите са текстови документи.Общият набор от данни се състои от обединение на следните набори от данни: • What do the instances that comprise the dataset represent (e.g., documents, photos, people, countries)? Are there multiple types of instances (e.g., movies, users, and ratings; people and interactions between them; nodes and edges)? Please provide a description. – BookCorpus (Zhu et al., 2015) се състои от повече от 10K неиздадени книги – CC-Stories (Trinh и Le, 2018) съдържа поднабор от CommonCrawl данни, филтрирани, за да съответстват на стила, подобен на историята на Winograd схеми – The Pile (Gao et al., 2021a) from which the following was included: * Pile-CC • OpenWebText2 • Успех Проектът Гутенберг * Отворени субтитри * Уикипедия DM Математика * HackerNews – Pushshift.io Reddit набор от данни, който е разработен в Baumgartner et al. (2020) и обработен в Roller et al. (2021). – CCNewsV2 съдържа актуализирана версия на английската част от набора от данни CommonCrawl News, използван в RoBERTa (Liu et al., 2019b) Данните за обучението съдържат 180B токени, съответстващи на 800 GB данни. • How many instances are there in total (of each type, if appropriate)? Наборът от данни CC-stories съдържа поднабор от CommonCrawl данни, филтрирани, за да съответстват на стила на Winograd. • Does the dataset contain all possible instances or is it a sample (not necessarily random) of instances from a larger set? If the dataset is a sample, then what is the larger set? Is the sample representative of the larger set (e.g., geographic coverage)? If so, please describe how this representativeness was validated/verified. If it is not representative of the larger set, please describe why not (e.g., to cover a more diverse range of instances, because instances were withheld or unavailable). Всяка инстанция се състои от сурови текстови данни. • What data does each instance consist of? “Raw” data (e.g., unprocessed text or images) or features? In either case, please provide a description. не е • Is there a label or target associated with each instance? If so, please provide a description. не е • Is any information missing from individual instances? If so, please provide a description, explaining why this information is missing (e.g., because it was unavailable). This does not include intentionally removed information, but might include, e.g., redacted text. There are no explicit relationships between individual instances. • Are relationships between individual instances made explicit (e.g., users’ movie ratings, social network links)? If so, please describe how these relationships are made explicit. Ние държим набор от рандомизирани валидиране на около 200 MB от предварително обучение данни, взети пропорционално на размера на всеки набор от данни в предварително обучение корпус. • Are there recommended data splits (e.g., training, development/validation, testing)? If so, please provide a description of these splits, explaining the rationale behind them. Освен естествено възникващото дублиране от потенциални припокривания между наборите от данни, няма други излишъци, грешки или източници на шум, които добавяме. • Are there any errors, sources of noise, or redundancies in the dataset? If so, please provide a description. • Тя е самосъхранена. Is the dataset self-contained, or does it link to or otherwise rely on external resources (e.g., websites, tweets, other datasets)? Части от набора от данни са подкомплект от публични Common Crawl данни, заедно с подкомплект от публични Reddit данни, които могат да съдържат изречения, които, ако се гледат директно, могат да бъдат обидни, обидни, заплашителни или по друг начин да причинят безпокойство. • Does the dataset contain data that, if viewed directly, might be offensive, insulting, threatening, or might otherwise cause anxiety? If so, please describe why. Някои документи от тези данни се отнасят до хора, като например новинарски статии, описания на Уикипедия и др. • Does the dataset relate to people? If not, you may skip the remaining questions in this section. Не, наборът от данни не включва изрично идентификация на подпопулация. • Does the dataset identify any subpopulations (e.g., by age, gender)? If so, please describe how these subpopulations are identified and provide a description of their respective distributions within the dataset. не е • Any other comments? C.3 Процес на събиране N/A. Наборът от данни е съюз от пет публично достъпни набора от данни. • How was the data associated with each instance acquired? Was the data directly observable (e.g., raw text, movie ratings), reported by subjects (e.g., survey responses), or indirectly inferred/ derived from other data (e.g., part-of-speech tags, model-based guesses for age or language)? If data was reported by subjects or indirectly inferred/derived from other data, was the data validated/verified? If so, please describe how. • Данните са изтеглени от интернет. What mechanisms or procedures were used to collect the data (e.g., hardware apparatus or sensor, manual human curation, software program, software API)? How were these mechanisms or procedures validated? Моля, вижте предишните отговори за това как е създаден наборът от данни. • If the dataset is a sample from a larger set, what was the sampling strategy (e.g., deterministic, probabilistic with specific sampling probabilities)? Тези данни се извличат, филтрират и вземат от машини. • Who was involved in the data collection process (e.g., students, crowdworkers, contractors) and how were they compensated (e.g., how much were crowdworkers paid)? Наборът от данни на CC-News съдържа статии на английски език, изтеглени между септември 2016 г. и септември 2021 г. • Over what timeframe was the data collected? Does this timeframe match the creation timeframe of the data associated with the instances (e.g., recent crawl of old news articles)? If not, please describe the timeframe in which the data associated with the instances was created. не е • Does the dataset relate to people? If not, you may skip the remainder of the questions in this section. • Н / А Did you collect the data from the individuals in question directly, or obtain it via third parties or other sources (e.g., websites)? Н / А • Were the individuals in question notified about the data collection? If so, please describe (or show with screenshots or other information) how notice was provided, and provide a link or other access point to, or otherwise reproduce, the exact language of the notification itself. Н / А • Did the individuals in question consent to the collection and use of their data? If so, please describe (or show with screenshots or other information) how consent was requested and provided, and provide a link or other access point to, or otherwise reproduce, the exact language to which the individuals consented. Н / А • If consent was obtained, were the consenting individuals provided with a mechanism to revoke their consent in the future or for certain uses? If so, please provide a description, as well as a link or other access point to the mechanism (if appropriate). Извършени са някои оценки на токсичността и предразсъдъците. Моля, вижте основния документ и модела на картата за тези подробности. • Has an analysis of the potential impact of the dataset and its use on data subjects (e.g., a data protection impact analysis) been conducted? If so, please provide a description of this analysis, including the outcomes, as well as a link or other access point to any supporting documentation. не е • Any other comments? C.4 Предварителна обработка/почистване/етикетиране Компонентните набори от данни преминаха през стандартни практики за почистване и преформатиране, включително премахване на повтарящ се/неинформативен текст като “Chapter One” или “This ebook by Project Gutenberg”. • Was any preprocessing/cleaning/labeling of the data done (e.g., discretization or bucketing, tokenization, part-of-speech tagging, SIFT feature extraction, removal of instances, processing of missing values)? If so, please provide a description. If not, you may skip the remainder of the questions in this section. Наборите от данни за „сурови“ компоненти са публично достъпни на съответните им места (повече подробности могат да се видят в съответните статии, свързани в препратки). • Was the “raw” data saved in addition to the preprocessed/cleaned/labeled data (e.g., to support unanticipated future uses)? If so, please provide a link or other access point to the “raw” data. не е • Any other comments? C.5 Използване Да, този набор от данни е използван за предварително обучение на моделите OPT. • Has the dataset been used for any tasks already? If so, please provide a description. • HTTPS://github.com/facebookresearch/ метасекс Is there a repository that links to any or all papers or systems that use the dataset? If so, please provide a link or other access point. Тези данни могат да се използват за предварително обучение на езикови модели, които са в основата на много текущи и бъдещи езикови задачи. • What (other) tasks could the dataset be used for? Пътят за създаване на този набор от данни проправя пътя за изграждане на мащабируема инфраструктура за извличане на данни. • Is there anything about the composition of the dataset or the way it was collected and preprocessed/cleaned/labeled that might impact future uses? For example, is there anything that a future user might need to know to avoid uses that could result in unfair treatment of individuals or groups (e.g., stereotyping, quality of service issues) or other undesirable harms (e.g., financial harms, legal risks) If so, please provide a description. Is there anything a future user could do to mitigate these undesirable harms? Нищо, за което в момента не сме наясно. • Are there tasks for which the dataset should not be used? If so, please provide a description. не е • Any other comments? C.6 Разпределение Не по това време. • Will the dataset be distributed to third parties outside of the entity (e.g., company, institution, organization) on behalf of which the dataset was created? If so, please provide a description. • Н / А How will the dataset will be distributed (e.g., tarball on website, API, GitHub)? Does the dataset have a digital object identifier (DOI)? Н / А • When will the dataset be distributed? Н / А • Will the dataset be distributed under a copyright or other intellectual property (IP) license, and/or under applicable terms of use (ToU)? If so, please describe this license and/or ToU, and provide a link or other access point to, or otherwise reproduce, any relevant licensing terms or ToU, as well as any fees associated with these restrictions. Н / А • Do any export controls or other regulatory restrictions apply to the dataset or to individual instances? If so, please describe these restrictions, and provide a link or other access point to, or otherwise reproduce, any supporting documentation. не е • Any other comments? C.7 Поддръжка Целта на AI. • Who is supporting/hosting/maintaining the dataset? • Позоваване на основния документ. How can the owner/curator/manager of the dataset be contacted (e.g., email address)? Н / А • Is there an erratum? If so, please provide a link or other access point. Няма план за актуализация. • Will the dataset be updated (e.g., to correct labeling errors, add new instances, delete instances)? If so, please describe how often, by whom, and how updates will be communicated to users (e.g., mailing list, GitHub)? Н / А • If the dataset relates to people, are there applicable limits on the retention of the data associated with the instances (e.g., were individuals in question told that their data would be retained for a fixed period of time and then deleted)? If so, please describe these limits and explain how they will be enforced. Н / А • Will older versions of the dataset continue to be supported/hosted/maintained? If so, please describe how. If not, please describe how its obsolescence will be communicated to users. В момента няма наличен механизъм. • If others want to extend/augment/build on/contribute to the dataset, is there a mechanism for them to do so? If so, please provide a description. Will these contributions be validated/ verified? If so, please describe how. If not, why not? Is there a process for communicating/ distributing these contributions to other users? If so, please provide a description. не е • Any other comments? D модел на картата След Mitchell et al. (2018), ние предоставяме модел карта за OPT-175B. D.1 Модел Детайли • OPT-175B е разработен от Meta AI. Person or organization developing model: • OPT-175B е пуснат на 3 май 2022 година. Model date: • OPT-175B, описан в тази статия, е версия 1.0.0. Model version: OPT-175B е голям модел на езика на трансформатора само с декодер. • Model type: OPT-175B е обучен с AdamW за параметри от 125M до 175B. Вижте Картата с данни (Приложение С) за информация за данните за обучението и Раздел 2.2 - 2.5 за информация за процеса на обучение. • Information about training algorithms, parameters, fairness constraints or other applied approaches, and features: Вижте останалата част от тази статия за повече подробности за OPT-175B, както и съответния пост в Meta AI Research Blog. • Paper or other resource for more information: OPT-175B и по-малките базови модели се предоставят чрез лицензионно споразумение за нетърговска употреба, предоставено в нашия лиценз за модел. • License: • Моля, свържете се с съответните автори {susanz,roller,namangoyal}@fb.com за всякакви въпроси или коментари. Where to send questions or comments about the model: D.2 Предвидено използване Ние пускаме OPT-175B за изследване на езикови модели, особено що се отнася до отговорния ИИ. Вижте раздел 6 за по-подробни съображения за пускането. • Primary intended uses: Ние целим предимно изследователи и свързаната с тях изследователска общност. • Primary intended users: • Както отбелязваме в раздел 5, OPT-175B, подобно на подобни големи езикови модели, има редица недостатъци, които го правят преждевременно за търговска употреба. Out-of-scope use cases: D.3 Данни, ограничения и препоръки Данните за обучението за OPT-175B бяха избрани въз основа на комбинация от ширина и наличност. Вижте нашата карта с данни (Приложение C) за по-подробна информация за данните, използвани за обучение на нашия модел. • Data selection for training: • Оценките в тази статия бяха избрани, за да предоставят сравними оценки на производителността по отношение на модели с подобен мащаб в литературата.С оглед на опасенията в общността за безопасността и справедливостта на големите езикови модели като цяло, ние също така изрично предоставяме оценки за Отговорен ИИ (виж раздел 4). Data selection for evaluation: Подобно на други големи езикови модели, за които разнообразието (или липсата на такова) от данни за обучение предизвиква последващо въздействие върху качеството на нашия модел, OPT-175B има ограничения по отношение на предразсъдъците и безопасността. OPT-175B може също да има проблеми с качеството по отношение на разнообразието от поколения и халюцинациите. Като цяло, OPT-175B не е имунизиран от изобилието от проблеми, които заразяват съвременните големи езикови модели. С освобождаването си с нетърговска лицензия, ние също така се надяваме да увеличим комуникацията, прозрачността и изучаването на проблемите на големите езикови модели, особено в области, които може да не са съобразени с търговските интереси. • Limitations: Вижте раздел 6 за повече информация за нашите съображения за освобождаване, включително обсъждане на потенциалните пътища за научни изследвания, позволявани от отварянето на нашия модел за повече от изследователската общност.Надяваме се, че освобождаването на OPT-175B, както и информация за процеса на обучение на нашия модел, ще увеличи отворената наука около двата големи езикови модела в специфичната и естествената езикова обработка и дълбокото обучение като цяло. • Recommendations for future work: Изходът на модела E Sample За всички изходни образци, първоначалният сигнал се дава в смело, а останалата част е продължение. Тези изходни образци са избрани умишлено, за да подчертаят както успехите, така и неуспехите на модела OPT-175B. Тази статия е достъпна под лиценза CC by 4.0 Deed (Attribution 4.0 International). Тази хартия е Създаден е под лиценза CC by 4.0 Deed (Attribution 4.0 International). Достъпно за архивиране