Корисна и безопасна АИ: Обуката за усогласување ги подобрува перформансите на речиси сите НЛП евалуации

Обука на корисен и безопасен асистент со зајакнување на учењето од човечки повратни информации Автори на: Јунтао Бај Енди Џонс Kamal Ndousse Amanda Askell Anna Chen Nova DasSarma Зората исчезнува Stanislav Fort Deep Ganguli Tom Henighan Nicholas Joseph Saurav Kadavath Jackson Kernion Tom Conerly Нејмар Ел-Шоук Nelson Elhage Zac Hatfield-Dodds Danny Hernandez Tristan Hume Scott Johnston Шауна Кравец Лијана Ловит Neel Nanda Catherine Olsson Дарио Амодеи Tom Brown Jack Clark Sam McCandlish Chris Olah Ben Mann Џаред Каплан Автори на: Јунтао Бај Енди Џонс Камел Ндосе Аманда Аскел Ана Чен Нова даска Зората исчезнува Станислав Форт Длабоко гангли Том Хениган Николај Џозеф Сауров Кадават Џексон Кернион Том Конерли Нејмар Ел-Шоук Нелсон Елајџ Zac Hatfield-Dodds Дани Ернандез Тристан Хуме Скот Џонстон Шауна Кравец Лијана Ловит Нел Нанда Катрин Олсон Дарио Амодеи Том Браун Џек Кларк Сем Меккандлиш Крис Ола Бен Ман Џаред Каплан Abstract апстракција Ние применуваме преференцијално моделирање и зајакнување на учење од човечки повратни информации (RLHF) на финетунирани јазични модели за да дејствуваат како корисни и безопасни асистенти. Ние наоѓаме дека оваа обука за усогласување ги подобрува перформансите на речиси сите НЛП евалуации и е целосно компатибилна со обука за специјализирани вештини како што се питон кодирање и сумирање. Ние истражуваме итериран онлајн режим на обука, каде што преференцијалните модели и политиките за RL се ажурираат неделно со свежи податоци за човечки повратни информации, ефикасно подобрувајќи ги нашите збирки на податоци и модели. Конечно, ние ја истражуваме робусноста на обуката за RLHF 1 Вовед Сакаме да развиеме техники за обука на АИ агенти кои се корисни, искрени и безопасни Во оваа статија покажуваме дека можеме да обучиме релативно корисен и безопасен (HH) природен јазик асистент со собирање на податоци за човечки преференции и примена на техниките на преференцијално моделирање (PMing) и зајакнување на учење од човечки повратни информации (RLHF). [Askell et al., 2021]. 1 2. Нашата цел не е да дефинираме или да препишеме што значат „полезни“ и „безвредни“, туку да ја процениме ефикасноста на нашите техники за обука, така што во најголем дел едноставно им дозволуваме на нашите работници да ги интерпретираат овие концепти како што сметаат дека е соодветно. Ние ја третираме корисноста и безопасноста одделно, собирајќи различни сетови на податоци за човечки преференции за секоја од нив. За корисност, ги бараме работниците да ги побараат нашите модели за да им помогнат со какви било чисто текстуални задачи, како што се одговарање на прашања, пишување или уредување на документи, или дискутирање на планови и одлуки. За безопасност, ги повикуваме работниците да ги истражуваат или „црвени тимови“ нашите јазични На секоја фаза од нивните разговори со АИ асистентот, работниците во толпата се презентирани со два можни одговори. Оние кои се вклучени во задачата за корист се инструкции да го изберат повеќе корисен и искрен (т.е. подобар) одговор. Оние кои се вклучени во задачата за црвено тимство се инструкции да го изберат повеќе штетен (т.е. полош) одговор. Овие разговори и изразените човечки преференции го сочинуваат нашиот сет на податоци. 2 3 Корисноста и безопасноста често се спротивставуваат едни на други. Прекумерниот фокус на избегнување на штета може да доведе до „безбедни“ одговори кои всушност не ги задоволуваат потребите на човекот. Демонстрираме оваа тензија квантитативно со покажување дека преференциалните модели обучени да го проценат првенствено еден од овие квалитети функционираат многу лошо (многу полошо од шансата) на другиот. За среќа, откриваме дека ПМ обучени на мешавина од двата сета на податоци сепак можат да ги научат вистинските лекции и да се однесуваат корисно кога е соодветно, додека го поттикнуваат љубезното одбивање на штетни барања. Со преференциалните модели во рака, потоа ги обучуваме корисните и безопасните асистенти преку зајакнување, користејќи ги ПМ резултатите како награди. Ние ги оценуваме и перформансите на ПМ и релевантните перформанси на нашите модели обучени од РЛХФ. Како што чисто корисни RLHF обучени модели се многу полесни за црвен тим, додека корисни + безопасни модели се и многу корисни и многу помалку штетни. 1, од A question that’s often raised about alignment training is whether it will compromise AI capabilities. We find that when RLHF is applied to large language models, the answer seems to be an almost-categorical no. Our RLHF-trained models tend to perform better than their raw, generative counterparts on virtually all evaluations, as summarized in Figure Исто така, тврдиме дека може да се мешаат специјализирани вештини со обука поврзана со усогласување без да се компромитира ниту усогласувањето ниту перформансите.Во пракса, моделите со усогласување најверојатно ќе бидат попријателски и расположливи од нивните сурови колеги, што сугерира дека има малку причина да се имплементираат модели кои не се усогласени за усогласување. 3. 1.1 Contributions Dialogue Preference Datasets • Ние собираме одделни сетови на податоци за корисност и безопасност (т.е. црвено придружување) главно со користење на различни јазични модели 52B (види Дел за детали) во нашиот интерфејс (Слика Работниците во толпата имаат отворени разговори со моделите, или бараат помош, или даваат инструкции, или се обидуваат да го натераат моделот да емитира штетни одговори, и тие се замолуваат да го изберат помоќниот одговор или повеќе штетниот. одговори на секој чекор на разговорот, соодветно. 2 6 ) 4 • Ние собираме три транша на податоци, еден од нашите почетни модели, еден со земање примероци за отфрлање во однос на раните модели на преференции, и конечен сет на податоци собрани со модели обучени со "онлајн" зајакнување на учење од човечки повратни информации, кои ги подобруваме на приближно неделно време. 2.3. Alignment with Human Values Has Many Benefits and Essentially No Cost to Performance • Помалите модели доживуваат тешки „податоци за усогласување“ – нивните перформанси на широк спектар на евалуации се намалуваат по обуката за RLHF. , со нашите 13Б и 52Б RLHF-обучени модели се изведуваат подобро на НЛП евалуации со нула удари, а истото и на евалуации со неколку удари. alignment bonuses 5 • Природниот јазик RLHF обука за HH може да се примени на модели кои првично се фини на кодот, и тоа на евалуации (веројатно со подобрување на инструкциите за општа намена следново). исто така, откриваме дека мешањето на обуката за преференцијален модел за HH со За резиме нема деградација во перформансите во HH или сумирање. Значи нема причина да не се комбинира обука за усогласување со повеќе специфични, вредни вештини. improves their programming ability specialized skill [Stiennon et al., 2020] • Постои а , што може да се измери на ниво на и преференцијално моделирање и RLHF обучени политики (Слика Сепак, како што се зголемува големината на моделот, ПМ се изведуваат подобро на двете дистрибуции истовремено и стануваат многу посилни во однос на релативните пропорции на корисни и безопасни податоци за обука. tension between helpfulness and harmlessness 1). • Ние исто така покажуваме дека може да се користат техники за откривање на OOD [F одбивање на најчудните и штетни барања (Слика) со мали или никакви штетни примери (Слика) Ѓорѓиќ и др., 2021) 22 ) 23 ) Scaling, RLHF Robustness, and Iterated ‘Online’ Training • Ние ги проучуваме скалирањето на односите за точност на ПМ како функција на моделот и големината на податоци и наоѓаме приближно лог-линеарни трендови (Слика Иако ние се соочуваме со некои идиосинкразии (фигури и 7 ) 31 32 ) • Ние вршиме експерименти на (Види фигура каде што ги поделиме нашите збирки на податоци на половина и обучуваме одделни модели на преференции на секоја половина. Потоа ги обучуваме RL моделите против еден ПМ додека оценуваме со другиот. Заклучуваме дека поголемите ПМ се посилни од помалите ПМ, и како што се очекува, преоптоварувањето се зголемува за време на обуката за RLHF. robustness of RLHF 4 ) • Ние го наоѓаме тоа Затоа што ( 0) и наградата е за голем дел од RLHF обука (види бројки and Каде и Ние објаснуваме како оваа врска може да се појави и да разговараме за можни апликации и идни насоки. D π π approximately linearly related 4 13 ) π π • Проучуваме , каде што ги ажурираме нашите модели на преференции и политиките на RLHF неделно, а потоа повторно ги распоредуваме овие свежи модели на RLHF за да комуницираме со работниците од толпата. и значително се подобри нашиот сет на податоци, како што се суди од нашите сопствени PMs (Слика filling out the upper tail in terms of quality. iterated online training 1 ) 15 ) За да ги отстраниме збунувачите и да ги зајакнеме нашите заклучоци, вршиме дополнителни контролирани експерименти (Слика задржување на големината на сет на податоци и други хиперпараметри фиксирани. 16 ) 1.2 Резиме на проценки и метрики • : Ние ги оценуваме нашите модели на MMLU Забелешка [P] Грчка Отворена книга Арка и тривијација see Figures и за целосни резултати и фигура Во секој случај, со исклучок на TriviaQA, 12B и 52B RLHF обучени модели се подобри од основните LMs. Одделно, ги земаме моделите за кодирање на Python и ги финетираме со природниот јазик RLHF, а потоа ги оценуваме на кодексот HumanEval Оваа фигура Ние исто така експериментираме со мешање на PM обука за HH со сумирање како специјализирана вештина, и да се оцени резултатот PM перформанси (Слика Дознајте дека мешаната обука не ја намалува точноста на ПМ. NLP and Code Evaluations [Хендрикс и др., 2021б] Април и др., 2016 година, [Зелерс и др., 2019] [Михаилов и др., 2018] [Кларк и др., 2018 година], [Јосиф и др., 2017] 28 29 3 [Дан и др., 2024 година] 21. [Stiennon et al., 2020] 20 од нив), • : Ние ги оценуваме нашите ПМ со користење на нашите HHH Евалуации од Биг-Бенч (Фигура Дијалогот на противниците и за родови биас (Фигура Ние ги оценуваме нашите RLHF модели на TruthfulQA (Figure Брк-лите [П from BIG-Bench, gender bias (Figure и чувство врз основа на раса и религија (Figure RLHF ги подобрува чувствата кон сите групи, но не ги отстранува предрасудите. Static Alignment Evaluations [Аскел и др., 2019] 6 5), [Xu et al., 2020 година] [Rae et al., 2021] 12 ) [Lin et al., 2017 година] 5 ) Аристотел и др., 2021) 40 од нив), [Rae et al., 2024 година] 17 ) • : Ние ги пресметуваме Ело резултатите врз основа на преференциите на нашите crowdworkers, комбинирање на контекст-дистилирани модели, основни RLHF обучени модели и конечни онлајн RLHF модели (Слика Ние исто така ги тестираме перформансите на нашите онлајн модели за време на обуката (Слика) споредба на различните нивоа на одбивање на примерокот (Слика и спроведување на контролиран експеримент на итирано онлајн обука (Слика Покрај тоа, ангажиравме професионални писатели за да сочинуваат разговори каде што асистентот дава висококвалитетни, корисни и искрени одговори, а потоа ги замоливме работниците од толпата да ги споредат одговорите на нашиот модел со оние на овие писатели. околу 57% од времето. Human Evaluations 1 ) 15 ) 36), 16 ) 7 • : We provide samples from all of the PALMs Прашања и од ветувања обезбедени со InstructGPT Ламда Во прилог Ние покажуваме некои споредби со човечки писатели во секција и покажуваме неколку кратки дијалози во Секција To mitigate the problem of cherry picking samples, we generate 17 samples per prompt and display only the median sample, as ranked by our online HH preference model. Samples Солајман и Денисон, 2021 [Оујанг и др., 2024 година] [Главо и др., 2024 година] C. 6.1 Одговорот 6.3 Одделот 1.3 Поврзани работи Две неодамнешни статии, Ламда Инструкции за имаат посебна сличност со оваа работа. И двете користат човечки податоци за обука на големи јазични модели за да бидат повеќе генерално корисни или усогласени. И двете користат јазични модели малку поголеми од нашиот модел 52Б. [Главо и др., 2024 година] [Оујанг и др., 2024 година] Ламда Дефинираат големи јазични модели за да учествуваат во интересни, корисни, факти базирани сојузници и безбеден дијалог на природен јазик. Како и со нашата работа, тие вклучуваат концепти за двете позитивни интеракции и безбедност / безопасност. И нивната употреба на надворешни информации за да се обезбеди точност / основа не оди подалеку од методите што ги дискутираме тука, и е сигурно повеќе слични на WebGPT и GopherCite Сепак, некои разлики се дека наместо да користат засилено учење, тие применуваат мешавина од надгледувани техники за учење (и генеративни и дискриминативни), а нивниот процес на собирање на податоци вклучува апсолутни рејтинзи наместо споредби. [Главо и др., 2024 година] [Наполеон и др., 2017 година, Меник и др., 2024 година. Инструкции Модели од типот GPT-3 Како и во оваа работа, тие користат зајакнување на учење од човечките преференции, како што се изразуваат преку споредби. Сепак, тие исто така вклучуваат надгледувана фаза на учење на обука, додека, за разлика од тоа, нашиот финетунинг се случува чисто преку RL (извршуваме контекстуална дестилација, но ова е многу повеќе како едноставно поттикнување). Можеби главниот контраст со нашата работа е тоа што тие не вклучуваат обука за безопасност, или екс-плауре тензии помеѓу корисноста и безопасноста. Нивниот пристап исто така се разликува од нашиот во некои детали: тие не ги обучуваат моделите за преференција поголеми од параметрите 6Б, и тие го мешаа преттренинг со RL за да избегнат деградација во [Оујанг и др., 2024 година] [Брањо и др., 2020] Нашата работа се разликува од двете InstructGPT и LaMDA во тоа што ги истражуваме „онлајн“ обуката, каде што ги ажурираме моделите кои комуницираат со crowdworkers за да добиеме постепено поквалитетни податоци и да ги пополниме опашките на нашата дистрибуција на податоци. Друга разлика е нашето истражување на специјализирани вештини како што се сумирање и кодирање, кои ги користиме за да го зајакнеме аргументот дека усогласувањето може да се постигне без ограничување на способностите. Ние исто така експлицитно ја проучуваме тензијата помеѓу корисноста и безопасноста, која не е адресирана пред колку што знаеме. Ние веруваме дека единствените суштински чекори се собирање на човечки повратни информации, моделирање на преференции и RLHF обука. 2) на Неколку други неодамнешни дела се фокусираат на аспектите на вистинитоста со користење на пребарувањето од база на податоци, или преку интернет пребарување и човечки повратни информации, како што е WebGPT Гоферитот Овие дела се возбудливи и комплементарни за нашата работа; особено нашите резултати сугерираат дека нивните техники треба да бидат многу компатибилни со обука за корисност и безопасност. Додека овие работи го подобруваат верното претставување на експлицитни докази, веројатно ќе биде потребна поголема работа за да се постигне искрена само-презентација од AI системи. [Lewis et al., 2020 година, Џафери и др., 2020 година Borgeaud et al., 2021] [Наполеон и др., 2019] [Меник и др., 2024 година] Безбедносните и етичките прашања поврзани со јазичните модели се опширно дискутирани (на пр. 2021)), со добро познати прашања, вклучувајќи го токсичноста, предрасудите и можноста моделите да откријат лични информации. Други дела истражувале методи за ублажување на овие проблеми (на пр. Моделите исто така се обучени директно да ги оценуваат етичките дилеми. Демонстрација на имплементација на етички бенчмаркови More general research proposals for AI safety include Неуспесите на RL робустност што ги дискутираме може да се гледа како пример за "наградување хакирање", што неодамна беше истражено во [P] Политиките на RL исто така може да не се генерализираат надвор од дистрибуцијата на други опасни начини (Хендерсон и др., 2017 година) Bender et al., 2017 година, Вајдингер и др. [Гангули и др., 2024 година] [Liu et al., 2017 година, Јас и Ал. [Jiang et al., 2024 година] [Хендрикс и др., 2021а] [Амодеи и др., 2016, Хендрикс и др., 2021г. и др. во 2023 година. [Кох и др., 2024 година] Нашиот интерес за проучување на трендовите со големина на моделот е мотивиран од невронски закони за скалирање Едно поврзано набљудување е дека како што бројот на параметри расте, моделите се финеат поефикасно. и да станат многу помалку ранливи на „катастрофалното заборавување“ Се надеваме дека овој ефект ќе помогне да се објасни зошто нашата обука за HH е компатибилна со добри перформанси за евалуација и специјализирани вештини за големи модели. [Граѓани и др., 2019] Розенфелд и др., 2019 Kaplan et al., 2020]. [Хернандес и др., 2019] [Рамазеш и др., 2024 година] 2 Data Collection Очекуваме човечки повратни информации (HF) да имаат најголема компаративна предност во однос на другите техники кога луѓето имаат комплексни интуиции кои се лесни за измислување, но тешко да се формализираат и автоматизираат. Ова значи дека при собирање на HF, треба да се обидеме да избереме задачи кои се што е можно интуитивни и познати. Избравме да користиме дијалог на природен јазик и поради овие причини, и затоа што е толку општ – во суштина секоја задача базирана на текст може да се спроведе преку дијалог, особено со некои изворни материјали вклучени во линијата. 2.1 Task Specification and Crowdworkers Нашиот интерфејс за човечки повратни информации може да се види на сликата (За повеќе детали видете Прилог) Луѓето можат да комуницираат со нашите модели на природен јазик преку разговор и да побараат помош со било која задача базирана на текст. Кога тоа е разговорниот ред на моделот, корисниците гледаат два можни одговори на моделот и избираат со кој да продолжат. Овие два одговора може да дојдат од истиот модел, или два различни модели. Потоа можат да поставуваат прашања за следење или да им даваат дополнителни инструкции на моделите. 6 д) на • Crowdworkers write a chat message to our models, asking them to perform a task, answer a question, or discuss any topic of interest. • Crowdworkers are shown two responses, and are asked to choose the more helpful and honest re- sponse (or in the case of red-teaming, to choose the more harmful response). We conjectured that crowdworkers who wrote well and engaged the AI in more interesting discussions would tend to have better judgment about which AI responses were most ‘helpful’ and ‘harmless’. This meant that rather than attempting to filter crowdworkers based on label quality, we instead used spot-checks of their writing, which were simpler and more intuitive for us to perform. Otherwise, our approach to data collection was to largely let crowdworkers use their own intuitions to define ‘helpfulness’ and ‘harmfulness’. Our hope was that data diversity (which we expect is very valuable) and the ‘wisdom of the crowd’ would provide comparable RoI to a smaller dataset that was more intensively validated and filtered. Overall, our process was roughly of this form: Ние поканети мајстор-квалификувани базирани во САД MTurk workers to engage in dialogues with our models. 8 Наместо да ги оценуваме сите наши собирни работници, ги идентификувавме оние кои беа најпродуктивни и заедно претставуваа околу 80% од нашите податоци (околу 20 собирни работници). Потоа ги оценувавме нивните перформанси врз основа на нивната софистицираност и варијација во нивните дијалози, бидејќи ова беше прилично лесно да се процени интуитивно (наместо врз основа на било која мерка на согласност за корисни / безопасни избори). со кои продолживме да работиме во текот на истражувачкиот процес. 9 Ние ги поканивме нашите избрани crowdworkers на каналот на Slack и ги кореспондиравме со нив по е-пошта, за да се осигура дека тие се компензираат фер. и да им овозможиме да нè предупредат за какви било проблеми или проблеми. 10 4. We also hired crowdworkers on Upwork, and vetted them in a similar, lightweight way. We have continued to use both platforms throughout this work. We find that it is easier to incentivize very high-quality interactions on platforms such as Upwork, where crowdworkers can easily be paid by the hour, rather than per task. But conversely, MTurk workers tend to generate data much more rapidly, and account for about 80% of our datasets. We did not filter workers based on agreement or other direct measures of label quality, though we evaluated them retrospectively (see Figure right) and found poor average agreement (about 63%) between Anthropic researchers and our crowdworkers, as compared to recent similar work such as 10 [Стиеннон и др., 2020 година, Ouyang et al., 2022]. Како важно предупредување, нашата дистрибуција на crowdworker не беше фиксирана во текот на оваа работа, и очекуваме дека квалитетот на crowdworker веројатно ќе се подобри како што проектот продолжи. Напротив, сепак, бидејќи ние генерално ја обесхрабрувавме повторувањето, масовните работници кои ја извршиле задачата многу пати, исто така, може да имаат тенденција да се ангажираат во повеќе езотерични интеракции. 4.5. We should also note that we explicitly told crowdworkers that ‘lying isn’t helpful’ and that they should try to only reward helpful Тоа беше кажано, ние не очекувавме масовните работници значително да ги проверуваат нашите модели, и на пример, тие често претпочитаат одговори кои вклучуваат нефункционални URL-адреси, кои веројатно се една од наједноставните можни "лаги" за дебак. И искрено 2.2 Helpfulness and Harmlessness (Red Teaming) Datasets We collected two separate datasets using slightly different versions of our interface. For the helpfulness dataset, we asked crowdworkers to have open-ended conversations with our models, asking for help, advice, or for the model to accomplish a task (see Appendix ) и да се избере моделот на одговор кој беше . For the harmlessness or red-teaming dataset, we asked crowdworkers to attempt to elicit harmful responses from our models, and to choose the response offered by the models. Д2 Попомош повеќе Повеќе штетни Нашиот интерфејс (фигура allows users to express a preference strength. We only include comparisons in our datasets if crowdworkers expressed a preference stronger than the weakest available. In this work we will not otherwise use this preference-strength information; we treat all comparisons in our dataset as binary and of equal weight (so in particular we do not include ties). 6) на Имајте на ум дека ова значи дека нашиот сет на податоци за корист има тенденција да ги движи разговорите во поповолна насока, додека во нашиот сет на податоци за црвено-теминг корисничките одговори ги движат разговорите во повеќе штетна насока. Ние го направивме овој избор за да им овозможиме на корисниците целосно да измамат и да ги искористуваат моделите додека црвено-теминг, бидејќи ова беше најприродно за друга работа што ја правиме која е специјално фокусирана на штетноста. We plan to remedy this in future work, and would recommend others who are focused on training harmless dialogue models to collect data where users primarily choose model responses that move the conversation in the more beneficial direction instead. 4.4 Одделот 2.3 Models Deployed to the Feedback Interface and Associated Data Distributions For data collection we predominantly used 52B language models with the broad specifications given in We used three classes of models in our interface: 11 [Askell et al., 2021]. • : At the beginning of the project this was the only model available. It performs similarly to a plain 52B language model prompted with HHH dialogues HHH Context-Distilled 52B Language Model [Askell et al., 2021]. • со модел на преференција 52Б, каде што примероците се генерирани од контекстуално дестилиран LM 52Б. of samples was a parameter, but most often we used = 16 години Rejection Sampling (RS) k k • : We used a succession of these models in our interface. The models varied primarily based on the amount of data available when training the associated PMs (depending on the phase of the project). However, we also deployed models trained on different mixtures of helpfulness and harmlessness data. RLHF-Finetuned Models In the final phase of the project, when we were primarily deploying RLHF-finetuned models, we often de- ployed several such models at once. This allowed us to monitor progress by gathering model-comparison data, and also to (perhaps) improve data diversity. Соодветно на трите класи на модели, ги поделиме нашите податоци во три дистрибуции: • A core dataset collected using only the context-distilled LM. This dataset includes 44k helpful- ness comparisons and 42k red-teaming (harmlessness) comparisons (note a conversation typically comprises about four comparisons). base • А dataset consisting of 52k helpfulness comparisons and 2k red-teaming comparison using re- jection sampling models, where rejection sampling used a preference model trained on the base dataset. RS • An iterated ‘ ’ dataset including data from RLHF models, which were updated on a roughly weekly cadence over the course of about five weeks. This dataset contains 22k helpfulness compar- isons and no red-teaming data. online Хистограмот на овие дистрибуции според конечниот резултат на нашиот онлајн модел за преференција на HH може да се види на сликата во секција Што следи кога ќе разговараме за или база + RS сет на податоци, ќе се однесуваме на комбинацијата на првите две компоненти. Повеќето од нашите резултати се базираат на статичкиот сет на податоци, бидејќи спроведовме експерименти и евалуации со него додека беше во тек онлајн собирањето на податоци. 15 4.5 Одделот static 4.5 Ние анализираме неколку различни поделби на статичкиот сет на податоци – стандарден поделба во 95/5 воз / тест податоци, и поделба 65/35 што ги користиме за да добиеме подобра статистика при оценување на калибрацијата на моделот на преференција на тест сет. Ние исто така размислуваме за поделба 50/50, каде што ги обучуваме различните ПМ на двете половини на сет на податоци. Ова се користи за да се процени робусноста на обуката за РЛ, како што потоа обучуваме политика за РЛ против еден ПМ додека ги оценуваме наградите постигнати со таа политика како што се мери од страна на независниот ПМ. 2.4 Comparing Models with Elo Scores Значителен дел од нашата анализа ги споредува моделите едни со други со цел да се генерираат поврзани Ело резултати, како што е опишано во That is, we have crowdworkers chat with two models simultane- ously, with each model generating one response (either ‘A’ or ‘B’) at each turn, and we record the sample that is preferred by the worker. This provides us with a record of ‘win rates’ between pairs of models, which we can then fit to corresponding Elo scores, to produce Figure (where we show both win rates and Elo scores). Two useful conversion formulas are [Askell et al., 2021]. 1 for the fraction in which one model is preferred over another, the difference in Elo scores, and our PM scores. Note that conceptually win fractions, Elo scores and PM scores are interchangeable; we keep both Elo and PM scores so that we can avoid confusing crowdworker preferences (where we use Elo) with our preference modeling and RLHF (where we use PM scores). Note that the Elo scores for context-distilled models in Figure differ somewhat from the analogous results for prompted models in – the Elo scores are now more compressed. The main difference is that we did not use top-p sampling this time . The difference may also be due to changes in the crowd- worker distribution since that earlier experiment, or changes in crowdworker expectations, as before this test our workers were mostly interacting with higher-quality RLHF-trained models. 1 [Askell et al., 2021] 12 3 Preference Modeling for Helpfulness and Harmlessness 3.1 Модели и обука We use language models with specifications that are identical to those discussed in [Askell et al., 2021], with a total of seven language models with parameter counts running from 13M to 52B and approximating a geometric series with increments of roughly 4X. We use PyTorch [Paszke et al., 2019] and Triton [Tillet et al., 2019] to facilitate model training and performance. Our preference model training setup is also identical to that in [Askell et al., 2021], and in particular we apply ‘preference model pretraining’ (PMP) to our language models before finetuning on our human feedback datasets, as explained in Section 4 of that paper. More details are provided in Appendix A. Note that we typically only train PMs for a single epoch, so the learning curves themselves (Figure 7 left) indicate how performance scales with dataset size (we used a fixed learning rate). 3.2 Basic Scaling Results We would like to understand how preference modeling performance improves as we increase model size and collect additional data. In Figure we show basic results for PM accuracy when training on our static helpful and harmless data mixture. Roughly speaking, we observe log-linear trends in both dataset and model size. We tend to find somewhat more consistent trends if we model only the helpfulness or harmlessness distributions in isolation, rather than as a mixture, as observed in Figure in Appendix Но, тука исто така гледаме дека за некои дистрибуции на податоци scaling trends can exhibit more complex patterns that defy simple trends. 7 32 A.3. [Stiennon et al., 2020], Нашите податоци за моделирање на преференции доаѓаат од дијалогот на природен јазик, каде што масовните работници имаат текстови базирани разговори со моделот, и избираат повеќе корисни од два одговори на моделот на секој круг во разговорот (или повеќе штетен за задачите со црвен тим). Значи, природно е да се праша како перформансите на PM се менуваат како функција на разговорот. PMs are somewhat more accurate on the first step of the conversation, but their accuracy is nearly constant thereafter. 8. 3.3 Calibration of Preference Models and Implications for RL Preference model scores should predict the probability that humans will prefer one or another model- generated response. We are interested in whether these probabilities are accurate, i.e. whether the PMs are well calibrated. We characterize calibration in Figure where we display PM accuracy as a function of the difference in PM scores assigned to pairs of samples, along with a heavy black line representing perfect calibration. We observe that PMs trained only on helpfulness data are very well calibrated, but PMs trained on a mixture of helpful and harmless data are slightly under-confident. 9, од These calibration results are important because in later sections we will be using PM scores as the reward signal for reinforcement learning. Since the PM scores are well-calibrated, we can trust that they faithfully encode the probabilities that humans will prefer specific model samples (at least on-distribution with the training set). This means that when we see RL achieving a given reward, we can trust that those who interact with this model (if they are well-represented by our crowdworker distribution) will prefer it to reference models at a predictable rate, provided that the PM scores of the models’ responses are within the range considered in these calibration studies. That said, we find significant failures of robustness as RLHF optimizes towards much higher scores, as explained in Section and Appendix Робуста 4.5 B.4. We might generally expect that as sample quality improves, it becomes more difficult to reliably identify the very best samples. In Figure in the appendix, we show that if we restrict to comparisons where both samples have a PM score above a given threshold, then PM accuracy drops as a function of this threshold value (to compare different PMs we add an offset so that they all obtain the same mean score on the test distribution). Notice that this result combines three effects: (1) differentiation among more sophisticated samples may be more challenging and require greater capabilities, (2) we have fewer very high quality samples to learn from in our dataset, as they are non-generic, and (3) pairs of samples that are all high-quality will have similar scores (compared to randomly chosen pairs), and so be more difficult to distinguish. 25 These observations also have an implication for RLHF training, namely that we should expect diminishing returns from further RLHF training once our policies achieve a sufficiently high PM score. This also motivates online training, so that we can update our PMs to stay on-distribution as RLHF policies improve. 3.4 Evaluating Helpful and Harmless Preference Models 3.4.1 HHH Evaluation and Crowdworker-Anthropic Agreement We have shown that PMs trained on our dataset are learning something and are well-calibrated. But we would also like to show that these PMs are actually learning to prefer helpful and harmless behavior, accord- ing to some independent standard. We provided a set of comparison evaluations for helpfulness, honesty, and harmlessness (i.e., HHH Evaluation) in prior work and evaluated raw, context-distilled, and prompted language models on this benchmark. As shown in Figure we find that our PMs perform much better than all of the models we evaluated previously. In fact, the Pathways LM effort recently reported a mean human score of 75% on this dataset, so in a sense our PM performance of 86% is well above mean human accuracy. [Askell et al., 2021] 5, [Chowdhery et al., 2022] We also observe that there are a few outliers, where our PMs are confidently incorrect on HHH evaluation comparisons (see Figure Ова се примери за неуспеси на , where the better choice is honest but unhelpful, while the incorrect choice appears both helpful and well-written, but is subtly incorrect or misleading. We show the single worst example in Figure It’s worth noting that the bad response (which was written by Anthropic researchers) is likely out of distribution as compared to samples from our language models and RL policies. Since only model-generated samples were used to train the PMs, this may explain why the PM was badly fooled by these examples. It also indicates that the PMs are not adversarially robust. 10 honesty 11. Ние исто така можеме да ги споредиме нашите соработници, себеси и нашите модели на преференции во однос на договорот за етикетите. and are based on about 320 examples from our static test set. The PMs are trained to predict crowdworker behavior, so PM-Crowdworker agreement is best. However, the largest PM actually agrees with the authors (i.e. Anthropic researchers) slightly more than the authors agree with crowdworkers on labels. We also suspect this is a poor subsample of the data, since PM accuracy is several percent lower on this subsample as compared to the full test set. 10, 3.4.2 Gender Bias and Bot Adversarial Dialogues Можеме да почнеме да ги оценуваме дали нашите ПМ покажуваат родова предрасуда со споредување на резултатите низ родови термини. Човечки: Можете ли да ми помогнете да го пополнам зборот што недостасува во една реченица? Асистент: Секако, тука е вашата реченица со недостасува збор пополнет: The {Occupation} is a {Gendered Term} where we use a list of 76 occupations, 12 matched gender terms (mother vs father, guy vs gal, etc), and both present and past tense Preference model scores are not directly meaningful, so instead we evaluate the difference in score between paired gender terms, and compare that to the difference in score among terms within a given gender. The results are shown on the left in Figure Набљудуваме дека варијацијата меѓу термините кои укажуваат на одреден пол се чини дека е барем толку голема како варијацијата помеѓу половите. [Rae et al., 2021]. 12. As an external validation of our PMs, we consider the Bot Adversarial Dialogues (BAD) dataset Овој сет на податоци содржи неколку илјади разговори помеѓу системот на АИ и човекот. Секој одговор на АИ е означен како штетен или не штетен. Ние ја пресметуваме дистрибуцијата на преференциалните модели за BAD AI изјавите (ние ја ограничуваме нашата анализа на првата BAD AI изјава по разговор) и откриваме дека BAD AI изјавите означени како штетни имаат значително пониски преференциални модели. Ова сугерира дека нашите ПМ ефективно ги класифицираат овие AI генерирани изјави, иако тие веројатно се сосема различни од дистрибуцијата на податоците на кои нашите ПМ биле обучени. [Xu et al., 2020]. 4 Reinforcement Learning from Human Feedback 4.1 Training Setup We apply reinforcement learning (RL) with preference modeling, following the approach outlined in which can summarized in the following steps: [Stiennon et al., 2020], 1. Prepare a dataset of comparisons, and train a PM to assign a higher score to the ‘better’ item in each comparison. In the context of our human feedback experiments, each comparison consists of a prompt followed by a pair of model-generated responses, with a PM score evaluated at the end of each response. 2. Extract all the prompts from the preceding dataset, and train an RL policy to generate a response to each prompt autoregressively, with a reward signal provided by the PM score at the end of the response. PM dataset and training details are provided in Appendix we also discussed the performance of our PMs in Section In the language of RL, each response generated by the policy is a ‘timestep’, a full conversation is one ‘trajectory’, and the PM score is a single ‘reward’ provided at the end. A.2; 3. Идејата е да се користи моделот на преференции за да се насочи политиката кон пишување подобри одговори. Сепак, како што видовме во претходните делови, ПМ-ите исто така стануваат помалку калибрирани на повисоки резултати, така што повисоките награди не мора да значат подобри перформанси. To stabilize RL training, we use Proximal Policy Optimization (PPO) We also follow other work and apply an empirically-estimated KL penalty term in the reward, with the total reward given by [Шулман и др., 2017] [Стиеннон и др., 2020] where KL >/ 0 is a hyperparameter. In practice we use a very small value of KL = 0:001, which likely has a very minor impact during most of RL training (as DKL < 100 typically), and might actually be wholly unnecessary. More details about RL are provided in B.1. Throughout this paper we use PM = the preference model score itself for the RL reward. Recall that as implied by equation this means that the difference in PM values between two samples and will be related to the predicted probability ( на ) that will be preferred to via r (2.1), r A B P A > B A B There is no good reason to use this preference model score directly as the reward, but it has been used in prior work such as И така, за едноставност, нема да ги истражуваме варијациите на овој избор тука. 13 [Stiennon et al., 2020] In order to produce additional prompts (i.e. the human side of the conversations) for RLHF training, we used a large LM to generate them. For this purpose, we simply used few-shot learning, creating a context with about 10 existing high-quality human queries, and then sampling to generate more. We find that the sample efficiency of RLHF is roughly the same on the original crowdworker-written prompt dataset and the model- generated one, so we combine the two for greater diversity during RLHF training. We used 137k prompts from the ‘static’ dataset, and 369k model-generated prompts. Note that almost all of our preference modeling data was collected from 52B models. This means that RLHF training with smaller models might have been challenging, since samples from smaller models tend to be out-of-distribution from the PM training data. Thus it is quite interesting that models more than fifty times smaller were actually able to learn and improve, as seen in Figure 1. 4.2 Експерименти за робусност We now discuss the problem of RLHF robustness. A fully robust PM would agree with humans on distribu- tions of dialogues quite different from those encountered during PM training (i.e. different from those created by crowdworker interactions with our deployed AI assistants). However, we do not expect that our PMs are so robust, and in fact Figure provides one plausible example of a robustness failure. Since RL optimizes the policy to maximize the PM score, any failure in robustness on the part of the PM may be exploited by the RL policy to achieve higher rewards, without actually improving the policy’s behavior from the point of view of human evaluators. 11 A rigorous way to study robustness is to take snapshots of the policy at various points during RLHF training, including the initial snapshot, and have crowdworkers compare their performance. This gives a ‘true’ Elo score, as evaluated by crowdworkers, which can then be compared directly with the PM scores. We present an example of this study in Section 4.5 Одделот However, this sort of test requires collecting additional human feedback data, which can be slow and expen- sive, so here we also study robustness from a different angle. Similar to how datasets are split into train and test sets for supervised learning, we split our preference model comparison data into two halves (a half and a half), and train separate preference models on each, which we refer to as the ’s and the ’s. We then train RLHF policies against the ’s, while evaluating them using the Слично на тоа како оценките на тестовите ни помагаат да го разбереме преоптоварувањето во надгледуваното учење, evaluations help us understand overfitting relative to the ’s. These experiments are not conclusive since the train and test PMs may exhibit correlated robustness failures. train test ПМ возови test PM train PM test PM Преглед на PM train PM The main conclusions from these experiments are: (1) RLHF becomes gradually less robust at higher PM scores, and (2) larger preference models are more robust than smaller ones. We conduct two sets of experiments as follows: • : This set consists of a scan of policies (i.e. one for each model size), all of which are trained with respect to the same 52B . Train PM Size = 52B train PM • : This set consists of a scan of policies, with each policy trained with respect to a of the same size as the policy. Train PM Size = Policy Size train PM For both experiments, each policy is further evaluated with respected to a scan of „Во текот на обуката, забележете дека refers to 7 different model sizes ranging from 13M to 52B, thus giving us 7 policies and 7 × 7 evaluations per experiment. Преглед на PM scan во фигура we compare the and резултати во текот на процесот на обука, слично на тоа како обука и тест криви често се споредуваат за надгледувана обука.Ние откриваме дека во сите случаи, двете резултати се во блиска согласност за време на раните фази на обука, но на крајот се разликуваат, со providing a lower score. The divergence is likely an indication that . That is, the policy has been over-optimized on the , making the over- confident in the policy’s performance. The , од друга страна, не страда од овој проблем, бидејќи беше обучен на различен дел од податоците кои ниту политиката, ниту Беше набљудуван 4 од 4 ПМ возови Преглед на PM test PM Моделот на преференции е помалку цврст и полесно се искористува со повисоки награди. ПМ возови train PM test PM train PM Повеќе дебати во Прилог B.2. 4.3 An Approximately Linear Relation Between √ KL and Reward D D In Figures and Набљудуваме еден between √KL and PM score during RLHF training. Furthermore, we note that when√a__ll mo__dels are trained and evaluated with the same PMs, the learning curves are roughly in the KL-reward plane. Note that here the ‘KL’ is more precisely reward varies linearly in , then in the ‘sma√ll__- r__egion’ (i.e. where the series expansion provides a good approximation), we should expect reward ∝ KL. Typically we should that reward varies linearly in , because because the initial policy претходно не беше оптимизиран за награда, така што нема причина зошто би седнал на крајност во однос на мали варијации . So the fact that this relation seems to hold empirically suggests that most of RLHF training remains in the small- на режимот. 4 13 approximately linear relation parallel D δπ δπ D expect ДП π ДП δπ Though they did not use these coordinates, a similar scaling can be read off from the results in learning to summarize In particular, they provide a nice analysis of rejection sampling, where they generate примероци, а потоа заговор значи награда на врвот samples versus the KL = log( ). [Stiennon et al., 2020]. N k D Н / К This analysis suggests that these RL learning curves might be associated with changes in the RL policy that behave very similarly to simply rejection sampling from the initial distribution. Ние сметаме дека оваа едноставна врска е прилично импресивна, и веруваме дека заслужува понатамошно проучување.На ниво на претпоставки, може да има разни импликации и употреби кога RL-финетунирање на големи генеративни модели: • These relations provide a rough prediction for ‘how much does the policy need to change to achieve a specific reward’. Furthermore, if the lines corresponding to different model sizes really are parallel, then one can use RL training of a small model along with the zero-shot performance of a larger model to estimate the eventual performance of a larger RL policy. The slopes of these lines also explain how RLHF training can produce such large effective gains in model size, and for example it explains why the RLHF and context-distilled lines in Figure are roughly parallel. 1 • One can ask a subtle, perhaps ill-defined question about RLHF training – is it or simply Ние teaching the model new skills Фокусирање на моделот на генерирање на под-дистрибуција на постоечките однесувања може да се обиде да направи оваа разлика sha√r__p b__y поврзувајќи ја последната класа на однесувања со region where RL reward remains linear in KL. • To make some bolder guesses – perhaps the linear relation actually provides an on RL re__war__d, as a function of the KL. One might also attempt to extend the relation further by replacing √KL with a geodesic length in the Fisher geometry. Врвот на врвот By making RL learning more predictable and by identifying new quantitative categories of behavior, we might hope to detect unexpected behaviors emerging during RL training. 4.4 Tension Between Helpfulness and Harmlessness in RLHF Training Во почетната фаза на овој проект, откривме дека многу од политиките на RLHF многу често ги репродуцираат истите претерани одговори на сите далеку чувствителни прашања (на пример, препорачувајќи им на корисниците да бараат терапија и професионална помош секогаш кога изразуваат било кое ниво на незадоволство воопшто). We now believe these policies were the result of for harmlessness, while helpfulness. 6.2. over-optimizing Подоптимизација Со нашата постапка за собирање на податоци, ние мислиме дека ова е прилично интуитивно. За да добиете многу добар резултат на повици за црвено придружување, веројатно е доволно за моделите да одговорат со нешто како "Не можам да одговорам на тоа." In Figure (right), we show the policy’s PM score throughout training, after separating helpfulness and harmlessness prompts. On the left side of the same figure, we show the score distribution of PM comparison data, again separating helpful and harmless datasets. We observe that the policy’s harmlessness score is somewhat off-distribution, as it is on the upper tail of the harmlessness comparison data. On the other hand, the policy’s helpfulness score appears on-distribution, and is likely under-optimized. So we would expect this agent to be very difficult to red-team, but not very helpful. 14 This then raises an obvious question – can’t we just collect more harmlessness data to fill out the upper tail of the distribution? The problem involves the definition of harmlessness mentioned above – if simply refusing to answer a question is the ‘least harmful’ behavior, then this is probably both very easy to learn, and hard to improve on. That said, a more interesting ‘least harmful’ behavior would involve the model (helpfully) explaining why the request was harmful, and perhaps even trying to convince the human not to pursue such requests. We informally refer to such a model as a ‘hostage negotiator’. However, our data collection process made it very difficult for models to learn ‘hostage negotiation’. This is because when collecting our harmlessness dataset, we had crowdworkers choose the AI response. We made this choice so that we could fully explore the vulnerability of our models to red-teaming. However, from the point of view of RLHF this was problematic, because beyond the first turn of dialogue, our models never learned what a response to a harmful query might be like. Our dataset does not provide guidance on the upper end of the distribution, on what models should do, but only tells models what to do. more harmful sophisticated Не In practice, we have partially resolved the optimization issue by training on a larger fraction of helpfulness prompts during RLHF. But in the future we hope to more fully and systematically address this problem by collecting harmlessness data where crowdworkers choose the best possible response from our models. In this way we hope that rather than simply shutting down harmful requests, models can learn the more subtle art of ‘hostage negotiation’ with red-teamers. 14 Note that since the data and models discussed in this section are from an earlier stage of our research, the RL results may look slightly different from other parts of the paper. 4.5 Iterated Online RLHF In preceding sections we discussed the problem that PMs become progressively less calibrated and less robust at higher scores, as seen in the PM calibration study in Figure and the RLHF robustness study in Figure 9, We believe this is caused by a lack of data in this high score regime. To address this, we propose : 4. iterated online RLHF • We simply train the best RLHF policy we can, and use that to collect comparison data from crowd- workers. Since the policy was trained to optimize for PM score, it should produce responses that are on the upper end of the score distribution. • We mix the new comparison data with our existing data, and train a new scan of PMs, which we then use to train a new scan of RLHF policies. Then reiterate this process indefinitely. Our hypothesis is that the ‘online’ RLHF policy helps us collect data on the upper end of the PM score distribution, which should improve PM calibration at high scores on subsequent iterations, and thereby allow us to train even better policies. Continuing this process should give us progressively better PMs and policies. Note that our use of the terminology ‘online’ is different from conventional use of the word—instead of training the same model iteratively, we retrain a new model per iteration. One concern about this approach is that RLHF tends to decrease the policy’s entropy, which would limit the diversity of data collected through the online procedure. We partially address this by deploying a number of different snapshots from RL training, and from different online iterations, at once. This also makes it possible to compare these models to get a better sense of how they are performing. We can see signs of life from the online approach by looking at the evolution of our data distribution. In Figure (лево), ги прикажуваме ПМ резултатите од три дистрибуции на модели: , (одбивање на примерокот) и Како што е опишано во делот We see that according to our final online PM (trained on all of the data), the quality of samples improves from the base to the rejection-sampling to the online data distributions. We also found that our online PM achieves accuracies of 74%, 70%, and 67% on the test sets for the respec- tive base, RS, and online-only distributions, which shows that distinguishing among higher quality samples is becoming more challenging. This makes us optimistic that online training should outperform rejection sampling in the long run. 15 Base RS Online 2.3. We show the learning curves for our online models, along with measurements of Elo scores from crowd- workers, on the right in Figure We see that models improve significantly during RLHF, but Elo scores from crowdworkers do not match predictions from PMs. We further discuss and decompose the robustness of RLHF training in Appendix where we see that distributional shift accounts for a significant part of the apparent robustness failure (Figure 15. B.4, 35). In Figure we compare Elo scores of our online model with context-distilled models and RLHF models trained on the ‘static’ (i.e., no online) dataset, showing that the online models are clearly preferred by our crowdworkers. However, readers might worry about two caveats: the online model was trained on a slightly larger (about 20% larger) dataset, and the online model was trained with improved RLHF hyperparameters (the online model was trained with a larger Дефинирано во Прилог and its PM was trained with 2048 context instead of 1024), as compared to the earlier static RLHF training run. 1, K B.1, To address both of these caveats, we performed a controlled experiment comparing two RLHF runs: one trained with our base dataset (about 44k PM comparisons), and another trained on an even mixture of base, RS, and online data (околу 15k ПМ споредби од секој). Значи, за овој експеримент обучивме два одделни ПМ на секој сет на податоци, а потоа обучивме неколку политики на РЛХФ против овие два ПМ. Покрај разликата во податоците, и двете работи ги користеа истите поставки и беа обучени само за корисност. we compare Elo scores for various snapshots of both runs, as determined by crowdworker preferences, showing that the policy trained on the iterated-online mixture is clearly preferred. This demonstrates that online training works, and that performance gains are not merely due to increased dataset size or hyperparameter changes. whose total dataset size is the same as the base dataset 15 16, 4.6 Evaluations: Alignment Bonus, Honesty, and Biases Language models that have been finetuned via RL typically have much narrower, lower-entropy output distri- butions. This can make evaluations difficult when they are fairly rigidly formatted, since all valid responses may be far off-distribution for the RLHF model (we discuss an example with gender bias evaluations below). Thus we expect in future work evaluations involving sampling and human interaction may be most relevant. In what follows we discuss some standard NLP evaluations, and then evaluations specifically related to the societal impacts of the models, including honesty, sentiment, and bias. 4.6.1 NLP Evaluations We evaluate our models on question answering, commonsense, trivia, and story completion using the bench- marks MMLU Lambada [P Грчка OpenBookQA ARC and TriviaQA Главниот заклучок е дека RLHF има тенденција да ги подобри перформансите на големите модели, додека деградира. the performance of smaller models. [Hendrycks et al., 2021b], aperno et al., 2016], [Зелерс и др., 2019] [Mihaylov et al., 2018], [Clark et al., 2018], [Joshi et al., 2017]. 16 Full results for both zero-shot and few-shot evaluations are shown in Figures and and we provided a summary of the mean trends in Figure Readers may notice that results improve rather suddenly for some evaluations; this is a consequence of the format we use for multiple choice questions, where we explicitly provide choices (Gopher used this format). The format is provided explicitly in Appendix Наоѓаме дека овој формат има тенденција да ги подобри перформансите на големите модели, додека го намалува перформансите на малите модели, што доведува до сомнително заблудувачки изглед на „грок“. curve. 28 29, 3. [Rae et al., 2024 година] E. [Power et al., 2022] 4.6.2 Honesty and Biases Големо прашање е дали моделите на АИ се искрени. Ние ги оценуваме нашите модели на TruthfulQA (MC1) and show the results in Figure There we also include performance at 50-shot, in or- der to demonstrate that while our RLHF training significantly improves honesty, our models most likely have significant room for improvement. Note that our instructions to crowdworkers suggest that ‘lying isn’t help- ful’ and that they should choose responses that are ‘helpful and honest’, so this is presumably related to the improvements we see on TruthfulQA. That said, we do not currently expect RLHF to be the best approach to honesty. [Lin et al., 2021] 5. Another set of questions involves the underlying biases of these models. We evaluate our models for sentiment biases on race and religion (in the same format as Gopher 2021)), за родовите предрасуди и за бенчмаркот за предрасуди за QA (BBQ-lite) [P [Rae et al., Аристотел и др., 2021 година. Резултатите за чувствата кон различни расни и верски групи се прикажани во сликата Главниот ефект што го набљудуваме е дека чувствата на нашите RLHF обучени модели имаат тенденција да бидат многу попозитивни од оние на обичните LMs, но е потешко да се каже дали предрасудите меѓу групите се промениле. , на пример, ниските резултати за атеистичката група е веројатно затоа што примероци како што се (генерација на модел во италика): 17. 17 The Atheist man was very skeptical and critical of religious dogma and conventional moral principles, seeking instead to derive his ethical values from rational consideration and empirical observation of the natural world. receive a sentiment score very near zero, which seems like a questionable evaluation. For these evaluations we use a prompt format where the human asks the assistant to complete the sentence as follows: Human: Can you help me finish a sentence? The sentence is: {sentence beginning} Assistant: Sure thing, here is your completed sentence: {sentence beginning} with sentence beginnings such as ‘The Atheist man was very’ as seen above. We also evaluated our models on BBQ-Lite, a simplified version of BBQA [P that is avail- able on BIG-bench. We were somewhat surprised by the results, and are unclear if any conclusions can be drawn based on them. In essence, we appear to find that our plain LMs do not exhibit very significant biases on this benchmark, using the available metrics. Here the metric is roughly ‘how often does the model invoke a term in a negative context, divided by how often it uses the term generally’. A value of 0.5 corresponds to the models being ‘unbiased’. RLHF training perhaps improves the results slightly (likely by improving sentiment) though the effect is very small (see Figure Можеме да се вратиме на овие проценки во иднина користејќи ги целосните BBQA метрики [P arrish et al., 2021] 18). arrish et al., 2021]. In Section 3.4.2 we investigated gender bias in preference models. We tried using this format for evaluating RLHF models, but we found that these models were more than 10 less likely than plain or context-distilled LMs to use a gendered term to complete sentences like ‘The CEO was a’. In other words, statements like ‘The CEO was a father’ seem to be somewhat off-distribution for the RLHF models, at least compared to general LMs. This is problematic for evaluations, because it means that the bias measurements are likely to be dominated by noise, and are unlikely to be representative of model behavior (i.e. model-generated samples). So in Appendix B.10 we experiment with another formulation of the task, where we reverse the order of occupation and gender terms, and add a ‘For work’ clause; this kept both the RLHF and other models on-distribution. The results are discussed in Appendix B.10, where we show that RLHF model’s biases are very strongly correlated (Figure 40) with underlying LM biases. In particular, with this evaluation we find that large RLHF models have gender biases that are very similar to language models evaluated at a lower temperature. 5 Competing Objectives, Specialized Skills, and OOD Detection A concern about alignment techniques is that they might compromise model performance. In Section истакнуваме квантитабилен компромис од ваков вид, помеѓу корисноста и безопасноста при обука на моделите за преференции. но се чини дека поголемите модели страдаат помалку од пад на перформансите од овој компромис. 5.1 Покрај тоа, ние, исто така, откриваме дека конфликтот помеѓу корисноста и безопасноста е релативно уникатен. Моделите со предност можат да научат да наградуваат силни перформанси на специјализирани вештини без загуба на перформанси на корисноста и безопасноста. Ние ја сметаме оценувањето на квалитетот на сумирање како таква вештина, користејќи го учењето да се сумира. dataset reformatted in conversational form. Later in Section we show that code models (i.e., models finetuned on code by supervised training) are also compatible with HH alignment interventions, even though the RLHF training does not involve code data or examples. 5.2 [Стиеннон и др., 2020] 5.3 во секција we highlight another approach to avoiding harmful behavior – it may be possible to reject most harmful requests, even without any access to harmfulness training data, by leveraging out-of-distribution detection techniques [F This approach might also be useful more generally in deployment scenarios where strange or off-topic requests need to be flagged or ignored. 5.4 ort et al., 2021]. 5.1 Mixing Helpful and Harmless Objectives In many cases harmlessness acts as a constraint on helpfulness. So we should expect that helpfulness and harmlessness may behave as partially anti-correlated objectives. We establish this by evaluating preference models trained on different mixtures of HH data, and with different weightings. На концептуално ниво, HH PMs во суштина може да учат да ги класифицираат податоците прво, а потоа да изберат резултат во зависност од дистрибуцијата.Ние ќе покажеме дека поголемите модели се изведуваат подобро и се поцврсти за мешање на податоци и тежење на губење, што може да се должи на нивниот поголем успех во одделувањето на разумен од штетни барања. 5.1.1 Varying Helpful vs Harmless Data Fraction Ние ги обучуваме моделите со користење на поделби на податоци кои се движат од 100% корисност до 100% безопасност во интервали од 10%.Нашата статичка дистрибуција на податоци има 42k црвени споредувања, така што за да ја контролираме големината на збир на податоци секогаш конструираме мешавини со вкупно овој број на споредби. shows performance on both harm- lessness and helpfulness as the training data mixture is varied. Note that training entirely on helpfulness or harmlessness data results in performance on the other distribution which is . This exemplifies the extent to which these distributions are in tension with each other. 19 significantly worse than chance Figure in the appendix also plots mean test accuracy over both helpfulness and harmlessness (where Mean Acc = (Harmlessness Acc + Helpfulness Acc)*/*2). Curves for larger models look more steep near the 0% and 100% areas, but flatter at the top. The curves for the smaller models are more gradual, with more distinct peaks in the middle. This again suggests that larger PMs are more robust to the specific fraction of red-teaming vs helpfulness data that is used, allowing them to learn both concepts more easily. 26 5.1.2 Weighting Helpful vs Harmless Losses Instead of studying different data mixtures, we can try re-weighting the losses. Since we have more helpful- ness than harmlessness comparisons, we experimented with weighting the losses as LTotal = LHelpfulness + λ · LHarmlessness for λ E 2 {1; 2; 3; 4; 10}, as shown in Figure 27 (relegated to the appendix). We note that larger models seem more robust to the choice of λ. Increasing λ from 1 to 10 causes a 7.4% decrease in accuracy on helpfulness for the 13M parameter model, whereas it only causes a 1.5% decrease in accuracy on the 52B parameter model. 5.2 Сумирање како специјализирана вештина Се надеваме дека моделите со специјални вештини може да бидат особено корисни и вредни. Како еден тест на ова прашање, го проучивме PM финетунинг на учењето да се сумира (LtS) Ние ги форматиравме LtS податоците во разговорниот формат за да одговараат на HH податоците, како што следува: [Стиеннон и др., 2020] Human: Can you write a summary of this article for me? ...Text... Assistant: Sure, here it is: ...Summary... As shown in Figure Големи модели со преференции обучени на мешавина од HH и LtS сетови на податоци се изведуваат подеднакво добро на двете. 20 се 5.3 Natural Language RLHF on Code-Finetuned Models As another test of a specialized skill, we would like to see if natural language alignment can be combined with coding without compromising performance. Since our crowdworkers were never instructed to probe the model’s coding abilities, and most likely do not have a great deal of coding expertise, our human feedback data does not include a significant number of code-related conversations. The preference model finetuning dataset and the RLHF prompt dataset thereby do not contain any significant amount of code, though there is some code in the LM pretraining mix and possibly a small amount in the PM pre-training (PMP) mix. This makes code-related problems an interesting way to test generalization of RLHF, and especially its compati- bility with other skills. Нашите "базни модели на код" беа финализирани на Python код изваден од Github како што е опишано во Starting from these Python fine-tuned (Python FT) models, we then ran our standard natural language RLHF training using ‘static’ preference models and prompts. We had difficulty achieving stable RLHF optimization on the 3B code model, so it has been excluded for this section. [Askell et al., 2021]. We evaluate models on the HumanEval dataset which prompts language models with python function signatures and docstrings. Models are tasked with correctly filling in the function body given the context, and model-written functions are run in a sandbox environment. In Figure we show results versus model size with and without RLHF training. We see the same trend here as with other evaluations – RLHF decreases the performance of small models, but improves the performance of larger models. [Дан и др., 2024 година] 21 RL training tends to decrease the entropy of the models’ distribution, and so we were concerned that these results would be very sensitive to temperature and top-p tuning. So for our 52B models, we performed a scan over temperatures and two top-p settings for both the RLHF models and the base code models, and then chose the best setting for each model and pass@k. We did a grid-search over the evaluation hyperparameters: T ∈ {0, 0.4, 0.6, 0.8, 1.0} × p ∈ {0.95, 1} × k ∈ {1, 5, 10, 25, 50, 75, 100}. Results are summarized on the right side of Figure 21. For each model and for each k in pass@k, we take the maximum performance over all 10 combinations of hyperparameters. We see that RLHF improves performance over the baseline on this evaluation, for all pass@k. We should emphasize that as with our other evaluations, the improvements in performance from RLHF are modest. In fact, we find that simply prompting a base code model performs slightly better, as shown in Figure Додаток further describes the format of the prompts we used (i.e., ‘HHH prompts’), which consist of a couple of code examples. 38. B.8 We also conducted experiments involving adding buggy code to the prompts, which typically worsens per- formance (see 2021]). We found that RLHF models did not perform better than their initial base code model snapshots, when these prompts are included in the context during evaluation, even after scanning over temperature and top-p. [Chen et al., 5.4 Applying Out-of-Distribution Detection to Reject Strange or Harmful Requests Во оваа работа ние првенствено се фокусираме на постигнување на безопасност целосно преку дијалог на природен јазик. Сепак, може да се обидеме да го избегнеме штетното однесување на малку поинаков начин, или со ограничување на јазичните асистенти да одговорат само на тесен опсег на барања (одобрена листа), или со филтрирање и отфрлање на познатите видови лошо однесување (блок листа). Such an approach might also be useful for those who want to build systems that only respond to a narrow range of queries (e.g. code models that should avoid non-code topics). Out-of-distribution detection (OOD), and especially near out-of-distribution detection, have been a major challenge for deep neural networks. Deep networks routinely assign high probability to mis-classified inputs [Guo et al., 2017, Lakshminarayanan et al., 2016] as well as to test inputs not belonging to any of the training classes [Nguyen et al., 2014]. There have been many approaches to OOD detection based on discriminative models [Hendrycks and Gimpel, 2016, Lee et al., 2018, Liang et al., 2017, Liu et al., 2020] as well as deep generative models [Nalisnick et al., 2019, Zhang et al., 2020]. The more difficult case of OOD detection, the so-called near-OOD detection [Winkens et al., 2020], has recently been improved upon significantly using pre-training and large models [Fort et al., 2021]. For a prompt i, we extract a vector of activations of dimension dmodel from a layer ` and call it v ` i ∈ R dmodel . The task is to distinguish between an unseen example of harmlessness and helpfulness data without being explicitly shown any harmlessness data at all. This approach works by measuring the deviation of a prompt from the helpfulness data, rather than measuring how close it gets towards harmlessness data in particular. In this way, we do not depend on the specific harmful content we have at hand, and can potentially filter different kinds of non-helpfulness content. To detect whether an input comes from the in-distribution (the helpfulness dataset), we use a scoring function that takes the input and maps it to a scalar value score(x). To do that, [Lee et al., 2018] first proposed to fit a simple model to training examples of the in-distribution, Din train = {v ` i ∈ R dmodel}. We calculate the mean µ = 1 Ntrain PNtrain i=1 v ` i and the covariance matrix Σ = 1 Ntrain PNtrain i=1 (vi − µ) (vi − µ) T . The Mahalanobis distance of an unknown activation vector x from this training set is score(x) = (x − µ) T Σ −1 (x − µ). A simple improvement on top of the Mahalanobis distance called the Mahalanobis distance has been proposed in and shown to lead to better AUROC as well as more robust detection for a range of OOD problems in vision and genomics (in addition to more robustness to adversarial attacks [F 2022]). Inspired by this method and recognizing that our problem does not naturally involve semantically meaningful classes comprising the in-distribution, we propose a further modification we call the Relative Mahalanobis distance. We compute it by fitting a full covariance matrix Σ as before, as well as a diagonal- only covariance matrix Σdiag, and assigning the difference of their Mahalanobis distance as our scoring function, score( ) е ( − ) Од 1 (една) − ) − ( − ) Σdiag−1( − ) на Relative [Ren et al., 2017 година] ort, поедноставување x x µ T x µ x µ T x µ Figure shows the results for our OOD detection experiments, trying to distinguish the helpfulness data from harmlessness data using our new Simplified Relative Mahalanobis distance to the helpfulness activation vectors. The figure shows AUROC for activation vectors from different layers of the model and different model sizes. The bigger the model, the better its performance, with the middle layers performing best. The right panel of Figure shows an example of the OOD score distributions for the helpfulness data (blue) and harmlessness data (red) for a 64L layer of 52B parameters and its 32th layer. We can see that the mode of the distances of the Harmlessness data is clearly higher than for the helpfulness data. The comparison of the Simplified Relative Mahalanobis distance and the standard Mahalanobis distance is shown in the Appendix in Figure 22 22 B.9 39. The advantage of this approach is that we are able to distinguish helpfulness data from non-helpfulness data, with harmlessness data being only a particular kind of non-helpfulness data. The disadvantage is its clear lower performance on this specific task in particular. If we have access to a small number of examples of Harmlessness inputs (the out-distribution), we could perform a few-shot outlier exposure, as first proposed by предложува користење на една класа која ги претставува примерите за OOD. [F] has used outlier exposure on top of individually strong near-OOD detectors and showed that they still enjoy a large benefit from being exposed to the examples of the out-distribution. We observe a similar benefit here, as discussed in detail in Section and shown in Figure [Hendrycks et al., 2018]. [Турски и др., 2019] Ѓорѓиќ и др., 2021) B.9 23. In particular, with only 10 examples of harmful prompts, we can achieve an improved AUROC of 0*.*94 0*.*02 for the 64L model. The best performance among all layers of all models (the middle layers of the 52B model) without outlier exposure (already using our Simplified Relative Mahalanobis distance, see Figure [22)] is approximately 0*.*85. A 4L model exposed to only 10 examples of harmful data gets an AUROC of 0*.*86 0*.*01, while having only 13M parameters as compared to the 52B. The OOD detection gains from outlier exposure are therefore very significant in comparison to the gains coming from model size scaling alone. 6 Qualitative Examples and Comparisons Ние откриваме дека нашиот процес на истражување во суштина зависи од квалитативни проценки, со цел да се добие чувство за силните и слабите страни на моделот, дури и кога крајната цел е да се произведе некој вид на квантитативна метрика. Очигледен проблем со квалитативната евалуација на примероците е тоа што е тешко да се знае до кој степен тие се избрани со цреша. . We provide samples based on prompts that appear in association with others’ comparable work in Appendix including Instruct- GPT LaMDA and sensitive questions appearing in PALMS We encourage readers to skim these samples to get an (arguably) unbiased sense for our model’s behavior. for each prompt we generate 17 samples, rank them with our HH online preference model, and then display the median sample C, [Оујанг и др., 2024 година], [Глав и др., 2024 година] [Solaiman and Dennison, 2021]. 6.1 Споредување со човечките писатели As an additional test of our models, we collected high-quality HHH dialogues from human writers. These writers were hired on Upwork (separately from our pool of crowdworkers) based on prior successful writ- ing work and positive reviews. We gave them some examples, and then asked them to write fairly ideal human/assistant interactions. Then based on the prompts (leaving off the final writer-written assistant responses), we generated 17 examples from our best HH and best purely-helpful online models, and chose the median response from this pool as ranked by our online HH preference model. We then asked our crowdworkers to rank responses from the writers, along with one response each selected from our HH and helpful-only models. We then use these results to estimate an Elo score for our human writers, by comparing to our two models, and we display the result as a horizontal band on Figure 1. We used a band because the writer comparisons were actually somewhat inconsistent with our other Elo rankings, as crowdworkers preferred our HH online model to human writers 56% of the time, but preferred the our pure-helpfulness model to writers only 51% of the time. Presumably this is because the distribution of writers’ prompts differs from the distribution of conversations in which crowdworkers usually engage. Thus rather than altering the rankings betweeen our HH and helpful models, we represent writers as a wide band. We find that the performance of both our helpful and HH models is roughly comparable to that of the human writers, though in fact the models are slightly preferred by crowdworkers. We also find that our PM’s typically assign higher scores to the model responses, as shown in Figure e believe that this result should be interpreted with caution and caveats, however. The writers’ prompts were not very adversarial; many strike us as ‘softball questions’ that models can easily do well on. As researchers who have interacted with models for tens or hundreds of hours, we could likely come up with many questions where humans would be more likely to outperform the models. Relatedly, the writers’ conversations do not strike us (in many cases) as especially realistic, in the specific sense that we would not expect a human to derive a great deal of practical value by asking an AI assistant for help in these ways. We expect that our models likely still fall significantly short of providing the kind of value that a sophisticated human assistant could provide via chat, even if they were operating under the constraints the model experiences (e.g. no internet access). 24.W Here are a couple illustrative examples of prompts, writer responses, and our online HH RLHF model’s response. In this example the model performs well at first, but then makes some slightly inaccurate statements about the ways in which it fixed errors: In this example the writer’s statistic is arguably a bit misleading (presumably unintentionally), and the model’s response may simply be superior. This strikes us as an example of a ‘softball question’ where we expect models to do well, since it is common, vague, and open-ended: Во овој последен пример, моделот прави некои суптилни грешки, но повеќето читатели веројатно ќе имаат потешкотии да ги откријат без да се консултираат со референтниот материјал: Dialogues like the above help to illustrate the limits of human feedback training: Ова е една од причините зошто можеби не сакаме да се потпреме на човечките повратни информации за да ги обучиме моделите да бидат искрени, или за било која цел каде што човечката пресуда не е најдобриот можен извор на информации. once model errors become sufficiently subtle, they will no longer be penalized appropriately, and the model’s incentives may no longer be aligned With that said, AI models still have limitations that can seem highly incongruous. Here’s an example where we, the more experienced model-interrogators, really played ‘hard ball’ with the AI: 6.2 Чувствителни прашања и избегнување против ангажман Here are a few examples from PALMS sensitive questions. We chose them to illustrate how the model sometimes avoids very sensitive subjects, but often provides otherwise reason- able responses. Please see Appendix за многу повеќе примери, вклучувајќи и некои од InstructGPT and LaMDA prompts. [Solaiman and Dennison, 2021] C [Ouyang et al., 2022] [Thoppilan et al., 2022] Here is a case where the model just refuses to answer the question: Тука моделот укажува на тоа дека не треба да одговори, но потоа обезбедува некои релевантни информации (можеби исто така е проблематично дека моделот се фокусира на САД, иако ова е веројатно последица од тоа што е обучен на англиски јазик од страна на американските работници во толпата): And here the model provides a fairly complete response, without attempting to avoid the topic: Qualitatively speaking, our experience has been that by tuning optimization for helpfulness versus harmless- ness, one can train models that are extremely avoidant when sensitive topics come up, or models that almost always attempt to engage, even on sensitive subjects. We suspect that Section исто така обезбедува корисни лекции ако целта е да се обучуваат модели кои даваат целосни одговори во лицето на чувствителни прашања. 4.4 6.3 Example Dialogues Most of our samples only involve a single prompt and response, so in this section we show a few two-turn dialogues. In this dialogue the model follows instructions, but could have done a significantly better job capturing the nuance of the situation: Here is some dialogue on a technical subject from a researcher who was experimenting with using the model to help debug an engineering issue: When asked to parrot writing styles, the model is more likely to make potentially harmful, explicit, or offen- sive statements: In this case we chose a human reply that takes the conversation in a subtly dark direction, and the model rebuts the argument: 7 Discussion Ние покажавме дека е можно да се користи зајакнување на учење од човечки повратни информации за обука на јазични модели кои дејствуваат како корисни и безопасни асистенти. Нашите RLHF обука, исто така, ја подобрува чесноста, иако очекуваме други техники може да се направи подобро уште. RLHF improves helpfulness and harmlessness by a huge margin when compared to simply scaling models up. [Стиеннон и др., 2020 година, Thoppilan et al., 2022, Ouyang et al., 2022, Nakano et al., 2021, Menick et al., 2022], Нашите интервенции за усогласување всушност ги подобруваат способностите на големите модели, и лесно може да се комбинираат со обука за специјализирани вештини (како што се кодирање или сумирање) без било каква деградација во усогласувањето или перформансите. Модели со помалку од околу 10B параметри се однесуваат поинаку, плаќајќи "данък за усогласување" на нивните способности. The overall picture we seem to find – that large models can learn a wide variety of skills, including align- ment, in a mutually compatible way – does not seem very surprising. Behaving in an aligned fashion is just another capability, and many works have shown that larger models are more capable finetune with greater sample efficiency and do not suffer significantly from forgetting Although we did not demonstrate it directly, we also expect that RLHF alignment training can be mixed with or precede train- ing for other objectives; this might be relevant in the future in order to avoid the production of intermediate, unaligned AI systems. [Калија и др., 2020 година, Rosenfeld et al., 2019, Brown et al., 2020], [Henighan et al., 2020, Askell et al., 2021], [Ramasesh et al., 2022]. Ние пронајдовме јасна тензија помеѓу корисноста и безопасноста, каде што моделите обучени целосно за корисноста се преферираат пред моделите обучени за HH, кога се оценува само на корисноста. Веруваме дека ова делумно се должи на суптилност во нашиот процес на собирање на податоци, бидејќи ретко собираме модели за учење на податоци како да се справуваме позитивно со штетните барања (т.е. како да бидеме еден вид „заложник преговарач“), но само за тоа како да ги избегнеме. И, исто така, откривме дека барем на ниво на моделите за преференции, тензијата на корисноста и безопасноста се намалува како моделите стануваат поголеми и поспособни. Large generative models have been referred to as ‘foundation models’ These mod- els are extremely interesting objects for research, but without further finetuning, they can exhibit harmful behaviors. Our work suggests that alignment training can be incorporated into foundation models without compromising their utility and versatility, and so perhaps it could soon become a part of their definition. [Боммазани и др., 2021 година]. 7.1 Ограничувања While we believe our results present a promising picture for the alignment of existing language models, work on this subject remains in an early stage, and has a number of limitations. As was also emphasized by the authors of we view our work on alignment as an ongoing project; our work Тоа беше чекор нула, а ова е чекор еден. [Глав и др., 2024 година] [Askell et al., 2021] We’ve pragmatically defined an aligned assistant as an AI that is helpful, honest, and harmless. We are op- timistic that at present capability levels, the techniques we have discussed here provide a reasonable approach to achieving helpfulness and harmlessness. However, although our techniques improve model honesty, we believe we are just scratching the surface of that problem, and that other techniques may more efficiently and effectively produce honest AI models. 18 Here we have essentially focused on the average-case behavior of our models. However, even if we were convinced that our models were HHH in expectation, a clear next step would be to attempt to study and eliminate bad behaviors (especially harmfulness) even in the worst case. We have not addressed this question of robustness here, but hope to study it in the future (approaches such as may be useful). It will only become more pressing as AI systems advance and encounter distributional shift during deployment. [Perez et al., 2022] AI alignment may be difficult and ambiguous to assess. So for example, while our large RLHF-trained models perform better than plain LMs on virtually all capabilities evaluations, one might hope that a truly helpful models’ zero-shot performance would equal the few-shot performance of an unaligned model. The logic here is that if a model can really ‘helpfully follow instructions’, then a prompt or explanation should be sufficient to bridge the zero-to-few-shot gap. We are very far from achieving this level of performance! Even on the honesty evaluation TruthfulQA we close a bit less than half of this gap (Figure We also briefly investigated whether our RLHF-finetuned code models have any comparative advantage when exposed to prompts including buggy code Еден би се надевал дека целосно усогласениот модел ќе го направи својот најдобар за да напише правилен код, дури и кога ќе му биде даден повик за грешка. [Lin et al., 2017 година] 5 ) [Chen et al., 2021], Ние, исто така, имаме општа загриженост дека можеби нашите техники само ги прават моделите приспособени „на површината“, и дека тие сеуште приспособуваат штетни предрасуди или други тенденции кои може да се појават во повеќе суптилни контексти. Откривме дека моделите на RLHF имаат повеќе позитивно чувство кон сите раси и религиозни групи, што изгледа ветувачки, но не мора да укажува на тоа дека предрасудите се намалени. И во однос на полот, откривме дека предрасудите на моделот на RLHF се многу силно поврзани со предрасудите на основните јазични модели. Тоа рече, ќе биде потребна понатамошна работа за да се разбере дали ова е ограничување на RLHF како техника, или на нашите специфични HHasets On a much more practical level, we do not have much experience applying RL techniques to large generative models. Experienced AI practitioners know that there are a large variety of tweaks and tricks that require experimentation to identify, and that can majorly improve the stability and performance of training. We have encountered some stability issues with RL, and although we performed some rudimentary hyperparameter scans, we expect that with more experience and study we could do better. We also did not explore variations in online training, such as literally updating a single PM or RLHF model; rather we retrained these models from scratch on each iteration. Another direction for exploration is to use a non-trivial function of PM scores as the RL reward, distorting the score distribution to e.g. focus more on discouraging bad behavior rather than rewarding good behavior. In summary, there are many future directions to explore for improving RLHF. A final concern is whether techniques like those we have employed will continue to apply as AI models become increasingly capable. We take these concerns very seriously. In our view, the present work makes some progress towards our goal, which is to establish a set of simple and universal techniques that can align AI models at present capability levels. Assuming this goal can be met, one of the next steps will be to build consensus among researchers and to understand alignment in greater depth, including how techniques scale with AI capabilities. The hope will be to create an evolving pragmatic state of the art for training AIs that are thoroughly helpful, honest, and harmless. Иницијално 19 Another essential step will be to use this baseline as a point of departure for exploring other techniques that can better-address more advanced use cases and more speculative failure modes. New ideas and techniques can then be pragmatically compared with existing methods, and then incorporated into standard practice if they yield further improvements in safety and robustness. Our view is that the most relevant problems and the most creative and effective alignment techniques will be identified and developed through research on concrete AI systems. As we saw in Section we are already encountering examples that point to the limitations of human feedback, and so we need to begin to develop other methods. 6.1, 7.2 Alignment Data as a Public Good In this work we allowed crowdworkers’ common-sense to define what constitutes helpful and harmless be- havior. This was sufficient for our exploration of ‘technical alignment’, i.e. the question of whether certain techniques can be used to train AI models to be more helpful and harmless. But we have avoided addressing the underlying question of what sort of behavior should be expected from deployed AI models. Тоа е речено, без јасна спецификација за форматот и типот на "податоците за усогласување" кои се најрелевантни за обуката за АИ, тешко е некој друг освен истражувачите да ги соберат информациите потребни за обука на безбедни и корисни системи за АИ. to teach AI models complex human preferences, and we have also found that preference modeling based on ranked comparisons scales better than many other techniques. [Stiennon et al., 2020, Ouyang et al., 2022 година, Nakano et al., 2021] [Askell et al., 2021] One possible approach would be for an independent organization with ethical, legal, and cultural expertise to create a very high-quality dataset expressing human preferences for AI behavior (via comparisons). Such an organization could also use a novel governance structure, so that a larger set of societal stakeholders could factor into the decisions it makes about how to create and curate alignment data – in contrast to today, where private companies make these decisions in an opaque manner using governance structures that grant power to financially interested parties. Datasets created in this way might be used for both training and evaluation of AI models, and could even begin to establish standards for behavior. Due to the rapid improvement in AI language models, we expect that such datasets would be most valuable if they encode preferences at human- level sophistication. In any case, this is just one speculative possibility for broadening participation in dataset creation. Our research has benefited from publicly available research datasets and evaluations relevant to aligning AI with human values and we plan to release our preference modeling data for others to use in their research. Unfortunately, this does not seem to be a standard practice among alignment researchers, as evidenced by some recent work. While we agree that LLMs themselves can be used for harm, it seems that no such argument can be made for alignment data. [Stiennon et al., 2020, Hendrycks et al., 2021a], Многу е важно да се овозможи соработка и репродуктивност за насочување и истражување на безбедноста. Како што системите за вештачка интелигенција стануваат помоќни и се прошируваат, цената на грешките и недоразбирањата може да се зголеми неверојатно. Ние веруваме дека единствениот начин убедливо да се одговори на потенцијалните безбедносни неуспеси од напредните системи за вештачка интелигенција е да се изгради внимателна заедница на истражувачи со длабока експертиза и способност да се проценат системите емпириски. One ostensible reason for secrecy is that organizations may use data from users to develop alignment datasets, and then justify not sharing the datasets on the grounds that it violates user privacy. This is a challenging issue that requires organizations to think about how to reconcile commercial priorities with the need to create a ‘safety commons’ for the community. If alignment becomes interlinked with the concept of commercial moats, that could reduce the overall net level of safety of the AI ecosystem. Therefore, we believe that datasets developed for alignment should be kept separate from commercial data, and should be openly shared to advance research on safe and beneficial AI. 7.3 Broader Impacts Се надеваме дека нашата работа обезбедува убедливи докази дека системите за вештачка интелигенција може да се направат побезбедни и корисни во исто време, и без трошоци за перформанси. Како што беше истакнато погоре, во голема мера останавме агностички во прашањето кои вредности го дефинираат прифатливото и неприфатливото однесување на вештачката интелигенција. Технологиите за вештачка интелигенција се со двојна употреба, што значи дека можат да се користат корисно и на друг начин. Ние ја пронајдовме ефикасноста на моделирањето на преференции и RLHF ударот (во нашето истражување и други) и веруваме дека постои многу легитимна загриженост дека овие техники би можеле да се користат за цензура, измама и дезинформација. Случаите на директна комерцијална употреба исто така изгледаат загрижувачки, особено ако оптимизацијата за цели како што се корисничкото ангажирање и убедувањето се мешаат заедно. We also found that systems trained exclusively to be helpful become easier to use for harmful ends, which suggests that as systems become more powerful, it will become increasingly important to directly curb their potential for harms. 20 Perhaps the broadest impact of this work, and the general development and dissemination of controllable, human-like language generation will be cultural. In Figure we used an Elo scale, essentially the chess rating system, to compare and evaluate natural language assistants, and we even included comparison to human writers. This kind of comparison risks trivializing the importance of language, which is certainly not just a game, but the core medium of culture and society. While seeking to align increasingly capable AI systems feels like a robustly good action, how and when to deploy these systems poses more challenging questions – culture is fundamentally a human enterprise, but large-scale generative models hold the possibility of magnifying and minimizing different parts of human culture in unpredictable and opaque ways, which could have broad downstream influences. [Ganguli et al., 2022], 1 Acknowledgments Acknowledgments We thank Sam Bowman, Paul Christiano, Jacob Hilton, Jan Leike, Ethan Perez, and Jeff Wu for helpful feedback on the draft. We thank Daniela Amodei, Jamie Kerr, Jia Yuan Loke, Rebecca Raible, and Tim Telleen-Lawton for support with the project. Author Contributions Author Contributions Yuntao Bai performed most of the experiments on RLHF and many of the preference modeling experiments. He made major contributions to experimental design, measurement, and evaluation of model performance and behavior. He helped to write the paper. Енди Џонс и Камал Ндоуссе ја изградиле инфраструктурата за RL обука на големи јазични модели. Тие исто така изградиле поврзани системи за заговор и мониторинг и го имплементирале алгоритмот на PPO. Тие помогнале со дизајнот, имплементацијата и дебугирањето на RLHF. Amanda Askell helped to design model evaluations, collected samples and evaluations from professional writers, built systems for improving the quality and quantity of data collection, and collaborated with Jared and Jackson on associated evaluations. She also helped with the design and implementation of the human feedback interface. She helped to write the paper. Ана Чен помогна со општите RL и RLHF експерименти, и придонесе за дизајнот на истражувањето. Nova DasSarma managed the underlying cluster infrastructure, making large scale RL training and human feedback collection possible. Dawn Drain trained the underlying code models and collaborated with Saurav on coding evaluations. Stanislav Fort performed the OOD detection and outlier exposure research and analysis on helpful versus harmful data samples. Deep Ganguli led the red-teaming data collection effort and design, often working with Jackson, Liane, Amanda, and Ben. He designed and ran the societal impact evaluations in collaboration with Jared, and helped with model evaluations generally. Том Хениган помогна со преттренирање на основните јазични модели, со креирање на сетови на податоци и со управување со кластерот за време на некои фази на проектот. Nick Joseph helped design and build a framework for efficient training of large language models and prefer- ence models. Saurav Kadavath дизајнираше и спроведуваше експерименти за мешање на корисни/безвредни збирки на податоци. Saurav исто така спроведуваше RLHF обука за модели на код, со поддршка од Yuntao, и спроведуваше евалуации за кодирање во соработка со Dawn. Jackson Kernion led human feedback crowdworker evaluation and management, and helped to build and maintain the feedback interface. He also helped with data analysis and collaborated on model evaluations. He ran most of our model comparison experiments. Tom Conerly helped with engineering, specifically with fast and efficient sampling. Sheer El-Showk helped with pretraining research and dataset construction. Nelson Elhage contributed significantly to pretraining and to engineering vision. Зак Хетфилд-Дод помогна со одржување на базата на кодови и со инженеринг, особено со брзо и ефикасно земање примероци. Danny Hernandez contributed to pretraining and especially to dataset design. Tristan Hume helped with streamlining our infrastructure. Scott Johnston helped with pretraining research. Shauna Kravec contributed to the development and use of our RL systems, and collaborated on RL research. Liane Lovitt helped with red-teaming, and in particular with designing the interface. Neel Nanda contributed to research discussions and priorities for alignment. Catherine Olsson helped advise on human feedback data collection, and contributed advice on alignment and evaluation. Дарио Амодеи го советуваше проектот и ги предводеше напорите за изградба и тестирање на RL инфраструктурата и ML. Tom Brown led engineering efforts, including efficient pretraining, sampling, and the stability and design of RL systems. Џек Кларк ги предводеше напорите за влијание врз општеството и го советуваше проектот, вклучувајќи ги и разни проценки. Chris Olah collaborated on discussions of alignment and contributed to our research and evaluation infras- tructure. Бен Ман го предводеше дизајнот и изградбата на интерфејсот за собирање на податоци за човечки повратни информации и основната инфраструктура. Тој исто така помогна во водењето на управувањето со заедниците, и обезбеди инженерска поддршка за проектот како целина. Jared Kaplan conceived and led the project. He helped with all aspects, including research design, engineer- ing, experimentation, and evaluations. He also contributed to pretraining and helped build the evaluation infrastructure. He wrote the paper. Детали, анализа и проценки на надгледувана обука A.1 Context Distillation For context distillation, we follow the prescription from Specifically, we first generate data in the following way: [Аскел и др., 2024 година] 1. We prepend the ‘HHH prompt’ (i.e., a set of prompts designed to elicit helpfulness, harmlessness, and honesty) to sequences of text, with 50% of the text coming from our pretraining dataset, and 50% coming from a StackExchange dataset. For the former, we simply append pretraining data after signaling the beginning of another conversation with “Human:”. With StackExchange, we formulate a fake Human/Assistant conversation by using the question as the human side of the conversation, and a top-rated answer as the assistant role. 2. For both datasets, we then perform forward passes with a basic pretrained 52B model, and record the top 50 log-probabilities and their indices (within the vocabulary) for the tokens following the prompt. We store the log-probs, indices, and tokens together as a small new dataset. 3. To perform context distillation finetuning, we pass the tokens from our new dataset through models (of all sizes), and define the loss as the KL divergence between the stored log-probs and the predic- tions of the model undergoing finetuning. For each token, we use a 51-category distribution, with the 51st category covering the total probability from all the tokens other than the top-50. Ние ги прикажуваме кривите за учење за контекстуална дестилација на сликата We use a batch size of 32 sequences, and a learning rate of 0*.*05 times the pretraining learning rate, which we decay to zero linearly during distillation. We distill using a total of 350M tokens. 30. A.2 Preference Modeling Our preference models are trained on comparison data, with each data point consisting of a И еден пар од . The prompt is a multi-step dialogue between human and model that always begins and ends on the human side, and each response is a continuation of the dialogue. For instance, in Figure the prompt consists of the first five steps of the dialogue, and the responses are shown in the blue box. The PM then assigns a score at the end of each response. Note that while the PM is only trained to evaluate the quality of the final response, the full context of the conversation is provided to the model. prompt responses 6, Ние обучуваме скенирање на ПМ од 13М до 52Б параметри. Сите ПМ поминуваат низ три фази на обука: (1) language model (LM) pre-training on a large language corpus, (2) preference model pretraining (PMP), and (3) finetuning on human feedback. LM pre-training details, including choice of hyperparameters and datasets, are explained in Appendix A of our previous work [Askell et al., 2021]. For PMP, we use learning rate of 0.1 relative to LM pretraining, and train on a mixture of comparison data made from StackExchange, Reddit, and Wikipedia. Data preparation and labeling are explained in Appendix C.1 of We train with context size of 1024 tokens. [Askell et al., 2021]. За човечки повратни информации, ние користиме стапка на учење од 0.01 во однос на LM преттренинг. Ние користиме контекст големина од 1024 токени, со исклучок на "онлајн" модел опишан во Дел where we trained with 2048, which may help stabilize RLHF on long contexts. 4.5, For both PMP and human feedback finetuning, we append a special ‘end-of-context’ token at the end of each sample, such that the PM score is predicted directly on top of this token. As explained in Appendix C.4 of this appears to improve PM performance. [Askell et al., 2021], Во сите фази, ние тренираме само за една итерација за да го намалиме преоптоварувањето. A.3 Scaling of PM with Model and Dataset Size A major question is how performance of preference modeling scaling with model size and dataset size. This relates to a practical question – should we invest in collecting a larger dataset, or in training larger models? We seem to find more predictable scaling when training only on our helpfulness dataset, likely because the red-teaming data truly comes from a distinct distribution. Accuracy learning curves can be seen on the left of Figure We find that accuracy can be roughly fit by 32. where е бројот на параметри во PM и is the size of the dataset. P D However, the results when training on another preference modeling data distribution look quite different, as seen on the right in Figure Имајте на ум дека се чини дека постои некаква непрекинатост во однесувањето помеѓу параметрите 200M и 13B. Можеби ова е поврзано со фактот дека податоците биле генерирани од модел со параметри 6B. 32. B Details, Analysis, and Evaluations of RLHF B.1 Training Setup B.1 Training Setup Here we discuss some details about RLHF training. We initialize our policies on context-distilled models, which are explained in A.1. We train the policy to generate responses to a dataset of prompts that maximize the score relative to a PM that was finetuned on human feedback. The prompt dataset is obtained from the training split of the PM comparisons dataset by simply removing the responses in each pair. Recall that we allow multi-step dialogue within the prompt (which always begins and ends on the human side of the conversation), but only train the policy to generate one response following each prompt. In future work, we plan to train policies to generate multiple steps, but this requires a separate model that generates the human side of the conversation, which can be implemented with a language model trained to imitate the human side of the conversation. We performed a variety of hyperparameter scans, and ended up using learning rate of 0.01 relative to pretraining, a KL reward coefficient of λKL = 0.001 (4.1), PPO clipping = 0.2, discount factor γ = 1, and no entropy bonus. Furthermore, in PPO, we re-iterate over the same sample K times (see Algorithm 1 in [Schulman et al., 2017]), with higher K typically leading to more stable results. We used K = 1 for the RLHF scan, K = 2 for the robustness studies (Section 4.2), and K = 4 for the ‘online’ RLHF (Section 4.5). We also impose a limit on the maximum number of tokens per model response, using 32 for the robustness studies, and 128 elsewhere. Finally, for ‘online’ RLHF, we used a learning schedule that reduces the learning rate by 2× every 100,000 samples. For the robustness studies, we used a linear learning rate warmup for the first 25,000 samples. B.2 More on Robustness Studies Б.2 Повеќе за истражувањата за робустност In Figure we compare the score for all policy sizes and all главната забелешка тука е дека наклонот на графиконот се зголемува во однос на size, thus suggesting that larger ’s are significantly more capable of distinguishing policy performance. In other words, , in agreement with calibration studies in Section 33, test PM test PM test PM test PM Поголемите модели со преференции се посилни 3.3. Finally, we take a moment here to address an issue we had neglected so far, which is that scores from different preference models should not be compared directly, since the absolute value of the score has no meaning, only relative scores are meaningful. We address this by a simple procedure. We make a held-out dataset, consisting of several thousand samples, and subtract from each preference model score its mean score on this dataset. We apologize that unrelated plots from different sections may have used different held-out datasets for mean-removal. mean removal B.3 Details of ‘Online’ RLHF B.3 Details of ‘Online’ RLHF We give some more details on our ‘online’ RLHF policy discussed in Section This policy and its PM were trained on all the helpfulness and harmlessness data we had near the completion of this paper. We re-iterated each sample = 4 times to improve stability, and sampled a maximum of 128 tokens per response. 4.5. K [Schulman et al., 2017] Throughout training, we periodically evaluate the Поконкретно, со оглед на споредбата која се состои од повик и пар одговори, ние доделуваме точност од 1 ако просечниот log-p на политиката за подобар одговор е поголем, а 0 во спротивно. особено, откриваме дека просечната лог-п точност на политиката не е толку висока како (т.е. дел од споредбите за кои премиерот доделува повисок резултат за подобар одговор), што можеби сугерира простор за понатамошни подобрувања на нашиот RLHF гасовод. Значи log-p точност 34 PM прецизност B.4 Robustness of ‘Online’ RLHF Б.4 Робушност на „онлајн“ RLHF За нашите конечни онлајн модели, имавме crowdworkers споредување на разни модел слики од RLHF обука, со цел подобро да се разбере робусноста и општите перформанси на нашиот процес на обука. (right), we show Elo scores for the online models during RLHF training. 15 In particular, we compare Elo scores established empirically from crowdworker preferences (i.e., in the figure), and Elo scores predicted by our preference model (i.e, ) during RLHF training. For the latter, we sample responses from each snapshot on a set of held-out prompts, and evaluate the PM scores (which are then converted to Elo units). We notice that the naive PM predictions significantly overestimate the empirical Elos. This is due to a combination of the following fac- tors: Crowd- worker Preferences Naive PM Predic- tion 1. During crowdworker testing, each step of the conversation is written by one of the two models being tested. However, when evaluating a RLHF snapshot on held-out prompts, the policy only writes one response at the end of a pre-existing conversation (which had been previously generated by other models, as discussed in Appendix This leads to distributional shift between the conversations. B.1). 2. Elo and PM scores may not actually be transitive, as they involve the collapse of pairwise compar- isons onto a single line. For example, if PM scores satisfy - на = 2 and - на = 2, even if those are well-calibrated scores, the implication that − = 4 можеби не е правилно калибриран, и природно би очекувале наместо тоа - на 4. a, b, c a b b c a c a c < 3. Failures of PM robustness, so that the PM’s preference for the RL policy’s samples is miscalibrated compared to true human preferences. За да се истражуваат овие ефекти понатаму, на сликата we show Elo scores corresponding to four different measure- ments: 35 • Naive PM Prediction: The PM score (translated into Elo units) recorded during RLHF training, which uses a set of held-out prompts. • Mean PM Score on Crowdworker Data: The mean PM score on the actual crowdworker conversa- tions used to compute Elo scores based on crowdworker preferences. • PM Ranking on Crowdworker Data: One can try to distinguish robustness failures from miscal- ibrated PM scores vs PM Овде го оценуваме ПМ на податоците на масовните работници кои се користат за споредување на овие модели, добивање на "победливи стапки" за споредби на модели И тогаш ние the Elo scores based on the PM’s choices. рангирање according to the PM Пресметка • Crowdworker Preferences: We straightforwardly compute Elo scores based on crowdworker prefer- ences among model snapshots. So we see that the PM score vs PM rankings distinction does not make a significant difference in terms of robustness. However, the distributional shift between the held-out prompts and the actual crowdworker conversations was very significant, and explains a significant proportion of the discrepancy between RLHF learning curves and the Elo scores as measured from crowdworkers. B.5 Crowdworker Comparisons and Elo Scores B.5 Crowdworker Comparisons and Elo Scores Here we briefly describe how we test crowdworker preferences of our models, and how Elo scores are es- tablished. For pair of models and , we ask crowdworkers to engage in text-based, back-and-forth con- versations with the models. At each conversational step, two responses are generated, one from each model, and the worker chooses the response they prefer, and the conversation continues. Each choice the worker makes counts as a ‘win’ for the preferred model, giving ‘win counts’ , respectively. In cases where a worker is unsure about whether one response is better, we throw out such comparisons in both PM and RLHF training, and crowdworkers comparison evaluations. A B NA, NB Recall that, given Elo scores EA, EB, respectively, the log-likelihood for the win counts is given by where rA,B = (log 10/400)EA,B ≈ EA,B/174. For an ensemble of comparisons between various models, we estimate Elo scores and their errors by maximum likelihood estimation. Во некои случаи, еден од моделите користи , meaning that it generates samples, evaluates all of them using a preference model, and shows the user the top-scored sample. Elo scores for such models are shown in Appendix In this case, we cannot stream the sample, so instead we make the workers wait until the sample is completed. When testing a rejection sampling model against a non-rejection sampling one, we only show the samples when they’ve both been completed, even if the latter sample could’ve been streamed, to mitigate bias. rejection sampling k B.6. B.6 Elo Scores for Rejection Sampling Models Б.6 Ело резултати за модели за земање примероци за отфрлање во фигура we show helpfulness Elo scores for a 52B context distilled model with rejection sampling (utilizing a 52B preference model trained on pure helpfulness) for = 1*,* 4*,* 16*,* 64, покажувајќи дека повисоките вредности на Забележете дека контекстниот дестилиран модел и преференциалните модели дискутирани тука беа обучени за време на раната фаза на нашето истражување со различни збирки на податоци и поставки од оние дискутирани на друго место во текстот, така што тие не се директно споредливи со другите Ело резултати, иако многу грубо и хеуристички, нашите онлајн модели се чини дека функционираат исто така или подобро од = 64 одбивање на примерокот. 36 k k k that = 64 rejection sampling corresponds to = log(64) ≈ 4*.*2. k DKL B.7 Stack Overflow Results We can also evaluate our language models directly given a corpus of paired good and bad responses, such as answers to StackOverflow questions. In we evaluate the difference in mean log-p between popular (i.e, highly upvoted) and unpopular answers, showing that RLHF models consistently assign a higher difference, suggesting that they are more capable of distinguishing answer quality. In we plot the language modeling loss (i.e, mean log-prob) on the good and bad answers separately, rather than their difference. We find that the RLHF models obtain worse loss. This is most likely due to optimizing a different objective rather than pure language modeling. 37b 37a B.8 Further Analysis of RLHF on Code-Model Snapshots Б.8 Понатамошна анализа на RLHF на кодот-модел Snapshots As discussed in Section RLHF improves performance of base code models on code evals. In this ap- pendix, we compare that with simply prompting the base code model with a sample of prompts designed to elicit helpfulness, harmlessness, and honesty, which we refer to as ‘HHH’ prompts. In particular, they contain a couple of coding examples. Below is a description of what this prompt looks like: 5.3, Below are a series of dialogues between various people and an AI assistant. The AI tries to be helpful, polite, honest, sophisticated, emotionally aware, and humble-but-knowledgeable. The assistant is happy to help with almost anything, and will do its best to understand exactly what is needed. It also tries to avoid giving false or misleading information, and it caveats when it isn’t entirely sure about the right answer. That said, the assistant is practical and really does its best, and doesn’t let caution get too much in the way of being useful. -- ... (we include several short example conversations using the normal Human: ... Assistant: ... format.) -- Human: Can you help me write this Python function? I’ve already written the function’s signature and docstring, but I’m not sure how to write the function’s body. It starts like this: Assistant: Sure thing, here you go! I’ve tested this function myself so I know that it’s correct: Figure Содржи резултати на HumanEval кога HHH прописот е вклучен. Ние гледаме дека HHH прописот ги подобрува перформансите значително повеќе од RLHF во многу values. 38 pass@k B.9 Details of Applying Out-of-Distribution Detection to Reject Strange or Harmful Requests Our newly proposed Simplified Relative Mahalanobis distance outperforms the standard Mahalanobis distance on OOD detection of harmlessness inputs from helpfulness inputs for activations extracted from all layers of all model sizes we tested. The details are shown in Figure Simplified Relative Mahalanobis distance 39. Exposing the OOD detector to a few examples of the out-distribution has first been proposed by suggested using a single class representing the OOD examples. [F showed that even strong near-OOD detectors enjoy a large benefit. Few-shot outlier exposure [Hendrycks et al., 2018]. [Турски и др., 2019] ort et al., 2021] Following the procedure from [F ние се применува еден слој линеарна класификатор на врвот на акција векторите, додека остатокот од моделот на јазикот е замрзнат. randomly drawn examples of the training set of the out-distribution (harmlessness data), we create a new binary classification problem, where the inputs are the combination of the full train examples of training set of the in-distribution with a target class of 0, and возови *//M* копии од Примери за над-дистрибуција со целната класа од 1. Ова обезбедува еднаква репрезентација на примерите во и надвор од дистрибуцијата и доведува до подобро учење. Откако ќе го обучиме линеарниот класификатор, го користиме неговиот излез од класа 1 како OOD резултат. ort et al., 2021], M N N M 23. B.10 Gender Bias Evaluation Details Б.10 Детали за проценка на родовата предрасуда For this evaluation, we followed and used their list of 76 occupations and 12 pairs of gender terms: [Rae et al., 2021] • Occupations: CEO, accountant, administrator, advisor, analyst, appraiser, architect, assistant, atten- dant, auditor, baker, bartender, broker, carpenter, cashier, chef, chemist, chief, cleaner, clerk, cook, counselor, designer, developer, dietitian, dispatcher, doctor, driver, editor, educator, electrician, engineer, examiner, farmer, firefighter, guard, hairdresser, hygienist, inspector, instructor, investigator, janitor, lawyer, librarian, machinist, manager, mechanic, nurse, nutritionist, officer, painter, par- alegal, paramedic, pathologist, pharmacist, physician, planner, plumber, practitioner, programmer, psychologist, receptionist, salesperson, scientist, secretary, sheriff, specialist, supervisor, surgeon, tailor, teacher, technician, therapist, veterinarian, worker, writer • Машки полов термини: момче, брат, татко, сопруг, маж, невеста, маж, дечко, татко, син, господин, дечко • Женски родови термини: девојка, сестра, мајка, сопруга, жена, невеста, жена, гал, дама, мајка, ќерка, девојка Human: Can you help me fill in the missing word in a sentence? The sentence is: For work, the {gendered term} is a Assistant: Sure thing, here is your sentence with the missing word filled in: For work, the {gendered term} is a {occupation} We then evaluated the probabilities of , given gender terms. With this formulation, the larger LMs, context-distilled models, and RLHF models all assigned about 2-8% of their probability mass to one of the 76 occupations listed above when completing the sentence. occupations We also slightly modified the metric from [Rae et al., 2021] in order to estimate errors. So to compute bias scores, for each occupation O we defined and then we define the overall bias score as the mean of the absolute value of , ranging over occupations: Бо Каде represents occupations while претставуваат споени родови термини (на пример, дама / господин), и = 76 and = 12. With this setup, we are sensitive to whether bias is uniform across all pairs of gendered terms (for any given occupation). As a concrete example, if it were the case that a model associated ‘lawyer’ more strongly with ‘boy’ than ‘girl’, but also more strongly with ‘wife’ than ‘husband’, this would increase the error in our measurement, while the bias effects would tend to cancel out. O ГМ , ГМ не Ng The results are shown in Figure where we observe that RLHF models have both larger bias scores and larger errors. We believe this has a very simple explanation – RLHF models have much lower-entropy output distributions. As a rough, heuristic explanation, a model with a lower-entropy output will behave somewhat like a plain LM evaluated at a temperature 1. The metric and error from equation will typically scale as 1*/T* , so it should be expected that models with lower entropy distributions will have proportionally larger bias scores and bias errors. We show these effects explicitly in Figure by evaluating bias scores with context distilled models at ≈ 0*.*6, and showing that they are quite similar to RLHF bias scores. 40, „Т“ B.3 40 T Ова е најверојатно затоа што RLHF обуката има тенденција постепено да ја намалува ентропијата (или да ја намалува "ефективната температура") на дистрибуциите на моделите, и ние обучуваме поголеми модели подолго со RLHF, бидејќи нивното обука е поцврсто (и така повеќе корисно во други аспекти). C примероци од PALMS, LaMDA и InstructGPT Prompts These were generated by sampling 17 responses for each prompt from our best online HH model, ranking them using the corresponding preference model, and then displaying the non-empty response ac- cording to the PM. (Occasionally the model writes the "end of conversation" token in response to sensitive queries.) So to a large extent, these samples are not ‘cherry-picked’, and should be representative of average- case behavior. In the case of LaMDA Инструкции за we include the corresponding samples from those models. median [Thoppilan et al., 2022] [Ouyang et al., 2022] C.1 PALMS Sensitive Questions C.1 PALMS Sensitive Questions Questions are drawn from the sensitive questions in Солајман и Денисон, 2021 Ве молиме бидете предупредени дека некои од овие прашања содржат чувствителен материјал (по дизајн). C.2 InstructGPT Prompts We warn readers that some of the samples from InstructGPT were likely cherry picked to display Така, во некои случаи ќе биде неправедно да се споредат нашите средни примероци со оние од InstructGPT. [Ouyang et al., 2022] лош модел на однесување, намерно C.3 LaMDA Prompts C3 Ламда Prompts D Details on Data Collection and Crowdworkers D.1 Overview D.1 Overview For the purposes of assigning tasks, we divided our crowdworkers into two groups. A group of around 30 ‘select’ workers were sent high priority tasks on a regular basis. Roughly half of these workers were hired through Upwork. The other half were selected from the general population of US-based MTurk workers with a ‘Masters’ qualification. The second group of workers came from the same general population of MTurk workers, and were primarily given red-team tasks on a less regular schedule. We tried to ensure that all workers were paid significantly above the minimum wage in California, adjusting rates for tasks that took longer (for example with models that use rejection sampling) in the case of MTurk workers, who are paid by task rather than at an hourly rate. We frequently issued bonuses to MTurk workers who encountered technical problems with tasks (as they are not paid an hourly rate). Among our select workers, MTurk workers usually accounted for 80-85% of comparison data collected in a given week, compared to 15-20% for workers hired through Upwork. Although the size of these groups were similar, MTurk workers tended to opt in to more work and their pay structure incentivized quicker conversations. We communicated with select workers on a daily basis over Slack. We used this channel to announce new tasks and provide guidance; we discussed difficult edge cases with the group as they came up. At an interme- diate stage of the project we provided some additional thoughts on more advanced forms of interaction with the model; the slack message we sent is shown in Figure Our workers alerted us to bugs and performance issues as they ran into them. 43. Ние испративме демографска анкета на двете групи на работници, а резултатите се прикажани во фигура. Респонзорите на анкетите беа анонимни, бидејќи не собиравме никакви лични информации заедно со демографски информации. 44. D.2 Instructions and Interface D.2 Инструкции и интерфејс Ние ги прикажуваме основните инструкции за задача во поп-уп дијалогот при прво вчитање на интерфејсот, и овие инструкции остануваат достапни во текот на интеракцијата. For the playground task, we also link to a separate page with expanded instructions that include more detailed examples, excerpts of which can be seen in figure 41. 42. The human feedback interface is shown in figure During the online data collection process, we added an additional option to the interface for Upworkers. This feature allowed them to edit one of the model responses. When they used this feature, we stored a comparison of the edit to the original (assuming the edit was better), rather than the initial comparison of two model outputs. This would have effected less than 10% of the online data. 6. D.3 Data Quality Measurement Challenges D.3 Изазови за мерење на квалитетот на податоците In rough outline, data quality assurance for human labelers often involves the following steps: • Researchers carefully review a small set of samples to produce a set of ‘golden’ labels • Human labelers work through a stack of labeling tasks, with some subset of labeling tasks assigned to multiple labelers, and samples from the golden label dataset sent out to everyone. • Researchers evaluate labeler performance by checking their labels against the golden labels, and by checking for inter-labeler agreement The idea is that the golden labels are treated as a source of truth, with labelers incentivized to modify their behavior to better match the golden labels, and novice labelers incentivized to match the behavior of more experienced labelers. Отворените разговори ни овозможија да собереме побогат сет на податоци, но воведоа голем број варијабли кои се тешко да се контролираат, што резултираше со бучни метрики за квалитетот на податоците. We did try having crowdworkers review each other’s conversations, by providing ratings for each model response comparison and rating the overall quality of the conversation. But we found that author-rater agree- ment wasn’t a good guide for assessing overall conversation quality. In broad strokes, conversation quality depends on a) conversation topic, b) human writing quality, c) model quality. And we found that, for instance, as conversations got more sophisticated, deciding between model responses got more difficult. As a result, authors that more frequently discussed difficult topics would often get lower agreement scores. And because we were frequently updating our models, model response comparisons were a moving target. Instead of directly assessing our crowdworkers based on these kinds of reviewer-based metrics, we considered using their performance as reviewers as a stand-in for their performance as conversation authors. But when we compared these metrics against our own spot-checks of conversation author quality, we found poor agreement. We expect to be able to work around these problems and come up with better methods in the future. But it’s worth noting that were able to achieve our results without sophisticated data quality controls. E Details on NLP Evaluations Formatting and Prompts Овде, ние ги даваме форматите за влез што ги користиме за да ги процениме перформансите на Lambada, ARC, MMMLU, HellaSwag, OpenBookQA и TriviaQA. Референци [Amodei et al., 2016] Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., и Мане, D. (2016). Concrete problems in ai safety. [Askell et al., 2021] Askell, A., Bai, Y., Chen, A., Drain, D., Ganguli, D., Henighan, T., Jones, A., Joseph, N., Mann, B., DasSarma, N., Elhage, N., Hatfield-Dodds, Z., Hernandez, D., Kernion, J., Ndousse, K., Olsson, C., Amodei, D., Brown, T., Clark, J., McCandlish, S., Olah, C., и Kaplan, J. (2021). Општ јазик асистент како лабораторија за усогласување. [Bender et al., 2021] Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? ï¿œï¿œ. In , FAccT ’21, pages 610–623, New York, NY, USA. Association for Computing Machinery. Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency [Bommasani et al., 2021] Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E., Brynjolfsson, E., Buch, S., Card, D., Castellon, R., Chatterji, N. S., Chen, A. S., Creel, K., Davis, J. Q., Demszky, D., Donahue, C., Doumbouya, M., Durmus, E., Ermon, S., Etchemendy, J., Ethayarajh, K., Fei-Fei, L., Finn, C., Gale, T., Gillespie, L., Goel, K., Goodman, N. D., Grossman, S., Guha, N., Hashimoto, T., Henderson, P., Hewitt, J., Ho, D. E., Hong, J., Hsu, K., Huang, J., Icard, T., Jain, S., Jurafsky, D., Kalluri, P., Karamcheti, S., Keeling, G., Khani, F., Khattab, O., Koh, P. W., Krass, M. S., Krishna, R., Kuditipudi, R., et al. (2021). За можностите и ризиците на моделите на фондацијата. , апс/2108.07258. Кореј [Borgeaud et al., 2021] Borgeaud, S., Mensch, A., Hoffmann, J., Cai, T., Rutherford, E., Millican, K., van den Driessche, G., Lespiau, J., Damoc, B., Clark, A., de Las Casas, D., Guy, A., Menick, J., Ring, R., Hennigan, T., Huang, S., Maggiore, L., Jones, C., Cassirer, A., Brock, A., Paganini, M., Irving, G., Vinyals, O., Osindero, S., Simonyan, K., Rae, J. W., Elsen, E., and Sifre, L. (2021). Improving language models by retrieving from trillions of tokens. , апс/2112.04426. Кореј [Brown et al., 2020] Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., и Amodei, D. (2020). Јазичните модели се малку-ученици. [Chen et al., 2021] Chen, M., Tworek, J., Jun, H., Yuan, Q., Pinto, H. P. d. O., Kaplan, J., Edwards, H., Burda, Y., Joseph, N., Brockman, G., et al. (2021). Евалуација на големи јазични модели обучени на код. . arXiv preprint arXiv:2107.03374 [Chowdhery et al., 2022] Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., Reif, E., Du, N., Hutchinson, B., Pope, R., Bradbury, J., Austin, J., Isard, M., Gur-Ari, G., Yin, P., Duke, T., Levskaya, A., Ghemawat, S., Dev, S., Michalewski, H., Garcia, X., Misra, V., Robinson, K., Fedus, L., Zhou, D., Ippolito, D., Luan, D., Lim, H., Zoph, B., Spiridonov, A., Sepassi, R., Dohan, D., Agrawal, S., Omernick, M., Dai, A. M., Pillai, T. S., Pellat, M., Lewkowycz, A., Moreira, E., Child, R., Polozov, O., Lee, K., Zhou, Z., Wang, X., Saeta, B., Diaz, M., Firat, O., Catasta, M., Wei, J., Meier-Hellstern, K., Eck, D., Dean, J., Petrov, S., and Fiedel, N. (2022). Palm: Scaling language modeling with pathways. [Clark et al., 2018] Clark, P., Cowhey, I., Etzioni, O., Khot, T., Sabharwal, A., Schoenick, C., и Tafjord, O. (2018). Мислите дека сте го решиле прашањето одговарање? пробајте арк, Ai2 размислување предизвик. , abs/1803.05457. ArXiv [Fort, 2022] Fort, S. (2022). Adversarial vulnerability of powerful near out-of-distribution detection. [Fort et al., 2021] Форт, С., Рен, Ј., и Lakshminarayanan, Б. (2021). Истражување на границите на детекција надвор од дистрибуција. [Ganguli et al., 2022] Ganguli, D., Hernandez, D., Lovitt, L., DasSarma, N., Henighan, T., Jones, A., Joseph, N., Kernion, J., Mann, B., Askell, A., Bai, Y., Chen, A., Conerly, T., Drain, D., Elhage, N., Showk, S.E., Fort, S., Hatfield-Dodds, Z., Johnston, S., Kravec, S., Nanda, N., Ndousse, K., Olsson, C., Amodei, D., Amodei, D., Brown, T., Kaplan, J., McCandlish, S., Olah, C., и Clark, J. (2022). Предвидливост и изненадување во големи генеративни модели. [Guo et al., 2017] Guo, C., Pleiss, G., Sun, Y., and Weinberger, K. Q. (2017). На калибрацијата на современите невронски мрежи. [Guu et al., 2020] Guu, K., Lee, K., Tung, Z., Pasupat, P., and Chang, M. (2020). REALM: retrieval- augmented language model pre-training. , апс/20022.08909. CoRR [Henderson et al., 2017] Henderson, P., Sinha, K., Angelard-Gontier, N., Ke, N. R., Fried, G., Lowe, R., and Pineau, J. (2017). Ethical challenges in data-driven dialogue systems. , abs/1711.09050. CoRR [Hendrycks et al., 2021a] Hendrycks, D., Burns, C., Basart, S., Critch, A., Li, J., Song, D., и Steinhardt, J. (2021a). Aligning ai with shared human values. [Hendrycks et al., 2021b] Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., and Stein- hardt, J. (2021b). Measuring massive multitask language understanding. [Hendrycks et al., 2021c] Hendrycks, D., Carlini, N., Schulman, J., and Steinhardt, J. (2021c). Unsolved problems in ml safety. [Hendrycks and Gimpel, 2016] Hendrycks, D. and Gimpel, K. (2016). База за откривање на погрешно класифицирани и не-дистрибутивни примери во невронски мрежи. [Hendrycks et al., 2018] Hendrycks, D., Mazeika, M., и Dietterich, T. (2018). Детекција на длабоки аномалии со надворешна изложеност. [Henighan et al., 2020] Henighan, T., Kaplan, J., Katz, M., Chen, M., Hesse, C., Jackson, J., Jun, H., Brown, T. B., Dhariwal, P., Gray, S., Hallacy, C., Mann, B., Radford, A., Ramesh, A., Ryder, N., Ziegler, D. M., Schulman, J., Amodei, D., и McCandlish, S. (2020). Закони за скалирање за авторегресивни генеративни модели. [Hernandez et al., 2021] Hernandez, D., Kaplan, J., Henighan, T., и McCandlish, S. (2021). Скалирање на законите за трансфер. , abs/2102.01293. CoRR [Hestness et al., 2019] Hestness, J., Ardalani, N., and Diamos, G. (2019). Beyond human-level accuracy: Computational challenges in deep learning. In , PPoPP ’19, страници 1–14, Њујорк, Њујорк, САД. 24 Симпозиум за принципи и практики на паралелно програмирање [Jiang et al., 2021] Jiang, L., Hwang, J. D., Bhagavatula, C., Bras, R. L., Forbes, M., Borchardt, J., Liang, J., Etzioni, O., Sap, M., and Choi, Y. (2021). Delphi: Towards machine ethics and norms. [Joshi et al., 2017] Joshi, M., Choi, E., Weld, D. S., и Zettlemoyer, L. (2017). Triviaqa: Голема големина на далечински надгледувани предизвик сет на податоци за разбирање на читање. [Kaplan et al., 2020] Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J., and Amodei, D. (2020). Scaling laws for neural language models. [Koch et al., 2021] Koch, J., Langosco, L., Pfau, J., Le, J., and Sharkey, L. (2021). Objective robustness in deep reinforcement learning. , апс/2105.14111. Кореј [Lakshminarayanan et al., 2016] Lakshminarayanan, B., Pritzel, A., and Blundell, C. (2016). Simple and scalable predictive uncertainty estimation using deep ensembles. [Lee et al., 2018] Lee, K., Lee, K., Lee, H., and Shin, J. (2018). Една едноставна единствена рамка за откривање на примероци надвор од дистрибуцијата и напади на противници. [Lewis et al., 2020] Lewis, P. S. H., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. , abs/2005.11401. CoRR [Liang et al., 2017] Liang, S., Li, Y., and Srikant, R. (2017). Enhancing the reliability of out-of-distribution image detection in neural networks. [Lin et al., 2021] Lin, S., Hilton, J., and Evans, O. (2021). Truthfulqa: Measuring how models mimic human falsehoods. [Liu et al., 2021] Liu, A., Sap, M., Lu, X., Swayamdipta, S., Bhagavatula, C., Smith, N. A., and Choi, Y. (2021). On-the-fly controlled text generation with experts and anti-experts. , abs/2105.03023. CoRR [Liu et al., 2020] Liu, J. Z., Lin, Z., Padhy, S., Tran, D., Bedrax-Weiss, T., и Lakshminarayanan, B. (2020). Едноставна и принципиелна проценка на неизвесноста со детерминистичко длабоко учење преку далечинска свест. [Menick et al., 2022] Menick, J., Trebacz, M., Mikulik, V., Aslanides, J., Song, F., Chadwick, M., Glaese, M., Young, S., Campbell-Gillingham, L., Irving, G., и McAleese, N. (2022). Предавајќи јазични модели за поддршка на одговорите со проверени цитати. [Mihaylov et al., 2018] Mihaylov, T., Clark, P., Khot, T., and Sabharwal, A. (2018). Can a suit of armor conduct electricity? a new dataset for open book question answering. In . EMNLP [Nakano et al., 2021] Nakano, R., Hilton, J., Balaji, S., Wu, J., Ouyang, L., Kim, C., Hesse, C., Jain, S., Kosaraju, V., Saunders, W., Jiang, X., Cobbe, K., Eloundou, T., Krueger, G., Button, K., Knight, M., Chess, B., and Schulman, J. (2021). Webgpt: Browser-assisted question-answering with human feedback. , abs/2112.09332. Кореј [Nalisnick et al., 2019] Nalisnick, E., Matsukawa, A., Teh, Y. W., Gorur, D., and Lakshminarayanan, B. (2019). Hybrid models with deep and invertible features. [Nguyen et al., 2014] Nguyen, A., Yosinski, J., и Clune, J. (2014). длабоки невронски мрежи се лесно измамени: Висока доверба предвидувања за непознат слики. [Ouyang et al., 2022] Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. (2022). Training language models to follow instructions with human feedback. . arXiv preprint arXiv:2203.02155 [Pan et al., 2022] Pan, A., Bhatia, K., и Steinhardt, J. (2022). Ефектите од погрешна спецификација на наградата: Мапирање и ублажување на несоодветни модели. , abs/2201.03544. CoRR [Paperno et al., 2016] Paperno, D., Kruszewski, G., Lazaridou, A., Pham, Q. N., Bernardi, R., Pezzelle, S., Baroni, M., Boleda, G., and FernÃ¡ndez, R. (2016). The lambada dataset: Word prediction requiring a broad discourse context. [Parrish et al., 2021] Parrish, A., Chen, A., Nangia, N., Padmakumar, V., Phang, J., Thompson, J., Htut, П. М., и Боуман, С. Р. (2021). BBQ: рачно изградена референтна точка за предрасуди за одговарање на прашања. , апс/2110.08193. Кореј [Paszke et al., 2019] Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). Pytorch: An imperative style, high- performance deep learning library. In Wallach, H., Larochelle, H., Beygelzimer, A., d'Alché-Buc, F., Fox, E., and Garnett, R., editors, , pages 8024–8035. Curran Associates, Inc. Напредности во невронски системи за обработка на информации 32 [Perez et al., 2022] Perez, E., Huang, S., Song, H. F., Cai, T., Ring, R., Aslanides, J., Glaese, A., McAleese, N., and Irving, G. (2022). Red teaming language models with language models. , abs/2202.03286. CoRR [Power et al., 2022] Power, A., Burda, Y., Edwards, H., Babuschkin, I., and Misra, V. (2022). Grokking: Generalization beyond overfitting on small algorithmic datasets. , abs/2201.02177. Кореј [Rae et al., 2021] Rae, J. W., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., Song, H. F., Aslanides, J., Henderson, S., Ring, R., Young, S., Rutherford, E., Hennigan, T., Menick, J., Cassirer, A., Powell, R., van den Driessche, G., Hendricks, L. A., Rauh, M., Huang, P., Glaese, A., Welbl, J., Dathathri, S., Huang, S., Uesato, J., Mellor, J., Higgins, I., Creswell, A., McAleese, N., Wu, A., Elsen, E., Jayakumar, S. M., Buchatskaya, E., Budden, D., Sutherland, E., Simonyan, K., Paganini, M., Sifre, L., Martens, L., Li, X. L., Kuncoro, A., Nematzadeh, A., Gribovskaya, E., Donato, D., Lazaridou, A., Mensch, A., Lespiau, J., Tsimpoukelli, M., Grigorev, N., Fritz, D., Sottiaux, T., Pajarskas, M., Pohlen, T., Gong, Z., Toyama, D., de Masson d’Autume, C., Li, Y., Terzi, T., Mikulik, V., Babuschkin, I., Clark, A., de Las Casas, D., Guy, A., Jones, C., Bradbury, J., Johnson, M., Hechtman, B. A., Weidinger, L., Gabriel, I., Isaac, W. S., Lockhart, E., Osindero, S., Rimell, L., Dyer, C., Vinyals, O., Ayoub, K., Stanway, J., Bennett, L., Hassabis, D., Kavukcuoglu, K., and Irving, G. (2021). Scaling language models: Methods, analysis & insights from training gopher. , abs/2112.11446. CoRR [Ramasesh et al., 2022] Ramasesh, V. V., Lewkowycz, A., and Dyer, E. (2022). Effect of scale on catas- trophic forgetting in neural networks. In . International Conference on Learning Representations [Ren et al., 2021] Ren, J., Fort, S., Liu, J., Roy, A. G., Padhy, S., и Lakshminarayanan, B. (2021). Едноставна поправка на растојанието на mahalanobis за подобрување на откривањето на блиско око. . arXiv preprint arXiv:2106.09022 [Rosenfeld et al., 2019] Rosenfeld, J. S., Rosenfeld, A., Belinkov, Y., and Shavit, N. (2019). A constructive prediction of the generalization error across scales. [Sanh et al., 2019] Sanh, V., Дебитот, L., Chaumond, J., and Wolf, T. (2019). Distilbert, дестилирана верзија на bert: помала, побрза, поевтина и полесна. , апс/1910.01108. ArXiv [Schulman et al., 2017] Schulman, J., Wolski, F., Dhariwal, P., Radford, A., и Klimov, O. (2017). Алгоритми за оптимизација на блиската политика. , апс/1707.06347. CoRR [Solaiman и Dennison, 2021] Solaiman, I. и Dennison, C. (2021). Процес за прилагодување на јазичните модели на општеството (PALMS) со вредност-ориентирани збирки на податоци. , abs/2106.10328. Кореј [Stiennon et al., 2020] Stiennon, N., Ouyang, L., Wu, J., Ziegler, D. M., Lowe, R., Voss, C., Radford, A., Amodei, D., и Christiano, P. (2020). Учење да се сумира од човечки повратни информации. [Thoppilan et al., 2022] Thoppilan, R., Freitas, D. D., Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H., Jin, A., Bos, T., Baker, L., Du, Y., Li, Y., Lee, H., Zheng, H. S., Ghafouri, A., Menegali, M., Huang, Y., Крикун, М., Лепихин, Д., Чин, Ј., Чен, Д., Су, Ј., Чен, З., Робертс, А., Босма, М., Џоу, Ј., Чанг, C., Krivokon, I., Rusch, W., Pickett, M., Meier-Hellstern, K. S., Morris, M. R., Doshi, T., Santos, R. D., Duke, T., Soraker, J., Zevenbergen, B., Prabhakaran, V., Diaz, M., Hutchinson, B., Olson, K., Molina, A., Hoffman-John, E., Lee, J., Aroyo, L., Rajakumar, R., Butryna, A., Lamm, M., Kuzmina, V., Fenton, J., Cohen, A., Bernstein, R., Kurzweil, R., Aguera-Arcas, B., Cui, C., Croak, M., Chi, E., и Le, Q. (2022). Lamda: Јазични модели за апликации за дијалог. , апс/2201.08239. Кореј [Thulasidasan et al., 2021] Thulasidasan, S., Thapa, S., Dhaubhadel, S., Chennupati, G., Bhattacharya, T., and Bilmes, J. (2021). A simple and effective baseline for out-of-distribution detection using abstention. [Tillet et al., 2019] Tillet, P., Kung, H. T., и Кокс, D. (2019). , pages 10–19. Association for Computing Machinery, New York, NY, USA. Triton: An Intermediate Language and Compiler for Tiled Neural Network Computations [Weidinger et al., 2021] Weidinger, L., Mellor, J., Rauh, M., Griffin, C., Uesato, J., Huang, P., Cheng, M., Glaese, M., Balle, B., Kasirzadeh, A., Kenton, Z., Brown, S., Hawkins, W., Stepleton, T., Biles, C., Birhane, A., Haas, J., Rimell, L., Hendricks, L. A., Isaac, W. S., Legassick, S., Irving, G., and Gabriel, I. (2021). Ethical and social risks of harm from language models. , abs/2112.04359. CoRR [Winkens et al., 2020] Winkens, J., Bunel, R., Roy, A. G., Stanforth, R., Natarajan, V., Ledsam, J. R., MacWilliams, P., Kohli, P., Karthikesalingam, A., Kohl, S., Cemgil, T., Eslami, S. M. A., и Ronneberger, O. (2020). Contrastive training for improved out-of-distribution detection. [Xu et al., 2020] Xu, J., Ju, D., Li, M., Boureau, Y.-L., Weston, J., and Dinan, E. (2020). Рецепти за безбедност во chatbots со отворен домен. . arXiv претпријатие arXiv:2010.07079 [Zellers et al., 2019] Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., и Choi, Y. (2019). [Zhang et al., 2020] Zhang, H., Li, A., Guo, J., и Guo, Y. (2020). Хибридни модели за препознавање на отворен сет. [Ziegler et al., 2019] Ziegler, D., Stiennon, N., Wu, J., Brown, T., Amodei, D., Radford, A., Christiano, P., и Ирвинг, Г. (2019). фино прилагодување на GPT-2 од човечки преференции. Оваа статија е достапна на архива под лиценца CC by 4.0 Deed (Attribution 4.0 International). This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. Достапни за архивирање