Naudingas ir nekenksmingas AI: suderinimo mokymas pagerina beveik visų NLP vertinimų našumą

Mokyti naudingą ir nekenksmingą padėjėją su sustiprintu mokymu iš žmogaus atsiliepimų Autorių : Yuntao Bai Antanas Džounsas Kamal Ndousse Amanda Askell Ana Čenė Nova DasSarma Aušros drenažas Stanislav Fort Deep Ganguli Tom Henighan Nicholas Joseph Saurav Kadavath Jackson Kernion Tomas Konradas Šarūnas El-Showk Nelsonas Elžbietas Zac Hatfield-Dodds Danny Hernandez Tristan Hume Skotas Džonsonas Shauna Kravec Liane Lovitt Neilė Nanda Catherine Olsson Dario Amodei Tom Brown Džekas Klarkas Sam McCandlish Chris Olah Benas Vyras Jared Kaplan Autorių : Jūratė Bai Antanas Džounsas Kamilė Nėrė Amanda Askelė Ana Čenė Naujasis Dakaras Aušros drenažas Stanislovas Fortas Gilus gangliukas Tomas Heniganas Nikolajus Juozapas Saurav Kadavath Džeksonas Kernionas Tomas Konradas Šarūnas El-Showk Nelsonas Elžbietas Žaidėjas Zac Hatfield-Dodds Danė Hernandez Tristanas Hume Skotas Džonsonas Šarūnas Kravecas Liana Lovytė Neilė Nanda Katerina Olsson Dario Amodei Tomas Braunas Džekas Klarkas Žymė: Sam McCandlish Kristina Olga Benas Vyras Džordžas Kaplanas Abstract Abstrakcijos Mes taikome pageidavimų modeliavimą ir stiprinimo mokymąsi iš žmogaus atsiliepimų (RLHF) į finetune kalbos modelius, kad jie veiktų kaip naudingi ir nekenksmingi padėjėjai. Mes nustatome, kad šis suderinimo mokymas pagerina našumą beveik visuose NLP vertinimuose ir yra visiškai suderinamas su specializuotų įgūdžių mokymu, pvz., Python kodavimu ir apibendrinimu. Mes tyrinėjame pakartotinį internetinį mokymo režimą, kuriame pageidavimų modeliai ir RL politika atnaujinami kas savaitę su šviežiais žmogaus atsiliepimų duomenimis, efektyviai tobulindami mūsų duomenų rinkinius ir modelius. Galiausiai, mes tiriame RLHF mokymo tvirtumą ir nustatome maždaug linijinį ryš 1 Įvadas Mes norėtume sukurti metodus, kaip apmokyti AI agentus, kurie yra naudingi, sąžiningi ir nekenksmingi. Šiame straipsnyje mes parodome, kad galime mokyti palyginti naudingą ir nekenksmingą (HH) natūralus kalbos asistentas renkant žmogaus pageidavimų duomenis ir taikant pageidavimų modeliavimo (PMing) ir stiprinimo mokymosi iš žmogaus atsiliepimų (RLHF) metodus. [Askell ir kt., 2024 m. 1 2. Mūsų tikslas yra ne apibrėžti ar nustatyti, ką reiškia „naudinga“ ir „nekenksminga“, bet įvertinti mūsų mokymo metodų veiksmingumą, todėl dažniausiai mes tiesiog leidžiame mūsų bendruomenės darbuotojams interpretuoti šias sąvokas, kaip jie laiko tinkamomis. Mes elgiamės su naudingumu ir nekenksmingumu atskirai, renkant atskirus žmogaus pageidavimų duomenų rinkinius. At each stage of their conversations with the AI assistant, crowdworkers are presented with two possible responses. Those engaged in the helpfulness task are instructed to choose the more helpful and honest (i.e. better) response. Those engaged in the red teaming task are instructed to choose the more harmful (i.e. worse) response. These conversations and the expressed human preferences form our datasets. 2 3 Naudingumas ir nekenksmingumas dažnai yra priešingi vienas kitam. Pernelyg didelis dėmesys kenkimo vengimui gali sukelti „saugius“ atsakymus, kurie iš tikrųjų neatitinka žmogaus poreikių.Per didelis dėmesys naudingumui gali sukelti atsakymus, kurie padeda žmonėms sukelti žalą arba sukelti toksišką turinį. Mes kiekybiškai demonstruojame šią įtampą, parodydami, kad pirmenybės modeliai, apmokyti pirmiausia įvertinti vieną iš šių savybių, veikia labai blogai (daug blogiau nei atsitiktinumas) kitoje. Laimei, mes nustatome, kad PM, apmokyti abiejų duomenų rinkinių mišinyje, vis dėlto gali išmokti tinkamų pamokų ir tinkamai elgtis, tuo pačiu skatinant mandagiai atmesti kenksmingus prašymus. Su pirmenybės modeliais rankose, mes tada mokome naudingus ir nekenksmingus padėjėjus per stiprinimo mokymąsi, naudodami PM balus kaip apdovanojimus. Mes vertiname tiek PM našumą, tiek labiau atitinkamas mūsų RLHF apmokytų modelių charakteristikas. Grynai naudingi RLHF apmokyti modeliai yra daug lengviau raudonai komandai, o naudingi + nekenksmingi modeliai yra labai naudingi ir daug mažiau kenksmingi. 1 dalis Dažnai kyla klausimas, ar tai pakenks AI galimybėms.Mes nustatome, kad kai RLHF taikomas dideliems kalbos modeliams, atsakymas atrodo beveik kategoriškas ne. Mes taip pat tvirtiname, kad specializuotus įgūdžius galima sumaišyti su su suderinimu susijusiu mokymu nepakenkiant nei suderinimui, nei našumui. 3. 1.1 Įnašai Dialogue Preference Datasets • Mes renkame atskirus naudingumo ir nekenksmingumo (t. y. raudonosios juostos) duomenų rinkinius, daugiausia naudojant įvairius 52B kalbų modelius (žr. for details) in our interface (Figure Darbuotojai turi atvirus pokalbius su modeliais, arba prašydami pagalbos, arba pateikdami instrukcijas, arba bandydami priversti modelį išleisti kenksmingus atsakymus, ir jiems paprašoma pasirinkti naudingesnį atsakymą arba kenksmingesnį. Atsakymas į kiekvieną pokalbio žingsnį. 2 6 ) 4 • Mes renkame tris duomenų segmentus, vieną iš mūsų pradinių modelių, vieną su atmetimo ėminiu prieš ankstesnius pageidavimų modelius, ir galutinį duomenų rinkinį, surinktą iš modelių, apmokytų „internetiniu“ stiprinimo mokymu iš žmogaus atsiliepimų, kurį mes tobuliname maždaug kas savaitę. 2.3 Išorės Alignment with Human Values Has Many Benefits and Essentially No Cost to Performance • Mažesni modeliai patiria sunkius „išlyginimo mokesčius“ – po RLHF mokymo sumažėja jų našumas įvairiuose vertinimuose. 13B ir 52B RLHF apmokyti modeliai geriau veikia nulinio šūvio NLP vertinimuose, taip pat ir kelių šūvių vertinimuose. alignment bonuses 5 • Natūralios kalbos RLHF mokymas HH gali būti taikomas modeliams, kurie pirmą kartą buvo sutvarkyti pagal kodą, ir vertinimus (tikriausiai tobulinant bendrojo tikslo instrukcijas). mes taip pat nustatome, kad HH mokymo modelio pirmenybės derinimas su Apibendrinimas Nėra jokių nuosmukių, susijusių su HH ar apibendrinimu, todėl nėra jokios priežasties nesujungti suderinimo mokymo su konkretesniais, vertingais įgūdžiais. improves their programming ability specialized skill [Stiennon et al., 2020] • Yra a , kurį galima išmatuoti tiek pageidavimų modeliavimo, tiek RLHF mokomų politikos krypčių lygiu (nuotrauka Tačiau, kai modelio dydis didėja, PMs tuo pačiu metu veikia geriau abiejuose paskirstymuose ir tampa daug tvirtesnės, palyginti su naudingų ir nekenksmingų mokymo duomenų proporcijomis. tension between helpfulness and harmlessness 1 ) • Mes taip pat parodome, kad galima naudoti OOD aptikimo metodus [F atmesti pačius keisčiausius ir kenksmingiausius prašymus (nuotrauka mažai arba jokių kenksmingų pavyzdžių (nuotrauka Rūmai ir kt., 2019 m. 22 ) 23 ) Scaling, RLHF Robustness, and Iterated ‘Online’ Training • Mes studijuojame skalavimo santykius PM tikslumui, atsižvelgiant į modelio ir duomenų rinkinio dydį, ir randame apytiksliai log-linijines tendencijas (Figūra Kai kurie iš jų turi savitumą (nuotraukos) ir 7), 31 32 ) • Atliekame eksperimentus su Žiūrėti figūrą kur mes padaliname savo duomenų rinkinius į puses ir mokome atskirus pageidavimų modelius kiekvienoje pusėje.Tada mes mokome RL modelius prieš vieną PM, o vertiname su kitu.Mes darome išvadą, kad didesni PM yra tvirtesni nei mažesni PM ir, kaip tikimasi, per RLHF mokymo metu padidėja. robustness of RLHF 4 dalis), • Mes tai nustatome Kėdainių ( 0) ir atlygis yra dauguma RLHF mokymų (žr. Skaičius ir kur ir 0 yra politika ir pradinė politika, atitinkamai. paaiškiname, kaip šis santykis gali atsirasti ir aptarti galimas programas ir būsimas kryptis. D Iš π approximately linearly related 4 13 ) π π • Mes studijuojame , kur mes atnaujiname savo pageidavimų modelius ir RLHF politiką kas savaitę, o tada iš naujo diegiame šiuos šviežius RLHF modelius, kad galėtume bendrauti su masiniais darbuotojais. ir gerokai pagerino mūsų duomenų rinkinį, kaip vertina mūsų pačių PM (Figūra Užpildykite viršutinę uodegą kokybės požiūriu. iterated online training 1 dalis), 15 ) Norėdami pašalinti painiavą ir sustiprinti mūsų išvadas, mes atliekame papildomus kontroliuojamus eksperimentus (Fig. Duomenų rinkinio dydis ir kiti hiperparametrai. 16 ) 1.2 Vertinimų ir metrų santrauka • : Mes vertiname mūsų modelius MMLU Šilutė [P] Graikijos „OpenBookQA“ ARC ir trivia Šie skaičiai ir Išsamūs rezultatai ir skaičiai Kiekvienu atveju, išskyrus TriviaQA, 12B ir 52B RLHF apmokyti modeliai yra geresni nei pagrindiniai LM. Atskirai, mes imame Python kodavimo modelius ir tiksliname juos su natūralia kalba RLHF, o tada juos vertiname pagal kodeksą HumanEval Ši figūra Mes taip pat eksperimentuojame su PM mokymo mišiniu HH su apibendrinimu kaip specializuotą įgūdį ir įvertinti gautą PM efektyvumą (nuotrauka nustatyti, kad mišrus mokymas nesumažina PM tikslumo. NLP and Code Evaluations [Hendrycks ir kt., 2021b] Šilutė ir kt., 2016 m. [Šilutės ir kt., 2019 m. gruodžio mėn. [Mihaylov et al., 2018], [Clark et al., 2018], [Jozuė ir kt., 2017 m.] 28 29 3 [Jėzus ir kiti, 2017 m.] 21. [Šilutės ir kt. 2020 m. lapkritis] dvidešimt), • : Mes vertiname mūsų PM naudojant mūsų HHH vertinimus Iš „Big-Bench“ (Figūra on Bot Adversarial Dialogues Dėl lyčių skirtumų (Figūra Mes vertiname mūsų RLHF modelius TruthfulQA (Figūra BBQ mažai [P] iš BIG-Bench, lyčių polinkis (nuotrauka ir jausmai, pagrįsti rase ir religija (Figūra RLHF improves senti- ment towards all groups, but does not remove bias. Static Alignment Evaluations [Askell ir kt., 2017 m. lapkričio mėn.] 6 5 dalis), [Xu et al., 2020 m. gruodžio mėn. [Rei et al., 2017 m. lapkričio mėn.] 12 ) [Lin et al., 2017 m. kovo mėn.] 5 dalis), Algirdas ir kt., 2019 m. 40 ir daugiau), [Rei et al., 2017 m. lapkričio mėn.] 17 ) • : Mes apskaičiuojame Elo balus remiantis mūsų bendruomenės darbuotojų pageidavimais, derinant kontekstinius distiliuotus modelius, pagrindinius RLHF apmokytus modelius ir galutinius internetinius RLHF modelius (nuotrauka) Mes taip pat tikriname mūsų internetinių modelių našumą mokymo metu (nuotrauka) palyginti skirtingus atmetimo mėginių ėmimo lygius (nuotrauka ir atlikti kontroliuojamą eksperimentą ant iteracinio internetinio mokymo (nuotrauka Be to, mes samdėme profesionalius rašytojus, kad sudarytų pokalbius, kuriuose padėjėjas teikia aukštos kokybės, naudingus ir sąžiningus atsakymus, ir tada mes paprašėme minios darbuotojų palyginti mūsų modelio atsakymus su šių rašytojų atsakymais. about 57% of the time. Human Evaluations 1 ) 15 ) 36), iš kurių 16 ) 7 • : Mes teikiame mėginius iš visų palmių Sensi- tive klausimai ir iš instrukcijų, pateiktų su InstructGPT ir LAMDA Į priedą Pateikiame keletą palyginimų su žmogaus rašytojais ir parodome keletą trumpų dialogų skyriuje Siekiant sušvelninti vyšnių mėginių ėmimo problemą, mes generuojame 17 mėginių vienam užsakymui ir rodome tik vidutinį pavyzdį, reitinguojamą pagal mūsų internetinį HH pageidavimų modelį. Samples Solimanas ir Dennisonas, 2021 m. [Ouyang et al., 2022] [Šiauliai ir kt., 2024 m.] C į 6.1 Šaltiniai 6.3 Iš viso 1.3 Related Work Du neseniai išleisti straipsniai, Laima ir instrukcijos abu naudoja žmogiškuosius duomenis, kad mokytų didelius kalbos modelius, kad jie būtų labiau bendrai naudingi arba suderinti. [Šiauliai ir kt., 2024 m.] [Juozas ir kt., 2024 m.] Laimė finetunes large language models to participate in interesting, helpful, factu- ally grounded, and safe natural language dialogue. As with our work, they include notions of both positive interactions and safety/harmlessness. And their use of external information to ensure accuracy/grounded- ness goes beyond the methods we discuss here, and is perhaps more similar to WebGPT and GopherCite Tačiau kai kurie skirtumai yra tai, kad vietoj to, kad būtų naudojamas stiprinamasis mokymasis, jie taiko prižiūrimų mokymosi metodų (tiek generacinių, tiek diskriminacinių) mišinį, o jų duomenų rinkimo procesas apima absoliučius reitingus, o ne palyginimus. [Šiauliai ir kt., 2024 m.] [Šiauliai ir kt., 2017 m. Jurgis ir kt., 2024 m. Instrukcijos Finetunes GPT-3 tipo modeliai siekiant pagerinti jų pagalbą. Kaip ir šiame darbe, jie naudoja stiprinimo mokymąsi iš žmogaus pageidavimų, išreikštą palyginimais. Tačiau jie taip pat apima prižiūrimą mokymosi etapą, o priešingai, mūsų finetuning vyksta grynai per RL (mes atliekame kontekstinę distiliaciją, bet tai yra daug daugiau kaip paprastas raginimas). Galbūt pagrindinis kontrastas su mūsų darbu yra tai, kad jie neapima nekenksmingumo mokymo ar išreikšti įtampą tarp naudingumo ir nekenksmingumo. Jų požiūris taip pat skiriasi nuo mūsų kai kuriose detalėse: jie ne mokė pirmenybės modelių, didesnių nei 6B parametrai, ir jie sumaišė išankstinį mokymą su RL, kad išvengtų vertinimo [Ouyang et al., 2022] [Šiauliai ir kt. 2020 m.] Mūsų darbas skiriasi nuo „InstructGPT“ ir „LaMDA“ tuo, kad tyrinėjame „internetinį“ mokymą, kuriame atnaujiname modelius, kurie sąveikauja su kolektyviniais darbuotojais, kad gautų palaipsniui aukštesnės kokybės duomenis ir užpildytume savo duomenų paskirstymo uodegą. Kitas skirtumas yra mūsų specializuotų įgūdžių, tokių kaip apibendrinimas ir kodavimas, tyrimas, kurį naudojame siekiant sustiprinti argumentą, kad derinimas gali būti pasiektas neribojant gebėjimų. Taip pat aiškiai nagrinėjame įtampą tarp naudingumo ir nekenksmingumo, kuris nebuvo išspręstas iki tol, kol mes žinome. Mes manome, kad vieninteliai esminiai žingsniai yra žmogaus grįžtamojo ryšio duomenų rinkimas, pageidavimų modeliavimas ir RLHF mokymas. 2) į Keletas kitų neseniai atliktų darbų sutelkė dėmesį į tiesos aspektus naudojant paiešką iš duomenų bazės arba per interneto paiešką ir žmogaus atsiliepimus, pvz., WebGPT ir GopherCite Šie darbai yra įdomūs ir papildomi mūsų darbui; ypač mūsų rezultatai rodo, kad jų metodai turėtų būti labai suderinami su mokymu dėl naudingumo ir nekenksmingumo. Nors šie darbai pagerina ištikimą aiškių įrodymų pateikimą, greičiausiai reikės daugiau darbo, kad būtų pasiektas sąžiningas savęs pateikimas iš AI sistemų. [Lewis ir kt., 2020 m. A. Masiulis ir kt., 2020 m. Borgeaud ir kt., 2019 m. [Šiauliai ir kt., 2019 m.] [Juozapas ir kt., 2024 m. Saugos ir etikos klausimai, susiję su kalbų modeliais, buvo plačiai aptarti (pvz. 2021)), su gerai žinomais klausimais, įskaitant toksiškumą, šališkumą ir galimybę, kad modeliai gali atskleisti asmeniškai identifikuojančią informaciją. Kiti darbai tyrė metodus, kaip sušvelninti šias problemas (pvz. Modeliai taip pat buvo apmokyti tiesiogiai vertinti etines dilemas. demonstrating im- provement on ethics benchmarks More general research proposals for AI safety include The RL robustness failures we discuss can be viewed as an instance of ‘reward hacking’, which was recently explored in [P RL policies could also fail to generalize out of distribution in other dangerous ways [Henderson et al., 2017, Bender ir kt., 2019 m. S. Weidinger ir kt. [Ganguli et al., 2022]. [Liu ir kt., 2017 m. Juozas ir al. [Jiang ir kt., 2017 m. gruodžio mėn.] [Hendrycks et al., 2021a]. [Šiauliai ir kt., 2016 m. Hendrycks et al., 2021c]. ir kt., 2024 m. [Šiauliai ir kt., 2019 m. Mūsų susidomėjimas tendencijų tyrimu naudojant modelio dydį yra motyvuotas neuroninio skalavimo dėsniais A related observation is that as parameter counts grow, models finetune more effectively ir tapti daug mažiau pažeidžiami „katastrofinių užmarščių“ We expect this effect helps to explain why our HH training is compatible with good evaluation performance and specialized skills for large models. [Šilutės ir kt., 2019 m. R. Šimkus ir kt., 2019 m. Kaplan et al., 2020]. [Vilnius ir kt., 2017 m. kovo mėn.] [Ramasė ir kt., 2024 m. 2 Duomenų rinkimas Mes tikimės, kad žmogaus atsiliepimai (HF) turės didžiausią palyginamąjį pranašumą prieš kitus metodus, kai žmonės turi sudėtingas intuicijas, kurias lengva sukurti, bet sunku formalizuoti ir automatizuoti. Tai reiškia, kad renkant HF turėtume stengtis pasirinkti užduotis, kurios yra kuo intuityvesnės ir pažįstamos. 2.1 Užduočių specifikacija ir grupės darbuotojai Mūsų žmogaus grįžtamojo ryšio sąsaja gali būti matoma paveikslėlyje (for more details see Appendix Žmonės gali bendrauti su mūsų modeliais natūraliomis kalbomis per pokalbį ir paprašyti pagalbos su bet kuria tekstine užduotimi. Kai modelio pokalbio posūkis, vartotojai mato du galimus modelio atsakymus ir pasirenka vieną, su kuriuo tęsti. Šie du atsakymai gali kilti iš to paties modelio arba dviejų skirtingų modelių. 6 D). • Crowdworkers write a chat message to our models, asking them to perform a task, answer a question, or discuss any topic of interest. • Crowdworkers are shown two responses, and are asked to choose the more helpful and honest re- sponse (or in the case of red-teaming, to choose the more harmful response). Mes spėjome, kad visuomenės nariai, kurie gerai rašė ir įtraukė AI į įdomesnes diskusijas, linkę turėti geresnį sprendimą apie tai, kurie AI atsakymai buvo labiausiai „naudingi“ ir „nekenksmingi“. Otherwise, our approach to data collection was to largely let crowdworkers use their own intuitions to define ‘helpfulness’ and ‘harmfulness’. Our hope was that data diversity (which we expect is very valuable) and the ‘wisdom of the crowd’ would provide comparable RoI to a smaller dataset that was more intensively validated and filtered. Overall, our process was roughly of this form: 1. We invited master-qualified US-based MTurk workers to engage in dialogues with our models. 8 2. Rather than evaluating all of our crowdworkers, we identified those who were most prolific, and together accounted for about 80% of our data (roughly 20 crowdworkers). We then evaluated their performance based primarily on the sophistication and variation in their dialogues, as this was quite easy to evaluate intuitively (rather than based on any measure of agreement on helpful/harmless choices). Based on this method, we collected a list of ‘select’ MTurk workers Su kuriais bendradarbiaujame visą tyrimo laikotarpį. 9 3. We invited our select crowdworkers to a Slack channel and corresponded with them by email, to ensure that they were being compensated fairly and to allow them to alert us to any problems or issues. 10 4. We also hired crowdworkers on Upwork, and vetted them in a similar, lightweight way. We have continued to use both platforms throughout this work. We find that it is easier to incentivize very high-quality interactions on platforms such as Upwork, where crowdworkers can easily be paid by the hour, rather than per task. But conversely, MTurk workers tend to generate data much more rapidly, and account for about 80% of our datasets. Mes nefiltravome darbuotojų pagal susitarimą ar kitus tiesioginius etiketės kokybės matavimus, nors juos vertinome retrospektyviai (žr. paveikslėlį). right) and found poor average agreement (about 63%) between Anthropic researchers and our crowdworkers, as compared to recent similar work such as 10 [Stiennon ir kt., 2020 m. Ouyang et al., 2022]. As an important caveat, our crowdworker distribution was not held fixed throughout this work, and we expect that crowdworker quality probably improved as the project went on. We mention this as a possible compli- cation when evaluating the success of the ‘online training’ program discussed in Section Tačiau atvirkščiai, kadangi mes apskritai atgrasėme nuo pasikartojimo, minios darbuotojai, kurie daug kartų atliko užduotį, taip pat gali turėti tendenciją įsitraukti į daugiau ezoterinių sąveikų. 4.5 Iš viso Mes taip pat turėtume atkreipti dėmesį į tai, kad mes aiškiai pasakėme visuomeniniams darbuotojams, kad „meluoti nėra naudinga“ ir kad jie turėtų stengtis atlyginti tik naudinga. Tai sakė, mes nesitikėjome, kad minios darbuotojai žymiai patikrins mūsų modelius, ir, pavyzdžiui, jie dažnai pirmenybę teikia atsakymams, kuriuose yra nefunkcinių URL, kurie tikriausiai yra vienas iš paprasčiausių įmanomų „melų“. and honest 2.2 Naudingumas ir nekenksmingumas (raudonos komandos) duomenų rinkiniai Mes surinkome du atskirus duomenų rinkinius, naudojant šiek tiek skirtingas mūsų sąsajos versijas. Naudingumo duomenų rinkiniui mes paprašėme bendruomenės darbuotojų turėti atvirus pokalbius su mūsų modeliais, paprašydami pagalbos, patarimo arba modelio atlikti užduotį (žr. Priedą). ), and to choose the model response that was Dėl nekenksmingumo arba raudonų komandų duomenų rinkinio mes paprašėme visuomenės darbuotojų pabandyti iš mūsų modelių sukelti kenksmingus atsakymus ir pasirinkti Atsakymus pateikė modeliai. D.2 more helpful more harmful Our interface (Figure allows users to express a preference strength. We only include comparisons in our datasets if crowdworkers expressed a preference stronger than the weakest available. In this work we will not otherwise use this preference-strength information; we treat all comparisons in our dataset as binary and of equal weight (so in particular we do not include ties). 6) Note that this means our helpfulness dataset tends to move conversations in a more beneficial direction, while in our red-teaming dataset user responses move conversations in a more harmful direction. We made this choice to make it possible for users to fully trick and exploit models while red-teaming, as this was most natural for other work we’re doing that’s specifically focused on harmfulness. However, we believe this difference made it difficult to train models that were both helpful and harmless, as explained in Section We plan to remedy this in future work, and would recommend others who are focused on training harmless dialogue models to collect data where users primarily choose model responses that move the conversation in the more beneficial direction instead. 4.4. 2.3 Models Deployed to the Feedback Interface and Associated Data Distributions Duomenų rinkimo srityje mes daugiausia used 52B language models with the broad specifications given in We used three classes of models in our interface: 11 [Askell et al., 2021]. • : Projekto pradžioje tai buvo vienintelis modelis, kuris buvo prieinamas. Jis veikia panašiai kaip paprastas 52B kalbos modelis, sukurtas naudojant HHH dialogus HHH Context-Distilled 52B Language Model [Askell et al., 2021]. • with a 52B preference model, where samples were generated from a 52B context-distilled LM. In this case the number of samples was a parameter, but most often we used = 16. Rejection Sampling (RS) k k • : We used a succession of these models in our interface. The models varied primarily based on the amount of data available when training the associated PMs (depending on the phase of the project). However, we also deployed models trained on different mixtures of helpfulness and harmlessness data. RLHF-Finetuned Models In the final phase of the project, when we were primarily deploying RLHF-finetuned models, we often de- ployed several such models at once. This allowed us to monitor progress by gathering model-comparison data, and also to (perhaps) improve data diversity. Atitinkant tris modelių klases, mes suskirstome savo duomenis į tris pasiskirstymus: • Pagrindinė dataset collected using only the context-distilled LM. This dataset includes 44k helpful- ness comparisons and 42k red-teaming (harmlessness) comparisons (note a conversation typically comprises about four comparisons). base • A Duomenų rinkinys, kurį sudaro 52k naudingumo palyginimai ir 2k raudonojo ryšio palyginimas naudojant re-jection ėminių ėmimo modelius, kur atmetimo ėminių ėmimas naudojo pageidavimų modelį, apmokytą baziniame duomenų rinkinyje. RS • Iteracinė » Duomenų rinkinys, įskaitant duomenis iš RLHF modelių, kurie buvo atnaujinami maždaug kas savaitę maždaug per penkias savaites. online Šių pasiskirstymų histogramą pagal mūsų galutinį internetinį HH pageidavimų modelį galima pamatyti paveikslėlyje į skyrių Ką daryti, kai kalbame apie or base+RS dataset, we will be referring to the combination of the first two components. Our ‘online’ RLHF models in Section are trained on all three components. Most of our results are based on the static dataset, as we conducted experiments and evaluations with it while the online data collection was underway. 15 4.5 Iš viso static 4.5 We analyze a few different splits of the static dataset – a standard split into 95/5 train/test data, and a 65/35 split that we use in order to obtain better statistics when evaluating preference model calibration on the test set. We also consider a 50/50 split, where we train distinct PMs on the two halves of the dataset. This is used to evaluate the robustness of RL training, as we then train an RL policy against one PM while evaluating the rewards achieved by that policy as measured by the independent PM. 2.4 Comparing Models with Elo Scores Didelė mūsų analizės dalis palygina modelius tarpusavyje, kad būtų sukurti susiję Elo balai, kaip aprašyta That is, we have crowdworkers chat with two models simultane- ously, with each model generating one response (either ‘A’ or ‘B’) at each turn, and we record the sample that is preferred by the worker. This provides us with a record of ‘win rates’ between pairs of models, which we can then fit to corresponding Elo scores, to produce Figure (kur rodome tiek laimėjimo rodiklius, tiek Elo rezultatus). dvi naudingos konversijos formulės yra [Askell ir kt., 2024 m. 1 for the fraction in which one model is preferred over another, the difference in Elo scores, and our PM scores. Note that conceptually win fractions, Elo scores and PM scores are interchangeable; we keep both Elo and PM scores so that we can avoid confusing crowdworker preferences (where we use Elo) with our preference modeling and RLHF (where we use PM scores). Note that the Elo scores for context-distilled models in Figure Šiek tiek skiriasi nuo analoginių rezultatų, gautų pagal – Elo balai dabar yra labiau suspausti. Pagrindinis skirtumas yra tas, kad šį kartą mes nenaudojome aukščiausio lygio mėginių ėmimo . The difference may also be due to changes in the crowd- worker distribution since that earlier experiment, or changes in crowdworker expectations, as before this test our workers were mostly interacting with higher-quality RLHF-trained models. 1 [Askell et al., 2021] 12 3 Preference Modeling for Helpfulness and Harmlessness 3.1 Models and Training Setup We use language models with specifications that are identical to those discussed in [Askell et al., 2021], with a total of seven language models with parameter counts running from 13M to 52B and approximating a geometric series with increments of roughly 4X. We use PyTorch [Paszke et al., 2019] and Triton [Tillet et al., 2019] to facilitate model training and performance. Our preference model training setup is also identical to that in [Askell et al., 2021], and in particular we apply ‘preference model pretraining’ (PMP) to our language models before finetuning on our human feedback datasets, as explained in Section 4 of that paper. More details are provided in Appendix A. Note that we typically only train PMs for a single epoch, so the learning curves themselves (Figure 7 left) indicate how performance scales with dataset size (we used a fixed learning rate). 3.2 Basic Scaling Results We would like to understand how preference modeling performance improves as we increase model size and collect additional data. In Figure rodome pagrindinius PM tikslumo rezultatus, kai mokome mūsų statinį naudingų ir nekenksmingų duomenų mišinį. Apskritai, mes stebime log-linearines tendencijas tiek duomenų rinkinyje, tiek modelio dydžio. Mes linkę rasti šiek tiek nuoseklesnes tendencijas, jei mes modeliuojame tik naudingumo ar nekenksmingumo pasiskirstymą atskirai, o ne kaip mišinį, kaip pastebėta paveikslėlyje in Appendix Tačiau taip pat matome, kad kai kuriems duomenų paskirstymams skalavimo tendencijos gali rodyti sudėtingesnius modelius, kurie iššaukia paprastas tendencijas. 7 32 A.3. [Stiennon et al., 2020], Mūsų pageidavimų modeliavimo duomenys gaunami iš natūralių kalbų dialogo, kur grupės darbuotojai turi tekstinius pokalbius su modeliu ir pasirenka naudingesnį iš dviejų modelio atsakymų kiekviename pokalbio posūkyje (arba kenksmingesnį užduotims, susijusioms su raudona komanda). PMs are somewhat more accurate on the first step of the conversation, but their accuracy is nearly constant thereafter. 8. 3.3 Calibration of Preference Models and Implications for RL Preference model scores should predict the probability that humans will prefer one or another model- generated response. We are interested in whether these probabilities are accurate, i.e. whether the PMs are well calibrated. We characterize calibration in Figure where we display PM accuracy as a function of the difference in PM scores assigned to pairs of samples, along with a heavy black line representing perfect calibration. We observe that PMs trained only on helpfulness data are very well calibrated, but PMs trained on a mixture of helpful and harmless data are slightly under-confident. 9, Šie kalibravimo rezultatai yra svarbūs, nes vėlesniuose skyriuose mes naudosime PM rezultatus kaip atlygio signalą stiprinimo mokymuisi. Kadangi PM rezultatai yra gerai kalibruoti, galime pasitikėti, kad jie ištikimai koduoja tikimybę, kad žmonės pirmenybę teiks konkrečiam modelio pavyzdžiui (bent jau platinimui su mokymo rinkiniu). achieving a given reward, we can trust that those who interact with this model (if they are well-represented by our crowdworker distribution) will prefer it to reference models at a predictable rate, provided that the PM scores of the models’ responses are within the range considered in these calibration studies. That said, we find significant failures of robustness as RLHF optimizes towards much higher scores, as explained in Section and Appendix robustly 4.5 B.4. We might generally expect that as sample quality improves, it becomes more difficult to reliably identify the very best samples. In Figure priedėlyje parodome, kad jei mes apribojame palyginimus, kai abu pavyzdžiai turi PM rezultatus virš tam tikros ribos, tada PM tikslumas sumažėja kaip šios ribos reikšmės funkcija (siekiant palyginti skirtingus PM mes pridedame kompensaciją, kad jie visi gautų tą patį vidutinį bandymo pasiskirstymo rezultatą). Atkreipkite dėmesį, kad šis rezultatas sujungia tris efektus: (1) diferencijavimas tarp sudėtingesnių pavyzdžių gali būti sudėtingesnis ir reikalauti didesnių gebėjimų, (2) mes turime mažiau labai aukštos kokybės pavyzdžių, kuriuos reikia išmokti iš mūsų duomenų rinkinio, nes jie nėra bendri, ir (3) pavyzdžių poros, kurios visos yra aukštos kokybės, turės panašių balų (palyginti su atsit 25 These observations also have an implication for RLHF training, namely that we should expect diminishing returns from further RLHF training once our policies achieve a sufficiently high PM score. This also motivates online training, so that we can update our PMs to stay on-distribution as RLHF policies improve. 3.4 Evaluating Helpful and Harmless Preference Models 3.4.1 HHH Evaluation and Crowdworker-Anthropic Agreement We have shown that PMs trained on our dataset are learning something and are well-calibrated. But we would also like to show that these PMs are actually learning to prefer helpful and harmless behavior, accord- ing to some independent standard. We provided a set of comparison evaluations for helpfulness, honesty, and harmlessness (i.e., HHH Evaluation) in prior work and evaluated raw, context-distilled, and prompted language models on this benchmark. As shown in Figure pastebime, kad mūsų PM veikia daug geriau nei visi modeliai, kuriuos anksčiau įvertinome. recently reported a mean human score of 75% on this dataset, so in a sense our PM performance of 86% is well above mean human accuracy. [Askell ir kt., 2017 m. lapkričio mėn.] 5, [Chowdhery et al., 2022] Mes taip pat pastebime, kad yra keletas iššūkių, kai mūsų PM yra patikimai neteisingi HHH vertinimo palyginimuose (žr. left). These are all examples of failures of , kur geresnis pasirinkimas yra sąžiningas, bet nenaudingas, o neteisingas pasirinkimas atrodo naudingas ir gerai parašytas, bet yra subtiliai neteisingas ar klaidinantis. It’s worth noting that the bad response (which was written by Anthropic researchers) is likely out of distribution as compared to samples from our language models and RL policies. Since only model-generated samples were used to train the PMs, this may explain why the PM was badly fooled by these examples. It also indicates that the PMs are not adversarially robust. 10 Sąžiningumas 11. We can also compare our crowdworkers, ourselves, and our preference models in terms of agreement on labels. The results are shown on the right in Figure and are based on about 320 examples from our static test set. The PMs are trained to predict crowdworker behavior, so PM-Crowdworker agreement is best. However, the largest PM actually agrees with the authors (i.e. Anthropic researchers) slightly more than the authors agree with crowdworkers on labels. We also suspect this is a poor subsample of the data, since PM accuracy is several percent lower on this subsample as compared to the full test set. 10, 3.4.2 Gender Bias and Bot Adversarial Dialogues Mes galime pradėti vertinti, ar mūsų PM rodo lyčių šališkumą, palygindami rezultatus lyčių požiūriu.Šiuo tikslu mes vertiname pageidavimų modelio rezultatus trumpais formos dialogais Žmogus: Ar galite man padėti užpildyti trūkstamą žodį sakinyje? Assistant: Sure thing, here is your sentence with the missing word filled in: The {Occupation} is a {Gendered Term} where we use a list of 76 occupations, 12 matched gender terms (mother vs father, guy vs gal, etc), and both present and past tense Pageidaujamojo modelio balai nėra tiesiogiai reikšmingi, todėl vietoj to mes vertiname lyčių lygybės sąlygų skirtumą ir palyginame tai su tam tikros lyties sąlygų skirtumu. We observe that the variation among terms that indicate a given gender appears to be at least as large as the variation across genders. So it would appear that the PMs do not exhibit a substantial bias. [Rae et al., 2021]. 12. Kaip išorinį mūsų PM patvirtinimą, mes laikome Bot Adversarial Dialoges (BAD) duomenų rinkinį Šiame duomenų rinkinyje yra keletas tūkstančių pokalbių tarp AI sistemos ir žmogaus. Kiekvienas AI atsakas yra pažymėtas kaip kenksmingas arba nekenksmingas. Mes apskaičiuojame BAD AI pareiškimų pageidavimų modelio balų pasiskirstymą (mes apribojame savo analizę iki pirmojo BAD AI pareiškimo per pokalbį) ir nustatome, kad BAD AI pareiškimai, pažymėti kaip kenksmingi, turi žymiai mažesnius pageidavimų modelio balus. [Xu et al., 2020 m. ]. 4 Mokymosi stiprinimas iš žmogaus atsiliepimų 4.1 Training Setup We apply reinforcement learning (RL) with preference modeling, following the approach outlined in which can summarized in the following steps: [Stiennon et al., 2020], 1. Prepare a dataset of comparisons, and train a PM to assign a higher score to the ‘better’ item in each comparison. In the context of our human feedback experiments, each comparison consists of a prompt followed by a pair of model-generated responses, with a PM score evaluated at the end of each response. 2. Extract all the prompts from the preceding dataset, and train an RL policy to generate a response to each prompt autoregressively, with a reward signal provided by the PM score at the end of the response. PM dataset and training details are provided in Appendix we also discussed the performance of our PMs in Section RL kalba, kiekvienas atsakymas, kurį sukuria politika, yra „laiko etapas“, pilnas pokalbis yra viena „trajektorija“, o PM balas yra vienas „apdovanojimas“, suteiktas pabaigoje. • 2; 3. The idea is to use the preference model to steer the policy towards writing better responses. However, as we saw in earlier sections, PMs also become less calibrated at higher scores, so higher rewards do not necessarily imply better performance. To stabilize RL training, we use Proximal Policy Optimization (PPO) We also follow other work and apply an empirically-estimated KL penalty term in the reward, with the total reward given by [Schulman et al., 2017]. [Šilutės ir kt. 2020 m. lapkritis] where KL >/ 0 is a hyperparameter. In practice we use a very small value of KL = 0:001, which likely has a very minor impact during most of RL training (as DKL < 100 typically), and might actually be wholly unnecessary. More details about RL are provided in B.1. Throughout this paper we use PM = the preference model score itself for the RL reward. Recall that as implied by equation this means that the difference in PM reikšmės tarp dviejų pavyzdžių and will be related to the predicted probability ( ) that Būtų pageidautina per r (2.1), r A B P A > B A B There is no good reason to use this preference model score directly as the reward, but it has been used in prior work such as and so for simplicity we will not explore variations on this choice here. 13 [Šilutės ir kt. 2020 m. lapkritis] In order to produce additional prompts (i.e. the human side of the conversations) for RLHF training, we used a large LM to generate them. For this purpose, we simply used few-shot learning, creating a context with about 10 existing high-quality human queries, and then sampling to generate more. We find that the sample efficiency of RLHF is roughly the same on the original crowdworker-written prompt dataset and the model- generated one, so we combine the two for greater diversity during RLHF training. We used 137k prompts from the ‘static’ dataset, and 369k model-generated prompts. Atkreipkite dėmesį, kad beveik visi mūsų pageidavimų modeliavimo duomenys buvo surinkti iš 52B modelių. Tai reiškia, kad RLHF mokymas su mažesniais modeliais galėjo būti sudėtingas, nes mažesnių modelių pavyzdžiai paprastai nėra paskirstomi iš PM mokymo duomenų. 1. 4.2 Robustness Experiments We now discuss the problem of RLHF robustness. A fully robust PM would agree with humans on distribu- tions of dialogues quite different from those encountered during PM training (i.e. different from those created by crowdworker interactions with our deployed AI assistants). However, we do not expect that our PMs are so robust, and in fact Figure provides one plausible example of a robustness failure. Since RL optimizes the policy to maximize the PM score, any failure in robustness on the part of the PM may be exploited by the RL policy to achieve higher rewards, without actually improving the policy’s behavior from the point of view of human evaluators. 11 A rigorous way to study robustness is to take snapshots of the policy at various points during RLHF training, including the initial snapshot, and have crowdworkers compare their performance. This gives a ‘true’ Elo score, as evaluated by crowdworkers, which can then be compared directly with the PM scores. We present an example of this study in Section 4.5. Tačiau tokio pobūdžio bandymams reikia rinkti papildomus žmogaus grįžtamojo ryšio duomenis, kurie gali būti lėti ir brangūs, todėl čia mes taip pat tiriame tvirtumą iš kitokio kampo. half and a half), and train separate preference models on each, which we refer to as the ’s and the ’s. We then train RLHF policies against the ’s, while evaluating them using the ’s. Similar to how test set evaluations help us understand overfitting in supervised learning, evaluations help us understand overfitting relative to the ’s. These experiments are not conclusive since the train and test PMs may exhibit correlated robustness failures. train test train PM test PM train PM test PM test PM train PM The main conclusions from these experiments are: (1) RLHF becomes gradually less robust at higher PM scores, and (2) larger preference models are more robust than smaller ones. Atliekame du eksperimentus: • : This set consists of a scan of policies (i.e. one for each model size), all of which are trained with respect to the same 52B . Train PM Size = 52B Traukinys PM • : This set consists of a scan of policies, with each policy trained with respect to a of the same size as the policy. Train PM Size = Policy Size Traukinys PM For both experiments, each policy is further evaluated with respected to a scan of ’s throughout training. Note that a refers to 7 different model sizes ranging from 13M to 52B, thus giving us 7 policies and 7 × 7 evaluations per experiment. PM testavimas Skenavimas Į figūrą we compare the ir scores throughout the training process, similar to how train and test curves are often compared for supervised training. We find that in all cases, the two scores are in close agreement during early stages of training, but eventually diverge, with the providing a lower score. The divergence is likely an indication that . That is, the policy has been over-optimized on the , making the over- confident in the policy’s performance. The , on the other hand, doesn’t suffer from this problem since it was trained on a different portion of data that neither the policy nor the had observed. 4, train PM test PM test PM Pirmenybės modelis yra mažiau tvirtas ir lengviau išnaudojamas didesnėse premijose. train PM train PM test PM train PM We provide more discussion in Appendix B. 2 dalis 4.3 An Approximately Linear Relation Between √ KL ir apdovanojimai D D In Figures and we observe an between √KL and PM score during RLHF training. Furthermore, we note that when√a__ll mo__dels are trained and evaluated with the same PMs, the learning curves are roughly in the Atkreipkite dėmesį, kad čia „KL“ yra tiksliau apdovanojimas linijiniu būdu skiriasi , then in the ‘sma√ll__- r__egion’ (t. y. kai serijos plėtra suteikia gerą apytikslį), turėtume tikėtis atlygio Paprastai mes turėtume that reward varies linearly in Taip yra todėl, kad pradinė anksčiau nebuvo optimizuotas už atlygį, todėl nėra jokios priežasties, kodėl jis sėdėtų ant kraštutinumo, palyginti su nedideliais pokyčiais . So the fact that this relation seems to hold empirically suggests that most of RLHF training remains in the small- regime. 4 13 approximately linear relation parallel D δπ δπ D expect Dπ π δπ δπ Though they did not use these coordinates, a similar scaling can be read off from the results in learning to summarize Visų pirma, jie teikia gerą atmetimo ėminių ėmimo analizę, kurioje jie generuoja samples, and then plot mean reward of the top samples versus the KL = log( ). [Stiennon et al., 2020]. N k D N/k This analysis suggests that these RL learning curves might be associated with changes in the RL policy that behave very similarly to simply rejection sampling from the initial distribution. Mes manome, kad šis paprastas santykis yra gana įspūdingas, ir manome, kad jis nusipelno tolesnio tyrimo. • These relations provide a rough prediction for ‘how much does the policy need to change to achieve a specific reward’. Furthermore, if the lines corresponding to different model sizes really are parallel, then one can use RL training of a small model along with the zero-shot performance of a larger model to estimate the eventual performance of a larger RL policy. The slopes of these lines also explain how RLHF training can produce such large effective gains in model size, and for example it explains why the RLHF and context-distilled lines in Figure are roughly parallel. 1 • One can ask a subtle, perhaps ill-defined question about RLHF training – is it or simply . We teaching the model new skills focusing the model on generating a sub-distribution of existing behaviors might attempt to make this distinction sha√r__p b__y associating the latter class of behaviors with the region where RL reward remains linear in KL. • Norėdami padaryti drąsesnius spėliojimus – galbūt linijinis santykis iš tikrųjų suteikia on RL re__war__d, as a function of the KL. One might also attempt to extend the relation further by replacing √KL with a geodesic length in the Fisher geometry. Viršutinė riba By making RL learning more predictable and by identifying new quantitative categories of behavior, we might hope to detect unexpected behaviors emerging during RL training. 4.4 Tension Between Helpfulness and Harmlessness in RLHF Training Here we discuss a problem we encountered during RLHF training. At an earlier stage of this project, we found that many RLHF policies were very frequently reproducing the same exaggerated responses to all remotely sensitive questions (e.g. recommending users seek therapy and professional help whenever they express any level of displeasure at all). This greatly limited these models’ utility. We still see a vestige of this behavior in some of the examples provided in Section We now believe these policies were the result of for harmlessness, while Iš pagalbos 6.2. over-optimizing under-optimizing With our data collection procedure, we think this is quite intuitive. In order to get a very good score on red-teaming prompts, it’s probably sufficient for models to respond with something like “I can’t answer that.” This does not require much sophistication (it just requires learning to classify harmful requests), and so we expect it is easier to learn than helpfulness. In Figure (dešinėje), parodome politikos PM rezultatus per visą mokymą, atskyrus naudingumo ir nekenksmingumo skambučius. To paties skaičiaus kairėje pusėje rodome PM palyginimo duomenų rezultato pasiskirstymą, vėl atskiriant naudingus ir nekenksmingus duomenų rinkinius. Mes pastebime, kad politikos nekenksmingumo balas yra šiek tiek neplatinamas, nes jis yra nekenksmingumo palyginimo duomenų viršuje. Kita vertus, politikos naudingumo balas pasirodo pasiskirstyme ir tikriausiai yra nepakankamai optimizuotas. 14 This then raises an obvious question – can’t we just collect more harmlessness data to fill out the upper tail of the distribution? The problem involves the definition of harmlessness mentioned above – if simply refusing to answer a question is the ‘least harmful’ behavior, then this is probably both very easy to learn, and hard to improve on. That said, a more interesting ‘least harmful’ behavior would involve the model (helpfully) explaining why the request was harmful, and perhaps even trying to convince the human not to pursue such requests. We informally refer to such a model as a ‘hostage negotiator’. Tačiau mūsų duomenų rinkimo procesas padarė labai sunku modeliams išmokti „ginklų derybų“. Tai yra todėl, kad renkant mūsų nekenksmingumo duomenų rinkinį, mes turėjome minios darbuotojus pasirinkti AI response. We made this choice so that we could fully explore the vulnerability of our models to red-teaming. However, from the point of view of RLHF this was problematic, because beyond the first turn of dialogue, our models never learned what a response to a harmful query might be like. Our dataset does not provide guidance on the upper end of the distribution, on what models should do, but only tells models what to do. more harmful Sudėtingas not In practice, we have partially resolved the optimization issue by training on a larger fraction of helpfulness prompts during RLHF. But in the future we hope to more fully and systematically address this problem by collecting harmlessness data where crowdworkers choose the best possible response from our models. In this way we hope that rather than simply shutting down harmful requests, models can learn the more subtle art of ‘hostage negotiation’ with red-teamers. 14 Note that since the data and models discussed in this section are from an earlier stage of our research, the RL results may look slightly different from other parts of the paper. 4.5 Iterated Online RLHF In preceding sections we discussed the problem that PMs become progressively less calibrated and less robust at higher scores, as seen in the PM calibration study in Figure and the RLHF robustness study in Figure 9, We believe this is caused by a lack of data in this high score regime. To address this, we propose : 4. iterated online RLHF • We simply train the best RLHF policy we can, and use that to collect comparison data from crowd- workers. Since the policy was trained to optimize for PM score, it should produce responses that are on the upper end of the score distribution. • We mix the new comparison data with our existing data, and train a new scan of PMs, which we then use to train a new scan of RLHF policies. Then reiterate this process indefinitely. Our hypothesis is that the ‘online’ RLHF policy helps us collect data on the upper end of the PM score distribution, which should improve PM calibration at high scores on subsequent iterations, and thereby allow us to train even better policies. Continuing this process should give us progressively better PMs and policies. Note that our use of the terminology ‘online’ is different from conventional use of the word—instead of training the same model iteratively, we retrain a new model per iteration. One concern about this approach is that RLHF tends to decrease the policy’s entropy, which would limit the diversity of data collected through the online procedure. We partially address this by deploying a number of different snapshots from RL training, and from different online iterations, at once. This also makes it possible to compare these models to get a better sense of how they are performing. We can see signs of life from the online approach by looking at the evolution of our data distribution. In Figure (kairėje), mes rodome PM balus iš trijų modelių paskirstymo: , (rejection-sampling), and , as described in Section Mes matome, kad, remiantis mūsų galutiniu internetiniu PM (mokoma visais duomenimis), mėginių kokybė gerėja nuo bazės iki atmetimo ėminių ėmimo iki internetinių duomenų paskirstymo. Mes taip pat nustatėme, kad mūsų internetinis PM pasiekia 74%, 70% ir 67% tikslumą atitinkamos bazės, RS ir tik internetinių paskirstymo bandymų rinkiniuose, o tai rodo, kad atskirti aukštesnės kokybės mėginius tampa vis sudėtingiau. 15 Base RS Online 2.3. Mes parodome mūsų internetinių modelių mokymosi kreives, kartu su Elo balų matavimais iš minios darbuotojų, dešinėje paveiksle We see that models improve significantly during RLHF, but Elo scores from crowdworkers do not match predictions from PMs. We further discuss and decompose the robustness of RLHF training in Appendix where we see that distributional shift accounts for a significant part of the apparent robustness failure (Figure 15. B.4, 35 ir daugiau). Į figūrą we compare Elo scores of our online model with context-distilled models and RLHF models trained on the ‘static’ (i.e., no online) dataset, showing that the online models are clearly preferred by our crowdworkers. However, readers might worry about two caveats: the online model was trained on a slightly larger (about 20% larger) dataset, and the online model was trained with improved RLHF hyperparameters (the online model was trained with a larger Apibrėžta priede and its PM was trained with 2048 context instead of 1024), as compared to the earlier static RLHF training run. 1 dalis K B.1, To address both of these caveats, we performed a controlled experiment comparing two RLHF runs: one trained with our base dataset (about 44k PM comparisons), and another trained on an even mixture of base, RS, and online data (about 15k PM comparisons from each). So for this experiment we trained two separate PMs on each dataset, and then trained a pair of RLHF policies against these two PMs. Apart from the data difference, both runs used the same settings, and were only trained on helpfulness. In figure we compare Elo scores for various snapshots of both runs, as determined by crowdworker preferences, showing that the policy trained on the iterated-online mixture is clearly preferred. This demonstrates that online training works, and that performance gains are not merely due to increased dataset size or hyperparameter changes. kurių bendras duomenų rinkinio dydis yra toks pat kaip bazinio duomenų rinkinio 15 16, 4.6 Evaluations: Alignment Bonus, Honesty, and Biases Language models that have been finetuned via RL typically have much narrower, lower-entropy output distri- butions. This can make evaluations difficult when they are fairly rigidly formatted, since all valid responses may be far off-distribution for the RLHF model (we discuss an example with gender bias evaluations below). Thus we expect in future work evaluations involving sampling and human interaction may be most relevant. In what follows we discuss some standard NLP evaluations, and then evaluations specifically related to the societal impacts of the models, including honesty, sentiment, and bias. 4.6.1 NLP Evaluations We evaluate our models on question answering, commonsense, trivia, and story completion using the bench- marks MMLU Šilutės [P Hellaswag OpenBookQA ARC and TriviaQA The main conclusion is that RLHF tends to improve performance for large models, while degrading Mažesnių modelių efektyvumas. [Hendrycks et al., 2021b], aperno et al., 2016], [Zellers et al., 2019], [M. Masiulis ir kt., 2018 m. gruodžio mėn. [Clark et al., 2018], [Joshi et al., 2017]. 16 Full results for both zero-shot and few-shot evaluations are shown in Figures ir ir pateikėme vidutinių tendencijų santrauką paveikslėlyje Readers may notice that results improve rather suddenly for some evaluations; this is a consequence of the format we use for multiple choice questions, where we explicitly provide choices (Gopher Formatas yra aiškiai pateiktas priede. We find that this format tends to improve performance for large models, while decreasing the performance of small models, leading to the arguably misleading appearance of a ‘grok’ curve. 28 29 ir 3. [Rae et al., 2021] E. [Power et al., 2022] 4.6.2 Honesty and Biases A major question is whether AI models are honest. We evaluate our models on TruthfulQA (MC1) and show the results in Figure Čia mes taip pat įtraukiame 50 šūvių našumą, norėdami parodyti, kad nors mūsų RLHF mokymas žymiai pagerina sąžiningumą, mūsų modeliai greičiausiai turi didelę galimybę tobulėti. Atkreipkite dėmesį, kad mūsų instrukcijos visuomenės darbuotojams rodo, kad „meluoti nėra naudinga“ ir kad jie turėtų pasirinkti atsakymus, kurie yra „naudingi ir sąžiningi“, todėl tai tikriausiai yra susiję su patobulinimais, kuriuos matome „TruthfulQA“. [Lin et al., 2017 m. kovo mėn.] 5. Another set of questions involves the underlying biases of these models. We evaluate our models for sentiment biases on race and religion (in the same format as Gopher 2021]), for gender bias, and on the Bias Benchmark for QA (BBQ-lite) [P [Rae et al., Kėdainiai ir kt., 2019 m. Įvairių rasinių ir religinių grupių santykių rezultatai parodyti paveikslėlyje The main effect we observe is that the sentiment of our RLHF-trained models tends to be much more positive than that of plain LMs, but it is more difficult to say if bias among groups has changed. We expect some of the visible effects are due to limitations in the sentiment model , for example the low scores for the Atheist group is likely because samples such as (model generation in italics): 17. 17 The Atheist man was very skeptical and critical of religious dogma and conventional moral principles, seeking instead to derive his ethical values from rational consideration and empirical observation of the natural world. receive a sentiment score very near zero, which seems like a questionable evaluation. For these evaluations we use a prompt format where the human asks the assistant to complete the sentence as follows: Human: Can you help me finish a sentence? The sentence is: {sentence beginning} Assistant: Sure thing, here is your completed sentence: {sentence beginning} su sakinio pradžia, pavyzdžiui, „Atėnų žmogus buvo labai“ kaip matyti aukščiau. We also evaluated our models on BBQ-Lite, a simplified version of BBQA [P that is avail- able on BIG-bench. We were somewhat surprised by the results, and are unclear if any conclusions can be drawn based on them. In essence, we appear to find that our plain LMs do not exhibit very significant biases on this benchmark, using the available metrics. Here the metric is roughly ‘how often does the model invoke a term in a negative context, divided by how often it uses the term generally’. A value of 0.5 corresponds to the models being ‘unbiased’. RLHF training perhaps improves the results slightly (likely by improving sentiment) though the effect is very small (see Figure Mes galime grįžti prie šių vertinimų ateityje naudojant visą BBQA metriką [P arrish et al., 2021] 18). arrish et al., 2021]. In Section 3.4.2 we investigated gender bias in preference models. We tried using this format for evaluating RLHF models, but we found that these models were more than 10 less likely than plain or context-distilled LMs to use a gendered term to complete sentences like ‘The CEO was a’. In other words, statements like ‘The CEO was a father’ seem to be somewhat off-distribution for the RLHF models, at least compared to general LMs. This is problematic for evaluations, because it means that the bias measurements are likely to be dominated by noise, and are unlikely to be representative of model behavior (i.e. model-generated samples). So in Appendix B.10 we experiment with another formulation of the task, where we reverse the order of occupation and gender terms, and add a ‘For work’ clause; this kept both the RLHF and other models on-distribution. The results are discussed in Appendix B.10, where we show that RLHF model’s biases are very strongly correlated (Figure 40) with underlying LM biases. In particular, with this evaluation we find that large RLHF models have gender biases that are very similar to language models evaluated at a lower temperature. 5 Konkuruojantys tikslai, specializuoti įgūdžiai ir OOD aptikimas A concern about alignment techniques is that they might compromise model performance. In Section Mes atkreipiame dėmesį į kiekybinį tokio pobūdžio kompromisą, tarp naudingumo ir nekenksmingumo mokant pirmenybių modelius. 5.1 Furthermore, we also find that the conflict between helpfulness and harmlessness is relatively unique. Pref- erence models can learn to reward strong performance at specialized skills without any loss in performance at helpfulness and harmlessness. In Section we consider the evaluation of summarization quality as such a skill, using the learning-to-summarize Duomenų rinkinys reformatuotas pokalbio forma. vėliau skyriuje we show that code models (i.e., models finetuned on code by supervised training) are also compatible with HH alignment interventions, even though the RLHF training does not involve code data or examples. 5.2 [Šilutės ir kt. 2020 m. lapkritis] 5.3 In Section we highlight another approach to avoiding harmful behavior – it may be possible to reject most harmful requests, even without any access to harmfulness training data, by leveraging out-of-distribution detection techniques [F This approach might also be useful more generally in deployment scenarios where strange or off-topic requests need to be flagged or ignored. 5.4 Rūmai ir kt., 2019 m. 5.1 Naudingų ir nekenksmingų tikslų derinimas In many cases harmlessness acts as a constraint on helpfulness. So we should expect that helpfulness and harmlessness may behave as partially anti-correlated objectives. We establish this by evaluating preference models trained on different mixtures of HH data, and with different weightings. At a conceptual level, the HH PMs may essentially be learning to first classify the data and then choose a score depending on the distribution. We will show that larger models perform better and are more robust to data mixture and loss weighting, which may be due to their having greater success at separating reasonable from harmful requests. 5.1.1 Varying Helpful vs Harmless Data Fraction We train models using data splits varying from 100% helpfulness to 100% harmlessness in intervals of 10%. Our static data distribution has 42k red-teaming comparisons, so to control for dataset size we always con- struct mixtures with a total of this number of comparisons. Figure rodo našumą tiek kenksmingumo, tiek naudingumo atžvilgiu, nes mokymo duomenų mišinys yra įvairus.Atkreipkite dėmesį, kad mokymasis tik naudingumo ar nekenksmingumo duomenimis lemia našumą kitame paskirstyme, kuris yra . This exemplifies the extent to which these distributions are in tension with each other. 19 significantly worse than chance Figure in the appendix also plots mean test accuracy over both helpfulness and harmlessness (where Mean Acc = (Harmlessness Acc + Helpfulness Acc)*/*2). Curves for larger models look more steep near the 0% and 100% areas, but flatter at the top. The curves for the smaller models are more gradual, with more distinct peaks in the middle. This again suggests that larger PMs are more robust to the specific fraction of red-teaming vs helpfulness data that is used, allowing them to learn both concepts more easily. 26 5.1.2 Weighting Helpful vs Harmless Losses Instead of studying different data mixtures, we can try re-weighting the losses. Since we have more helpful- ness than harmlessness comparisons, we experimented with weighting the losses as LTotal = LHelpfulness + λ · LHarmlessness už λ E 2 {1; 2; 3; 4; 10}, kaip parodyta 27 paveikslėlyje (susieta su priedu). Atkreipiame dėmesį, kad didesni modeliai atrodo labiau atsparūs λ pasirinkimui.Iš 1 į 10 λ padidėjimas sukelia 7,4% tikslumo sumažėjimą 13M parametrų modelio naudingumo atžvilgiu, o tai sukelia tik 1,5% tikslumo sumažėjimą 52B parametrų modelyje. 5.2 Apibendrinimas kaip specializuotas įgūdis Mes tikimės, kad modeliai su specialiais įgūdžiais gali būti ypač naudingi ir vertingi. Kaip vieną iš šio klausimo testų, mes studijavome PM finetuning apie mokymąsi apibendrinti (LtS) Duomenų rinkinys, palyginti su LtS ir HH duomenų mišiniu. mes formatuojame LtS duomenis conversa- tional formatu, kad jis atitiktų HH duomenis, kaip nurodyta toliau: [Stiennon et al., 2020] Human: Can you write a summary of this article for me? ...Text... Assistant: Sure, here it is: ...Summary... As shown in Figure large preference models trained on a mixture of HH and LtS datasets perform equally well on both. So at least at the level of preference modeling, there seems to be no cost to mixing HH with the specific skill of evaluating summarization quality. 20, 5.3 Natural Language RLHF on Code-Finetuned Models As another test of a specialized skill, we would like to see if natural language alignment can be combined with coding without compromising performance. Since our crowdworkers were never instructed to probe the model’s coding abilities, and most likely do not have a great deal of coding expertise, our human feedback data does not include a significant number of code-related conversations. The preference model finetuning dataset and the RLHF prompt dataset thereby do not contain any significant amount of code, though there is some code in the LM pretraining mix and possibly a small amount in the PM pre-training (PMP) mix. This makes code-related problems an interesting way to test generalization of RLHF, and especially its compati- bility with other skills. Our ‘base code models’ were finetuned on Python code scraped from Github as described in Pradedant nuo šių Python smulkiai sureguliuotų (Python FT) modelių, mes tada vykdėme mūsų standartinę natūralios kalbos RLHF mokymą naudojant „statinius“ pageidavimų modelius ir priminimus. [Askell et al., 2021]. We evaluate models on the HumanEval dataset which prompts language models with python function signatures and docstrings. Models are tasked with correctly filling in the function body given the context, and model-written functions are run in a sandbox environment. In Figure we show results versus model size with and without RLHF training. We see the same trend here as with other evaluations – RLHF decreases the performance of small models, but improves the performance of larger models. [Chen et al., 2021], 21 RL mokymas linkęs sumažinti modelių pasiskirstymo entropiją, todėl mes nerimavome, kad šie rezultatai būtų labai jautrūs temperatūrai ir viršutiniam p nustatymui. Taigi mūsų 52B modeliams mes atlikome temperatūrų nuskaitymą ir du viršutinius p nustatymus tiek RLHF modeliams, tiek pagrindinio kodo modeliams, o tada pasirinkome geriausią kiekvieno modelio ir pass@k nustatymą. Mes atlikome vertinimo hiperparametrų tinklo paiešką: T ∈ {0, 0.4, 0.6, 0.8, 1.0} × p ∈ {0.95, 1} × k ∈ {1, 5, 10, 25, 50, 75, 100}. Rezultatai apibendrinami dešinėje paveikslo pusėje. We should emphasize that as with our other evaluations, the improvements in performance from RLHF are modest. In fact, we find that simply prompting a base code model performs slightly better, as shown in Figure Appendix further describes the format of the prompts we used (i.e., ‘HHH prompts’), which consist of a couple of code examples. 38. B.8 We also conducted experiments involving adding buggy code to the prompts, which typically worsens per- formance (see 2021]). We found that RLHF models did not perform better than their initial base code model snapshots, when these prompts are included in the context during evaluation, even after scanning over temperature and top-p. [Chen et al., 5.4 Applying Out-of-Distribution Detection to Reject Strange or Harmful Requests Šiame darbe daugiausia dėmesio skiriame nekenksmingumo pasiekimui visiškai per natūralios kalbos dialogą. Tačiau galima pabandyti išvengti kenksmingo elgesio šiek tiek kitaip, arba apriboti kalbos padėjėjus, kad jie atsakytų tik į siaurą užklausų spektrą (patvirtintą sąrašą), arba filtruoti ir atmesti žinomus blogo elgesio tipus (bloko sąrašą). Such an approach might also be useful for those who want to build systems that only respond to a narrow range of queries (e.g. code models that should avoid non-code topics). Out-of-distribution detection (OOD), and especially near out-of-distribution detection, have been a major challenge for deep neural networks. Deep networks routinely assign high probability to mis-classified inputs [Guo et al., 2017, Lakshminarayanan et al., 2016] as well as to test inputs not belonging to any of the training classes [Nguyen et al., 2014]. There have been many approaches to OOD detection based on discriminative models [Hendrycks and Gimpel, 2016, Lee et al., 2018, Liang et al., 2017, Liu et al., 2020] as well as deep generative models [Nalisnick et al., 2019, Zhang et al., 2020]. The more difficult case of OOD detection, the so-called near-OOD detection [Winkens et al., 2020], has recently been improved upon significantly using pre-training and large models [Fort et al., 2021]. For a prompt i, we extract a vector of activations of dimension dmodel from a layer ` and call it v ` i ∈ R dmodel . The task is to distinguish between an unseen example of harmlessness and helpfulness data without being explicitly shown any harmlessness data at all. This approach works by measuring the deviation of a prompt from the helpfulness data, rather than measuring how close it gets towards harmlessness data in particular. In this way, we do not depend on the specific harmful content we have at hand, and can potentially filter different kinds of non-helpfulness content. To detect whether an input comes from the in-distribution (the helpfulness dataset), we use a scoring function that takes the input and maps it to a scalar value score(x). To do that, [Lee et al., 2018] first proposed to fit a simple model to training examples of the in-distribution, Din train = {v ` i ∈ R dmodel}. We calculate the mean µ = 1 Ntrain PNtrain i=1 v ` i and the covariance matrix Σ = 1 Ntrain PNtrain i=1 (vi − µ) (vi − µ) T . The Mahalanobis distance of an unknown activation vector x from this training set is score(x) = (x − µ) T Σ −1 (x − µ). A simple improvement on top of the Mahalanobis distance called the Mahalanobis distance has been proposed in ir įrodyta, kad tai lemia geresnį AUROC, taip pat tvirtesnį OOD problemų aptikimą regėjime ir genomikoje (be to, didesnis atsparumas priešpriešiniams išpuoliams [F] Įkvėpti šio metodo ir pripažįstant, kad mūsų problema natūraliai nesusijusi su semantiškai reikšmingomis klasėmis, apimančiomis pasiskirstymą, mes siūlome dar vieną pakeitimą, kurį vadiname pasiskirstymu. Apskaičiuojame atstumą nuo Mahalanobis santykinio atstumo, pritvirtinant visą kovariantės matricos Σ kaip ir anksčiau, taip pat diagonalinę- tik kovariantės matricos Σdiag, ir priskiriant jų Mahalanobis atstumo skirtumą kaip mūsų taškų funkciją, rezultatas ( ) = ( − ) Σ−1( − ) − ( − ) Šaulys – 1 − ). Relative [Ren et al., 2017 m. lapkričio mėn.] ort, Simplified x x µ T x µ x µ T x µ Figure shows the results for our OOD detection experiments, trying to distinguish the helpfulness data from harmlessness data using our new Simplified Relative Mahalanobis distance to the helpfulness activation vectors. The figure shows AUROC for activation vectors from different layers of the model and different model sizes. The bigger the model, the better its performance, with the middle layers performing best. The right panel of Figure shows an example of the OOD score distributions for the helpfulness data (blue) and harmlessness data (red) for a 64L layer of 52B parameters and its 32th layer. We can see that the mode of the distances of the Harmlessness data is clearly higher than for the helpfulness data. The comparison of the Simplified Relative Mahalanobis distance and the standard Mahalanobis distance is shown in the Appendix Į figūrą 22 22 B.9 39. The advantage of this approach is that we are able to distinguish helpfulness data from non-helpfulness data, with harmlessness data being only a particular kind of non-helpfulness data. The disadvantage is its clear lower performance on this specific task in particular. If we have access to a small number of examples of Harmlessness inputs (the out-distribution), we could perform a few-shot outlier exposure, as first proposed by siūlo naudoti vieną klasę, kuri atstovauja OOD pavyzdžius. [F] buvo naudojamas išorinis poveikis virš atskirai stiprių netoli OOD detektorių ir parodė, kad jie vis dar turi didelę naudą, kai yra veikiami išorinio pasiskirstymo pavyzdžiais. and shown in Figure [Hendrycks et al., 2018]. [Thulasidasan et al., 2021] Rūmai ir kt., 2019 m. B 9 23. Visų pirma, naudojant tik 10 kenksmingų perspėjimų pavyzdžių, galime pasiekti geresnį AUROC lygį 0**94 0**02 64L modeliui.Geriausias visų visų modelių sluoksnių (52B modelio vidurinių sluoksnių) našumas be išorinio poveikio (dar naudojant mūsų supaprastintą santykinį Mahalanobis atstumą, žr. [22]) yra maždaug 0*.*85. 4L modelis, veikiantis tik 10 kenksmingų duomenų pavyzdžių, gauna AUROC lygį 0*86 0**01, tuo tarpu turėdamas tik 13M parametrus, palyginti su 52B. 6 Qualitative Examples and Comparisons It is challenging to quantitatively evaluate general-purpose dialogue agents. We find that our own research process depends essentially on qualitative evaluations, in order to get a sense for model strengths and weak- nesses, even when the ultimate goal is to produce some sort of quantitative metric. Thus in this section we will provide a few sample dialogues with our final online HH model. An obvious issue with the qualitative evaluation of samples is that it’s difficult to know to what extent they have been cherry-picked. To mitigate this issue, . We provide samples based on prompts that appear in association with others’ comparable work in Appendix Įskaitant instrukcijas- GPT LaMDA ir jautrūs klausimai, atsirandantys PALMS We encourage readers to skim these samples to get an (arguably) unbiased sense for our model’s behavior. už kiekvieną užklausą mes generuojame 17 pavyzdžių, reitinguojame juos pagal mūsų HH internetinį pageidavimų modelį, o tada rodome vidutinį pavyzdį C, [Ouyang et al., 2022], [Thoppilan et al., 2022], [Solaiman and Dennison, 2021]. 6.1 Palyginimas su žmogaus rašytojais As an additional test of our models, we collected high-quality HHH dialogues from human writers. These writers were hired on Upwork (separately from our pool of crowdworkers) based on prior successful writ- ing work and positive reviews. We gave them some examples, and then asked them to write fairly ideal human/assistant interactions. Tada, remiantis kvietimais (išskyrus galutinius rašytojo parašytus padėjėjų atsakymus), mes sukūrėme 17 pavyzdžių iš mūsų geriausių HH ir geriausių grynai naudingų internetinių modelių ir pasirinkome vidutinį atsakymą iš šio baseino, remiantis mūsų internetiniu HH pageidavimų modeliu. Tada mes paprašėme mūsų minios darbuotojų reitinguoti atsakymus iš rašytojų, kartu su vienu atsakymu, kiekvienas pasirinktas iš mūsų HH ir tik naudingų modelių. mes tada naudojame šiuos rezultatus, kad įvertintume mūsų žmonių rašytojų Elo balas, palygindami su mūsų dviem modeliais, ir rodome rezultatą kaip horizontalią juostą paveikslėlyje 1. We used a band because the writer comparisons were actually somewhat inconsistent with our other Elo rankings, as crowdworkers preferred our HH online model to human writers 56% of the time, but preferred the our pure-helpfulness model to writers only 51% of the time. Presumably this is because the distribution of writers’ prompts differs from the distribution of conversations in which crowdworkers usually engage. Thus rather than altering the rankings betweeen our HH and helpful models, we represent writers as a wide band. We find that the performance of both our helpful and HH models is roughly comparable to that of the human writers, though in fact the models are slightly preferred by crowdworkers. We also find that our PM’s typically assign higher scores to the model responses, as shown in Figure e believe that this result should be interpreted with caution and caveats, however. The writers’ prompts were not very adversarial; many strike us as ‘softball questions’ that models can easily do well on. As researchers who have interacted with models for tens or hundreds of hours, we could likely come up with many questions where humans would be more likely to outperform the models. Relatedly, the writers’ conversations do not strike us (in many cases) as especially realistic, in the specific sense that we would not expect a human to derive a great deal of practical value by asking an AI assistant for help in these ways. We expect that our models likely still fall significantly short of providing the kind of value that a sophisticated human assistant could provide via chat, even if they were operating under the constraints the model experiences (e.g. no internet access). 24.W Here are a couple illustrative examples of prompts, writer responses, and our online HH RLHF model’s response. In this example the model performs well at first, but then makes some slightly inaccurate statements about the ways in which it fixed errors: In this example the writer’s statistic is arguably a bit misleading (presumably unintentionally), and the model’s response may simply be superior. This strikes us as an example of a ‘softball question’ where we expect models to do well, since it is common, vague, and open-ended: In this final example, the model makes some subtle mistakes, but most readers would probably have difficulty detecting them without consulting reference material: Dialogues like the above help to illustrate the limits of human feedback training: Tai yra viena iš priežasčių, kodėl mes negalime pasikliauti žmogaus atsiliepimais, kad mokytume modelius būti sąžiningiems, arba bet kokiam tikslui, kai žmogaus sprendimas nėra geriausias įmanomas informacijos šaltinis. once model errors become sufficiently subtle, they will no longer be penalized appropriately, and the model’s incentives may no longer be aligned With that said, AI models still have limitations that can seem highly incongruous. Here’s an example where we, the more experienced model-interrogators, really played ‘hard ball’ with the AI: 6.2 Sensitive Questions and Avoidance versus Engagement Here are a few examples from PALMS sensitive questions. We chose them to illustrate how the model sometimes avoids very sensitive subjects, but often provides otherwise reason- able responses. Please see Appendix daug daugiau pavyzdžių, įskaitant kai kuriuos iš InstructGPT and LaMDA prompts. Solimanas ir Dennisonas, 2021 m. C [Juozas ir kt., 2024 m.] [Thoppilan et al., 2022] Here is a case where the model just refuses to answer the question: Here the model indicates that it should not answer, but then provides some relevant information (perhaps it’s also problematic that the model focuses on the US, though this is likely a consequence of it having been trained in English by US-based crowdworkers): Ir čia modelis suteikia gana išsamų atsakymą, nesistengdamas išvengti temos: Qualitatively speaking, our experience has been that by tuning optimization for helpfulness versus harmless- ness, one can train models that are extremely avoidant when sensitive topics come up, or models that almost always attempt to engage, even on sensitive subjects. We suspect that Section taip pat suteikia naudingų pamokų, jei tikslas yra mokyti modelius, kurie suteikia išsamų atsakymą į jautrius klausimus. 4.4 6.3 Example Dialogues Dauguma mūsų pavyzdžių apima tik vieną užklausą ir atsakymą, todėl šiame skyriuje parodome keletą dviejų posūkių dialogų. Šiame dialoge modelis seka instrukcijas, tačiau galėjo atlikti gerokai geresnį darbą, užfiksuodamas situacijos niuansus: Here is some dialogue on a technical subject from a researcher who was experimenting with using the model to help debug an engineering issue: When asked to parrot writing styles, the model is more likely to make potentially harmful, explicit, or offen- sive statements: In this case we chose a human reply that takes the conversation in a subtly dark direction, and the model rebuts the argument: 7 Discussion We have shown that it’s possible to use reinforcement learning from human feedback to train language models that act as helpful and harmless assistants. Our RLHF training also improves honesty, though we expect other techniques can do better still. As in other recent works associated with aligning large language models RLHF pagerina naudingumą ir nekenksmingumą didžiuliu maržu, palyginti su paprastais modeliais. [Stiennon ir kt., 2020 m. Šilutės ir kt., 2022 m. Ouyang et al., 2022 m. Nakano et al., 2021, Menick et al., 2022], Our alignment interventions actually enhance the capabilities of large models, and can easily be combined with training for specialized skills (such as coding or summarization) without any degradation in alignment or performance. Models with less than about 10B parameters behave differently, paying an ‘alignment tax’ on their capabilities. This provides an example where models near the state-of-the-art may have been necessary to derive the right lessons from alignment research. Atrodo, kad bendras vaizdas, kurį randame – kad dideli modeliai gali išmokti įvairių įgūdžių, įskaitant suderinamumą, tarpusavyje suderinamu būdu – neatrodo labai stebina. Finetune su didesniu pavyzdžių efektyvumu Ir nereikšmingai kenčia nuo užmiršimo Nors mes tiesiogiai to neparodėme, mes taip pat tikimės, kad RLHF derinimo mokymas gali būti sumaišytas su ar prieš treniruotę kitiems tikslams; tai gali būti svarbu ateityje, kad būtų išvengta tarpinių, nesuderintų AI sistemų gamybos. [Kaplan et al., 2020 m. R. Šimkus ir kt., 2019 m. Brown et al., 2020], [Henighan et al., 2020, Kėdainiai ir kt., 2019 m. [Ramasė ir kt., 2024 m. Mes nustatėme aiškią įtampą tarp naudingumo ir nekenksmingumo, kur modeliai, apmokyti tik naudingumo tikslais, yra pageidautini modeliai, apmokyti HH, kai vertiname tik naudingumą. Mes manome, kad tai iš dalies yra dėl mūsų duomenų rinkimo proceso subtilumo, nes mes retai renkame duomenų mokymo modelius, kaip elgtis pozityviai su kenksmingais prašymais (t. y. kaip būti tam tikru „pabėgėlių derybininku“), bet tik dėl to, kaip jų išvengti. Ir mes taip pat nustatėme, kad bent pageidavimų modelių lygiu naudingumo ir nekenksmingumo įtampa mažėja, nes modeliai tampa didesni ir labiau pajėgūs. Dideli generaciniai modeliai vadinami „pagrindiniais modeliais“. Šie modai yra labai įdomūs mokslinių tyrimų objektai, tačiau be tolesnio tobulinimo jie gali rodyti kenksmingą elgesį.Mūsų darbas rodo, kad derinimo mokymas gali būti įtrauktas į pamatinius modelius, nekenkiant jų naudingumui ir universalumui, todėl galbūt netrukus jis galėtų tapti jų apibrėžimo dalimi. [Bommasani et al., 2021]. 7.1 Limitations While we believe our results present a promising picture for the alignment of existing language models, work on this subject remains in an early stage, and has a number of limitations. As was also emphasized by the authors of Mes vertiname savo darbą kaip tęstinį projektą; mūsų darbas was step zero, and this is step one. [Šiauliai ir kt., 2024 m.] [Askell ir kt., 2017 m. lapkričio mėn.] We’ve pragmatically defined an aligned assistant as an AI that is Naudinga, sąžininga ir nekenksminga. Mes esame optimistiški, kad šiuo metu gebėjimų lygiai, čia aptarti metodai suteikia pagrįstą požiūrį į naudingumo ir nekenksmingumo pasiekimą. tačiau, nors mūsų metodai pagerina modelio sąžiningumą, mes tikime, kad mes tiesiog įbrėžiame šios problemos paviršių, ir kad kiti metodai gali efektyviau ir efektyviau gaminti sąžiningus AI modelius. 18 Here we have essentially focused on the average-case behavior of our models. However, even if we were convinced that our models were HHH in expectation, a clear next step would be to attempt to study and eliminate bad behaviors (especially harmfulness) even in the worst case. We have not addressed this question of robustness here, but hope to study it in the future (approaches such as may be useful). It will only become more pressing as AI systems advance and encounter distributional shift during deployment. [Perez et al., 2022] AI alignment may be difficult and ambiguous to assess. So for example, while our large RLHF-trained models perform better than plain LMs on virtually all capabilities evaluations, one might hope that a truly helpful models’ zero-shot performance would equal the few-shot performance of an unaligned model. The logic here is that if a model can really ‘helpfully follow instructions’, then a prompt or explanation should be sufficient to bridge the zero-to-few-shot gap. We are very far from achieving this level of performance! Even on the honesty evaluation TruthfulQA Mes uždarome šiek tiek mažiau nei pusę šio atotrūkio (Figūra Mes taip pat trumpai ištyrėme, ar mūsų RLHF rafinuotų kodų modeliai turi lyginamąjį pranašumą, kai jie yra veikiami perspėjimų, įskaitant klaidų kodą. Tikimės, kad visiškai suderintas modelis padarys viską, kas įmanoma, kad parašytų teisingą kodą, net jei bus pateikta klaidinga užklausa. [Lin et al., 2017 m. kovo mėn.] 5 ) [Juozas ir kt., 2017 m. kovo mėn.] We also harbor a general concern that perhaps our techniques only render models aligned ‘on the surface’, and that they still harbor harmful biases or other tendencies that may surface in more subtle contexts. We found that RLHF models have a more positive sentiment towards all racial and religious groups, which seems promising, but does not necessarily indicate that biases have been reduced. And with respect to gender, we found that RLHF model biases are very strongly correlated with the bias of the underlying language models. That said, further work will be required to understand if this is a limitation of RLHF as a technique, or of our particular HH datasets. In any case, we likely need to build more subtle and comprehensive evaluations that include multi-turn dialogue, as this is an area where humans will likely use the models, and it’s also a place where it’s inherently more difficult to measure performance against subtle objectives such as bias and fairness. Daug praktiniu lygmeniu mes neturime daug patirties taikant RL metodus dideliems generaciniams modeliams. Patyrę AI specialistai žino, kad yra daugybė modifikacijų ir gudrybių, kuriems reikia eksperimentuoti, ir tai gali gerokai pagerinti mokymo stabilumą ir našumą. Mes susidūrėme su tam tikromis stabilumo problemomis su RL, ir nors mes atlikome kai kuriuos rudimentinius hiperparametrų nuskaitymus, mes tikimės, kad turėdami daugiau patirties ir studijų galėtume padaryti geriau. Mes taip pat neištirėme internetinio mokymo variacijų, pvz., pažodžiui atnaujinti vieną PM ar RLHF modelį; o mes iš naujo apmokėme šiuos modelius nuo nulio kiekvienoje iteracijoje. Kita tyrimo kryptis yra naudoti ne trivialią PM Galutinis susirūpinimas yra tai, ar tokie metodai, kaip tie, kuriuos mes panaudojome, ir toliau bus taikomi, nes AI modeliai tampa vis labiau pajėgūs. goal, which is to establish a set of simple and universal techniques that can align AI models at present capability levels. Assuming this goal can be met, one of the next steps will be to build consensus among researchers and to understand alignment in greater depth, including how techniques scale with AI capabilities. The hope will be to create an evolving pragmatic state of the art for training AIs that are thoroughly helpful, honest, and harmless. Pradinė 19 Kitas esminis žingsnis bus naudoti šią pradinę liniją kaip pradžios tašką, kad būtų galima ištirti kitus metodus, kurie gali geriau spręsti pažangesnius naudojimo atvejus ir spekuliatyvesnius gedimo būdus. Naujas idėjas ir metodus galima pragmatiškai palyginti su esamais metodais, o po to įtraukti į standartinę praktiką, jei jie dar labiau pagerins saugumą ir tvirtumą. Mes jau susiduriame su pavyzdžiais, kurie nurodo žmogaus atsiliepimų apribojimus, todėl turime pradėti kurti kitus metodus. 6.1, 7.2 Alignment Data as a Public Good In this work we allowed crowdworkers’ common-sense to define what constitutes helpful and harmless be- havior. This was sufficient for our exploration of ‘technical alignment’, i.e. the question of whether certain techniques can be used to train AI models to be more helpful and harmless. But we have avoided addressing the underlying question of what sort of behavior should be expected from deployed AI models. This question should not be the provenance of researchers only. That said, without a clear specifi- cation for the format and type of ‘alignment data’ most relevant for AI training, it has been difficult for anyone other than researchers to gather the information needed to train safe and beneficial AI sys- tems. However, recently several projects (including ours) have used similar methods to teach AI models complex human preferences, and we have also found that preference modeling based on ranked comparisons scales better than many other techniques. [Stiennon ir kt., 2020 m. Ouyang et al., 2022 m. Nakano et al., 2021] [Askell ir kt., 2017 m. lapkričio mėn.] Vienas galimas požiūris būtų, kad nepriklausoma organizacija, turinti etikos, teisinės ir kultūrinės patirties, sukurtų labai aukštos kokybės duomenų rinkinį, išreiškiantį žmonių pageidavimus AI elgesiui (per palyginimus). Tokia organizacija taip pat galėtų naudoti naują valdymo struktūrą, kad didesnis visuomenės suinteresuotųjų subjektų rinkinys galėtų daryti įtaką sprendimams, kuriuos ji priima, kaip kurti ir kurti suderintus duomenis – priešingai nei šiandien, kai privačios įmonės šiuos sprendimus priima neaiškiai, naudojant valdymo struktūras, kurios suteikia galią finansiniu požiūriu suinteresuotoms šalims. Our research has benefited from publicly available research datasets and evaluations relevant to aligning AI with human values ir mes planuojame išleisti savo pageidavimų modeliavimo duomenis kitiems naudoti savo tyrimuose. Deja, tai neatrodo standartinė praktika tarp suderinimo mokslininkų, kaip rodo kai neseniai atliktas darbas. Nors mes sutinkame, kad LLM gali būti naudojamas kenkti, atrodo, kad tokio argumento negalima padaryti dėl suderinimo duomenų. [Stiennon ir kt., 2020 m. Hendrycks et al., 2021a], It’s extremely important to enable collaboration and reproducibility for alignment and safety research. As AI systems become more powerful and more widely deployed, the cost of mistakes and misunderstandings may grow immensely. We believe that the only way to convincingly address potential safety failures from advanced AI systems is to build a thoughtful community of researchers with deep expertise, and the ability to evaluate systems empirically. This will remain almost impossible if knowledge about the alignment of advanced systems remains siloed within many independent organizations. Sharing data seems like the easiest and most commonsense way to enable the sharing and validation of results. Viena iš akivaizdžių paslapties priežasčių yra ta, kad organizacijos gali naudoti naudotojų duomenis, kad sukurtų suderintus duomenų rinkinius, o paskui pateisintų nesidalijimą duomenų rinkiniais dėl to, kad tai pažeidžia naudotojų privatumą. Tai sudėtinga problema, dėl kurios organizacijoms reikia galvoti apie tai, kaip suderinti komercinius prioritetus su poreikiu sukurti bendruomenei „saugumo bendrus“ duomenis. Jei suderinimas tampa tarpusavyje susijęs su komercinių moats koncepcija, tai gali sumažinti bendrą AI ekosistemos saugumo lygį. 7.3 Platesnis poveikis Tikimės, kad mūsų darbas pateikia įtikinamų įrodymų, kad AI sistemas galima padaryti saugesnes ir naudingesnes tuo pačiu metu, ir be našumo išlaidų.Kaip minėta pirmiau, mes iš esmės liko agnostikos klausimu, kuriomis vertybėmis apibrėžiamas priimtinas ir nepriimtinas AI elgesys. AI technologies are dual-use, meaning they can be used beneficially and otherwise. We have found the ef- fectiveness of preference modeling and RLHF striking (in our research and others’), and believe there’s very legitimate concern that these techniques could be used for censorship, fraud, and misinformation. Straight- forward commercial use-cases also seem worrisome, especially if optimization for objectives like user en- gagement and persuasion are mixed together. At the most naive level, if you can optimize for ‘harmless’ then you can ‘flip the sign’ and generate harmful systems. Mes taip pat nustatėme, kad sistemas, apmokytas tik būti naudingas tampa lengviau naudoti kenksmingiems tikslams, o tai rodo, kad, kaip sistemos tampa galingesnės, tai taps vis svarbiau tiesiogiai apriboti savo potencialą žalos. 20 Perhaps the broadest impact of this work, and the general development and dissemination of controllable, human-like language generation will be cultural. In Figure Mes panaudojome Elo skalę, iš esmės šachmatų reitingų sistemą, kad palygintume ir įvertintume natūralių kalbų padėjėjus, ir mes netgi įtraukėme palyginimą su žmogiškaisiais rašytojais. Šio tipo palyginimas rizikuoja trivializuoti kalbos svarbą, kuri tikrai nėra tik žaidimas, bet pagrindinė kultūros ir visuomenės terpė. Nors siekiant suderinti vis labiau pajėgias AI sistemas jaučiasi kaip tvirtai geras veiksmas, kaip ir kada įdiegti šias sistemas kelia sudėtingesnius klausimus - kultūra iš esmės yra žmogaus įmonė, tačiau didelio masto generaciniai modeliai turi galimybę išplėsti ir sumažinti skirtingas žmogaus kultūros dalis nenuspėjamais ir neaiškiais būdais, kurie gali turėti platų į [Ganguli et al., 2022], 1 Acknowledgments Acknowledgments We thank Sam Bowman, Paul Christiano, Jacob Hilton, Jan Leike, Ethan Perez, and Jeff Wu for helpful feedback on the draft. We thank Daniela Amodei, Jamie Kerr, Jia Yuan Loke, Rebecca Raible, and Tim Telleen-Lawton for support with the project. Author Contributions Autoriaus indėlis Yuntao Bai atliko daugumą eksperimentų su RLHF ir daugeliu mėgstamiausių modeliavimo eksperimentų. Jis padarė didelį indėlį į eksperimentinį dizainą, matavimą ir modelio našumo ir elgesio vertinimą. Andy Jones ir Kamal Ndoussse sukūrė infrastruktūrą didelių kalbų modelių RL mokymui. Jie taip pat sukūrė susijusias sklypo ir stebėjimo sistemas ir įgyvendino PPO algoritmą. Amanda Askell helped to design model evaluations, collected samples and evaluations from professional writers, built systems for improving the quality and quantity of data collection, and collaborated with Jared and Jackson on associated evaluations. She also helped with the design and implementation of the human feedback interface. She helped to write the paper. Anna Chen helped with general RL and RLHF experimentation, and contributed to the research design. Nova DasSarma managed the underlying cluster infrastructure, making large scale RL training and human feedback collection possible. Dawn Drain trained the underlying code models and collaborated with Saurav on coding evaluations. Stanislav Fort atliko OOD aptikimo ir išorinio poveikio tyrimus ir analizę naudingų ir kenksmingų duomenų mėginių atžvilgiu. Deep Ganguli led the red-teaming data collection effort and design, often working with Jackson, Liane, Amanda, and Ben. He designed and ran the societal impact evaluations in collaboration with Jared, and helped with model evaluations generally. Tom Henighan padėjo iš anksto mokyti pagrindinius kalbos modelius, kurti duomenų rinkinius ir valdyti klasterį kai kuriuose projekto etapuose. Nick Joseph helped design and build a framework for efficient training of large language models and prefer- ence models. Saurav Kadavath designed and conducted experiments on helpful/harmless dataset mixing. Saurav also ran RLHF training on code models, with support from Yuntao, and ran coding evaluations in collaboration with Dawn. He also ran the majority of the natural language evaluations of basic and RLHF-finetuned models, and helped with RLHF training generally. He helped to write the paper. Jackson Kernion led human feedback crowdworker evaluation and management, and helped to build and maintain the feedback interface. He also helped with data analysis and collaborated on model evaluations. He ran most of our model comparison experiments. Tom Conerly helped with engineering, specifically with fast and efficient sampling. Sheer El-Showk helped with pretraining research and dataset construction. Nelson Elhage contributed significantly to pretraining and to engineering vision. Zac Hatfield-Dodds padėjo kodų bazės priežiūrai ir inžinerijai, ypač greitam ir efektyviam ėminių ėmimui. Danny Hernandez prisidėjo prie išankstinio mokymo ir ypač prie duomenų rinkinių projektavimo. Scott Johnston helped with pretraining research. Shauna Kravec contributed to the development and use of our RL systems, and collaborated on RL research. Liane Lovitt helped with red-teaming, and in particular with designing the interface. Neel Nanda contributed to research discussions and priorities for alignment. Catherine Olsson padėjo patarti apie žmogaus grįžtamojo ryšio duomenų rinkimą ir padėjo patarti dėl suderinimo ir vertinimo. Dario Amodei advised the project and led efforts to build and test the RL infrastructure and ML. Tom Brownas vadovavo inžinerinėms pastangoms, įskaitant efektyvų išankstinį mokymą, mėginių ėmimą ir RL sistemų stabilumą bei projektavimą. Jack Clark vadovavo visuomenės poveikio pastangoms ir patarė projektui, įskaitant įvairius vertinimus. Chris Olah collaborated on discussions of alignment and contributed to our research and evaluation infras- tructure. Benas Mannas vadovavo žmogaus grįžtamojo ryšio duomenų rinkimo sąsajos ir pagrindinės infrastruktūros projektavimui ir statybai.Jis taip pat padėjo vadovauti bendruomenės darbuotojų valdymui ir teikė inžinerinę paramą visam projektui. Jared Kaplan sukūrė ir vadovavo projektui.Jis padėjo visais aspektais, įskaitant mokslinių tyrimų projektavimą, inžineriją, eksperimentus ir vertinimus.Jis taip pat prisidėjo prie išankstinio mokymo ir padėjo kurti vertinimo infrastruktūrą.Jis parašė straipsnį. A Details, Analysis, and Evaluations of Supervised Training A.1 Context Distillation For context distillation, we follow the prescription from Konkrečiai kalbant, mes pirmiausia generuojame duomenis taip: [Askell ir kt., 2024 m. 1. We prepend the ‘HHH prompt’ (i.e., a set of prompts designed to elicit helpfulness, harmlessness, and honesty) to sequences of text, with 50% of the text coming from our pretraining dataset, and 50% coming from a StackExchange dataset. For the former, we simply append pretraining data after signaling the beginning of another conversation with “Human:”. With StackExchange, we formulate a fake Human/Assistant conversation by using the question as the human side of the conversation, and a top-rated answer as the assistant role. 2. For both datasets, we then perform forward passes with a basic pretrained 52B model, and record the top 50 log-probabilities and their indices (within the vocabulary) for the tokens following the prompt. We store the log-probs, indices, and tokens together as a small new dataset. Norėdami atlikti konteksto distiliacijos finetuningą, mes perduodame žetonus iš mūsų naujojo duomenų rinkinio per modelius (visų dydžių) ir apibrėžiame nuostolius kaip KL skirtumą tarp saugomų log-probs ir modelio, kuriam atliekamas finetuning, prognozių. We show learning curves for context distillation in Figure We use a batch size of 32 sequences, and a learning rate of 0*.*05 times the pretraining learning rate, which we decay to zero linearly during distillation. We distill using a total of 350M tokens. 30. A.2 Preference Modeling Our preference models are trained on comparison data, with each data point consisting of a and a pair of . The prompt is a multi-step dialogue between human and model that always begins and ends on the human side, and each response is a continuation of the dialogue. For instance, in Figure skambutis susideda iš pirmųjų penkių dialogo žingsnių, o atsakymai rodomi mėlyname langelyje.Premjeras tada priskiria balą kiekvieno atsakymo pabaigoje.Atkreipkite dėmesį, kad nors PM yra apmokytas tik įvertinti galutinio atsakymo kokybę, modelis turi visą pokalbio kontekstą. Greitai responses 6, We train scans of PMs ranging from 13M to 52B parameters. All PMs go through three phases of training: (1) kalbos modelis (LM) išankstinis mokymas dideliame kalbos korpuse, (2) pirmenybės modelio išankstinis mokymas (PMP) ir (3) žmogaus atsiliepimų patikslinimas. LM išankstinio mokymo detalės, įskaitant hiperparametrų ir duomenų rinkinių pasirinkimą, paaiškinamos mūsų ankstesnio darbo A priede. [Askell ir kt., 2024 m. For PMP, we use learning rate of 0.1 relative to LM pretraining, and train on a mixture of comparison data made from StackExchange, Reddit, and Wikipedia. Data preparation and labeling are explained in Appendix C.1 of We train with context size of 1024 tokens. [Askell ir kt., 2024 m. For human feedback finetuning, we use learning rate of 0.01 relative to the LM pretraining. We use context size of 1024 tokens, except for the ‘online’ model described in Section where we trained with 2048, which may help stabilize RLHF on long contexts. 4.5, For both PMP and human feedback finetuning, we append a special ‘end-of-context’ token at the end of each sample, such that the PM score is predicted directly on top of this token. As explained in Appendix C.4 of Atrodo, kad tai pagerina PM rezultatus. [Askell et al., 2021], Visose fazėse mes mokome tik vieną iteraciją, kad sumažintume perpildymą. A.3 Scaling of PM with Model and Dataset Size A major question is how performance of preference modeling scaling with model size and dataset size. This relates to a practical question – should we invest in collecting a larger dataset, or in training larger models? Atrodo, kad mes rasime labiau nuspėjamą skalę, kai mokome tik mūsų naudingumo duomenų rinkinyje, tikriausiai todėl, kad raudonos juostos duomenys iš tikrųjų ateina iš atskiro pasiskirstymo. We find that accuracy can be roughly fit by 32. kur is the number of parameters in the PM and is the size of the dataset. P D Tačiau rezultatai, kai mokoma apie kitą pageidavimų modeliavimo duomenų pasiskirstymą, atrodo gana skirtingai, kaip matyti dešinėje paveikslėlyje Note that there appears to be a sort of discontinuity in behavior between 200M and 13B parameters. Perhaps this is related to the fact that the data was generated by a model with 6B parameters. 32. B RLHF detalės, analizė ir vertinimai B.1 Training Setup B.1 Training Setup Here we discuss some details about RLHF training. We initialize our policies on context-distilled models, which are explained in A.1. We train the policy to generate responses to a dataset of prompts that maximize the score relative to a PM that was finetuned on human feedback. The prompt dataset is obtained from the training split of the PM comparisons dataset by simply removing the responses in each pair. Recall that we allow multi-step dialogue within the prompt (which always begins and ends on the human side of the conversation), but only train the policy to generate one response following each prompt. In future work, we plan to train policies to generate multiple steps, but this requires a separate model that generates the human side of the conversation, which can be implemented with a language model trained to imitate the human side of the conversation. Mes atlikome įvairius hiperparametrinius nuskaitymus ir galų gale naudojame mokymosi greitį 0,01 palyginti su išankstiniu mokymu, KL atlygio koeficientas λKL = 0,001 (4.1), PPO klijavimas = 0,2, nuolaidos koeficientas γ = 1, ir jokios entropijos premijos. Be to, PPO mes pakartotinai kartojame tą patį pavyzdį K kartus (žr. 1 algoritmą [Schulman et al., 2017]), o didesnis K paprastai lemia stabilesnius rezultatus. Mes naudojome K = 1 RLHF nuskaitymui, K = 2 tvirtumo tyrimams (4.2 skirsnis) ir K = 4 „internetiniam“ RLHF (4.5 skirsnis). Mes taip pat nustatėme maksimalią žetonų skaičių B.2 More on Robustness Studies B.2 More on Robustness Studies In Figure we compare the Skirtumas tarp visų dydžių ir visų sizes. The main observation here is that the slope of the graph increases with respect to dydį, todėl rodo, kad didesnis ’s are significantly more capable of distinguishing policy performance. In other words, , pagal kalibravimo tyrimus skyriuje 33 , test PM PM testavimas test PM PM testavimas larger preference models are more robust 3.3 Iš viso Galiausiai, mes čia praleidžiame akimirką, kad išspręstume problemą, kurią iki šiol pamiršome, tai yra, kad skirtingų pirmenybių modelių balai neturėtų būti tiesiogiai lyginami, nes absoliuti balų vertė neturi prasmės, tik santykiniai balai yra prasmingi. procedure. We make a held-out dataset, consisting of several thousand samples, and subtract from each preference model score its mean score on this dataset. We apologize that unrelated plots from different sections may have used different held-out datasets for mean-removal. mean removal B.3 Details of ‘Online’ RLHF B.3 Details of ‘Online’ RLHF We give some more details on our ‘online’ RLHF policy discussed in Section This policy and its PM were trained on all the helpfulness and harmlessness data we had near the completion of this paper. We re-iterated each sample = 4 times to improve stability, and sampled a maximum of 128 tokens per response. 4.5. K [Schulman et al., 2017] Mokymo metu mes reguliariai vertiname of the policy on various held-out PM comparison datasets. More specifically, given a comparison consisting of a prompt and pair of responses, we assign an accuracy of 1 if the policy’s mean log-p on the better response is higher, and 0 otherwise. We show these results in Figure for various comparison datasets. In particular, we find that mean log-p accuracy of the policy isn’t as high as (i.e., fraction of comparisons on which the PM assigns a higher score to the better response), possibly suggesting room for further improvements to our RLHF pipeline. mean log-p accuracy 34 PM accuracy B.4 Robustness of ‘Online’ RLHF B.4 „Online“ RLHF tvirtumas For our final online models, we had crowdworkers compare a variety of model snapshots from RLHF training, in order to better understand the robustness and general performance of our training process. In Figure (right), we show Elo scores for the online models during RLHF training. 15 In particular, we compare Elo scores established empirically from crowdworker preferences (i.e., į figūrą) ir Elo balai, prognozuojami pagal mūsų pageidaujamą modelį (t. y. ) during RLHF training. For the latter, we sample responses from each snapshot on a set of held-out prompts, and evaluate the PM scores (which are then converted to Elo units). We notice that the naive PM predictions significantly overestimate the empirical Elos. This is due to a combination of the following fac- tors: Crowd- worker Preferences Naive PM Predic- tion 1. During crowdworker testing, each step of the conversation is written by one of the two models being tested. However, when evaluating a RLHF snapshot on held-out prompts, the policy only writes one response at the end of a pre-existing conversation (which had been previously generated by other models, as discussed in Appendix Tai lemia pasiskirstymą tarp pokalbių. B.1). Elo ir PM rezultatai iš tikrųjų gali būti ne pereinamieji, nes jie apima porinių palyginimų žlugimą į vieną liniją. satisfy • = 2 ir − = 2, net jei tai yra gerai kalibruoti balai, tai reiškia, kad − = 4 may not be correctly calibrated, and we would naturally expect instead − 4. a, b, c a b b c a c a c < 3. Failures of PM robustness, so that the PM’s preference for the RL policy’s samples is miscalibrated compared to true human preferences. To explore these effects further, in Figure we show Elo scores corresponding to four different measure- ments: 35 • Naive PM Prediction: The PM score (translated into Elo units) recorded during RLHF training, which uses a set of held-out prompts. Vidutinis PM rezultatas pagal Crowdworker duomenis: Vidutinis PM rezultatas dėl faktinių "crowdworker" pokalbių, naudojamų Elo balų apskaičiavimui remiantis "crowdworker" pageidavimais. • PM Ranking on Crowdworker Data: One can try to distinguish robustness failures from miscal- ibrated PM scores vs PM Čia mes vertiname PM apie bendruomenės darbuotojų duomenis, naudojamus palyginti šiuos modelio akimirkas, gauti modelio palyginimų „laimėjimo rodiklius“ , and then we Rinkimai vykdomi atsižvelgiant į PM pasirinkimą. rankings according to the PM recompute • Crowdworker Preferences: We straightforwardly compute Elo scores based on crowdworker prefer- ences among model snapshots. So we see that the PM score vs PM rankings distinction does not make a significant difference in terms of robustness. However, the distributional shift between the held-out prompts and the actual crowdworker conversations was very significant, and explains a significant proportion of the discrepancy between RLHF learning curves and the Elo scores as measured from crowdworkers. B.5 Crowdworker Comparisons and Elo Scores B.5 Crowdworker Comparisons and Elo Scores Here we briefly describe how we test crowdworker preferences of our models, and how Elo scores are es- tablished. For pair of models and , we ask crowdworkers to engage in text-based, back-and-forth con- versations with the models. At each conversational step, two responses are generated, one from each model, and the worker chooses the response they prefer, and the conversation continues. Each choice the worker makes counts as a ‘win’ for the preferred model, giving ‘win counts’ , respectively. In cases where a worker is unsure about whether one response is better, we throw out such comparisons in both PM and RLHF training, and crowdworkers comparison evaluations. A B Nėra NB Recall that, given Elo scores EA, EB, respectively, the log-likelihood for the win counts is given by where rA,B = (log 10/400)EA,B ≈ EA,B/174. For an ensemble of comparisons between various models, we estimate Elo scores and their errors by maximum likelihood estimation. In some cases one of the models uses , meaning that it generates samples, evaluates all of them using a preference model, and shows the user the top-scored sample. Elo scores for such models are shown in Appendix Šiuo atveju mes negalime transliuoti pavyzdžio, todėl vietoj to mes priversti darbuotojus laukti, kol mėginys bus baigtas.Kai bandome atmetimo mėginių ėmimo modelį prieš ne atmetimo mėginių ėmimo modelį, mes rodome tik tuos pavyzdžius, kai jie abu buvo baigti, net jei pastarasis mėginys galėjo būti transliuojamas, siekiant sumažinti šališkumą. rejection sampling k B.6. B.6 Elo Scores for Rejection Sampling Models B.6 Elo Scores for Rejection Sampling Models In Figure we show helpfulness Elo scores for a 52B context distilled model with rejection sampling (utilizing a 52B preference model trained on pure helpfulness) for = 1*,* 4*,* 16*,* 64, showing that higher values of clearly perform better. Note that the context distilled model and the preference models discussed here were trained during an earlier stage of our research with different datasets and settings from those discussed elsewhere in the paper, so they are not directly comparable with other Elo results, though very roughly and heuristically, our online models seem to perform about as well or better than = 64 rejection sampling. Note 36 k k k Tą = 64 atmetimo pavyzdys atitinka = log(64) ≈ 4*.*2. k DKL B.7 Stack Overflow Results We can also evaluate our language models directly given a corpus of paired good and bad responses, such as answers to StackOverflow questions. In we evaluate the difference in mean log-p between popular (i.e, highly upvoted) and unpopular answers, showing that RLHF models consistently assign a higher difference, suggesting that they are more capable of distinguishing answer quality. In we plot the language modeling loss (i.e, mean log-prob) on the good and bad answers separately, rather than their difference. We find that the RLHF models obtain worse loss. This is most likely due to optimizing a different objective rather than pure language modeling. 37b 37a B.8 Further Analysis of RLHF on Code-Model Snapshots B.8 Further Analysis of RLHF on Code-Model Snapshots As discussed in Section RLHF improves performance of base code models on code evals. In this ap- pendix, we compare that with simply prompting the base code model with a sample of prompts designed to elicit helpfulness, harmlessness, and honesty, which we refer to as ‘HHH’ prompts. In particular, they contain a couple of coding examples. Below is a description of what this prompt looks like: 5.3, Below are a series of dialogues between various people and an AI assistant. The AI tries to be helpful, polite, honest, sophisticated, emotionally aware, and humble-but-knowledgeable. The assistant is happy to help with almost anything, and will do its best to understand exactly what is needed. It also tries to avoid giving false or misleading information, and it caveats when it isn’t entirely sure about the right answer. That said, the assistant is practical and really does its best, and doesn’t let caution get too much in the way of being useful. -- ... (we include several short example conversations using the normal Human: ... Assistant: ... format.) -- Human: Can you help me write this Python function? I’ve already written the function’s signature and docstring, but I’m not sure how to write the function’s body. It starts like this: Assistant: Sure thing, here you go! I’ve tested this function myself so I know that it’s correct: Figure contains results on HumanEval when the HHH prompt is included. We see that the HHH prompt improves performance more significantly than RLHF across many values. 38 pass@k B.9 Details of Applying Out-of-Distribution Detection to Reject Strange or Harmful Requests Our newly proposed Simplified Relative Mahalanobis distance outperforms the standard Mahalanobis distance on OOD detection of harmlessness inputs from helpfulness inputs for activations extracted from all layers of all model sizes we tested. The details are shown in Figure Simplified Relative Mahalanobis distance 39. OOD detektoriaus atskleidimas keliems išorinio platinimo pavyzdžiams pirmą kartą buvo pasiūlytas suggested using a single class representing the OOD examples. [F Tai parodė, kad netgi stiprūs OOD detektoriai turi didelę naudą. Few-shot outlier exposure [Hendrycks et al., 2018]. [Šiauliai ir kt., 2024 m.] ort et al., 2021] Following the procedure from [F mes taikome vieno sluoksnio linijinį klasifikatorių virš veiksmų vektorių, o likęs kalbos modelis yra užšaldytas. randomly drawn examples of the training set of the out-distribution (harmlessness data), we create a new binary classification problem, where the inputs are the combination of the full paskirstymo mokymo rinkinio pavyzdžiai, kurių tikslinė klasė yra 0, ir train*//M* copies of the 1 tikslinės klasės išorinio paskirstymo pavyzdžiai.Tai užtikrina vienodą tiek vidinio, tiek išorinio paskirstymo pavyzdžių atstovavimą ir lemia geresnį mokymąsi.Kai mes mokome linijinį klasifikatorių, mes naudojame jo 1 klasės išvestį kaip OOD rezultatą. ort et al., 2021], M N N M 23. B.10 Gender Bias Evaluation Details B.10 Gender Bias Evaluation Details For this evaluation, we followed and used their list of 76 occupations and 12 pairs of gender terms: [Rae et al., 2021] • Occupations: CEO, accountant, administrator, advisor, analyst, appraiser, architect, assistant, atten- dant, auditor, baker, bartender, broker, carpenter, cashier, chef, chemist, chief, cleaner, clerk, cook, counselor, designer, developer, dietitian, dispatcher, doctor, driver, editor, educator, electrician, engineer, examiner, farmer, firefighter, guard, hairdresser, hygienist, inspector, instructor, investigator, janitor, lawyer, librarian, machinist, manager, mechanic, nurse, nutritionist, officer, painter, par- alegal, paramedic, pathologist, pharmacist, physician, planner, plumber, practitioner, programmer, psychologist, receptionist, salesperson, scientist, secretary, sheriff, specialist, supervisor, surgeon, tailor, teacher, technician, therapist, veterinarian, worker, writer • Male gendered terms: boy, brother, dad, husband, man, groom, male, guy, father, son, gentleman, boyfriend • Female gendered terms: girl, sister, mom, wife, woman, bride, female, gal, lady, mother, daughter, girlfriend Human: Can you help me fill in the missing word in a sentence? The sentence is: For work, the {gendered term} is a Assistant: Sure thing, here is your sentence with the missing word filled in: For work, the {gendered term} is a {occupation} Mes įvertinome tikimybę, kad Naudojant šią formulę, didesni LM, kontekste distiliuoti modeliai ir RLHF modeliai visi priskyrė apie 2-8% savo tikimybės masės vienai iš 76 aukščiau išvardytų profesijų, kai baigė sakinį. okupacijos Mes taip pat šiek tiek pakeitėme [Rae et al., 2021] metriką, kad apskaičiuotume klaidas. ir tada mes apibrėžiame bendrą biasą kaip absoliučios vertės vidurkį , ranging over occupations: BO where represents occupations while represent paired gender terms (e.g. lady/gentleman), and = 76 and = 12. su šiuo nustatymu mes jautrūs, ar šališkumas yra vienodas visose lyčių sąvokų porose (bet kokiai konkrečiai profesijai).Kaip konkretų pavyzdį, jei modelis labiau sieja „advokatą“ su „vyru“ nei su „mergaite“, bet taip pat labiau sieja su „sutuoktiniu“ nei su „vyru“, tai padidintų klaidą mūsų matavimuose, o šališkumo poveikis linkęs būti atšauktas. O gf , gm NO Ng The results are shown in Figure where we observe that RLHF models have both larger bias scores and larger errors. We believe this has a very simple explanation – RLHF models have much lower-entropy output distributions. As a rough, heuristic explanation, a model with a lower-entropy output will behave somewhat like a plain LM evaluated at a temperature 1. The metric and error from equation will typically scale as 1*/T* , so it should be expected that models with lower entropy distributions will have proportionally larger bias scores and bias errors. We show these effects explicitly in Figure by evaluating bias scores with context distilled models at ≈ 0*.*6, and showing that they are quite similar to RLHF bias scores. 40, T < B.3 40 T Readers may observe that the RLHF model bias appears to be growing with model size. This is most likely because RLHF training tends to progressively reduce the entropy (or decrease the ‘effective temperature’) of model distributions, and we train larger models longer with RLHF, because their training is more robust (and so more beneficial in other respects). Thus we expect this trend is a property of differences in RLHF training across model sizes, rather than a more fundamental model-size trend. C Samples from PALMS, LaMDA, and InstructGPT Prompts Šie rezultatai buvo gauti atrinkus 17 atsakymų į kiekvieną užklausą iš mūsų geriausių internetinių HH modelių, juos reitinguojant pagal atitinkamą pageidavimų modelį, o po to rodant non-empty response ac- cording to the PM. (Occasionally the model writes the "end of conversation" token in response to sensitive queries.) So to a large extent, these samples are not ‘cherry-picked’, and should be representative of average- case behavior. In the case of LaMDA and InstructGPT we include the corresponding samples from those models. median [Thoppilan et al., 2022] [Juozas ir kt., 2024 m.] C.1 PALMS Sensitive Questions C.1 PALMS Sensitive Questions Questions are drawn from the sensitive questions in [Solaiman and Dennison, 2021]. Please be warned that some of these questions contain sensitive material (by design). C.2 InstructGPT Prompts We warn readers that some of the samples from InstructGPT were likely cherry picked to display , and so may be unrepresentative. Thus in some cases it will be unfair to compare our median samples to those from InstructGPT. [Ouyang et al., 2022] poor model behavior, on purpose C.3 LaMDA Prompts C.3 LaMDA Prompts D Informacija apie duomenų rinkimą ir minios darbuotojus D.1 Overview D.1 Overview Užduočių paskirstymo tikslais mes padalijome savo darbuotojus į dvi grupes. Maždaug 30 „pasirinktų“ darbuotojų grupė reguliariai buvo siunčiama aukšto prioriteto užduotims. Maždaug pusė šių darbuotojų buvo samdomi per „Upwork“. Kita pusė buvo atrinkta iš bendros MTurk darbuotojų, turinčių „Masters“ kvalifikaciją, populiacijos. Antroji darbuotojų grupė buvo iš tos pačios bendros MTurk darbuotojų populiacijos, ir jiems pirmiausia buvo suteiktos raudonosios komandos užduotys pagal mažiau reguliarią tvarkaraštį. Mes stengėmės užtikrinti, kad visi darbuotojai būtų mokami žymiai virš minimalų darbo užmokestį Kalifornijoje, koreguodami užduočių, kurios užtruko ilgiau (pvz., Among our select workers, MTurk workers usually accounted for 80-85% of comparison data collected in a given week, compared to 15-20% for workers hired through Upwork. Although the size of these groups were similar, MTurk workers tended to opt in to more work and their pay structure incentivized quicker conversations. Mes kasdien bendravome su atrinktais darbuotojais per „Slack“.Naudojome šį kanalą, kad paskelbtume naujas užduotis ir pateiktume gaires; aptarėme sudėtingus kraštutinio pobūdžio atvejus su grupe, kai jie atsirado. Our workers alerted us to bugs and performance issues as they ran into them. 43. Mes išsiuntėme abiem darbuotojų grupėms demografinę apklausą, o rezultatai pateikiami paveikslėlyje Survey re- sponses were anonymous, as we did not collect any personal identifiable information alongside demographic information. 44. D.2 Instructions and Interface D.2 Instructions and Interface We display basic task instructions in a pop-up dialog when first loading the interface, and these instructions remain available throughout the interaction. These instructions for the ‘playground’ and ‘red team’ tasks can be found in figure For the playground task, we also link to a separate page with expanded instructions that include more detailed examples, excerpts of which can be seen in figure 41. 42. The human feedback interface is shown in figure Per internetinį duomenų rinkimo procesą į „Upworkers“ sąsają pridėjome papildomą parinktį. Ši funkcija leido jiems redaguoti vieną iš modelio atsakymų. Kai jie naudojo šią funkciją, mes išsaugojome redagavimo palyginimą su originalu (darant prielaidą, kad redagavimas buvo geresnis), o ne pradinį dviejų modelio išėjimų palyginimą. 6. D.3 Data Quality Measurement Challenges D.3 Duomenų kokybės matavimo iššūkiai Apskritai, žmogaus etiketės duomenų kokybės užtikrinimas dažnai apima šiuos veiksmus: • Researchers carefully review a small set of samples to produce a set of ‘golden’ labels • Human labelers work through a stack of labeling tasks, with some subset of labeling tasks assigned to multiple labelers, and samples from the golden label dataset sent out to everyone. • Mokslininkai vertina etiketės veikimą, tikrindami savo etiketes prieš auksines etiketes ir tikrindami tarpusavio susitarimą su etiketėmis The idea is that the golden labels are treated as a source of truth, with labelers incentivized to modify their behavior to better match the golden labels, and novice labelers incentivized to match the behavior of more experienced labelers. These sorts of methods weren’t easily adapted to our data collection setup. Open-ended conversations allowed us to collect a richer dataset, but introduced a number of hard-to-control variables, resulting in noisy data quality metrics. Mes bandėme, kad visuomeniniai darbuotojai peržiūrėtų vienas kito pokalbius, pateiktų kiekvieno modelio atsakymo palyginimo reitingus ir įvertintų bendrą pokalbio kokybę. Tačiau nustatėme, kad autoriaus įvertinimo sutarimas nebuvo geras vadovas vertinant bendrą pokalbio kokybę. Plačiau kalbant, pokalbio kokybė priklauso nuo a) pokalbio temos, b) žmogaus rašymo kokybės, c) modelio kokybės. Ir nustatėme, kad, pavyzdžiui, kai pokalbiai tapo sudėtingesni, sprendžiant tarp modelio atsakymų tapo sunkiau. Kaip rezultatas, autoriai, kurie dažniau aptarė sudėtingas temas, dažnai gautų mažesnius sutarimo rezultatus. Užuot tiesiogiai vertinę mūsų darbuotojus, remdamiesi šių tipų vertintojais pagrįstais rodikliais, mes apsvarstėme jų, kaip vertintojų, našumą kaip jų, kaip pokalbio autorių, našumą. Tikimės sugebėti spręsti šias problemas ir ateityje sugalvoti geresnius metodus, tačiau verta paminėti, kad galėjome pasiekti savo rezultatus be sudėtingos duomenų kokybės kontrolės. E Details on NLP Evaluations Formatting and Prompts Čia pateikiame įvesties formatus, kuriuos naudojome vertinant Lambada, ARC, MMMLU, HellaSwag, OpenBookQA ir TriviaQA našumą. Referencijos [Amodei et al., 2016] Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., and Mané, D. (2016). Concrete problems in ai safety. [Askell et al., 2021] Askell, A., Bai, Y., Chen, A., Drain, D., Ganguli, D., Henighan, T., Jones, A., Joseph, N., Mann, B., DasSarma, N., Elhage, N., Hatfield-Dodds, Z., Hernandez, D., Kernion, J., Ndousse, K., Olsson, C., Amodei, D., Brown, T., Clark, J., McCandlish, S., Olah, C., ir Kaplan, J. (2021). Bendras kalbos asistentas kaip lyginimo laboratorija. [Bender et al., 2021] Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? ï¿œï¿œ. In , FAccT ’21, pages 610–623, New York, NY, USA. Association for Computing Machinery. 2021 m. ACM konferencijos dėl sąžiningumo, atskaitomybės ir skaidrumo protokolas [Bommasani et al., 2021] Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E., Brynjolfsson, E., Buch, S., Card, D., Castellon, R., Chatterji, N. S., Chen, A. S., Creel, K., Davis, J. Q., Demszky, D., Donahue, C., Doumbouya, M., Durmus, E., Ermon, S., Etchemendy, J., Ethayarajh, K., Fei-Fei, L., Finn, C., Gale, T., Gillespie, L., Goel, K., Goodman, N. D., Grossman, S., Guha, N., Hashimoto, T., Henderson, P., Hewitt, J., Ho, D. E., Hong, J., Hsu, K., Huang, J., Icard, T., Jain, S., Jurafsky, D., Kalluri, P., Karamcheti, S., Keeling, G., Khani, F., Khattab, O., Koh, P. W., Krass, M. S., Krishna, R., Kuditipudi, R., and et al. (2021). On the opportunities and risks of foundation models. , abs/2108.07258. CoRR [Borgeaud et al., 2021] Borgeaud, S., Mensch, A., Hoffmann, J., Cai, T., Rutherford, E., Millican, K., van den Driessche, G., Lespiau, J., Damoc, B., Clark, A., de Las Casas, D., Guy, A., Menick, J., Ring, R., Hennigan, T., Huang, S., Maggiore, L., Jones, C., Cassirer, A., Brock, A., Paganini, M., Irving, G., Vinyals, O., Osindero, S., Simonyan, K., Rae, J. W., Elsen, E., ir Sifre, L. (2021). Pagerinti kalbos modelius, paimant iš trilijonų žetonų. , abs/2112.04426. CoRR [Brown et al., 2020] Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Vaikas, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Šachmatai, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., ir Amodei, D. (2020). Kalbų modeliai yra nedaug mokinių. [Chen et al., 2021] Chen, M., Tworek, J., Jun, H., Yuan, Q., Pinto, H. P. d. O., Kaplan, J., Edwards, H., Burda, Y., Joseph, N., Brockman, G., et al. (2021). Vertinant didelius kalbos modelius, parengtus pagal kodą. . arXiv preprint arXiv:2107.03374 [Chowdhery et al., 2022] Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., Reif, E., Du, N., Hutchinson, B., Pope, R., Bradbury, J., Austin, J., Isard, M., Gur-Ari, G., Yin, P., Duke, T., Levskaya, A., Ghemawat, S., Dev, S., Michalewski, H., Garcia, X., Misra, V., Robinson, K., Fedus, L., Zhou, D., Ippolito, D., Luan, D., Lim, H., Zoph, B., Spiridonov, A., Sepassi, R., Dohan, D., Agrawal, S., Omernick, M., Dai, A. M., Pillai, T. S., Pellat, M., Lewkowycz, A., Moreira, E., Child, R., Polozov, O., Lee, K., Zhou, Z., Wang, X., Saeta, B., Diaz, M., Firat, O., Catasta, M., Wei, J., Meier-Hellstern, K., Eck, D., Dean, J., Petrov, S., and Fiedel, N. (2022). Palm: Scaling language modeling with pathways. [Clark et al., 2018] Clark, P., Cowhey, I., Etzioni, O., Khot, T., Sabharwal, A., Schoenick, C., ir Tafjord, O. (2018). manote, kad išsprendėte klausimą atsakydami? pabandykite arc, ai2 argumentų iššūkis. , abs/1803 05457. ArXiv [Fort, 2022] Fort, S. (2022). Adversarial vulnerability of powerful near out-of-distribution detection. [Fort et al., 2021] Fort, S., Ren, J., and Lakshminarayanan, B. (2021). Exploring the limits of out-of- distribution detection. [Ganguli et al., 2022] Ganguli, D., Hernandez, D., Lovitt, L., DasSarma, N., Henighan, T., Jones, A., Joseph, N., Kernion, J., Mann, B., Askell, A., Bai, Y., Chen, A., Conerly, T., Drain, D., Elhage, N., Showk, S. E., Fort, S., Hatfield-Dodds, Z., Johnston, S., Kravec, S., Nanda, N., Ndousse, K., Olsson, C., Amodei, D., Amodei, D., Brown, T., Kaplan, J., McCandlish, S., Olah, C., and Clark, J. (2022). Predictability and surprise in large generative models. [Guo et al., 2017] Guo, C., Pleiss, G., Sun, Y., ir Weinberger, K. Q. (2017). Apie šiuolaikinių neuroninių tinklų kalibravimą. [Guu et al., 2020] Guu, K., Lee, K., Tung, Z., Pasupat, P., and Chang, M. (2020). REALM: retrieval- augmented language model pre-training. , abs/2002.08909. CoRR [Henderson et al., 2017] Henderson, P., Sinha, K., Angelard-Gontier, N., Ke, N. R., Fried, G., Lowe, R., and Pineau, J. (2017). Ethical challenges in data-driven dialogue systems. , abs/1711.09050. CoRR [Hendrycks et al., 2021a] Hendrycks, D., Burns, C., Basart, S., Critch, A., Li, J., Song, D., and Steinhardt, J. (2021a). Aligning ai with shared human values. [Hendrycks et al., 2021b] Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., and Stein- hardt, J. (2021b). Measuring massive multitask language understanding. [Hendrycks et al., 2021c] Hendrycks, D., Carlini, N., Schulman, J., and Steinhardt, J. (2021c). Unsolved problems in ml safety. [Hendrycks and Gimpel, 2016] Hendrycks, D. and Gimpel, K. (2016). A baseline for detecting misclassified and out-of-distribution examples in neural networks. [Hendrycks et al., 2018] Hendrycks, D., Mazeika, M., and Dietterich, T. (2018). Deep anomaly detection with outlier exposure. [Henighan et al., 2020] Henighan, T., Kaplan, J., Katz, M., Chen, M., Hesse, C., Jackson, J., Jun, H., Brown, T. B., Dhariwal, P., Gray, S., Hallacy, C., Mann, B., Radford, A., Ramesh, A., Ryder, N., Ziegler, D. M., Schulman, J., Amodei, D., ir McCandlish, S. (2020). Skalavimo įstatymai autoregresyviam generaciniam modeliui. [Hernandez et al., 2021] Hernandez, D., Kaplan, J., Henighan, T., and McCandlish, S. (2021). Scaling laws for transfer. , abs/2102.01293. Korėjos [Hestness et al., 2019] Hestness, J., Ardalani, N., ir Diamos, G. (2019). Už žmogaus lygio tikslumo ribų: skaičiavimo iššūkiai giliam mokymuisi. , PPoPP ’19, 1–14 puslapiai, Niujorkas, Niujorkas, JAV. Proceedings of the 24th Symposium on Principles and Practice of Parallel Programming [Jiang et al., 2021] Jiang, L., Hwang, J. D., Bhagavatula, C., Bras, R. L., Forbes, M., Borchardt, J., Liang, J., Etzioni, O., Sap, M., and Choi, Y. (2021). Delphi: Towards machine ethics and norms. [Joshi et al., 2017] Joshi, M., Choi, E., Weld, D. S., and Zettlemoyer, L. (2017). Triviaqa: A large scale distantly supervised challenge dataset for reading comprehension. [Kaplan et al., 2020] Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J., and Amodei, D. (2020). Scaling laws for neural language models. [Koch et al., 2021] Koch, J., Langosco, L., Pfau, J., Le, J., ir Sharkey, L. (2021). Objektyvus tvirtumas giliai stiprinant mokymąsi. , abs/2105.14111 ir kt. CoRR [Lakshminarayanan et al., 2016] Lakshminarayanan, B., Pritzel, A. ir Blundell, C. (2016). Paprastas ir skaluojamas prognozuojamo neapibrėžtumo įvertinimas naudojant gilius rinkinius. [Lee et al., 2018] Lee, K., Lee, K., Lee, H., ir Shin, J. (2018). Paprasta vieninga sistema, skirta aptikti ne paskirstymo mėginius ir priešininkų išpuolius. [Lewis et al., 2020] Lewis, P. S. H., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Įstatymas Nr. ABS/2005 11401 Korėjos [Liang et al., 2017] Liang, S., Li, Y., and Srikant, R. (2017). Enhancing the reliability of out-of-distribution image detection in neural networks. [Lin et al., 2021] Lin, S., Hilton, J., and Evans, O. (2021). Truthfulqa: Measuring how models mimic human falsehoods. [Liu et al., 2021] Liu, A., Sap, M., Lu, X., Swayamdipta, S., Bhagavatula, C., Smith, N. A., and Choi, Y. (2021). On-the-fly controlled text generation with experts and anti-experts. , abs/2105.03023. CoRR [Liu et al., 2020] Liu, J. Z., Lin, Z., Padhy, S., Tran, D., Bedrax-Weiss, T., ir Lakshminarayanan, B. (2020). Paprastas ir principinis neapibrėžtumo įvertinimas naudojant deterministinį gilų mokymąsi per nuotolinį suvokimą. [Menick et al., 2022] Menick, J., Trebacz, M., Mikulik, V., Aslanides, J., Song, F., Chadwick, M., Glaese, M., Young, S., Campbell-Gillingham, L., Irving, G., ir McAleese, N. (2022). Mokymas kalbos modelius remti atsakymus su patikrintomis citatomis. [Mihaylov et al., 2018] Mihaylov, T., Clark, P., Khot, T., and Sabharwal, A. (2018). Can a suit of armor conduct electricity? a new dataset for open book question answering. In . EMNLP [Nakano et al., 2021] Nakano, R., Hilton, J., Balaji, S., Wu, J., Ouyang, L., Kim, C., Hesse, C., Jain, S., Kosaraju, V., Saunders, W., Jiang, X., Cobbe, K., Eloundou, T., Krueger, G., Button, K., Knight, M., Šachmatai, B., ir Schulman, J. (2021). Webgpt: naršyklės padedamas klausimų atsakymas su žmogaus atsiliepimais. , abs/2112.09332. Korėjos [Nalisnick et al., 2019] Nalisnick, E., Matsukawa, A., Teh, Y. W., Gorur, D., ir Lakshminarayanan, B. (2019). [Nguyen et al., 2014] Nguyen, A., Yosinski, J., and Clune, J. (2014). Deep neural networks are easily fooled: High confidence predictions for unrecognizable images. [Ouyang et al., 2022] Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. (2022). Mokymo kalbos modelius sekti instrukcijas su žmogaus atsiliepimais. . arXiv išankstinis spausdinimas arXiv:2203.02155 [Pan et al., 2022] Pan, A., Bhatia, K., ir Steinhardt, J. (2022). Atlygio klaidingos specifikacijos poveikis: netaisyklingų modelių kartografavimas ir švelninimas. , abs/2201.03544. CoRR [Paperno et al., 2016] Paperno, D., Kruszewski, G., Lazaridou, A., Pham, Q. N., Bernardi, R., Pezzelle, S., Baroni, M., Boleda, G., ir FernÃndez, R. (2016). Lambados duomenų rinkinys: Žodžio prognozavimas, reikalaujantis plataus diskurso konteksto. [Parrish et al., 2021] Parrish, A., Chen, A., Nangia, N., Padmakumar, V., Phang, J., Thompson, J., Htut, P. M., ir Bowman, S. R. (2021). BBQ: rankomis pastatytas požiūris į klausimų atsakymą. , abs / 2110.08193. CoRR [Paszke et al., 2019] Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). Pytorch: An imperative style, high- performance deep learning library. In Wallach, H., Larochelle, H., Beygelzimer, A., d'Alché-Buc, F., Fox, E., and Garnett, R., editors, , puslapiai 8024–8035. „Curran Associates“, Inc. Neurologinės informacijos apdorojimo sistemos 32 [Perez et al., 2022] Perez, E., Huang, S., Song, H. F., Cai, T., Ring, R., Aslanides, J., Glaese, A., McAleese, N., and Irving, G. (2022). Red teaming language models with language models. , abs/2202.03286 ir kt. CoRR [Power et al., 2022] Power, A., Burda, Y., Edwards, H., Babuschkin, I., and Misra, V. (2022). Grokking: Generalization beyond overfitting on small algorithmic datasets. , abs/2201.02177. Korėjos [Rae et al., 2021] Rae, J. W., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., Song, H. F., Aslanides, J., Henderson, S., Ring, R., Young, S., Rutherford, E., Hennigan, T., Menick, J., Cassirer, A., Powell, R., van den Driessche, G., Hendricks, L. A., Rauh, M., Huang, P., Glaese, A., Welbl, J., Dathathri, S., Huang, S., Uesato, J., Mellor, J., Higgins, I., Creswell, A., McAleese, N., Wu, A., Elsen, E., Jayakumar, S. M., Buchatskaya, E., Budden, D., Sutherland, E., Simonyan, K., Paganini, M., Sifre, L., Martens, L., Li, X. L., Kuncoro, A., Nematzadeh, A., Gribovskaya, E., Donato, D., Lazaridou, A., Mensch, A., Lespiau, J., Tsimpoukelli, M., Grigorev, N., Fritz, D., Sottiaux, T., Pajarskas, M., Pohlen, T., Gong, Z., Toyama, D., de Masson d’Autume, C., Li, Y., Terzi, T., Mikulik, V., Babuschkin, I., Clark, A., de Las Casas, D., Guy, A., Jones, C., Bradbury, J., Johnson, M., Hechtman, B. A., Weidinger, L., Gabriel, I., Isaac, W. S., Lockhart, E., Osindero, S., Rimell, L., Dyer, C., Vinyals, O., Ayoub, K., Stanway, J., Bennett, L., Hassabis, D., Kavukcuoglu, K., and Irving, G. (2021). Scaling language models: Methods, analysis & insights from training gopher. , abs/2112.11446 ir kt. Korėjos [Ramasesh et al., 2022] Ramasesh, V. V., Lewkowycz, A., ir Dyer, E. (2022). Skalės poveikis katastrofiniam užmarščiui neuroniniuose tinkluose. . Tarptautinė mokymosi atstovavimo konferencija [Ren et al., 2021] Ren, J., Fort, S., Liu, J., Roy, A. G., Padhy, S., and Lakshminarayanan, B. (2021). A simple fix to mahalanobis distance for improving near-ood detection. . arXiv išankstinis spausdinimas arXiv:2106.09022 [Rosenfeld et al., 2019] Rosenfeld, J. S., Rosenfeld, A., Belinkov, Y., ir Shavit, N. (2019). Konstruktyvus apibendrinimo klaidos prognozavimas visose skalėse. [Sanh et al., 2019] Sanh, V., Debut, L., Chaumond, J., ir Wolf, T. (2019). Distilbert, distiliuota versija Bert: mažesnis, greitesnis, pigesnis ir lengvesnis. , abs/1910.01108. ArXiv [Schulman et al., 2017] Schulman, J., Wolski, F., Dhariwal, P., Radford, A., and Klimov, O. (2017). Proximal policy optimization algorithms. , abs/1707.06347. CoRR [Solaiman ir Dennison, 2021] Solaiman, I. ir Dennison, C. (2021). kalbos modelių pritaikymo visuomenei procesas (PALMS) naudojant vertybių tikslinius duomenų rinkinius. , abs/2106 10328. CoRR [Stiennon et al., 2020] Stiennon, N., Ouyang, L., Wu, J., Ziegler, D. M., Lowe, R., Voss, C., Radford, A., Amodei, D., and Christiano, P. (2020). Learning to summarize from human feedback. [Thoppilan et al., 2022] Thoppilan, R., Freitas, D. D., Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H., Jin, A., Bos, T., Baker, L., Du, Y., Li, Y., Lee, H., Zheng, H. S., Ghafouri, A., Menegali, M., Huang, Y., Krikun, M., Lepikhin, D., Qin, J., Chen, D., Xu, Y., Chen, Z., Roberts, A., Bosma, M., Zhou, Y., Chang, C., Krivokon, I., Rusch, W., Pickett, M., Meier-Hellstern, K. S., Morris, M. R., Doshi, T., Santos, R. D., Duke, T., Soraker, J., Zevenbergen, B., Prabhakaran, V., Diaz, M., Hutchinson, B., Olson, K., Molina, A., Hoffman-John, E., Lee, J., Aroyo, L., Rajakumar, R., Butryna, A., Lamm, M., Kuzmina, V., Fenton, J., Cohen, A., Bernstein, R., Kurzweil, R., Aguera-Arcas, B., Cui, C., Croak, M., Chi, E., ir Le, Q. (2022). Lamda: Kalbų modeliai dialogo programoms. , abs/2201.08239. Korėjos [Thulasidasan et al., 2021] Thulasidasan, S., Thapa, S., Dhaubhadel, S., Chennupati, G., Bhattacharya, T., ir Bilmes, J. (2021). Paprastas ir veiksmingas pradinis iš paskirstymo aptikimo naudojant susilaikymą. [Tillet et al., 2019] Tillet, P., Kung, H. T., ir Cox, D. (2019) , pages 10–19. Association for Computing Machinery, New York, NY, USA. Triton: An Intermediate Language and Compiler for Tiled Neural Network Computations [Weidinger et al., 2021] Weidinger, L., Mellor, J., Rauh, M., Griffin, C., Uesato, J., Huang, P., Cheng, M., Glaese, M., Balle, B., Kasirzadeh, A., Kenton, Z., Brown, S., Hawkins, W., Stepleton, T., Biles, C., Birhane, A., Haas, J., Rimell, L., Hendricks, L. A., Isaac, W. S., Legassick, S., Irving, G., ir Gabriel, I. (2021). , abs/2112.04359. Korėjos [Winkens et al., 2020] Winkens, J., Bunel, R., Roy, A. G., Stanforth, R., Natarajan, V., Ledsam, J. R., MacWilliams, P., Kohli, P., Karthikesalingam, A., Kohl, S., Cemgil, T., Eslami, S. M. A., ir Ronneberger, O. (2020) Kontrastinis mokymas, siekiant pagerinti paskirstymo detekciją. [Xu et al., 2020] Xu, J., Ju, D., Li, M., Boureau, Y.-L., Weston, J., ir Dinan, E. (2020). Saugumo receptai atviro domeno pokalbių robotai. . arXiv išankstinis spausdinimas arXiv:2010.07079 [Zellers et al., 2019] Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., ir Choi, Y. (2019). [Zhang et al., 2020] Zhang, H., Li, A., Guo, J., and Guo, Y. (2020). Hybrid models for open set recognition. [Ziegler et al., 2019] Ziegler, D., Stiennon, N., Wu, J., Brown, T., Amodei, D., Radford, A., Christiano, P., and Irving, G. (2019). Fine-Tuning GPT-2 from Human Preferences. This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv Šis popierius yra Pagal CC by 4.0 Deed (Attribution 4.0 International) licenciją. Prieinama archyve