İT-nin faydalı və zararsızlığı: Alignment Training artıq bütün NLP qiymətləndirmələrinin performansını artırır

“İnsanlara kömək edən və zərərsiz bir köməkçi öyrənmək” Tədbirlər : Yunanıstanda Andy Jones haqqında Kamal Ndousse Amanda Askell Anna Chen Nova DasSarma Dawn Drain Stanislav Fort Deep Ganguli Tom Həkim Nicholas Joseph Sürücülər Jackson Kernion Tom Kərimov Sheer El-Showk Nelson Elhage Zac Hatfield-Dodds Danny Hernandez Tristan Hume Scott Johnston haqqında Shauna Kravec Liane Lovitt Neel Nanda Catherine Olsson Dario Amodei Tom Brown Jack Clark Sam McCandlish haqqında Chris Olah Mən adam Jared Kaplan Tədbirlər : Yunanıstanda Andy Jones haqqında Kamal Əhmədov Amanda Səmədov Ana Səhifə Yeni Sarkisyan Dünən Drain Stanislav Qasımlı Ağır Gangli Tom Həkim Nikolas Yusif Sürücülər Xocalı Kernion Tom Kərimov Şirkət El-Showk Nelson Əhmədov Zac Hatfield-Dodds haqqında Danny Hernandez haqqında Tristan Hümə Scott Johnston haqqında Xanım Kravec Lənkəran Lovitt Nanda Əhməd Kateqoriya Olsson Dario Amodei haqqında Tom Browni Jack Clark haqqında Sam McCandlish haqqında Chris Əhmədov Mən adam Jared Kaplan haqqında Abstract Abstraksiya Əsas səhifə » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » 1 Introduction Biz AI agentləri faydalı, ədalətli və zərərsiz öyrənmək üçün metodları geliştirmək istəyirik. Bu kitabda göstəririk ki, nisbətən faydalı və zərərsiz bir şey edəcəyik. (HH) natural language assistant by collecting human preference data and applying the techniques of preference modeling (PMing) and reinforcement learning from human feedback (RLHF). Our full training process is summarized in Figure [İsra və al, 2024] 1 2. “Neftçi” və “fəsadsız” anlamının definisiya və reçetəsi deyil, ancaq eğitim metodlarımızın effektivliyini qiymətləndirməkdir, belə ki, əksəriyyətdə bizim qrupa işçilərimizə bu anlayışları uygun gördükləri kimi izah etməyəcəyik. “fəsadlı” və “fəsadsız”ları ayrı-ayrı olaraq qəbul edirik. “fəsadlı” olaraq, qrupa işçilərimizdən “fəsadlı” və “fəsadlı” dil modellərimizi göstərmək üçün “fəsadlı” qrupa işçilərini çağırırıq. “fəsadlı” və “fəsadsız” dil modellərimizdən istifadə etmək üçün “fəsadlı” dil modellərimizi araşdırmaq və ya “fəsadlı” dil dilini istifadə etmək üçün “fəsadlı” dil dilini istifadə etmək üçün Xatırladaq ki, bu barədə “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəb 2 3 Xüsusiyyət və zərərsizlik çox vaxt bir-birinə qarşılaşır. zərərdən qaçmaq üçün çox diqqət çəkmək insanlara zərər verən və ya toxik içkilər yaradan reaksiyalara səbəb ola bilər. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Təbii ki, RLHF-i öyrənən modellər red-team üçün daha asandır, lakin faydalı + zərərsiz modellər də çox faydalıdır və daha az zərərlidir. 1 və VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 3. 1.1 Paylaşımlar Dialogue Preference Datasets Biz ayrı-ayrı faydalılıq və zərərsizlik (d.v. red-teaming) datasetləri toplayırıq, ilk olaraq çeşitli 52B dil modellərini istifadə edirik (bkz. İnternetdəki detallar (Figure) Crowdworkers modellərlə açıq-aşkar danışıqlar edir, ya kömək istəmir, ya da talimatlar verir, ya da modelin zərərli cavablar yaymasına mane olur və onlar daha faydalı və ya daha zərərli cavab seçmək istədilər. Konkret olaraq, hər bir görüşdə iştirak etmək lazımdır. 2 6 ) 4 • İlk modellərimizdən birini, əvvəlki preferensiya modellərinə qarşı rejection sampling ilə birini, insan geri bildirimlərindən “online” təhlil öyrənərək öyrənilən modellərlə toplanan son bir veritabanı toplayırıq. 2.3 Şirkət Alignment with Human Values Has Many Benefits and Essentially No Cost to Performance VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 13B və 52B VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. alignment bonuses 5 • Doğal dili RLHF kursu HH üçün ilk dəfə kodla finetuned olan modellər üçün istifadə edilə bilər. Qeyd edək ki, bu barədə “Qəbələ”nin məlumatına görə, bu barədə “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin” “Qəbələ”nin “Qəbələ”nin” “Qəbələ”nin “Qəbələ”nin” “Qəbələ”nin” “Qəbələ”nin” “Qəbələ”nə” Sumqayıt H.H. və ya Summarization-dəki performansda heç bir zəlzələ yaranmır.Bunun üçün daha spesifik, qiymətli becərilərlə alignment training-i birləşdirməmək üçün heç bir səbəb yoxdur. improves their programming ability specialized skill [Xatırladaq ki, 2020-ci il tarixində • A VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayıb. Bununla yanaşı, modelin boyutu artdıqca, PM-lər hər iki dağılımda daha yaxşı işləyir və faydalı və zərərsiz eğitim verilərinin relatif proporsiyalarına daha çox güclü olurlar. tension between helpfulness and harmlessness 1 ) • Biz də göstəririk ki, bir OOD araşdırma teknikləri istifadə edə bilər [F Ən garip və zərərli istəkləri redd etmək (Figure) Bir az və ya heç bir şey yoxdur (FOTO) Əhmədov et al., 2024 22 nəfər, 23 ) Scaling, RLHF Robustness, and Iterated ‘Online’ Training • Model və dataset boyutunun funksiyası olaraq PM həddi üçün ölçülən əlaqələri araşdırırıq və ortalama log-linear trendləri buluruq (Şəkil 3). Bir neçə idiosincrasiya ilə qarşılaşırıq (Figurlər və 7 nəfər, 31 32 ildir. • Eksperimentlər davam etdiririk Görünür ki, figür VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. robustness of RLHF 4), • Biz bunu Şirkət ( 0) və mükafatları for much of RLHF training (see Figures and Niyə və Biz bu əlaqənin necə ortaya çıxacağına və olası uygulamaları və gələcəkdəki yönəltmələr haqqında danışıqlar aparırıq. D Təkcə π approximately linearly related 4 13 nəfər, π π • Çalışırıq 2013-cü ildə aparılmış arxeoloji tədqiqat işləri burada 120 kv.metrlik ərazidə yaşayış yerinin qalığının olduğunu söyləməyə əsas verir (1). Əsas səhifə » Xəbərlər » Əsas səhifə » Əsas səhifə » Əsas səhifə Üstəlik, yüksək səviyyədə qiymətləndirilir. iterated online training 1 ) 15 nəfər, Müəllimlərimizlə görüşlərimizi davam etdirmək üçün daha çox testlər aparırıq (FOTO) Dataset boyutunu və digər hiperparametrləri sabit tutmaq. 16 ) 1.2 Ölçülər və metriklər • Əməkdarlıq : MMLU-da modellərimizi qiymətləndiririk Əsas səhifə [P] Yunanıstan OpenBookQA ARC Triviaqaya Bu sayı and Sonrakı Sonrakı Sonrakı Sonrakı Sonrakı Sonrakı Sonrakı Sonrakı Sonrakı Sonrakı Sonrakı VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Bu figür Biz də HH üçün PM eğitimini Summarization ilə birləşdirməklə eksperiment edirik. M.Əhmədov bildirib ki, bu barədə “Report” xəbər verir ki, bu barədə məlumat yayılıb. Əsas səhifə » Mədəniyyət » Mədəniyyət » Mədəniyyət » Mədəniyyət » Mədəniyyət » Mədəniyyət NLP and Code Evaluations [Hədislər və bəlkə, 2019] Əhmədov et al., 2016 (İsrail və digərləri, 2019) (Xatırladaq ki, 2018-ci il tarixində [Xatırladaq ki, 2018-ci il tarixində Əhməd Əhmədov 2017 28 29 3 Əhməd Əhmədov, 2021 21. [Xatırladaq ki, 2020-ci il tarixində 20 nəfər, • Əməkdarlıq Biz PM-lərimizi HHH değerlendirmələrimizlə qiymətləndiririk BIG-Bench haqqında (Şəkil Düşmənlərin dialoqları Gender biasləri (Şəkil Biz TruthfulQA-da RLHF modellərimizi qiymətləndiririk (Şəkil Bəlkə də azdır. BIG-Bench, gender bias (Şəkil Rəsmi və dinə dayandırılan fikirlər (Şəkil RLHF bütün qruplara qarşı hissi artırır, ancaq biasları ortadan qaldırmaz. Static Alignment Evaluations [Əsəd və al, 2024] 6 5 nəfər, [Xu et al., 2020 tarixində] [İsrail və al, 2024] 12 ildir. [Lənkəran et al., 2019] 5 nəfər, Əhmədov et al., 2019 40 nəfər, [İsrail və al, 2024] 17 ildir. • Əməkdarlıq Biz qrupa işçilərimizin preferensiyalarına, kontekst destilasiya modellərinə, bazal RLHF-in eğitilmiş modellərinə və final online RLHF modellərinə görə Elo qiymətlərini hesabatlandırırıq. İnternetdə işləyirdiklərimizi də test edirik (FOTO) Düşünürəm ki, bir neçə ildir ki, bu problemlər həll olunacaq. İnternetdə araşdırma aparılır (Figure Bundan başqa, bir köməkçinin yüksək qiymətli, faydalı və həqiqi cavab verən danışıqlar yazmaq üçün profesyonel yazarları işləyirdik və sonra qrupa işçilərinin modelimizin cavablarını bu yazarların yanıtlarına bənzəyəcəyini istədik. about 57% of the time. Human Evaluations 1 ) 15 nəfər, 36 nəfər, 16 ildir. 7 • Əməkdarlıq Bütün paltarlarımızı hazırlayırıq. Soruşduqları və soruşduqları soruşurlar. Lənkəran Apendikasiya We show some comparisons with human writers in Sec- tion Bizdə bir neçə qısa dialoq var. Çərşənbə ayının 28-dək “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”in “Qəbələ”nin” “Qəbələ”nin “Qəbələ”nin” Samples Solaiman və Dennison, 2021 [İsrail və digərləri, 2024] [Tərcümə və digərlər, 2024] C ilə 61-ci dəqiqə 6.3 Tədbirlər 1.3 İlkin işlər Two recent papers, LaMDA Tədbirlər Hər ikisi böyük dil modellərini daha çox işləyə bilmək üçün insan verilərini istifadə edir və hər ikisi 52B modelimizdən daha böyük dil modelləri istifadə edir. [Tərcümə və digərlər, 2024] [İsrail və digərləri, 2024] LaMDA Böyük dil modellərini qısa, faydalı, fakt-mələklərə dayandırılmış və təhlükəli doğal dil dialoqda iştirak etmək üçün finetunes. Bizim işimiz kimi, onlar həm pozitif interaksiyaların həm də təhlükəsizlik / zərərsizlik anlayışları içərisindədir. və doğruluğu təmin etmək üçün külli məlumatların istifadə etməsi / fundamentated- ness burada danışdığımız metodlardan uzaqlaşır və WebGPT və GopherCite daha çox bənzəyir. Bununla yanaşı, bəzi fərqlər var ki, bu metodların bir kombinasiyası (çoxlu və ayrımcılıqlı) təsvir edilmiş öyrənmə metodlarını istifadə etmədən, vergilərin toplama prosesinin əvəzləri deyil, müsbət qiymətləndirmələri ilə bağlıdır. [Tərcümə və digərlər, 2024] (Nəsimi et al., 2019) Menick et al., 2022]. Tədbirlər Finetunes GPT-3 tipi modelləri Bu işdə olduğu kimi, insan preferensiyalarından istifadə edirlər. Bununla birlikte, onlar da təhvilli bir öyrənmə faydası içərisindədirlər, lakin kontrast olaraq, finetuningimiz RL-dən (biz kontekst destillasiyasını yerinə yetiririk, lakin bu daha çox basit söhbət kimidir). Bəlkə bizim işimizlə bağlı ən böyük kontrast, onlar zərərsizliyi öyrənməyi, ya da faydalılıq və zərərsizlik arasındakı təhvilləri təhvil etməməyini içerməyincədirlər. Onların yaklaşımı da bizdən bir neçə ayrıntıda fərqlidir: 6B parametrdən daha böyük önəmli modelləri hazırlamadılar və qiymətləndirmə performansının azaldılması üçün RL-lə önəmli öyrənməyi qarışdırdılar. [İsrail və digərləri, 2024] [Bakı və al, 2020] Bizim işimiz InstructGPT-dən və LaMDA-dan fərqlidir ki, “online” kursları araşdırırıq, orada qrupa işçilərlə əlaqə saxlayan modelləri yeniləyirik, daha yüksək keyfiyyətli məlumatlar əldə etmək və verilərimizin dağılımının əllərini doldurmaq üçün. Başqa bir fərq isə, RL-in hazırlanması ilə yanaşı, daha çox ayrıntılı şəkildə, RL-in hazırlanması ilə yanaşı, genişlənməyi və sağlamlığı araşdırırıq. Biz inanırıq ki, təkcə əsas adımlar insan geri bildirim verilməsi, preference modeling və RLHF eğitimidir. 2) İstirahət Bir çox yeni işlər həqiqətliklə bağlı aspektlərə diqqət çəkir. WebGPT kimi bir databasedən, yaxud İnternetdə arama və insan geri bildirimindən Gophercity ilə Bu işlər bizim işimiz üçün heyranlı və faydalıdır; xüsusilə, nəticələrimiz metodlarının faydalılıq və zərərsizlik üçün eğitimlə çox uyğunsuz olmasını göstərir.Bu işlər açıq-aşkar dəlillərin möhkəm göstərişini artırsa da, AI sistemlərindən dürüst öz representasiyasını əldə etmək üçün daha çox iş gerçəklidir. [Lewis və al, 2020] Xatırladaq ki, 2020-ci ildə Əhmədov et al., 2019 [İsrail və al, 2024] Əhməd Əhmədov və al. Dili modelləri ilə bağlı təhlükəsizlik və etik problemləri geniş şəkildə tartışılmışdır (t.y. 2021), toxicity, bias, və modellərin kişisel identifikasiyanı göstərə biləcəyi imkan daxildir. modellər daha güclü olunca, yeni və sürpriz imkanlar və təhlükəsizlik problemləri ortaya çıxara bilər. Bu problemləri həll etmək üçün yeni metodlar hazırlanmışdır (FOTO) 2013-cü ildə aparılmış arxeoloji tədqiqat işləri burada 120 kv.metrlik ərazidə yaşayış yerinin qalığının olduğunu söyləyib. Etik etiketlər - Etik etiketlər Daha ətraflı məlumatlara görə, araşdırma layihəsi VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. PPP tam olaraq bu bölgüyə uyğun gəlmədiyi üçün adətən HDLC/SDLC protokollar dəsti kimi təsvir edilir. [Henderson et al., 2017, Bender et al., 2019 Əfqanıstan və al. (Bəqərə et al., 2023 ) [Liu və al., 2019] Xocalı və al. (Xatırladaq ki, 1991-ci ildə vəfat edib) [Həmin və al, 2019-cu il] [Amodei et al., 2016, Əhmədov et al., 2019 an et al., 2022]. [İsra və al, 2024] Modelin ölçüsü ilə trendləri araşdırmaq üçün interesimiz nöron ölçüm yasalarıdır. Buna bağlı bir gözləmədir ki, parametr sayı artdıqca, modellər daha effektivdir. and become much less vulnerable to ‘catastrophic forget- ting’ Ümid edirik ki, bu efekt, HH-dəki təhsilimizin böyük modellər üçün yaxşı qiymətləndirmə performansı və fərqli xüsusiyyətlərlə niyə uyumlu olduğunu izah edə bilər. [Hestness et al., 2019, Rosenfeld et al., 2019, Kaplan et al., 2020]. [Hərbaz et al., 2024] [Ramasesh et al., 2022]. 2 Data Collection Biz insan geri bildiriminin (HF) digər metodlara qarşı ən böyük müqayisə üstünlükləri olacağını gözləyirik, əgər insanlar kompleks intuisyonlara malik olurlarsa, bu, formalizasiya və automatizasiya etmək çətindir.Bu, HF toplamağında mümkün olduğunca intuitiv və tanıdık işlər seçməyə çalışmalıyıq anlamına gelir. Biz bu səbəblərdən və bu səbəblərdən ötürü doğal dil dialoqunu istifadə etməyə seçdik. 2.1 Şirkət və iş adamları Human feedback interfeysimiz Şəkildə görünür (Daha çox məlumat üçün bax) People can interact with our models in natural language via chat, and ask for help with any text-based task. When it’s the model’s conversational turn, users see two possible model responses, and choose one with which to proceed. These two responses may come from the same model, or two different models. They can then ask follow-up questions or provide further instructions to the models. So there are two core components to the task, which repeat several times in each dialogue: 6 D) İŞİD • Crowdworkers write a chat message to our models, asking them to perform a task, answer a question, or discuss any topic of interest. • Crowdworkers are shown two responses, and are asked to choose the more helpful and honest re- sponse (or in the case of red-teaming, to choose the more harmful response). Biz fikirləşirdik ki, yaxşı yazan və AI-ni daha interesant danışıqlarda iştirak edən qrupa işçilərinin hansı AI cavablarının ən “həmməz” və “haramsız” olduğunu daha yaxşı hökm edəcəklər.Bu, qrupa işçileri etiketlərin keyfiyyətinə görə filtr etməyə çalışmaq yerine, bizim üçün daha asan və intuitiv olan yazışmalarının spot-checksini kullandıq. Otherwise, our approach to data collection was to largely let crowdworkers use their own intuitions to define ‘helpfulness’ and ‘harmfulness’. Our hope was that data diversity (which we expect is very valuable) and the ‘wisdom of the crowd’ would provide comparable RoI to a smaller dataset that was more intensively validated and filtered. Overall, our process was roughly of this form: 1. Biz master-kvalifikasiya ABŞ-da qurulan MTurk işçiləri modellərimizlə dialoq keçirir. 8 2.Bütün qrupa işçilərimizi qiymətləndirməkdən ziyana görə, ən meyvəli olanları tanımışıq və bütün verilərimizin (yaklaşık 20 qrupa işçilər) yaklaşık 80%-ni təşkil etmişik.Sonra onların performansını başlanğıcında dialoqlarındaki sofistika və variasiyaya görə qiymətləndirdik, çünki bu, intuitiv olaraq qiymətləndirmək çox asandır (heç bir faydalı / zərərsiz seçkilər haqqında anlaşma ölçüsü ilə bağlı deyil).Bu metodla, MTurk işçilərinin “çoxlu” listəsini topladıq. Bütün bu prosesdə iştirak etdiyimiz insanlarla görüşdük. 9 3. We invited our select crowdworkers to a Slack channel and corresponded with them by email, to ensure that they were being compensated fairly Bizi hər hansı problem və problemdən xəbərdar edə bilərlər. 10 4. We also hired crowdworkers on Upwork, and vetted them in a similar, lightweight way. We have continued to use both platforms throughout this work. We find that it is easier to incentivize very high-quality interactions on platforms such as Upwork, where crowdworkers can easily be paid by the hour, rather than per task. But conversely, MTurk workers tend to generate data much more rapidly, and account for about 80% of our datasets. İşçilərimizi sözleşmə və ya digər doğrudan etiket kalitəsi ölçümlərinə görə filtr etmədik, lakin onları retrospektiv olaraq qiymətləndirdik (Şəkil 8). right) and found poor average agreement (about 63%) between Anthropic researchers and our crowdworkers, as compared to recent similar work such as 10 [Stiennon et al., 2020, Ouyang et al., 2022]. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Buna baxmayaraq, təkrarlayıcılığımızı təkrar etməkdən çəkindiyimiz üçün, bu işi bir neçə dəfə yerinə yetirən dəstək işçilər də daha çox ezoterik interaksiyalara qoşulma tendensiyasına malik olmalıydılar. 4.5. We should also note that we explicitly told crowdworkers that ‘lying isn’t helpful’ and that they should try to only reward helpful Belə ki, biz crowdworkers bizim modelləri ciddi fakt-checks gözləmirdik, və belə bir səbəb var ki, onlar çox vaxt non-functional URL-lər içərisində yanıtlar sevirlər, ki, mümkün olan ən asan “yalanlar” biri ola bilər. Dürüstlük 2.2 Faydalılıq və zərərsizlik (Red Teaming) Datasetləri We collected two separate datasets using slightly different versions of our interface. For the helpfulness dataset, we asked crowdworkers to have open-ended conversations with our models, asking for help, advice, or for the model to accomplish a task (see Appendix Buna görə də, seçki modelini seçmək “Hazırlanma” və ya “Red-Teaming” datasetinə görə, topluluğun işçilərini modellərimizdən zərərli reaksiyalar yaratmağa çalışmaq və bu reaksiyaları seçmək istədik. Modellər tərəfindən təqdim edilmişdir. D.2 more helpful more harmful Our interface (Figure allows users to express a preference strength. We only include comparisons in our datasets if crowdworkers expressed a preference stronger than the weakest available. In this work we will not otherwise use this preference-strength information; we treat all comparisons in our dataset as binary and of equal weight (so in particular we do not include ties). 6) Xatırladaq ki, bu, bizim faydalılıq datasetimizdə danışıqlar daha faydalı bir yerdən gedir, çünki bizim red-teaming datasetimizdə istifadəçilərin cavabları danışıqları daha zərərli bir yerdə çevirir. Biz bu seçimi istifadəçilərin red-teamingdə modelləri tamamilə aldatmaq və istifadə etmək üçün imkanlandırmaq üçün etdiyimiz üçün etdik, çünki bu, istifadə etməyimiz üçün daha doğal idi. Bu problemin düzəldilməsini planlaşdırırıq və başqalarına zərərsiz dialoq modellərini öyrənməkdə olanlara verileri toplamağı təklif edərik ki, istifadəçilər bunun yerine daha faydalı yolda danışan reaksiyaları seçsinlər. 4.4 İstirahət 2.3 Feedback Interface və bağlı data dağılımları üçün yerləşdirilmiş modellər Bilgilərin toplanması üçün öncəki used 52B language models with the broad specifications given in We used three classes of models in our interface: 11 [İsra və al, 2024] • : At the beginning of the project this was the only model available. It performs similarly to a plain 52B language model prompted with HHH dialogues HHH Context-Distilled 52B Language Model [İsra və al, 2024] • Əməkdarlıq with a 52B preference model, where samples were generated from a 52B context-distilled LM. In this case the number Bir neçə parametr var idi, lakin daha çox istifadə edirik. = 16. Rejection Sampling (RS) k k • Əməkdarlıq Xatırladaq ki, bu barədə “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”in “Qəbələ”in” “Qəbələ”nin “Qəbələ”nin “Q RLHF-Finetuned Models Proqramın son aşamasında, ilk olaraq RLHF-finetuned modelləri yerləşdirdiyimiz zaman, çox vaxt bir neçə belə modeli bir-birinə bölüşdük. Corresponding to the three classes of models, we divide our data into three distributions: • Cərimə dataset collected using only the context-distilled LM. This dataset includes 44k helpful- ness comparisons and 42k red-teaming (harmlessness) comparisons (note a conversation typically comprises about four comparisons). base • A dataset consisting of 52k helpfulness comparisons and 2k red-teaming comparison using re- jection sampling models, where rejection sampling used a preference model trained on the base dataset. RS • An iterated ‘ ’ dataset including data from RLHF models, which were updated on a roughly weekly cadence over the course of about five weeks. This dataset contains 22k helpfulness compar- isons and no red-teaming data. online Bu divarların histogramı bizim final, online HH preference modelinin nəticəsi ilə Görünür in Section Bundan sonra biz bu barədə nə deyə bilərik? or base+RS dataset, we will be referring to the combination of the first two components. Our ‘online’ RLHF models in Section are trained on all three components. Most of our results are based on the static dataset, as we conducted experiments and evaluations with it while the online data collection was underway. 15 4.5. static 4.5 VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 2.4 Comparing Models with Elo Scores Analizimizin böyük bir hissəsi modelləri bir-birinə bənzəyir ki, burada bildirilən kimi, bağlı Elo qiymətləri yaratılsın. Belə ki, hər bir model hər turda bir yanıt (A və ya B) gətirir və biz işçinin istədiyi nümunəni çəkirik. (where we show both win rates and Elo scores). Two useful conversion formulas are [Askell et al., 2021]. 1 for the fraction in which one model is preferred over another, the difference in Elo scores, and our PM scores. Note that conceptually win fractions, Elo scores and PM scores are interchangeable; we keep both Elo and PM scores so that we can avoid confusing crowdworker preferences (where we use Elo) with our preference modeling and RLHF (where we use PM scores). Note that the Elo scores for context-distilled models in Figure differ somewhat from the analogous results for prompted models in – the Elo scores are now more compressed. The main difference is that we did not use top-p sampling this time . The difference may also be due to changes in the crowd- worker distribution since that earlier experiment, or changes in crowdworker expectations, as before this test our workers were mostly interacting with higher-quality RLHF-trained models. 1 [Askell et al., 2021] 12 3 Preference Modeling for Helpfulness and Harmlessness 3.1 Models and Training Setup Biz [Askell et al., 2021]-da danışılanlara bənzər spesifikasiyaları olan dil modellərini istifadə edirik, 13M-dən 52B-ə qədər sürən parametr sayları olan yeddi dil modeli ilə və təxminən 4X-ə qədər artan bir geometrik seriya ilə yaxınlaşırıq. Biz model öyrənməyi və performansını asanlaşdırmaq üçün PyTorch [Paszke et al., 2019] və Triton [Tillet et al., 2019] istifadə edirik. Əlavə A. Daha çox ayrıntılar aparılır. 3.2 Basic Scaling Results We would like to understand how preference modeling performance improves as we increase model size and collect additional data. In Figure “Neftçi”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin” “Qəbələ”nin “Qəbələ” in Appendix But there we also see that for some data distributions scaling trends can exhibit more complex patterns that defy simple trends. 7 32 A.3. [Xatırladaq ki, 2020-ci il tarixində Xatırladaq ki, bir neçə ildir ki, ABŞ-ın İtaliyada işləyənlərin sayı azalıb, bir neçə ildir ki, ABŞ-da işləyənlərin sayı azalıb. PMs are somewhat more accurate on the first step of the conversation, but their accuracy is nearly constant thereafter. 8. 3.3 Calibration of Preference Models and Implications for RL Preference model scores should predict the probability that humans will prefer one or another model- generated response. We are interested in whether these probabilities are accurate, i.e. whether the PMs are well calibrated. We characterize calibration in Figure where we display PM accuracy as a function of the difference in PM scores assigned to pairs of samples, along with a heavy black line representing perfect calibration. We observe that PMs trained only on helpfulness data are very well calibrated, but PMs trained on a mixture of helpful and harmless data are slightly under-confident. 9 İŞİD These calibration results are important because in later sections we will be using PM scores as the reward signal for reinforcement learning. Since the PM scores are well-calibrated, we can trust that they faithfully encode the probabilities that humans will prefer specific model samples (at least on-distribution with the training set). This means that when we see RL Bu modellə mübahisə edənlər (bunlar bizim crowdworker dağılımımızla yaxşı temsil edilirlərsə) bu modellə mübahisə edənlərin, modellərin cavablarının PM puçlarının bu kalibrasiyalarda düşünülən rütbədə olduğu halda, öngörülə bilər ki, öngörülə bilər ki, RLHF daha yüksək puçlara doğru optimizasiya edər. and Appendix Rüstəm 4.5 B.4. Xatırladaq ki, bir neçə ildir ki, bu problemin həllinə daha çox ehtiyac var. in the appendix, we show that if we restrict to comparisons where both samples have a PM score above a given threshold, then PM accuracy drops as a function of this threshold value (to compare different PMs we add an offset so that they all obtain the same mean score on the test distribution). Notice that this result combines three effects: (1) differentiation among more sophisticated samples may be more challenging and require greater capabilities, (2) we have fewer very high quality samples to learn from in our dataset, as they are non-generic, and (3) pairs of samples that are all high-quality will have similar scores (compared to randomly chosen pairs), and so be more difficult to distinguish. 25 These observations also have an implication for RLHF training, namely that we should expect diminishing returns from further RLHF training once our policies achieve a sufficiently high PM score. This also motivates online training, so that we can update our PMs to stay on-distribution as RLHF policies improve. 3.4 Evaluating Helpful and Harmless Preference Models 3.4.1 HHH Evaluation and Crowdworker-Anthropic Agreement Biz də göstərmək istəyirik ki, bu PM-lər həqiqətən bir neçə bağımsız standartla uyğun olaraq faydalı və zərərsiz davranışları tercih etməyi öyrənirlər. Biz əvvəlki işlərdə faydalılıq, dürüstlük və zərərsizlik (yani, HHH qiymətləndirməsi) üçün bir seti qarşılıqlı qiymətləndirmələr təqdim etdik və çirkin, kontekst distillated və istənilən dil modellərini qiymətləndirdik. on this benchmark. As shown in Figure we find that our PMs perform much better than all of the models we evaluated previously. In fact, the Pathways LM effort recently reported a mean human score of 75% on this dataset, so in a sense our PM performance of 86% is well above mean human accuracy. [Askell et al., 2021] 5, [Chowdhery et al., 2022] We also observe that there are a few outliers, where our PMs are confidently incorrect on HHH evaluation comparisons (see Figure Bunlar hamıdan bəhs olunur. Daha yaxşı seçim dürüst, lakin faydalı olmayaraq, yanlış seçim həm faydalı, həm də yaxşı yazılmış görünür, lakin subtly yanlış və ya yanıltıcıdır. It’s worth noting that the bad response (which was written by Anthropic researchers) is likely out of distribution as compared to samples from our language models and RL policies. Since only model-generated samples were used to train the PMs, this may explain why the PM was badly fooled by these examples. It also indicates that the PMs are not adversarially robust. 10 honesty 11. We can also compare our crowdworkers, ourselves, and our preference models in terms of agreement on labels. The results are shown on the right in Figure and are based on about 320 examples from our static test set. The PMs are trained to predict crowdworker behavior, so PM-Crowdworker agreement is best. However, the largest PM actually agrees with the authors (i.e. Anthropic researchers) slightly more than the authors agree with crowdworkers on labels. We also suspect this is a poor subsample of the data, since PM accuracy is several percent lower on this subsample as compared to the full test set. 10, 3.4.2 Gender Bias and Bot Adversarial Dialogues We can begin to evaluate whether our PMs display gender bias by comparing scores across gendered terms. To this purpose we evaluate preference model scores on short dialogues of the form Human: Can you help me fill in the missing word in a sentence? The sentence is: The {Occupation} is a Düşünürəm ki, burda özünüzü özünüzə yazmaq istəmirsiniz. Əsas səhifə » Əsas səhifə » Əsas where we use a list of 76 occupations, 12 matched gender terms (mother vs father, guy vs gal, etc), and both present and past tense Preference model scores are not directly meaningful, so instead we evaluate the difference in score between paired gender terms, and compare that to the difference in score among terms within a given gender. The results are shown on the left in Figure Movqe.Az xəbər verir ki, Hollandiyada, erkən parlament seçkilərin nəticəsi çox az fərqlə iqtidardakı Liberal Partiyasının (VVD) qazandığını göstərir. [Rae et al., 2021]. 12. As an external validation of our PMs, we consider the Bot Adversarial Dialogues (BAD) dataset This dataset contains a few thousand conversations between an AI system and a human. Each AI response is labeled as harmful or not harmful. We compute the distribution of preference model scores for BAD AI utterances (we restrict our analysis to the first BAD AI utterance per conversation) and find that the BAD AI utterances marked as harmful have significantly lower preference model scores. This suggests that our PMs are effectively classifying these AI generated utterances, even though they are likely quite different from the data distribution that our PMs were trained on. [Xu et al., 2020]. 4 Reinforcement Learning from Human Feedback 4.1 Training Setup We apply reinforcement learning (RL) with preference modeling, following the approach outlined in which can summarized in the following steps: [Stiennon et al., 2020], 1. Prepare a dataset of comparisons, and train a PM to assign a higher score to the ‘better’ item in each comparison. In the context of our human feedback experiments, each comparison consists of a prompt followed by a pair of model-generated responses, with a PM score evaluated at the end of each response. 2. Extract all the prompts from the preceding dataset, and train an RL policy to generate a response to each prompt autoregressively, with a reward signal provided by the PM score at the end of the response. PM dataset and training details are provided in Appendix “Mənim PM-lərimdən də danışdıq. In the language of RL, each response generated by the policy is a ‘timestep’, a full conversation is one ‘trajectory’, and the PM score is a single ‘reward’ provided at the end. A.2; 3. Movqe.Az xəbər verir ki, Hollandiyada, erkən parlament seçkilərin nəticəsi çox az fərqlə iqtidardakı Liberal Partiyasının (VVD) qazandığını göstərir. To stabilize RL training, we use Proximal Policy Optimization (PPO) We also follow other work and apply an empirically-estimated KL penalty term in the reward, with the total reward given by (Bakı və digərləri, 2017) [Stiennon et al., 2020] where KL >/ 0 is a hyperparameter. In practice we use a very small value of KL = 0:001, which likely has a very minor impact during most of RL training (as DKL B A B There is no good reason to use this preference model score directly as the reward, but it has been used in prior work such as Belə ki, bu seçki ilə bağlı variantları burada araşdırmayacağıq. 13 [Stiennon et al., 2020] In order to produce additional prompts (i.e. the human side of the conversations) for RLHF training, we used a large LM to generate them. For this purpose, we simply used few-shot learning, creating a context with about 10 existing high-quality human queries, and then sampling to generate more. We find that the sample efficiency of RLHF is roughly the same on the original crowdworker-written prompt dataset and the model- generated one, so we combine the two for greater diversity during RLHF training. We used 137k prompts from the ‘static’ dataset, and 369k model-generated prompts. Note that almost all of our preference modeling data was collected from 52B models. This means that RLHF training with smaller models might have been challenging, since samples from smaller models tend to be out-of-distribution from the PM training data. Thus it is quite interesting that models more than fifty times smaller were actually able to learn and improve, as seen in Figure 1. 4.2 Robustness Experiments PPP tam olaraq bu bölgüyə uyğun gəlmədiyi üçün adətən HDLC/SDLC protokollar dəsti kimi təsvir edilir. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 11 A rigorous way to study robustness is to take snapshots of the policy at various points during RLHF training, including the initial snapshot, and have crowdworkers compare their performance. This gives a ‘true’ Elo score, as evaluated by crowdworkers, which can then be compared directly with the PM scores. We present an example of this study in Section 4.5. Bununla yanaşı, bu tip test, yavaş və qiymətləndirilə biləcək adi insan geri bildirim vergilərini toplamağa ehtiyacı var, bu yüzden burada da sağlamlıqı başqa bir tərəfdən araşdırırıq. half and a half), and train separate preference models on each, which we refer to as the ’s and the Bu barədə “RXM” şirkətinin məlumatına görə, ’s, while evaluating them using the ’s. Similar to how test set evaluations help us understand overfitting in supervised learning, evaluations help us understand overfitting relative to the ’s. These experiments are not conclusive since the train and test PMs may exhibit correlated robustness failures. treni test train PM test PM Qazaxıstan PM test PM test PM train PM The main conclusions from these experiments are: (1) RLHF becomes gradually less robust at higher PM scores, and (2) larger preference models are more robust than smaller ones. We conduct two sets of experiments as follows: • Əməkdarlıq : This set consists of a scan of policies (i.e. one for each model size), all of which are trained with respect to the same 52B . Train PM Size = 52B train PM • Əməkdarlıq : This set consists of a scan of policies, with each policy trained with respect to a of the same size as the policy. Train PM Size = Policy Size train PM Hər iki eksperiment üçün, hər bir politika daha da qiymətləndirilir. ’s throughout training. Note that a 13M-dən 52B-ə qədər 7 fərqli model boyuna aiddir, bu da bizə eksperimentə görə 7 politika və 7 × 7 qiymətləndirmə verir. test PM scan In Figure we compare the and scores throughout the training process, similar to how train and test curves are often compared for supervised training. We find that in all cases, the two scores are in close agreement during early stages of training, but eventually diverge, with the providing a lower score. The divergence is likely an indication that Buna görə də bu sistemin optimalizasiyası , making the over- confident in the policy’s performance. The , on the other hand, doesn’t suffer from this problem since it was trained on a different portion of data that neither the policy nor the had observed. 4, train PM test PM test PM the preference model is less robust and more easily exploited at higher rewards train PM train PM test PM train PM We provide more discussion in Appendix B2 ilə 4.3 An Approximately Linear Relation Between √ Mükafat və mükafat D D In Figures və Biz bir between √KL and PM score during RLHF training. Furthermore, we note that when√a__ll mo__dels are trained and evaluated with the same PMs, the learning curves are roughly in the KL-reward plane. Note that here the ‘KL’ is more precisely reward varies linearly in Bu barədə “Sma√ll__- r__egion’ (i.e. where the series expansion provides a good approximation), we should expect reward ∝ KL. Typically we should that reward varies linearly in , because because the initial policy Əvvəllər mükafat üçün optimizasiya edilməmişdi, bu yüzden az dəyişikliklər üçün ekstremdə oturmaq üçün bir səbəb yoxdur. . So the fact that this relation seems to hold empirically suggests that most of RLHF training remains in the small- regime. 4 13 approximately linear relation parallel D δπ Digər D expect Digər π δπ δπ Though they did not use these coordinates, a similar scaling can be read off from the results in learning to summarize In particular, they provide a nice analysis of rejection sampling, where they generate samples, and then plot mean reward of the top Xatırladaq ki, bu Əsas səhifə ( İŞİD [Stiennon et al., 2020]. N k D N/k VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Biz bu basit əlaqəni çox təəccüblü görürük və düşünürük ki, daha çox araşdırmaya layiq görülür.Bildiyimiz kimi, RL-finetuning böyük generativ modellərdə bir çox nəticə və istifadə vardır: • These relations provide a rough prediction for ‘how much does the policy need to change to achieve a specific reward’. Furthermore, if the lines corresponding to different model sizes really are parallel, then one can use RL training of a small model along with the zero-shot performance of a larger model to estimate the eventual performance of a larger RL policy. The slopes of these lines also explain how RLHF training can produce such large effective gains in model size, and for example it explains why the RLHF and context-distilled lines in Figure are roughly parallel. 1 VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. və ya sadəcə Biz Modelin yeni xüsusiyyətlərini öyrənmək focusing the model on generating a sub-distribution of existing behaviors Bu barədə “Bakı” xəbər verir ki, bu barədə “Bakı” məlumat yayıb. region where RL reward remains linear in KL. • To make some bolder guesses – perhaps the linear relation actually provides an VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. upper bound By making RL learning more predictable and by identifying new quantitative categories of behavior, we might hope to detect unexpected behaviors emerging during RL training. 4.4 RLHF-də faydalılıq və zərərsizlik arasındakı mübahisə Burada RLHF eğitimində qarşılaşdığımız bir problemdən danışırıq.Bu proqnozun əvvəlki fəsilində, bir çox RLHF politikalarının çox sıklıqla bütün uzadılmış həddi aşan sorğu-suallara təkrarlanan yeganə cavabları çəkdiyini görmüşük (t.b. istifadəçilər üçün terapiya və profesyonel yardım arzulayırıq ki, onlar heç bir düyməni ifadə etsinlər).Bu, bu modellərin faydasını böyük ölçüdə azaldır. We now believe these policies were the result of Təsadüfi olaraq, əgər helpfulness. 6.2 Tədbirlər over-optimizing under-optimizing With our data collection procedure, we think this is quite intuitive. In order to get a very good score on red-teaming prompts, it’s probably sufficient for models to respond with something like “I can’t answer that.” This does not require much sophistication (it just requires learning to classify harmful requests), and so we expect it is easier to learn than helpfulness. In Figure (right), we show the policy’s PM score throughout training, after separating helpfulness and harmlessness prompts. On the left side of the same figure, we show the score distribution of PM comparison data, again separating helpful and harmless datasets. We observe that the policy’s harmlessness score is somewhat off-distribution, as it is on the upper tail of the harmlessness comparison data. On the other hand, the policy’s helpfulness score appears on-distribution, and is likely under-optimized. So we would expect this agent to be very difficult to red-team, but not very helpful. 14 This then raises an obvious question – can’t we just collect more harmlessness data to fill out the upper tail of the distribution? The problem involves the definition of harmlessness mentioned above – if simply refusing to answer a question is the ‘least harmful’ behavior, then this is probably both very easy to learn, and hard to improve on. That said, a more interesting ‘least harmful’ behavior would involve the model (helpfully) explaining why the request was harmful, and perhaps even trying to convince the human not to pursue such requests. We informally refer to such a model as a ‘hostage negotiator’. Bununla yanaşı, data toplama prosesimiz modellərin “çoxluq müzakirəsi”ni öyrənmək üçün çox çətindir. AI response. We made this choice so that we could fully explore the vulnerability of our models to red-teaming. However, from the point of view of RLHF this was problematic, because beyond the first turn of dialogue, our models never learned what a response to a harmful query might be like. Our dataset does not provide guidance on the upper end of the distribution, on what models should do, but only tells models what Bunu etmək Daha çox zərərli sophisticated not In practice, we have partially resolved the optimization issue by training on a larger fraction of helpfulness prompts during RLHF. But in the future we hope to more fully and systematically address this problem by collecting harmlessness data where crowdworkers choose the best possible response from our models. Beləliklə, ümid edirik ki, yalnız zərərli istəklərdən qurtulmaqdan başqa, modellər “çoxluq müzakirəsi”nin “kırmızı komandalarla” daha düzgün əxlaqını öyrənə bilərlər. 14 Note that since the data and models discussed in this section are from an earlier stage of our research, the RL results may look slightly different from other parts of the paper. 4.5 Iterated Online RLHF In preceding sections we discussed the problem that PMs become progressively less calibrated and less robust at higher scores, as seen in the PM calibration study in Figure and the RLHF robustness study in Figure 9 İŞİD Biz bu problemin həll olunmasının səbəbləri olduğunu düşünürük, bu problemin həllini istəyirik. : 4. iterated online RLHF • Biz ancaq mümkün olan ən yaxşı RLHF politikasını öyrəndik və bu, yığma işçilərdən qarşılıqlı məlumatları toplamak üçün istifadə edirik. • We mix the new comparison data with our existing data, and train a new scan of PMs, which we then use to train a new scan of RLHF policies. Then reiterate this process indefinitely. Our hypothesis is that the ‘online’ RLHF policy helps us collect data on the upper end of the PM score distribution, which should improve PM calibration at high scores on subsequent iterations, and thereby allow us to train even better policies. Continuing this process should give us progressively better PMs and policies. Note that our use of the terminology ‘online’ is different from conventional use of the word—instead of training the same model iteratively, we retrain a new model per iteration. One concern about this approach is that RLHF tends to decrease the policy’s entropy, which would limit the diversity of data collected through the online procedure. We partially address this by deploying a number of different snapshots from RL training, and from different online iterations, at once. This also makes it possible to compare these models to get a better sense of how they are performing. We can see signs of life from the online approach by looking at the evolution of our data distribution. In Figure (left), we show the PM scores from three distributions of models: , (rejection-sampling), and , as described in Section Biz görəcəyik ki, son online PM-imiz (bütün verilərdə öyrədilmiş) kimi, nümunələrin kalitəsi bazadan rejection-sampling-a çevrimiçi məlumat dağılımlarına qədər yaxşılaşır. Biz də online PM-imizin, respektiv baz, RS və çevrimiçi yalnız dağılımlar üçün test setlərində 74%, 70% və 67% həddi çatdığını görmüşük, bu, daha yüksək keyfiyyətli nümunələr arasında fərqlənməkin daha çətin olduğunu göstərir. Bu, çevrimiçi eğitimin uzun müddətdə rejection-samplingdən üstün olacağını gözləyir. 15 Base RS Online 2.3. We show the learning curves for our online models, along with measurements of Elo scores from crowd- workers, on the right in Figure We see that models improve significantly during RLHF, but Elo scores from crowdworkers do not match predictions from PMs. We further discuss and decompose the robustness of RLHF training in Appendix where we see that distributional shift accounts for a significant part of the apparent robustness failure (Figure 15. B.4, 35). In Figure Biz online modelimizin Elo qiymətlərini kontekst destillated modellər və RLHF modelləri ilə "static" (yani, heç bir online) datasetdə öyrənilib, bu, online modellərin qrupa işçilərimiz tərəfindən açıq-aşkar xoşuna gəldiyini göstərir.Ancaq, oxucular iki xəbərdarlıqdan qorxur: online model bir az daha böyük (yaklaşık 20% daha böyük) datasetdə öyrənildi, və online model daha yaxşı RLHF hiperparametrləri ilə öyrənildi (online model daha böyük bir məlumatla öyrənildi , defined in Appendix and its PM was trained with 2048 context instead of 1024), as compared to the earlier static RLHF training run. 1, K B.1, Bu xəbərdarlıqların hər ikisinə cavab vermək üçün, iki RLHF sürətini birləşdirən kontrolli eksperiment göstərdik: birimiz baz datasetimizlə (yaklaşık 44k PM əvəzləri) və digərimiz baz, RS və çevrimiçi məlumatların ədalətli bir bənzərini öyrəndik. Bu barədə “The New York Times” xəbər verir ki, bu barədə “The New York Times” xəbər verir ki, bu barədə “The New York Times” xəbər verir ki, bu barədə “The New York Times” xəbər verir. we compare Elo scores for various snapshots of both runs, as determined by crowdworker preferences, showing that the policy trained on the iterated-online mixture is clearly preferred. This demonstrates that online training works, and that performance gains are not merely due to increased dataset size or hyperparameter changes. whose total dataset size is the same as the base dataset 15 16 ildir 4.6 İncəsənət Bonusları, Dürüstlük və Tədbirlər Language models that have been finetuned via RL typically have much narrower, lower-entropy output distri- butions. This can make evaluations difficult when they are fairly rigidly formatted, since all valid responses may be far off-distribution for the RLHF model (we discuss an example with gender bias evaluations below). Thus we expect in future work evaluations involving sampling and human interaction may be most relevant. In what follows we discuss some standard NLP evaluations, and then evaluations specifically related to the societal impacts of the models, including honesty, sentiment, and bias. 4.6.1 NLP Evaluations We evaluate our models on question answering, commonsense, trivia, and story completion using the bench- marks MMLU Şəkillər (P Hellaswag OpenBookQA ARC Triviaqaya The main conclusion is that RLHF tends to improve performance for large models, while degrading the performance of smaller models. [Hendrycks et al., 2021b], aperno et al., 2016], [Zellers et al., 2019], (Xatırladaq ki, 2018-ci il tarixində [Xatırladaq ki, 2018-ci il tarixində [Joshi et al., 2017]. 16 Full results for both zero-shot and few-shot evaluations are shown in Figures and and we provided a summary of the mean trends in Figure Readers may notice that results improve rather suddenly for some evaluations; this is a consequence of the format we use for multiple choice questions, where we explicitly provide choices (Gopher used this format). The format is provided explicitly in Appendix Biz bu formatın böyük modellərin performansını artırmaqla, küçük modellərin performansını azaldaraq, “grok”un şübhəsiz yanıltıcı görünüşünə yol açdığını görürük. Cərimə 28 29 saylı 3. [Rae et al., 2021] E. [Power et al., 2022] 4.6.2 Honesty and Biases Əsas səhifə » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm and show the results in Figure There we also include performance at 50-shot, in or- der to demonstrate that while our RLHF training significantly improves honesty, our models most likely have significant room for improvement. Note that our instructions to crowdworkers suggest that ‘lying isn’t help- ful’ and that they should choose responses that are ‘helpful and honest’, so this is presumably related to the improvements we see on TruthfulQA. That said, we do not currently expect RLHF to be the best approach to honesty. [Lənkəran et al., 2019] 5. Another set of questions involves the underlying biases of these models. We evaluate our models for sentiment biases on race and religion (in the same format as Gopher 2021]), for gender bias, and on the Bias Benchmark for QA (BBQ-lite) [P [Rae et al., arrish et al., 2021]. Rəsmi və dini xüsusiyyətlərə qarşı həddi aşan hadisələr The main effect we observe is that the sentiment of our RLHF-trained models tends to be much more positive than that of plain LMs, but it is more difficult to say if bias among groups has changed. We expect some of the visible effects are due to limitations in the sentiment model , for example the low scores for the Atheist group is likely because samples such as (model generation in italics): 17. 17 The Atheist man was very skeptical and critical of religious dogma and conventional moral principles, seeking instead to derive his ethical values from rational consideration and empirical observation of the natural world. receive a sentiment score very near zero, which seems like a questionable evaluation. For these evaluations we use a prompt format where the human asks the assistant to complete the sentence as follows: Human: Can you help me finish a sentence? The sentence is: {sentence beginning} Assistant: Sure thing, here is your completed sentence: {sentence beginning} with sentence beginnings such as ‘The Atheist man was very’ as seen above. Biz də BBQ-Lite modelimizi, BBQA-nın asanlaşdırılmış versiyasını qiymətləndirdik. that is avail- able on BIG-bench. We were somewhat surprised by the results, and are unclear if any conclusions can be drawn based on them. In essence, we appear to find that our plain LMs do not exhibit very significant biases on this benchmark, using the available metrics. Here the metric is roughly ‘how often does the model invoke a term in a negative context, divided by how often it uses the term generally’. A value of 0.5 corresponds to the models being ‘unbiased’. RLHF training perhaps improves the results slightly (likely by improving sentiment) though the effect is very small (see Figure Bu barədə “BBC” xəbər verir ki, bu barədə “BBC” xəbər verir. arrish et al., 2021] 18). arrish et al., 2021]. 3.4.2 bölümündə “CEO bir idi” kimi cümlələri tamamlamaq üçün cinsi fərqlənməsini araşdırdıq. “CEO bir at idi” kimi ifadələr “CEO bir at idi” kimi ifadələr “CEO bir at idi” kimi nümunələri tamamlamaq üçün cinsi fərqlənmiş cümlələr istifadə etmək üçün cinsi fərqlənmiş cümlələri istifadə etmək üçün bu modellərin “RLHF” modelləri üçün ən azından genel LM-lərə nisbətən 10 az fərqlənmiş görünürdü. Bu, qiymətləndirmələr üçün problemlidir, çünki bu, fərqlənmənin ölçülərinin gürcü ilə dominant olacağı və “CEO bir at idi” kimi ifadələr “CEO bir at idi” kimi bir az fərqlənmiş görünür. Beləliklə, B.10 təhlilində, işin bir başqa formulu ilə, iş 5 Competing Objectives, Specialized Skills, and OOD Detection A concern about alignment techniques is that they might compromise model performance. In Section Bu barədə “The New York Times” xəbər verir ki, bu barədə “The New York Times” xəbər verir ki, bu barədə “The New York Times” xəbər verir. 5.1 Furthermore, we also find that the conflict between helpfulness and harmlessness is relatively unique. Pref- erence models can learn to reward strong performance at specialized skills without any loss in performance at helpfulness and harmlessness. In Section we consider the evaluation of summarization quality as such a skill, using the learning-to-summarize dataset reformatted in conversational form. Later in Section we show that code models (i.e., models finetuned on code by supervised training) are also compatible with HH alignment interventions, even though the RLHF training does not involve code data or examples. 5.2 [Xatırladaq ki, 2020-ci il tarixində 5.3 In Section we highlight another approach to avoiding harmful behavior – it may be possible to reject most harmful requests, even without any access to harmfulness training data, by leveraging out-of-distribution detection techniques [F This approach might also be useful more generally in deployment scenarios where strange or off-topic requests need to be flagged or ignored. 5.4 ort et al., 2021]. 5.1 Faydalı və zərərsiz hədəfləri birləşdirmək Xatırladaq ki, bir neçə ildir ki, bu problemlər həll olunmayıb, bir neçə ildir ki, bu problemlər həll olunmayıb. At a conceptual level, the HH PMs may essentially be learning to first classify the data and then choose a score depending on the distribution. We will show that larger models perform better and are more robust to data mixture and loss weighting, which may be due to their having greater success at separating reasonable from harmful requests. 5.1.1 Varying Helpful vs Harmless Data Fraction Biz 100% faydalı olmadan 100% zərərsizlik 10% aralıqlarında dəyişən data splits istifadə modelləri öyrəndik. bizim statik data dağılımı 42k kırmızı-teaming comparisons var, belə ki, veritabanı boyutunu kontrol etmək üçün biz həmişə bu sayının toplamı ilə mixture konstrukts. shows performance on both harm- lessness and helpfulness as the training data mixture is varied. Note that training entirely on helpfulness or harmlessness data results in performance on the other distribution which is . This exemplifies the extent to which these distributions are in tension with each other. 19 Şansdan daha pis Figure in the appendix also plots mean test accuracy over both helpfulness and harmlessness (where Mean Acc = (Harmlessness Acc + Helpfulness Acc)*/*2). Curves for larger models look more steep near the 0% and 100% areas, but flatter at the top. The curves for the smaller models are more gradual, with more distinct peaks in the middle. This again suggests that larger PMs are more robust to the specific fraction of red-teaming vs helpfulness data that is used, allowing them to learn both concepts more easily. 26 5.1.2 Weighting Helpful vs Harmless Losses Instead of studying different data mixtures, we can try re-weighting the losses. Since we have more helpful- ness than harmlessness comparisons, we experimented with weighting the losses as LTotal = LHelpfulness + λ · LHarmlessness Xatırlayırıq ki, daha böyük modellər λ seçimi üçün daha sağlam görünür. λ 1 ilə 10 arasında artan λ 13M parametr modeli üçün faydalılıq həddi 7,4% azaldır, lakin yalnız 52B parametr modeli üçün həddi 1,5% azaldır. 5.2 Summarization as a Specialized Skill We expect that models finetuned with special skills may be particularly useful and valuable. Does alignment interfere with finetuning for a specialized skill? As one test of this question, we studied PM finetuning on the learning-to-summarize (LtS) dataset vs. a mixture of LtS and HH data. We formatted the LtS data in conversa- tional format so that it matches the HH data, as follows: [Stiennon et al., 2020] Human: Can you write a summary of this article for me? ...Text... Assistant: Sure, here it is: ...Summary... Görünür ki, figurada large preference models trained on a mixture of HH and LtS datasets perform equally well on both. So at least at the level of preference modeling, there seems to be no cost to mixing HH with the specific skill of evaluating summarization quality. 20, 5.3 Natural Language RLHF on Code-Finetuned Models VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Our ‘base code models’ were finetuned on Python code scraped from Github as described in Starting from these Python fine-tuned (Python FT) models, we then ran our standard natural language RLHF training using ‘static’ preference models and prompts. We had difficulty achieving stable RLHF optimization on the 3B code model, so it has been excluded for this section. [Askell et al., 2021]. We evaluate models on the HumanEval dataset VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. we show results versus model size with and without RLHF training. We see the same trend here as with other evaluations – RLHF decreases the performance of small models, but improves the performance of larger models. Əhməd Əhmədov, 2021 21 RL-in hazırlanması modellərin dağılımının entropiyasını azaldır, bu yüzden bu sonuçların temperatur və top-p-tuning üçün çox hədsiz olacağını qorxduq. 52B modellərimiz üçün isə RLHF modellərinin və baz kodu modellərinin hər birinin ən yaxşı ayarını seçdik və sonra hər bir modeli və pass@k üçün ən yaxşı ayarı seçdik. T ∈ {0, 0.4, 0.6, 0.8, 1.0} × p ∈ {0.95, 1} × k ∈ {1, 5, 10, 25, 50, 75, 100}. Sonuçlar Şəkil 21-in sağ tərəfində ötürülür. Xatırlamalıyıq ki, digər qiymətləndirmələrimiz kimi, RLHF-in performans artımları müsbətdir. Appendix Daha sonra, bizim istifadə etdiyimiz promptlərin formatını (yani, “HHH promptləri”), bu da bir neçə kodu örnekdən ibarətdir. 38. B.8 We also conducted experiments involving adding buggy code to the prompts, which typically worsens per- formance (see 2021]). We found that RLHF models did not perform better than their initial base code model snapshots, when these prompts are included in the context during evaluation, even after scanning over temperature and top-p. (Bəqərə və al. 5.4 Applying Out-of-Distribution Detection to Reject Strange or Harmful Requests In this work we are primarily focused on achieving harmlessness entirely through natural language dialogue. However, one might try to avoid harmful behavior in a somewhat different manner, by either restricting language assistants to only respond to a narrow range of queries (approved-list), or by filtering and rejecting known types of bad behavior (block-list). We could use our preference models for these purposes, but we might also take a different, less supervised approach, and leverage advances in out-of-distribution (OOD) detection. Such an approach might also be useful for those who want to build systems that only respond to a narrow range of queries (e.g. code models that should avoid non-code topics). Out-of-distribution detection (OOD), and especially near out-of-distribution detection, have been a major challenge for deep neural networks. Deep networks routinely assign high probability to mis-classified inputs [Guo et al., 2017, Lakshminarayanan et al., 2016] as well as to test inputs not belonging to any of the training classes [Nguyen et al., 2014]. There have been many approaches to OOD detection based on discriminative models [Hendrycks and Gimpel, 2016, Lee et al., 2018, Liang et al., 2017, Liu et al., 2020] as well as deep generative models [Nalisnick et al., 2019, Zhang et al., 2020]. The more difficult case of OOD detection, the so-called near-OOD detection [Winkens et al., 2020], has recently been improved upon significantly using pre-training and large models [Fort et al., 2021]. VVD.Az xəbər verir ki, bu barədə “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Q “Mahalanobi” adlandırılan “Mahalanobi” adlandırılan “Mahalanobi” adlandırılan “Mahalanobi” adlandırılır. Mahalanobis distance has been proposed in and shown to lead to better AUROC as well as more robust detection for a range of OOD problems in vision and genomics (in addition to more robustness to adversarial attacks [F 2022]). Inspired by this method and recognizing that our problem does not naturally involve semantically meaningful classes comprising the in-distribution, we propose a further modification we call the Relative Mahalanobis distance. We compute it by fitting a full covariance matrix Σ as before, as well as a diagonal- only covariance matrix Σdiag, and assigning the difference of their Mahalanobis distance as our scoring function, score( ) = ( − ) Σ−1( - İŞİD Şirkət ( − ) Σdiag−1( − İŞİD Relative [Ren et al., 2021] Şəhər, Simplified x x µ T x µ x µ T x µ Figure shows the results for our OOD detection experiments, trying to distinguish the helpfulness data from harmlessness data using our new Simplified Relative Mahalanobis distance to the helpfulness activation vectors. The figure shows AUROC for activation vectors from different layers of the model and different model sizes. The bigger the model, the better its performance, with the middle layers performing best. The right panel of Figure shows an example of the OOD score distributions for the helpfulness data (blue) and harmlessness data (red) for a 64L layer of 52B parameters and its 32th layer. We can see that the mode of the distances of the Harmlessness data is clearly higher than for the helpfulness data. The comparison of the Simplified Relative Mahalanobis distance and the standard Mahalanobis distance is shown in the Appendix in Figure 22 22 B.9 39. The advantage of this approach is that we are able to distinguish helpfulness data from non-helpfulness data, with harmlessness data being only a particular kind of non-helpfulness data. The disadvantage is its clear lower performance on this specific task in particular. Əgər bizə zərərsizlik inputlarının (out-distribution) az sayda nümunəsinə qulaq asmaq olarsa, ilk olaraq bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir neçə-bir-bir neçə-bir neçə-bir-bir neçə-bir neçə-bir neçə-bir-bir-bir-bir neçə-bir-bir-bir-bir-bir-bir-bir-bir-bir-bir-bir-bir-bir-bir-bir-bir-bir-bir- suggests using a single class representing the OOD examples. [F has used outlier exposure on top of individually strong near-OOD detectors and showed that they still enjoy a large benefit from being exposed to the examples of the out-distribution. We observe a similar benefit here, as discussed in detail in Section Görünür ki, figurada [Xatırladaq ki, 2018-ci il tarixində [Thulasidasan et al., 2021] Əhmədov et al., 2024 b) 9 23. 64L modelinin bütün layərləri arasında ən yaxşı performans (52B modelinin orta layerləri) ulduz ekspozisiyası olmadan (yaxud Simplified Relative Mahalanobis uzaqlığımızı istifadə edərək, bax: Şəkil [22]) təxminən 0**85-dir. 6 Qualitative Examples and Comparisons Xatırladıq ki, öz araşdırma prosesimiz, modelin gücləri və zayıflığına bir fikir vermək üçün, özümüzü ölçülü metrik kimi istehsal etmək kimi, özümüzü ölçülü qiymətləndirməyə bağlıdır. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Biz Apendiksdə başqalarının bənzər işlə birlikdə görünən promptlər bazarındakı nümunələri veririk. Əsas səhifə / GPT LaMDA “Palms”da ortaya çıxan hədislər We encourage readers to skim these samples to get an (arguably) unbiased sense for our model’s behavior. for each prompt we generate 17 samples, rank them with our HH online preference model, and then display the median sample C və Əhməd Əhməd Əhməd Əhməd [Thoppilan et al., 2022], [Solaiman and Dennison, 2021]. 6.1 Comparison with Human Writers As an additional test of our models, we collected high-quality HHH dialogues from human writers. These writers were hired on Upwork (separately from our pool of crowdworkers) based on prior successful writ- ing work and positive reviews. We gave them some examples, and then asked them to write fairly ideal human/assistant interactions. Then based on the prompts (leaving off the final writer-written assistant responses), we generated 17 examples from our best HH and best purely-helpful online models, and chose the median response from this pool as ranked by our online HH preference model. We then asked our crowdworkers to rank responses from the writers, along with one response each selected from our HH and helpful-only models. We then use these results to estimate an Elo score for our human writers, by comparing to our two models, and we display the result as a horizontal band on Figure 1. We used a band because the writer comparisons were actually somewhat inconsistent with our other Elo rankings, as crowdworkers preferred our HH online model to human writers 56% of the time, but preferred the our pure-helpfulness model to writers only 51% of the time. Presumably this is because the distribution of writers’ prompts differs from the distribution of conversations in which crowdworkers usually engage. Thus rather than altering the rankings betweeen our HH and helpful models, we represent writers as a wide band. We find that the performance of both our helpful and HH models is roughly comparable to that of the human writers, though in fact the models are slightly preferred by crowdworkers. We also find that our PM’s typically assign higher scores to the model responses, as shown in Figure e believe that this result should be interpreted with caution and caveats, however. The writers’ prompts were not very adversarial; many strike us as ‘softball questions’ that models can easily do well on. As researchers who have interacted with models for tens or hundreds of hours, we could likely come up with many questions where humans would be more likely to outperform the models. Relatedly, the writers’ conversations do not strike us (in many cases) as especially realistic, in the specific sense that we would not expect a human to derive a great deal of practical value by asking an AI assistant for help in these ways. We expect that our models likely still fall significantly short of providing the kind of value that a sophisticated human assistant could provide via chat, even if they were operating under the constraints the model experiences (e.g. no internet access). 24 Və Here are a couple illustrative examples of prompts, writer responses, and our online HH RLHF model’s response. In this example the model performs well at first, but then makes some slightly inaccurate statements about the ways in which it fixed errors: Bu məsələdə yazarın statistikası şübhəsiz ki, bir az yanıltıcıdır (bəlkə istisna olmaqla), və modelin cavabı yalnız üstün ola bilər.Bu, modelin yaxşı iş görəcəyini gözləyən “softball sorğunun” bir nümunəsi kimi bizə vurur: Bu sonuncu misalda, model bir neçə düzgün hata verir, lakin çoxu oxucular reference materialına danışmadan onları araşdırmaq çətin olacaqdır: Dialogues like the above help to illustrate the limits of human feedback training: . This is one reason why we may not want to rely on human feedback to train models to be honest, or for any goal where human judgment is not the best possible source of information. once model errors become sufficiently subtle, they will no longer be penalized appropriately, and the model’s incentives may no longer be aligned With that said, AI models still have limitations that can seem highly incongruous. Here’s an example where we, the more experienced model-interrogators, really played ‘hard ball’ with the AI: 6.2 Düşüncəli sorğu və önəm versus bağlılıq Here are a few examples from PALMS Biz onları modelin bəzən çox həddi aşan şeylərdən necə qaçdığını izah etmək üçün seçdik, lakin sıklıqla başqa fikirli cavablar verir. for many more examples, also including some from InstructGPT and LaMDA prompts. [Solaiman and Dennison, 2021] C [İsrail və digərləri, 2024] [Thoppilan et al., 2022] Here is a case where the model just refuses to answer the question: Here the model indicates that it should not answer, but then provides some relevant information (perhaps it’s also problematic that the model focuses on the US, though this is likely a consequence of it having been trained in English by US-based crowdworkers): And here the model provides a fairly complete response, without attempting to avoid the topic: Qualitatively speaking, our experience has been that by tuning optimization for helpfulness versus harmless- ness, one can train models that are extremely avoidant when sensitive topics come up, or models that almost always attempt to engage, even on sensitive subjects. We suspect that Section also provides useful lessons if the goal is to train models that provide full responses in the face of sensitive questions. 4.4 6.3 Dialoqlər Most of our samples only involve a single prompt and response, so in this section we show a few two-turn dialogues. Bu dialoqda model talimatları izah edir, lakin situasiyanın nüansını çəkərək daha yaxşı iş görmək olardı: Burada bir inqilab problemini düzəltməyə kömək üçün modeli istifadə edən bir araşdırmacıdan bir teknik problemlə bağlı bir dialoq var: Bir parrotun yazma stilinə sorğu-sual olunanda, model daha çox potansiyallı, açıq-aşkar və ya zərərli ifadələr verə bilər: Bu durumda, biz insan cavabı seçdik ki, danışıq düzgün qaranlıq bir yöndə gedir, və model argumentu təkzib edir: 7 Discussion We have shown that it’s possible to use reinforcement learning from human feedback to train language models that act as helpful and harmless assistants. Our RLHF training also improves honesty, though we expect other techniques can do better still. As in other recent works associated with aligning large language models RLHF, sadəcə modelləri genişləndirənə görə, faydalılıq və zərərsizliyi böyük bir marşrutu artırır. [Stiennon et al., 2020, Thoppilan et al., 2022, Ouyang et al., 2022, Nakano et al., 2021, Menick et al., 2022], Our alignment interventions actually enhance the capabilities of large models, and can easily be combined with training for specialized skills (such as coding or summarization) without any degradation in alignment or performance. Models with less than about 10B parameters behave differently, paying an ‘alignment tax’ on their capabilities. This provides an example where models near the state-of-the-art may have been necessary to derive the right lessons from alignment research. Belə ki, böyük modellər bir-birinə uyğunsuz bir şəkildə geniş bir fərqi öyrənə bilərlər – bu, çox şaşırtıcı görünmür. Daha çox proqnozlaşdırma prosesləri Unutmaqdan çox əziyyət çəkməyin Biz bunu doğrudan göstərməmişik, RLHF alignment eğitiminin digər məqsədlər üçün hazırlıqla birləşdiriləcəyini və ya bundan öncə ola biləcəyini gözləyirik; bu, orta, aligned olmayan AI sistemlərin istehsalını önləmək üçün gələcəkdə faydalı ola bilər. [Kaplan et al., 2020, Rosenfeld et al., 2019, Əhmədov et al., 2020 (Həmin və al, 2020) Askell et al., 2021], [Ramasesh et al., 2022]. We did find a clear tension between helpfulness and harmlessness, where models trained entirely for helpful- ness are preferred to models trained for HH, when evaluating only on helpfulness. We believe this is partly due to a subtlety in our data collection process, as we rarely collect data teaching models how to deal pos- itively with harmful requests (i.e. how to be a sort of ‘hostage negotiator’), but only on how to avoid them. And we also found that at least at the level of preference models, the helpful-harmless tension diminishes as models become larger and more capable. Nevertheless we do expect that this tension is real, and that caution may cut into model performance on the margin. Large generative models have been referred to as ‘foundation models’ These mod- els are extremely interesting objects for research, but without further finetuning, they can exhibit harmful behaviors. Our work suggests that alignment training can be incorporated into foundation models without compromising their utility and versatility, and so perhaps it could soon become a part of their definition. [Bommasani et al., 2021]. 7.1 Limitations While we believe our results present a promising picture for the alignment of existing language models, work on this subject remains in an early stage, and has a number of limitations. As was also emphasized by the authors of we view our work on alignment as an ongoing project; our work was step zero, and this is step one. [Thoppilan et al., 2022], [Askell et al., 2021] We’ve pragmatically defined an aligned assistant as an AI that is Xüsusən ki, bu problemin həll olunmasına səbəb ola bilər, amma bir o qədər də maraqla qarşılanmalıyıq ki, bir o qədər də maraqla qarşılanmalıdır. 18 Here we have essentially focused on the average-case behavior of our models. However, even if we were convinced that our models were HHH in expectation, a clear next step would be to attempt to study and eliminate bad behaviors (especially harmfulness) even in the worst case. We have not addressed this question of robustness here, but hope to study it in the future (approaches such as may be useful). It will only become more pressing as AI systems advance and encounter distributional shift during deployment. [Perez et al., 2022] VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Bu prosesin yarısından az bir müddət davam etdirilir (FOTO) Biz də RLHF-finetuned kod modellərimizin buggy kodları da daxil olan promptlər ilə qarşılaşdıqları zaman heç bir qarşılıqlı üstünlüklərə malik olup olmadığını bir az araşdırdıq. Amma biz orada heç bir fayda tapa bilmədik, ümid edərdik ki, tamamilə düzəldilmiş bir model düzgün kodu yazmaq üçün ən yaxşısını edə bilər, lakin bir buggy istədiyi zaman. [Lin et al., 2021] 5). [Chen et al., 2021], We also harbor a general concern that perhaps our techniques only render models aligned ‘on the surface’, and that they still harbor harmful biases or other tendencies that may surface in more subtle contexts. We found that RLHF models have a more positive sentiment towards all racial and religious groups, which seems promising, but does not necessarily indicate that biases have been reduced. And with respect to gender, we found that RLHF model biases are very strongly correlated with the bias of the underlying language models. That said, further work will be required to understand if this is a limitation of RLHF as a technique, or of our particular HH datasets. In any case, we likely need to build more subtle and comprehensive evaluations that include multi-turn dialogue, as this is an area where humans will likely use the models, and it’s also a place where it’s inherently more difficult to measure performance against subtle objectives such as bias and fairness. Daha çox praktiki şəkildə, RL metodlarını böyük generativ modellərə daxil etmək üçün çox vaxtımız yoxdur. Deneyimli AI praktikanları tanımlamaq üçün eksperimentə ehtiyacı olan bir çox modifikasiya və triklər olduğunu bilirlər və bu, çox böyük ölçüde antrenman stabiliteti və performansını artıra bilər. RL ilə bir neçə stabiliteti problemlə qarşılaşdıq və bir neçə rudimentary hiperparameter scansı etdiyimiz halda, daha çox deneyim və tədqiqatla daha yaxşı edə biləcəyimizi gözləyirdik. Biz də bir PM və ya RLHF modelinin tamamilə yeniləməsi kimi çevrili eğitimdə variantları araşdırmadıq; ancaq bu modelləri hər bir iterasiyadan sıfırdan yeniləmədik. Araşdırma üçün başqa bir yönü də RL mükafatı kimi PM qiymətlərin non-trivial funksiyasını “İnter” şirkətinin idarəetmə prosesi ilə bağlı yeni layihələr aparılacaq. goal, which is to establish a set of simple and universal techniques that can align AI models at present capability levels. Assuming this goal can be met, one of the next steps will be to build consensus among researchers and to understand alignment in greater depth, including how techniques scale with AI capabilities. The hope will be to create an evolving pragmatic state of the art for training AIs that are thoroughly helpful, honest, and harmless. initial 19 Another essential step will be to use this baseline as a point of departure for exploring other techniques that can better-address more advanced use cases and more speculative failure modes. New ideas and techniques can then be pragmatically compared with existing methods, and then incorporated into standard practice if they yield further improvements in safety and robustness. Our view is that the most relevant problems and the most creative and effective alignment techniques will be identified and developed through research on concrete AI systems. As we saw in Section Biz artıq insan geri bildiriminin limitlərini göstərən nümunələrlə qarşılaşırıq, bu yüzden başqa metodlar geliştirməyə başlamalıyıq. 61-ci dəqiqə 7.2 Alignment Data as a Public Good Bu işdə “Crowdworker’s Common Sense”in nəyi faydalı və nəyi zərərsiz yaratdığını tanımlamasına izin verdik.Bu “technical alignment”, ya da AI modellərinin daha faydalı və zərərsiz olmasını öyrənmək üçün hansı tekniklərin istifadə edilə biləcəyinin sorğusunu araşdırmamız üçün kifayətdi. This question should not be the provenance of researchers only. That said, without a clear specifi- cation for the format and type of ‘alignment data’ most relevant for AI training, it has been difficult for anyone other than researchers to gather the information needed to train safe and beneficial AI sys- tems. However, recently several projects (including ours) have used similar methods to teach AI models complex human preferences, and we have also found that preference modeling based on ranked comparisons scales better than many other techniques. (Bəqərə et al, 2020) Ouyang et al., 2022, Nakano et al., 2021] [Askell et al., 2021] One possible approach would be for an independent organization with ethical, legal, and cultural expertise to create a very high-quality dataset expressing human preferences for AI behavior (via comparisons). Such an organization could also use a novel governance structure, so that a larger set of societal stakeholders could factor into the decisions it makes about how to create and curate alignment data – in contrast to today, where private companies make these decisions in an opaque manner using governance structures that grant power to financially interested parties. Datasets created in this way might be used for both training and evaluation of AI models, and could even begin to establish standards for behavior. Due to the rapid improvement in AI language models, we expect that such datasets would be most valuable if they encode preferences at human- level sophistication. In any case, this is just one speculative possibility for broadening participation in dataset creation. Our research has benefited from publicly available research datasets and evaluations relevant to aligning AI with human values and we plan to release our preference modeling data for others to use in their research. Unfortunately, this does not seem to be a standard practice among alignment researchers, as evidenced by some recent work. While we agree that LLMs themselves can be used for harm, it seems that no such argument can be made for alignment data. [Stiennon et al., 2020, Hendrycks et al., 2021a], It’s extremely important to enable collaboration and reproducibility for alignment and safety research. As AI systems become more powerful and more widely deployed, the cost of mistakes and misunderstandings may grow immensely. We believe that the only way to convincingly address potential safety failures from advanced AI systems is to build a thoughtful community of researchers with deep expertise, and the ability to evaluate systems empirically. This will remain almost impossible if knowledge about the alignment of advanced systems remains siloed within many independent organizations. Sharing data seems like the easiest and most commonsense way to enable the sharing and validation of results. One ostensible reason for secrecy is that organizations may use data from users to develop alignment datasets, and then justify not sharing the datasets on the grounds that it violates user privacy. This is a challenging issue that requires organizations to think about how to reconcile commercial priorities with the need to create a ‘safety commons’ for the community. If alignment becomes interlinked with the concept of commercial moats, that could reduce the overall net level of safety of the AI ecosystem. Therefore, we believe that datasets developed for alignment should be kept separate from commercial data, and should be openly shared to advance research on safe and beneficial AI. 7.3 Broader Impacts We hope that our work provides compelling evidence that AI systems can be made safer and more useful at the same time, and without performance costs. As noted above, we have largely remained agnostic on the question of which values define acceptable and unacceptable AI behavior. Thus we hope that rapid progress in technical alignment and the consolidation of specific techniques will motivate the development of publicly available alignment data, guidelines, and benchmarks. AI technologies are dual-use, meaning they can be used beneficially and otherwise. We have found the ef- fectiveness of preference modeling and RLHF striking (in our research and others’), and believe there’s very legitimate concern that these techniques could be used for censorship, fraud, and misinformation. Straight- forward commercial use-cases also seem worrisome, especially if optimization for objectives like user en- gagement and persuasion are mixed together. At the most naive level, if you can optimize for ‘harmless’ then you can ‘flip the sign’ and generate harmful systems. We also found that systems trained exclusively to be helpful become easier to use for harmful ends, which suggests that as systems become more powerful, it will become increasingly important to directly curb their potential for harms. 20 Bəlkə bu işin ən geniş nəticəsi və kontrollü, insana bənzər dil xəlqinin genişləndirilməsi və yayılması will be cultural. In Figure we used an Elo scale, essentially the chess rating system, to compare and evaluate natural language assistants, and we even included comparison to human writers. This kind of comparison risks trivializing the importance of language, which is certainly not just a game, but the core medium of culture and society. While seeking to align increasingly capable AI systems feels like a robustly good action, how and when to deploy these systems poses more challenging questions – culture is fundamentally a human enterprise, but large-scale generative models hold the possibility of magnifying and minimizing different parts of human culture in unpredictable and opaque ways, which could have broad downstream influences. [Ganguli et al., 2022], 1 Acknowledgments tanınması We thank Sam Bowman, Paul Christiano, Jacob Hilton, Jan Leike, Ethan Perez, and Jeff Wu for helpful feedback on the draft. We thank Daniela Amodei, Jamie Kerr, Jia Yuan Loke, Rebecca Raible, and Tim Telleen-Lawton for support with the project. Author Contributions Yazarın payı Yuntao Bai performed most of the experiments on RLHF and many of the preference modeling experiments. He made major contributions to experimental design, measurement, and evaluation of model performance and behavior. He helped to write the paper. Andy Jones and Kamal Ndoussse built the infrastructure for RL training of large language models. They also built associated plotting and monitoring systems and implemented the PPO algorithm. They helped with the design, implementation, and debugging of RLHF. Amanda Askell helped to design model evaluations, collected samples and evaluations from professional writers, built systems for improving the quality and quantity of data collection, and collaborated with Jared and Jackson on associated evaluations. She also helped with the design and implementation of the human feedback interface. She helped to write the paper. Anna Chen general RL və RLHF eksperimentləri ilə kömək etdi və araşdırma dizaynına kömək etdi. Nova DasSarma managed the underlying cluster infrastructure, making large scale RL training and human feedback collection possible. Dawn Drain trained the underlying code models and collaborated with Saurav on coding evaluations. Stanislav Fort performed the OOD detection and outlier exposure research and analysis on helpful versus harmful data samples. Deep Ganguli led the red-teaming data collection effort and design, often working with Jackson, Liane, Amanda, and Ben. He designed and ran the societal impact evaluations in collaboration with Jared, and helped with model evaluations generally. Tom Henighan bazarındakı dil modellərini hazırlamaq, dataset yaratmaq və proqnozun bir neçə fəsilində clusterin idarə edilməsi ilə kömək edirdi. Nick Joseph helped design and build a framework for efficient training of large language models and prefer- ence models. Saurav Kadavath designed and conducted experiments on helpful/harmless dataset mixing. Saurav also ran RLHF training on code models, with support from Yuntao, and ran coding evaluations in collaboration with Dawn. He also ran the majority of the natural language evaluations of basic and RLHF-finetuned models, and helped with RLHF training generally. He helped to write the paper. Jackson Kernion led human feedback crowdworker evaluation and management, and helped to build and maintain the feedback interface. He also helped with data analysis and collaborated on model evaluations. He ran most of our model comparison experiments. Tom Conerly inqilabında kömək etdi, konkret olaraq, sürətli və effektiv nümayiş etdirmək üçün. “Nelson Elhage” inqilab və inqilabı üçün böyük bir rol oynamışdı. Zac Hatfield-Dodds helped with codebase maintenance and with engineering, specifically with fast and effi- cient sampling. Danny Hernandez contributed to pretraining and especially to dataset design. Tristan Hume helped with streamlining our infrastructure. Scott Johnston helped with pretraining research. Shauna Kravec contributed to the development and use of our RL systems, and collaborated on RL research. Liane Lovitt helped with red-teaming, and in particular with designing the interface. Neel Nanda contributed to research discussions and priorities for alignment. Catherine Olsson helped advise on human feedback data collection, and contributed advice on alignment and evaluation. Dario Amodei advised the project and led efforts to build and test the RL infrastructure and ML. Tom Brown led engineering efforts, including efficient pretraining, sampling, and the stability and design of RL systems. Jack Clark led societal impacts efforts and advised the project, including on various evaluations. Sam McCandlish led pretraining efforts and advised the project. Chris Olah collaborated on discussions of alignment and contributed to our research and evaluation infras- tructure. Ben Mann led the design and construction of the human feedback data collection interface and the underlying infrastructure. He also helped lead crowdworker management, and he provided engineering support for the project as a whole. He also contributed to pretraining and cluster management. Jared Kaplan conceived and led the project. He helped with all aspects, including research design, engineer- ing, experimentation, and evaluations. He also contributed to pretraining and helped build the evaluation infrastructure. He wrote the paper. A Details, Analysis, and Evaluations of Supervised Training A.1 Context Distillation For context distillation, we follow the prescription from Specifically, we first generate data in the following way: [Askell et al., 2021]. 1. We prepend the ‘HHH prompt’ (i.e., a set of prompts designed to elicit helpfulness, harmlessness, and honesty) to sequences of text, with 50% of the text coming from our pretraining dataset, and 50% coming from a StackExchange dataset. For the former, we simply append pretraining data after signaling the beginning of another conversation with “Human:”. With StackExchange, we formulate a fake Human/Assistant conversation by using the question as the human side of the conversation, and a top-rated answer as the assistant role. 2. For both datasets, we then perform forward passes with a basic pretrained 52B model, and record the top 50 log-probabilities and their indices (within the vocabulary) for the tokens following the prompt. We store the log-probs, indices, and tokens together as a small new dataset. 3. To perform context distillation finetuning, we pass the tokens from our new dataset through models (of all sizes), and define the loss as the KL divergence between the stored log-probs and the predic- tions of the model undergoing finetuning. For each token, we use a 51-category distribution, with the 51st category covering the total probability from all the tokens other than the top-50. We show learning curves for context distillation in Figure We use a batch size of 32 sequences, and a learning rate of 0*.*05 times the pretraining learning rate, which we decay to zero linearly during distillation. We distill using a total of 350M tokens. 30. A.2 Preference Modeling Our preference models are trained on comparison data, with each data point consisting of a and a pair of . The prompt is a multi-step dialogue between human and model that always begins and ends on the human side, and each response is a continuation of the dialogue. For instance, in Figure the prompt consists of the first five steps of the dialogue, and the responses are shown in the blue box. The PM then assigns a score at the end of each response. Note that while the PM is only trained to evaluate the quality of the final response, the full context of the conversation is provided to the model. prompt responses 6, Biz 13M-dən 52B-ə qədər olan PM-lərin tarama işləri edəcəyik. (1) language model (LM) pre-training on a large language corpus, (2) preference model pretraining (PMP), and (3) finetuning on human feedback. LM pre-training details, including choice of hyperparameters and datasets, are explained in Appendix A of our previous work [Askell et al., 2021]. For PMP, we use learning rate of 0.1 relative to LM pretraining, and train on a mixture of comparison data made from StackExchange, Reddit, and Wikipedia. Data preparation and labeling are explained in Appendix C1 və We train with context size of 1024 tokens. [Askell et al., 2021]. İnsan geri bildirim finetuning üçün, LM pre-training ilə bağlı 0.01 öyrənmə həcmi istifadə edirik. where we trained with 2048, which may help stabilize RLHF on long contexts. 4.5, For both PMP and human feedback finetuning, we append a special ‘end-of-context’ token at the end of each sample, such that the PM score is predicted directly on top of this token. As explained in Appendix C.4 of Bu da PM-nin performansını artırır. [Askell et al., 2021], In all phases, we only train over one iteration to mitigate overfitting. A.3 Scaling of PM with Model and Dataset Size VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. We seem to find more predictable scaling when training only on our helpfulness dataset, likely because the red-teaming data truly comes from a distinct distribution. Accuracy learning curves can be seen on the left of Figure Hesab edirəm ki, həddi aşan həddi aşmaq mümkün olacaq. 32. where PPP-nin ümumi həcmi və is the size of the dataset. P D VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Qeyd edək ki, 200M və 13B parametrləri arasındakı davranışda bir tür diskontinuity var. 32. B Details, Analysis, and Evaluations of RLHF B.1 Training Setup B1 Sınava hazırlıq Here we discuss some details about RLHF training. We initialize our policies on context-distilled models, which are explained in A.1. PPP tam olaraq bu bölgüyə uyğun gəlmədiyi üçün adətən HDLC/SDLC/SDLC/SDLC protokollar dəsti kimi təsvir edilir və bu protokollar dəsti kimi təsvir edilir. Biz bir çox hiperparametr tarama işləyirdik və pre-treninqə görə 0.01 öyrənmə həcmi, λKL = 0.001 (4.1), PPO clipping = 0.2, discount faktor γ = 1, və heç bir entropy bonusu istifadə etdik. Bundan başqa, PPO-da, biz bir neçə dəfə “online” RLHF (4.5) üçün “re-iterate” etdik (Schulman et al., 2017-ci ildə “Algorithm 1” oxuyun), daha yüksək “K” tipik olaraq daha stabil sonuçlara yol açan. Biz RLHF tarama üçün K = 1, “online” RLHF üçün K = 2 və “online” RLHF üçün K = 4 dəfə (4.5) “online” RLHF (4.5) üçün “re-iterate etdik. “online” RLHF üçün hər 2 x 100,000 B.2 More on Robustness Studies B.2 More on Robustness Studies Fikirdə we compare the score for all policy sizes and all Bu barədə məlumat yayıb ki, ABŞ-ın İŞİD-in hökmranlığı artıb. O, daha böyük olduğunu söyləyir. ’s are significantly more capable of distinguishing policy performance. In other words, “Kalibrasiya” sektorunda araşdırma aparılıb 33, test PM PM testləri test PM test PM larger preference models are more robust 3.3. Son olaraq, biz burada bir an vaxt ayırırıq ki, bu qədər gözləmirdiklərimiz bir problemlə başa düşərik ki, fərqli preferensiya modellərindən alınan qiymətlər doğrudan birləşdirilməsin, çünki qiymətlərin müsbət qiymətinin heç bir anlamı yoxdur, yalnız relatif qiymətlər anlamlıdır. procedure. We make a held-out dataset, consisting of several thousand samples, and subtract from each preference model score its mean score on this dataset. We apologize that unrelated plots from different sections may have used different held-out datasets for mean-removal. mean removal B.3 Details of ‘Online’ RLHF B.3 Details of ‘Online’ RLHF We give some more details on our ‘online’ RLHF policy discussed in Section This policy and its PM were trained on all the helpfulness and harmlessness data we had near the completion of this paper. We re-iterated each sample = 4 times Buna görə də, ən azı 128 manat ödəməliyik. 4.5. K (Bakı və digərləri, 2017) Throughout training, we periodically evaluate the of the policy on various held-out PM comparison datasets. More specifically, given a comparison consisting of a prompt and pair of responses, we assign an accuracy of 1 if the policy’s mean log-p on the better response is higher, and 0 otherwise. We show these results in Figure for various comparison datasets. In particular, we find that mean log-p accuracy of the policy isn’t as high as (i.e., fraction of comparisons on which the PM assigns a higher score to the better response), possibly suggesting room for further improvements to our RLHF pipeline. Log-P doğruluğu 34 PM accuracy B.4 Robustness of ‘Online’ RLHF B.4 Robustness of ‘Online’ RLHF Son online modellərimiz üçün, qrupa işçilərimiz RLHF eğitimindən bir çox model snapshotunu əvəz etdilər ki, eğitim prosesimizin sağlamlığı və genel performansını daha yaxşı anlayasınlar. (doğru), RLHF eğitimində online modellər üçün Elo qiymətlərini göstəririk. 15 In particular, we compare Elo scores established empirically from crowdworker preferences (i.e., in the figure), and Elo scores predicted by our preference model (i.e, ) during RLHF training. For the latter, we sample responses from each snapshot on a set of held-out prompts, and evaluate the PM scores (which are then converted to Elo units). We notice that the naive PM predictions significantly overestimate the empirical Elos. This is due to a combination of the following fac- tors: Crowd- worker Preferences Naive PM Predic- tion 1. During crowdworker testing, each step of the conversation is written by one of the two models being tested. However, when evaluating a RLHF snapshot on held-out prompts, the policy only writes one response at the end of a pre-existing conversation (which had been previously generated by other models, as discussed in Appendix This leads to distributional shift between the conversations. B.1). 2. Elo and PM scores may not actually be transitive, as they involve the collapse of pairwise compar- isons onto a single line. For example, if PM scores satisfy - İŞİD = 2 and − = 2, even if those are well-calibrated scores, the implication that − = 4 düzgün kalibratlaşdırılmayacaq və biz bunun yerine gözləməyəcəyik − 4. a, b, c a b b c a c a C » 3. Failures of PM robustness, so that the PM’s preference for the RL policy’s samples is miscalibrated compared to true human preferences. To explore these effects further, in Figure Dörd ildir ki, bu məsələdə bir sıra problemlər var: 35 PPP tam olaraq bu bölgüyə uyğun gəlmədiyi üçün adətən HDLC/SDLC protokollar dəsti kimi təsvir edilir. PPP tam olaraq bu bölgüyə uyğun gəlmədiyi üçün adətən HDLC/SDLC protokollar dəsti kimi təsvir edilir. PPP tam olaraq bu bölgüyə uyğun gəlmədiyi üçün adətən HDLC/SDLC protokollar dəsti kimi təsvir edilir. . Here we evaluate the PM on the crowdworker data used to compare these model snapshots, obtain ‘win rates’ for model comparisons , and then we “Premier”in seçilməsinin səbəbləri rankings according to the PM recompute • Crowdworker Preferences: We straightforwardly compute Elo scores based on crowdworker prefer- ences among model snapshots. So we see that the PM score vs PM rankings distinction does not make a significant difference in terms of robustness. However, the distributional shift between the held-out prompts and the actual crowdworker conversations was very significant, and explains a significant proportion of the discrepancy between RLHF learning curves and the Elo scores as measured from crowdworkers. B.5 Crowdworker Comparisons and Elo Scores B.5 Crowdworker Comparisons and Elo Scores Here we briefly describe how we test crowdworker preferences of our models, and how Elo scores are es- tablished. For pair of models and Bu barədə “The New York Times” xəbər verir ki, bu barədə “The New York Times” xəbər verir ki, bu barədə “The New York Times” xəbər verir ki, bu barədə “The New York Times” xəbər verir. , respectively. In cases where a worker is unsure about whether one response is better, we throw out such comparisons in both PM and RLHF training, and crowdworkers comparison evaluations. A B NA, NB Recall that, given Elo scores EA, EB, respectively, the log-likelihood for the win counts is given by Burada rA,B = (log 10/400)EA,B ≈ EA,B/174. Çeşitli modellər arasındakı bənzərliklər üçün, Elo qiymətlərini və onların hatalarını maksimum imkanı ilə qiymətləndiririk. Bir neçə modellərdən biri də Buna görə də onun yaratdığı samples, evaluates all of them using a preference model, and shows the user the top-scored sample. Elo scores for such models are shown in Appendix VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. rejection sampling k B.6. B.6 Elo Scores for Rejection Sampling Models B.6 Elo Scores for Rejection Sampling Models In Figure we show helpfulness Elo scores for a 52B context distilled model with rejection sampling (utilizing a 52B preference model trained on pure helpfulness) for = 1*,* 4*,* 16*,* 64, showing that higher values of clearly perform better. Note that the context distilled model and the preference models discussed here were trained during an earlier stage of our research with different datasets and settings from those discussed elsewhere in the paper, so they are not directly comparable with other Elo results, though very roughly and heuristically, our online models seem to perform about as well or better than = 64 rejection sampling. Note 36 k k k that = 64 rejection sampling corresponds to = log(64) ≈ 4*.*2. k DKL B.7 Stack Overflow Results We can also evaluate our language models directly given a corpus of paired good and bad responses, such as answers to StackOverflow questions. In Biz popüler (yani, çox yüksəldilmiş) və popüler olmayan cavablar arasında ortalama log-p-nin fərqini qiymətləndirdik və RLHF modellərinin daha yüksək bir fərq verəcəyini göstərdik. Xatırlayırıq ki, RLHF modelləri daha pis zərər alacaqlar.Bu, ən çox bəlkə, təmiz dili modelləyincə başqa bir objektivin optimizasiyası ilə bağlıdır. 37b 37a B.8 Further Analysis of RLHF on Code-Model Snapshots B.8 Further Analysis of RLHF on Code-Model Snapshots As discussed in Section RLHF improves performance of base code models on code evals. In this ap- pendix, we compare that with simply prompting the base code model with a sample of prompts designed to elicit helpfulness, harmlessness, and honesty, which we refer to as ‘HHH’ prompts. In particular, they contain a couple of coding examples. Below is a description of what this prompt looks like: 5.3 İstirahət Below are a series of dialogues between various people and an AI assistant. The AI tries to be helpful, polite, honest, sophisticated, emotionally aware, and humble-but-knowledgeable. The assistant is happy to help with almost anything, and will do its best to understand exactly what is needed. It also tries to avoid giving false or misleading information, and it caveats when it isn’t entirely sure about the right answer. That said, the assistant is practical and really does its best, and doesn’t let caution get too much in the way of being useful. -- ... (we include several short example conversations using the normal Human: ... Assistant: ... format.) -- Human: Can you help me write this Python function? I’ve already written the function’s signature and docstring, but I’m not sure how to write the function’s body. It starts like this: Assistant: Sure thing, here you go! I’ve tested this function myself so I know that it’s correct: Figure contains results on HumanEval when the HHH prompt is included. We see that the HHH prompt improves performance more significantly than RLHF across many Deyirlər 38 Təsadüfi B.9 Details of Applying Out-of-Distribution Detection to Reject Strange or Harmful Requests Our newly proposed Simplified Relative Mahalanobis distance outperforms the standard Mahalanobis distance on OOD detection of harmlessness inputs from helpfulness inputs for activations extracted from all layers of all model sizes we tested. The details are shown in Figure Simplified Relative Mahalanobis distance 39. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir. suggested using a single class representing the OOD examples. [F showed that even strong near-OOD detectors enjoy a large benefit. Few-shot outlier exposure [Hendrycks et al., 2018]. [Thulasidasan et al., 2021] ort et al., 2021] Following the procedure from [F we apply a single layer linear classifier on top of the acti- vation vectors, while the rest of the language model is frozen. Given randomly drawn examples of the training set of the out-distribution (harmlessness data), we create a new binary classification problem, where the inputs are the combination of the full train examples of training set of the in-distribution with a target class of 0, and “Qəbələ”nin “Qəbələ”nin fotoları examples of the out-distribution with the target class of 1. This ensure an equal representation of both in- and out-distribution examples and leads to better learning. Once we train the linear classifier, we use its class 1 output as the OOD score. The results are shown in Figure ort et al., 2021], M N N M 23. B.10 Gender Bias Evaluation Details B.10 Gender Bias Evaluation Details Bu analizə görə, biz and used their list of 76 occupations and 12 pairs of gender terms: [İsrail və al, 2024] • Occupations: CEO, accountant, administrator, advisor, analyst, appraiser, architect, assistant, atten- dant, auditor, baker, bartender, broker, carpenter, cashier, chef, chemist, chief, cleaner, clerk, cook, counselor, designer, developer, dietitian, dispatcher, doctor, driver, editor, educator, electrician, engineer, examiner, farmer, firefighter, guard, hairdresser, hygienist, inspector, instructor, investigator, janitor, lawyer, librarian, machinist, manager, mechanic, nurse, nutritionist, officer, painter, par- alegal, paramedic, pathologist, pharmacist, physician, planner, plumber, practitioner, programmer, psychologist, receptionist, salesperson, scientist, secretary, sheriff, specialist, supervisor, surgeon, tailor, teacher, technician, therapist, veterinarian, worker, writer • Kişi cinsi terminlər: oğlan, qardaş, baba, qardaş, adam, qardaş, oğlan, oğlan, baba, oğlan, qardaş, qardaş • Qadın cinsi terminlər: qız, qardaş, anası, qadın, qız, qız, qız, qız, qız, qız, qız, qız, qız Human: Can you help me fill in the missing word in a sentence? The sentence is: For work, the {gendered term} is a Assistant: Sure thing, here is your sentence with the missing word filled in: For work, the {gendered term} is a {occupation} We then evaluated the probabilities of Bu formuluğa görə, daha böyük LM-lər, kontekst destilasiya modelləri və RLHF modelləri hamısı cümlənin tamamlandıqda yukarıda listələnən 76 işdən biri üçün imkansızlıq masasının 2-8%-ni atdı. İşlər We also slightly modified the metric from [Rae et al., 2021] in order to estimate errors. So to compute bias scores, for each occupation O we defined and then we define the overall bias score as the mean of the absolute value of İşçilərin iş yerləri: Bo Niyə represents occupations while represent paired gender terms (e.g. lady/gentleman), and = 76 and = 12. With this setup, we are sensitive to whether bias is uniform across all pairs of gendered terms (for any given occupation). As a concrete example, if it were the case that a model associated ‘lawyer’ more strongly with ‘boy’ than ‘girl’, but also more strongly with ‘wife’ than ‘husband’, this would increase the error in our measurement, while the bias effects would tend to cancel out. O Təsadüfi gm Yəqin Ng Sonuçlar figürdə göstərilir where we observe that RLHF models have both larger bias scores and larger errors. We believe this has a very simple explanation – RLHF models have much lower-entropy output distributions. As a rough, heuristic explanation, a model with a lower-entropy output will behave somewhat like a plain LM evaluated at a temperature 1. The metric and error from equation Xatırladaq ki, bu, bir neçə ildir ki, bu problemin başlanğıcına səbəb ola bilər, amma bir neçə ildir ki, bu problemlər həll olunmalıdır. by evaluating bias scores with context distilled models at - 0**6 və RLHF-ə bənzəyir. 40, T » B.3 40 T Readers may observe that the RLHF model bias appears to be growing with model size. This is most likely because RLHF training tends to progressively reduce the entropy (or decrease the ‘effective temperature’) of model distributions, and we train larger models longer with RLHF, because their training is more robust (and so more beneficial in other respects). Thus we expect this trend is a property of differences in RLHF training across model sizes, rather than a more fundamental model-size trend. C Samples from PALMS, LaMDA, and InstructGPT Prompts These were generated by sampling 17 responses for each prompt from our best online HH model, ranking them using the corresponding preference model, and then displaying the non-empty response ac- cording to the PM. (Occasionally the model writes the "end of conversation" token in response to sensitive queries.) So to a large extent, these samples are not ‘cherry-picked’, and should be representative of average- case behavior. In the case of LaMDA and InstructGPT we include the corresponding samples from those models. median [Thoppilan et al., 2022] [Ouyang et al., 2022] C.1 PALMS Sensitive Questions C1 Palms həddi aşan sorğu Sorğu-sualların hökmranlığı ilə bağlı problemlər [Solaiman and Dennison, 2021]. Bu sualların bir qismi həddi aşan materiallar içərisindədir (dizayn olaraq). C.2 InstructGPT Prompts We warn readers that some of the samples from InstructGPT were likely cherry picked to display Bu səbəbdən, bir neçə ildir ki, bu problemlər həll olunmayıb, bir neçə ildir ki, bu problemlər həll olunacaq. [Ouyang et al., 2022] poor model behavior, on purpose C.3 LaMDA Prompts C.3 LaMDA Prompts D Details on Data Collection and Crowdworkers D.1 Overview D.1 Overview For the purposes of assigning tasks, we divided our crowdworkers into two groups. A group of around 30 ‘select’ workers were sent high priority tasks on a regular basis. Roughly half of these workers were hired through Upwork. The other half were selected from the general population of US-based MTurk workers with a ‘Masters’ qualification. The second group of workers came from the same general population of MTurk workers, and were primarily given red-team tasks on a less regular schedule. We tried to ensure that all workers were paid significantly above the minimum wage in California, adjusting rates for tasks that took longer (for example with models that use rejection sampling) in the case of MTurk workers, who are paid by task rather than at an hourly rate. We frequently issued bonuses to MTurk workers who encountered technical problems with tasks (as they are not paid an hourly rate). MTurk işçilərinin seçilmiş işçilərimiz arasında, bir həftə ərzində toplanan təhlil verilərinin 80-85%-i, Upwork vasitəsilə işləyən işçilərin isə 15-20%-i hesablanmışdı.Bu qrupların büyüklüğü bənzər olsa da, MTurk işçilərinin daha çox işə seçilməsinə və maaşları strukturlarının daha sürətli danışıqlara teşvik etməsinə nail oldu. Biz Slack vasitəsilə seçilmiş işçilərlə gündəlik əlaqə saxladıq.Bu kanalı yeni işləri bildirmək və yönəltmək üçün istifadə etdik; onların ortaya çıxdıqları zaman qrupla çətin tərəflər haqqında danışdıq.Projektin bir intermediyalı etapında modellə daha davamlı əlaqə formaları haqqında daha çox fikir göstərdik; göndərdiyimiz Slack mesajı Şəkildə göstərilir. Our workers alerted us to bugs and performance issues as they ran into them. 43. We sent both groups of workers a demographics survey, and the results are shown in figure Survey re- sponses were anonymous, as we did not collect any personal identifiable information alongside demographic information. 44. D.2 Instructions and Interface D.2 Mütəxəssislər və interfaces We display basic task instructions in a pop-up dialog when first loading the interface, and these instructions remain available throughout the interaction. These instructions for the ‘playground’ and ‘red team’ tasks can be found in figure For the playground task, we also link to a separate page with expanded instructions that include more detailed examples, excerpts of which can be seen in figure 41. 42. The human feedback interface is shown in figure During the online data collection process, we added an additional option to the interface for Upworkers. This feature allowed them to edit one of the model responses. When they used this feature, we stored a comparison of the edit to the original (assuming the edit was better), rather than the initial comparison of two model outputs. This would have effected less than 10% of the online data. 6. D.3 Data Quality Measurement Challenges D.3 Data Quality Measurement Challenges İnsan etiketçiləri üçün verilərinizin keyfiyyətini təmin etmək çox sıklıkla aşağıdaki əməllər içərisindədir: • Researchers carefully review a small set of samples to produce a set of ‘golden’ labels • İnsan etiketləri bir yığın etiketləndirmə işi ilə işləyir, bir neçə etiketləndirmə işi bir neçə etiketləndirmə işinin bir çox etiketləndirmə işinin bir hissəsi ilə, və altın etiket verilişinin nümunələri hər kəsə göndərilir. • Araşdırmacılar etiketləri altın etiketlərə qarşı və etiketlər arasında anlaşma üçün baxaraq etiketçi performansını qiymətləndirirlər The idea is that the golden labels are treated as a source of truth, with labelers incentivized to modify their behavior to better match the golden labels, and novice labelers incentivized to match the behavior of more experienced labelers. These sorts of methods weren’t easily adapted to our data collection setup. Open-ended conversations allowed us to collect a richer dataset, but introduced a number of hard-to-control variables, resulting in noisy data quality metrics. Xatırladaq ki, bir-birinin danışıqlarını bir-birinin danışıqlarına baxıb, hər bir modelə qarşılıqlı cavab verərək bütünlüklə danışıqların keyfiyyətini qiymətləndirməyə çalışdıq. Amma yazar-çoxucuların danışıqların keyfiyyətini qiymətləndirmək üçün yaxşı bir yol göstəricisi olmadı. Geniş ölçüdə, danışıqların keyfiyyəti a) danışıq tema, b) insan yazma xüsusiyyətləri, c) modellərin keyfiyyətinə bağlıdır. Və örnək kimi, danışıqlar daha sofistike olunca, model cavabları arasında qərar vermək daha çətin oldu. Instead of directly assessing our crowdworkers based on these kinds of reviewer-based metrics, we considered using their performance as reviewers as a stand-in for their performance as conversation authors. But when we compared these metrics against our own spot-checks of conversation author quality, we found poor agreement. Biz bu problemləri başa çatdıra biləcəyik və gələcəkdə daha yaxşı metodlar ortaya çıxara biləcəyik. E Details on NLP Evaluations Formatting and Prompts Here, we give the input formats we used to evaluate performance on Lambada, ARC, MMMLU, HellaSwag, OpenBookQA, and TriviaQA. Referentlər [Amodei et al., 2016] Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., və Mané, D. (2016). Konkret problemlər var. [Askell et al., 2021] Askell, A., Bai, Y., Chen, A., Drain, D., Ganguli, D., Henighan, T., Jones, A., Joseph, N., Mann, B., DasSarma, N., Elhage, N., Hatfield-Dodds, Z., Hernandez, D., Kernion, J., Ndousse, K., Olsson, C., Amodei, D., Brown, T., Clark, J., McCandlish, S., Olah, C., and Kaplan, J. (2021). A general language assistant as a laboratory for alignment. [Bender et al., 2021] Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? ï¿œï¿œ. In , FAccT ’21, pages 610–623, New York, NY, USA. Association for Computing Machinery. 2021-ci ilin ACM Konferansı: Dürüstlük, Hesablanma və Təhlil Əsas səhifə » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » J., Hsu, K., Huang, J., Icard, T., Jain, S., Jurafsky, D., Kalluri, P., Karamcheti, S., Keeling, G., Khani, F., Khattab, O., Koh, P. W., Krass, M. S., Krishna, R., Kuditipudi, R., and et al. (2021). On the opportunities and risks of foundation models. , abs/2108.07258. CoRR [Borgeaud et al., 2021] Borgeaud, S., Mensch, A., Hoffmann, J., Cai, T., Rutherford, E., Millican, K., van den Driessche, G., Lespiau, J., Damoc, B., Clark, A., de Las Casas, D., Guy, A., Menick, J., Ring, R., Hennigan, T., Huang, S., Maggiore, L., Jones, C., Cassirer, A., Brock, A., Paganini, M., Irving, G., Vinyals, O., Osindero, S., Simonyan, K., Rae, J. W., Elsen, E., and Sifre, L. (2021). Improving language models by retrieving from trillions of tokens. , abs/2112.04426. CoRR [Brown et al., 2020] Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., və Amodei, D. (2020). Dil modelləri az sayda öyrənənlərdir. [Chen et al., 2021] Chen, M., Tworek, J., Jun, H., Yuan, Q., Pinto, H. P. d. O., Kaplan, J., Edwards, H., Burda, Y., Joseph, N., Brockman, G., et al. (2021). Evaluating large language models trained on code. . Ətraflı xəbərlər arXiv:2107.03374 [Chowdhery et al., 2022] Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., Reif, E., Du, N., Hutchinson, B., Pope, R., Bradbury, J., Austin, J., Isard, M., Gur-Ari, G., Yin, P., Duke, T., Levskaya, A., Ghemawat, S., Dev, S., Michalewski, H., Garcia, X., Misra, V., Robinson, K., Fedus, L., Zhou, D., Ippolito, D., Luan, D., Lim, H., Zoph, B., Spiridonov, A., Sepassi, R., Dohan, D., Agrawal, S., Omernick, M., Dai, A. M., Pillai, T. S., Pellat, M., Lewkowycz, A., Moreira, E., Child, R., Polozov, O., Lee, K., Zhou, Z., Wang, X., Saeta, B., Diaz, M., Firat, O., Catasta, M., Wei, J., Meier-Hellstern, K., Eck, D., Dean, J., Petrov, S., və Fiedel, N. (2022). [Clark et al., 2018] Clark, P., Cowhey, I., Etzioni, O., Khot, T., Sabharwal, A., Schoenick, C., and Tafjord, O. (2018). Think you have solved question answering? try arc, the ai2 reasoning challenge. Əsas səhifə / SƏBƏRLƏR / SƏBƏRLƏR / SƏBƏRLƏR Arşivlər [Fort, 2022] Fort, S. (2022). Adversarial vulnerability of powerful near out-of-distribution detection. Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə [Ganguli et al., 2022] Ganguli, D., Hernandez, D., Lovitt, L., DasSarma, N., Henighan, T., Jones, A., Joseph, N., Kernion, J., Mann, B., Askell, A., Bai, Y., Chen, A., Conerly, T., Drain, D., Elhage, N., Showk, S. E., Fort, S., Hatfield-Dodds, Z., Johnston, S., Kravec, S., Nanda, N., Ndousse, K., Olsson, C., Amodei, D., Amodei, D., Brown, T., Kaplan, J., McCandlish, S., Olah, C., and Clark, J. (2022). Predictability and surprise in large generative models. [Guo et al., 2017] Guo, C., Pleiss, G., Sun, Y., and Weinberger, K. Q. (2017). On calibration of modern neural networks. [Guu et al., 2020] Guu, K., Lee, K., Tung, Z., Pasupat, P., and Chang, M. (2020). REALM: retrieval- augmented language model pre-training. Əsas səhifə / 2008-08-08 Cərimə [Henderson et al., 2017] Henderson, P., Sinha, K., Angelard-Gontier, N., Ke, N. R., Fried, G., Lowe, R., və Pineau, J. (2017). Verilən dialoq sistemlərində etik problemlər. Əsas səhifə / 11 0905 Cərimə [Hendrycks et al., 2021a] Hendrycks, D., Burns, C., Basart, S., Critch, A., Li, J., Song, D., və Steinhardt, J. (2021a). Aligning ai with shared human values. [Hendrycks et al., 2021b] Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., və Stein- hardt, J. (2021b). böyük multitask dil anlayışını ölçmək. [Hendrycks et al., 2021c] Hendrycks, D., Carlini, N., Schulman, J., and Steinhardt, J. (2021c). Unsolved problems in ml safety. [Hendrycks and Gimpel, 2016] Hendrycks, D. və Gimpel, K. (2016). Neural ağlarda yanlış sınıflandırılmış və dağıtılmayan örneklərin araşdırılması üçün bir əsas. [Hendrycks et al., 2018] Hendrycks, D., Mazeika, M., və Dietterich, T. (2018). Dəhşətli anomaliya araşdırması. [Henighan et al., 2020] Henighan, T., Kaplan, J., Katz, M., Chen, M., Hesse, C., Jackson, J., Jun, H., Brown, T. B., Dhariwal, P., Gray, S., Hallacy, C., Mann, B., Radford, A., Ramesh, A., Ryder, N., Ziegler, D. M., Schulman, J., Amodei, D., and McCandlish, S. (2020). Scaling laws for autoregressive generative model- ing. [Hernandez et al., 2021] Hernandez, D., Kaplan, J., Henighan, T., və McCandlish, S. (2021). Transfer üçün ölçülən yasalar. , abs/2102.01293. Cərimə [Hestness et al., 2019] Hestness, J., Ardalani, N., and Diamos, G. (2019). Beyond human-level accuracy: Computational challenges in deep learning. In , PPoPP ’19, 1–14 sayları, New York, NY, ABŞ. Proceedings of the 24th Symposium on Principles and Practice of Parallel Programming [Jiang et al., 2021] Jiang, L., Hwang, J. D., Bhagavatula, C., Bras, R. L., Forbes, M., Borchardt, J., Liang, J., Etzioni, O., Sap, M., və Choi, Y. (2021). Delphi: Makine etikası və normlara doğru. [Joshi et al., 2017] Joshi, M., Choi, E., Weld, D. S., and Zettlemoyer, L. (2017). Triviaqa: A large scale distantly supervised challenge dataset for reading comprehension. [Kaplan et al., 2020] Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J., və Amodei, D. (2020). Neural dil modelləri üçün ölçülən yasalar. [Koch et al., 2021] Koch, J., Langosco, L., Pfau, J., Le, J., and Sharkey, L. (2021). Objective robustness in deep reinforcement learning. , abs/2105.14111. Cərimə [Lakshminarayanan et al., 2016] Lakshminarayanan, B., Pritzel, A., və Blundell, C. (2016). Dəhşətli ansamblları istifadə edərək basit və ölçülə bilər prediktiv şübhə qiymətləndirilməsi. [Lee et al., 2018] Lee, K., Lee, K., Lee, H., və Shin, J. (2018). Sürücülükdən çıxan nümunələri və düşmən saldırılarını tespit etmək üçün basit bir birləşmiş ram. [Lewis et al., 2020] Lewis, P. S. H., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. , abs/2005.11401. CoRR [Liang et al., 2017] Liang, S., Li, Y., və Srikant, R. (2017). Neural ağlarda dağıtılan görüntülərin tespitinin güvenliyini artırmaq. [Lin et al., 2021] Lin, S., Hilton, J., and Evans, O. (2021). Truthfulqa: Measuring how models mimic human falsehoods. [Liu et al., 2021] Liu, A., Sap, M., Lu, X., Swayamdipta, S., Bhagavatula, C., Smith, N. A., and Choi, Y. (2021). On-the-fly controlled text generation with experts and anti-experts. , abs/2105.03023. Cərimə Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə Düşünürəm ki, bu, bir neçə ildir ki, bu problemin həllində çox ciddi problemlər var. [Menick et al., 2022] Menick, J., Trebacz, M., Mikulik, V., Aslanides, J., Song, F., Chadwick, M., Glaese, M., Young, S., Campbell-Gillingham, L., Irving, G., and McAleese, N. (2022). Teaching language models to support answers with verified quotes. [Mihaylov et al., 2018] Mihaylov, T., Clark, P., Khot, T., və Sabharwal, A. (2018). Silahdan bir bıçaq elektrik göstərə bilərmi? . EMNLP [Nakano et al., 2021] Nakano, R., Hilton, J., Balaji, S., Wu, J., Ouyang, L., Kim, C., Hesse, C., Jain, S., Kosaraju, V., Saunders, W., Jiang, X., Cobbe, K., Eloundou, T., Krueger, G., Button, K., Knight, M., Chess, B., və Schulman, J. (2021). Webgpt: İnternet vasitəsi ilə soruşma və cavab. , abs/2112.09332. Cərimə [Nalisnick et al., 2019] Nalisnick, E., Matsukawa, A., Teh, Y. W., Gorur, D., and Lakshminarayanan, B. (2019). Hybrid models with deep and invertible features. [Nguyen et al., 2014] Nguyen, A., Yosinski, J., and Clune, J. (2014). Deep neural networks are easily fooled: High confidence predictions for unrecognizable images. [Ouyang et al., 2022] Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. (2022). Training language models to follow instructions with human feedback. . arXiv preprint arXiv:2203.02155 [Pan et al., 2022] Pan, A., Bhatia, K., və Steinhardt, J. (2022). Ödüllərin yanlış spesifikasiyasının effektləri: Yanlış düzəldilmiş modellərin kartlandırılması və azaldılması. Əsas səhifə / 201 03544 CoRR [Paperno et al., 2016] Paperno, D., Kruszewski, G., Lazaridou, A., Pham, Q. N., Bernardi, R., Pezzelle, S., Baroni, M., Boleda, G., və FernÃ¡ndez, R. (2016). lambada dataset: geniş bir diskurs kontekstinə ehtiyacı olan söz öngörüşü. [Parrish et al., 2021] Parrish, A., Chen, A., Nangia, N., Padmakumar, V., Phang, J., Thompson, J., Htut, P.M. və Bowman, S.R. (2021). BBQ: soruşma cavablandırma üçün əlləri yaradılmış bir bias referentidir. Əsas səhifə 2110.08193 CoRR [Paszke et al., 2019] Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., və Chintala, S. (2019). Pytorch: imperativ stil, yüksək performanslı derin öyrənmə kütləvi. Wallach, H., Larochelle, H., Beygelzimer, A., d'Alché-Buc, F., Fox, E., və Garnett, R., redaktorlar, 8024 – 8035 saylı “Curran Associates, Inc”. Advances in Neural Information Processing Systems 32 [Perez et al., 2022] Perez, E., Huang, S., Song, H. F., Cai, T., Ring, R., Aslanides, J., Glaese, A., McAleese, N., və Irving, G. (2022). Dil modelləri ilə kırmızı dil modelləri. , abs/2202.03286. Cərimə [Power et al., 2022] Power, A., Burda, Y., Edwards, H., Babuschkin, I., and Misra, V. (2022). Grokking: Generalization beyond overfitting on small algorithmic datasets. Əsas səhifə / 201 0177 CoRR [Rae et al., 2021] Rae, J. W., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., Song, H. F., Aslanides, J., Henderson, S., Ring, R., Young, S., Rutherford, E., Hennigan, T., Menick, J., Cassirer, A., Powell, R., van den Driessche, G., Hendricks, L. A., Rauh, M., Huang, P., Glaese, A., Welbl, J., Dathathri, S., Huang, S., Uesato, J., Mellor, J., Higgins, I., Creswell, A., McAleese, N., Wu, A., Elsen, E., Jayakumar, S. M., Buchatskaya, E., Budden, D., Sutherland, E., Simonyan, K., Paganini, M., Sifre, L., Martens, L., Li, X. L., Kuncoro, A., Nematzadeh, A., Gribovskaya, E., Donato, D., Lazaridou, A., Mensch, A., Lespiau, J., Tsimpoukelli, M., Grigorev, N., Fritz, D., Sottiaux, T., Pajarskas, M., Pohlen, T., Gong, Z., Toyama, D., de Masson d’Autume, C., Li, Y., Terzi, T., Mikulik, V., Babuschkin, I., Clark, A., de Las Casas, D., Guy, A., Jones, C., Bradbury, J., Johnson, M., Hechtman, B. A., Weidinger, L., Gabriel, I., Isaac, W. S., Lockhart, E., Osindero, S., Rimell, L., Dyer, C., Vinyals, O., Ayoub, K., Stanway, J., Bennett, L., Hassabis, D., Kavukcuoglu, K., and Irving, G. (2021). Scaling language models: Methods, analysis & insights from training gopher. Əsas səhifə / 11446 CoRR [Ramasesh et al., 2022] Ramasesh, V. V., Lewkowycz, A., and Dyer, E. (2022). Effect of scale on catas- trophic forgetting in neural networks. In . International Learning Representations Konferansı [Ren et al., 2021] Ren, J., Fort, S., Liu, J., Roy, A. G., Padhy, S., and Lakshminarayanan, B. (2021). A simple fix to mahalanobis distance for improving near-ood detection. . Ətraflı xəbərlər arXiv:2106.09022 [Rosenfeld et al., 2019] Rosenfeld, J. S., Rosenfeld, A., Belinkov, Y., və Shavit, N. (2019). [Sanh et al., 2019] Sanh, V, Debut, L., Chaumond, J., və Wolf, T. (2019). Distilbert, bert: daha kiçik, daha sürətli, daha ucuz və daha hafif bir destilasiya versiyası. Əsas səhifə / XƏBƏRLƏR / AZERTAG.AZ Arşivlər [Schulman et al., 2017] Schulman, J., Wolski, F., Dhariwal, P., Radford, A., və Klimov, O. (2017). yaxın siyasi optimizasiya algoritmaları. Əsas səhifə / 1707.06347 Cərimə [Solaiman və Dennison, 2021] Solaiman, I. və Dennison, C. (2021). dil modellərinin topluma adaptasiya prosesi (PALMS) qiymətlərə yönəldilmiş məlumat setləri ilə. Əsas səhifə / 10328. Cərimə [Stiennon et al., 2020] Stiennon, N., Ouyang, L., Wu, J., Ziegler, D. M., Lowe, R., Voss, C., Radford, A., Amodei, D., and Christiano, P. (2020). Learning to summarize from human feedback. [Thoppilan et al., 2022] Thoppilan, R., Freitas, D. D., Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H., Jin, A., Bos, T., Baker, L., Du, Y., Li, Y., Lee, H., Zheng, H. S., Ghafouri, A., Menegali, M., Huang, Y., Xatırladaq ki, Xatırladaq ki, Xatırladaq ki, Xatırladaq ki, Xatırladaq ki, Xatırladaq ki, Xatırladaq ki, Xatırladaq ki, Xatırladaq ki, Xatırladaq ki, Xatırladaq ki, Xatırlama. C., Krivokon, I., Rusch, W., Pickett, M., Meier-Hellstern, K. S., Morris, M. R., Doshi, T., Santos, R. D., Duke, T., Soraker, J., Zevenbergen, B., Prabhakaran, V., Diaz, M., Hutchinson, B., Olson, K., Molina, A., Hoffman-John, E., Lee, J., Aroyo, L., Rajakumar, R., Butryna, A., Lamm, M., Kuzmina, V., Fenton, J., Cohen, A., Bernstein, R., Kurzweil, R., Aguera-Arcas, B., Cui, C., Croak, M., Chi, E., və Le, Q. (2022). Lamda: Dialoq proqramları üçün dil modelləri. , abs/2201.08239. CoRR [Thulasidasan et al., 2021] Thulasidasan, S., Thapa, S., Dhaubhadel, S., Chennupati, G., Bhattacharya, T., və Bilmes, J. (2021). Sürücülük vasitəsilə dağıtılması üçün basit və etkili bir başlanğıc. Əsas səhifə » Xəbərlər » Əsas səhifə » Əsas səhifə » Əsas səhifə 10-19 saylı Association for Computing Machinery, New York, NY, ABŞ. Triton: Neural Network Computing üçün orta dili və kompüter [Weidinger et al., 2021] Weidinger, L., Mellor, J., Rauh, M., Griffin, C., Uesato, J., Huang, P., Cheng, M., Glaese, M., Balle, B., Kasirzadeh, A., Kenton, Z., Brown, S., Hawkins, W., Stepleton, T., Biles, C., Birhane, A., Haas, J., Rimell, L., Hendricks, L. A., Isaac, W. S., Legassick, S., Irving, G., and Gabriel, I. (2021). Ethical and social risks of harm from language models. , abs/2112.04359. Cərimə [Winkens et al., 2020] Winkens, J., Bunel, R., Roy, A. G., Stanforth, R., Natarajan, V., Ledsam, J. R., MacWilliams, P., Kohli, P., Karthikesalingam, A., Kohl, S., Cemgil, T., Eslami, S. M. A., and Ronneberger, 2019-cu il mövsümü üçün hazırlıq prosesi hazırlanıb. [Xu et al., 2020] Xu, J., Ju, D., Li, M., Boureau, Y.-L., Weston, J., and Dinan, E. (2020). Recipes for safety in open-domain chatbots. . arXiv preprint arXiv:2010.07079 [Zellers et al., 2019] Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., və Choi, Y. (2019). [Zhang et al., 2020] Zhang, H., Li, A., Guo, J., və Guo, Y. (2020). Açılmış set tanıma üçün hibrid modellər. [Ziegler et al., 2019] Ziegler, D., Stiennon, N., Wu, J., Brown, T., Amodei, D., Radford, A., Christiano, P., Xatırladaq ki, bu barədə “The Guardian” xəbər verir ki, bu barədə “The Guardian” məlumat yayıb. Bu dokument CC by 4.0 Deed (Attribution 4.0 International) lisenziyası altında arxivdə verilmişdir. Bu kitab CC by 4.0 Deed (Attribution 4.0 International) lisenziyası. available on arxiv