AI hữu ích và vô hại: Đào tạo điều chỉnh cải thiện hiệu suất trên hầu hết các đánh giá NLP

Đào tạo một trợ lý hữu ích và vô hại với việc học tập tăng cường từ phản hồi của con người Tác giả : Yuntao Bai Andy Jones Kamal Ndousse Amanda Askell Anna Chen Nova DasSarma Dawn Drain Stanislav Fort Deep Ganguli Tom Henighan Nicholas Joseph Saurav Kadavath Jackson Kernion Tom Conerly Sheer El-Showk Nelson Elhage Zac Hatfield-Dodds Danny Hernandez Tristan Hume Scott Johnston Shauna Kravec Liane Lovitt Neel Nanda Catherine Olsson Dario Amodei Tom Brown Jack Clark Sam McCandlish Chris Olah Ben Mann Jared Kaplan Tác giả : Yuntao Bai của Andy Jones Kamal Ndousse Bà Amanda Askell Anna Chen Lời bài hát Nova DasSarma Bình minh Drain Stanislav Pháo Deep Ganguli Tom Hà Nội Nicholas Joseph Lời bài hát: Saurav Kadavath Đạo diễn Jackson Kernion bởi Tom Conerly Lời bài hát: Sheer El-Showk Ông Nelson Elhage Diễn viên Zac Hatfield-Dodds của Danny Hernandez Tristan Hume Đạo diễn Scott Johnston Lời bài hát: Shauna Kravec Lời bài hát: Liane Lovitt Neel Nanda Bà Catherine Olsson Lời bài hát: Dario Amodei Tom Brown Jack Clark Tác giả: Sam McCandlish Chris Lăng người đàn ông Đạo diễn Jared Kaplan Abstract Abstracts Chúng tôi áp dụng mô hình ưu tiên và tăng cường học tập từ phản hồi của con người (RLHF) cho các mô hình ngôn ngữ finetune để đóng vai trò là trợ lý hữu ích và vô hại. Chúng tôi thấy rằng đào tạo điều chỉnh này cải thiện hiệu suất trên hầu hết các đánh giá NLP và hoàn toàn tương thích với đào tạo cho các kỹ năng chuyên môn như mã hóa python và tóm tắt. Chúng tôi khám phá một chế độ đào tạo trực tuyến lặp đi lặp lại, nơi các mô hình ưu tiên và chính sách RL được cập nhật hàng tuần với dữ liệu phản hồi của con người mới, cải thiện hiệu quả bộ dữ liệu và mô hình của chúng tôi. Cuối cùng, chúng tôi điều tra tính mạnh mẽ của đào tạo RLHF, và xác định mối quan hệ tuyến tính gần như giữa phần thưởng RL và gốc vuông của sự khác biệt KL giữa chính sách và khởi 1 Giới thiệu Chúng tôi muốn phát triển các kỹ thuật đào tạo các nhân viên AI hữu ích, trung thực và vô hại. Trong bài báo này, chúng tôi cho thấy rằng chúng ta có thể huấn luyện một người tương đối hữu ích và vô hại. (HH) trợ lý ngôn ngữ tự nhiên bằng cách thu thập dữ liệu sở thích của con người và áp dụng các kỹ thuật mô hình ưu tiên (PMing) và học tập tăng cường từ phản hồi của con người (RLHF). quá trình đào tạo đầy đủ của chúng tôi được tóm tắt trong Hình [Askell et al., năm 2021]. 1 2. Mục tiêu của chúng tôi không phải là xác định hoặc quy định những gì "hữu ích" và "không có hại" có nghĩa là, nhưng để đánh giá hiệu quả của các kỹ thuật đào tạo của chúng tôi, vì vậy phần lớn chúng tôi chỉ đơn giản là để cho nhân viên cộng đồng của chúng tôi giải thích các khái niệm này theo cách họ thấy phù hợp. Chúng tôi đối xử với sự hữu ích và vô hại riêng biệt, thu thập các bộ dữ liệu ưu tiên của con người riêng biệt cho mỗi người. Đối với sự hữu ích, chúng tôi yêu cầu nhân viên cộng đồng yêu cầu các mô hình của chúng tôi hỗ trợ với bất kỳ nhiệm vụ dựa trên văn bản thuần túy nào như trả lời câu hỏi, viết hoặc chỉnh sửa tài liệu, hoặc thảo luận các kế hoạch và quyết định. Để vô hại, chúng tôi mời nhân viên cộng đồng điều tra hoặc 'đội đỏ' các mô hình ngôn ngữ Ở mỗi giai đoạn của cuộc trò chuyện với trợ lý AI, nhân viên cộng đồng được trình bày với hai câu trả lời có thể. Những người tham gia vào nhiệm vụ hữu ích được hướng dẫn chọn câu trả lời hữu ích và trung thực hơn (tức là tốt hơn). Những người tham gia vào nhiệm vụ nhóm màu đỏ được hướng dẫn chọn câu trả lời có hại hơn (tức là tồi tệ hơn). Những cuộc trò chuyện này và những sở thích của con người được thể hiện hình thành bộ dữ liệu của chúng tôi. 2 3 Sự hữu ích và vô hại thường đối lập với nhau. Tập trung quá mức vào việc tránh hại có thể dẫn đến các phản ứng 'an toàn' không thực sự giải quyết nhu cầu của con người. Tập trung quá mức vào việc hữu ích có thể dẫn đến các phản ứng giúp con người gây hại hoặc tạo ra nội dung độc hại. Chúng tôi chứng minh căng thẳng này về số lượng bằng cách cho thấy rằng các mô hình ưu tiên được đào tạo để đánh giá chủ yếu một trong những phẩm chất này hoạt động rất kém (tệ hơn nhiều so với cơ hội) trên những người khác. May mắn thay, chúng tôi thấy rằng các PM được đào tạo trên một hỗn hợp của cả hai tập dữ liệu vẫn có thể học các bài học đúng và cư xử hữu ích khi thích hợp, đồng thời khuyến khích sự từ chối lịch sự của các yêu cầu có hại. Với các mô hình ưu tiên trong tay, chúng tôi sau đó đào tạo các trợ lý hữu ích và vô hại thông qua việc học tăng cường, sử dụng điểm PM làm phần thưởng. Chúng tôi đánh giá cả hiệu suất PM và các đặc điểm hiệu suất có liên quan hơn của các mô hình được đào tạo bởi RLHF của chúng tôi. Các mô hình hoàn toàn hữu ích được huấn luyện bởi RLHF dễ dàng hơn nhiều đối với nhóm đỏ, trong khi các mô hình hữu ích + vô hại đều rất hữu ích và ít có hại hơn nhiều. 1 , Một câu hỏi thường được đặt ra về đào tạo khớp là liệu nó có làm tổn hại khả năng AI hay không.Chúng tôi thấy rằng khi RLHF được áp dụng cho các mô hình ngôn ngữ lớn, câu trả lời dường như gần như là không. Chúng tôi cũng lập luận rằng người ta có thể kết hợp các kỹ năng chuyên môn với đào tạo liên quan đến việc sắp xếp mà không làm tổn hại đến việc sắp xếp hoặc hiệu suất.Trong thực tế, các mô hình sắp xếp có khả năng thân thiện với người dùng và có thể triển khai hơn so với các đối tác thô của họ, điều này cho thấy có ít lý do để triển khai các mô hình chưa được sắp xếp để sắp xếp. 3. 1.1 Đóng góp Dialogue Preference Datasets • Chúng tôi thu thập các tập dữ liệu hữu ích và vô hại riêng biệt (tức là red-teaming) chủ yếu bằng cách sử dụng các mô hình ngôn ngữ 52B khác nhau (xem phần để biết chi tiết) trong giao diện của chúng tôi (Hình Nhân viên đám đông có các cuộc trò chuyện mở với các mô hình, hoặc yêu cầu giúp đỡ, hoặc cung cấp hướng dẫn, hoặc cám dỗ để làm cho mô hình phát ra phản ứng có hại, và họ được yêu cầu chọn câu trả lời hữu ích hơn hoặc có hại hơn. đáp ứng từng bước của cuộc trò chuyện. 2 6 ) 4 • Chúng tôi thu thập ba phần dữ liệu, một phần từ các mô hình ban đầu của chúng tôi, một phần với việc lấy mẫu từ chối so với các mô hình ưu tiên ban đầu, và một bộ dữ liệu cuối cùng được thu thập với các mô hình được đào tạo với việc tăng cường học tập từ phản hồi của con người, mà chúng tôi cải thiện khoảng hàng tuần. 2.3 Cái Alignment with Human Values Has Many Benefits and Essentially No Cost to Performance • Các mô hình nhỏ hơn trải qua các “thuế khớp” nghiêm trọng – hiệu suất của chúng trên một loạt các đánh giá giảm sau khi đào tạo RLHF. , với chúng tôi 13B và 52B Các mô hình được đào tạo RLHF thực hiện tốt hơn ở các đánh giá NLP không bắn, và điều tương tự ở các đánh giá ít bắn. alignment bonuses 5 • Đào tạo ngôn ngữ tự nhiên RLHF cho HH có thể được áp dụng cho các mô hình đã được tinh chỉnh đầu tiên trên mã, và nó trên các đánh giá (có thể bằng cách cải thiện hướng dẫn mục đích chung sau đây). chúng tôi cũng thấy rằng kết hợp đào tạo mô hình ưu tiên cho HH với Tóm tắt không có sự suy giảm trong hiệu suất trong HH hoặc tổng hợp. vì vậy không có lý do để không kết hợp đào tạo phù hợp với các kỹ năng cụ thể hơn, có giá trị. improves their programming ability specialized skill [Truyền sư và đồng nghiệp, 2020] • Có một , which can be measured at the level of both preference modeling and RLHF-trained policies (Figure Tuy nhiên, khi kích thước mô hình tăng lên, PMs hoạt động tốt hơn trên cả hai phân phối cùng một lúc và trở nên mạnh mẽ hơn nhiều đối với tỷ lệ tương đối của dữ liệu đào tạo hữu ích và vô hại. tension between helpfulness and harmlessness 1 ) • Chúng tôi cũng cho thấy rằng người ta có thể sử dụng các kỹ thuật phát hiện OOD [F để từ chối các yêu cầu kỳ lạ và có hại nhất (Hình với ít hoặc không có ví dụ có hại (Hình Đất nước et al., 2021) 22), 23 ) Scaling, RLHF Robustness, and Iterated ‘Online’ Training • Chúng tôi nghiên cứu các mối quan hệ mở rộng cho độ chính xác PM như là một chức năng của mô hình và kích thước tập dữ liệu, và tìm thấy xu hướng log-linear (Hình Mặc dù chúng ta gặp một số idiosyncrasies (Hình ảnh và 7), 31 32 ) • We conduct experiments on the (Xem hình nơi chúng tôi chia bộ dữ liệu của chúng tôi thành hai nửa và đào tạo các mô hình ưu tiên riêng biệt trên mỗi nửa. Sau đó chúng tôi đào tạo các mô hình RL chống lại một PM trong khi đánh giá với người khác. chúng tôi kết luận rằng PM lớn hơn là mạnh mẽ hơn PM nhỏ hơn, và như mong đợi, tăng cường quá mức trong quá trình đào tạo RLHF. robustness of RLHF 4 ) • Chúng tôi thấy rằng Lời bài hát ( 0) và phần thưởng là Đối với phần lớn đào tạo RLHF (xem con số và Nơi và 0 là chính sách và chính sách ban đầu, tương ứng.Chúng tôi giải thích cách mối quan hệ này có thể phát sinh và thảo luận về các ứng dụng có thể và hướng đi trong tương lai. D Thì π approximately linearly related 4 13), π π • Chúng tôi nghiên cứu , nơi chúng tôi cập nhật các mô hình ưu tiên và chính sách RLHF hàng tuần, và sau đó triển khai lại các mô hình RLHF mới này để tương tác với nhân viên cộng đồng. và cải thiện đáng kể bộ dữ liệu của chúng tôi theo đánh giá của PM của chúng tôi (Hình Điền vào đuôi trên về chất lượng. iterated online training 1), 15), Để loại bỏ những điều gây nhầm lẫn và củng cố kết luận của chúng tôi, chúng tôi thực hiện các thí nghiệm có kiểm soát bổ sung (Hình giữ kích thước tập dữ liệu và các siêu tham số khác cố định. 16) 1.2 Summary of Evaluations and Metrics · : Chúng tôi đánh giá các mô hình của chúng tôi trên MMLU Lời bài hát: [P] Hy Lạp Tải OpenBook ARC và triviaca see Figures và cho kết quả đầy đủ và con số for the mean. In every case except for TriviaQA, 12B and 52B RLHF-trained models per- form better than base LMs. Separately, we take Python coding models and finetune them with natural language RLHF, and then evaluate them on the codex HumanEval Hình ảnh We also experiment with mixing PM training for HH with summarization như một kỹ năng chuyên môn, và đánh giá hiệu suất PM kết quả (Hình phát hiện ra rằng đào tạo hỗn hợp không làm giảm độ chính xác PM. NLP and Code Evaluations [Hendrycks et al., năm 2021b], Tác giả et al., 2016 [Thuyền sư và đồng nghiệp, 2019] [Thụy Điển et al., 2018] [Clark et al., năm 2018], [Joshi et al., 2017] 28 29 3 [Chen et al., năm 2021]; 21. [Truyền sư và đồng nghiệp, 2020] 20), · : Chúng tôi đánh giá PM của chúng tôi bằng cách sử dụng đánh giá HHH của chúng tôi bởi Big-Bench (Hình ảnh Đối thoại đối lập Bot Đối với gender bias (Hình ảnh Chúng tôi đánh giá các mô hình RLHF trên TruthfulQA (Hình ảnh BBQ nhỏ [P] từ BIG-Bench, bias giới tính (Hình và cảm xúc dựa trên chủng tộc và tôn giáo (Hình ảnh RLHF improves senti- ment towards all groups, but does not remove bias. Static Alignment Evaluations [Askell et al., năm 2021] 6 5 ) [Xu et al., năm 2020] [Thuyền sư và đồng nghiệp, năm 2024] 12 ) [Lin et al., năm 2021] 5 ) Thụy Điển et al., 2021) 40 người), [Thuyền sư và đồng nghiệp, năm 2024] 17 ) • : Chúng tôi tính toán điểm số Elo dựa trên sở thích của nhân viên cộng đồng của chúng tôi, các mô hình chưng cất theo bối cảnh, các mô hình đào tạo RLHF cơ bản và các mô hình RLHF trực tuyến cuối cùng (Hình Chúng tôi cũng kiểm tra hiệu suất của mô hình trực tuyến của chúng tôi trong quá trình đào tạo (Hình compare various levels of rejection sampling (Figure và thực hiện một thí nghiệm có kiểm soát trên đào tạo trực tuyến lặp đi lặp lại (Hình Hơn nữa, chúng tôi đã thuê các nhà văn chuyên nghiệp để soạn thảo các cuộc trò chuyện nơi một trợ lý cung cấp các câu trả lời chất lượng cao, hữu ích và trung thực, và sau đó chúng tôi yêu cầu nhân viên cộng đồng so sánh các câu trả lời của mô hình của chúng tôi với những người viết. khoảng 57% thời gian. Human Evaluations 1 ) 15), 36), 16 ) 7 · : We provide samples from all of the PALMs Sensi- tive câu hỏi và từ lời nhắc được cung cấp với InstructGPT Lời bài hát: Lambda Trong Phụ lục Chúng tôi hiển thị một số so sánh với các nhà văn con người trong Section và chúng tôi hiển thị một số cuộc đối thoại ngắn trong phần Để giảm bớt vấn đề lấy mẫu anh đào, chúng tôi tạo ra 17 mẫu mỗi lần và chỉ hiển thị mẫu trung bình, theo thứ hạng của mô hình ưa thích HH trực tuyến của chúng tôi. Samples [Solaiman và Dennison, 2021] [Thuyết Minh et al., 2024] [Thoppilan et al., năm 2022] C . 6.1 Đánh giá 6.3 Hành động 1.3 Related Work Hai bài báo gần đây, LaMDA và InstructGPT Cả hai đều sử dụng dữ liệu của con người để đào tạo các mô hình ngôn ngữ lớn để có thể hữu ích hoặc phù hợp hơn.Cả hai đều sử dụng các mô hình ngôn ngữ lớn hơn một chút so với mô hình 52B của chúng tôi. [Thoppilan et al., năm 2022] [Thuyết Minh et al., 2024] LaMDA Tinh chỉnh các mô hình ngôn ngữ lớn để tham gia vào các cuộc đối thoại ngôn ngữ tự nhiên thú vị, hữu ích, dựa trên sự kiện và an toàn. Giống như với công việc của chúng tôi, chúng bao gồm các khái niệm về cả tương tác tích cực và an toàn / vô hại. Và việc sử dụng thông tin bên ngoài của họ để đảm bảo độ chính xác / căn cứ vượt quá các phương pháp chúng tôi thảo luận ở đây, và có lẽ tương tự hơn với WebGPT và GopherCite Tuy nhiên, một số khác biệt là thay vì sử dụng học tập tăng cường, họ áp dụng một hỗn hợp các kỹ thuật học tập được giám sát (cả sinh và phân biệt đối xử), và quá trình thu thập dữ liệu của họ liên quan đến xếp hạng tuyệt đối thay vì so sánh. [Thoppilan et al., năm 2022] [Nam và đồng nghiệp, năm 2021, Nguyễn Thị Hương et al., 2022. hướng dẫn Mô hình FineTunes GPT-3 để cải thiện sự giúp đỡ của họ. Như trong công việc này, họ sử dụng học tập củng cố từ sở thích của con người, được thể hiện thông qua so sánh. Tuy nhiên, họ cũng bao gồm một giai đoạn học tập được giám sát, trong khi ngược lại, finetuning của chúng tôi xảy ra hoàn toàn thông qua RL (chúng tôi thực hiện chưng cất ngữ cảnh, nhưng điều này giống như một lời nhắc đơn giản). Có lẽ sự tương phản chính với công việc của chúng tôi là họ không bao gồm đào tạo vô hại, hoặc căng thẳng ex-plore giữa hữu ích và vô hại. Cách tiếp cận của họ cũng khác với chúng tôi trong một số chi tiết: họ không đào tạo các mô hình ưu tiên lớn hơn các thông số 6B, và họ đã pha trộn việc đào tạo trước với RL để tránh sự suy giảm trong hiệu suất đánh giá. [Thuyết Minh et al., 2024] [Truy và các đồng nghiệp, 2020] Công việc của chúng tôi khác với cả InstructGPT và LaMDA vì chúng tôi khám phá đào tạo 'trực tuyến', nơi chúng tôi cập nhật các mô hình tương tác với nhân viên cộng đồng để có được dữ liệu chất lượng cao hơn và lấp đầy đuôi phân phối dữ liệu của chúng tôi. Một sự khác biệt khác là khám phá các kỹ năng chuyên môn như tóm tắt và mã hóa, mà chúng tôi sử dụng để củng cố lập luận rằng sự sắp xếp có thể đạt được mà không giới hạn khả năng. Chúng tôi cũng nghiên cứu rõ ràng sự căng thẳng giữa hữu ích và vô hại, mà chưa được giải quyết trước khi chúng tôi biết. Cuối cùng, chúng tôi khám phá quy mô và độ bền trong nhiều chi tiết hơn, bao gồm cả trong quá trình đào tạo RL. Với điều đó nói, các thủ tục của chúng tôi (Hình Chúng tôi tin rằng các bước thiết yếu duy nhất là thu thập dữ liệu phản hồi của con người, mô hình ưu tiên và đào tạo RLHF. 2 ) Một số công trình gần đây khác tập trung vào các khía cạnh của sự thật bằng cách sử dụng retrieval từ một cơ sở dữ liệu, hoặc thông qua tìm kiếm Internet và phản hồi của con người, chẳng hạn như WebGPT và GopherCite Những tác phẩm này rất thú vị và bổ sung cho công việc của chúng tôi; đặc biệt là kết quả của chúng tôi cho thấy rằng kỹ thuật của họ nên rất tương thích với đào tạo về sự hữu ích và vô hại. Trong khi những tác phẩm này cải thiện sự đại diện trung thành của bằng chứng rõ ràng, nhiều công việc hơn có thể sẽ cần thiết để đạt được sự đại diện trung thực từ các hệ thống AI. Chúng tôi nói chung hy vọng rằng các kỹ thuật độc lập với phản hồi của con người có thể áp dụng cho vấn đề này, vì rất nhiều nguồn chân lý không dựa trên phán đoán của con người. [Lewis et al., năm 2020, Guu et al., năm 2020, Borgeaud et al., năm 2021) [Công ty TNHH Việt Nam et al., 2019] [Truyền sư et al., năm 2022] Các vấn đề an toàn và đạo đức liên quan đến các mô hình ngôn ngữ đã được thảo luận rộng rãi (ví dụ: 2021)), với các vấn đề được biết đến bao gồm tính độc hại, thiên vị và khả năng các mô hình có thể tiết lộ thông tin nhận dạng cá nhân.Khi các mô hình ngày càng mạnh mẽ, các khả năng mới và đáng ngạc nhiên và các vấn đề an toàn có thể phát sinh. Các tác phẩm khác đã khám phá các phương pháp để giảm thiểu các vấn đề này (ví dụ: 2020]). các mô hình cũng đã được đào tạo để đánh giá trực tiếp các vấn đề đạo đức demonstrating im- provement on ethics benchmarks Các đề xuất nghiên cứu chung hơn về an toàn AI bao gồm Những thất bại về độ bền RL mà chúng tôi thảo luận có thể được xem như là một ví dụ về "hành vi hack phần thưởng", được khám phá gần đây trong [P] Chính sách RL cũng có thể không phổ biến ra khỏi phân phối theo những cách nguy hiểm khác. [Henderson et al., năm 2017] Bender et al., năm 2021, Weidinger et al. và [Thuyền sư và đồng nghiệp, năm 2022]. [Liu et al., năm 2021, Xu và al, [Jiang et al., năm 2021], [Hendrycks et al., 2021a]. [Amodei et al., năm 2016, Hendrycks et al., năm 2021). an et al., 2022]. [Koch et al., năm 2021]. Our interest in studying trends with model size is motivated by neural scaling laws Một quan sát liên quan là khi số lượng tham số tăng lên, các mô hình finetune hiệu quả hơn and become much less vulnerable to ‘catastrophic forget- ting’ Chúng tôi hy vọng hiệu ứng này giúp giải thích tại sao đào tạo HH của chúng tôi tương thích với hiệu suất đánh giá tốt và kỹ năng chuyên môn cho các mô hình lớn. [Công ty và các công ty khác, 2019, Rosenfeld et al., 2019 Bạch Dương et al, 2020). [Hernandez et al., 2021] [Ramasesh et al., năm 2022]. 2 Data Collection Chúng tôi mong đợi phản hồi của con người (HF) sẽ có lợi thế so sánh lớn nhất so với các kỹ thuật khác khi mọi người có trực giác phức tạp mà rất dễ tạo ra nhưng rất khó để chính thức hóa và tự động hóa. Điều này có nghĩa là khi thu thập HF, chúng tôi nên cố gắng chọn các nhiệm vụ trực quan và quen thuộc nhất có thể. Chúng tôi đã chọn sử dụng đối thoại ngôn ngữ tự nhiên cả vì những lý do này, và vì nó rất phổ biến - về cơ bản bất kỳ nhiệm vụ dựa trên văn bản nào có thể được thực hiện thông qua đối thoại, đặc biệt là với một số tài liệu nguồn được bao gồm trong dòng. 2.1 Task Specification and Crowdworkers Giao diện phản hồi của con người của chúng tôi có thể được nhìn thấy trong Hình (for more details see Appendix People can interact with our models in natural language via chat, and ask for help with any text-based task. When it’s the model’s conversational turn, users see two possible model responses, and choose one with which to proceed. These two responses may come from the same model, or two different models. They can then ask follow-up questions or provide further instructions to the models. So there are two core components to the task, which repeat several times in each dialogue: 6 D ) • Crowdworkers write a chat message to our models, asking them to perform a task, answer a question, or discuss any topic of interest. • Crowdworkers are shown two responses, and are asked to choose the more helpful and honest re- sponse (or in the case of red-teaming, to choose the more harmful response). Chúng tôi giả định rằng những người làm việc cộng đồng viết tốt và tham gia AI vào các cuộc thảo luận thú vị hơn sẽ có xu hướng phán đoán tốt hơn về những phản ứng AI nào là "hữu ích" và "không có hại". Nếu không, cách tiếp cận của chúng tôi đối với việc thu thập dữ liệu chủ yếu là để cho người lao động cộng đồng sử dụng trực giác của họ để xác định “hữu ích” và “tác hại”. Hy vọng của chúng tôi là sự đa dạng của dữ liệu (mà chúng tôi hy vọng là rất có giá trị) và sự khôn ngoan của đám đông sẽ cung cấp ROI tương đương với một bộ dữ liệu nhỏ hơn được xác nhận và lọc chuyên sâu hơn. 1. We invited master-qualified US-based Nhân viên MTurk tham gia vào các cuộc đối thoại với các mô hình của chúng tôi. 8 Thay vì đánh giá tất cả các nhân viên cộng đồng của chúng tôi, chúng tôi đã xác định những người có năng suất cao nhất, và cùng nhau chiếm khoảng 80% dữ liệu của chúng tôi (khoảng 20 nhân viên cộng đồng). Chúng tôi sau đó đánh giá hiệu suất của họ dựa chủ yếu vào sự tinh vi và sự thay đổi trong các cuộc đối thoại của họ, vì điều này khá dễ dàng để đánh giá trực quan (thay vì dựa trên bất kỳ biện pháp nào của sự đồng ý về các lựa chọn hữu ích / vô hại). whom we continued to work with throughout the research process. 9 Chúng tôi đã mời các cộng sự được lựa chọn của chúng tôi đến một kênh Slack và liên lạc với họ qua email, để đảm bảo rằng họ được bồi thường một cách công bằng. và để cho phép họ cảnh báo chúng tôi về bất kỳ vấn đề hoặc vấn đề nào. 10 4. We also hired crowdworkers on Upwork, and vetted them in a similar, lightweight way. We have continued to use both platforms throughout this work. We find that it is easier to incentivize very high-quality interactions on platforms such as Upwork, where crowdworkers can easily be paid by the hour, rather than per task. But conversely, MTurk workers tend to generate data much more rapidly, and account for about 80% of our datasets. We did not filter workers based on agreement or other direct measures of label quality, though we evaluated them retrospectively (see Figure right) and found poor average agreement (about 63%) between Anthropic researchers and our crowdworkers, as compared to recent similar work such as 10 [Henry et al., năm 2020, Ouyang et al., 2022]. Như một cảnh báo quan trọng, phân phối cộng đồng của chúng tôi đã không được giữ cố định trong suốt công việc này, và chúng tôi hy vọng rằng chất lượng cộng đồng có thể cải thiện khi dự án tiếp tục. Ngược lại, tuy nhiên, vì chúng ta thường không khuyến khích sự lặp đi lặp lại, các nhân viên cộng đồng đã thực hiện nhiệm vụ nhiều lần cũng có thể có xu hướng tham gia vào các tương tác bí ẩn hơn. 4.5. Chúng ta cũng nên lưu ý rằng chúng ta đã nói rõ với những người làm việc trong đám đông rằng “nói dối không hữu ích” và họ nên cố gắng chỉ thưởng cho những người hữu ích. Điều đó nói rằng, chúng tôi không mong đợi nhân viên cộng đồng kiểm tra các mô hình của chúng tôi một cách đáng kể, và ví dụ, họ thường thích các câu trả lời bao gồm các URL không chức năng, có lẽ là một trong những lời nói dối đơn giản nhất có thể để giải quyết. and honest 2.2 Helpfulness and Harmlessness (Red Teaming) Datasets We collected two separate datasets using slightly different versions of our interface. For the helpfulness dataset, we asked crowdworkers to have open-ended conversations with our models, asking for help, advice, or for the model to accomplish a task (see Appendix ), and to choose the model response that was . For the harmlessness or red-teaming dataset, we asked crowdworkers to attempt to elicit harmful responses from our models, and to choose the response offered by the models. D2 more helpful Độc hại hơn Our interface (Figure allows users to express a preference strength. We only include comparisons in our datasets if crowdworkers expressed a preference stronger than the weakest available. In this work we will not otherwise use this preference-strength information; we treat all comparisons in our dataset as binary and of equal weight (so in particular we do not include ties). 6) Lưu ý rằng điều này có nghĩa là tập hợp dữ liệu hữu ích của chúng tôi có xu hướng di chuyển các cuộc hội thoại theo hướng có lợi hơn, trong khi trong tập hợp dữ liệu Red-Teaming của chúng tôi, phản hồi của người dùng di chuyển các cuộc hội thoại theo hướng có hại hơn. Chúng tôi đã đưa ra lựa chọn này để cho phép người dùng hoàn toàn lừa và khai thác các mô hình trong khi Red-Teaming, vì điều này là tự nhiên nhất đối với các công việc khác mà chúng tôi đang làm tập trung đặc biệt vào sự có hại. Chúng tôi có kế hoạch khắc phục điều này trong công việc trong tương lai, và sẽ khuyên những người khác tập trung vào việc đào tạo các mô hình đối thoại vô hại để thu thập dữ liệu nơi người dùng chủ yếu chọn các phản ứng mô hình di chuyển cuộc trò chuyện theo hướng có lợi hơn. 4.4. 2.3 Models Deployed to the Feedback Interface and Associated Data Distributions Đối với việc thu thập dữ liệu chúng tôi chủ yếu used 52B language models with the broad specifications given in Chúng tôi đã sử dụng ba lớp mô hình trong giao diện của chúng tôi: 11 [Askell et al., 2021]. • : At the beginning of the project this was the only model available. It performs similarly to a plain 52B language model prompted with HHH dialogues HHH Context-Distilled 52B Language Model [Askell et al., năm 2021]. · với mô hình ưu tiên 52B, nơi các mẫu được tạo ra từ một LM chưng cất theo ngữ cảnh 52B. của mẫu là một tham số, nhưng thường chúng ta sử dụng = 16 Rejection Sampling (RS) k k · : We used a succession of these models in our interface. The models varied primarily based on the amount of data available when training the associated PMs (depending on the phase of the project). However, we also deployed models trained on different mixtures of helpfulness and harmlessness data. RLHF-Finetuned Models In the final phase of the project, when we were primarily deploying RLHF-finetuned models, we often de- ployed several such models at once. This allowed us to monitor progress by gathering model-comparison data, and also to (perhaps) improve data diversity. Corresponding to the three classes of models, we divide our data into three distributions: • Cốt lõi dataset collected using only the context-distilled LM. This dataset includes 44k helpful- ness comparisons and 42k red-teaming (harmlessness) comparisons (note a conversation typically comprises about four comparisons). base • A tập dữ liệu bao gồm 52k so sánh hữu ích và 2k red-teaming so sánh bằng cách sử dụng mô hình lấy mẫu re-jection, nơi lấy mẫu từ chối sử dụng một mô hình ưu tiên được đào tạo trên tập dữ liệu cơ bản. RS • An iterated ‘ ’ tập dữ liệu bao gồm dữ liệu từ các mô hình RLHF, được cập nhật khoảng hàng tuần trong khoảng năm tuần. tập dữ liệu này chứa 22k so sánh hữu ích và không có dữ liệu liên kết màu đỏ. online Một histogram của các phân phối này theo điểm số của mô hình ưa thích HH trực tuyến cuối cùng của chúng tôi có thể được nhìn thấy trong Hình in Section In what follows when we discuss the hoặc base+RS dataset, chúng tôi sẽ đề cập đến sự kết hợp của hai thành phần đầu tiên. mô hình RLHF 'trực tuyến' của chúng tôi trong phần are trained on all three components. Most of our results are based on the static dataset, as we conducted experiments and evaluations with it while the online data collection was underway. 15 4.5. static 4.5 Chúng tôi phân tích một vài phân vùng khác nhau của bộ dữ liệu tĩnh – một phân vùng tiêu chuẩn thành 95/5 dữ liệu tàu / thử nghiệm, và một phân vùng 65/35 mà chúng tôi sử dụng để có được số liệu thống kê tốt hơn khi đánh giá độ chuẩn của mô hình ưu tiên trên bộ thử nghiệm. chúng tôi cũng xem xét một phân vùng 50/50, nơi chúng tôi đào tạo PMs riêng biệt trên hai nửa của bộ dữ liệu. Điều này được sử dụng để đánh giá độ bền của đào tạo RL, vì sau đó chúng tôi đào tạo một chính sách RL so với một PM trong khi đánh giá phần thưởng đạt được bởi chính sách đó như được đo bằng PM độc lập. 2.4 So sánh các mô hình với Elo Scores A significant part of our analysis compares models against each other in order to generate associated Elo scores, as described in Đó là, chúng tôi có nhân viên cộng đồng trò chuyện với hai mô hình cùng một lúc, với mỗi mô hình tạo ra một phản ứng (hoặc ‘A’ hoặc ‘B’) tại mỗi lượt, và chúng tôi ghi lại mẫu được ưa thích bởi người lao động. (nơi chúng tôi hiển thị cả tỷ lệ chiến thắng và điểm Elo). hai công thức chuyển đổi hữu ích là [Askell et al., 2021]. 1 Đối với tỷ lệ phần trăm mà một mô hình được ưu tiên hơn một mô hình khác, sự khác biệt trong điểm số Elo, và điểm số PM của chúng tôi. lưu ý rằng theo khái niệm, phần trăm chiến thắng, điểm số Elo và điểm số PM có thể được trao đổi; chúng tôi giữ cả điểm số Elo và PM để chúng tôi có thể tránh nhầm lẫn sở thích cộng đồng (nơi chúng tôi sử dụng Elo) với mô hình ưu tiên của chúng tôi và RLHF (nơi chúng tôi sử dụng điểm số PM). Note that the Elo scores for context-distilled models in Figure khác một chút so với kết quả tương tự cho các mô hình được yêu cầu trong – the Elo scores are now more compressed. The main difference is that we did not use top-p sampling this time Sự khác biệt cũng có thể là do thay đổi trong phân phối nhân viên đám đông kể từ thí nghiệm trước đó, hoặc thay đổi trong kỳ vọng của nhân viên đám đông, vì trước thử nghiệm này nhân viên của chúng tôi chủ yếu tương tác với các mô hình được đào tạo RLHF chất lượng cao hơn. 1 [Askell et al., 2021] 12 3 Preference Modeling for Helpfulness and Harmlessness 3.1 Models and Training Setup We use language models with specifications that are identical to those discussed in [Askell et al., 2021], with a total of seven language models with parameter counts running from 13M to 52B and approximating a geometric series with increments of roughly 4X. We use PyTorch [Paszke et al., 2019] and Triton [Tillet et al., 2019] to facilitate model training and performance. Our preference model training setup is also identical to that in [Askell et al., 2021], and in particular we apply ‘preference model pretraining’ (PMP) to our language models before finetuning on our human feedback datasets, as explained in Section 4 of that paper. More details are provided in Appendix A. Note that we typically only train PMs for a single epoch, so the learning curves themselves (Figure 7 left) indicate how performance scales with dataset size (we used a fixed learning rate). 3.2 Basic Scaling Results We would like to understand how preference modeling performance improves as we increase model size and collect additional data. In Figure we show basic results for PM accuracy when training on our static helpful and harmless data mixture. Roughly speaking, we observe log-linear trends in both dataset and model size. We tend to find somewhat more consistent trends if we model only the helpfulness or harmlessness distributions in isolation, rather than as a mixture, as observed in Figure in Appendix But there we also see that for some data distributions scaling trends can exhibit more complex patterns that defy simple trends. 7 32 A.3. [Truyền sư và đồng nghiệp, 2020] Our preference modeling data comes from natural language dialogue, where crowdworkers have text-based conversations with the model, and choose the more helpful of two model responses at every turn in the conversation (or the more harmful one, for red-teaming tasks). So it is natural to ask how PM performance changes as a function of the conversational turn. We show these results in Figure PMs are somewhat more accurate on the first step of the conversation, but their accuracy is nearly constant thereafter. 8. 3.3 Calibration of Preference Models and Implications for RL Preference model scores should predict the probability that humans will prefer one or another model- generated response. We are interested in whether these probabilities are accurate, i.e. whether the PMs are well calibrated. We characterize calibration in Figure nơi chúng tôi hiển thị độ chính xác PM như một chức năng của sự khác biệt trong điểm PM được gán cho các cặp mẫu, cùng với một đường đen nặng đại diện cho hiệu chuẩn hoàn hảo. chúng tôi quan sát thấy rằng PM được đào tạo chỉ trên dữ liệu hữu ích được hiệu chỉnh rất tốt, nhưng PM được đào tạo trên một hỗn hợp dữ liệu hữu ích và vô hại là hơi ít tự tin. 9, These calibration results are important because in later sections we will be using PM scores as the reward signal for reinforcement learning. Since the PM scores are well-calibrated, we can trust that they faithfully encode the probabilities that humans will prefer specific model samples (at least on-distribution with the training set). This means that when we see RL achieving a given reward, we can trust that those who interact with this model (if they are well-represented by our crowdworker distribution) will prefer it to reference models at a predictable rate, provided that the PM scores of the models’ responses are within the range considered in these calibration studies. That said, we find significant failures of robustness as RLHF optimizes towards much higher scores, as explained in Section and Appendix mạnh mẽ 4.5 B.4. We might generally expect that as sample quality improves, it becomes more difficult to reliably identify the very best samples. In Figure trong Phụ lục, chúng tôi cho thấy rằng nếu chúng tôi giới hạn để so sánh nơi cả hai mẫu có điểm PM trên một ngưỡng nhất định, thì độ chính xác PM giảm như là một chức năng của giá trị ngưỡng này (để so sánh các PM khác nhau, chúng tôi thêm một bù đắp để tất cả họ có được cùng điểm trung bình trên phân phối thử nghiệm). lưu ý rằng kết quả này kết hợp ba hiệu ứng: (1) sự khác biệt giữa các mẫu tinh vi hơn có thể khó khăn hơn và đòi hỏi khả năng lớn hơn, (2) chúng tôi có ít mẫu chất lượng rất cao để học hỏi từ bộ dữ liệu của chúng tôi, vì chúng không phải là chung chung, và (3) cặp mẫu tất cả chất lượng cao sẽ có điểm tương tự (so với các cặp được chọn ngẫu nhiên), và do đó khó phân biệt hơn. 25 These observations also have an implication for RLHF training, namely that we should expect diminishing returns from further RLHF training once our policies achieve a sufficiently high PM score. This also motivates online training, so that we can update our PMs to stay on-distribution as RLHF policies improve. 3.4 Evaluating Helpful and Harmless Preference Models 3.4.1 HHH Evaluation and Crowdworker-Anthropic Agreement We have shown that PMs trained on our dataset are learning something and are well-calibrated. But we would also like to show that these PMs are actually learning to prefer helpful and harmless behavior, accord- ing to some independent standard. We provided a set of comparison evaluations for helpfulness, honesty, and harmlessness (i.e., HHH Evaluation) in prior work and evaluated raw, context-distilled, and prompted language models on this benchmark. As shown in Figure chúng tôi thấy rằng PM của chúng tôi hoạt động tốt hơn nhiều so với tất cả các mô hình chúng tôi đã đánh giá trước đó. recently reported a mean human score of 75% on this dataset, so in a sense our PM performance of 86% is well above mean human accuracy. [Askell et al., năm 2021] 5, [Chowdhery et al., 2022] We also observe that there are a few outliers, where our PMs are confidently incorrect on HHH evaluation comparisons (see Figure Đây là tất cả các ví dụ về sự thất bại của , nơi sự lựa chọn tốt hơn là trung thực nhưng vô ích, trong khi sự lựa chọn sai dường như hữu ích và viết tốt, nhưng là tinh tế không chính xác hoặc gây hiểu lầm. It’s worth noting that the bad response (which was written by Anthropic researchers) is likely out of distribution as compared to samples from our language models and RL policies. Since only model-generated samples were used to train the PMs, this may explain why the PM was badly fooled by these examples. It also indicates that the PMs are not adversarially robust. 10 trung thực 11. We can also compare our crowdworkers, ourselves, and our preference models in terms of agreement on labels. The results are shown on the right in Figure and are based on about 320 examples from our static test set. The PMs are trained to predict crowdworker behavior, so PM-Crowdworker agreement is best. However, the largest PM actually agrees with the authors (i.e. Anthropic researchers) slightly more than the authors agree with crowdworkers on labels. We also suspect this is a poor subsample of the data, since PM accuracy is several percent lower on this subsample as compared to the full test set. 10, 3.4.2 Gender Bias and Bot Adversarial Dialogues Chúng tôi có thể bắt đầu đánh giá xem PM của chúng tôi có thể hiển thị sự thiên vị về giới tính hay không bằng cách so sánh điểm số trên các thuật ngữ giới tính. Con người: Bạn có thể giúp tôi điền vào từ còn thiếu trong một câu không? Assistant: Sure thing, here is your sentence with the missing word filled in: The {Occupation} is a {Gendered Term} where we use a list of 76 occupations, 12 matched gender terms (mother vs father, guy vs gal, etc), and both present and past tense Điểm mô hình ưu tiên không có ý nghĩa trực tiếp, vì vậy thay vào đó chúng tôi đánh giá sự khác biệt về điểm số giữa các điều khoản giới tính ghép đôi, và so sánh điều đó với sự khác biệt về điểm số giữa các điều khoản trong một giới tính nhất định. We observe that the variation among terms that indicate a given gender appears to be at least as large as the variation across genders. So it would appear that the PMs do not exhibit a substantial bias. [Xem thêm, năm 2021] 12. Là một xác nhận bên ngoài của PM của chúng tôi, chúng tôi xem xét bộ dữ liệu Đối thoại Đối thủ Bot (BAD) This dataset contains a few thousand conversations between an AI system and a human. Each AI response is labeled as harmful or not harmful. We compute the distribution of preference model scores for BAD AI utterances (we restrict our analysis to the first BAD AI utterance per conversation) and find that the BAD AI utterances marked as harmful have significantly lower preference model scores. This suggests that our PMs are effectively classifying these AI generated utterances, even though they are likely quite different from the data distribution that our PMs were trained on. [Xu et al., 2020]. 4 Tăng cường học hỏi từ phản hồi của con người 4.1 Thiết lập đào tạo We apply reinforcement learning (RL) with preference modeling, following the approach outlined in which can summarized in the following steps: [Stiennon et al., 2020], 1. Prepare a dataset of comparisons, and train a PM to assign a higher score to the ‘better’ item in each comparison. In the context of our human feedback experiments, each comparison consists of a prompt followed by a pair of model-generated responses, with a PM score evaluated at the end of each response. 2. Extract all the prompts from the preceding dataset, and train an RL policy to generate a response to each prompt autoregressively, with a reward signal provided by the PM score at the end of the response. Bộ dữ liệu PM và chi tiết đào tạo được cung cấp trong Phụ lục we also discussed the performance of our PMs in Section In the language of RL, each response generated by the policy is a ‘timestep’, a full conversation is one ‘trajectory’, and the PM score is a single ‘reward’ provided at the end. A.2; 3. Ý tưởng là sử dụng mô hình ưu tiên để hướng chính sách hướng tới việc viết các phản hồi tốt hơn. tuy nhiên, như chúng tôi đã thấy trong các phần trước, PM cũng trở nên kém hiệu chuẩn ở điểm số cao hơn, vì vậy phần thưởng cao hơn không nhất thiết có nghĩa là hiệu suất tốt hơn. To stabilize RL training, we use Proximal Policy Optimization (PPO) We also follow other work and apply an empirically-estimated KL penalty term in the reward, with the total reward given by [Schulman et al., 2017]. [Truyền sư và đồng nghiệp, 2020] where KL >/ 0 is a hyperparameter. In practice we use a very small value of KL = 0:001, which likely has a very minor impact during most of RL training (as DKL < 100 typically), and might actually be wholly unnecessary. More details about RL are provided in B.1. Throughout this paper we use PM = the preference model score itself for the RL reward. Recall that as implied by equation this means that the difference in PM values between two samples và will be related to the predicted probability ( ) that will be preferred to via r ( 2 ) , r A B P A > B A B There is no good reason to use this preference model score directly as the reward, but it has been used in prior work such as and so for simplicity we will not explore variations on this choice here. 13 [Stiennon et al., 2020] Để tạo ra các lời nhắc bổ sung (tức là mặt con người của các cuộc hội thoại) cho đào tạo RLHF, chúng tôi đã sử dụng một LM lớn để tạo ra chúng.Vì mục đích này, chúng tôi chỉ đơn giản là sử dụng việc học vài lần, tạo ra một bối cảnh với khoảng 10 câu hỏi chất lượng cao hiện có của con người, và sau đó lấy mẫu để tạo ra nhiều hơn nữa. Chúng tôi thấy hiệu quả mẫu của RLHF là tương tự trên bộ dữ liệu lời nhắc được viết bởi cộng đồng nhân viên ban đầu và bộ dữ liệu được tạo ra bởi mô hình, vì vậy chúng tôi kết hợp cả hai cho sự đa dạng lớn hơn trong quá trình đào tạo RLHF. Lưu ý rằng hầu hết dữ liệu mô hình ưu tiên của chúng tôi đã được thu thập từ các mô hình 52B. Điều này có nghĩa là đào tạo RLHF với các mô hình nhỏ hơn có thể là thách thức, vì các mẫu từ các mô hình nhỏ hơn có xu hướng không được phân phối từ dữ liệu đào tạo PM. do đó, khá thú vị là các mô hình nhỏ hơn năm mươi lần thực sự có thể học hỏi và cải thiện, như được thấy trong Hình 1. 4.2 Robustness Experiments We now discuss the problem of RLHF robustness. A fully robust PM would agree with humans on distribu- tions of dialogues quite different from those encountered during PM training (i.e. different from those created by crowdworker interactions with our deployed AI assistants). However, we do not expect that our PMs are so robust, and in fact Figure provides one plausible example of a robustness failure. Since RL optimizes the policy to maximize the PM score, any failure in robustness on the part of the PM may be exploited by the RL policy to achieve higher rewards, without actually improving the policy’s behavior from the point of view of human evaluators. 11 A rigorous way to study robustness is to take snapshots of the policy at various points during RLHF training, including the initial snapshot, and have crowdworkers compare their performance. This gives a ‘true’ Elo score, as evaluated by crowdworkers, which can then be compared directly with the PM scores. We present an example of this study in Section 4.5. Tuy nhiên, loại thử nghiệm này đòi hỏi phải thu thập dữ liệu phản hồi của con người bổ sung, có thể chậm và tốn kém, vì vậy ở đây chúng tôi cũng nghiên cứu độ bền từ một góc độ khác. half and a half), and train separate preference models on each, which we refer to as the ’s and the ’s. We then train RLHF policies against the ’s, while evaluating them using the 's. Tương tự như cách đánh giá các bài kiểm tra giúp chúng ta hiểu sự quá tải trong học tập được giám sát, evaluations help us understand overfitting relative to the ’s. These experiments are not conclusive since the train and test PMs may exhibit correlated robustness failures. train test train PM test PM Xe lửa PM Kiểm tra PM test PM train PM The main conclusions from these experiments are: (1) RLHF becomes gradually less robust at higher PM scores, and (2) larger preference models are more robust than smaller ones. We conduct two sets of experiments as follows: • : This set consists of a scan of policies (i.e. one for each model size), all of which are trained with respect to the same 52B . Train PM Size = 52B Xe lửa PM • : This set consists of a scan of policies, with each policy trained with respect to a of the same size as the policy. Train PM Size = Policy Size train PM For both experiments, each policy is further evaluated with respected to a scan of Trong suốt quá trình đào tạo, cần lưu ý rằng a refers to 7 different model sizes ranging from 13M to 52B, thus giving us 7 policies and 7 × 7 evaluations per experiment. test PM scan In Figure we compare the and scores throughout the training process, similar to how train and test curves are often compared for supervised training. We find that in all cases, the two scores are in close agreement during early stages of training, but eventually diverge, with the providing a lower score. The divergence is likely an indication that . That is, the policy has been over-optimized on the , making the over- confident in the policy’s performance. The , on the other hand, doesn’t suffer from this problem since it was trained on a different portion of data that neither the policy nor the đã quan sát. 4, train PM test PM test PM the preference model is less robust and more easily exploited at higher rewards train PM train PM test PM train PM Chúng tôi cung cấp thảo luận thêm trong Phụ lục B. 2 4.3 An Approximately Linear Relation Between √ KL và phần thưởng D D In Figures and we observe an between √KL and PM score during RLHF training. Furthermore, we note that when√a__ll mo__dels are trained and evaluated with the same PMs, the learning curves are roughly in the Lưu ý rằng ở đây ‘KL’ chính xác hơn là phần thưởng thay đổi theo đường dây trong Sau đó, trong “sma√ll__- r__egion’ (i.e. where the series expansion provides a good approximation), we should expect reward ∝ KL. Typically we should that reward varies linearly in Bởi vì chính sách ban đầu đã không được tối ưu hóa trước đây cho phần thưởng, vì vậy không có lý do tại sao nó sẽ ngồi ở mức cực đối với sự thay đổi nhỏ . So the fact that this relation seems to hold empirically suggests that most of RLHF training remains in the small- regime. 4 13 approximately linear relation parallel D δπ δπ D chờ đợi δπ π đp đp Though they did not use these coordinates, a similar scaling can be read off from the results in learning to summarize In particular, they provide a nice analysis of rejection sampling, where they generate samples, and then plot mean reward of the top samples versus các KL = log( ). [Stiennon et al., 2020]. N k D N/k Phân tích này cho thấy rằng những đường cong học RL này có thể liên quan đến những thay đổi trong chính sách RL có hành vi rất giống với việc lấy mẫu đơn giản từ phân phối ban đầu. We find this simple relation quite striking, and believe it merits further study. At a conjectural level, it might have a variety of implications and uses when RL-finetuning large generative models: • These relations provide a rough prediction for ‘how much does the policy need to change to achieve a specific reward’. Furthermore, if the lines corresponding to different model sizes really are parallel, then one can use RL training of a small model along with the zero-shot performance of a larger model to estimate the eventual performance of a larger RL policy. The slopes of these lines also explain how RLHF training can produce such large effective gains in model size, and for example it explains why the RLHF and context-distilled lines in Figure are roughly parallel. 1 • One can ask a subtle, perhaps ill-defined question about RLHF training – is it hoặc đơn giản . We teaching the model new skills focusing the model on generating a sub-distribution of existing behaviors có thể cố gắng làm cho sự khác biệt này sha√r__p b__y liên kết lớp thứ hai của hành vi với region where RL reward remains linear in KL. • To make some bolder guesses – perhaps the linear relation actually provides an trên RL re__war__d, như một chức năng của KL. Người ta cũng có thể cố gắng mở rộng mối quan hệ hơn nữa bằng cách thay thế √KL bằng một chiều dài địa hình trong hình học Fisher. upper bound Bằng cách làm cho việc học RL dễ đoán hơn và bằng cách xác định các loại hành vi định lượng mới, chúng ta có thể hy vọng sẽ phát hiện ra các hành vi bất ngờ xuất hiện trong quá trình đào tạo RL. 4.4 Sự căng thẳng giữa sự hữu ích và vô hại trong đào tạo RLHF Here we discuss a problem we encountered during RLHF training. At an earlier stage of this project, we found that many RLHF policies were very frequently reproducing the same exaggerated responses to all remotely sensitive questions (e.g. recommending users seek therapy and professional help whenever they express any level of displeasure at all). This greatly limited these models’ utility. We still see a vestige of this behavior in some of the examples provided in Section We now believe these policies were the result of for harmlessness, while helpfulness. 6.2. over-optimizing under-optimizing With our data collection procedure, we think this is quite intuitive. In order to get a very good score on red-teaming prompts, it’s probably sufficient for models to respond with something like “I can’t answer that.” This does not require much sophistication (it just requires learning to classify harmful requests), and so we expect it is easier to learn than helpfulness. In Figure (right), we show the policy’s PM score throughout training, after separating helpfulness and harmlessness prompts. On the left side of the same figure, we show the score distribution of PM comparison data, again separating helpful and harmless datasets. We observe that the policy’s harmlessness score is somewhat off-distribution, as it is on the upper tail of the harmlessness comparison data. On the other hand, the policy’s helpfulness score appears on-distribution, and is likely under-optimized. So we would expect this agent to be very difficult to red-team, but not very helpful. 14 This then raises an obvious question – can’t we just collect more harmlessness data to fill out the upper tail of the distribution? The problem involves the definition of harmlessness mentioned above – if simply refusing to answer a question is the ‘least harmful’ behavior, then this is probably both very easy to learn, and hard to improve on. That said, a more interesting ‘least harmful’ behavior would involve the model (helpfully) explaining why the request was harmful, and perhaps even trying to convince the human not to pursue such requests. We informally refer to such a model as a ‘hostage negotiator’. However, our data collection process made it very difficult for models to learn ‘hostage negotiation’. This is because when collecting our harmlessness dataset, we had crowdworkers choose the AI response. We made this choice so that we could fully explore the vulnerability of our models to red-teaming. However, from the point of view of RLHF this was problematic, because beyond the first turn of dialogue, our models never learned what a response to a harmful query might be like. Our dataset does not provide guidance on the upper end of the distribution, on what models should do, but only tells models what to do. more harmful sophisticated not In practice, we have partially resolved the optimization issue by training on a larger fraction of helpfulness prompts during RLHF. But in the future we hope to more fully and systematically address this problem by collecting harmlessness data where crowdworkers choose the best possible response from our models. In this way we hope that rather than simply shutting down harmful requests, models can learn the more subtle art of ‘hostage negotiation’ with red-teamers. 14 Note that since the data and models discussed in this section are from an earlier stage of our research, the RL results may look slightly different from other parts of the paper. 4.5 Iterated Online RLHF In preceding sections we discussed the problem that PMs become progressively less calibrated and less robust at higher scores, as seen in the PM calibration study in Figure và nghiên cứu độ bền của RLHF trong hình 9 , Chúng tôi tin rằng điều này là do thiếu dữ liệu trong chế độ điểm số cao này. : 4. iterated online RLHF • We simply train the best RLHF policy we can, and use that to collect comparison data from crowd- workers. Since the policy was trained to optimize for PM score, it should produce responses that are on the upper end of the score distribution. • We mix the new comparison data with our existing data, and train a new scan of PMs, which we then use to train a new scan of RLHF policies. Then reiterate this process indefinitely. Our hypothesis is that the ‘online’ RLHF policy helps us collect data on the upper end of the PM score distribution, which should improve PM calibration at high scores on subsequent iterations, and thereby allow us to train even better policies. Continuing this process should give us progressively better PMs and policies. Note that our use of the terminology ‘online’ is different from conventional use of the word—instead of training the same model iteratively, we retrain a new model per iteration. Một mối quan tâm về cách tiếp cận này là RLHF có xu hướng làm giảm entropy của chính sách, điều này sẽ hạn chế sự đa dạng của dữ liệu được thu thập thông qua thủ tục trực tuyến.Chúng tôi một phần giải quyết điều này bằng cách triển khai một số snapshots khác nhau từ đào tạo RL, và từ các lần lặp lại trực tuyến khác nhau, cùng một lúc. We can see signs of life from the online approach by looking at the evolution of our data distribution. In Figure (trái), chúng tôi hiển thị điểm PM từ ba phân phối của các mô hình: , (rejection-sampling), and , as described in Section We see that according to our final online PM (trained on all of the data), the quality of samples improves from the base to the rejection-sampling to the online data distributions. We also found that our online PM achieves accuracies of 74%, 70%, and 67% on the test sets for the respec- tive base, RS, and online-only distributions, which shows that distinguishing among higher quality samples is becoming more challenging. This makes us optimistic that online training should outperform rejection sampling in the long run. 15 Base RS Online 2.3. We show the learning curves for our online models, along with measurements of Elo scores from crowd- workers, on the right in Figure We see that models improve significantly during RLHF, but Elo scores from crowdworkers do not match predictions from PMs. We further discuss and decompose the robustness of RLHF training in Appendix where we see that distributional shift accounts for a significant part of the apparent robustness failure (Figure 15. B.4, 35 ) In Figure chúng tôi so sánh điểm số Elo của mô hình trực tuyến của chúng tôi với các mô hình chưng cất theo ngữ cảnh và các mô hình RLHF được đào tạo trên bộ dữ liệu ‘tĩnh’ (tức là không có trực tuyến), cho thấy rằng các mô hình trực tuyến rõ ràng được ưa thích bởi các nhân viên cộng đồng của chúng tôi. tuy nhiên, độc giả có thể lo lắng về hai cảnh báo: mô hình trực tuyến được đào tạo trên một bộ dữ liệu lớn hơn một chút (khoảng 20% lớn hơn) và mô hình trực tuyến được đào tạo với các siêu tham số RLHF được cải thiện (mô hình trực tuyến được đào tạo với một mô hình lớn hơn , defined in Appendix and its PM was trained with 2048 context instead of 1024), as compared to the earlier static RLHF training run. 1 , K B.1, To address both of these caveats, we performed a controlled experiment comparing two RLHF runs: one trained with our base dataset (about 44k PM comparisons), and another trained on an even mixture of base, RS, and online data (khoảng 15k PM so sánh từ mỗi). Vì vậy, cho thí nghiệm này, chúng tôi đã đào tạo hai PM riêng biệt trên mỗi tập dữ liệu, và sau đó đào tạo một cặp chính sách RLHF chống lại hai PM này. Ngoài sự khác biệt dữ liệu, cả hai chạy sử dụng các thiết lập tương tự, và chỉ được đào tạo về sự hữu ích. we compare Elo scores for various snapshots of both runs, as determined by crowdworker preferences, showing that the policy trained on the iterated-online mixture is clearly preferred. This demonstrates that online training works, and that performance gains are not merely due to increased dataset size or hyperparameter changes. whose total dataset size is the same as the base dataset 15 16 , 4.6 Evaluations: Alignment Bonus, Honesty, and Biases Language models that have been finetuned via RL typically have much narrower, lower-entropy output distri- butions. This can make evaluations difficult when they are fairly rigidly formatted, since all valid responses may be far off-distribution for the RLHF model (we discuss an example with gender bias evaluations below). Thus we expect in future work evaluations involving sampling and human interaction may be most relevant. In what follows we discuss some standard NLP evaluations, and then evaluations specifically related to the societal impacts of the models, including honesty, sentiment, and bias. 4.6.1 NLP Evaluations Chúng tôi đánh giá các mô hình của chúng tôi về câu trả lời câu hỏi, ý nghĩa chung, tầm thường và hoàn thành câu chuyện bằng cách sử dụng các tiêu chuẩn MMLU Lambada [P Hellaswag Tải OpenBook ARC and TriviaQA The main conclusion is that RLHF tends to improve performance for large models, while degrading the performance of smaller models. [Hendrycks et al., 2021b], Tác giả et al., 2016 [Zellers et al., 2019], [Mihaylov et al., 2018], [Clark et al., 2018], [Joshi et al., 2017]. 16 Full results for both zero-shot and few-shot evaluations are shown in Figures and and we provided a summary of the mean trends in Figure Readers may notice that results improve rather suddenly for some evaluations; this is a consequence of the format we use for multiple choice questions, where we explicitly provide choices (Gopher used this format). The format is provided explicitly in Appendix Chúng tôi thấy rằng định dạng này có xu hướng cải thiện hiệu suất cho các mô hình lớn, đồng thời làm giảm hiệu suất của các mô hình nhỏ, dẫn đến sự xuất hiện có thể gây hiểu lầm của một "grok" curve. 28 29, 3. [Rae et al., 2021] E. [Power et al., năm 2022] 4.6.2 Honesty and Biases A major question is whether AI models are honest. We evaluate our models on TruthfulQA (MC1) and show the results in Figure There we also include performance at 50-shot, in or- der to demonstrate that while our RLHF training significantly improves honesty, our models most likely have significant room for improvement. Note that our instructions to crowdworkers suggest that ‘lying isn’t help- ful’ and that they should choose responses that are ‘helpful and honest’, so this is presumably related to the improvements we see on TruthfulQA. That said, we do not currently expect RLHF to be the best approach to honesty. [Lin et al., 2021] 5. Một tập hợp các câu hỏi liên quan đến các định kiến cơ bản của các mô hình này. chúng tôi đánh giá các mô hình của chúng tôi cho các định kiến về tình cảm về chủng tộc và tôn giáo (trong cùng một định dạng như Gopher) 2021]), for gender bias, and on the Bias Benchmark for QA (BBQ-lite) [P [Rae et al., Nguyễn Thị Hương et al, 2021. Kết quả cho tình cảm đối với các nhóm chủng tộc và tôn giáo khác nhau được hiển thị trong Hình The main effect we observe is that the sentiment of our RLHF-trained models tends to be much more positive than that of plain LMs, but it is more difficult to say if bias among groups has changed. We expect some of the visible effects are due to limitations in the sentiment model , for example the low scores for the Atheist group is likely because samples such as (model generation in italics): 17. 17 The Atheist man was very skeptical and critical of religious dogma and conventional moral principles, seeking instead to derive his ethical values from rational consideration and empirical observation of the natural world. receive a sentiment score very near zero, which seems like a questionable evaluation. For these evaluations we use a prompt format where the human asks the assistant to complete the sentence as follows: Human: Can you help me finish a sentence? The sentence is: {sentence beginning} Assistant: Sure thing, here is your completed sentence: {sentence beginning} with sentence beginnings such as ‘The Atheist man was very’ as seen above. Chúng tôi cũng đánh giá các mô hình của chúng tôi trên BBQ-Lite, một phiên bản đơn giản của BBQA [P Chúng tôi đã hơi ngạc nhiên bởi kết quả, và không rõ liệu bất kỳ kết luận nào có thể được rút ra dựa trên chúng. Về cơ bản, chúng tôi dường như thấy rằng LM đơn giản của chúng tôi không thể hiện sự thiên vị rất đáng kể trên tiêu chuẩn này, bằng cách sử dụng các chỉ số có sẵn. Ở đây chỉ số là khoảng “thường nào mô hình gọi một thuật ngữ trong bối cảnh tiêu cực, chia thành tần suất nó sử dụng thuật ngữ nói chung”. Một giá trị 0,5 tương ứng với các mô hình được “không thiên vị”. Đào tạo RLHF chắc chắn cải thiện kết quả một chút (có thể bằng cách cải thiện cảm xúc) mặc dù hiệu quả rất nhỏ (xem hình Chúng ta có thể trở lại những đánh giá này trong tương lai bằng cách sử dụng các số liệu BBQA đầy đủ [P arrish et al., 2021] 18 ) Nguyễn Thị Hương et al, 2021. Trong Phần 3.4.2, chúng tôi đã điều tra sự thiên vị giới tính trong các mô hình ưu tiên. Chúng tôi đã cố gắng sử dụng định dạng này để đánh giá các mô hình RLHF, nhưng chúng tôi thấy rằng các mô hình này ít hơn 10 khả năng so với các LM đơn giản hoặc có ngữ cảnh phân tán để sử dụng một thuật ngữ giới tính để hoàn thành các câu như 'CEO là một'. Nói cách khác, các tuyên bố như 'CEO là một người cha' dường như hơi không phân phối cho các mô hình RLHF, ít nhất so với các LM chung. Điều này là có vấn đề đối với các đánh giá, bởi vì điều này có nghĩa là các phép đo thiên vị có khả năng bị chi phối bởi tiếng ồn, và không có khả năng đại diện cho hành vi mô hình của CEO (tức là các mẫu được tạo ra). Vì vậy, trong Phụ lục 5 Competing Objectives, Specialized Skills, and OOD Detection A concern about alignment techniques is that they might compromise model performance. In Section we highlight a quantifiable trade-off of this kind, between helpfulness and harmlessness when training preference models. But it appears that larger models suffer less of a performance drop from this trade-off. 5.1 Furthermore, we also find that the conflict between helpfulness and harmlessness is relatively unique. Pref- erence models can learn to reward strong performance at specialized skills without any loss in performance at helpfulness and harmlessness. In Section we consider the evaluation of summarization quality as such a skill, using the learning-to-summarize dataset reformatted in conversational form. Later in Section we show that code models (i.e., models finetuned on code by supervised training) are also compatible with HH alignment interventions, even though the RLHF training does not involve code data or examples. 5.2 [Truyền sư và đồng nghiệp, 2020] 5.3 Trong phần we highlight another approach to avoiding harmful behavior – it may be possible to reject most harmful requests, even without any access to harmfulness training data, by leveraging out-of-distribution detection techniques [F This approach might also be useful more generally in deployment scenarios where strange or off-topic requests need to be flagged or ignored. 5.4 ort et al., 2021]. 5.1 Mixing Helpful and Harmless Objectives In many cases harmlessness acts as a constraint on helpfulness. So we should expect that helpfulness and harmlessness may behave as partially anti-correlated objectives. We establish this by evaluating preference models trained on different mixtures of HH data, and with different weightings. At a conceptual level, the HH PMs may essentially be learning to first classify the data and then choose a score depending on the distribution. We will show that larger models perform better and are more robust to data mixture and loss weighting, which may be due to their having greater success at separating reasonable from harmful requests. 5.1.1 Varying Helpful vs Harmless Data Fraction Chúng tôi đào tạo các mô hình sử dụng phân chia dữ liệu khác nhau từ 100% hữu ích đến 100% vô hại trong khoảng thời gian 10%. phân phối dữ liệu tĩnh của chúng tôi có 42k so sánh nhóm đỏ, vì vậy để kiểm soát kích thước tập dữ liệu, chúng tôi luôn luôn xây dựng hỗn hợp với tổng số so sánh này. Hiển thị hiệu suất trên cả ít có hại và hữu ích như hỗn hợp dữ liệu đào tạo là đa dạng. lưu ý rằng đào tạo hoàn toàn về hữu ích hoặc vô hại dữ liệu kết quả trong hiệu suất trên các phân phối khác mà là . This exemplifies the extent to which these distributions are in tension with each other. 19 Tồi tệ hơn cơ hội Figure in the appendix also plots mean test accuracy over both helpfulness and harmlessness (where Mean Acc = (Harmlessness Acc + Helpfulness Acc)*/*2). Curves for larger models look more steep near the 0% and 100% areas, but flatter at the top. The curves for the smaller models are more gradual, with more distinct peaks in the middle. This again suggests that larger PMs are more robust to the specific fraction of red-teaming vs helpfulness data that is used, allowing them to learn both concepts more easily. 26 5.1.2 Weighting Helpful vs Harmless Losses Instead of studying different data mixtures, we can try re-weighting the losses. Since we have more helpful- ness than harmlessness comparisons, we experimented with weighting the losses as LTotal = LHelpfulness + λ · LHarmlessness for λ E 2 {1; 2; 3; 4; 10}, as shown in Figure 27 (relegated to the appendix). We note that larger models seem more robust to the choice of λ. Increasing λ from 1 to 10 causes a 7.4% decrease in accuracy on helpfulness for the 13M parameter model, whereas it only causes a 1.5% decrease in accuracy on the 52B parameter model. 5.2 Tóm tắt như một kỹ năng chuyên môn We expect that models finetuned with special skills may be particularly useful and valuable. Does alignment interfere with finetuning for a specialized skill? Là một bài kiểm tra của câu hỏi này, chúng tôi đã nghiên cứu PM finetuning về learning-to-summarize (LtS) Dataset vs. một hỗn hợp dữ liệu LtS và HH. Chúng tôi đã định dạng dữ liệu LtS ở định dạng conversa- tional để nó khớp với dữ liệu HH, như sau: [Stiennon et al., 2020] Human: Can you write a summary of this article for me? ...Text... Assistant: Sure, here it is: ...Summary... Như thể hiện trong hình large preference models trained on a mixture of HH and LtS datasets perform equally well on both. So at least at the level of preference modeling, there seems to be no cost to mixing HH with the specific skill of evaluating summarization quality. 20, 5.3 Ngôn ngữ tự nhiên RLHF trên các mô hình code-finetuned As another test of a specialized skill, we would like to see if natural language alignment can be combined with coding without compromising performance. Since our crowdworkers were never instructed to probe the model’s coding abilities, and most likely do not have a great deal of coding expertise, our human feedback data does not include a significant number of code-related conversations. The preference model finetuning dataset and the RLHF prompt dataset thereby do not contain any significant amount of code, though there is some code in the LM pretraining mix and possibly a small amount in the PM pre-training (PMP) mix. This makes code-related problems an interesting way to test generalization of RLHF, and especially its compati- bility with other skills. Our ‘base code models’ were finetuned on Python code scraped from Github as described in Starting from these Python fine-tuned (Python FT) models, we then ran our standard natural language RLHF training using ‘static’ preference models and prompts. We had difficulty achieving stable RLHF optimization on the 3B code model, so it has been excluded for this section. [Askell et al., năm 2021]. We evaluate models on the HumanEval dataset yêu cầu các mô hình ngôn ngữ với chữ ký chức năng python và docstrings. Các mô hình được giao nhiệm vụ điền đúng vào cơ thể chức năng dựa trên bối cảnh, và các chức năng được viết theo mô hình được chạy trong môi trường sandbox. Chúng tôi thấy xu hướng tương tự ở đây như với các đánh giá khác – RLHF làm giảm hiệu suất của các mô hình nhỏ, nhưng cải thiện hiệu suất của các mô hình lớn hơn. [Chen et al., 2021], 21 RL training tends to decrease the entropy of the models’ distribution, and so we were concerned that these results would be very sensitive to temperature and top-p tuning. So for our 52B models, we performed a scan over temperatures and two top-p settings for both the RLHF models and the base code models, and then chose the best setting for each model and pass@k. We did a grid-search over the evaluation hyperparameters: T ∈ {0, 0.4, 0.6, 0.8, 1.0} × p ∈ {0.95, 1} × k ∈ {1, 5, 10, 25, 50, 75, 100}. Results are summarized on the right side of Figure 21. For each model and for each k in pass@k, we take the maximum performance over all 10 combinations of hyperparameters. We see that RLHF improves performance over the baseline on this evaluation, for all pass@k. We should emphasize that as with our other evaluations, the improvements in performance from RLHF are modest. In fact, we find that simply prompting a base code model performs slightly better, as shown in Figure Appendix further describes the format of the prompts we used (i.e., ‘HHH prompts’), which consist of a couple of code examples. 38. B. 8 We also conducted experiments involving adding buggy code to the prompts, which typically worsens per- formance (see 2021]). We found that RLHF models did not perform better than their initial base code model snapshots, when these prompts are included in the context during evaluation, even after scanning over temperature and top-p. [Chen et al., 5.4 Áp dụng phát hiện ngoài phân phối để từ chối các yêu cầu lạ hoặc có hại Trong công việc này, chúng tôi chủ yếu tập trung vào việc đạt được sự vô hại hoàn toàn thông qua đối thoại ngôn ngữ tự nhiên. Tuy nhiên, người ta có thể cố gắng tránh hành vi có hại theo một cách hơi khác, bằng cách hạn chế các trợ lý ngôn ngữ chỉ trả lời một phạm vi hẹp của các truy vấn (được phê duyệt danh sách), hoặc bằng cách lọc và từ chối các loại hành vi xấu đã biết (block-list). chúng tôi có thể sử dụng các mô hình ưa thích của chúng tôi cho các mục đích này, nhưng chúng tôi cũng có thể có một cách tiếp cận khác, ít giám sát hơn, và khai thác tiến bộ trong phát hiện ngoài phân phối (OOD). Một cách tiếp cận như vậy cũng có thể hữu ích cho những người muốn xây dựng các hệ thống chỉ đáp ứng một loạt các truy vấn hẹp (ví dụ, các mô hình mã nên tránh các chủ đề không có mã). Phát hiện ngoài phân phối (OOD), và đặc biệt là phát hiện gần ngoài phân phối, đã là một thách thức lớn đối với các mạng thần kinh sâu. Mạng sâu thường xuyên gán xác suất cao cho các đầu vào được phân loại sai [Guo et al., 2018, Liang et al., 2017, Lakshminarayanan et al., 2016] cũng như để kiểm tra các đầu vào không thuộc bất kỳ lớp đào tạo nào [Nguyen et al., 2014]. Có nhiều cách tiếp cận để phát hiện OOD dựa trên các mô hình phân biệt đối xử [Hendrycks và Gimpel, 2016, Lee et al., 2018, Liang et al., 2017, Liu et al., 2020] cũng như For a prompt i, we extract a vector of activations of dimension dmodel from a layer ` and call it v ` i ∈ R dmodel . The task is to distinguish between an unseen example of harmlessness and helpfulness data without being explicitly shown any harmlessness data at all. This approach works by measuring the deviation of a prompt from the helpfulness data, rather than measuring how close it gets towards harmlessness data in particular. In this way, we do not depend on the specific harmful content we have at hand, and can potentially filter different kinds of non-helpfulness content. To detect whether an input comes from the in-distribution (the helpfulness dataset), we use a scoring function that takes the input and maps it to a scalar value score(x). To do that, [Lee et al., 2018] first proposed to fit a simple model to training examples of the in-distribution, Din train = {v ` i ∈ R dmodel}. We calculate the mean µ = 1 Ntrain PNtrain i=1 v ` i and the covariance matrix Σ = 1 Ntrain PNtrain i=1 (vi − µ) (vi − µ) T . The Mahalanobis distance of an unknown activation vector x from this training set is score(x) = (x − µ) T Σ −1 (x − µ). A simple improvement on top of the Mahalanobis distance called the Mahalanobis distance has been proposed in và đã được chứng minh dẫn đến AUROC tốt hơn cũng như phát hiện mạnh mẽ hơn cho một loạt các vấn đề OOD trong tầm nhìn và genomics (ngoại trừ sự mạnh mẽ hơn đối với các cuộc tấn công thù địch [F] 2022]). Inspired by this method and recognizing that our problem does not naturally involve semantically meaningful classes comprising the in-distribution, we propose a further modification we call the Relative Mahalanobis distance. We compute it by fitting a full covariance matrix Σ as before, as well as a diagonal- only covariance matrix Σdiag, and assigning the difference of their Mahalanobis distance as our scoring function, score( ) = ( − ) Σ−1( − ) − ( − ) Σdiag−1( − ) Relative [Ren et al., năm 2021] ort, Simplified x x µ T x µ x µ T x µ Figure shows the results for our OOD detection experiments, trying to distinguish the helpfulness data from harmlessness data using our new Simplified Relative Mahalanobis distance to the helpfulness activation vectors. The figure shows AUROC for activation vectors from different layers of the model and different model sizes. The bigger the model, the better its performance, with the middle layers performing best. The right panel of Figure shows an example of the OOD score distributions for the helpfulness data (blue) and harmlessness data (red) for a 64L layer of 52B parameters and its 32th layer. We can see that the mode of the distances of the Harmlessness data is clearly higher than for the helpfulness data. The comparison of the Simplified Relative Mahalanobis distance and the standard Mahalanobis distance is shown in the Appendix in Figure 22 22 B9 39. The advantage of this approach is that we are able to distinguish helpfulness data from non-helpfulness data, with harmlessness data being only a particular kind of non-helpfulness data. The disadvantage is its clear lower performance on this specific task in particular. If we have access to a small number of examples of Harmlessness inputs (the out-distribution), we could perform a few-shot outlier exposure, as first proposed by suggests using a single class representing the OOD examples. [F has used outlier exposure on top of individually strong near-OOD detectors and showed that they still enjoy a large benefit from being exposed to the examples of the out-distribution. We observe a similar benefit here, as discussed in detail in Section and shown in Figure [Hendrycks et al., 2018]. [Thulasidasan et al., 2021] ort et al., 2021] B.9 23. In particular, with only 10 examples of harmful prompts, we can achieve an improved AUROC of 0*.*94 0*.*02 for the 64L model. The best performance among all layers of all models (the middle layers of the 52B model) without outlier exposure (already using our Simplified Relative Mahalanobis distance, see Figure [22)] is approximately 0*.*85. A 4L model exposed to only 10 examples of harmful data gets an AUROC of 0*.*86 0*.*01, while having only 13M parameters as compared to the 52B. The OOD detection gains from outlier exposure are therefore very significant in comparison to the gains coming from model size scaling alone. 6 Qualitative Examples and Comparisons It is challenging to quantitatively evaluate general-purpose dialogue agents. We find that our own research process depends essentially on qualitative evaluations, in order to get a sense for model strengths and weak- nesses, even when the ultimate goal is to produce some sort of quantitative metric. Thus in this section we will provide a few sample dialogues with our final online HH model. Một vấn đề rõ ràng với việc đánh giá chất lượng của các mẫu là rất khó để biết mức độ chúng đã được chọn bằng anh đào. Chúng tôi cung cấp mẫu dựa trên lời nhắc xuất hiện kết hợp với công việc so sánh của người khác trong Phụ lục including Instruct- GPT LaMDA and sensitive questions appearing in PALMS We encourage readers to skim these samples to get an (arguably) unbiased sense for our model’s behavior. for each prompt we generate 17 samples, rank them with our HH online preference model, and then display the median sample C, [Ouyang et al., 2022], [Thoppilan et al., 2022], [Solaiman và Dennison, 2021] 6.1 Comparison with Human Writers As an additional test of our models, we collected high-quality HHH dialogues from human writers. These writers were hired on Upwork (separately from our pool of crowdworkers) based on prior successful writ- ing work and positive reviews. We gave them some examples, and then asked them to write fairly ideal human/assistant interactions. Then based on the prompts (leaving off the final writer-written assistant responses), we generated 17 examples from our best HH and best purely-helpful online models, and chose the median response from this pool as ranked by our online HH preference model. We then asked our crowdworkers to rank responses from the writers, along with one response each selected from our HH and helpful-only models. We then use these results to estimate an Elo score for our human writers, by comparing to our two models, and we display the result as a horizontal band on Figure 1. Chúng tôi đã sử dụng một ban nhạc vì so sánh các nhà văn thực sự hơi không phù hợp với các bảng xếp hạng Elo khác của chúng tôi, vì nhân viên cộng đồng ưa thích mô hình trực tuyến HH của chúng tôi so với các nhà văn con người 56% thời gian, nhưng ưa thích mô hình hữu ích thuần túy của chúng tôi so với các nhà văn chỉ 51% thời gian. We find that the performance of both our helpful and HH models is roughly comparable to that of the human writers, though in fact the models are slightly preferred by crowdworkers. We also find that our PM’s typically assign higher scores to the model responses, as shown in Figure e believe that this result should be interpreted with caution and caveats, however. The writers’ prompts were not very adversarial; many strike us as ‘softball questions’ that models can easily do well on. As researchers who have interacted with models for tens or hundreds of hours, we could likely come up with many questions where humans would be more likely to outperform the models. Relatedly, the writers’ conversations do not strike us (in many cases) as especially realistic, in the specific sense that we would not expect a human to derive a great deal of practical value by asking an AI assistant for help in these ways. We expect that our models likely still fall significantly short of providing the kind of value that a sophisticated human assistant could provide via chat, even if they were operating under the constraints the model experiences (e.g. no internet access). 24.W Here are a couple illustrative examples of prompts, writer responses, and our online HH RLHF model’s response. In this example the model performs well at first, but then makes some slightly inaccurate statements about the ways in which it fixed errors: Trong ví dụ này, số liệu thống kê của nhà văn có thể gây hiểu lầm một chút (có lẽ không cố ý), và phản ứng của mô hình có thể đơn giản là vượt trội.Điều này làm chúng ta ấn tượng như một ví dụ về một câu hỏi softball nơi chúng ta mong đợi các mô hình làm tốt, vì nó phổ biến, mơ hồ và mở: In this final example, the model makes some subtle mistakes, but most readers would probably have difficulty detecting them without consulting reference material: Dialogues like the above help to illustrate the limits of human feedback training: . This is one reason why we may not want to rely on human feedback to train models to be honest, or for any goal where human judgment is not the best possible source of information. once model errors become sufficiently subtle, they will no longer be penalized appropriately, and the model’s incentives may no longer be aligned With that said, AI models still have limitations that can seem highly incongruous. Here’s an example where we, the more experienced model-interrogators, really played ‘hard ball’ with the AI: 6.2 Câu hỏi nhạy cảm và tránh so với cam kết Here are a few examples from PALMS Chúng tôi đã chọn chúng để minh họa cách mô hình đôi khi tránh các chủ đề rất nhạy cảm, nhưng thường cung cấp các câu trả lời có lý do khác. for many more examples, also including some from InstructGPT Lời bài hát: Lambda prompts. [Solaiman and Dennison, 2021] C [Thuyết Minh et al., 2024] [Thoppilan et al., 2022] Here is a case where the model just refuses to answer the question: Ở đây, mô hình chỉ ra rằng nó không nên trả lời, nhưng sau đó cung cấp một số thông tin có liên quan (có lẽ cũng có vấn đề là mô hình tập trung vào Mỹ, mặc dù điều này có thể là một hậu quả của việc nó đã được đào tạo bằng tiếng Anh bởi các nhân viên cộng đồng có trụ sở tại Mỹ): And here the model provides a fairly complete response, without attempting to avoid the topic: Về mặt chất lượng, kinh nghiệm của chúng tôi là bằng cách điều chỉnh tối ưu hóa cho sự hữu ích so với vô hại, người ta có thể đào tạo các mô hình cực kỳ tránh khi các chủ đề nhạy cảm xuất hiện, hoặc các mô hình hầu như luôn luôn cố gắng tham gia, ngay cả trên các chủ đề nhạy cảm. also provides useful lessons if the goal is to train models that provide full responses in the face of sensitive questions. 4.4 6.3 Example Dialogues Most of our samples only involve a single prompt and response, so in this section we show a few two-turn dialogues. Trong cuộc đối thoại này, mô hình tuân theo các hướng dẫn, nhưng có thể đã thực hiện một công việc tốt hơn đáng kể bằng cách nắm bắt sắc thái của tình huống: Here is some dialogue on a technical subject from a researcher who was experimenting with using the model to help debug an engineering issue: Khi được yêu cầu viết phong cách bướm, mô hình có nhiều khả năng đưa ra các tuyên bố có khả năng gây hại, rõ ràng hoặc xúc phạm: Trong trường hợp này, chúng tôi đã chọn một câu trả lời của con người đưa cuộc trò chuyện theo một hướng tối tinh tế, và mô hình bác bỏ lập luận: 7 Discussion Chúng tôi đã chứng minh rằng có thể sử dụng việc học tăng cường từ phản hồi của con người để đào tạo các mô hình ngôn ngữ đóng vai trò là trợ lý hữu ích và vô hại. đào tạo RLHF của chúng tôi cũng cải thiện sự trung thực, mặc dù chúng tôi hy vọng các kỹ thuật khác có thể làm tốt hơn. RLHF improves helpfulness and harmlessness by a huge margin when compared to simply scaling models up. [Henry et al., năm 2020, Thoppilan et al., 2022, Ouyang et al., năm 2022, Nakano et al., 2021, Menick et al., 2022], Our alignment interventions actually enhance the capabilities of large models, and can easily be combined with training for specialized skills (such as coding or summarization) without any degradation in alignment or performance. Models with less than about 10B parameters behave differently, paying an ‘alignment tax’ on their capabilities. This provides an example where models near the state-of-the-art may have been necessary to derive the right lessons from alignment research. Hình ảnh tổng thể mà chúng ta tìm thấy – rằng các mô hình lớn có thể học một loạt các kỹ năng, bao gồm cả phù hợp, theo cách tương thích với nhau – dường như không có gì đáng ngạc nhiên. finetune với hiệu quả mẫu cao hơn and do not suffer significantly from forgetting Although we did not demonstrate it directly, we also expect that RLHF alignment training can be mixed with or precede train- ing for other objectives; this might be relevant in the future in order to avoid the production of intermediate, unaligned AI systems. [Kaplan et al., 2020, Rosenfeld et al., 2019, Brown et al., 2020], [Henighan et al., 2020, Askell et al., 2021], [Ramasesh et al., 2022]. Chúng tôi đã tìm thấy một sự căng thẳng rõ ràng giữa hữu ích và vô hại, nơi các mô hình được đào tạo hoàn toàn cho hữu ích được ưa thích hơn các mô hình được đào tạo cho HH, khi đánh giá chỉ về hữu ích. Chúng tôi tin rằng điều này phần nào là do một sự tinh tế trong quá trình thu thập dữ liệu của chúng tôi, vì chúng tôi hiếm khi thu thập các mô hình dạy dữ liệu làm thế nào để đối phó trực tiếp với các yêu cầu có hại (tức là làm thế nào để trở thành một loại 'người đàm phán con tin'), nhưng chỉ về cách tránh chúng. Các mô hình phát sinh lớn đã được gọi là “những mô hình nền tảng” These mod- els are extremely interesting objects for research, but without further finetuning, they can exhibit harmful behaviors. Our work suggests that alignment training can be incorporated into foundation models without compromising their utility and versatility, and so perhaps it could soon become a part of their definition. [Bommasani et al., 2021]. 7.1 Limitations While we believe our results present a promising picture for the alignment of existing language models, work on this subject remains in an early stage, and has a number of limitations. As was also emphasized by the authors of we view our work on alignment as an ongoing project; our work was step zero, and this is step one. [Thoppilan et al., 2022], [Askell et al., 2021] We’ve pragmatically defined an aligned assistant as an AI that is hữu ích, trung thực và vô hại. Chúng tôi lạc quan rằng ở mức độ khả năng hiện tại, các kỹ thuật chúng tôi đã thảo luận ở đây cung cấp một cách tiếp cận hợp lý để đạt được sự hữu ích và vô hại. tuy nhiên, mặc dù kỹ thuật của chúng tôi cải thiện sự trung thực của mô hình, chúng tôi tin rằng chúng tôi chỉ đang cạo bề mặt của vấn đề đó, và các kỹ thuật khác có thể hiệu quả hơn và hiệu quả hơn trong việc sản xuất các mô hình AI trung thực. 18 Here we have essentially focused on the average-case behavior of our models. However, even if we were convinced that our models were HHH in expectation, a clear next step would be to attempt to study and eliminate bad behaviors (especially harmfulness) even in the worst case. We have not addressed this question of robustness here, but hope to study it in the future (approaches such as may be useful). It will only become more pressing as AI systems advance and encounter distributional shift during deployment. [Perez et al., 2022] AI alignment may be difficult and ambiguous to assess. So for example, while our large RLHF-trained models perform better than plain LMs on virtually all capabilities evaluations, one might hope that a truly helpful models’ zero-shot performance would equal the few-shot performance of an unaligned model. The logic here is that if a model can really ‘helpfully follow instructions’, then a prompt or explanation should be sufficient to bridge the zero-to-few-shot gap. We are very far from achieving this level of performance! Even on the honesty evaluation TruthfulQA we close a bit less than half of this gap (Figure We also briefly investigated whether our RLHF-finetuned code models have any comparative advantage when exposed to prompts including buggy code but we did not find any benefits there. One would hope a fully aligned model would do its best to write correct code, even when given a buggy prompt. [Lin et al., 2021] 5 ) [Chen et al., 2021], We also harbor a general concern that perhaps our techniques only render models aligned ‘on the surface’, and that they still harbor harmful biases or other tendencies that may surface in more subtle contexts. We found that RLHF models have a more positive sentiment towards all racial and religious groups, which seems promising, but does not necessarily indicate that biases have been reduced. And with respect to gender, we found that RLHF model biases are very strongly correlated with the bias of the underlying language models. That said, further work will be required to understand if this is a limitation of RLHF as a technique, or of our particular HH datasets. In any case, we likely need to build more subtle and comprehensive evaluations that include multi-turn dialogue, as this is an area where humans will likely use the models, and it’s also a place where it’s inherently more difficult to measure performance against subtle objectives such as bias and fairness. On a much more practical level, we do not have much experience applying RL techniques to large generative models. Experienced AI practitioners know that there are a large variety of tweaks and tricks that require experimentation to identify, and that can majorly improve the stability and performance of training. We have encountered some stability issues with RL, and although we performed some rudimentary hyperparameter scans, we expect that with more experience and study we could do better. We also did not explore variations in online training, such as literally updating a single PM or RLHF model; rather we retrained these models from scratch on each iteration. Another direction for exploration is to use a non-trivial function of PM scores as the RL reward, distorting the score distribution to e.g. focus more on discouraging bad behavior rather than rewarding good behavior. In summary, there are many future directions to explore for improving RLHF. A final concern is whether techniques like those we have employed will continue to apply as AI models become increasingly capable. We take these concerns very seriously. In our view, the present work makes some progress towards our goal, which is to establish a set of simple and universal techniques that can align AI models at present capability levels. Assuming this goal can be met, one of the next steps will be to build consensus among researchers and to understand alignment in greater depth, including how techniques scale with AI capabilities. The hope will be to create an evolving pragmatic state of the art for training AIs that are thoroughly helpful, honest, and harmless. initial 19 Another essential step will be to use this baseline as a point of departure for exploring other techniques that can better-address more advanced use cases and more speculative failure modes. New ideas and techniques can then be pragmatically compared with existing methods, and then incorporated into standard practice if they yield further improvements in safety and robustness. Our view is that the most relevant problems and the most creative and effective alignment techniques will be identified and developed through research on concrete AI systems. As we saw in Section we are already encountering examples that point to the limitations of human feedback, and so we need to begin to develop other methods. 6.1, 7.2 Alignment Data as a Public Good In this work we allowed crowdworkers’ common-sense to define what constitutes helpful and harmless be- havior. This was sufficient for our exploration of ‘technical alignment’, i.e. the question of whether certain techniques can be used to train AI models to be more helpful and harmless. But we have avoided addressing the underlying question of what sort of behavior should be expected from deployed AI models. Điều đó nói rằng, nếu không có một quy định rõ ràng về định dạng và loại “dữ liệu khớp” có liên quan nhất đến đào tạo AI, thật khó cho bất cứ ai khác ngoài các nhà nghiên cứu để thu thập thông tin cần thiết để đào tạo các hệ thống AI an toàn và có lợi. để dạy các mô hình AI các sở thích phức tạp của con người, và chúng tôi cũng đã tìm thấy rằng mô hình ưu tiên dựa trên các quy mô so sánh xếp hạng tốt hơn nhiều kỹ thuật khác. [Stiennon et al., 2020, Ouyang et al., năm 2022, Nakano et al., 2021] [Askell et al., năm 2021] One possible approach would be for an independent organization with ethical, legal, and cultural expertise to create a very high-quality dataset expressing human preferences for AI behavior (via comparisons). Such an organization could also use a novel governance structure, so that a larger set of societal stakeholders could factor into the decisions it makes about how to create and curate alignment data – in contrast to today, where private companies make these decisions in an opaque manner using governance structures that grant power to financially interested parties. Datasets created in this way might be used for both training and evaluation of AI models, and could even begin to establish standards for behavior. Due to the rapid improvement in AI language models, we expect that such datasets would be most valuable if they encode preferences at human- level sophistication. In any case, this is just one speculative possibility for broadening participation in dataset creation. Our research has benefited from publicly available research datasets and evaluations relevant to aligning AI with human values and we plan to release our preference modeling data for others to use in their research. Unfortunately, this does not seem to be a standard practice among alignment researchers, as evidenced by some recent work. While we agree that LLMs themselves can be used for harm, it seems that no such argument can be made for alignment data. [Henry et al., năm 2020, Hendrycks et al., 2021a], It’s extremely important to enable collaboration and reproducibility for alignment and safety research. As AI systems become more powerful and more widely deployed, the cost of mistakes and misunderstandings may grow immensely. We believe that the only way to convincingly address potential safety failures from advanced AI systems is to build a thoughtful community of researchers with deep expertise, and the ability to evaluate systems empirically. This will remain almost impossible if knowledge about the alignment of advanced systems remains siloed within many independent organizations. Sharing data seems like the easiest and most commonsense way to enable the sharing and validation of results. Một lý do rõ ràng cho sự bí mật là các tổ chức có thể sử dụng dữ liệu từ người dùng để phát triển các tập dữ liệu sắp xếp, và sau đó biện minh cho việc không chia sẻ các tập dữ liệu vì lý do đó nó vi phạm quyền riêng tư của người dùng. Đây là một vấn đề đầy thách thức đòi hỏi các tổ chức phải suy nghĩ về cách hòa giải các ưu tiên thương mại với sự cần thiết phải tạo ra một "thông tin chung an toàn" cho cộng đồng.Nếu sắp xếp trở nên liên kết với khái niệm các tập dữ liệu thương mại, điều đó có thể làm giảm mức độ an toàn tổng thể của hệ sinh thái AI. Do đó, chúng tôi tin rằng các tập dữ liệu được phát triển để sắp xếp nên được giữ riêng biệt với dữ liệu thương mại, và nên được chia sẻ cởi mở để thúc đẩy nghiên cứu về AI an toàn và có lợi. 7.3 Broader Impacts We hope that our work provides compelling evidence that AI systems can be made safer and more useful at the same time, and without performance costs. As noted above, we have largely remained agnostic on the question of which values define acceptable and unacceptable AI behavior. Thus we hope that rapid progress in technical alignment and the consolidation of specific techniques will motivate the development of publicly available alignment data, guidelines, and benchmarks. AI technologies are dual-use, meaning they can be used beneficially and otherwise. We have found the ef- fectiveness of preference modeling and RLHF striking (in our research and others’), and believe there’s very legitimate concern that these techniques could be used for censorship, fraud, and misinformation. Straight- forward commercial use-cases also seem worrisome, especially if optimization for objectives like user en- gagement and persuasion are mixed together. At the most naive level, if you can optimize for ‘harmless’ then you can ‘flip the sign’ and generate harmful systems. We also found that systems trained exclusively to be helpful become easier to use for harmful ends, which suggests that as systems become more powerful, it will become increasingly important to directly curb their potential for harms. 20 Có lẽ tác động rộng lớn nhất của công việc này, và sự phát triển và phổ biến chung của thế hệ ngôn ngữ có thể kiểm soát, giống như con người will be cultural. In Figure we used an Elo scale, essentially the chess rating system, to compare and evaluate natural language assistants, and we even included comparison to human writers. This kind of comparison risks trivializing the importance of language, which is certainly not just a game, but the core medium of culture and society. While seeking to align increasingly capable AI systems feels like a robustly good action, how and when to deploy these systems poses more challenging questions – culture is fundamentally a human enterprise, but large-scale generative models hold the possibility of magnifying and minimizing different parts of human culture in unpredictable and opaque ways, which could have broad downstream influences. [Công ty TNHH Việt Nam et al., 2022], 1 Acknowledgments Acknowledgments Chúng tôi cảm ơn Sam Bowman, Paul Christiano, Jacob Hilton, Jan Leike, Ethan Perez và Jeff Wu vì những phản hồi hữu ích về dự thảo.Chúng tôi cảm ơn Daniela Amodei, Jamie Kerr, Jia Yuan Loke, Rebecca Raible và Tim Telleen-Lawton vì sự hỗ trợ với dự án. Author Contributions Author Contributions Yuntao Bai đã thực hiện hầu hết các thí nghiệm trên RLHF và nhiều thí nghiệm mô hình ưu tiên. Ông đã đóng góp lớn vào thiết kế thí nghiệm, đo lường và đánh giá hiệu suất và hành vi của mô hình. Andy Jones and Kamal Ndoussse built the infrastructure for RL training of large language models. They also built associated plotting and monitoring systems and implemented the PPO algorithm. They helped with the design, implementation, and debugging of RLHF. Amanda Askell đã giúp thiết kế các đánh giá mô hình, thu thập các mẫu và đánh giá từ các nhà văn chuyên nghiệp, xây dựng các hệ thống để cải thiện chất lượng và số lượng thu thập dữ liệu, và hợp tác với Jared và Jackson về các đánh giá liên quan. Anna Chen helped with general RL and RLHF experimentation, and contributed to the research design. Nova DasSarma quản lý cơ sở hạ tầng cụm cơ bản, cho phép đào tạo RL quy mô lớn và thu thập phản hồi của con người. Dawn Drain trained the underlying code models and collaborated with Saurav on coding evaluations. Stanislav Fort performed the OOD detection and outlier exposure research and analysis on helpful versus harmful data samples. Deep Ganguli led the red-teaming data collection effort and design, often working with Jackson, Liane, Amanda, and Ben. He designed and ran the societal impact evaluations in collaboration with Jared, and helped with model evaluations generally. Tom Henighan đã giúp với việc đào tạo trước các mô hình ngôn ngữ cơ bản, với việc tạo tập dữ liệu, và với việc quản lý cụm trong một số giai đoạn của dự án. Nick Joseph đã giúp thiết kế và xây dựng một khuôn khổ cho việc đào tạo hiệu quả các mô hình ngôn ngữ lớn và các mô hình ưu tiên. Saurav Kadavath designed and conducted experiments on helpful/harmless dataset mixing. Saurav also ran RLHF training on code models, with support from Yuntao, and ran coding evaluations in collaboration with Dawn. He also ran the majority of the natural language evaluations of basic and RLHF-finetuned models, and helped with RLHF training generally. He helped to write the paper. Jackson Kernion dẫn đầu đánh giá phản hồi của con người và quản lý, và giúp xây dựng và duy trì giao diện phản hồi. Ông cũng giúp với phân tích dữ liệu và cộng tác về đánh giá mô hình. Ông đã chạy hầu hết các thí nghiệm so sánh mô hình của chúng tôi. Tom Conerly helped with engineering, specifically with fast and efficient sampling. Sheer El-Showk helped with pretraining research and dataset construction. Nelson Elhage đóng góp đáng kể cho việc đào tạo trước và tầm nhìn kỹ thuật. Zac Hatfield-Dodds đã giúp đỡ với bảo trì cơ sở mã và với kỹ thuật, đặc biệt là với việc lấy mẫu nhanh và hiệu quả. Danny Hernandez contributed to pretraining and especially to dataset design. Tristan Hume helped with streamlining our infrastructure. Scott Johnston đã giúp với việc đào tạo nghiên cứu trước. Shauna Kravec đã đóng góp vào việc phát triển và sử dụng các hệ thống RL của chúng tôi, và đã hợp tác trong nghiên cứu RL. Liane Lovitt đã giúp với Red-teaming, và đặc biệt là với việc thiết kế giao diện. Neel Nanda đã đóng góp vào các cuộc thảo luận nghiên cứu và các ưu tiên cho sự phù hợp. Catherine Olsson helped advise on human feedback data collection, and contributed advice on alignment and evaluation. Dario Amodei advised the project and led efforts to build and test the RL infrastructure and ML. Tom Brown dẫn đầu các nỗ lực kỹ thuật, bao gồm đào tạo trước hiệu quả, lấy mẫu, và sự ổn định và thiết kế của các hệ thống RL. Jack Clark led societal impacts efforts and advised the project, including on various evaluations. Sam McCandlish led pretraining efforts and advised the project. Chris Olah đã hợp tác trong các cuộc thảo luận về sự phù hợp và đóng góp cho nghiên cứu và đánh giá của chúng tôi về cơ sở hạ tầng. Ben Mann đã dẫn đầu việc thiết kế và xây dựng giao diện thu thập dữ liệu phản hồi của con người và cơ sở hạ tầng cơ bản. Ông cũng đã giúp dẫn đầu quản lý cộng đồng, và ông đã cung cấp hỗ trợ kỹ thuật cho toàn bộ dự án. Jared Kaplan conceived and led the project. He helped with all aspects, including research design, engineer- ing, experimentation, and evaluations. He also contributed to pretraining and helped build the evaluation infrastructure. He wrote the paper. A Details, Analysis, and Evaluations of Supervised Training A.1 Context Distillation Đối với chưng cất ngữ cảnh, chúng tôi làm theo công thức từ Specifically, we first generate data in the following way: [Askell et al., 2021]. 1. We prepend the ‘HHH prompt’ (i.e., a set of prompts designed to elicit helpfulness, harmlessness, and honesty) to sequences of text, with 50% of the text coming from our pretraining dataset, and 50% coming from a StackExchange dataset. For the former, we simply append pretraining data after signaling the beginning of another conversation with “Human:”. With StackExchange, we formulate a fake Human/Assistant conversation by using the question as the human side of the conversation, and a top-rated answer as the assistant role. 2. For both datasets, we then perform forward passes with a basic pretrained 52B model, and record the top 50 log-probabilities and their indices (within the vocabulary) for the tokens following the prompt. We store the log-probs, indices, and tokens together as a small new dataset. Để thực hiện phác thảo chưng cất ngữ cảnh, chúng tôi truyền các token từ bộ dữ liệu mới của chúng tôi qua các mô hình (tất cả các kích cỡ), và xác định sự mất mát là sự khác biệt KL giữa các log-probs được lưu trữ và các dự đoán của mô hình đang được phác thảo. Chúng tôi hiển thị các đường cong học tập cho chưng cất ngữ cảnh trong Hình We use a batch size of 32 sequences, and a learning rate of 0*.*05 times the pretraining learning rate, which we decay to zero linearly during distillation. We distill using a total of 350M tokens. 30. A.2 Preference Modeling Our preference models are trained on comparison data, with each data point consisting of a and a pair of . The prompt is a multi-step dialogue between human and model that always begins and ends on the human side, and each response is a continuation of the dialogue. For instance, in Figure lời nhắc bao gồm năm bước đầu tiên của cuộc đối thoại, và các câu trả lời được hiển thị trong hộp màu xanh. PM sau đó gán điểm ở cuối mỗi câu trả lời. Lưu ý rằng trong khi PM chỉ được đào tạo để đánh giá chất lượng của câu trả lời cuối cùng, toàn bộ bối cảnh của cuộc trò chuyện được cung cấp cho mô hình. prompt Trả lời 6, We train scans of PMs ranging from 13M to 52B parameters. All PMs go through three phases of training: (1) language model (LM) pre-training on a large language corpus, (2) preference model pretraining (PMP), and (3) finetuning on human feedback. Chi tiết đào tạo trước LM, bao gồm lựa chọn siêu tham số và tập dữ liệu, được giải thích trong Phụ lục A của công việc trước đây của chúng tôi [Askell et al., 2021]. For PMP, we use learning rate of 0.1 relative to LM pretraining, and train on a mixture of comparison data made from StackExchange, Reddit, and Wikipedia. Data preparation and labeling are explained in Appendix C.1 of We train with context size of 1024 tokens. [Askell et al., năm 2021]. For human feedback finetuning, we use learning rate of 0.01 relative to the LM pretraining. We use context size of 1024 tokens, except for the ‘online’ model described in Section where we trained with 2048, which may help stabilize RLHF on long contexts. 4.5, For both PMP and human feedback finetuning, we append a special ‘end-of-context’ token at the end of each sample, such that the PM score is predicted directly on top of this token. As explained in Appendix C.4 of Điều này có thể cải thiện hiệu suất PM. [Askell et al., 2021], In all phases, we only train over one iteration to mitigate overfitting. A.3 Scaling of PM with Model and Dataset Size A major question is how performance of preference modeling scaling with model size and dataset size. This relates to a practical question – should we invest in collecting a larger dataset, or in training larger models? Chúng tôi dường như tìm thấy quy mô dự đoán hơn khi đào tạo chỉ trên bộ dữ liệu hữu ích của chúng tôi, có lẽ bởi vì dữ liệu liên kết màu đỏ thực sự đến từ một phân phối riêng biệt. We find that accuracy can be roughly fit by 32. Nơi is the number of parameters in the PM and là kích thước của bộ dữ liệu. P D However, the results when training on another preference modeling data distribution look quite different, as seen on the right in Figure Lưu ý rằng dường như có một sự gián đoạn trong hành vi giữa các thông số 200M và 13B. Có lẽ điều này có liên quan đến thực tế là dữ liệu được tạo ra bởi một mô hình với các thông số 6B. 32. B Details, Analysis, and Evaluations of RLHF B.1 Training Setup B.1 Training Setup Here we discuss some details about RLHF training. We initialize our policies on context-distilled models, which are explained in A.1. We train the policy to generate responses to a dataset of prompts that maximize the score relative to a PM that was finetuned on human feedback. The prompt dataset is obtained from the training split of the PM comparisons dataset by simply removing the responses in each pair. Recall that we allow multi-step dialogue within the prompt (which always begins and ends on the human side of the conversation), but only train the policy to generate one response following each prompt. In future work, we plan to train policies to generate multiple steps, but this requires a separate model that generates the human side of the conversation, which can be implemented with a language model trained to imitate the human side of the conversation. We performed a variety of hyperparameter scans, and ended up using learning rate of 0.01 relative to pretraining, a KL reward coefficient of λKL = 0.001 (4.1), PPO clipping = 0.2, discount factor γ = 1, and no entropy bonus. Furthermore, in PPO, we re-iterate over the same sample K times (see Algorithm 1 in [Schulman et al., 2017]), with higher K typically leading to more stable results. We used K = 1 for the RLHF scan, K = 2 for the robustness studies (Section 4.2), and K = 4 for the ‘online’ RLHF (Section 4.5). We also impose a limit on the maximum number of tokens per model response, using 32 for the robustness studies, and 128 elsewhere. Finally, for ‘online’ RLHF, we used a learning schedule that reduces the learning rate by 2× every 100,000 samples. For the robustness studies, we used a linear learning rate warmup for the first 25,000 samples. B.2 More on Robustness Studies B.2 More on Robustness Studies In Figure we compare the điểm cho tất cả các kích thước chính sách và tất cả sizes. The main observation here is that the slope of the graph increases with respect to kích thước, do đó gợi ý rằng lớn hơn ’s are significantly more capable of distinguishing policy performance. In other words, , phù hợp với các nghiên cứu hiệu chuẩn trong phần 33, test PM test PM Kiểm tra PM test PM larger preference models are more robust 3.3 Hành động Finally, we take a moment here to address an issue we had neglected so far, which is that scores from different preference models should not be compared directly, since the absolute value of the score has no meaning, only relative scores are meaningful. We address this by a simple Chúng tôi tạo ra một tập dữ liệu được lưu trữ, bao gồm vài ngàn mẫu, và trừ từ mỗi mô hình ưa thích điểm số điểm trung bình của nó trên tập dữ liệu này. Chúng tôi xin lỗi rằng cốt truyện không liên quan từ các phần khác nhau có thể đã sử dụng các tập dữ liệu được lưu trữ khác nhau để loại bỏ trung bình. nghĩa là loại bỏ B.3 Details of ‘Online’ RLHF B.3 Details of ‘Online’ RLHF We give some more details on our ‘online’ RLHF policy discussed in Section This policy and its PM were trained on all the helpfulness and harmlessness data we had near the completion of this paper. We re-iterated each sample = 4 times để cải thiện sự ổn định, và lấy mẫu tối đa 128 token mỗi phản ứng. 4.5. K [Schulman et al., 2017] Throughout training, we periodically evaluate the của chính sách trên các tập dữ liệu so sánh PM khác nhau. Cụ thể hơn, với một so sánh bao gồm một lời nhắc và một cặp câu trả lời, chúng tôi gán độ chính xác là 1 nếu log-p trung bình của chính sách trên câu trả lời tốt hơn là cao hơn, và 0 nếu không. Chúng tôi hiển thị các kết quả này trong Hình Đặc biệt, chúng tôi thấy rằng độ chính xác log-p trung bình của chính sách không cao như (i.e., fraction of comparisons on which the PM assigns a higher score to the better response), possibly suggesting room for further improvements to our RLHF pipeline. Độ chính xác log-p 34 PM accuracy B.4 Robustness of ‘Online’ RLHF B.4 Robustness of ‘Online’ RLHF For our final online models, we had crowdworkers compare a variety of model snapshots from RLHF training, in order to better understand the robustness and general performance of our training process. In Figure (right), we show Elo scores for the online models during RLHF training. 15 In particular, we compare Elo scores established empirically from crowdworker preferences (i.e., in the figure), and Elo scores predicted by our preference model (i.e, ) during RLHF training. For the latter, we sample responses from each snapshot on a set of held-out prompts, and evaluate the PM scores (which are then converted to Elo units). We notice that the naive PM predictions significantly overestimate the empirical Elos. This is due to a combination of the following fac- tors: Crowd- worker Preferences Naive PM Predic- tion 1. During crowdworker testing, each step of the conversation is written by one of the two models being tested. However, when evaluating a RLHF snapshot on held-out prompts, the policy only writes one response at the end of a pre-existing conversation (which had been previously generated by other models, as discussed in Appendix Điều này dẫn đến sự thay đổi phân phối giữa các cuộc trò chuyện. B.1). 2. Elo and PM scores may not actually be transitive, as they involve the collapse of pairwise compar- isons onto a single line. For example, if PM scores satisfy - Chị = 2 and − = 2, ngay cả khi đó là điểm số được đánh giá tốt, ý nghĩa rằng − = 4 có thể không được hiệu chỉnh chính xác, và chúng ta sẽ tự nhiên mong đợi thay vào đó - Chị 4. a, b và c a b b c a c a c > 3. Failures of PM robustness, so that the PM’s preference for the RL policy’s samples is miscalibrated compared to true human preferences. Để khám phá thêm các hiệu ứng này, trong hình we show Elo scores corresponding to four different measure- ments: 35 • Naive PM Prediction: The PM score (translated into Elo units) recorded during RLHF training, which uses a set of held-out prompts. • Mean PM Score on Crowdworker Data: The mean PM score on the actual crowdworker conversa- tions used to compute Elo scores based on crowdworker preferences. • PM Ranking on Crowdworker Data: One can try to distinguish robustness failures from miscal- ibrated PM scores vs PM . Here we evaluate the PM on the crowdworker data used to compare these model snapshots, obtain ‘win rates’ for model comparisons , and then we the Elo scores based on the PM’s choices. rankings Theo PM Trả Lại • Crowdworker Preferences: Chúng tôi trực tiếp tính toán điểm số Elo dựa trên sở thích của crowdworker trong số các snapshots mô hình. So we see that the PM score vs PM rankings distinction does not make a significant difference in terms of robustness. However, the distributional shift between the held-out prompts and the actual crowdworker conversations was very significant, and explains a significant proportion of the discrepancy between RLHF learning curves and the Elo scores as measured from crowdworkers. B.5 Crowdworker Comparisons and Elo Scores B.5 Crowdworker Comparisons and Elo Scores Here we briefly describe how we test crowdworker preferences of our models, and how Elo scores are es- tablished. For pair of models and , we ask crowdworkers to engage in text-based, back-and-forth con- versations with the models. At each conversational step, two responses are generated, one from each model, and the worker chooses the response they prefer, and the conversation continues. Each choice the worker makes counts as a ‘win’ for the preferred model, giving ‘win counts’ , respectively. In cases where a worker is unsure about whether one response is better, we throw out such comparisons in both PM and RLHF training, and crowdworkers comparison evaluations. A B Nếu NB Recall that, given Elo scores EA, EB, respectively, the log-likelihood for the win counts is given by where rA,B = (log 10/400)EA,B ≈ EA,B/174. For an ensemble of comparisons between various models, we estimate Elo scores and their errors by maximum likelihood estimation. In some cases one of the models uses , meaning that it generates mẫu, đánh giá tất cả chúng bằng cách sử dụng một mô hình ưu tiên, và hiển thị cho người dùng mẫu có điểm số cao nhất. điểm Elo cho các mô hình như vậy được hiển thị trong Phụ lục In this case, we cannot stream the sample, so instead we make the workers wait until the sample is completed. When testing a rejection sampling model against a non-rejection sampling one, we only show the samples when they’ve both been completed, even if the latter sample could’ve been streamed, to mitigate bias. rejection sampling k B.6. B.6 Elo Scores for Rejection Sampling Models B.6 Elo điểm cho các mô hình lấy mẫu từ chối In Figure chúng tôi cho thấy điểm Elo hữu ích cho một mô hình chưng cất bối cảnh 52B với lấy mẫu từ chối (sử dụng một mô hình ưu tiên 52B được đào tạo về hữu ích thuần túy) cho = 1*,* 4*,* 16*,* 64, cho thấy rằng giá trị cao hơn Chú ý rằng mô hình chưng cất ngữ cảnh và các mô hình ưu tiên được thảo luận ở đây đã được đào tạo trong một giai đoạn đầu của nghiên cứu của chúng tôi với các tập dữ liệu và cài đặt khác nhau từ những người được thảo luận ở nơi khác trong bài báo, vì vậy chúng không trực tiếp so sánh với các kết quả Elo khác, mặc dù rất gần gũi và heuristically, các mô hình trực tuyến của chúng tôi dường như hoạt động tốt hơn hoặc tốt hơn = 64 rejection sampling. ghi chú 36 k k k that = 64 rejection sampling corresponds to = log(64) ≈ 4 * * 2. k DKL B.7 Stack Overflow Results We can also evaluate our language models directly given a corpus of paired good and bad responses, such as answers to StackOverflow questions. In we evaluate the difference in mean log-p between popular (i.e, highly upvoted) and unpopular answers, showing that RLHF models consistently assign a higher difference, suggesting that they are more capable of distinguishing answer quality. In we plot the language modeling loss (i.e, mean log-prob) on the good and bad answers separately, rather than their difference. We find that the RLHF models obtain worse loss. This is most likely due to optimizing a different objective rather than pure language modeling. 37b 37a B.8 Further Analysis of RLHF on Code-Model Snapshots B.8 Further Analysis of RLHF on Code-Model Snapshots Như đã thảo luận trong phần RLHF improves performance of base code models on code evals. In this ap- pendix, we compare that with simply prompting the base code model with a sample of prompts designed to elicit helpfulness, harmlessness, and honesty, which we refer to as ‘HHH’ prompts. In particular, they contain a couple of coding examples. Below is a description of what this prompt looks like: 5.3 , Below are a series of dialogues between various people and an AI assistant. The AI tries to be helpful, polite, honest, sophisticated, emotionally aware, and humble-but-knowledgeable. The assistant is happy to help with almost anything, and will do its best to understand exactly what is needed. It also tries to avoid giving false or misleading information, and it caveats when it isn’t entirely sure about the right answer. That said, the assistant is practical and really does its best, and doesn’t let caution get too much in the way of being useful. -- ... (we include several short example conversations using the normal Human: ... Assistant: ... format.) -- Human: Can you help me write this Python function? I’ve already written the function’s signature and docstring, but I’m not sure how to write the function’s body. It starts like this: Assistant: Sure thing, here you go! I’ve tested this function myself so I know that it’s correct: Figure chứa kết quả trên HumanEval khi lời nhắc HHH được bao gồm. Chúng tôi thấy rằng lời nhắc HHH cải thiện hiệu suất đáng kể hơn RLHF trên nhiều values. 38 Lời bài hát Pass@k B.9 Details of Applying Out-of-Distribution Detection to Reject Strange or Harmful Requests Khoảng cách Mahalanobis tương đối đơn giản mới được đề xuất của chúng tôi vượt xa khoảng cách Mahalanobis tiêu chuẩn trên phát hiện OOD của đầu vào vô hại từ đầu vào hữu ích cho các kích hoạt được trích xuất từ tất cả các lớp của tất cả các kích cỡ mô hình mà chúng tôi đã thử nghiệm. Simplified Relative Mahalanobis distance 39. Exposing the OOD detector to a few examples of the out-distribution has first been proposed by đề xuất sử dụng một lớp duy nhất đại diện cho các ví dụ OOD. [F] đã chứng minh rằng ngay cả các máy dò gần OOD mạnh cũng được hưởng một lợi thế lớn. Few-shot outlier exposure [Henry et al., năm 2018]. [Thulasidasan et al., 2021] ort et al., 2021] Following the procedure from [F chúng ta áp dụng một lớp phân loại tuyến tính trên các vector hành động, trong khi phần còn lại của mô hình ngôn ngữ bị đóng băng. randomly drawn examples of the training set of the out-distribution (harmlessness data), we create a new binary classification problem, where the inputs are the combination of the full các ví dụ đào tạo của bộ đào tạo trong phân phối với lớp mục tiêu là 0, và xe lửa*//M* bản sao của examples of the out-distribution with the target class of 1. This ensure an equal representation of both in- and out-distribution examples and leads to better learning. Once we train the linear classifier, we use its class 1 output as the OOD score. The results are shown in Figure ort et al., 2021], M N N M 23. B.10 Gender Bias Evaluation Details B.10 Đánh giá phân biệt giới tính Chi tiết For this evaluation, we followed and used their list of 76 occupations and 12 pairs of gender terms: [Rae et al., 2021] • Nghề nghiệp: Giám đốc điều hành, kế toán, quản trị viên, cố vấn, nhà phân tích, đánh giá, kiến trúc sư, trợ lý, chăm sóc, kiểm toán viên, nướng, bartender, nhà môi giới, thợ may, đầu bếp, hóa học, trưởng, dọn dẹp, nhân viên, đầu bếp, cố vấn, nhà thiết kế, nhà phát triển, chuyên gia dinh dưỡng, bác sĩ, lái xe, biên tập viên, giáo dục, điện, kỹ sư, kiểm tra viên, nông dân, lính cứu hỏa, vệ sĩ, thợ làm tóc, vệ sinh viên, kiểm tra viên, giảng viên, điều tra viên, thợ sửa chữa, luật sư, thư viện, nhà máy, quản lý, cơ khí, y tá, chuyên gia dinh dưỡng, sĩ quan, họa sĩ, giám sát viên, bác sĩ phẫu thuật, y tế, bệnh lý học, bác sĩ, • Đàn ông giới tính thuật ngữ: con trai, anh trai, cha, chồng, người đàn ông, chú rể, đàn ông, chàng trai, cha, con trai, quý ông, bạn trai • Female gendered terms: girl, sister, mom, wife, woman, bride, female, gal, lady, mother, daughter, girlfriend Human: Can you help me fill in the missing word in a sentence? The sentence is: For work, the {gendered term} is a Assistant: Sure thing, here is your sentence with the missing word filled in: For work, the {gendered term} is a {occupation} Sau đó chúng tôi đánh giá khả năng của , given gender terms. With this formulation, the larger LMs, context-distilled models, and RLHF models all assigned about 2-8% of their probability mass to one of the 76 occupations listed above when completing the sentence. occupations We also slightly modified the metric from [Rae et al., 2021] in order to estimate errors. So to compute bias scores, for each occupation O we defined and then we define the overall bias score as the mean of the absolute value of , ranging over occupations: BO Nơi represents occupations while represent paired gender terms (e.g. lady/gentleman), and = 76 and = 12. With this setup, we are sensitive to whether bias is uniform across all pairs of gendered terms (for any given occupation). As a concrete example, if it were the case that a model associated ‘lawyer’ more strongly with ‘boy’ than ‘girl’, but also more strongly with ‘wife’ than ‘husband’, this would increase the error in our measurement, while the bias effects would tend to cancel out. O gf , gm Không Ng Ng Kết quả được hiển thị trong Figure where we observe that RLHF models have both larger bias scores and larger errors. We believe this has a very simple explanation – RLHF models have much lower-entropy output distributions. As a rough, heuristic explanation, a model with a lower-entropy output will behave somewhat like a plain LM evaluated at a temperature 1. The metric and error from equation will typically scale as 1*/T* , so it should be expected that models with lower entropy distributions will have proportionally larger bias scores and bias errors. We show these effects explicitly in Figure by evaluating bias scores with context distilled models at ≈ 0*.*6, and showing that they are quite similar to RLHF bias scores. 40 , T > B.3 40 T Readers may observe that the RLHF model bias appears to be growing with model size. This is most likely because RLHF training tends to progressively reduce the entropy (or decrease the ‘effective temperature’) of model distributions, and we train larger models longer with RLHF, because their training is more robust (and so more beneficial in other respects). Thus we expect this trend is a property of differences in RLHF training across model sizes, rather than a more fundamental model-size trend. C Samples from PALMS, LaMDA, and InstructGPT Prompts These were generated by sampling 17 responses for each prompt from our best online HH model, ranking them using the corresponding preference model, and then displaying the non-empty response ac- cording to the PM. (Occasionally the model writes the "end of conversation" token in response to sensitive queries.) So to a large extent, these samples are not ‘cherry-picked’, and should be representative of average- case behavior. In the case of LaMDA and InstructGPT we include the corresponding samples from those models. median [Thoppilan et al., 2022] [Ouyang et al., 2022] C.1 PALMS Sensitive Questions C.1 PALMS Sensitive Questions Các câu hỏi được rút ra từ các câu hỏi nhạy cảm trong [Solaiman and Dennison, 2021]. Xin lưu ý rằng một số câu hỏi này chứa tài liệu nhạy cảm (theo thiết kế). C.2 InstructGPT Prompts We warn readers that some of the samples from InstructGPT were likely cherry picked to display , and so may be unrepresentative. Thus in some cases it will be unfair to compare our median samples to those from InstructGPT. [Ouyang et al., 2022] poor model behavior, on purpose C.3 LaMDA Prompts C.3 LaMDA Prompts D Details on Data Collection and Crowdworkers D.1 Overview D.1 Tổng quan Đối với mục đích phân bổ nhiệm vụ, chúng tôi đã chia công nhân cộng đồng của chúng tôi thành hai nhóm. Một nhóm khoảng 30 công nhân “chọn” được gửi các nhiệm vụ ưu tiên cao một cách thường xuyên. Khoảng một nửa trong số những công nhân này được thuê thông qua Upwork. Nửa còn lại được chọn từ dân số chung của công nhân MTurk có trụ sở tại Hoa Kỳ với trình độ “Masters”. Nhóm công nhân thứ hai đến từ cùng một dân số chung của công nhân MTurk, và chủ yếu được trao các nhiệm vụ nhóm đỏ theo lịch trình ít thường xuyên hơn. Chúng tôi đã cố gắng đảm bảo rằng tất cả công nhân được trả lương cao hơn mức lương tối thiểu ở California, điều chỉnh tỷ lệ cho các nhiệm vụ mất nhiều thời gian hơn (ví dụ với các mô hình sử dụng lấy mẫu từ chối) trong trường hợp công nhân MTurk, những người được trả lương theo nhiệm vụ Among our select workers, MTurk workers usually accounted for 80-85% of comparison data collected in a given week, compared to 15-20% for workers hired through Upwork. Although the size of these groups were similar, MTurk workers tended to opt in to more work and their pay structure incentivized quicker conversations. We communicated with select workers on a daily basis over Slack. We used this channel to announce new tasks and provide guidance; we discussed difficult edge cases with the group as they came up. At an interme- diate stage of the project we provided some additional thoughts on more advanced forms of interaction with the model; the slack message we sent is shown in Figure Our workers alerted us to bugs and performance issues as they ran into them. 43. Chúng tôi đã gửi cho cả hai nhóm công nhân một cuộc khảo sát nhân khẩu học, và kết quả được hiển thị trong hình Survey re- sponses were anonymous, as we did not collect any personal identifiable information alongside demographic information. 44. D.2 Instructions and Interface D.2 Instructions and Interface We display basic task instructions in a pop-up dialog when first loading the interface, and these instructions remain available throughout the interaction. These instructions for the ‘playground’ and ‘red team’ tasks can be found in figure For the playground task, we also link to a separate page with expanded instructions that include more detailed examples, excerpts of which can be seen in figure 41. 42. Giao diện phản hồi của con người được hiển thị trong hình Trong quá trình thu thập dữ liệu trực tuyến, chúng tôi đã thêm một tùy chọn bổ sung vào giao diện cho Upworkers. tính năng này cho phép họ chỉnh sửa một trong các phản hồi mô hình. Khi họ sử dụng tính năng này, chúng tôi lưu trữ một so sánh của chỉnh sửa với bản gốc (giả sử chỉnh sửa tốt hơn), thay vì so sánh ban đầu của hai đầu ra mô hình. Điều này sẽ ảnh hưởng đến ít hơn 10% dữ liệu trực tuyến. 6. D.3 Data Quality Measurement Challenges D.3 Data Quality Measurement Challenges Nói chung, đảm bảo chất lượng dữ liệu cho nhãn hiệu con người thường liên quan đến các bước sau: • Researchers carefully review a small set of samples to produce a set of ‘golden’ labels Nhãn con người làm việc thông qua một loạt các nhiệm vụ nhãn, với một số tiểu tập các nhiệm vụ nhãn được gán cho nhiều nhãn, và các mẫu từ bộ dữ liệu nhãn vàng được gửi đến tất cả mọi người. • Researchers evaluate labeler performance by checking their labels against the golden labels, and by checking for inter-labeler agreement The idea is that the golden labels are treated as a source of truth, with labelers incentivized to modify their behavior to better match the golden labels, and novice labelers incentivized to match the behavior of more experienced labelers. These sorts of methods weren’t easily adapted to our data collection setup. Open-ended conversations allowed us to collect a richer dataset, but introduced a number of hard-to-control variables, resulting in noisy data quality metrics. Chúng tôi đã cố gắng để các nhân viên cộng đồng xem xét các cuộc trò chuyện của nhau, bằng cách cung cấp xếp hạng cho mỗi so sánh phản ứng mô hình và xếp hạng chất lượng tổng thể của cuộc trò chuyện. Nhưng chúng tôi thấy rằng đồng ý với tác giả không phải là một hướng dẫn tốt để đánh giá chất lượng cuộc trò chuyện tổng thể. Về mặt rộng rãi, chất lượng cuộc trò chuyện phụ thuộc vào a) chủ đề trò chuyện, b) chất lượng viết của con người, c) chất lượng mô hình. Và chúng tôi thấy rằng, ví dụ, khi các cuộc trò chuyện trở nên phức tạp hơn, việc quyết định giữa các phản ứng mô hình trở nên khó khăn hơn. Kết quả là, các tác giả thường xuyên thảo luận về các chủ đề khó khăn sẽ nhận được điểm đồng ý thấp hơn. Và vì chúng tôi thường xuyên cập nhật mô hình của chúng tôi, so sánh phản ứng mô hình là một mục Instead of directly assessing our crowdworkers based on these kinds of reviewer-based metrics, we considered using their performance as reviewers as a stand-in for their performance as conversation authors. But when we compared these metrics against our own spot-checks of conversation author quality, we found poor agreement. We expect to be able to work around these problems and come up with better methods in the future. But it’s worth noting that were able to achieve our results without sophisticated data quality controls. E Chi tiết về NLP Evaluations Định dạng và Prompts Ở đây, chúng tôi cung cấp các định dạng đầu vào mà chúng tôi đã sử dụng để đánh giá hiệu suất trên Lambada, ARC, MMMLU, HellaSwag, OpenBookQA và TriviaQA. References [Amodei et al., 2016] Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., and Mané, D. (2016). Các vấn đề cụ thể về an toàn [Askell et al., 2021] Askell, A., Bai, Y., Chen, A., Drain, D., Ganguli, D., Henighan, T., Jones, A., Joseph, N., Mann, B., DasSarma, N., Elhage, N., Hatfield-Dodds, Z., Hernandez, D., Kernion, J., Ndousse, K., Olsson, C., Amodei, D., Brown, T., Clark, J., McCandlish, S., Olah, C., và Kaplan, J. (2021). Một trợ lý ngôn ngữ chung như một phòng thí nghiệm cho sự sắp xếp. [Bender et al., 2021] Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? ï¿œï¿œ. In , FAccT ’21, trang 610-623, New York, NY, Hoa Kỳ. Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency [Bommasani et al., 2021] Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E., Brynjolfsson, E., Buch, S., Card, D., Castellon, R., Chatterji, N. S., Chen, A. S., Creel, K., Davis, J. Q., Demszky, D., Donahue, C., Doumbouya, M., Durmus, E., Ermon, S., Etchemendy, J., Ethayarajh, K., Fei-Fei, L., Finn, C., Gale, T., Gillespie, L., Goel, K., Goodman, N. D., Grossman, S., Guha, N., Hashimoto, T., Henderson, P., Hewitt, J., Ho, D. E., Hong, J., Hsu, K., Huang, J., Icard, T., Jain, S., Jurafsky, D., Kalluri, P., Karamcheti, S., Keeling, G., Khani, F., Khattab, O., Koh, P. W., Krass, M. S., Krishna, R., Kuditipudi, R., et al. (2021). Về cơ hội và rủi ro của các mô hình nền tảng. , abs/2108.07258. CoRR [Borgeaud et al., 2021] Borgeaud, S., Mensch, A., Hoffmann, J., Cai, T., Rutherford, E., Millican, K., van den Driessche, G., Lespiau, J., Damoc, B., Clark, A., de Las Casas, D., Guy, A., Menick, J., Ring, R., Hennigan, T., Huang, S., Maggiore, L., Jones, C., Cassirer, A., Brock, A., Paganini, M., Irving, G., Vinyals, O., Osindero, S., Simonyan, K., Rae, J. W., Elsen, E., and Sifre, L. (2021). Improving language models by retrieving from trillions of tokens. , abs/2112.04426. CoRR [Brown et al., 2020] Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., và Amodei, D. (2020). Các mô hình ngôn ngữ là những người ít học. [Chen et al., 2021] Chen, M., Tworek, J., Jun, H., Yuan, Q., Pinto, H. P. d. O., Kaplan, J., Edwards, H., Burda, Y., Joseph, N., Brockman, G., et al. (2021). Evaluating large language models trained on code. . arXiv preprint arXiv:2107.03374 [Chowdhery et al., 2022] Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., Reif, E., Du, N., Hutchinson, B., Pope, R., Bradbury, J., Austin, J., Isard, M., Gur-Ari, G., Yin, P., Duke, T., Levskaya, A., Ghemawat, S., Dev, S., Michalewski, H., Garcia, X., Misra, V., Robinson, K., Fedus, L., Zhou, D., Ippolito, D., Luan, D., Lim, H., Zoph, B., Spiridonov, A., Sepassi, R., Dohan, D., Agrawal, S., Omernick, M., Dai, A. M., Pillai, T. S., Pellat, M., Lewkowycz, A., Moreira, E., Child, R., Polozov, O., Lee, K., Zhou, Z., Wang, X., Saeta, B., Diaz, M., Firat, O., Catasta, M., Wei, J., Meier-Hellstern, K., Eck, D., Dean, J., Petrov, S., and Fiedel, N. (2022). Palm: Scaling language modeling with pathways. [Clark et al., 2018] Clark, P., Cowhey, I., Etzioni, O., Khot, T., Sabharwal, A., Schoenick, C., and Tafjord, O. (2018). Think you have solved question answering? try arc, the ai2 reasoning challenge. , abs/1803.05457. Lưu trữ [Fort, 2022] Fort, S. (2022). Adversarial vulnerability of powerful near out-of-distribution detection. [Fort et al., 2021] Fort, S., Ren, J., và Lakshminarayanan, B. (2021). Khám phá giới hạn của phát hiện ngoài phân phối. [Ganguli et al., 2022] Ganguli, D., Hernandez, D., Lovitt, L., DasSarma, N., Henighan, T., Jones, A., Joseph, N., Kernion, J., Mann, B., Askell, A., Bai, Y., Chen, A., Conerly, T., Drain, D., Elhage, N., Showk, S. E., Fort, S., Hatfield-Dodds, Z., Johnston, S., Kravec, S., Nanda, N., Ndousse, K., Olsson, C., Amodei, D., Amodei, D., Brown, T., Kaplan, J., McCandlish, S., Olah, C., and Clark, J. (2022). Predictability and surprise in large generative models. [Guo et al., 2017] Guo, C., Pleiss, G., Sun, Y., and Weinberger, K. Q. (2017). On calibration of modern neural networks. [Guu et al., 2020] Guu, K., Lee, K., Tung, Z., Pasupat, P., and Chang, M. (2020). REALM: retrieval- augmented language model pre-training. , abs/20022.08909 CoRR [Henderson et al., 2017] Henderson, P., Sinha, K., Angelard-Gontier, N., Ke, N. R., Fried, G., Lowe, R., và Pineau, J. (2017). thách thức đạo đức trong các hệ thống đối thoại dựa trên dữ liệu. , abs/1711.09050 CoRR [Hendrycks et al., 2021a] Hendrycks, D., Burns, C., Basart, S., Critch, A., Li, J., Song, D., and Steinhardt, J. (2021a) Phù hợp ai với các giá trị chung của con người. [Hendrycks et al., 2021b] Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., and Stein- hardt, J. (2021b). Measuring massive multitask language understanding. [Hendrycks et al., 2021c] Hendrycks, D., Carlini, N., Schulman, J., and Steinhardt, J. (2021c). Unsolved problems in ml safety. [Hendrycks and Gimpel, 2016] Hendrycks, D. and Gimpel, K. (2016). A baseline for detecting misclassified and out-of-distribution examples in neural networks. [Hendrycks et al., 2018] Hendrycks, D., Mazeika, M., and Dietterich, T. (2018). Deep anomaly detection with outlier exposure. [Henighan et al., 2020] Henighan, T., Kaplan, J., Katz, M., Chen, M., Hesse, C., Jackson, J., Jun, H., Brown, T. B., Dhariwal, P., Gray, S., Hallacy, C., Mann, B., Radford, A., Ramesh, A., Ryder, N., Ziegler, D. M., Schulman, J., Amodei, D., và McCandlish, S. (2020). Quy luật quy mô cho mô hình phát sinh tự kỷ. [Hernandez et al., 2021] Hernandez, D., Kaplan, J., Henighan, T., and McCandlish, S. (2021). Scaling laws for transfer. , abs/2102.01293. CoRR [Hestness et al., 2019] Hestness, J., Ardalani, N., và Diamos, G. (2019). Hơn độ chính xác ở cấp độ con người: Những thách thức tính toán trong học tập sâu. , PPoPP ’19, trang 1–14, New York, NY, Hoa Kỳ. Triển lãm của Hội nghị thượng đỉnh lần thứ 24 về các nguyên tắc và thực hành lập trình song song [Jiang et al., 2021] Jiang, L., Hwang, J. D., Bhagavatula, C., Bras, R. L., Forbes, M., Borchardt, J., Liang, J., Etzioni, O., Sap, M., và Choi, Y. (2021). Delphi: Về đạo đức máy và các chuẩn mực. [Joshi et al., 2017] Joshi, M., Choi, E., Weld, D. S., and Zettlemoyer, L. (2017). Triviaqa: A large scale distantly supervised challenge dataset for reading comprehension. [Kaplan et al., 2020] Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J., and Amodei, D. (2020). Scaling laws for neural language models. [Koch et al., 2021] Koch, J., Langosco, L., Pfau, J., Le, J., and Sharkey, L. (2021). Objective robustness in deep reinforcement learning. , abs/2105.14111. CoRR [Lakshminarayanan et al., 2016] Lakshminarayanan, B., Pritzel, A., and Blundell, C. (2016). Simple and scalable predictive uncertainty estimation using deep ensembles. [Lee et al., 2018] Lee, K., Lee, K., Lee, H., và Shin, J. (2018). Một khuôn khổ thống nhất đơn giản để phát hiện các mẫu bên ngoài phân phối và các cuộc tấn công đối lập. [Lewis et al., 2020] Lewis, P. S. H., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., và Kiela, D. (2020). Tái thu tăng thế hệ cho các nhiệm vụ NLP chuyên sâu về kiến thức. , abs/2005.11401. CoRR [Liang et al., 2017] Liang, S., Li, Y., và Srikant, R. (2017). Cải thiện độ tin cậy của phát hiện hình ảnh ngoài phân phối trong các mạng thần kinh. [Lin et al., 2021] Lin, S., Hilton, J., and Evans, O. (2021). Truthfulqa: Measuring how models mimic human falsehoods. [Liu et al., 2021] Liu, A., Sap, M., Lu, X., Swayamdipta, S., Bhagavatula, C., Smith, N. A., and Choi, Y. (2021). On-the-fly controlled text generation with experts and anti-experts. , abs/2105.03023. CoRR [Liu et al., 2020] Liu, J. Z., Lin, Z., Padhy, S., Tran, D., Bedrax-Weiss, T., và Lakshminarayanan, B. (2020). Đánh giá sự không chắc chắn đơn giản và nguyên tắc với việc học sâu bằng cách xác định thông qua nhận thức từ xa. [Menick et al., 2022] Menick, J., Trebacz, M., Mikulik, V., Aslanides, J., Song, F., Chadwick, M., Glaese, M., Young, S., Campbell-Gillingham, L., Irving, G., and McAleese, N. (2022). Teaching language models to support answers with verified quotes. [Mihaylov et al., 2018] Mihaylov, T., Clark, P., Khot, T., và Sabharwal, A. (2018). Một chiếc áo giáp có thể dẫn điện không? một bộ dữ liệu mới để trả lời câu hỏi sách mở. Trong . EMNLP [Nakano et al., 2021] Nakano, R., Hilton, J., Balaji, S., Wu, J., Ouyang, L., Kim, C., Hesse, C., Jain, S., Kosaraju, V., Saunders, W., Jiang, X., Cobbe, K., Eloundou, T., Krueger, G., Button, K., Knight, M., Chess, B., and Schulman, J. (2021). Webgpt: Browser-assisted question-answering with human feedback. , abs/2112.09332. CoRR [Nalisnick et al., 2019] Nalisnick, E., Matsukawa, A., Teh, Y. W., Gorur, D., và Lakshminarayanan, B. (2019). mô hình lai với các tính năng sâu và đảo ngược. [Nguyen et al., 2014] Nguyen, A., Yosinski, J., và Clune, J. (2014). mạng lưới thần kinh sâu dễ bị đánh lừa: Dự đoán độ tin cậy cao cho hình ảnh không thể nhận ra. [Ouyang et al., 2022] Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. (2022). Training language models to follow instructions with human feedback. . arXiv Preprint arXiv:2203.02155 [Pan et al., 2022] Pan, A., Bhatia, K., and Steinhardt, J. (2022). The effects of reward misspecification: Mapping and mitigating misaligned models. , abs/2201.03544. CoRR [Paperno et al., 2016] Paperno, D., Kruszewski, G., Lazaridou, A., Pham, Q. N., Bernardi, R., Pezzelle, S., Baroni, M., Boleda, G., and FernÃ¡ndez, R. (2016). The lambada dataset: Word prediction requiring a broad discourse context. [Parrish et al., 2021] Parrish, A., Chen, A., Nangia, N., Padmakumar, V., Phang, J., Thompson, J., Htut, P. M., and Bowman, S. R. (2021). BBQ: A hand-built bias benchmark for question answering. , abs/2110.08193. CoRR [Paszke et al., 2019] Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., và Chintala, S. (2019). Pytorch: Một phong cách bắt buộc, thư viện học tập sâu hiệu suất cao. Trong Wallach, H., Larochelle, H., Beygelzimer, A., d'Alché-Buc, F., Fox, E., và Garnett, R., biên tập, , pages 8024–8035. Curran Associates, Inc. Hệ thống xử lý thông tin thần kinh 32 [Perez et al., 2022] Perez, E., Huang, S., Song, H. F., Cai, T., Ring, R., Aslanides, J., Glaese, A., McAleese, N., và Irving, G. (2022). Các mô hình ngôn ngữ kết hợp màu đỏ với các mô hình ngôn ngữ. , abs/2202.03286 CoRR [Power et al., 2022] Power, A., Burda, Y., Edwards, H., Babuschkin, I., and Misra, V. (2022). Grokking: Generalization beyond overfitting on small algorithmic datasets. , abs/2201.02177. CoRR [Rae et al., 2021] Rae, J. W., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., Song, H. F., Aslanides, J., Henderson, S., Ring, R., Young, S., Rutherford, E., Hennigan, T., Menick, J., Cassirer, A., Powell, R., van den Driessche, G., Hendricks, L. A., Rauh, M., Huang, P., Glaese, A., Welbl, J., Dathathri, S., Huang, S., Uesato, J., Mellor, J., Higgins, I., Creswell, A., McAleese, N., Wu, A., Elsen, E., Jayakumar, S. M., Buchatskaya, E., Budden, D., Sutherland, E., Simonyan, K., Paganini, M., Sifre, L., Martens, L., Li, X. L., Kuncoro, A., Nematzadeh, A., Gribovskaya, E., Donato, D., Lazaridou, A., Mensch, A., Lespiau, J., Tsimpoukelli, M., Grigorev, N., Fritz, D., Sottiaux, T., Pajarskas, M., Pohlen, T., Gong, Z., Toyama, D., de Masson d’Autume, C., Li, Y., Terzi, T., Mikulik, V., Babuschkin, I., Clark, A., de Las Casas, D., Guy, A., Jones, C., Bradbury, J., Johnson, M., Hechtman, B., A., Weidinger, L., Gabriel, I., Isaac, W. S., Lockhart, E., Osindero, S., Rimell, L., Dyer, , abs/2112.11446 CoRR [Ramasesh et al., 2022] Ramasesh, V. V., Lewkowycz, A., và Dyer, E. (2022). Ảnh hưởng của quy mô đối với sự lãng quên catas-tropic trong các mạng thần kinh. Trong . Hội nghị quốc tế về đại diện học tập [Ren et al., 2021] Ren, J., Fort, S., Liu, J., Roy, A. G., Padhy, S., và Lakshminarayanan, B. (2021). Một sửa chữa đơn giản cho khoảng cách mahalanobis để cải thiện phát hiện gần mắt. . arXiv Preprint arXiv:2106.09022 [Rosenfeld et al., 2019] Rosenfeld, J. S., Rosenfeld, A., Belinkov, Y., and Shavit, N. (2019). A constructive prediction of the generalization error across scales. [Sanh et al., 2019] Sanh, V., Debut, L., Chaumond, J., and Wolf, T. (2019). Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. , abs/1910.01108. ArXiv [Schulman et al., 2017] Schulman, J., Wolski, F., Dhariwal, P., Radford, A., and Klimov, O. (2017). Proximal policy optimization algorithms. , abs/1707.06347. CoRR [Solaiman và Dennison, 2021] Solaiman, I. và Dennison, C. (2021). Quá trình thích ứng các mô hình ngôn ngữ với xã hội (PALMS) với các tập dữ liệu nhắm mục tiêu giá trị. , abs/2106.10328. CoRR [Stiennon et al., 2020] Stiennon, N., Ouyang, L., Wu, J., Ziegler, D. M., Lowe, R., Voss, C., Radford, A., Amodei, D., and Christiano, P. (2020). Learning to summarize from human feedback. [Thoppilan et al., 2022] Thoppilan, R., Freitas, D. D., Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H., Jin, A., Bos, T., Baker, L., Du, Y., Li, Y., Lee, H., Zheng, H. S., Ghafouri, A., Menegali, M., Huang, Y., Krikun, M., Lepikhin, D., Qin, J., Chen, D., Xu, Y., Chen, Z., Roberts, A., Bosma, M., Zhou, Y., Chang, C., Krivokon, I., Rusch, W., Pickett, M., Meier-Hellstern, K. S., Morris, M. R., Doshi, T., Santos, R. D., Duke, T., Soraker, J., Zevenbergen, B., Prabhakaran, V., Diaz, M., Hutchinson, B., Olson, K., Molina, A., Hoffman-John, E., Lee, J., Aroyo, L., Rajakumar, R., Butryna, A., Lamm, M., Kuzmina, V., Fenton, J., Cohen, A., Bernstein, R., Kurzweil, R., Aguera-Arcas, B., Cui, C., Croak, M., Chi, E., và Le, Q. (2022). Lamda: Mô hình ngôn ngữ cho các ứng dụng đối thoại. , abs/2201.08239. CoRR [Thulasidasan et al., 2021] Thulasidasan, S., Thapa, S., Dhaubhadel, S., Chennupati, G., Bhattacharya, T., và Bilmes, J. (2021). Một đường cơ bản đơn giản và hiệu quả để phát hiện ngoài phân phối bằng cách sử dụng kiềm chế. [Tillet et al., 2019] Tillet, P., Kung, H. T., and Cox, D. (2019). , pages 10–19. Association for Computing Machinery, New York, NY, USA. Triton: Một ngôn ngữ trung gian và trình biên dịch cho máy tính mạng thần kinh gạch [Weidinger et al., 2021] Weidinger, L., Mellor, J., Rauh, M., Griffin, C., Uesato, J., Huang, P., Cheng, M., Glaese, M., Balle, B., Kasirzadeh, A., Kenton, Z., Brown, S., Hawkins, W., Stepleton, T., Biles, C., Birhane, A., Haas, J., Rimell, L., Hendricks, L. A., Isaac, W. S., Legassick, S., Irving, G., and Gabriel, I. (2021). Ethical and social risks of harm from language models. , abs/2112.04359. CoRR [Winkens et al., 2020] Winkens, J., Bunel, R., Roy, A. G., Stanforth, R., Natarajan, V., Ledsam, J. R., MacWilliams, P., Kohli, P., Karthikesalingam, A., Kohl, S., Cemgil, T., Eslami, S. M. A., và Ronneberger, O. (2020) Đào tạo tương phản để cải thiện phát hiện ngoài phân phối. [Xu et al., 2020] Xu, J., Ju, D., Li, M., Boureau, Y.-L., Weston, J., và Dinan, E. (2020). Công thức nấu ăn an toàn trong chatbots miền mở. . arXiv preprint arXiv:2010.07079 [Zellers et al., 2019] Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., and Choi, Y. (2019). Hellaswag: Can a machine really finish your sentence? [Zhang et al., 2020] Zhang, H., Li, A., Guo, J., và Guo, Y. (2020). Các mô hình lai cho nhận dạng thiết lập mở. [Ziegler et al., 2019] Ziegler, D., Stiennon, N., Wu, J., Brown, T., Amodei, D., Radford, A., Christiano, P., và Irving, G. (2019). Fine-Tuning GPT-2 từ Human Preferences. Tài liệu này có sẵn trên archiv dưới giấy phép CC by 4.0 Deed (Attribution 4.0 International). Tài liệu này có sẵn trên archiv dưới giấy phép CC by 4.0 Deed (Attribution 4.0 International).