Phê bình một cách tương tác các mô hình ngôn ngữ lớn bằng cách chuyển đổi phản hồi thành nguyên tắc

Bảng liên kết

Tóm tắt & Giới thiệu

Công việc có liên quan

Nghiên cứu hình thành

Người lập hiến pháp

Thực hiện

Nghiên cứu người dùng

Những phát hiện

Cuộc thảo luận

Kết luận và tài liệu tham khảo

TRỪU TƯỢNG

Lời nhắc mô hình ngôn ngữ lớn (LLM) là một cách tiếp cận mới đầy hứa hẹn để người dùng tạo và tùy chỉnh các chatbot của riêng họ. Tuy nhiên, các phương pháp hiện tại để điều khiển đầu ra của chatbot, chẳng hạn như kỹ thuật nhanh chóng và tinh chỉnh, không hỗ trợ người dùng chuyển đổi phản hồi tự nhiên của họ về đầu ra của mô hình thành những thay đổi trong lời nhắc hoặc mô hình. Trong công việc này, chúng tôi khám phá cách cho phép người dùng tinh chỉnh các kết quả đầu ra của mô hình một cách tương tác thông qua phản hồi của họ, bằng cách giúp họ chuyển đổi phản hồi của mình thành một bộ nguyên tắc (tức là hiến pháp) quy định hành vi của mô hình. Từ một nghiên cứu ban đầu, chúng tôi (1) nhận thấy rằng người dùng cần hỗ trợ chuyển đổi phản hồi của họ thành nguyên tắc cho chatbot và (2) phân loại các loại nguyên tắc khác nhau mà người dùng mong muốn. Lấy cảm hứng từ những phát hiện này, chúng tôi đã phát triển Hiến pháp, một công cụ tương tác để chuyển đổi phản hồi của người dùng thành nguyên tắc, nhằm điều khiển các chatbot dựa trên LLM. Với Hiến pháp, người dùng có thể cung cấp phản hồi tích cực hoặc tiêu cực bằng ngôn ngữ tự nhiên, chọn phản hồi được tạo tự động hoặc viết lại phản hồi của chatbot; mỗi chế độ phản hồi sẽ tự động tạo ra một nguyên tắc được chèn vào lời nhắc của chatbot. Trong một nghiên cứu người dùng với 14 người tham gia, chúng tôi so sánh Hiến pháp với một phiên bản rút gọn, trong đó người dùng viết ra các nguyên tắc của riêng họ. Với Hiến pháp, những người tham gia cảm thấy rằng các nguyên tắc của họ có thể hướng dẫn chatbot tốt hơn, họ có thể dễ dàng chuyển đổi phản hồi thành nguyên tắc hơn và họ có thể viết các nguyên tắc hiệu quả hơn mà ít cần phải suy nghĩ hơn. Hiến pháp đã giúp người dùng xác định các cách cải thiện chatbot, hình thành các phản hồi trực quan của họ đối với mô hình thành phản hồi và chuyển phản hồi này thành các nguyên tắc cụ thể và rõ ràng. Cùng với nhau, những phát hiện này cung cấp thông tin cho các công cụ trong tương lai hỗ trợ việc phê bình tương tác về kết quả đầu ra LLM.

Ý TƯỞNG CCS

• Điện toán lấy con người làm trung tâm → Nghiên cứu thực nghiệm về HCI; Hệ thống và công cụ tương tác; • Phương pháp tính toán → Học máy.

TỪ KHÓA

Mô hình ngôn ngữ lớn, AI đàm thoại, Phê bình tương tác

1. GIỚI THIỆU

Các mô hình ngôn ngữ lớn (LLM) có thể được áp dụng cho nhiều vấn đề khác nhau, từ hỗ trợ viết sáng tạo [8, 26, 36, 44] đến tổng hợp mã [13, 14, 20]. Người dùng hiện tùy chỉnh các mô hình này theo các nhiệm vụ cụ thể thông qua các chiến lược như kỹ thuật nhanh chóng [4], điều chỉnh hiệu quả tham số [19] và tinh chỉnh [10].

Ngoài các phương pháp phổ biến này để tùy chỉnh LLM, công việc gần đây đã chỉ ra rằng người dùng cũng muốn trực tiếp điều khiển các mô hình này bằng phản hồi ngôn ngữ tự nhiên (Hình 2A). Cụ thể hơn, một số người dùng muốn có thể phê bình kết quả đầu ra của mô hình để chỉ rõ chúng sẽ khác nhau như thế nào [5]. Chúng tôi gọi đây là phê bình tương tác về chiến lược tùy chỉnh.

Khi tương tác với một chatbot như ChatGPT[1] [28] hoặc Bard[2], lời phê bình tương tác thường sẽ thay đổi các phản hồi tiếp theo của chatbot để phù hợp với lời phê bình. Tuy nhiên, những thay đổi này không liên tục: người dùng phải lặp lại các hướng dẫn này trong mỗi lần tương tác mới với mô hình. Người dùng cũng phải nhận thức được rằng họ thực sự có thể thay đổi hành vi của mô hình theo cách này và phải hình thành sự phê bình của mình theo cách có khả năng dẫn đến những thay đổi trong các phản hồi trong tương lai của mô hình. Với giá trị tiềm năng của chế độ tùy chỉnh này, có cơ hội cung cấp hỗ trợ hạng nhất để trao quyền cho người dùng tùy chỉnh LLM thông qua phê bình ngôn ngữ tự nhiên.

Trong bối cảnh tùy chỉnh mô hình, Hiến pháp AI [1] đưa ra một chiến lược tùy chỉnh cụ thể liên quan đến các nguyên tắc ngôn ngữ tự nhiên. Một nguyên tắc có thể được coi là quy tắc mà mô hình ngôn ngữ phải tuân theo, chẳng hạn như “Không tạo nội dung có hại, phân biệt giới tính hoặc phân biệt chủng tộc”. Với một bộ nguyên tắc, hệ thống AI Hiến pháp sẽ 1) viết lại các câu trả lời mô hình vi phạm các nguyên tắc và 2) tinh chỉnh mô hình bằng các câu trả lời được viết lại. Quay trở lại khái niệm phê bình tương tác, người ta có thể tưởng tượng việc rút ra các nguyên tắc AI Hiến pháp mới hoặc được cải tiến từ các bài phê bình của người dùng. Sau đó, những nguyên tắc rút ra này có thể được sử dụng để thay đổi lời nhắc của LLM (Hình 2B) hoặc để tạo dữ liệu đào tạo mới, như trong công việc AI Hiến pháp ban đầu.

Mặc dù công việc gần đây này đã cho thấy các nguyên tắc có thể là một chiến lược hiệu quả và dễ giải thích để tùy chỉnh LLM, nhưng vẫn còn rất ít thông tin về quy trình con người viết ra những nguyên tắc này từ phản hồi của chúng tôi. Từ một nghiên cứu ban đầu, chúng tôi phát hiện ra rằng có rất nhiều thách thức về nhận thức liên quan đến việc chuyển những lời phê bình thành nguyên tắc. Để giải quyết những thách thức này, chúng tôi giới thiệu Hiến pháp, một hệ thống phê bình tương tác giúp chuyển đổi các phê bình mô hình của người dùng thành các nguyên tắc tinh chỉnh hành vi của mô hình. Hiến pháp tạo ra ba câu trả lời ứng cử viên ở mỗi lượt trò chuyện. Ngoài ba câu trả lời của ứng viên này, CharterMaker còn cung cấp ba tính năng khơi gợi nguyên tắc: 1) danh tiếng, trong đó người dùng có thể đưa ra phản hồi tích cực cho một câu trả lời, 2) phê bình, trong đó người dùng có thể đưa ra phản hồi tiêu cực cho một câu trả lời và 3) viết lại, trong đó người dùng có thể viết lại một phản hồi nhất định. Từ phản hồi này, Hiến pháp suy ra một nguyên tắc được tích hợp trong lời nhắc của chatbot.

Để đánh giá mức độ giúp đỡ của CharterMaker trong việc viết các nguyên tắc, chúng tôi đã tiến hành một nghiên cứu về người dùng theo chủ đề với 14 chuyên gia trong ngành quen thuộc với việc nhắc nhở. Những người tham gia đã sử dụng Hiến pháp và một phiên bản rút gọn thiếu phản hồi của nhiều ứng cử viên và các tính năng gợi ý nguyên tắc. Trong cả hai trường hợp, mục tiêu của họ là viết ra các nguyên tắc để tùy chỉnh hai chatbot. Từ nghiên cứu, chúng tôi nhận thấy rằng hai phiên bản khác nhau mang lại quy trình làm việc rất khác nhau. Với phiên bản bị loại bỏ, những người tham gia chỉ viết các nguyên tắc khi bot đi chệch khá nhiều so với mong đợi của họ, dẫn đến tổng số nguyên tắc được viết ít hơn đáng kể. Ngược lại, trong điều kiện của Hiến pháp, những người tham gia tham gia vào một quy trình làm việc trong đó họ xem xét nhiều câu trả lời của ứng viên và khen ngợi câu trả lời yêu thích của họ, dẫn đến nhiều nguyên tắc tổng thể hơn. Những quy trình công việc khác nhau này cũng mang lại những thách thức theo điều kiện cụ thể về nguyên tắc viết. Với phiên bản bị loại bỏ, người dùng thường không xác định rõ các nguyên tắc; trong khi đó, với Hiến pháp, người dùng đôi khi chỉ định quá mức các nguyên tắc của họ, mặc dù điều này ít xảy ra hơn. Cuối cùng, cả hai điều kiện đôi khi sẽ dẫn đến một vấn đề trong đó hai hoặc nhiều nguyên tắc xung đột với nhau.

Nhìn chung, với Hiến pháp, những người tham gia cảm thấy rằng các nguyên tắc của họ có thể hướng dẫn chatbot tốt hơn, họ có thể dễ dàng chuyển đổi phản hồi thành nguyên tắc hơn và họ có thể viết các nguyên tắc hiệu quả hơn mà ít cần phải suy nghĩ hơn. Hiến pháp cũng hỗ trợ quá trình suy nghĩ của họ khi họ viết ra các nguyên tắc bằng cách giúp người tham gia 1) nhận ra những cách mà câu trả lời có thể tốt hơn thông qua nhiều câu trả lời của ứng viên, 2) chuyển đổi trực giác của họ về lý do tại sao họ thích hoặc không thích một câu trả lời thành phản hồi bằng lời nói và 3) diễn đạt phản hồi này như một nguyên tắc cụ thể.

Nói chung, công việc này có những đóng góp sau:

• Phân loại các loại nguyên tắc mà người tham gia muốn viết để điều khiển hành vi của chatbot.

• Thiết kế của Hiến pháp, một công cụ tương tác để chuyển đổi phản hồi của người dùng thành nguyên tắc điều khiển hành vi của chatbot. Hiến pháp Maker giới thiệu ba tính năng khơi gợi nguyên tắc mới: khen ngợi, phê bình và viết lại, mỗi tính năng này tạo ra một nguyên tắc được chèn vào lời nhắc của chatbot.

• Kết quả từ một nghiên cứu người dùng gồm 14 người tham gia, trong đó những người tham gia cảm thấy rằng Hiến pháp đã cho phép họ 1) viết các nguyên tắc hướng dẫn chatbot tốt hơn, 2) chuyển phản hồi của họ thành các nguyên tắc dễ dàng hơn và 3) viết các nguyên tắc hiệu quả hơn, ít cần phải suy nghĩ hơn .

• Chúng tôi mô tả cách Hiến pháp hỗ trợ quá trình suy nghĩ của người tham gia, bao gồm việc giúp họ xác định các cách cải thiện phản hồi, chuyển trực giác của họ thành phản hồi bằng ngôn ngữ tự nhiên và diễn đạt phản hồi của họ thành những nguyên tắc cụ thể. Chúng tôi cũng mô tả các quy trình công việc khác nhau được hai hệ thống kích hoạt đã dẫn đến những thách thức khác nhau trong việc viết nguyên tắc và giới hạn của các nguyên tắc như thế nào.

Cùng với nhau, những phát hiện này cung cấp thông tin về các công cụ trong tương lai để tinh chỉnh các kết quả đầu ra LLM một cách tương tác thông qua phê bình tương tác.

[1] https://chat.openai.com/

[2] https://bard.google.com