Geri Bildirimi İlkelere Dönüştürerek Büyük Dil Modellerini Etkileşimli Olarak Eleştirmek

Bağlantı Tablosu

Özet ve Giriş

Alakalı iş

Biçimlendirici Çalışma

Anayasa Yapıcı

Uygulama

Kullanıcı Çalışması

Bulgular

Tartışma

Sonuç ve Referanslar

SOYUT

Büyük dil modeli (LLM) yönlendirmesi, kullanıcıların kendi sohbet robotlarını oluşturmaları ve özelleştirmeleri için umut verici yeni bir yaklaşımdır. Bununla birlikte, bir chatbot'un çıktılarını yönlendirmeye yönelik anlık mühendislik ve ince ayar gibi mevcut yöntemler, kullanıcıların modelin çıktıları hakkındaki doğal geri bildirimlerini istem veya modeldeki değişikliklere dönüştürmelerini desteklememektedir. Bu çalışmada, geri bildirimlerini modelin davranışını belirleyen bir dizi ilkeye (yani bir anayasaya) dönüştürmelerine yardımcı olarak, kullanıcıların geri bildirimleri yoluyla model çıktılarını etkileşimli olarak iyileştirmelerine nasıl olanak tanıyabileceğimizi araştırıyoruz. Biçimlendirici bir çalışmadan, (1) kullanıcıların geri bildirimlerini sohbet robotu için ilkelere dönüştürme konusunda desteğe ihtiyaç duyduklarını ve (2) kullanıcılar tarafından istenen farklı ilke türlerini sınıflandırdıklarını bulduk. Bu bulgulardan ilham alarak, LLM tabanlı sohbet robotlarını yönlendirmek için kullanıcı geri bildirimlerini ilkelere dönüştüren etkileşimli bir araç olan Anayasa Yapıcı'yı geliştirdik. AnayasaMaker ile kullanıcılar doğal dilde olumlu veya olumsuz geri bildirimde bulunabilir, otomatik olarak oluşturulan geri bildirimi seçebilir veya sohbet robotunun yanıtını yeniden yazabilir; her geri bildirim modu, otomatik olarak sohbet robotunun istemine eklenen bir ilke oluşturur. 14 katılımcıyla yapılan bir kullanıcı araştırmasında, Anayasa Yapıcı'yı kullanıcıların kendi ilkelerini yazdığı, azaltılmış bir sürümle karşılaştırdık. Katılımcılar, ConstanceMaker ile ilkelerinin sohbet robotunu daha iyi yönlendirebileceğini, geri bildirimlerini ilkelere daha kolay dönüştürebileceklerini ve ilkeleri daha az zihinsel taleple daha verimli bir şekilde yazabileceklerini hissettiler. AnayasaMaker, kullanıcıların sohbet robotunu iyileştirmenin yollarını belirlemelerine, modele verdikleri sezgisel yanıtları geri bildirime dönüştürmelerine ve bu geri bildirimi belirli ve açık ilkelere dönüştürmelerine yardımcı oldu. Bu bulgular birlikte, LLM çıktılarının etkileşimli eleştirisini destekleyen gelecekteki araçlara bilgi vermektedir.

CCS KAVRAMLARI

• İnsan merkezli bilgi işlem → HCI'da ampirik çalışmalar; Etkileşimli sistemler ve araçlar; • Bilgi işlem metodolojileri → Makine öğrenimi.

ANAHTAR KELİMELER

Büyük Dil Modelleri, Konuşmaya Dayalı Yapay Zeka, Etkileşimli Eleştiri

1. GİRİŞ

Büyük dil modelleri (LLM'ler), yaratıcı yazma yardımından [8, 26, 36, 44] kod sentezine [13, 14, 20] kadar çok çeşitli sorunlara uygulanabilir. Kullanıcılar şu anda bu modelleri hızlı mühendislik [4], parametre verimli ayarlama [19] ve ince ayar [10] gibi stratejiler aracılığıyla belirli görevlere göre özelleştirmektedir.

LLM'leri özelleştirmeye yönelik bu yaygın yöntemlere ek olarak, son çalışmalar kullanıcıların bu modelleri doğrudan doğal dil geri bildirimiyle yönlendirmek istediklerini de göstermiştir (Şekil 2A). Daha spesifik olarak, bazı kullanıcılar modelin çıktılarının nasıl farklı olması gerektiğini belirlemek için eleştirebilmek isterler [5]. Bu kişiselleştirme stratejisine etkileşimli eleştiri diyoruz.

ChatGPT[1] [28] veya Bard[2] gibi bir sohbet robotuyla etkileşime girildiğinde, etkileşimli eleştiri sıklıkla sohbet robotunun sonraki yanıtlarını eleştiriye uyacak şekilde değiştirecektir. Ancak bu değişiklikler kalıcı değildir: kullanıcıların modelle her yeni etkileşimde bu talimatları tekrarlaması gerekir. Kullanıcılar ayrıca modelin davranışını bu şekilde gerçekten değiştirebileceklerinin farkında olmalı ve eleştirilerini modelin gelecekteki tepkilerinde değişikliklere yol açabilecek şekilde formüle etmelidir. Bu özelleştirme modunun potansiyel değeri göz önüne alındığında, kullanıcıların LLM'leri doğal dil eleştirisi yoluyla özelleştirmelerine olanak sağlamak için birinci sınıf destek sağlama fırsatı vardır.

Model özelleştirme bağlamında Anayasal Yapay Zeka [1], doğal dil ilkelerini içeren özel bir özelleştirme stratejisi sunar. “Zararlı, cinsiyetçi veya ırkçı içerik oluşturmayın” gibi bir ilkenin dil modelinin uyması gereken bir kural olduğu düşünülebilir. Bir dizi ilke göz önüne alındığında, bir Anayasal Yapay Zeka sistemi 1) ilkeleri ihlal eden model yanıtlarını yeniden yazacak ve 2) yeniden yazılan yanıtlarla modele ince ayar yapacaktır. Etkileşimli eleştiri kavramına dönersek, kullanıcıların eleştirilerinden yeni veya geliştirilmiş Anayasal Yapay Zeka ilkelerinin türetildiği düşünülebilir. Türetilen bu ilkeler daha sonra bir Yüksek Lisans'ın istemini değiştirmek (Şekil 2B) veya orijinal Anayasal Yapay Zeka çalışmasında olduğu gibi yeni eğitim verileri oluşturmak için kullanılabilir.

Bu son çalışma, ilkelerin bir Yüksek Lisans'ı özelleştirmek için açıklanabilir ve etkili bir strateji olabileceğini göstermiş olsa da, geri bildirimlerimizden bu ilkelerin yazılmasına ilişkin insani süreçler hakkında çok az şey bilinmektedir. Biçimlendirici bir çalışmadan, eleştirileri ilkelere dönüştürmenin birçok bilişsel zorlukla ilgili olduğunu keşfettik. Bu zorlukların üstesinden gelmek için, kullanıcıların model eleştirilerini modelin davranışını geliştiren ilkelere dönüştüren etkileşimli bir eleştiri sistemi olan Anayasa Yapıcı'yı sunuyoruz. Anayasa Yapıcı her konuşma sırasında üç aday yanıtı üretir. Bu üç aday yanıtına ek olarak, Anayasa Yapıcı üç ilke ortaya çıkarma özelliği sağlar: 1) kullanıcıların bir yanıt için olumlu geri bildirim sağlayabileceği takdir, 2) kullanıcıların bir yanıt için olumsuz geri bildirim sağlayabileceği eleştiri ve 3) yeniden yazma, burada kullanıcılar belirli bir yanıtı yeniden yazabilir. Bu geri bildirimden, Anayasa Yapıcı, sohbet robotunun istemine dahil edilen bir ilkeyi ortaya çıkarıyor.

Anayasa Yapıcı'nın kullanıcıların ilkeleri yazmalarına ne kadar iyi yardımcı olduğunu değerlendirmek için, yönlendirmeye aşina 14 sektör profesyoneliyle bir konu içi kullanıcı çalışması gerçekleştirdik. Katılımcılar, Anayasa Yapıcı'yı ve çoklu aday yanıtlarından ve ilke ortaya çıkarma özelliklerinden yoksun olan azaltılmış bir versiyonunu kullandılar. Her iki durumda da amaç, iki sohbet robotunu özelleştirmek için ilkeler yazmaktı. Çalışmadan, iki farklı versiyonun çok farklı iş akışları sağladığını gördük. Azaltılmış versiyonda, katılımcılar yalnızca botun beklentilerinden biraz saptığı durumlarda ilkeler yazdılar ve bu da toplamda önemli ölçüde daha az ilkenin yazılmasına neden oldu. Buna karşılık, Anayasa Yapıcı koşulunda katılımcılar, birden fazla aday yanıtını taradıkları ve favori yanıtlarını tebrik ederek genel olarak daha fazla ilkeye yol açan bir iş akışına dahil oldular. Bu farklı iş akışları aynı zamanda yazma ilkelerinde duruma özgü zorluklara da yol açtı. Azaltılmış sürümde, kullanıcılar genellikle ilkeleri gereğinden az belirtir; oysa, Anayasa Yapıcı'da kullanıcılar bazen ilkelerini gereğinden fazla belirliyorlardı, ancak bu daha az sıklıkta oluyordu. Son olarak, her iki durum da bazen iki veya daha fazla prensibin birbiriyle çatıştığı bir soruna yol açabilir.

Genel olarak, ConstanceMaker ile katılımcılar, ilkelerinin sohbet robotuna daha iyi rehberlik edebileceğini, geri bildirimlerini ilkelere daha kolay dönüştürebileceklerini ve ilkeleri daha az zihinsel taleple daha verimli bir şekilde yazabileceklerini hissettiler. Anayasa Yapıcı ayrıca, katılımcılara 1) birden fazla aday yanıtı aracılığıyla yanıtların daha iyi olabileceği yolları fark etmelerine, 2) bir yanıtı neden beğendiklerine veya beğenmediklerine ilişkin sezgilerini sözlü geri bildirime dönüştürmelerine ve 3) bu geri bildirimi ifade etmelerine yardımcı olarak ilkeleri yazarken düşünce süreçlerini de destekledi. özel bir prensip olarak

Bu çalışma toplu olarak aşağıdaki katkıları sağlamaktadır:

• Katılımcıların chatbot davranışını yönlendirmek için yazmak istediği ilke türlerinin sınıflandırılması.

• Chatbot davranışını yönlendirmek için kullanıcı geri bildirimlerini ilkelere dönüştüren etkileşimli bir araç olan Anayasa Yapıcı'nın tasarımı. Anayasa Yapıcı üç yeni ilke ortaya çıkarma özelliği sunar: tebrik, eleştiri ve yeniden yazma; bunların her biri, sohbet robotunun istemine eklenen bir ilke oluşturur.

• Katılımcıların, ConstanceMaker'ın onlara 1) chatbot'u daha iyi yönlendiren ilkeler yazma, 2) geri bildirimlerini ilkelere daha kolay dönüştürme ve 3) ilkeleri daha az zihinsel taleple daha verimli bir şekilde yazma olanağı sağladığını düşündükleri 14 katılımcılı bir kullanıcı çalışmasından elde edilen bulgular .

• ConstanceMaker'ın, yanıtları iyileştirmenin yollarını belirlemelerine, sezgilerini doğal dil geri bildirimine dönüştürmelerine ve geri bildirimlerini belirli ilkeler olarak ifade etmelerine yardımcı olmak da dahil olmak üzere, katılımcıların düşünce süreçlerini nasıl desteklediğini açıklıyoruz. Ayrıca, iki sistemin mümkün kıldığı farklı iş akışlarının, ilkelerin yazılmasında ve ilkelerin sınırlarında nasıl farklı zorluklara yol açtığını da açıklıyoruz.

Bu bulgular birlikte, etkileşimli eleştiri yoluyla LLM çıktılarını etkileşimli olarak geliştirmek için gelecekteki araçlara bilgi vermektedir.

[1] https://chat.openai.com/

[2] https://bard.google.com