Geliştirilmiş Duyarlılık Analizi Kararları için İki Yüksek Lisans'tan Yararlanma

Bağlantı Tablosu

Özet ve Giriş

Alakalı iş

Duyarlılık Analizi için Yüksek Lisans Müzakereleri

Deneyler

Ablasyon Çalışmaları

Sonuç ve Referanslar

3 Duyarlılık Analizi için Yüksek Lisans Müzakereleri

3.1 Genel Bakış

Bu bölümde duygu analizi için çoklu LLM müzakere çerçevesini detaylandırıyoruz: İki LLM, yanıt oluşturucu ve ayırıcı olarak görev yapar. Üretici ile ayrımcı arasındaki etkileşime müzakere adını veriyoruz. Müzakere, bir fikir birliğine varılana veya maksimum müzakere sırası sayısı aşılana kadar tekrarlanacaktır. Çizimler Şekil 1 ve 2'de gösterilmektedir.

3.2 Akıl yürütmeyle aşılanmış jeneratör

Jeneratör geniş bir dil modeliyle desteklenmektedir. Adım adım bir akıl yürütme zinciri oluşturmayı ve test girişinin duyarlılık kutupluluğuna yönelik bir karar oluşturmayı amaçlayan, ICL paradigmasını temel alan yanıt oluşturucuya istemler aracılığıyla soruyoruz.

Bilgi istemleri üç öğeden oluşur: görev tanımı, gösterimler ve test girişi. Görev açıklaması, görevin doğal dilde bir açıklamasıdır (örneğin, "Lütfen test girişinin genel duyarlılığını belirleyin."); test girişi, test setindeki metin girişidir (örneğin, "Gökyüzü mavi."); gösteriler görevin tren setindendir. Her biri üç unsurdan oluşur: girdi, muhakeme zincirleri ve duygusal karar.

Her test girişi için, ilk olarak tren setinden gösteriler halinde en yakın K komşuyu (girdi, duyarlılık kararı) alıyoruz. Daha sonra, oluşturucuyu bir akıl yürütme zinciri üretmeye yönlendirerek gösterileri (girdi, akıl yürütme süreci, duygu kararı) üçlülere dönüştürüyoruz. Görev tanımını, gösterileri ve test girişini birleştirdikten sonra istemi, adım adım bir akıl yürütme zinciri ve duygusal bir kararla yanıt verecek olan oluşturucuya iletiyoruz.

3.3 Açıklamadan türeyen ayırıcı

Ayırıcı başka bir LLM tarafından desteklenmektedir. Cevap üretme süreci tamamlandıktan sonra cevap ayırıcı, üretecin verdiği kararın doğru olup olmadığına karar vermek ve makul bir açıklama sağlamak için kullanılır.

Bu hedefe ulaşmak için öncelikle cevap ayırıcıya yönelik istemler oluşturuyoruz. Bilgi istemi dört öğeden oluşur: görev tanımı, gösterimler, test girişi ve yanıt oluşturucudan gelen yanıt. Görev açıklaması, görevi doğal dilde açıklayan bir metin parçasıdır (örneğin, "Lütfen kararın doğru olup olmadığını belirleyin."). Her gösteri altı unsurdan oluşur: (girdi metni, bir akıl yürütme zinciri, duygu kararı, ayrımcı tutumu, ayrımcı açıklamaları, ayrımcı kararı) ve cevap ayırıcının giriş metni için duygu kararının neden doğru olduğuna dair açıklamalar sağlaması istenerek oluşturulur.

Daha sonra ayrıştırıcıya yapı istemiyle soruyoruz. Cevap ayırıcısı, ayrımcının jeneratörle aynı fikirde olup olmadığını gösteren bir tutum (örn. evet, hayır), ayrımcının jeneratörle neden aynı fikirde olduğunu/katılmadığını açıklayan açıklamalar ve durumu belirleyen bir ayrımcı kararı içeren bir metin dizisiyle yanıt verecektir. test girişinin duyarlılığı.

Neden İki Yüksek Lisans Diploması Var Ama Bir Değil? İki rol olarak hareket edecek tek bir LLM kullanmak yerine, oluşturucu ve ayırıcı için iki farklı LLM'yi ayrı ayrı kullanmanın iki nedeni vardır: (1) Bir Yüksek Lisans, yanlış muhakeme nedeniyle oluşturucu olarak hata yaparsa, bu durum daha olasıdır. aynı modeldeki jeneratör ve ayırıcının benzer mantık yürütmeleri çok muhtemel olduğundan, o da ayrımcıyla aynı hatayı yapacaktır; (2) İki ayrı model kullanarak, iki modelin tamamlayıcı yeteneklerinden yararlanabiliyoruz.

3.4 Rol Değiştirmeli Müzakere

İki Yüksek Lisans bir müzakereyle sona erdikten sonra, onlardan rollerini değiştirmelerini ve yeni bir müzakere başlatmalarını istiyoruz; burada ikinci Yüksek Lisans, jeneratör görevi görür ve ilk Yüksek Lisans, ayrımcı olarak hareket eder. İki LLM'nin ters rollere sahip etkileşimini, rol değiştirilmiş müzakere olarak adlandırıyoruz. Benzer şekilde, rol değiştirmeli müzakere, bir fikir birliğine varılana veya maksimum müzakere sırası sayısı aşılana kadar sona erdirilir.

Her iki müzakere de anlaşmayla sonuçlandığında ve kararları aynı olduğunda, her iki karardan birini nihai karar olarak seçebiliriz çünkü ikisi de aynıdır. Müzakerelerden biri uzlaşmaya varamazsa diğeri karara varırsa, uzlaşmaya varılan müzakereden alınan kararı nihai karar olarak seçeriz. Bununla birlikte, eğer her iki müzakere de fikir birliğine varırsa ancak kararları uyuşmazsa, aşağıda daha ayrıntılı olarak açıklanacağı gibi ek bir Dil Modelinin (LLM) yardımına ihtiyacımız olacak."

Üçüncü bir LLM'nin tanıtılması İki müzakereden alınan kararların uyumlu olmaması durumunda, üçüncü bir LLM'yi tanıtıyoruz ve yukarıda bahsedilen iki LLM'nin her biri ile müzakereyi ve rol değiştirmeli müzakereyi yürütüyoruz. Daha sonra 6 müzakere sonucu elde edeceğiz ve bu sonuçlara oy vereceğiz: En sık görünen karar, girdi testinin duyarlılık polaritesi olarak alınır.