Yeni Çoklu Yüksek Lisans Stratejisi Duyarlılık Analizinde Doğruluğu Artırıyor

Bağlantı Tablosu

Özet ve Giriş

Alakalı iş

Duyarlılık Analizi için Yüksek Lisans Müzakereleri

Deneyler

Ablasyon Çalışmaları

Sonuç ve Referanslar

Soyut

Duyarlılık analizi için standart bir paradigma, tek bir LLM'ye güvenmek ve kararı bağlam içi öğrenme çerçevesi altında tek bir turda vermektir. Bu çerçeve, tek bir Yüksek Lisans tarafından üretilen tek dönüşlü çıktının mükemmel kararı veremeyebileceği gibi önemli bir dezavantaja sahiptir, tıpkı insanların bazen işleri doğru yapmak için birden fazla girişimde bulunması gibi. Bu, özellikle girdideki karmaşık dil olgusunu (örneğin, cümle yapısı, ironi, vb.) ele almak için derin akıl yürütmenin gerekli olduğu duygu analizi görevi için geçerlidir.

Bu konuyu ele almak için, bu makale duyarlılık analizi için çoklu LLM müzakere çerçevesini tanıtmaktadır. Çerçeve, gerekçenin yanı sıra karar sağlamak için akıl yürütme ile aşılanmış bir oluşturucudan ve oluşturucunun güvenilirliğini değerlendirmek için açıklama türeten bir ayırıcıdan oluşur. Jeneratör ve ayırıcı, bir fikir birliğine varılana kadar yinelenir. Önerilen çerçeve, iki Yüksek Lisans'ın tamamlayıcı yeteneklerini alabildiğimiz ve birbirlerini düzeltmeye ikna etmek için mantık kullanmalarını sağlayabildiğimiz için, doğal olarak yukarıda bahsedilen zorluğa değindi.

Çok çeşitli duyarlılık analizi kriterleri (SST-2, Film İncelemesi, Twitter, Yelp, Amazon, IMDB) üzerinde yapılan deneyler, önerilen yaklaşımın etkinliğini göstermektedir: tüm kıyaslamalarda sürekli olarak ICL taban çizgisinden daha iyi performanslar ve hatta daha üstün performanslar sağlar. Twitter ve film inceleme veri kümelerinde denetlenen temeller.

1. Giriş

Duygu analizi (Pang ve Lee, 2008; Go ve diğerleri, 2009; Maas ve diğerleri, 2011a; Zhang ve Liu, 2012; Baccianella ve diğerleri, 2010; Medhat ve diğerleri, 2014; Bakshi ve diğerleri, 2016; Zhang ve diğerleri, 2018), bir metin yığınının ifade ettiği fikir kutuplaşmasını çıkarmayı amaçlamaktadır. Büyük dil modellerinde (LLM) son gelişmeler (Brown ve diğerleri, 2020; Ouyang ve diğerleri, 2022; Touvron ve diğerleri, 2023a,b; Anil ve diğerleri, 2023; Zeng ve diğerleri, 2022b; OpenAI, 2023) ; Bai ve diğerleri, 2023) görevin çözümü için yeni bir kapı açar (Lu ve diğerleri, 2021; Kojima ve diğerleri, 2022; Wang ve diğerleri, 2022b; Wei ve diğerleri, 2022b; Wan ve diğerleri. , 2023; Wang ve diğerleri, 2023; Sun ve diğerleri, 2023b,a; Li ve diğerleri, 2023: bağlam içi öğrenme paradigması altında ( ICL), LLM'ler yalnızca az sayıda eğitim örneğiyle denetimli öğrenme stratejileriyle karşılaştırılabilir performanslar elde edebilmektedir (Lin ve diğerleri, 2021; Sun ve diğerleri, 2021; Phan ve Ogunbona, 2020; Dai ve diğerleri, 2021). .

Duyarlılık analizi için Yüksek Lisans'tan yararlanan mevcut yaklaşımlar genellikle tek bir Yüksek Lisans'a dayanır ve ICL kapsamında tek bir turda karar verir. Bu strateji şu dezavantaja sahiptir: Tek bir Yüksek Lisans tarafından üretilen tek dönüşlü çıktı mükemmel yanıtı vermeyebilir: Tıpkı insanların bazen işleri doğru yapmak için birden fazla denemeye ihtiyaç duyması gibi, bir Yüksek Lisans'ın doğru kararı vermesi için birden fazla tur gerekebilir. Bu, özellikle yüksek lisans eğitimlerinin giriş cümlesindeki karmaşık dil olgusunu (örneğin, yan tümce bileşimi, ironi, vb.) ele almak için akıl yürütme sürecini ifade etmeleri gereken duygu analizi görevi için geçerlidir.

Bu konuyu ele almak amacıyla, bu yazıda duyarlılık analizi için çoklu LLM müzakere stratejisi öneriyoruz. Önerilen stratejinin özü, bir LLM'nin duyarlılık kararları üretmek için oluşturucu (G) olarak hareket ettiği, diğerinin ise oluşturulan çıktının güvenilirliğini değerlendirmekle görevli bir ayırıcı (D) olarak hareket ettiği bir oluşturucu-ayırıcı çerçevesidir. ilk yüksek lisans. Önerilen yöntem üç açıdan yenilik getiriyor: (1) Muhakeme-infüzyonlu oluşturucu (G): Yapılandırılmış bir akıl yürütme zincirine bağlı kalan, ayrıştırıcıya geçerliliğini değerlendirmek için kanıt ve içgörüler sunarken oluşturucunun ICL'sini geliştiren bir LLM; (2) Açıklama türetme ayırıcısı (D); kararlarına yönelik değerlendirme sonrası gerekçeler sunmak üzere tasarlanmış diğer LLM; (3) Müzakere: İki LLM, oluşturucu ve ayırıcı rollerini üstlenir ve bir fikir birliğine varılana kadar müzakereyi gerçekleştirir.

Bu strateji, iki Yüksek Lisans'ın kolektif yeteneklerinden yararlanır ve modelin kusurlu yanıtları düzeltmesi için kanal sağlar ve böylece tek bir Yüksek Lisansın ilk denemesinde doğru kararı verememesi sorununu doğal olarak çözer.

Bu çalışmanın katkıları şu şekilde özetlenebilir: 1) duygu analizinin çoklu yüksek lisans müzakeresinden nasıl yararlanabileceğine dair yeni bir bakış açısı sağlıyoruz. 2) Duygu kategorizasyonlarını yinelemeli olarak oluşturup doğrulayarak çoklu LLM işbirliğine olanak tanıyan bir Üreteç-Ayrıştırıcı Rol Değiştiren Karar Verme çerçevesini tanıtıyoruz. 3) ampirik bulgularımız önerilen yaklaşımın etkinliğine dair kanıtlar sunmaktadır: geniş bir yelpazedeki duyarlılık analizi kriterleri (SST-2, Movie Review, Twitter, yelp, amazon, IMDB) üzerinde yapılan deneyler, önerilen yöntemin sürekli olarak daha iyi performanslar sağladığını göstermektedir. tüm kıyaslamalarda ICL taban çizgisi ve hatta Twitter ve film inceleme veri kümelerindeki denetlenen taban çizgilerine göre üstün performanslar.