Duygu Olasılığı Vektörlerini Tahmin Edin: Yüksek Lisans'ı Duygu Ortaya Çıkaran Kuyruk İstemi ile Sorgulamak

Bağlantı Tablosu

• Özet ve Giriş
• Yüksek Lisans'ı Duygu Ortaya Çıkaran Kuyruk İstemi ile Sorgulamak
• Amazon Duygusu incelemelerinin PCA analizi
• Gelecek iş
• Sonuçlar
• Teşekkür ve Referanslar

2. Yüksek Lisans'ı Duygu Ortaya Çıkaran Kuyruk İstemi ile Sorgulamak

Bu çalışmada çekirdek motor olarak Facebook'un açık kaynaklı LlaMa2 7 milyar ağırlık LLM'sini kullandık [2]. Bir istemin ardından ham token olasılıklarına erişime izin veren bir LLM kullanmak gerekliydi. Model, 32 gigabayt RAM'e sahip bir Mac Studio'da çalışıyordu. Bu donanım ve model kombinasyonu ile aşağıda verilen duygu sözlüğündeki duygu tanımlayıcılarının olasılıklarını hesaplamak 2 dakika sürdü.

2.1. Duygu Sözlüğü

İngilizce dili pek çok kelimeyle ve bu kelimelerin uygun bağlamlarda kullanımına ilişkin örnekler sunan kapsamlı bir literatürle kutsanmıştır. LLM'lerin amaçları açısından, bir kelimenin anlamını aktaran bağlamdır. Okuyucu, bağlamı anlaması koşuluyla, yabancı bir sözcüğün anlamını, kullanılan sözcüğün bulunduğu bağlamdan çıkaracaktır. Örnek olarak, 'Av tüfeği tavşanın kafasını karıştırdı.' anlamın bağlam tarafından nasıl yönetilebileceğini gösterir. Kuyruk istemi tarafından oluşturulan bağlam, ilişkili bir sözcük sınıfını tercih edecektir. Bu yazıda ayrıntıları verilen deney için, duygu tanımlayıcılarını ortaya çıkarmak için aşağıdaki kuyruk istemi kullanıldı: 'Bunu okumak bana şunu hissettiriyor'. Kuyruk komutlarını ortaya çıkaran belirli duyguların belirli tanımlayıcı alt sınıflarını tercih etmesi muhtemeldir ancak bunun incelenmesi bu makalenin kapsamı dışındadır.

Aşağıdaki kelimeler geniş bir duygu tanımlayıcı örneği sağlamak için seçilmiştir.

kabullenme, hayranlık, hayranlık, sevgi, korkma, tedirginlik, ıstırap, agresif, alarm, alarma geçme, yabancılaşma, şaşkınlık, kararsızlık, eğlence, öfke, ıstırap, rahatsız beklenti, endişeli, ilgisizlik, endişe, kibirli, iddialı, şaşkınlık, dikkat, çekim tiksinme, huşu, şaşkın, şaşkın, acı, acı tatlılık, mutluluk, sıkılmış, küstah, düşünceli, sakin, kaygısız, dikkatsiz, şefkatli, sadaka, arsız, neşe, klostrofobik, zorlayıcı, rahat, kendinden emin, kafa karışıklığı, küçümseme, içerik, cesaret, korkak, zalimlik, merak, alaycılık, sersemlemiş, keyifsiz, morali bozuk, bunalımlı, arzu, umutsuzluk, kararlı, hayal kırıklığı, inançsızlık, şaşkın, rahatsızlık, hoşnutsuzluk, hoşnutsuz, tiksinti, cesareti kırılmış, hoşlanmayan, dehşete düşmüş, yönünü şaşırmış, morali bozulmuş, hoşnutsuzluk, dikkatin dağılması, sıkıntı, rahatsız, baskın, şüphe, dehşet, tahrik, şaşkınlık, şevk, vecd, mutluluk, utanç, empati, büyülenmişlik, zevk, aydınlanmış, can sıkıntısı, coşku, kıskançlık, aydınlanma, coşku, bıkkınlık, heyecan, beklenti, hayranlık, korku, lapa lapa, odaklanmış, düşkünlük, samimiyet, korku, hüsran, öfke, neşe, kasvetli, asık surat, şükran, açgözlülük, keder, huysuzluk, huysuzluk, suçluluk, mutluluk, nefret, nefret, çaresiz, vatan hasreti, umut, umutsuz, dehşete düşmüş, misafirperver, aşağılanma, alçakgönüllülük, incinmişlik, histeri, aylaklık, sabırsız, kayıtsızlık, öfkeli, delicesine sevdalılık, çileden çıkmış, güvensizlik, anlayışlı, aşağılanmış, ilgi, merak uyandıran, sinirlenmiş, izole edilmiş, kıskançlık, neşelilik, sevinç, sevinç, nazik, tembel, hoşlanma, tiksinme, yalnız, özlem, çılgın, aşk, şehvet, deli, melankoli, sefil, cimrilik, karışık, alçakgönüllülük, karamsar, utanmış, şaşkın, iğrenç, mide bulandırıcı, olumsuz, ihmal, gergin, nostaljik, uyuşmuş, inatçı, kırgın , iyimser, öfke, bunalmış, paniklemiş, paranoyak, tutku, sabır, dalgınlık, şaşkın, azimli, karamsarlık, acıma, memnun, zevk, nezaket, pozitif, sahiplenici, güçsüz, gurur, şaşkın, öfke, aceleci, sarsılmış, pişmanlık, reddedilmiş , rahatlamış, rahatlamış, isteksiz, pişmanlık, kızgınlık, boyun eğme, huzursuzluk, tiksinti, acımasız, üzüntü, memnuniyet, korkmuş, schadenfreude, küçümseme, kendine önem veren, kendine şefkatli, kendine güvenen, kendine güvenen, özeleştiri yapan, kendini - nefret eden, kendine motive olan, kendine acıyan, kendine saygı duyan, kendini anlayan, duygusallık, dinginlik, utanç, utanmaz, şok olmuş, kendini beğenmiş, üzüntü, kin, stresli, güçlü, inatçı, sıkışmış, itaatkar, acı çeken, somurtkanlık, sürpriz , belirsizlik, şüpheli, sempati, hassasiyet, gerilim, terör, şükran, heyecan, yorgun, hoşgörü, azap, muzaffer, sorunlu, güven, belirsizlik, zayıflamış, huzursuzluk, mutsuz, cesareti kırılmış, huzursuz, emin değil, üzgün, intikamcı, kısır, uyanıklık , savunmasız, zayıf, yazık, endişeli, değerli, gazap.

Bu kelime kümesinin hiçbir şekilde eksiksiz veya kesin olması amaçlanmamıştır. Duygu tanımlayıcılarına dönüşü kısıtlamadan kuyruk isteminin kullanılması, duygu formunun çıkarılması kolay olmayan genel gözleme yanıtlarını ortaya çıkarır.

2.1.1. Duygu olasılık vektörünün tahmin edilmesi

LlaMa2 [2], geliştiricilerin bir isteğe yanıt olarak döndürülen tahmini belirteç ağırlıklarına erişmesine izin verecek şekilde piyasaya sürüldü. LlaMa2'nin yaklaşık 30.000 jetonluk dahili kelime dağarcığı boyutu vardır. Bu, LlaMa 2'nin bir dizideki bir sonraki jetonun olasılığını tahmin etmesi durumunda olasılık vektörünün 30.000 öğeye sahip olacağı anlamına gelir. Duygu tanımlayıcı listesindeki bazı kelimelerin birden fazla belirteçten oluşması durumunda ileri koşullu olasılıklar kullanılmaktadır.

Şekil 2.1.1, Amazon inceleme metni için kuyruk isteminin ortaya çıkardığı duygu sözlüğündeki kelimeler üzerindeki ölçeklendirilmiş olasılık dağılımını göstermektedir: 'Fitbit ilham 2 hakkında pek çok olumsuz eleştiri okudum, bir şans verdim ve sipariş ettiğimi umdum işe yarayan en iyilerden biri olurdu. Maalesef konu bu değildi. Paketini açtım, şarj ettim, uygulamayı indirdim. Güneş batmadan önce onunla yürüyüşe çıktım. Telefonumda adımlarımı takip eden Google Fit uygulaması da var. Telefon kot pantolonumun cebindeydi. Eve geldiğimde ikisini karşılaştırdım, Google Fit 4.458 adım, Fitbit ise 1.168 adım dedi. Görünüşe göre Fitbit, mahallede bir yürüteçi iterken sahip olmadığım bilek hareketiyle çalışıyor. Kılavuzu indirdim ve onu bir klibe koyabileceğinizi fark ettim (bu dahil değildi). Bu işime yarayacaktır. Böylece farklı özellikler arasında gezinmeye başladım ancak hepsinde gezinemedim. Kaydırırken kronometreyi açmış olmalıyım. Kapatamadım. Daha sonra su kilidi özelliği dışında hiçbir şeyde gezinemedim. Kronometreye geri dönmek için su kilidini açmak zorunda kaldım. Daha sonra yan tuşlar çalışmayı bıraktı. Toplamda 5 saat uğraştım. Paketledim ve Amazon iadesine başladım. Tam bir geri ödeme aldım. Çok hayal kırıklığı yarattı."

Bir kitabın 50 Amazon incelemesinin metni https://www.amazon.com/dp/B000WM9UK2 adresinden ödünç alınmıştır. İncelemeler çoğunlukla olumluydu. Örnek inceleme metinleri şunları içermektedir: 'H'urin'in Çocukları zarafetle harmanlanmış büyük bir trajedidir. Başlangıçta soy kayıtlarına ulaşmak zor olabilir ama hikaye çok hızlı bir şekilde hız kazanıyor. Hikayeye yalnızca ilk birkaç bölümün zorluğu nedeniyle dört yıldız verdim, tıpkı Matta'nın müjdesinin başında İsa'nın soyağacına benzer şekilde. Bu tür kayıtlar her ikisinde de önemli olmasına rağmen yine de bunlara ulaşmak zordur. Kötü güçlerin iyi erkekler ve kadınlar üzerindeki korkunç etkilerini tasvir ettiği ve yine de trajik sonu ne olursa olsun kötülüğe direnmeye devam etmemiz gerektiği için bu kitabı yine de kesinlikle tavsiye ederim. Tolkien'in dünyasında, Morgoth'un geri döndüğü günlerin sonunda, onu sonsuza kadar bitirenin T'urin olması çok anlamlıdır. Şeytan'ın bu hayatta en çok yok ettiği kişiler, Vahiy'in söylediği gibi, eninde sonunda onun öldürücü darbesini vuracak olanlardır: "Onlar, Kuzu'nun kanıyla ve 'şehitlik'lerinin (tanık, tanıklık) sözüyle onu yendiler." T'urin gibi olanlar veya Kutsal Yazılarda Eyüp gibi olanlar.'

Şekil 2.1.2 işlenmiş 50 incelemenin tamamı için duygu vektörlerini göstermektedir. Ürünü satın alırken deneyimlenen en olası 10 duygu şunlardı: depresif, nazik, nostaljik, yorgun, umutsuz, yalnız, umut, sakin, tembel, kendinden emin.