"Kurosawa": Bir Senaryo Yazarının Asistanı: Deneyler ve Değerlendirme

ile Teleplay Technology 2m2024/05/23

Çok uzun; Okumak

Bu makalede araştırmacılar, eğlence medyasındaki otomasyonu ele alan olay örgüsü ve senaryo oluşturmaya yönelik bir yapay zeka senaryo yazma tezgahı olan KUROSAWA'yı tanıtıyor.

featured image - "Kurosawa": Bir Senaryo Yazarının Asistanı: Deneyler ve Değerlendirme

Yazarlar:

(1) Prerak Gandhi, Bilgisayar Bilimi ve Mühendisliği Bölümü, Hindistan Teknoloji Enstitüsü Bombay, Mumbai, [email protected] ve bu yazarlar bu çalışmaya eşit katkıda bulunmuştur;

(2) Vishal Pramanik, Bilgisayar Bilimi ve Mühendisliği Bölümü, Hindistan Teknoloji Enstitüsü Bombay, Mumbai, vishalpramanik,[email protected] ve bu yazarlar bu çalışmaya eşit katkıda bulunmuşlardır;

(3) Pushpak Bhattacharyya, Bilgisayar Bilimi ve Mühendisliği Bölümü, Hindistan Teknoloji Enstitüsü Bombay, Mumbai.

Bağlantı Tablosu

5. Deneyler ve Değerlendirme

GPT3'e veri kümelerimizle ince ayar yapıyoruz (bkz. ek A.6 ).

5.1. Arsa Oluşturma

GPT-3'e film senaryosu veri setimizle şu şekilde ince ayar yaparak 5 model oluşturduk: (i) orijinal (ek açıklama olmadan) ( O ): giriş-kısa olay örgüsü, çıkış- herhangi bir açıklama olmadan olay örgüsü, (ii) ek açıklama ve kısa girdi (AS) : girdi - kısa hikayeler, 4 perdelik yapıyla açıklamalı çıktı olay örgüleri, (iii) ek açıklama ve uzun girdi ( AL ): uzun girdi, daha açıklayıcı hikayeler, 4 perdelik yapıyla açıklamalı çıktı olay örgüleri, (iv) ek açıklamalar ve türlerin dahil olduğu kısa girdi ( ASG ): girdinin kısa hikayeleri ve türü, 4 perdelik yapıyla açıklamalı çıktı senaryoları, (v) türlerin dahil olduğu ek açıklamalar ve uzun girdi ( ALG ): girdi uzun ve daha açıklayıcı türle birlikte hikayeler, 4 perdelik yapıyla açıklamalı çıktı olayları.

Otomatik değerlendirme için BLEU (Papineni ve diğerleri, 2002), Perplexity (Jelinek ve diğerleri, 1977), ROUGE (Lin, 2004) kullanıyoruz. İnsan değerlendirmesini de beş noktalı Likert Ölçeği biçiminde kullanıyoruz (Likert, 1932). Derecelendirme sistemi 1-> Kesinlikle Katılmıyorum, 2-> Katılmıyorum, 3-> Kararsızım, 4-> Katılıyorum, 5-> Kesinlikle Katılıyorum şeklindedir. İnsanlar tarafından yazılan öykülerin aşağıdaki 5 özelliğin her biri için 5'lik bir derecelendirmeye sahip olduğu varsayılmaktadır: (1) Akıcılık : gramer doğruluğu; (2) Tutarlılık : cümle ve paragrafların mantıksal sıralaması; (3) İlgililik : Bilgi istemindeki önemli noktaların çıktıda vurgulanıp vurgulanmadığı; (4) Beğenilebilirlik : Hikayenin ne kadar keyifli olduğunun ölçüsü; (5) Yaratıcılık : Çıktının yeni olaylar, karakter profilleri veya ilişkiler getirmesi.

Grafik oluşturmak için 50 test isteminden 50 grafik oluşturuyoruz. Hikâyeleri 10’ar kişilik beş gruba ayırıyoruz ve her gruba üç değerlendirici atıyoruz.

Sahne oluşturmak için 10 test isteminden on sahne oluşturuyoruz. Bu on hikayeyi derecelendirmek için beş değerlendirici görevlendiriyoruz.