"कुरोसावा": एक पटकथा लेखक का सहायक: प्रयोग और मूल्यांकन

लिंक की तालिका

• सार और परिचय
• प्रेरणा
• संबंधित कार्य
• डेटासेट
• प्रयोग और मूल्यांकन
• परिणाम और विश्लेषण
• निष्कर्ष एवं भविष्य का काम
• सीमाएँ और संदर्भ
• ए. परिशिष्ट

5. प्रयोग और मूल्यांकन

हम अपने डेटासेट के साथ GPT3 को फाइन-ट्यून करते हैं ( परिशिष्ट A.6 देखें)।

5.1. प्लॉट निर्माण

हमने अपने मूवी प्लॉट डेटासेट के साथ GPT-3 को निम्नलिखित तरीके से फाइन-ट्यूनिंग करके 5 मॉडल बनाए हैं, (i) मूल (एनोटेशन के बिना) ( O ): इनपुट- लघु कथाएँ, आउटपुट- बिना किसी एनोटेशन के प्लॉट, (ii) एनोटेशन और लघु इनपुट (AS) : इनपुट- लघु कथाएँ, आउटपुट- 4-अधिनियम संरचना के साथ एनोटेट किए गए प्लॉट, (iii) एनोटेशन और लंबा इनपुट ( AL ): इनपुट लंबी, अधिक वर्णनात्मक कथाएँ, आउटपुट- 4-अधिनियम संरचना के साथ एनोटेट किए गए प्लॉट, (iv) एनोटेशन और लघु इनपुट जिसमें शैलियाँ शामिल हैं ( ASG ): इनपुट लघु कथाएँ और शैलियाँ, आउटपुट- 4-अधिनियम संरचना के साथ एनोटेट किए गए प्लॉट, (v) एनोटेशन और लंबा इनपुट जिसमें शैलियाँ शामिल हैं ( ALG ): इनपुट- शैली के साथ लंबी और अधिक वर्णनात्मक कथाएँ

स्वचालित मूल्यांकन के लिए हम BLEU (पापिनेनी एट अल., 2002), पेरप्लेक्सिटी (जेलिनेक एट अल., 1977), ROUGE (लिन, 2004) का प्रयोग करते हैं। हम पांच-बिंदु लिकर्ट स्केल (लिकर्ट, 1932) के रूप में मानव मूल्यांकन का भी उपयोग करते हैं। रेटिंग प्रणाली में 1-> पूरी तरह असहमत, 2-> असहमत, 3-> तटस्थ, 4-> सहमत, 5-> पूरी तरह सहमत हैं। मानव-लिखित कहानियों के लिए निम्नलिखित 5 विशेषताओं में से प्रत्येक के लिए 5 की रेटिंग मानी जाती है: (1) प्रवाह : व्याकरणिक शुद्धता; (2) सुसंगति : वाक्यों और अनुच्छेदों का तार्किक क्रम; (3) प्रासंगिकता : क्या प्रॉम्प्ट के मुख्य बिंदुओं को आउटपुट में हाइलाइट किया गया है; (4) पसंद : कहानी कितनी मनोरंजक है इसका माप;

प्लॉट बनाने के लिए, हम 50 टेस्ट प्रॉम्प्ट से 50 प्लॉट बनाते हैं। हम कहानियों को 10 के पाँच समूहों में विभाजित करते हैं और प्रत्येक समूह को तीन मूल्यांकनकर्ता सौंपते हैं।

दृश्य निर्माण के लिए, हम 10 परीक्षण संकेतों से दस दृश्य बनाते हैं। हम इन दस कहानियों को रेट करने के लिए पाँच मूल्यांकनकर्ताओं को नियुक्त करते हैं।