"কুরোসাওয়া": একজন স্ক্রিপ্ট রাইটারের সহকারী: পরীক্ষা এবং মূল্যায়ন

লিঙ্কের টেবিল

• বিমূর্ত এবং ভূমিকা
• প্রেরণা
• সম্পর্কিত কাজ
• ডেটাসেট
• পরীক্ষা এবং মূল্যায়ন
• ফলাফল এবং বিশ্লেষণ
• উপসংহার এবং ভবিষ্যতের কাজ
• সীমাবদ্ধতা এবং রেফারেন্স
• উঃ পরিশিষ্ট

5. পরীক্ষা এবং মূল্যায়ন

আমরা আমাদের ডেটাসেটগুলির সাথে জিপিটি 3 টি-টিউন করি ( পরিশিষ্ট A.6 পড়ুন)।

5.1। প্লট জেনারেশন

আমরা নিচের পদ্ধতিতে আমাদের মুভি প্লট ডেটাসেটের সাথে GPT-3 ফাইন-টিউনিং করে 5টি মডেল তৈরি করেছি, (i) আসল (টীকা ছাড়া) ( O ): ইনপুট- ছোট গল্পের লাইন, আউটপুট- কোনো টীকা ছাড়াই, (ii) টীকা এবং সংক্ষিপ্ত ইনপুট (AS) : ইনপুট- শর্ট স্টোরিলাইন, আউটপুট- 4-অভিনয় কাঠামো সহ টীকা, (iii) টীকা এবং দীর্ঘ ইনপুট ( AL ): ইনপুট দীর্ঘ, আরও বর্ণনামূলক গল্পরেখা, আউটপুট- 4-অভিনয় কাঠামোর সাথে টীকা করা, (iv) টীকা এবং ঘরানার সাথে সংক্ষিপ্ত ইনপুট ( ASG ): ইনপুট সংক্ষিপ্ত কাহিনী এবং ধারা, আউটপুট- 4-অভিনয় কাঠামো সহ টীকা, (v) টীকা এবং ঘরানার সাথে দীর্ঘ ইনপুট অন্তর্ভুক্ত ( ALG ): ইনপুট- দীর্ঘ এবং আরও বর্ণনামূলক শৈলীর সাথে গল্পের লাইন, আউটপুট- প্লট 4-অভিনয় কাঠামোর সাথে টীকাযুক্ত।

স্বয়ংক্রিয় মূল্যায়নের জন্য আমরা BLEU (Papineni et al., 2002), Perplexity (Jelinek et al., 1977), ROUGE (Lin, 2004) ব্যবহার করি। আমরা একটি পাঁচ-পয়েন্ট লিকার্ট স্কেল (লিকার্ট, 1932) আকারে মানব মূল্যায়নও ব্যবহার করি। রেটিং সিস্টেমে রয়েছে 1-> দৃঢ়ভাবে একমত, 2-> অসম্মত, 3-> নিরপেক্ষ, 4-> একমত, 5-> দৃঢ়ভাবে একমত। মানব-লিখিত গল্পগুলির নিম্নলিখিত 5টি বৈশিষ্ট্যের প্রতিটির জন্য 5 রেটিং রয়েছে বলে ধরে নেওয়া হয়: (1) সাবলীলতা : ব্যাকরণগত শুদ্ধতা; (2) সমন্বয় : বাক্য এবং অনুচ্ছেদের যৌক্তিক ক্রম; (3) প্রাসঙ্গিকতা : প্রম্পট থেকে মূল পয়েন্টগুলি আউটপুটে হাইলাইট করা হয়েছে কিনা; (4) পছন্দ : গল্প কতটা উপভোগ্য তার পরিমাপ; (5) সৃজনশীলতা : যদি আউটপুট কোনো নতুন ঘটনা, চরিত্র প্রোফাইল, বা সম্পর্ক চালু করে।

প্লট জেনারেশনের জন্য, আমরা 50টি টেস্ট প্রম্পট থেকে 50টি প্লট তৈরি করি। আমরা গল্পগুলিকে 10 টির পাঁচটি দলে বিভক্ত করি এবং প্রতিটি গ্রুপে তিনটি মূল্যায়নকারী নিয়োগ করি।

দৃশ্য জেনারেশনের জন্য, আমরা 10টি টেস্ট প্রম্পট থেকে দশটি দৃশ্য তৈরি করি। এই দশটি গল্পের রেট দেওয়ার জন্য আমরা পাঁচজন মূল্যায়নকারীকে বরাদ্দ করি।