টাস্ক পচনের মাধ্যমে ফিল্ম ট্রেলার জেনারেশন: ফলাফল এবং বিশ্লেষণ

লিঙ্কের টেবিল

• বিমূর্ত এবং ভূমিকা
• সম্পর্কিত কাজ
• সমস্যা তৈয়ার
• পরীক্ষামূলক সেটআপ
• ফলাফল এবং বিশ্লেষণ
• উপসংহার এবং রেফারেন্স
• উ: মডেলের বিবরণ
• B. বাস্তবায়নের বিবরণ
• C. ফলাফল: অ্যাবলেশন স্টাডিজ

5. ফলাফল এবং বিশ্লেষণ

জ্ঞান পাতনের উপযোগিতা আমরা প্রথমে তদন্ত করি যে আমরা TP শনাক্তকরণের উন্নতি করি কি না, কারণ এটি ট্রেলার তৈরির কাজের জন্য গুরুত্বপূর্ণ। আমরা গ্রাউন্ড-ট্রুথ সিন-লেভেল টিপি লেবেল সহ মুভির সেটকে ডেভেলপমেন্ট এবং টেস্ট সেটে বিভক্ত করি এবং একটি মুভিতে প্রতি টিপিতে সেরা 5 (@5) এবং সেরা 10 (@10) শট নির্বাচন করি। মূল্যায়ন মেট্রিক হিসাবে, আমরা আংশিক চুক্তি (PA; [41]) বিবেচনা করি, যা টিপিগুলির শতাংশ পরিমাপ করে যার জন্য একটি মডেল সঠিকভাবে চলচ্চিত্র থেকে নির্বাচিত 5 বা 10টি শট থেকে কমপক্ষে একটি গ্রাউন্ড-ট্রুথ শট সনাক্ত করে (বিশদ বিবরণের জন্য পরিশিষ্ট দেখুন )

সারণী 2 পরীক্ষার সেটে আমাদের ফলাফলগুলিকে সংক্ষিপ্ত করে। আমরা নিম্নলিখিত তুলনা সিস্টেমগুলি বিবেচনা করি: সমানভাবে বিতরণ করা বিভাগগুলি থেকে র্যান্ডম শট নির্বাচন করে (গড় 10 রান); তত্ত্ব চিত্রনাট্য তত্ত্ব অনুসারে শটগুলিতে TP নির্ধারণ করে (যেমন, "সুযোগ" মুভির 10% এ ঘটে, "পরিকল্পনার পরিবর্তন" 25%, ইত্যাদি); বিতরণ প্রশিক্ষণ ডেটাতে তাদের প্রত্যাশিত অবস্থানের উপর ভিত্তি করে শট নির্বাচন করে; গ্রাফটিপি হল চিত্রনাট্যের উপর প্রশিক্ষিত [৪২] এর আসল মডেল (আমরা দৃশ্য-স্তরের টিপি পূর্বাভাসকে শটে প্রজেক্ট করি); ট্রান্সফরমার গ্রাফ-সম্পর্কিত তথ্য ছাড়াই একটি বেস মডেল। আমরা TP শনাক্তকরণের জন্য আমাদের নিজস্ব মডেল, GRAPHTRAILER ব্যবহার করি: চিত্রনাট্য ছাড়া এবং অ্যাক্সেস ছাড়াই, শুধুমাত্র ভবিষ্যদ্বাণী সামঞ্জস্যতা ক্ষতি (P), ভবিষ্যদ্বাণী এবং প্রতিনিধিত্ব উভয় ক্ষতি (P + R), এবং আমাদের বিপরীত যৌথ প্রশিক্ষণ ব্যবস্থা .

আমরা লক্ষ্য করি যে GRAPHTRAILER সমস্ত বেসলাইন, সেইসাথে ট্রান্সফরমার মডেলকে ছাড়িয়ে যায়। যদিও পরবর্তীটি শটগুলির মধ্যে দীর্ঘ-পরিসরের নির্ভরতাগুলিকে এনকোড করে, গ্রাফট্রাইলার অতিরিক্তভাবে গ্রাফে শেখা স্পার্স সংযোগগুলি সরাসরি এনকোডিং থেকে উপকৃত হয়। অধিকন্তু, পূর্বাভাস সামঞ্জস্যতা ক্ষতি (P) এর মাধ্যমে অ্যাসিঙ্ক্রোনাস জ্ঞান পাতন কর্মক্ষমতাকে আরও উন্নত করে, পরামর্শ দেয় যে চিত্রনাট্যে থাকা জ্ঞান ভিডিও থেকে যা বের করা যেতে পারে তার পরিপূরক। লক্ষ্য করুন যে যখন আমরা উপস্থাপনা সামঞ্জস্য হার (P + R) যোগ করি, তখন কর্মক্ষমতা একটি বড় ব্যবধানে অবনতি হয়, যেখানে প্রস্তাবিত প্রশিক্ষণ পদ্ধতি (বিপরীত যুগ্ম) সর্বোত্তম কার্য সম্পাদন করে। অবশেষে, প্রি-ট্রেইনিং আরও লাভের অফার করে, যদিও ছোট, যা চিত্রনাট্য-ভিত্তিক নেটওয়ার্কের সুবিধাগুলিকে আন্ডারলাইন করে।

ট্রেলারের গুণমান আমরা এখন 41টি সিনেমার সেটে গ্রাফট্রাইলারের ট্রেলার প্রজন্মের অ্যালগরিদম মূল্যায়ন করি (টেবিল 1 দেখুন)। মূল্যায়ন মেট্রিক হিসাবে, আমরা নির্ভুলতা ব্যবহার করি, অর্থাৎ, সঠিকভাবে চিহ্নিত ট্রেলার শটগুলির শতাংশ এবং আমরা কাঙ্ক্ষিত দৈর্ঘ্য (∼2 মিনিট) অর্জনের জন্য ট্রেলারগুলির জন্য মোট 10টি শটের বাজেট বিবেচনা করি।

আমরা গ্রাফট্রেলারকে বেশ কয়েকটি অ-তত্ত্বাবধান করা পদ্ধতির সাথে তুলনা করি (সারণী 3-তে প্রথম ব্লক) যার মধ্যে রয়েছে: সমস্ত শটগুলির মধ্যে র্যান্ডম নির্বাচন এবং গ্রাফট্রেলার দ্বারা চিহ্নিত টিপিগুলির মধ্যে; আমরা একটি সম্পূর্ণ-সংযুক্ত গ্রাফের উপর ভিত্তি করে দুটি গ্রাফ-ভিত্তিক সিস্টেমও প্রয়োগ করি, যেখানে নোডগুলি শট এবং প্রান্তগুলি তাদের মধ্যে সাদৃশ্যের মাত্রা নির্দেশ করে। এই গ্রাফটিতে TP-এর কোন জ্ঞান নেই, এটি জেনেরিক মাল্টিমডাল উপস্থাপনার মধ্যে মিল গণনা করে তৈরি করা হয়েছে। TEXTRANK [35] তাদের কেন্দ্রীয়তার উপর ভিত্তি করে শটগুলি নির্বাচন করতে এই গ্রাফের উপর কাজ করে, যখন TPs ছাড়া গ্রাফট্রেলার TP এবং অনুভূতির মানদণ্ড মুছে ফেলার সাথে গ্রাফটি অতিক্রম করে (সমীকরণ 2)। তত্ত্বাবধানহীন সিস্টেমগুলির জন্য যার মধ্যে স্টোকাস্টিসিটি রয়েছে এবং প্রস্তাবগুলি তৈরি করা হয়েছে (র্যান্ডম, গ্রাফট্রেলার), আমরা সেরা প্রস্তাবের ট্রেলার বিবেচনা করি। সারণি 3-এর দ্বিতীয় ব্লকটি তত্ত্বাবধানে থাকা পদ্ধতিগুলি উপস্থাপন করে যা প্রশিক্ষণের জন্য কোলাহলপূর্ণ ট্রেলার লেবেল ব্যবহার করে। এর মধ্যে রয়েছে CCANet [53], যা শুধুমাত্র ভিজ্যুয়াল তথ্য বিবেচনা করে এবং মুভি এবং ট্রেলার শটের মধ্যে ক্রস-অ্যাটেনশন গণনা করে, এবং চিত্রনাট্য, অনুভূতি বা TPs বিবেচনা না করে শট ট্রেলারে থাকা উচিত কিনা তা সনাক্ত করার বাইনারি কাজের জন্য প্রশিক্ষিত একটি ভ্যানিলা ট্রান্সফরমার। . তত্ত্বাবধানে থাকা গ্রাফট্রেলার ট্রান্সফরমারের মতো একই ডেটাতে প্রশিক্ষিত আমাদের ভিডিও ভিত্তিক নেটওয়ার্ক নিয়ে গঠিত।

GRAPHTRAILER তত্ত্বাবধানহীন পদ্ধতির মধ্যে সেরা পারফর্ম করে। মজার বিষয় হল, TEXTRANK এলোমেলো থেকে খারাপ, এটি ব্যাখ্যা করে যে ট্রেলার জেনারেশনের মতো কাজগুলিকে স্ট্যান্ডার্ড সারসংক্ষেপ সমস্যা হিসাবে দেখা যায় না। TPs ছাড়া গ্রাফট্রেলার এখনও TEXTRANK এবং এলোমেলো TP নির্বাচনের চেয়ে ভাল পারফর্ম করে।[7] তত্ত্বাবধান করা পদ্ধতির বিষয়ে, আমরা দেখতে পাই যে একটি স্ট্যান্ডার্ড আর্কিটেকচার (ট্রান্সফরমার) সহ সমস্ত পদ্ধতি ব্যবহার করা ভিজ্যুয়াল সাদৃশ্য (CCANet) ব্যবহার করে অত্যাধুনিক মডেলগুলির চেয়ে ভাল কর্মক্ষমতার দিকে নিয়ে যায়। গ্রাফ-সম্পর্কিত তথ্য যোগ করে (তত্ত্বাবধানে গ্রাফট্রেলার), আমরা আরও উন্নতি লাভ করি।

আমরা GRAPHTRAILER-এর জন্য ডেভেলপমেন্ট সেটের উপর দুটি অ্যাবলেশন স্টাডি করি। প্রথম অধ্যয়নের লক্ষ্য হল কিভাবে দ্বৈত নেটওয়ার্কের বিভিন্ন প্রশিক্ষণ ব্যবস্থা ডাউনস্ট্রিম ট্রেলার প্রজন্মের কর্মক্ষমতাকে প্রভাবিত করে। আমরা সারণি 4 এ লক্ষ্য করি যে অসিঙ্ক্রোনাস প্রশিক্ষণ বেস মডেলের তুলনায় কোন স্পষ্ট উন্নতি প্রদান করে না। যাইহোক, যখন আমরা যৌথভাবে দুটি নেটওয়ার্ককে (ভিডিও- এবং চিত্রনাট্য-ভিত্তিক) ভবিষ্যদ্বাণী এবং উপস্থাপনা সামঞ্জস্যের ক্ষতি ব্যবহার করে প্রশিক্ষণ দিই, তখন কার্যক্ষমতা প্রায় 3% বৃদ্ধি পায়। যখন চিত্রনাট্য-ভিত্তিক নেটওয়ার্ক আরও ডেটার উপর প্রাক-প্রশিক্ষিত হয় তখন আরও ছোট বৃদ্ধি পরিলক্ষিত হয়।

দ্বিতীয় অ্যাবলেশন অধ্যয়নটি গ্রাফ G-তে র্যান্ডম ওয়াক করার জন্য ব্যবহৃত মানদণ্ডের বিষয়ে উদ্বেগ প্রকাশ করে। সারণি 5-এ দেখানো হয়েছে, যখন আমরা নির্বাচিত পথে নোডগুলিকে মূল ইভেন্টের কাছাকাছি হতে প্রয়োগ করি (সাদৃশ্য + টিপি) কর্মক্ষমতা উন্নত হয়। যখন আমরা সম্পূর্ণরূপে অনুভূতির উপর নির্ভর করি (সাদৃশ্য + অনুভূতি), কার্যক্ষমতা কিছুটা কমে যায়। এটি পরামর্শ দেয় যে পূর্ববর্তী পদ্ধতির বিপরীতে যা বেশিরভাগই সুপারফিশিয়াল ভিজ্যুয়াল আকর্ষন [53, 57] বা অডিওভিজ্যুয়াল অনুভূতি বিশ্লেষণ [47] এর উপর ফোকাস করে, সেন্টিমেন্টের তথ্য নিজেই যথেষ্ট নয় এবং ট্রেলারে ভালভাবে মানায় না এমন বহিরাগতদের প্রচার করতে পারে। অন্যদিকে, যখন অনুভূতির তথ্য আখ্যান কাঠামো সম্পর্কে জ্ঞানের সাথে মিলিত হয় (সাদৃশ্য + TPs + অনুভূতি), আমরা সর্বোচ্চ নির্ভুলতা পর্যবেক্ষণ করি। এটি আমাদের অনুমানকে আরও বৈধ করে যে ট্রেলার তৈরির দুটি তত্ত্ব (অর্থাৎ, বর্ণনামূলক কাঠামো এবং আবেগের উপর ভিত্তি করে) পরিপূরক এবং একত্রিত করা যেতে পারে।

অবশেষে, যেহেতু আমাদের কাছে প্রতি মুভির একাধিক ট্রেলার রয়েছে (দেব সেটের জন্য), আমরা তাদের শটগুলির মধ্যে ওভারল্যাপ পরিমাপ করতে পারি (উপরের সীমানা)। গড় ওভারল্যাপ 86.14%, ট্রেলার নির্মাতাদের মধ্যে ভাল চুক্তি এবং মানুষের কর্মক্ষমতা এবং স্বয়ংক্রিয় মডেলগুলির মধ্যে একটি বড় ব্যবধান প্রদর্শন করে।

অবশেষে, যেহেতু আমাদের কাছে প্রতি মুভির একাধিক ট্রেলার রয়েছে (দেব সেটের জন্য), আমরা তাদের শটগুলির মধ্যে ওভারল্যাপ পরিমাপ করতে পারি (উপরের সীমানা)। গড় ওভারল্যাপ 86.14%, ট্রেলার নির্মাতাদের মধ্যে ভাল চুক্তি এবং মানুষের কর্মক্ষমতা এবং স্বয়ংক্রিয় মডেলগুলির মধ্যে একটি বড় ব্যবধান প্রদর্শন করে।

মানব মূল্যায়ন আমরা উত্পন্ন ট্রেলারের গুণমান মূল্যায়ন করার জন্য একটি মানব মূল্যায়ন গবেষণাও পরিচালনা করেছি। মানবিক মূল্যায়নের জন্য, আমরা TP ছাড়াই র‍্যান্ডম নির্বাচনকে নিম্ন বাউন্ড হিসেবে অন্তর্ভুক্ত করি, দুটি সেরা পারফরম্যান্সকারী অ-তত্ত্বাবধান করা মডেল (যেমন, TP সহ এবং ছাড়া গ্রাফট্রেলার), এবং দুটি তত্ত্বাবধান করা মডেল: CCANet, যা ট্রেলার প্রজন্মের জন্য আগের শিল্পের অবস্থা, এবং আমাদের মডেলের তত্ত্বাবধানকৃত সংস্করণ, যা স্বয়ংক্রিয় মেট্রিক্স অনুসারে সেরা পারফরম্যান্স মডেল। আমরা হোল্ড-আউট সেটে সমস্ত সিনেমার জন্য ট্রেলার তৈরি করেছি। আমরা তখন Amazon Mechanical Turk (AMT) ভিড় কর্মীদের একটি সিনেমার সমস্ত ট্রেলার দেখতে, প্রদত্ত তথ্য (Q1) এবং ট্রেলারের আকর্ষণীয়তা (Q2) সম্পর্কিত প্রশ্নের উত্তর দিতে এবং সেরা এবং সবচেয়ে খারাপ ট্রেলারটি নির্বাচন করতে বলেছিলাম৷ আমরা প্রতি সিনেমায় পাঁচজন ভিন্ন বিচারকের কাছ থেকে মূল্যায়ন সংগ্রহ করেছি।

সারণি 6 দেখায় যে TPs সহ GRAPHTRAILER অন্যান্য সমস্ত সিস্টেমের তুলনায় গড়ে আরও তথ্যপূর্ণ (Q1) এবং আকর্ষণীয় (Q2) ট্রেলার সরবরাহ করে। যদিও TPs ছাড়া গ্রাফট্রেলার এবং তত্ত্বাবধানে থাকা গ্রাফট্রেলারগুলিকে প্রায়শই সেরা হিসাবে নির্বাচিত করা হয়, তবে সেগুলি প্রায়শই সবচেয়ে খারাপ হিসাবে বেছে নেওয়া হয়। যখন আমরা সর্বোত্তম-নিকৃষ্ট স্কেলিং ব্যবহার করে প্রমিত স্কোর (z-স্কোর) গণনা করি [৩১], তখন TPs সহ গ্রাফট্রেলার সর্বোত্তম কর্মক্ষমতা অর্জন করে (উল্লেখ্য যে এটি খুব কমই সবচেয়ে খারাপ হিসাবে নির্বাচিত হয়) এরপর তত্ত্বাবধানে গ্রাফট্রেলার দ্বারা অনুসরণ করা হয়। মজার বিষয় হল, TP ছাড়াই গ্রাফট্রেলারকে প্রায়শই সেরা হিসাবে নির্বাচিত করা হয় (24.40%), যা প্রস্তাব করে যে গ্রাফ হিসাবে মুভিগুলিকে মডেল করার সামগ্রিক পদ্ধতি এবং পৃথকভাবে শটগুলি নির্বাচন করার পরিবর্তে র্যান্ডম ওয়াক সম্পাদন করা সুসংগত ট্রেলার তৈরি করতে সহায়তা করে। যাইহোক, একই মডেলটি প্রায়শই সবচেয়ে খারাপ হিসাবে নির্বাচিত হয়, যা দেখায় যে এই নিরীহ পদ্ধতিটি নিজের থেকে ভাল-মানের ট্রেলারের গ্যারান্টি দিতে পারে না।

আমরা সম্পূরক উপাদানে আমাদের পদ্ধতির উপর ভিত্তি করে তৈরি করা ট্রেলারের ভিডিও উদাহরণ অন্তর্ভুক্ত করি। তাছাড়া, আমরা পরিশিষ্টে আমাদের গ্রাফ ট্রাভার্সাল অ্যালগরিদমের একটি ধাপে ধাপে গ্রাফিক্যাল উদাহরণ প্রদান করি।

ভক্ষক সতর্কতা! আমাদের মডেল জেনারেট করা ট্রেলারগুলিতে স্পয়লারগুলিকে স্পষ্টভাবে এড়ায় না। অ্যালগরিদম 1-এ মুভি গ্রাফটি অতিক্রম করার সময় আমরা একটি স্পয়লার-সম্পর্কিত মানদণ্ড নিয়ে পরীক্ষা করেছি। বিশেষত, "স্পয়লার-সংবেদনশীল" গ্রাফ পাড়ায় থাকা শটগুলি নির্বাচন করার সময় আমরা একটি পেনাল্টি যোগ করেছি। আমরা শেষ দুটি টিপি থেকে সংক্ষিপ্ততম পথ পরিমাপ করে এই ধরনের আশেপাশের এলাকাগুলি চিহ্নিত করেছি, যেগুলি সংজ্ঞা অনুসারে একটি চলচ্চিত্রের সবচেয়ে বড় স্পয়লার৷ যাইহোক, আমাদের অ্যালগরিদমের এই বৈকল্পিকটি নিম্নতর কর্মক্ষমতার ফলে এবং আমরা এইভাবে এটিকে আর অনুসরণ করিনি। আমরা বিশ্বাস করি যে এই ধরনের মানদণ্ড ট্রেলারের ক্রম প্রস্তাব করার জন্য উপকারী নয়, কারণ এটি মডেলকে সিনেমার সর্বশেষ অংশগুলি থেকে উত্তেজনাপূর্ণ শটগুলি নির্বাচন করতে নিরুৎসাহিত করে৷ এই উচ্চ-টেনশন শটগুলি আকর্ষণীয় ট্রেলার তৈরি করার জন্য গুরুত্বপূর্ণ এবং প্রকৃতপক্ষে বাস্তব-জীবনের ট্রেলারগুলিতে অন্তর্ভুক্ত। আমাদের ডেটাসেটের এক তৃতীয়াংশেরও বেশি পেশাদার ট্রেলারে শেষ দুটি টিপির শট রয়েছে ("মেজর বিপত্তি", "ক্লাইম্যাক্স")। আমরা পরিশিষ্টে এই বিষয়ে আরও আলোচনা করব।

আমরা ম্যানুয়ালি জেনারেট করা ট্রেলারগুলিও পরিদর্শন করেছি এবং দেখেছি যে স্পয়লারগুলি খুব সাধারণ নয় (অর্থাৎ, আমরা পরীক্ষা সেট থেকে 12টি ট্রেলারের এলোমেলো নমুনায় একটি বড় স্পয়লার শট সনাক্ত করেছি), সম্ভবত কারণ একটি প্রধান স্পয়লার নির্বাচন করার সম্ভাবনা সাধারণত কম। এবং এমনকি যদি একটি স্পয়লার সংবেদনশীল শট অন্তর্ভুক্ত করা হয়, প্রেক্ষাপটের বাইরে নেওয়া হলে এটি একটি সিনেমার সমাপ্তি উন্মোচন করার জন্য যথেষ্ট নাও হতে পারে। যাইহোক, আমরা আরও বিস্তৃত স্পয়লার শনাক্তকরণ কৌশলগুলি তদন্ত করার জন্য ভবিষ্যতের কাজের উপর ছেড়ে দিই, যা অতিরিক্ত মানদণ্ড হিসাবে সহজেই আমাদের অ্যালগরিদমে একত্রিত করা যেতে পারে।

[৭] টেস্ট সেটে কর্মক্ষমতা কম কারণ আমরা শুধুমাত্র অফিসিয়াল ট্রেলার থেকে ট্রেলার লেবেল বিবেচনা করি, যখন ডেভ সেটে একাধিক ট্রেলার থাকে।

[৮] আমরা মানব মূল্যায়নে গ্রাউন্ড-ট্রুথ ট্রেলারগুলিকে অন্তর্ভুক্ত করি না, যেহেতু সেগুলি পোস্ট-প্রসেসড (যেমন, মন্টেজ, ভয়েস-ওভার, মিউজিক) এবং এইভাবে স্বয়ংক্রিয়গুলির সাথে সরাসরি তুলনীয় নয়।