
 
 
 
 
 
 
 
 
 
 
 লেখক : (১) জিয়াবেন চেন, ম্যাসাসুসেটস অ্যামহার্স্ট বিশ্ববিদ্যালয়; (২) শিন ইয়ান, উহান বিশ্ববিদ্যালয় Yihang Chen, উহান বিশ্ববিদ্যালয় (4) সিয়ুয়ান সেন, ম্যাসাথুসেটস অ্যামহার্স্ট বিশ্ববিদ্যালয়; Qinwei Ma, Tsinghua বিশ্ববিদ্যালয় (6) Haoyu Zhen, সাংহাই জিয়াও টং বিশ্ববিদ্যালয়; কায়জি সিয়ান, MIT-IBM ওয়াটসন এআই ল্যাব (8) Lie Lu, ডলবি ল্যাবরেটরিস; (9) চুয়াং গান, ম্যাসাউজেটস অ্যামহার্স্ট বিশ্ববিদ্যালয়। : Authors (১) জিয়াবেন চেন, ম্যাসাসুসেটস অ্যামহার্স্ট বিশ্ববিদ্যালয়; (২) শিন ইয়ান, উহান বিশ্ববিদ্যালয় Yihang Chen, উহান বিশ্ববিদ্যালয় (4) সিয়ুয়ান সেন, ম্যাসাথুসেটস অ্যামহার্স্ট বিশ্ববিদ্যালয়; Qinwei Ma, Tsinghua বিশ্ববিদ্যালয় (6) Haoyu Zhen, সাংহাই জিয়াও টং বিশ্ববিদ্যালয়; কায়জি সিয়ান, MIT-IBM ওয়াটসন এআই ল্যাব (8) Lie Lu, ডলবি ল্যাবরেটরিস; (9) চুয়াং গান, ম্যাসাউজেটস অ্যামহার্স্ট বিশ্ববিদ্যালয়। বামপন্থী টেবিল সংক্ষিপ্ত এবং ১. প্রবর্তন 
 
 
 
 
 
 
 
 
 
 
 Related Work 2.1 Text to Vocal Generation 2.2 Text to Motion Generation 2.3 Audio to Motion Generation 
 
 
 
 RapVerse Dataset 3.1 Rap-Vocal Subset 3.2 Rap-Motion Subset 
 
 
 
 
 
 Method 4.1 Problem Formulation 4.2 Motion VQ-VAE Tokenizer 4.3 Vocal2unit Audio Tokenizer 4.4 General Auto-regressive Modeling 
 
 
 
 Experiments 5.1 Experimental Setup 5.2 Main Results Analysis and 5.3 Ablation Study 
 
 Conclusion and References A. অ্যাপ্লিকেশন অবরোধ এই কাজে, আমরা একক ফ্রেমের জন্য একটি চ্যালেঞ্জিং কাজ স্থাপন করি যা একই সময়ে 3D হোলস্টিক শরীরের আন্দোলন এবং গান গানের ভয়েসগুলি সরাসরি টেক্সটাল লিগ ইনপুট থেকে উত্পাদিত হয়, যা সাধারণত এই দুটি উপায়ে সরাসরি সমাধান করা বিদ্যমান কাজগুলির বাইরে এগিয়ে যাচ্ছে। এই সহায়তা করার জন্য, আমরা প্রথমে RapVerse ডেটা সেটটি সংগ্রহ করি, একটি বড় ডেটা সেট যা সমান্তরাল raping ভয়েস, গান, এবং উচ্চ মানের 3D হোলস্টিক শরীরের নেটওয়ার্কগুলি অন্তর্ভুক্ত করে। RapVerse ডেটা সেটের সাথে, আমরা তদন্ত করি যে ভাষা, ১ প্রবর্তন শব্দ এবং আন্দোলনের ক্ষেত্রে মাল্টিমোডাল কন্টেন্ট জেনারেশনের বিবর্তনশীল পরিস্থিতিতে, নির্দিষ্ট মডেলগুলিতে উল্লেখযোগ্য অগ্রগতি হয়েছে, যার মধ্যে টেক্সট-টু-মিউসিক [54, 1, 21], টেক্সট-টু-ভিউসিক [32], টেক্সট-টু-মিউসিক [13, 69, 4, 23, 34] এবং অডিও-টু-মিউসিক [68, 15, 31] জেনারেশনের মধ্যে উল্লেখযোগ্য অগ্রগতি হয়েছে। এই অগ্রগতিগুলি আরো ডিজিটাল এবং ইন্টারেক্টিভ কন্টেন্ট তৈরির জন্য পথ খুলিয়েছে। এই অগ্রগতিগুলির সত্ত্বেও, বিদ্যমান কাজগুলি এই কাগজে, আমরা একটি গুরুত্বপূর্ণ সমস্যা মোকাবেলা করি: একটি মেশিন শুধুমাত্র আবেগের গভীরতা সঙ্গে গান করতে পারে না, কিন্তু মানবের মত বক্তৃতা এবং আন্দোলন সঙ্গেও কাজ করতে পারে? আমরা একটি নতুন কাজ প্রস্তাব করি সংযুক্ত গান ভয়েস এবং পুরো শরীরের মানব আন্দোলন (বৃদ্ধি শরীরের আন্দোলন, হাতের আন্দোলন, এবং মুখের আন্দোলন সহ) একই সময়ে উত্পাদন করার জন্য, দেখুন চিত্র 1. এই প্রচেষ্টা আরো অন্তর্ভুক্ত এবং প্রাকৃতিক ডিজিটাল ইন্টারেকশন উত্পাদন, এইভাবে ভার্চুয়াল পারফরম্যান্স, ইন্টারেক্টিভ গেমিং, এবং ভার্চুয়াল একটি গুরুত্বপূর্ণ প্রশ্ন স্বাভাবিকভাবে উত্থাপিত হয়: শব্দ এবং আন্দোলনের একীভূত প্রজন্মের জন্য একটি ভাল মডেল কি? প্রথমত, আমরা একীভূত সিস্টেমের জন্য সঠিক ইনপুট ফর্ম হিসাবে টেক্সট লিমিটেড বিবেচনা করি, যেহেতু টেক্সট মানুষের দ্বারা তথ্য প্রেরণ করার জন্য একটি উচ্চতর, ব্যাখ্যাযোগ্য নমনীয় উপায় সরবরাহ করে, এবং বিভিন্ন মডেলগুলির মধ্যে একটি সেতু হিসাবে কাজ করতে পারে। দ্বিতীয়ত, আমরা মনে করি যে একটি যৌথ জেনারেশন সিস্টেম যা একই সময়ে মাল্টি-মোডাল আউটপুট উত্পাদন করতে পারে তা একটি ক্যাসিড সিস্টেমের তুলনায় ভাল যা একক-মোডাল আউটপুট প্রয়োগ করে। একটি ক্যাসিড সিস্টেম, একটি টেক্সট-কোডাল মডিউল এবং একটি ভয়েস-টু-মোশন মডিউলকে একত্রিত করে, প্রজন্মের প্রতিটি পর্যায়ে ভুল সংগ্রহ করতে পারে। উদাহরণস্বরূপ, টেক্সট-কোডাল পর্যায়ে একটি ভুল ব্যাখ্যা অকার্যকর আউটপুট উত্পাদন করতে পারে, যা আউটপুটের প্রত্যাশিত সংক্ষিপ্ততা হ্রাস করে। এই ধরনের একত্রিত ডেটা জেনারেশন সিস্টেম নির্মাণ করার জন্য, প্রধান চ্যালেঞ্জগুলি অন্তর্ভুক্ত করা হয়: 1) গান, ভয়েস, এবং 3D পুরো শরীরের আন্দোলন নোটগুলি একই সময়ে সরবরাহ করে এমন ডেটা সেটগুলির ঘাটতি; এবং 2) একটি একত্রিত আর্কিটেকচারের প্রয়োজন যা পাঠ্য থেকে ভয়েস এবং আন্দোলনগুলি একত্রিতভাবে সংশ্লেষণ করতে সক্ষম। এই চ্যালেঞ্জগুলির প্রতিক্রিয়াতে, আমরা RapVerse, গান, গান, এবং 3D পুরো শরীরের আন্দোলনগুলির একটি ব্যাপক সংগ্রহের সাথে একটি বৃহৎ ডেটা সেট সংগঠিত করেছি। [32, 22, 8, 55], টেক্সট-টু ডাটা সেটটি গবেষণা চাহিদাগুলির একটি বিস্তৃত পরিসীমা পূরণের জন্য দুটি আলাদা অংশে বিভক্ত করা হয়: 1) একটি রিপ-ভোজাল সাবসেট যা ভোজাল এবং টেক্সটের একটি বড় সংখ্যক জোড়া অন্তর্ভুক্ত করে এবং 2) একটি রিপ-ভোজনের সাবসেট যা ভোজাল, টেক্সট, এবং মানব আন্দোলন অন্তর্ভুক্ত করে। রিপ-ভোজাল সাবসেটটি রিপ-ভোজাল সঙ্গীতের ধারায় 108.44 ঘন্টা উচ্চ মানের ইংরেজি গান গাইড করে। 32 গায়কদের কাছ থেকে ইন্টারনেট থেকে জোড়া গান ও ভোজাল সন্নিবেশ করা হয়, যার স RapVerse RapVerse একক ডেটা সেটের সাথে, আমরা কীভাবে আমরা শুধুমাত্র ভাষা, অডিও, এবং আন্দোলন সিস্টেমের সাথে স্বতঃস্ফূরক multimodal ট্রান্সফরমারগুলি স্ক্যালিং দ্বারা ফ্রেম করতে পারি তা পরীক্ষা করি। এই উদ্দেশ্যে, আমরা টোকেন প্রতিনিধি হিসাবে বিভিন্ন মডেলগুলি একত্রিত করি। বিশেষত, তিনটি VQVAEs [63] শুধুমাত্র মাথা, শরীর এবং হাত জন্য তিন স্তরের আলাদা টোকেনগুলিতে পুরো শরীরের আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা আলাদা সংক্ষেপে, এই কাগজটি নিম্নলিখিত অবদান দেয়: • আমরা RapVerse প্রকাশ করি, একটি বড় ডেটা সেট যা সমন্বিত গান গান, শব্দ এবং উচ্চ মানের 3D সামগ্রিক SMPL-X প্যারামিটার। • আমরা একটি সহজ কিন্তু কার্যকরী একীভূত কাঠামো ডিজাইন করি গান গান এবং মানব আন্দোলনগুলির যৌথ প্রজন্মের জন্য টেক্সট থেকে একটি মাল্টি-মডাল ট্রান্সফরমার দিয়ে স্বয়ংক্রিয় ভাবে। • বিভিন্ন মডেলের প্রতিনিধিত্বগুলি একত্রিত করার জন্য, আমরা একটি ভয়েস-টোয়েন্টি মডেল ব্যবহার করি যার ফলে আমরা পরিমাপিত অডিও টোকেন অর্জন করতে পারি এবং আলাদা আন্দোলন টোকেন অর্জন করতে কম্পিউটিং VQVAEs ব্যবহার করি। • পরীক্ষামূলক ফলাফল দেখায় যে আমাদের ফ্রেমওয়ার্ক বিশেষজ্ঞ একক-মডালিটি জেনারেশন সিস্টেমের পারফরম্যান্সের সাথে প্রতিদ্বন্দ্বিতা করে, গান এবং আন্দোলনের যৌথ জেনারেশনের জন্য নতুন রেফারেল নির্ধারণ করে। 
 
 এই কাগজটি CC BY 4.0 DEED লাইসেন্সের অধীনে আর্কাইভে পাওয়া যায়। এই কাগজটি CC BY 4.0 DEED লাইসেন্সের অধীনে আর্কাইভে পাওয়া যায়। আর্কাইভ উপলব্ধ

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Unlocking language's rhythm, harmonizing sound and meaning.

phonology's blog

গল্পের মূল ভাষায় এই অডিও তৈরি!

একটি একক প্রম্পট এই এআই র্যাপিং এবং নাচ হবে

About Author

মন্তব্য

আসে ট্যাগ

এই নিবন্ধটি উপস্থাপন করা হয়েছে

Related Stories

টেলিগ্রাম: ক্রিপ্টো দ্বীপের মূল ভূখণ্ডের সেতু

বিটকয়েন UTXO এর মডেল, একটি অনন্য ইকোসিস্টেমকে শক্তিশালী করে

এআই/এমএল ডাটালেকের জন্য রেফারেন্স আর্কিটেকচার তৈরির জন্য একজন স্থপতির গাইড

সেলিং দ্য ওয়াটারস: ডেটা লেক সহ প্রোডাকশন-গ্রেড RAG অ্যাপ্লিকেশন তৈরি করা

টেলিগ্রাম: ক্রিপ্টো দ্বীপের মূল ভূখণ্ডের সেতু

বিটকয়েন UTXO এর মডেল, একটি অনন্য ইকোসিস্টেমকে শক্তিশালী করে

এআই/এমএল ডাটালেকের জন্য রেফারেন্স আর্কিটেকচার তৈরির জন্য একজন স্থপতির গাইড

সেলিং দ্য ওয়াটারস: ডেটা লেক সহ প্রোডাকশন-গ্রেড RAG অ্যাপ্লিকেশন তৈরি করা

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps