ComfyUI এর সাথে মাস্টারপিস পোট্রেট পোট্রেট তৈরি করুন

এআই ইমেজ ম্যানিপুলেশন টুলস গত কয়েক বছরে অনেক দূর এগিয়েছে। মানুষ এবং প্রাণীদের সুন্দর, স্টাইলিস্টিক প্রতিকৃতি তৈরি করা আজকাল বেশ সহজ। কিন্তু AI মডেলগুলি অত্যন্ত অনির্দেশ্য। তাই বেশিরভাগ টুল ব্যবহারকারীর (বা কিছু মানুষের) উপর নির্ভর করে খারাপ প্রজন্মের আগাছা দূর করতে এবং সেরাটি খুঁজে পেতে।

এটি হল ক্লাসিক "হিউম্যান ইন দ্য লুপ" সমস্যা যা প্রায়শই এআই টুলকে আঘাত করে। দেখা যাচ্ছে, কিছু চতুর কৌশল এবং সতর্ক টিউনিংয়ের মাধ্যমে, আপনি একটি পাইপলাইন তৈরি করতে পারেন যা বেশিরভাগ পোষা প্রাণীর জন্য নির্ভরযোগ্যভাবে কাজ করে। এটি ভঙ্গি, আলো ইত্যাদির বিভিন্নতার জন্য অত্যন্ত স্থিতিস্থাপক।

এই পোস্টে, আমি এটি কীভাবে কাজ করে এবং এটিকে সক্ষম করে এমন সমস্ত ঝরঝরে ছোট কৌশলগুলির গভীরে ডুব দেব। এখানে পোর্ট্রেটের কিছু উদাহরণ রয়েছে যা আপনি এই পাইপলাইন দিয়ে তৈরি করতে পারেন।

চলুন শুরু করা যাক!

মূল উপাদান

আইপিএডাপ্টার

কৌশলটির মূল হল আইপিএডাপ্টার। এটি মূলত পাঠ্যের পরিবর্তে একটি চিত্র ব্যবহার করে একটি মডেলকে প্রম্পট করার একটি উপায় (এটি আক্ষরিক অর্থে চিত্র প্রম্পট অ্যাডাপ্টারের জন্য দাঁড়িয়েছে)। তাই একটি পাঠ্য এমবেডিং নেওয়ার পরিবর্তে, এটি এমবেডিংগুলি পেতে একটি চিত্র ব্যবহার করে। এটি অত্যন্ত শক্তিশালী কারণ এটি সরাসরি একটি চিত্রের শৈলী এবং কাঠামোকে সঠিকভাবে ক্যাপচার করতে পারে, পরিবর্তে কেউ একটি চিত্র থেকে পাঠ্যে যা চান তা অনুবাদ করতে হবে৷ আমাদের ComfyUI IPAdapter নোডে, আমাদের দুটি ইনপুট রয়েছে, একটি শৈলীর জন্য এবং একটি রচনার জন্য। আমরা শৈলীর জন্য একটি জলরঙের পেইন্টিং ইমেজ ব্যবহার করি এবং কম্পোজিশনের জন্য আসল ইমেজ ফিড করি (যেহেতু আমরা একই কম্পোজিশন রাখতে চাই, কিন্তু স্টাইল পরিবর্তন করতে চাই)।

কন্ট্রোলনেট

এখন যেহেতু আমাদের স্টাইলটি সামঞ্জস্যপূর্ণ রাখার একটি উপায় আছে, আমরা বিশ্বস্তভাবে পোষা প্রাণীর প্রতিনিধিত্ব করার দিকে আমাদের মনোযোগ দিতে পারি। আইপিএডাপ্টারগুলি ছবির গুণমানের প্রতি প্রবলভাবে পক্ষপাতিত্ব করে, এবং চিত্রের সাদৃশ্য ক্ষতিগ্রস্থ হয়। তাই আউটপুটটিকে ইনপুটের মতো একই বস্তুর মতো দেখতে সক্ষম হওয়ার জন্য আমাদের কিছু করতে হবে।

এর উত্তর হল কন্ট্রোলনেট। কন্ট্রোলনেট হল আরেকটি দুর্দান্ত কৌশল যা ইমেজ তৈরির প্রক্রিয়ায় অতিরিক্ত সীমাবদ্ধতা প্রদান করে। একটি কন্ট্রোলনেট ব্যবহার করে, আপনি প্রান্ত, গভীরতা, মানুষের ভঙ্গি ইত্যাদির আকারে সীমাবদ্ধতাগুলি নির্দিষ্ট করতে পারেন৷ কন্ট্রোলনেটের একটি দুর্দান্ত বৈশিষ্ট্য হল সেগুলি স্ট্যাক করা যেতে পারে৷ সুতরাং আপনার কাছে একটি এজ কন্ট্রোলনেট থাকতে পারে যা আউটপুটকে ইনপুটের মতো একই প্রান্ত থাকতে বাধ্য করে এবং একটি গভীরতা নিয়ন্ত্রণ নেটও যা আউটপুটকে অনুরূপ গভীরতার প্রোফাইল থাকতে বাধ্য করে। এবং যে ঠিক কি আমি এখানে কি.

দেখা যাচ্ছে যে কন্ট্রোলনেটগুলি কেবল অন্যান্য কন্ট্রোনেটের সাথে স্ট্যাকযোগ্য নয়, তবে তারা উপরে উল্লিখিত আইপিএড্যাপ্টারের সাথেও কাজ করতে পারে। এবং তাই এইগুলির জন্য আমরা এই সরঞ্জামগুলি ব্যবহার করব - শৈলী পেতে উত্স চিত্র সহ আইপিএডাপ্টার, প্রান্তের উপর ভিত্তি করে সীমাবদ্ধ করার জন্য ক্যানি এজ ডিটেক্টর সহ কন্ট্রোলনেট এবং গভীরতার প্রোফাইলের উপর ভিত্তি করে গভীরতা থেকে সীমাবদ্ধ করার জন্য কন্ট্রোলনেট।

কৌশলের পরিপ্রেক্ষিতে এটিই আপনার প্রয়োজন, কিন্তু উৎপাদনের জন্য মেশিন লার্নিং নিয়ে পরীক্ষা-নিরীক্ষা করে আমি যা শিখেছি তা হল যে এই জিনিসগুলির অনেক মূল্য আপনার সমস্ত প্যারামিটারগুলিকে নিখুঁতভাবে টিউন করার জন্য সময় নেওয়া থেকে আসে। তাই আমি যে সম্পর্কে একটু কথা বলতে চাই.

ফাইনটিউনিং

আপনি কি কখনও আশ্চর্যজনক উদাহরণ আউটপুট সহ একটি মডেল খুঁজে পেয়েছেন, এটি আপনার নিজের চিত্রগুলিতে চেষ্টা করেছেন এবং বুঝতে পেরেছেন যে সেগুলি ভয়ঙ্কর দেখাচ্ছে? প্রায়শই, এর একমাত্র কারণ হল যে মডেলটি আপনার ছবির জন্য সুন্দর করা হয়নি। এটি কখনও কখনও একটি সম্পূর্ণ ব্লকারের মতো অনুভব করতে পারে, কারণ আমরা একটি প্রাক-প্রশিক্ষিত মডেলকে ফাইনটিউন করার সাথে কোথায় শুরু করব?! এখানে আমি বিষয় সম্পর্কে শিখেছি কি. এটি এই নির্দিষ্ট পাইপলাইনের বাইরেও প্রসারিত, তাই সাধারণভাবে থাকা ভাল জ্ঞান।

কন্ট্রোলনেট

কন্ট্রোলনেটগুলি খুব শক্তিশালী, তাই আউটপুটে তাদের প্রভাব নিয়ন্ত্রণ করতে আপনাকে সতর্ক থাকতে হবে। সৌভাগ্যবশত, ComfyUI-এর কাস্টম নোডগুলি আমাদের কন্ট্রোনেটের প্রভাব কমাতে দেয়, এবং যে কোনও সময়ে তাদের প্রভাব বন্ধ করতে দেয়। তাই আমরা এজ ডিটেক্টরকে 75% শক্তিতে সেট করি এবং এটি 75% এ প্রজন্মকে প্রভাবিত করা বন্ধ করে দিই এবং গভীরতা সনাক্তকারী 30% এ থামে। আমরা তাদের শক্তি হ্রাস করার পরিবর্তে শেষ পর্যন্ত তাদের থামানোর কারণ হল যে এটি নেটওয়ার্কটিকে বাহ্যিকভাবে বাধা না দিয়ে শেষ কয়েকটি ধাপে তাদের দ্বারা সৃষ্ট যে কোনও শিল্পকর্মকে "পরিষ্কার" করতে দেয়। এটা শুধু ইমেজ সুন্দর করে তোলে. সুতরাং এটি প্রান্ত এবং গভীরতা উপেক্ষা করে জিনিসগুলিকে যতটা সম্ভব সুন্দর দেখানোর জন্য এটির প্রশিক্ষণ ডেটা ব্যবহার করছে।

টিউন করার জন্য আরেকটি বড় জিনিস হল KSampler। এখানে অনেক ছোট ছোট জিনিস চলছে, কিন্তু আমি সংক্ষেপে সেগুলির কয়েকটিতে স্পর্শ করব:

KSampler - ধাপ

প্রথম আমাদের ধাপ আছে. এটি আক্ষরিকভাবে মডেলটি বারবার চালানোর সংখ্যা। এটি যত বেশি চালাবে, আপনার আউটপুট তত বেশি স্টাইলাইজড হবে এবং এটি আসল চিত্র থেকে তত দূরে থাকবে। এর প্রভাবগুলি প্রায়শই স্পষ্ট হয় না, তাই এটির সাথে খেলা করা মূল্যবান।

KSampler - CFG

তারপর CFG আছে. আমি সত্যই এটি সম্পূর্ণরূপে বুঝতে পারি না, তবে এর নাম থেকে - ক্লাসিফায়ার ফ্রি গাইডেন্স - আমি ধরে নিচ্ছি যে এটি মডেলটিকে আরও ভাল দেখানোর জন্য প্রম্পটগুলির দ্বারা অনিয়ন্ত্রিত চিত্রটিকে কতটা পরিবর্তন করার অনুমতি দেওয়া হয়েছে তা নিয়ন্ত্রণ করে৷ এটি আউটপুট ইমেজকেও উল্লেখযোগ্যভাবে প্রভাবিত করে, তাই এর সাথে খেলার যোগ্য।

Denoise

আরেকটি সুন্দর ছোট কৌশল যা আমি এখানে ব্যবহার করি তা হল একটি ফাঁকা ছবির পরিবর্তে ইনপুট ইমেজ দিয়ে ইমেজ তৈরির প্রক্রিয়া শুরু করা এবং ডিনোইসিং কম রাখা। এটি নিশ্চিত করে যে আউটপুটটি রঙ এবং টেক্সচারের ক্ষেত্রে একই রকম দেখাবে।

টেক্সট প্রম্পট

একটি জিনিস আপনি লক্ষ্য করবেন আমি কখনই উল্লেখ করিনি তা হল পাঠ্য প্রম্পট এখন পর্যন্ত! আশ্চর্যজনক, যেহেতু এটি সাধারণত একমাত্র কন্ডিশনিং যা আপনি সাধারণত ডিফিউশন মডেলগুলিতে সরবরাহ করেন। কিন্তু এই ক্ষেত্রে, আমাদের কাছে কন্ডিশনার আরও অনেক উপায় রয়েছে যে টেক্সট প্রম্পটগুলি সাধারণত পথ পেতে পারে। সুতরাং এই ক্ষেত্রে, প্রম্পটটি আক্ষরিক অর্থে শুধুমাত্র "একটি কুকুর"। আমি টেক্সট প্রম্পটটি আরও কিছু স্টাইলাইজড প্রতিকৃতিতে ব্যবহার করি, যেমন শেফ ডগ বা বাথরুমের একটি।

আনুষাঙ্গিক যোগ করা হচ্ছে

সারমর্মে, এটি কমবেশি একটি "AI ফিল্টার" যা ছবিকে জলরঙের প্রতিকৃতিতে রূপান্তর করে। কিন্তু এটা কতটা নমনীয় হতে পারে তা আশ্চর্যজনক। উদাহরণস্বরূপ, গোসল করা কুকুরের প্রতিকৃতি তৈরি করতে, আমি আক্ষরিক অর্থে ছবিগুলিকে একটি ইমেজ এডিটিং টুলে একসাথে রেখেছি এবং সেটিকে ইনপুট হিসাবে ব্যবহার করেছি! মডেল সবকিছু একত্রিত করা এবং ইমেজ পরিষ্কার করার যত্ন নেয়।

উপসংহার

এখন ব্যাকগ্রাউন্ড মুছে ফেলুন, কিছু টেক্সট যোগ করুন এবং বুম করুন! আপনার একটি সুন্দর প্রতিকৃতি রয়েছে যা আপনার পোষা প্রাণীর সমস্ত ছোট বিবরণ ক্যাপচার করে এবং সর্বদা সেরা আলোতে সেগুলিকে আঁকতে পারে!

ComfyUI নোডগুলিতে কাজ করার জন্য @cubiq কে এবং ইউটিউবে তার দুর্দান্ত ব্যাখ্যাকারী সিরিজের জন্য অসংখ্য ধন্যবাদ! এই পাইপলাইনের বেশিরভাগই তিনি তার ভিডিওতে তৈরি এবং ব্যাখ্যা করেছিলেন।

আপনি যদি এই সমস্ত ঝামেলার মধ্য দিয়ে না গিয়ে একটি পোষা প্রতিকৃতি চান তবে এখান থেকে একটি কেনার কথা বিবেচনা করুন: pawprints.pinenlime.com!