এই সপ্তাহে, আমি আমার সাধারন প্রবন্ধগুলি থেকে একটি সামান্য চক্কর নিচ্ছি যা এআই ধারণা বা কোডিং টিউটোরিয়াল ব্যাখ্যা করে। হ্যাঁ, এটা একটা দার্শনিক, নস্টালজিক ট্যুর যেটাতে আমি সৌভাগ্যবান ছিলাম পুরোটা পথ ধরে।

খুব তাড়াতাড়ি একটি ক্ষেত্র শুরু করার একটি বিরল সুবিধা হল যে আপনি ক্ষেত্রটিকে আপনার শিশুর মতো বেড়ে উঠতে দেখেন। এক দশক আগে যখন আমি কম্পিউটার ভিশনে আমার মাস্টার্স শুরু করি, তখন আমার একজন সিএস গ্র্যাজুয়েট বন্ধু জিজ্ঞেস করেছিল, "কম্পিউটার ভিশন মানে কী?" ইন্টারনেটের চারপাশে ভাসমান সেগমেন্টেশন (নীচে দেখুন) মত কম্পিউটার ভিশন কাজের যথেষ্ট ভিডিও সহ এটি আজ একটি তুচ্ছ প্রশ্ন।

ইমেজ সেগমেন্টেশনের ফলাফল — একটি কম্পিউটার ভিশন টাস্ক যা পুরো ইন্টারনেট জুড়ে ছিল যখন গভীর শিক্ষা এক দশক আগে শুরু হয়েছিল।

তাহলে, গত এক দশকে কী পরিবর্তন হয়েছে? একটি মুদ্রার সর্বদা দুটি দিক থাকে। এছাড়াও, বৃদ্ধি ভাল এবং খারাপ উভয় হতে পারে।

বন্ধ সম্প্রদায় — ছোট ছিল সুন্দর

তারা বলে যে আইসল্যান্ডের লোকেরা কোনও না কোনওভাবে একে অপরের সাথে সম্পর্কিত এবং যদি কেউ আপনার দ্বিতীয় কাজিনের বাইরে থাকে তবে আপনি তাদের বিয়ে করা ভাল।

একইভাবে, এআই সম্প্রদায় ঘনিষ্ঠ ছিল। আঁটসাঁট সম্প্রদায়ের সেই অনুভূতিগুলো চলে গেছে। গবেষণা থেকে কারও সাথে যোগাযোগ করার সময় আপনি সাধারণত জানতেন যে তারা কোন দলের অন্তর্ভুক্ত। আপনি কোনো না কোনোভাবে তাদের কাজের সাথে সম্পর্কিত এবং সম্মান করবেন কারণ আপনি মাঠে তাদের প্রভাব পড়েছেন এবং প্রশংসা করেছেন।

যেহেতু ক্ষেত্রটি অবিরামভাবে উড়িয়ে দিচ্ছে, ক্রমবর্ধমান কঠিন হয়ে উঠছে এমনকি বলাও কঠিন যে আপনি কারও কাজ জানেন, তাদের সম্পর্কে ভুলে যান। অনেক নতুন নাম এবং উপন্যাসের শাখা রয়েছে যেগুলোর ট্র্যাক রাখাও চ্যালেঞ্জিং।

আরেকটি উদাহরণ হিসাবে, পাইটর্চ তার শৈশবকালে ছিল। স্ল্যাক সম্প্রদায়টি এত ছোট এবং সহায়ক ছিল যে PyTorch-এর বিকাশকারীরা লাইব্রেরি ব্যবহার সম্পর্কে আমাদের প্রশ্নগুলির সরাসরি উত্তর দিয়েছিল। এটি এটি সম্পর্কে আরও এবং আরও শিখতে উত্সাহিত করেছিল। আজ, ফ্রেমওয়ার্কটি অনেক পরিপক্ক, এবং ল্যাংচেইন এবং লামাইনডেক্সের মতো নতুন কাঠামো তৈরি হয়েছে। AI-এর অন্য যেকোন শাখার তুলনায় এলএলএম-এর দিকেই ফোকাস।

হার্ডওয়্যার বিলাসিতা

সেই দিনগুলিতে, আমরা প্রভাবশালী কিছু তৈরি করতে একটি একক GPU-তে একটি গভীর নিউরাল নেটওয়ার্ককে প্রশিক্ষণ দিতাম। সিভিপিআর, নিউরিআইপিএস এবং আইসিএমএল-এর মতো প্রিমিয়ার কনফারেন্সে প্রকাশিত বেশিরভাগ কাজ একটি একক 8 জিবি জিপিইউ মেশিনে প্রশিক্ষিত এবং প্রতিলিপি করা যেতে পারে বা সবচেয়ে খারাপ ক্ষেত্রে, বিরল ক্ষেত্রে 4টি জিপিইউ সহ একটি একক মেশিন।

টেসলা দ্বারা AI এর জন্য ব্যবহৃত সর্বশেষ GPU ক্লাস্টারগুলির একটি চিত্র (সূত্র: https://www.hpcwire.com/off-the-wire/tesla-to-roll-out-advanced-supercomputer )

আমি স্পষ্টভাবে মনে করি কাগল প্রতিযোগিতায় অংশগ্রহণ করার জন্য মাত্র 8 GB RAM সহ একটি একক পণ্য GPU কিনে আমি কতটা খুশি হয়েছিলাম। Kaggle Grandmasters থেকে কিছু বিজয়ী সমাধান বাড়িতে একটি একক GPU মেশিনে গভীর শিক্ষার মডেল প্রশিক্ষিত.

আজকের এআই বিশ্বে ফাউন্ডেশনাল মডেলদের প্রশিক্ষণের জন্য একটি GPU ক্লাস্টার প্রয়োজন। এমনকি এই মডেলগুলিকে ফাইন-টিউন করার জন্য 24GB GPU গুলি প্রয়োজন যা পশু, ব্যয়বহুল এবং শুধুমাত্র "AI বাজেট" সহ ব্যবসার দ্বারা সাশ্রয়ী।

স্কিলসেটের চাহিদা

সেই দিনগুলি ছিল যখন মাঠটি এখনও এর চারপাশে এআই মোড়ক পায়নি। নিয়োগকারীদের "গভীর শিক্ষা" ইঞ্জিনিয়ারদের শিকার করার এই বিদেশী কাজ দেওয়া হয়েছিল। নিয়োগকারী এবং স্টার্ট-আপ প্রতিষ্ঠাতারা সমস্ত চ্যানেলের মাধ্যমে গভীর শিক্ষার বিশেষজ্ঞদের সন্ধান করছিলেন। LinkedIn-এ নিয়মিত বার্তা পাওয়াটা একটা নিয়ম ছিল যে আমাকে তাদের দলে একজন গভীর শিক্ষার প্রকৌশলী হিসেবে যোগ দিতে বলে।

একজন মেশিন লার্নিং ইঞ্জিনিয়ারের চাকরির বিজ্ঞাপনের একটি স্ক্রিনশট মাত্র 5 দিন আগে পোস্ট করা হয়েছে যেখানে 100 জনের বেশি আবেদনকারী এসেছেন!

বর্তমান পরিস্থিতি হল যে “মেশিন লার্নিং ইঞ্জিনিয়ার”-এর জন্য ওপেনিং বিজ্ঞাপনের এক দিনের মধ্যে লিঙ্কডইন-এ 100 টিরও বেশি অ্যাপ্লিকেশন পেয়ে যায়। উপরের স্ক্রিনশটটি একবার দেখুন যদি আপনার বিশ্বাস করা কঠিন হয়। চাকরির ক্ষেত্রে আবেদনকারীর দক্ষতা কতটা প্রাসঙ্গিক তা নিয়ে প্রশ্ন থেকে যায়। কিন্তু বাজার দক্ষতা দিয়ে পরিপূর্ণ হয় - বেশ দ্রুত!

উপ-দক্ষতা - অপারেশন এবং আর্কিটেকচার

বৃদ্ধি মানে আরও বৈচিত্র্য এবং সুযোগ। ML-ops, LLM-ops, এবং ML-স্থপতিদের মত নতুন ভূমিকা ক্রপ আপ হচ্ছে। ছোট, একক-মডেল ফাইলের সেই দিনগুলো চলে গেছে (<1 GB)। আকার এবং ক্ষমতা উভয় ক্ষেত্রেই মডেলগুলির বৃদ্ধি তাদের স্থাপন এবং রক্ষণাবেক্ষণে নতুন দক্ষতার জন্ম দিয়েছে।

অধিকন্তু, MLFLow-এর মতো সরঞ্জামগুলির সাহায্যে মডেলগুলির প্রশিক্ষণ এবং স্থাপনা স্বয়ংক্রিয়ভাবে করা হচ্ছে। প্রশিক্ষণের জন্য ক্লাউড অবকাঠামো যথেষ্ট পরিশীলিত হতে হবে। এই সমস্তই নিবেদিত দায়িত্বের সাথে পূর্ণকালীন ভূমিকার জন্ম দিয়েছে।

বিদায় এমএল ইঞ্জিনিয়ার, হ্যালো এআই ইঞ্জিনিয়ার

AI-তে কাজ করার সবচেয়ে মজা হল মডেল আর্কিটেকচার লেখা, এবং আমাদের ইন-হাউস ডেটা ব্যবহার করে স্ক্র্যাচ থেকে মডেলটিকে প্রশিক্ষণ দেওয়া। যদিও এর মধ্যে প্রচুর পরিমাণে ডেটা প্রাক-প্রসেসিং, প্রশিক্ষণ মডেল এবং প্রশিক্ষণের ফলাফলগুলিকে ভিজ্যুয়ালাইজ করা অনেক মজার ছিল। এটির জন্য মেশিন লার্নিং (এমএল) ইঞ্জিনিয়ার নামে একটি বিশেষ ভূমিকা ছিল/এখনও রয়েছে।

টেক জায়ান্টদের থেকে ফাউন্ডেশন মডেলের বিকাশ এই ভূমিকাটিকে নতুন করে সংজ্ঞায়িত করছে। মডেলের আকার বাড়ার সাথে সাথে প্রশিক্ষণের বাজেট বিশাল। প্রকৃতপক্ষে, LLama 2 মডেলের প্রশিক্ষণের খরচ মেটার জন্য $20m ছিল। স্পষ্টতই স্টার্ট-আপ বা সংস্থাগুলি AI গ্রহণ করার চেষ্টা করছে এই পরিমাণ অর্থ ফেলে দিতে চায় না। এটি এখন প্রতিষ্ঠিত হয়েছে যে ফাউন্ডেশন মডেলগুলি টেক জায়ান্টদের বিকাশের জন্য, মিস্ট্রাল এবং অ্যানথ্রপিকের মতো কিছু কোম্পানি বাদ দিয়ে।

দুঃখজনকভাবে, এর মানে হল ML ইঞ্জিনিয়ারের ভূমিকা একটি AI ইঞ্জিনিয়ারের ভূমিকায় নিক্ষেপ করা হচ্ছে। এমএল ইঞ্জিনিয়ারের ভূমিকা ছিল মডেল আর্কিটেকচারের বিকাশ, প্রশিক্ষণ এবং তাদের মূল্যায়ন করা। নতুন এআই ইঞ্জিনিয়ারের ভূমিকার মধ্যে বেশিরভাগ ক্ষেত্রেই এপিআই তৈরি করা বা ফাউন্ডেশন মডেলগুলিকে প্রম্পট করার জন্য টেক জায়ান্ট (ওপেনএআই, মেটা এবং গুগল) দ্বারা সরবরাহ করা API গুলিকে অন্তর্ভুক্ত করা হয়।

বিরল ক্ষেত্রে, এটি এই ফাউন্ডেশন মডেলগুলিকে সূক্ষ্ম-টিউনিং করে। কিন্তু কোম্পানিগুলির কাছে RAG পাইপলাইন তৈরি করার বা ফাইন-টিউনিংয়ের জন্য ফাউন্ডেশন মডেলগুলি "যেমন-যেমন" ব্যবহার করার বিকল্প রয়েছে৷

উপসংহার

উপসংহারে, আমি এটিকে সফ্টওয়্যার ইঞ্জিনিয়ারিং এবং মেশিন লার্নিং ভূমিকার একটি ধীর সংমিশ্রণ হিসাবে দেখছি। সফ্টওয়্যার ইঞ্জিনিয়ার এবং গভীর শিক্ষার বিশেষজ্ঞদের মধ্যে লাইন ম্লান হয়ে যাচ্ছে। সুতরাং, আগামী বছরগুলিতে, সফ্টওয়্যার ইঞ্জিনিয়াররা হবে AI ইঞ্জিনিয়ার যারা ফাউন্ডেশন মডেলের পাশাপাশি কাজ করবে, কোড লেখার জন্য এবং গ্রাহকের প্রয়োজনগুলি সমাধান করতে।

তদুপরি, আগামী বছরগুলিতে, সংস্থাগুলিকে দুটি বিভাগে বিভক্ত করা হবে - এআই পণ্য এবং এআই পরিষেবা সংস্থাগুলি। AI পণ্য সংস্থাগুলি আবার ওপেনএআই, মেটা এবং গুগল হবে ভিত্তিগত মডেলগুলি তৈরি করতে। AI পরিষেবা সংস্থাগুলি তাদের গ্রাহকদের পরিষেবা দেওয়ার জন্য AI ফাউন্ডেশনাল মডেলগুলির চারপাশে সূক্ষ্ম-টিউনিং বা RAG-স্টাইলের পাইপলাইনগুলি বিকাশ করে API পরিষেবাগুলি সরবরাহ করবে।

সবশেষে, চাকরির আবেদনের স্পাইক কি ডট কম বুদবুদের মতো বুদবুদের আসন্ন বিস্ফোরণের ইঙ্গিত দেয়? আমি তাই অনুভব করি, হ্যাঁ. তবে আসুন অপেক্ষা করি এবং এটি দেখি…

চিৎকার কর

আশা করি যে দরকারী ছিল.

আপনি যদি এই নিবন্ধটি পছন্দ করেন তবে কেন আমাকে অনুসরণ করবেন না টুইটার গবেষণা আপডেট, ভিডিও টিউটোরিয়াল লিঙ্ক, এবং শীর্ষ এআই ল্যাব থেকে নতুন এআই টুলের জন্য?

এছাড়াও, আমার সাবস্ক্রাইব করুন ইউটিউব চ্যানেল যেখানে আমি AI ধারণা এবং কাগজপত্র চাক্ষুষভাবে ব্যাখ্যা করি।