ওপেন সোর্স: এআই বিপ্লবের পরবর্তী ধাপ

এমন একটি ভবিষ্যৎ কল্পনা করুন যেখানে AI কর্পোরেট ভল্টে বন্দী থাকে না, বরং উদ্ভাবকদের একটি বিশ্ব সম্প্রদায়ের দ্বারা ইট দিয়ে খোলা জায়গায় নির্মিত হয়। যেখানে সহযোগিতা, প্রতিযোগিতা নয়, জ্বালানি অগ্রগতি, এবং নৈতিক বিবেচনাগুলি কাঁচা কর্মক্ষমতার সাথে সমান ওজন রাখে। এটি বৈজ্ঞানিক কল্পকাহিনী নয়, এটি AI বিকাশের কেন্দ্রস্থলে উন্মুক্ত-উৎস বিপ্লব তৈরি করছে। কিন্তু বিগ টেকের নিজস্ব এজেন্ডা রয়েছে, একটি সত্যিকারের উন্মুক্ত সম্প্রদায়ের সুবিধাগুলি কাটার চেষ্টা করার সময় সীমাবদ্ধ মডেলগুলিকে ওপেন সোর্স হিসাবে মাস্ক করে৷

আসুন কোডের স্তরগুলিকে খোসা ছাড়ি এবং এই প্রচেষ্টাগুলির পিছনের সত্যটি উন্মোচন করি। ওপেন-সোর্স AI-এর ভবিষ্যতের এই অন্বেষণ "প্রেটেন্ডারদের" ব্যবচ্ছেদ করবে এবং AI ডেভেলপমেন্টে "বাস্তবগুলি" কে চ্যাম্পিয়ন করবে উদ্ভাবন ইঞ্জিনকে উন্মোচন করতে যা ওপেন-সোর্স সফ্টওয়্যার সব কিছুর নিচে গুঞ্জন করছে। নীচের লাইন হল যে ওপেন-সোর্স AI একটি ওপেন-সোর্স ডেটা স্ট্যাক তৈরি করবে।

প্রয়োজন

দ্য আটলান্টিকে ম্যাটিও ওংয়ের একটি সাম্প্রতিক নিবন্ধ, ' 'ওপেন' এআই এর মতো এমন জিনিস ছিল না ' সত্যই ওপেন সোর্স এআই-এর জন্য একাডেমিয়া এবং সফ্টওয়্যার সম্প্রদায়ের একটি ক্রমবর্ধমান প্রবণতা বর্ণনা করে। "ধারণাটি হল অপেক্ষাকৃত স্বচ্ছ মডেল তৈরি করা যা জনসাধারণ আরও সহজে এবং সস্তায় ব্যবহার, অধ্যয়ন এবং পুনরুত্পাদন করতে পারে, একটি অত্যন্ত ঘনীভূত প্রযুক্তিকে গণতান্ত্রিক করার চেষ্টা করে যা কাজ, পুলিশ, অবসর এবং এমনকি ধর্মকে রূপান্তরিত করার সম্ভাবনা থাকতে পারে।" একই আটলান্টিক পরামর্শ দেয় যে মেটার মতো বিগ টেক কোম্পানিগুলি তাদের পণ্যগুলি 'ওপেন-ওয়াশিং' করে বাজারে এই চাহিদা পূরণ করার চেষ্টা করছে। তারা ওপেন-সোর্স সম্প্রদায়ের গুণাবলী এবং ইতিবাচক খ্যাতি অনুমান করছে তাদের পণ্যের সত্যই ওপেন-সোর্সিং ছাড়াই। কিন্তু, আসল জিনিসের কোন বিকল্প নেই। এর কারণ হল সত্যিকারের ওপেন-সোর্স সফ্টওয়্যারগুলি উদ্ভাবন এবং সহযোগিতাকে চালিত করে: AI এর সাথে দায়িত্বের সাথে এগিয়ে যাওয়ার জন্য দুটি গুণের প্রয়োজন।

প্রিটেন্ডার

LLaMA 2, মেটা দ্বারা তৈরি একটি বৃহৎ ভাষার মডেল যা গবেষণা এবং বাণিজ্যিক উভয় ব্যবহারের জন্য বিনামূল্যে ব্যবহার করা যায়। LLaMA 2 হল ওপেন সোর্স পরামর্শ দেওয়ার জন্য কয়েকজনকে নেতৃত্ব দিচ্ছে। যাইহোক, মেটা তাদের মডেল ব্যবহারের উপর কিছু কঠোর বিধিনিষেধ প্রয়োগ করেছে। উদাহরণস্বরূপ, LLaMA 2 অন্য কোনো বড় ভাষার মডেল উন্নত করতে ব্যবহার করা যাবে না। একটি অবস্থান যা ঐতিহ্যের বিরুদ্ধে যায় ব্যক্তিগত যৌথ উদ্ভাবন মডেল উন্মুক্ত সফ্টওয়্যার যা সফ্টওয়্যার সম্প্রদায়ের সকলের সুবিধার জন্য উদ্ভাবনের বিনামূল্যে এবং উন্মুক্ত প্রকাশকে প্রচার করে।

700 মিলিয়ন মাসিক ব্যবহারকারী রয়েছে এমন পণ্যগুলির সাথে LLaMA 2 এর একীকরণের অনুমতি না দিয়ে এবং তাদের মডেল কোন ডেটাতে প্রশিক্ষিত হয়েছে বা তারা এটি তৈরি করতে যে কোড ব্যবহার করেছে তা প্রকাশ না করার মাধ্যমে মেটা তাদের মডেলের ব্যবহারকে আরও পঙ্গু করে দিয়েছে। প্রকাশ না করে, মেটা অন্তর্নিহিত পক্ষপাত এবং দুর্ঘটনাজনিত বৈষম্যের প্রশ্নে নিজেকে উন্মুক্ত করছে। বৈষম্যমূলক তথ্যের উপর প্রশিক্ষিত একটি মডেল হবে বৈষম্যমূলক প্রতিক্রিয়া পরিবেশন করা . সফ্টওয়্যার সম্প্রদায় বৃহত্তরভাবে মডেলটি তৈরি করতে ব্যবহৃত কোডটি দেখতে সক্ষম না হলে কোনও সুরক্ষামূলক ব্যবস্থা তৈরি করা হয়েছে কিনা বা এটিকে প্রশিক্ষণ দেওয়ার জন্য ব্যবহৃত ডেটা দেখতে সক্ষম না হলে, আমরা এই নৈতিক প্রশ্নগুলিতে অন্ধকারে রয়েছি। এমন এক সময়ে যখন এআই নিয়ে গবেষণা প্রকাশ করেছে ন্যায়বিচারের চেয়ে কর্মক্ষমতা নিয়ে বেশি উদ্বিগ্ন এবং এই অস্পষ্টতাকে সম্মান করে বিশেষভাবে বিরক্তিকর।

দ্য রিয়েল ওয়ানস

মিস্ট্রাল এআই তার ওপেন-সোর্স বৃহৎ ভাষার মডেলগুলির জন্য স্বীকৃতি অর্জন করেছে, বিশেষ করে মিস্ট্রাল 7বি এবং মিক্সট্রাল 8x7বি। কোম্পানিটি তার AI মডেলগুলিতে বিস্তৃত অ্যাক্সেসযোগ্যতা নিশ্চিত করার চেষ্টা করে, উন্মুক্ত সফ্টওয়্যার সম্প্রদায়ের দ্বারা পর্যালোচনা, পরিবর্তন এবং পুনঃব্যবহারকে উত্সাহিত করে।

ভিএলএলএম "ভেক্টরাইজড লো-ল্যাটেন্সি মডেল সার্ভিং" এর জন্য দাঁড়িয়েছে এবং এটি একটি ওপেন-সোর্স লাইব্রেরি যা বিশেষভাবে বৃহৎ ভাষার মডেলগুলি (LLMs) গতি বাড়ানো এবং অপ্টিমাইজ করার জন্য ডিজাইন করা হয়েছে। এটি একটি শক্তিশালী টুল যা উল্লেখযোগ্যভাবে LLM-এর কর্মক্ষমতা এবং ব্যবহারযোগ্যতা উন্নত করতে পারে। এটি চ্যাটবট এবং ভার্চুয়াল সহকারী থেকে বিষয়বস্তু তৈরি এবং কোড জেনারেশন পর্যন্ত বিভিন্ন ধরনের AI অ্যাপ্লিকেশনে কাজ করা ডেভেলপারদের জন্য এটি একটি মূল্যবান সম্পদ করে তোলে। এত বেশি যে, মিস্ট্রাল 7B এবং 8x7B মডেলের জন্য ইনফারেন্স সার্ভার হিসাবে vLLM ব্যবহার করার পরামর্শ দেয়।

EleutherAI এটি একটি অলাভজনক AI গবেষণা ল্যাব যা GPT-3 নিয়ে আলোচনা করার জন্য একটি ডিসকর্ড সার্ভার থেকে একটি শীর্ষস্থানীয় অলাভজনক গবেষণা সংস্থায় পরিণত হয়েছে৷ গ্রুপটি প্রাকৃতিক ভাষা প্রক্রিয়াকরণে উন্মুক্ত বিজ্ঞানের নিয়মাবলী প্রশিক্ষণ এবং প্রচারের জন্য তার কাজের জন্য পরিচিত। তারা বিভিন্ন ওপেন সোর্স বৃহৎ ভাষার মডেল প্রকাশ করেছে এবং এআই সারিবদ্ধকরণ এবং ব্যাখ্যাযোগ্যতা সম্পর্কিত গবেষণা প্রকল্পের সাথে জড়িত। তাদের এলএম-হারনেস প্রজেক্ট সম্ভবত ভাষা মডেলের জন্য নেতৃস্থানীয় ওপেন সোর্স মূল্যায়ন টুল।

ফি-2 মাইক্রোসফ্টের এলএলএম যা তার ওজনের উপরে খোঁচা দেয়। সিন্থেটিক টেক্সট এবং ফিল্টার করা ওয়েবসাইটগুলির মিশ্রণে প্রশিক্ষিত, এই ছোট, কিন্তু শক্তিশালী মডেলটি প্রশ্ন-উত্তর, সংক্ষিপ্তকরণ এবং অনুবাদের মতো কাজে পারদর্শী। Phi-2 কে সত্যই আলাদা করে তা হল যুক্তি এবং ভাষা বোঝার উপর ফোকাস, যা উন্নত সারিবদ্ধ কৌশল ছাড়াই চিত্তাকর্ষক কর্মক্ষমতার দিকে পরিচালিত করে।

অনেক উপযুক্ত ওপেন-সোর্স এম্বেডিং মডেল সামগ্রিক ওপেন-সোর্স জেনারেটিভ এআই স্পেসকে শক্তিশালী করছে। এগুলি ওপেন সোর্সের জন্য বর্তমান অত্যাধুনিক এবং অন্তর্ভুক্ত UAE-বড়-V1 এবং বহুভাষিক-e5-বৃহৎ .

এই ক্রমবর্ধমান ক্ষেত্রে আরো অনেক আছে. এই সীমিত তালিকা শুধুমাত্র একটি শুরু.

ওপেন সোর্স ড্রাইভ ইনোভেশন

চরম উন্মুক্ত উদ্ভাবনের একটি দর্শনকে গ্রহণ করে, যে কোম্পানিগুলি সত্যিই ওপেন-সোর্স সফ্টওয়্যার ডেভেলপমেন্টে অংশগ্রহণ করে তারা স্বীকৃতি দিয়ে প্রতিযোগিতামূলক সুবিধার ঐতিহ্যগত ধারণাকে চ্যালেঞ্জ করে সমস্ত ভাল কোড বা দুর্দান্ত ধারণাগুলি তাদের সংস্থার মধ্যে থাকে না . এই স্থানান্তর সমর্থন করে যুক্তি ওপেন সোর্স ইকোসিস্টেমের মধ্যে যে উদ্ভাবনগুলি ভাগ করে তা বাজারের দ্রুত বৃদ্ধির দিকে নিয়ে যায়, এমনকি ছোট সফ্টওয়্যার সংস্থাগুলিকে আরও সীমিত R&D তহবিল সরবরাহ করে উপকৃত হওয়ার সুযোগ ওপেন সোর্স সফ্টওয়্যারে উপস্থিত R&D স্পিলোভার থেকে। এর কারণ হল, প্রথাগত আউটসোর্সিংয়ের বিপরীতে, উন্মুক্ত উদ্ভাবন অভ্যন্তরীণ সম্পদ বাড়ায় অভ্যন্তরীণ গবেষণা ও উন্নয়ন প্রচেষ্টা হ্রাস না করে, সম্প্রদায়ের সম্মিলিত বুদ্ধিমত্তার ব্যবহার করে। এর অর্থ হল যে ওপেন-সোর্স সফ্টওয়্যার সংস্থাগুলিকে তাদের সংস্থার বাইরে চিন্তাভাবনা নেতৃত্ব এবং কোড অনুসরণ করার জন্য তাদের বাজেট ত্যাগ করতে হবে না।

উপরন্তু, ওপেন সোর্স সফ্টওয়্যার কোম্পানি কৌশলগতভাবে উদ্ভাবন চালায় কোড তাড়াতাড়ি এবং প্রায়ই মুক্তি , সফ্টওয়্যার সম্প্রদায়ের উদ্ভাবন প্রক্রিয়ার ক্রমবর্ধমান প্রকৃতির স্বীকৃতি। যা কিছু বলার জন্য অনেকেই ইতিমধ্যে চিনতে পেরেছেন: ওপেন সোর্স সফটওয়্যার উদ্ভাবন চালায়।

ওপেন সোর্স ফোস্টার সহযোগিতা

মাধ্যম নেটওয়ার্কিং ওপেন-সোর্স সফ্টওয়্যার সম্প্রদায়ে, উদ্যোক্তারা স্বল্পমেয়াদী এবং দীর্ঘমেয়াদী উভয় লক্ষ্য পূরণ করতে সক্ষম। স্বল্পমেয়াদী লাভের লক্ষ্যগুলি কোম্পানি তৈরি করে এবং দীর্ঘমেয়াদী লাভের লক্ষ্যগুলি তাদের টিকিয়ে রাখে। একই সময়ে, এই নেটওয়ার্কিং প্রচেষ্টা নেটওয়ার্ককে নিজেই স্থায়ী করে তোলে - এটি পরবর্তী উদ্যোক্তার জন্য বৃদ্ধি করে। এটা সুপরিচিত যে ওপেন-সোর্স প্ল্যাটফর্মগুলি সোর্স কোডে অ্যাক্সেস প্রদান করে, যা ডেভেলপারদের আপগ্রেড, প্লাগ-ইন এবং অন্যান্য সফ্টওয়্যার তৈরি করতে এবং তাদের প্রয়োজনীয়তা অনুযায়ী ব্যবহার করতে সক্ষম করে। বৃহত্তর সফ্টওয়্যার সম্প্রদায়ের দ্বারা কুবারনেটসকে ব্যাপকভাবে গ্রহণ করার সাথে এই বিশেষ ধরনের সহযোগিতা একটি গর্জন অনুভব করেছে। এখন আগের চেয়ে অনেক বেশি, আধুনিক প্রযুক্তি খুব কম ঘর্ষণ সহ একসাথে কাজ করে এবং প্রায় যেকোনো জায়গায় মিনিটের মধ্যে একসাথে থাকতে পারে।

বিগ টেক কোম্পানিগুলি ওপেন-সোর্স সম্প্রদায়ের অন্তর্নিহিত এই গভীর সহযোগিতাকে স্বীকার করে যখন তারা অভ্যন্তরীণ সরঞ্জামগুলি বজায় রাখতে এবং বিকাশের জন্য তাদের তৈরি ফ্রেমওয়ার্ক, লাইব্রেরি এবং ভাষাগুলি অবাধে প্রকাশ করে। এটি করা তাদের পণ্যগুলিতে কাজ করতে সক্ষম ডেভেলপারদের পুলকে গভীর করে এবং অনুরূপ প্রযুক্তিগুলি কীভাবে কাজ করা উচিত তার জন্য মান নির্ধারণ করা শুরু করে। সেই একই আটলান্টিক নিবন্ধটি মেটা প্রতিষ্ঠাতা মার্ক জুকারবার্গকে উদ্ধৃত করে বলেছে যে "এটি প্রদান করা আমাদের জন্য অত্যন্ত মূল্যবান কারণ এখন শিল্প জুড়ে সমস্ত সেরা বিকাশকারীরা এমন সরঞ্জামগুলি ব্যবহার করছেন যা আমরা অভ্যন্তরীণভাবেও ব্যবহার করছি"।

ওপেন সোর্স ওপেন সোর্সের জন্ম দেয়

এই কারণগুলি কেন আমরা প্রায়শই ওপেন সোর্স কোম্পানিগুলির মধ্যে সমন্বয় দেখতে পাই। ওপেন-সোর্স AI এবং ML কোম্পানিগুলি স্বাভাবিকভাবেই অন্যান্য ওপেন-সোর্স প্রোডাক্টের সাথে সমাধান ডেভেলপ করবে যেমন ফাউন্ডেশনাল প্রোডাক্ট যেমন অবজেক্ট স্টোরেজ থেকে স্ট্যাক থেকে ভিজ্যুয়ালাইজেশন টুল পর্যন্ত। যখন একটি ওপেন সোর্স কোম্পানি এগিয়ে যায়, আমরা সবাই তা করি। এই একত্রিত এবং মিশ্রিত পদ্ধতি সম্ভবত AI বিকাশের জন্য আমাদের সেরা বাজি যা একটি মানব-কেন্দ্রিক পদ্ধতি গ্রহণ করে। বাজারে অন্তর্নিহিত এই প্রাকৃতিক শক্তিগুলি ওপেন সোর্স এআই-এর প্রয়োজন এবং উদ্ভাবন এবং সহযোগিতার ওপেন সোর্স সফ্টওয়্যারের গুণাবলীর সাথে মিলিত হয়ে AI ডেটা স্ট্যাক ওপেন সোর্সকে চালিত করবে।

যোগদান করুন এবং আমাদের ইমেল করে এই কথোপকথন এবং আমাদের সম্প্রদায়ে অবদান রাখুন [email protected] অথবা আমাদের স্ল্যাক চ্যানেলে একটি বার্তা পাঠান।