paint-brush
মালিকানা এবং ওপেন সোর্স এআই এর মধ্যে যুদ্ধদ্বারা@juanfrank77
2,478 পড়া
2,478 পড়া

মালিকানা এবং ওপেন সোর্স এআই এর মধ্যে যুদ্ধ

দ্বারা Juan F. Gonzalez7m2023/11/03
Read on Terminal Reader

অতিদীর্ঘ; পড়তে

গত কয়েক দশক ধরে বৈজ্ঞানিক অগ্রগতি কীভাবে বিকশিত হয়েছে তা দেখুন। আমাদের সময়ের সেরা কিছু আবিষ্কারের অনুঘটক হিসাবে ওপেন সোর্স সফ্টওয়্যার সম্পর্কে কথা বলা। মালিকানাধীন AI সফ্টওয়্যারের বর্তমান অগ্রগতি এবং ওপেন-সোর্স সম্প্রদায় AI এবং ML-এ যে দুর্দান্ত অগ্রগতি অর্জন করেছে তার একটি ওভারভিউ সহ। শেষ অবধি, উভয় পদ্ধতির সুবিধা এবং অসুবিধাগুলি দেখে ভবিষ্যতের দিকে নজর দেওয়া হয়েছে।
featured image - মালিকানা এবং ওপেন সোর্স এআই এর মধ্যে যুদ্ধ
Juan F. Gonzalez HackerNoon profile picture
0-item


বন্ধুরা, AI বিশ্ব দখল করছে!


ওয়েল, সম্ভবত এটি এখনও পুরোপুরি সেখানে নেই. কিন্তু তবুও, আপনি গত 12 মাসে এর প্রভাবের মাত্রা অস্বীকার করতে পারবেন না।


এর অদ্ভুত অংশ হল যে " কৃত্রিম বুদ্ধিমত্তা " একটি ধারণা হিসাবে এবং অধ্যয়নের ক্ষেত্র হিসাবে এটি নতুন নয়, তবে এটি এই বছর আসা সমস্ত চ্যাটবট এবং এআই-চালিত সরঞ্জামগুলির সাথে "নতুন" অনুভব করে।


তার চেয়েও গুরুত্বপূর্ণ হল যে গত বছরের এই সময়ের মধ্যে, একমাত্র ব্যাপকভাবে পরিচিত AI টুল ছিল GPT-3 এবং তারপর ChatGPT। কিন্তু এখন, উপলব্ধ সমস্ত বিভিন্ন এআই টুল, চ্যাটবট এবং এলএলএম ট্র্যাক করা আপনার কঠিন সময় হতে পারে।


যার সবকটি 2টি বিভাগে পড়ে:


ক্লোজড সোর্স (যেমন ChatGPT এবং Claude)


ওপেন সোর্স (যেমন ফ্যালকন বা মিস্ট্রাল)


এবং এখানে এটা আকর্ষণীয় পায় যেখানে.


মালিকানাধীন AI মডেলগুলি যতটা জনপ্রিয় এবং অত্যন্ত পালিশ হতে পারে, সেখানে ওপেন সোর্স মডেলগুলি এআই স্পেসে তরঙ্গ তৈরি করে এবং তাদের ওজন শ্রেণীর উপরে পাঞ্চ করে।


যে আমরা এই নিবন্ধে খুঁজছেন হবে কি. প্রযুক্তির সাথে AI এর মতো বিপ্লবী, মালিকানা, ব্ল্যাক-বক্সের মতো, সফ্টওয়্যার উপায়, নাকি ওপেন সোর্স একটি ভাল বিকল্প?


এই এবং অন্যান্য প্রশ্নের উত্তর দেওয়া হবে আজকের পর্বে।


খোলা বা বন্ধ? ঐটাই প্রশ্ন

শুরু করার জন্য, পুরো বৈজ্ঞানিক প্রক্রিয়াটি সততা, সততা এবং স্বচ্ছতার নীতির উপর নির্মিত হয়েছে। ফলাফলগুলিকে যাচাই করার জন্য এতে খোলামেলাতা, সহযোগিতা এবং সহকর্মী পর্যালোচনা জড়িত।


বিশ্বের অনেক বড় বৈজ্ঞানিক অগ্রগতি, যেমন পাস্তুরাইজেশন, পেনিসিলিন এবং সার, বহু বছর ধরে অনেক বিজ্ঞানীর সহযোগিতামূলক কাজের জন্য সম্ভব হয়েছে।


প্রায়শই, তারা একটি বড় সমস্যা মোকাবেলা করে যেখানে তাদের সেই সময়ে সম্পদের অভাব ছিল। তারা তাদের অনুসন্ধানগুলি প্রকাশ করেছিল এবং বহু বছর পরে বিজ্ঞানীরা এটিকে মানবজাতির সুবিধার জন্য মূল সমস্যার সমাধানের ভিত্তি হিসাবে ব্যবহার করেছিলেন।


এবং এটি ওপেন সোর্স প্রযুক্তির ক্ষেত্রেও প্রযোজ্য। পৃথিবী পরিবর্তিত হয়েছিল যখন কম্পিউটারগুলি বিশাল যন্ত্রে পরিণত হয়েছিল যা পুরো ঘরগুলি দখল করে এমন ডিভাইসে পরিণত হয়েছিল যা প্রতিটি বাড়িতে থাকতে পারে৷


এবং এর পরে ইন্টারনেট এসেছিল যা সুবিধাপ্রাপ্ত কয়েকজনের পরিবর্তে অনেক লোককে প্রযুক্তিতে অ্যাক্সেসের অনুমতি দেওয়ার ক্ষেত্রে আরও একটি পদক্ষেপ ছিল।


টিম বার্নার্স-লি 1989 সালে ওয়ার্ল্ড ওয়াইড ওয়েব আবিষ্কার করেন এবং এটিকে কোনো পেটেন্ট বা রয়্যালটি ছাড়াই সকলের জন্য বিনামূল্যে উপলব্ধ করেন। এটি ইন্টারনেটের দ্রুত বৃদ্ধি এবং পরবর্তী দশকে আসা অনেক উদ্ভাবনকে ত্বরান্বিত করেছে।


অনুরূপ গল্প অপারেটিং সিস্টেমের সাথে ঘটে, উইন্ডোজ বনাম লিনাক্স মনে করুন। এবং ওয়েব প্রযুক্তির ক্ষেত্রেও তাই ঘটেছে।


এই সমস্ত পূর্ববর্তী উদাহরণগুলির সাথে, এটি যুক্তিযুক্ত যে AI এর মতো রূপান্তরকারী প্রযুক্তি একই পথ অনুসরণ করতে পারে (বা উচিত)।


সুতরাং, এই বছর উভয় পক্ষই (ক্লোজড এবং ওপেন সোর্স এআই) কীভাবে অগ্রসর হয়েছে তা দেখা যাক।


মালিকানা AI রাষ্ট্র

এখন পর্যন্ত, গত নভেম্বরে ChatGPT রিলিজ করার সময় যে প্রভাব ফেলেছিল তা কারো জন্যই কোন খবর নয়। এবং বছরের বাকি সময়, মালিকানাধীন এআই টক অফ দ্য টাউন হয়ে ওঠে।


2023 সালের মার্চ মাসে, GPT-3-এর উত্তরসূরি, GPT-4 মুক্তি পায়। সেই ইভেন্টটি এআই রেসকে ছড়িয়ে দিয়েছে।


শীঘ্রই, Google বার্ডের সাথে লড়াইয়ে যোগ দেয়। তারপরে আসে অ্যানথ্রপিক, প্রাক্তন OpenAI গবেষকদের দ্বারা প্রতিষ্ঠিত, জনপ্রিয় ChatGPT-এর প্রতিযোগী ক্লাউডকে মুক্তি দেয়।


ওপেনএআই এখন পর্যন্ত বাজারে সবচেয়ে বেশি "হিট" কোম্পানি।


সেগুলি হল GPT মডেল, বিভিন্ন ডাল-ই সংস্করণ এবং হুইস্পার৷ মাইক্রোসফ্ট তার নতুন এবং উন্নত বিং চ্যাট (যা ওপেনএআই-এর প্রযুক্তির উপর ভিত্তি করে) এবং শীঘ্রই-অন্তর্ভুক্ত-সর্বত্র কপিলট নিয়ে সেখানে রয়েছে।


Google প্রথম দিকের গবেষণা প্রকল্প Bard-এর সাথে প্রতিযোগিতায় যোগ দেয় যা প্রথমে সবাইকে অভিভূত করেছিল এবং মাইক্রোসফ্ট এবং এর উদ্যোগগুলির প্রতি আমাদের আরও মনোযোগ দিতে বাধ্য করেছিল৷ কিন্তু সেই "সায়েন্স ফেয়ার" প্রকল্পের পরে, Google তার গেমটি বাড়ায় এবং Vertex AI, PaLM (এবং PaLM2), Imagen এবং Codey-এর মতো অফারগুলি প্রকাশ করে৷


এবং তারপরে এর শক্তিশালী ক্লডের বিভিন্ন সংস্করণ সহ নৃতাত্ত্বিক রয়েছে (ক্লাউড-ইনস্ট্যান্ট, ক্লড 2)। আকর্ষণীয় অংশ হল তারা ক্লডকে প্রশিক্ষণ দেওয়ার জন্য যে পদ্ধতি ব্যবহার করেছে, যাকে তারা "সাংবিধানিক এআই" বলে। এই পদ্ধতিটি নিরাপত্তাকে সর্বাগ্রে রাখে এবং AI তৈরি করতে সাহায্য করে যা মানুষের স্বার্থ এবং মূল্যবোধের সাথে সামঞ্জস্যপূর্ণ।


এগুলি হল এআই ক্ষেত্রের দুর্দান্ত অগ্রগতি যা আরও ব্যাপকভাবে পরিচিত ধন্যবাদ যেগুলি অনেকগুলি কর্মচারী, ব্যাপক সংস্থান এবং দুর্দান্ত বিপণন বিভাগ রয়েছে এমন সংস্থাগুলির দ্বারা বিকাশ করা হয়েছে৷


এখন, মুদ্রার অন্য দিকে তাকান।


দ্য স্টেট অফ ওপেন সোর্স এআই

GPT-4 প্রকাশের পর থেকে, শুধুমাত্র টেক জায়ান্টরাই এআই রেসে অংশ নিতে ঝাঁপিয়ে পড়েনি, অন্যান্য স্বাধীন প্রকল্পও আবির্ভূত হয়েছে। TensorFlow এবং PyTorch এর মত ওপেন সোর্স ML ফ্রেমওয়ার্ক দ্বারা সম্ভব হয়েছে।


স্ট্যাবিলিটি এআই স্ট্যাবল ডিফিউশন প্রকাশ করেছে, ডাল-ই-এর বিকল্প, এবং অনেক প্রযুক্তি উত্সাহীরা এর ক্ষমতা নিয়ে ব্যাপকভাবে পরীক্ষা-নিরীক্ষা করেছে যে এটি শিল্প এবং সৃজনশীলতার প্রকৃতি সম্পর্কিত নৈতিক উদ্বেগকে সামনে এনেছে।


মেটা LLaMA নামে একটি আধা-ওপেন বৃহৎ ভাষার মডেল প্রকাশের ঘোষণা করেছে (বেশ কয়েকটি মডেলের আকার এবং তারপরে একটি দ্বিতীয় সংস্করণ সহ)।


হাগিং ফেস পরিষেবাগুলির সাথে সেই মডেলটি (যেমন গ্র্যাডিও, স্পেসস, ট্রান্সফরমার) একটি বিপ্লবের জন্ম দিয়েছে কারণ প্রথমবারের মতো, সারা বিশ্ব জুড়ে মানুষের কাছে ওপেন-সোর্স প্রযুক্তির অ্যাক্সেস ছিল যা ChatGPT বা PaLM-এর পছন্দের সাথে প্রতিদ্বন্দ্বিতা করে।


এবং আপনি কি জানেন যখন একদল প্রযুক্তিবিদ, হ্যাকার এবং প্রযুক্তি উত্সাহীদের পর্যাপ্ত সময় এবং সংস্থান থাকে? হ্যাঁ, তারা বিল্ডিং স্টাফ পাগল হতে পারে.


ইন্টারনেটের আবির্ভাবের সাথে 90-এর দশকের নিচ ইন্টারনেট ফোরাম এবং IRC চ্যানেলগুলিকে প্রতিস্থাপিত করা হয়েছে Hugging Face আলোচনা, GitHub সমস্যা এবং ডিসকর্ড সার্ভার দ্বারা।


অন্য কিছু যা ওপেন সোর্স বৃদ্ধিতে অবদান রেখেছিল তা হল EleutherAI থেকে পাইল ডেটাসেট। এই উদ্যোগটি তত্ত্বাবধানহীন এবং স্ব-তত্ত্বাবধানে শিক্ষার অগ্রগতিতে সাহায্য করেছে, বড় লেবেলযুক্ত ডেটাসেটের প্রয়োজনীয়তা হ্রাস করেছে।



বৃহৎ ভাষার মডেল, তাদের প্রশিক্ষণ/সুন্দর করার জন্য ডেটাসেট, এবং কম্পিউটিং-এর জন্য প্রয়োজনীয় প্রয়োজনীয়তা কমে যাওয়ায়, শীঘ্রই পণ্য ও পরিষেবাগুলির একটি সম্পূর্ণ ইকোসিস্টেম আবির্ভূত হয়।


(যখন আমি কম্পিউটিং-এর জন্য প্রয়োজনীয়তা হ্রাসের কথা বলি, তখন আমি বলতে চাচ্ছি যে মালিকানাধীন মডেলগুলির দ্বারা উত্পন্ন ফলাফলের গুণমান তৈরি করতে LLMগুলির এক টন প্যারামিটারের প্রয়োজন হয় না, এটি LLaMA 13B এবং Mistral 7B এর মতো মডেলগুলি দ্বারা দেখানো হয়)


এই স্পেসে প্রচুর প্রজেক্ট, প্রাক-প্রশিক্ষিত এবং সূক্ষ্ম-টিউনড মডেল, ডেটাসেট এবং টুল রয়েছে যারা অন্যদের সাথে যোগ দিতে এবং সহযোগিতা করতে চায় তাদের জন্য উপলব্ধ।


আমাদের কাছে এখন বিভিন্ন ধরনের চ্যাটবট রয়েছে যেগুলি Zephyr-chat, LLaMA2-chat, Mistral-instruct এবং Falcon-chat এর মতো কাজ করার জন্য GPT-3/GPT-4-এর উপর নির্ভর করে না।


কোড জেনারেশন এবং Code-LLaMA , CodeGen , এবং StarCoder- এর মতো সহায়তার জন্য এলএলএমগুলি সূক্ষ্মভাবে তৈরি।


ব্লুম নামে একটি ওপেন-অ্যাক্সেস বহুভাষিক ভাষার মডেল।


মাল্টিমোডাল এলএলএম (যা শুধু পাঠ্য নয়) যেমন LLaVA এবং Fuyu


একটি আলিঙ্গন মুখের লিডারবোর্ড যা সমস্ত বিদ্যমান ওপেন-সোর্স মডেলকে মূল্যায়ন করে এবং র‌্যাঙ্ক করে।


RedPajama বা OpenOrca এর মতো প্রাক-প্রশিক্ষণ এবং সূক্ষ্ম-টিউনিং এলএলএম-এর জন্য বেশ কয়েকটি ডেটাসেট।


এবং অতি সম্প্রতি আমাদের কাছে "AI এজেন্ট" নামে আরও স্বায়ত্তশাসিত মডেল রয়েছে।


সর্বাধিক জনপ্রিয়গুলি GPT-3.5 দ্বারা চালিত তবে LLaMA এর উপর ভিত্তি করে অন্যগুলি রয়েছে৷


এবং মনে হচ্ছে আমরা এমন এজেন্ট তৈরির জন্য দৌড়াচ্ছি যেগুলি লুপে আটকে যায় না বা একগুচ্ছ পাঠ্য না দিয়ে স্বাধীনভাবে কাজগুলি শেষ করতে পারে যা বিশ্বাসযোগ্য দেখায় তবে এটি হয় ভুল বা সাধারণ ভুল।


একা গত 6 মাসে প্রচুর অগ্রগতি হয়েছে এবং আপনি নিশ্চিত হতে পারেন যে কোনও একটি ফ্রন্ট ধীর হওয়ার লক্ষণ দেখাচ্ছে না।

এগিয়ে যাচ্ছে

এমনকি বিগত বছরে আমরা যে সমস্ত মাথা ঘোরানো, দ্রুত গতির অগ্রগতি দেখেছি, আমরা এখনও AI এর বিকাশের প্রথম দিকে আছি। বেশ কিছু বিষয় আছে যা আমাদের বের করতে হবে, বিভিন্ন দিক বিবেচনা করতে হবে যেমন AI গোপনীয়তা, নীতিশাস্ত্র, অন্তর্নির্মিত পক্ষপাতিত্ব ইত্যাদি।


জীবনের সবকিছুর মতো, কোন একটি দিক সম্পূর্ণ ভুল এবং অন্যটি সঠিক নয়। মালিকানা এবং ওপেন সোর্স এআই উভয়েরই তাদের সুবিধা এবং অসুবিধা রয়েছে।


মালিকানা AI নতুন এবং আরও শক্তিশালী মডেলগুলিকে প্রশিক্ষণের জন্য প্রচুর পরিমাণে সংস্থানগুলি ব্যবহার করতে পারে, যখন একটি বিস্তৃত স্কেলে লোকেদের অ্যাক্সেস প্রদান করে। কিন্তু তারা একটি ব্ল্যাক বক্সের মতো কাজ করে, পর্যবেক্ষণযোগ্যতার অভাব রয়েছে এবং তাদের আগ্রহগুলি নিয়মিত ভোক্তার চেয়ে অর্থের সাথে বড় খেলোয়াড়দের সাথে বেশি সংযুক্ত হতে পারে।


অন্যদিকে, ওপেন-সোর্স AI বিশ্বব্যাপী সহযোগিতা, স্বচ্ছতা এবং উন্মুক্ত উদ্ভাবন থেকে উপকৃত হয়। কিন্তু এতে সংগঠনের অভাব, আরও উচ্চাভিলাষী উদ্যোগের জন্য সংস্থান নেই এবং কঠোর প্রবিধান প্রতিষ্ঠিত হলে ঝুঁকির মধ্যে রয়েছে।


এখন প্রশ্ন হল আমরা কীভাবে এআই-এর অগ্রগতি একটি হাইব্রিড পদ্ধতিতে চালিয়ে যেতে পারি।


একটি উপায় যেখানে আমরা মহাকাশের কিছু উজ্জ্বল মনের সাথে এবং প্রয়োজনীয় সংস্থানগুলির সাথে এই উদ্ভাবনটিকে একটি দায়িত্বশীল পদ্ধতিতে এগিয়ে নিয়ে যাওয়ার জন্য যৌথভাবে সহযোগিতা করতে পারি যা নিরাপত্তা এবং গোপনীয়তাকে সামনে রাখে।


এমন একটি উপায় যেখানে কয়েকজনের স্বার্থ এবং সুবিধা আমাদের বাকিদেরকে তুচ্ছ করে না। একটি উপায় যেখানে AI এর মতো বিপ্লবী প্রযুক্তি বৃহত্তর শক্তির "শত্রু" হিসাবে বিবেচিত ব্যক্তিদের দলগুলির বিরুদ্ধে বেসরকারীকরণ, সীমাবদ্ধ বা অস্ত্র তৈরি করা হয় না।


আমরা ইতিহাসের একটি অনন্য মুহুর্তে আছি যেখানে আমরা যে সিদ্ধান্তগুলি নিই এবং আমরা যেভাবে প্রযুক্তি পরিচালনা করি তা নির্ধারণ করবে ভবিষ্যতে কীভাবে রূপ নেবে, ভাল বা খারাপের জন্য।


পড়ার জন্য ধন্যবাদ.


ভুলে যাবেন না হ্যাকারনুন সাবস্ক্রাইব করুন এবং আসন্ন নিবন্ধগুলি মিস করবেন না।