paint-brush
ক্র্যাপি স্বয়ংসম্পূর্ণ থেকে চ্যাটজিপিটি পর্যন্ত: ভাষার মডেলগুলির বিবর্তনদ্বারা@rosdem
1,240 পড়া
1,240 পড়া

ক্র্যাপি স্বয়ংসম্পূর্ণ থেকে চ্যাটজিপিটি পর্যন্ত: ভাষার মডেলগুলির বিবর্তন

দ্বারা Rostyslav Demush9m2023/03/14
Read on Terminal Reader
Read this story w/o Javascript

অতিদীর্ঘ; পড়তে

ভাষার মডেল নতুন নয়। আমরা সেগুলি আমাদের ফোনে বছরের পর বছর ধরে রেখেছি, স্বয়ংসম্পূর্ণ করে। তারা পরবর্তী সম্ভাব্য শব্দ বা প্রতীক নির্ধারণ করতে প্রশিক্ষিত হয়। তবে, ভাষা অনুবাদ এবং প্রশ্ন-উত্তর দেওয়ার মতো অন্যান্য কাজের জন্যও তারা সূক্ষ্মভাবে তৈরি হতে পারে।
featured image - ক্র্যাপি স্বয়ংসম্পূর্ণ থেকে চ্যাটজিপিটি পর্যন্ত: ভাষার মডেলগুলির বিবর্তন
Rostyslav Demush HackerNoon profile picture


বর্তমান হাইপ সত্ত্বেও, ভাষার মডেলগুলি নতুন নয়। আমরা সেগুলি আমাদের ফোনে বছরের পর বছর ধরে রেখেছি, স্বয়ংসম্পূর্ণ করছেন৷ এবং, যদিও তারা আমাদের বানানে কয়েক সেকেন্ড বাঁচাতে পারে, কেউ তাদের "স্মার্ট" বা " সংবেদনশীল " বলে ডাকবে না।


টেকনিক্যালি, সমস্ত ভাষা মডেল টোকেনগুলির সম্ভাব্যতা বিতরণ। তাদের পরবর্তী সম্ভাব্য শব্দ বা চিহ্ন নির্ধারণ করার জন্য প্রশিক্ষিত করা হয়, যেটি টোকেনাইজ করা হয়েছিল, পূর্ববর্তীগুলি দেওয়া হয়েছিল। তবে, ভাষা অনুবাদ এবং প্রশ্ন-উত্তর দেওয়ার মতো অন্যান্য কাজের জন্যও এগুলি সূক্ষ্মভাবে তৈরি করা যেতে পারে।

ভাষা প্রজন্ম কি?

ল্যাঙ্গুয়েজ জেনারেশন হল একটি অ্যালগরিদমকে একটি এলোমেলো শব্দ দেওয়ার প্রক্রিয়া যাতে এটি প্রশিক্ষণের ডেটা থেকে শিখে নেওয়া সম্ভাব্যতার উপর ভিত্তি করে পরবর্তীটি তৈরি করতে পারে এবং তারপরে এটিকে ক্রমাগত নিজের আউটপুট খাওয়াতে পারে। উদাহরণস্বরূপ, যদি মডেলটি "আমি" দেখে, আমরা আশা করি এটি "am" তৈরি করবে, তারপরে "ভাল" এবং আরও অনেক কিছু।


অর্থপূর্ণ বাক্য তৈরি করার ক্ষমতা তার রেফারেন্স উইন্ডোর আকারের উপর নির্ভর করে। পুরানো মৌলিক মডেলগুলি, যেমন আমাদের ফোনে পাওয়া যায়, শুধুমাত্র একটি বা দুটি শব্দ পিছনে দেখতে পারে, যার কারণে তারা মায়োপিক এবং মাঝখানে পৌঁছানোর সময় একটি বাক্যের শুরু ভুলে যায়।

আরএনএন থেকে ট্রান্সফরমার পর্যন্ত

ট্রান্সফরমারের আগে, গবেষকরা সংক্ষিপ্ত মেমরির সমস্যা সমাধানের জন্য রিকারেন্ট নিউরাল নেট (আরএনএন) ব্যবহার করেছিলেন। খুব বেশি বিশদে না গিয়ে, আমরা বলতে পারি যে তাদের কৌশলটি ইনপুট বাক্যে সমস্ত নোড সম্পর্কে তথ্য সম্বলিত একটি লুকানো রাষ্ট্র ভেক্টর তৈরি করা এবং প্রতিটি নতুন টোকেন চালু করার সাথে আপডেট করা।


যদিও ধারণাটি অবশ্যই চতুর ছিল, লুকানো অবস্থা সর্বদা সাম্প্রতিক ইনপুটগুলির প্রতি প্রবলভাবে পক্ষপাতদুষ্ট ছিল। অতএব, মৌলিক অ্যালগরিদমের মতো, RNNগুলি এখনও বাক্যটির শুরু ভুলে যাওয়ার প্রবণতা রাখে, যদিও প্রায় ততটা দ্রুত নয়।


পরবর্তীতে, লং শর্ট-টার্ম মেমরি (LSTM) এবং Gated Recurrent Unit (GRU) নেটওয়ার্ক চালু করা হয়। ভ্যানিলা আরএনএন-এর বিপরীতে, তাদের অন্তর্নির্মিত ব্যবস্থা (গেট) ছিল যা প্রাসঙ্গিক ইনপুটগুলির স্মৃতি ধরে রাখতে সাহায্য করে, এমনকি যদি তারা উৎপাদিত আউটপুট থেকে দূরে ছিল। কিন্তু, এই নেটওয়ার্কগুলি এখনও প্রকৃতির ক্রমিক ছিল এবং খুব জটিল আর্কিটেকচার ছিল। তারা অদক্ষ এবং সমান্তরাল গণনা নিষিদ্ধ ছিল, তাই বিদ্যুত-দ্রুত কর্মক্ষমতা পাওয়ার জন্য একাধিক কম্পিউটারে একই সাথে চালানোর কোন সুযোগ ছিল না।


2017 সালে, ট্রান্সফরমারগুলি প্রথম Google দ্বারা এই কাগজে বর্ণনা করা হয়েছিল। এলএসটিএম এবং জিআরইউ-এর বিপরীতে, একটি নির্দিষ্ট পর্যায়ে প্রক্রিয়াকরণের জন্য প্রাসঙ্গিক অংশগুলিকে সক্রিয়ভাবে বেছে নেওয়ার এবং একটি অনুমান করার সময় তাদের উল্লেখ করার ক্ষমতা তাদের ছিল। তারা দ্রুত, আরও দক্ষ এবং মনোযোগের নীতির উপর ভিত্তি করে একটি সহজ স্থাপত্য ছিল।


এটা মজার যে আপনি যদি এখন কাজটি পড়েন তবে এটি মেশিন অনুবাদে একটি রান-অফ-দ্য-মিল পেপারের মতো শোনাচ্ছে, যার মধ্যে সেই সময়ে প্রচুর পরিমাণে ছিল। লেখকরা সম্ভবত বুঝতে পারেননি যে তারা এআই ইতিহাসের অন্যতম গুরুত্বপূর্ণ স্থাপত্য আবিষ্কার করতে পারে।

মনোযোগ

মেশিন লার্নিং এর প্রেক্ষাপটে, মনোযোগ বলতে প্রতিটি টোকেনের জন্য নির্ধারিত ভেক্টরকে বোঝায় যা একটি ক্রমানুসারে এর অবস্থান এবং অন্যান্য ইনপুট উপাদানের তুলনায় এর গুরুত্ব সম্পর্কে তথ্য ধারণ করে। সিরিয়াল প্রক্রিয়াকরণের প্রয়োজন ছাড়াই ভবিষ্যদ্বাণী করার সময় মডেলটি তাদের ব্যবহার করতে পারে। আসুন এটিকে কিছুটা ভেঙে ফেলি যাতে এটি আরও পরিষ্কার হয়।


ট্রান্সফরমারের আগে, সিকোয়েন্স-টু-সিকোয়েন্স প্রক্রিয়াকরণের প্রথাগত পদ্ধতি, যেমন নিউরাল ল্যাঙ্গুয়েজ ট্রান্সলেশন, একটি আরএনএন ব্যবহার করে সমস্ত ইনপুটকে একটি একক লুকানো অবস্থায় এনকোড করা এবং তারপর অন্য আরএনএন ব্যবহার করে লক্ষ্য ক্রমকে ডিকোড করা। এনকোডিং প্রান্তে যা গুরুত্বপূর্ণ তা ছিল চূড়ান্ত অবস্থা।


2014 সালে, Bahdanau et al. ডিকোডার নেটওয়ার্কে সমস্ত লুকানো অবস্থা উপলব্ধ করার উজ্জ্বল ধারণা প্রস্তাব করেছে এবং বর্তমান আউটপুট তৈরির জন্য তাদের মধ্যে কোনটি সবচেয়ে গুরুত্বপূর্ণ তা নির্ধারণ করার অনুমতি দিয়েছে। নেটওয়ার্কটি প্রাসঙ্গিক অংশগুলিতে মনোযোগ দিয়েছে এবং বাকিগুলি উপেক্ষা করেছে।


চার বছর পরে, গুগলের কাগজ প্রকাশিত হয়েছিল। এই সময়, লেখকরা RNN গুলিকে সম্পূর্ণরূপে ডিচ করার পরামর্শ দিয়েছেন এবং শুধুমাত্র এনকোডিং এবং ডিকোডিং উভয় পর্যায়েই মনোযোগ ব্যবহার করেছেন। এটি করার জন্য, তাদের মূল মনোযোগের পদ্ধতিতে কিছু পরিবর্তন করতে হয়েছিল, যা স্ব-মনোযোগের বিকাশের দিকে পরিচালিত করেছিল।

স্ব-মনোযোগ

একটি একক ক্রমানুসারে নোডগুলির মধ্যে একটি যোগাযোগ ব্যবস্থা হিসাবে স্ব-মনোযোগের কথা ভাবা সম্ভবত সবচেয়ে সহজ। এটি যেভাবে কাজ করে তা হল যে সমস্ত ইনপুট টোকেনকে তিনটি ভেক্টর বরাদ্দ করা হয় - Query (Q), কী (K), এবং মান (V) - যা তাদের প্রাথমিক এম্বেডিংয়ের বিভিন্ন দিক উপস্থাপন করে।


  • কোয়েরি ভেক্টর (Q) নির্দেশ করে যে ইনপুটটি কী খুঁজছে। আপনি YouTube অনুসন্ধান বারে যে বাক্যাংশগুলি টাইপ করেন সেগুলিকে সেগুলি মনে করুন৷

  • কী ভেক্টর (K) ইনপুটের জন্য শনাক্তকারী হিসাবে কাজ করে, এটিকে তার প্রশ্নের জন্য মিলগুলি সনাক্ত করতে সহায়তা করে। এগুলি প্রাসঙ্গিক শিরোনাম সহ ইউটিউব অনুসন্ধান ফলাফলের মতো।

  • মান ভেক্টর (V) প্রতিটি টোকেনের প্রকৃত বিষয়বস্তুর প্রতিনিধিত্ব করে এবং মডেলটিকে প্রশ্নের সাথে সম্পর্কিত একটি প্রাসঙ্গিক নোডের গুরুত্ব নির্ধারণ করতে এবং আউটপুট তৈরি করার অনুমতি দেয়। এগুলিকে থাম্বনেইল এবং ভিডিও বিবরণ হিসাবে ভাবা যেতে পারে যা আপনাকে অনুসন্ধান ফলাফল থেকে কোন ভিডিওতে ক্লিক করতে হবে তা নির্ধারণ করতে সহায়তা করে৷


দ্রষ্টব্য: স্ব-মনোযোগে, সমস্ত Qs, Ks, এবং Vs একই ক্রম থেকে আসে, যেখানে ক্রস-অ্যাটেনশনে তারা নয়।


স্ব-মনোযোগের সূত্রটি এইরকম দেখায়: Attention(Q,K,V) = softmax((QK^T) / sqrt(d_k)V। এবং এখানে সংক্ষেপে পদ্ধতিটি দেওয়া হল:


  1. সংশ্লিষ্ট ম্যাট্রিক্স তৈরি করতে প্রশ্ন, কী এবং মানগুলিতে তিনটি রৈখিক রূপান্তর প্রয়োগ করা হয় - Q, K, V।
  2. Qs এবং Ks এর ডট পণ্য গণনা করা হয়; তারা আমাদের বলে যে সমস্ত প্রশ্নগুলি সমস্ত কীগুলির সাথে কতটা মেলে৷
  3. ফলস্বরূপ ম্যাট্রিক্সকে d_k কীগুলির মাত্রার বর্গমূল দ্বারা ভাগ করা হয়। এটি একটি ডাউনস্কেলিং পদ্ধতি যা আরও স্থিতিশীল গ্রেডিয়েন্স অর্জনের জন্য প্রয়োজন (গুণ করার মান অন্যথায় একটি বিস্ফোরিত প্রভাব থাকতে পারে)।
  4. সফটম্যাক্স ফাংশনটি স্কেল করা স্কোরে প্রয়োগ করা হয় এবং এইভাবে মনোযোগ ওজন প্রাপ্ত হয়। এই গণনা আমাদের 0 থেকে 1 পর্যন্ত মান দেয়।
  5. প্রতিটি ইনপুটের জন্য মনোযোগের ওজন তাদের মান ভেক্টর দ্বারা গুণিত হয় এবং আউটপুটগুলি গণনা করা হয়।
  6. আউটপুটগুলি আরও একটি রৈখিক রূপান্তরের মাধ্যমে পাস করা হয়, যা মডেলের বাকি অংশে স্ব-মনোযোগ থেকে ডেটা অন্তর্ভুক্ত করতে সহায়তা করে।


জিপিটি পরিবার

ট্রান্সফরমারগুলি প্রাথমিকভাবে এনকোডিং সিকোয়েন্সের জন্য RNN-এর একটি সহজ বিকল্প হিসাবে উদ্ভাবিত হয়েছিল, কিন্তু গত পাঁচ বছরে, এগুলি কম্পিউটার দৃষ্টি সহ AI গবেষণার বিভিন্ন ক্ষেত্রে প্রয়োগ করা হয়েছে এবং প্রায়শই অত্যাধুনিক মডেলগুলিকে ছাড়িয়ে গেছে।


যদিও 2018 সালে, আমরা জানতাম না যে তারা কতটা শক্তিশালী হতে পারে যদি তারা বড় করা হয় (লক্ষ লক্ষ প্যারামিটার সহ), যথেষ্ট কম্পিউটিং শক্তি দেওয়া হয় এবং ওয়েব থেকে বিশাল, বৈচিত্র্যময় এবং লেবেলবিহীন টেক্সট কর্পোরার উপর প্রশিক্ষণ দেওয়া হয়।


তাদের ক্ষমতার প্রথম আভাস ওপেনএআই দ্বারা তৈরি জেনারেটিভ প্রি-ট্রেনড ট্রান্সফরমার (GPT) তে দেখা গিয়েছিল, যার 117 মিলিয়ন প্যারামিটার ছিল এবং লেবেলবিহীন ডেটাতে প্রাক-প্রশিক্ষিত ছিল। এটি 12টি এনএলপি কাজের মধ্যে 9টিতে বৈষম্যমূলকভাবে প্রশিক্ষিত মডেলকে ছাড়িয়ে গেছে, যদিও এই অ্যালগরিদমগুলি বিশেষভাবে কাজের জন্য প্রশিক্ষিত ছিল এবং GPT ছিল না।


তারপরে আসে GPT-2 মডেল (1.5 বিলিয়ন প্যারামিটারের বৃহত্তম একটি), যা অন্যান্য অনেক ট্রান্সফরমার দ্বারা অনুসরণ করা হয়েছিল। এবং 2020 সালে, OpenAI অবশেষে GPT-3 প্রকাশ করেছে; এর সবচেয়ে বড় সংস্করণে 175 বিলিয়ন প্যারামিটার ছিল এবং এর আর্কিটেকচার বেশিরভাগ GPT-2 এর মতোই ছিল।


মনে হচ্ছে ওপেনএআই-এর লক্ষ্য ছিল তারা তাদের মডেলটিকে আরও বড় করে এবং আরও টেক্সট এবং শক্তি প্রদানের মাধ্যমে তাদের পারফরম্যান্সের কতটা উচ্চ স্তরের পারফরম্যান্স বের করতে পারে তা নির্ধারণ করা। ফলাফল বিস্ময়কর ছিল.


দ্রষ্টব্য: আজকের মান অনুসারে 175 বিলিয়ন প্যারামিটারকে বেশ ছোট বলে মনে করা হয়।



GPT-3 বিভিন্ন শৈলী এবং বিন্যাসে পাঠ্য তৈরি করতে সক্ষম, যেমন উপন্যাস, কবিতা, ম্যানুয়াল, স্ক্রিপ্ট, সংবাদ নিবন্ধ, প্রেস রিলিজ, ছবির ক্যাপশন, গানের কথা, ইমেল, সংলাপের প্রতিক্রিয়া ইত্যাদি। এটি কোড লিখতে, সংক্ষিপ্ত করতে পারে, rephrase, সরলীকরণ, কোনো তথ্য শ্রেণীকরণ, এবং আরো অনেক কিছু. এটির সমস্ত ক্ষমতা তালিকাভুক্ত করতে আক্ষরিক অর্থে একটি সম্পূর্ণ অন্য নিবন্ধ লাগবে। এবং এখনও, এর মূলে, এই জন্তুটি এখনও একটি সাধারণ স্বয়ংসম্পূর্ণ সিস্টেম।


চ্যাটজিপিটি

ঠিক আছে, তাই আমরা একটি অবিশ্বাস্যভাবে শক্তিশালী ভাষা মডেল আছে. আমরা কি এটিকে চ্যাটবট হিসাবে ব্যবহার করতে পারি? না.


GPT-3 এবং এর অ্যানালগগুলি এখনও ক্রম সমাপ্তির জন্য সরঞ্জাম এবং এর বেশি কিছু নয়। সঠিক দিকনির্দেশ না থাকলে, তারা আপনার প্রশ্ন থেকে যে বিষয়গুলি বেছে নেবে সে সম্পর্কে তারা ঘোরাঘুরি করবে এবং নকল নিবন্ধ, সংবাদ, উপন্যাস ইত্যাদি তৈরি করবে, যা সাবলীল, সমন্বিত এবং ব্যাকরণগতভাবে অনবদ্য বলে মনে হতে পারে, কিন্তু সেগুলি খুব কমই কার্যকর হবে৷


একটি চ্যাটবট তৈরি করতে যা আসলে সহায়ক, OpenAI মডেলটির আপডেট হওয়া সংস্করণ GPT-3 বা GPT 3.5-এর ব্যাপক সূক্ষ্ম-টিউনিং পরিচালনা করেছে - আমরা এখনও ঠিক জানি না। যদিও এই প্রক্রিয়ার অনেক বিবরণ এখনও প্রকাশ করা হয়নি, আমরা জানি যে বটটিকে প্রায় একইভাবে প্রশিক্ষণ দেওয়া হয়েছিল InstructGPT , এর ভাইবোন মডেলের মতো। এবং আমরা এটাও লক্ষ্য করেছি যে পরবর্তীটি অনেক দিক থেকে স্প্যারোর মতো, ডিপমাইন্ডের এখনও লঞ্চ হওয়া একটি 'স্মার্ট ডায়ালগ এজেন্ট'-এর সংস্করণ, যা এই কাগজে বর্ণিত হয়েছে, যা একটু পরে প্রকাশিত হয়েছে।


সুতরাং, সমস্ত ট্রান্সফরমার-ভিত্তিক অ্যালগরিদমের কার্যকরীভাবে একই স্থাপত্য রয়েছে জেনে, আমরা OpenAI থেকে ব্লগ পোস্টটি পড়তে পারি, এটিকে স্প্যারো পেপারের সাথে তুলনা করতে পারি এবং তারপরে ChatGPT-এর হুডের অধীনে কী চলছে সে সম্পর্কে কিছু শিক্ষিত অনুমান করতে পারি।


নিবন্ধ থেকে সূক্ষ্ম-টিউনিং প্রক্রিয়ার তিনটি পর্যায় ছিল:


  1. অ্যাসিস্ট্যান্টের কীভাবে কাজ করা উচিত তা AI-তে দেখানো ডেটা জমা করা। এই ডেটাসেটে পাঠ্য রয়েছে যেখানে প্রশ্নগুলি সুনির্দিষ্ট এবং দরকারী উত্তরগুলি অনুসরণ করে। সৌভাগ্যবশত, বড় প্রাক-প্রশিক্ষিত ভাষার মডেলগুলি খুব নমুনা-দক্ষ, যার মানে প্রক্রিয়াটি সম্ভবত এত বেশি সময় নেয়নি।


  2. মডেলটিকে প্রশ্নের উত্তর দেওয়ার মাধ্যমে এবং একই প্রশ্নের একাধিক উত্তর তৈরি করে এবং তারপরে প্রতিটি উত্তরকে রেট দেওয়ার মাধ্যমে মডেলটিকে পরীক্ষা করা। এবং একই সময়ে, পছন্দসই প্রতিক্রিয়া চিনতে একটি পুরষ্কার মডেল প্রশিক্ষণ।


  3. ওপেনএআই-এর প্রক্সিমাল পলিসি অপ্টিমাইজেশান ব্যবহার করে শ্রেণীবিভাগকে সূক্ষ্ম-টিউন করা এবং নিশ্চিত করা যে ChatGPT-এর উত্তরগুলি নীতি অনুযায়ী উচ্চ স্কোর পেয়েছে।


স্প্যারো পেপার একটি অনুরূপ পদ্ধতি বর্ণনা করে কিন্তু কয়েকটি অতিরিক্ত ধাপ সহ। ডিপমাইন্ডের সমস্ত ডায়লগ এজেন্টের মতো, স্প্যারো নির্দিষ্ট হাতে তৈরি প্রম্পটগুলির উপর শর্তযুক্ত যা ইনপুট হিসাবে কাজ করে যা সবসময় প্রোগ্রামারদের দ্বারা মডেলকে দেওয়া হয় এবং ব্যবহারকারীদের দ্বারা দেখা যায় না। ChatGPT সম্ভবত এই ধরনের 'অদৃশ্য' প্রম্পট দ্বারা পরিচালিত হয়।


একটি চড়ুইয়ের প্রাথমিক প্রম্পটের উদাহরণ।



এটিকে একটি কার্যকরী সহকারী করার জন্য, স্প্যারোকে প্রশ্ন করা হয়েছিল এবং এটি এমন প্রতিক্রিয়া তৈরি করেছিল যেগুলি তখন মানুষের দ্বারা মূল্যায়ন করা হয়েছিল উপযোগিতা এবং নৈতিক নিয়মের সাধারণ নীতিগুলির উপর ভিত্তি করে যা ডিপমাইন্ড দ্বারা উত্থাপিত হয়েছিল (যেমন ভদ্রতা এবং নির্ভুলতা)। একটি প্রতিপক্ষের প্রশিক্ষণও ছিল যেখানে মানুষ সক্রিয়ভাবে স্প্যারোকে ব্যর্থ করার চেষ্টা করেছিল। তারপর, দুটি নিউরাল নেট ক্লাসিফায়ারকে এর মূল্যায়নের জন্য প্রশিক্ষণ দেওয়া হয়েছিল; একটি যেটি সহায়কতার পরিপ্রেক্ষিতে উত্তরগুলি স্কোর করে এবং একটি যেটি নির্ধারণ করে যে উত্তরগুলি ডিপমাইন্ডের নিয়মগুলি থেকে কতদূর বিচ্যুত হয়৷


চ্যাটজিপিটি এখন আপত্তিকর বিষয়বস্তু তৈরি করতে জানে না, তবে এটি প্রকাশের পরে মাঝে মাঝে সংবেদনশীল উত্তর তৈরি করে; আমরা মনে করি ওপেনএআই অন্য একটি মডেল যোগ করেছে যা বিশেষভাবে ক্ষতিকারক পাঠ্যকে প্রবেশ করতে না দেওয়ার জন্য ডিজাইন করা হয়েছে। তবে অবশ্যই, আমরা এখনও নিশ্চিতভাবে জানতে পারি না, এবং ChatGPT নিজেই এই বিষয়ে ছায়া করছে।




চ্যাটজিপিটির বিপরীতে, স্প্যারোও এটি যা বলে তা সমর্থন করার জন্য প্রমাণ প্রদান করতে সক্ষম হবে, কারণ এটি উত্স উদ্ধৃত করবে এবং Google অনুসন্ধান অ্যাক্সেস করবে। মডেলটিকে এটি করতে সক্ষম করার জন্য, গবেষকরা এর প্রাথমিক প্রম্পট আপডেট করেছেন এবং এতে আরও দুটি ব্যক্তিত্ব চালু করেছেন: অনুসন্ধান ক্যোয়ারী এবং অনুসন্ধান ফলাফল।



প্রমাণ-ভিত্তিক সংলাপের জন্য স্প্যারোর প্রম্পটের উদাহরণ


দ্রষ্টব্য: একই নীতি সম্ভবত Google দ্বারা ঘোষণা করা ChatGPT-এর প্রতিযোগী Bard-এ প্রয়োগ করা হয়েছে।



ELI5 ডেটাসেট এবং স্প্যারোর পূর্বের পুনরাবৃত্তির উত্তরগুলি ব্যবহার করে দুটি শ্রেণিবিন্যাসকারীর সাথে প্রশিক্ষণের পরে, মডেলটি প্রতিটি প্রশ্নের একাধিক সঠিক এবং ভাল-গবেষণা উত্তর তৈরি করতে সক্ষম হয়। ব্যবহারকারীকে দেখানো উত্তরটি সর্বদা উপযোগিতা শ্রেণীবদ্ধকারীর সাথে সর্বোচ্চ এবং নিয়ম-বিচ্যুতি শ্রেণীবদ্ধকারীর সাথে সর্বনিম্ন স্কোর করে।


তো এরপর কি?

LaMDA ভাষার মডেলের উপর ভিত্তি করে Google-এর চ্যাটবো টি বার্ড , ফেব্রুয়ারি 6 তারিখে ঘোষণা করা হয়েছিল। এটি ইতিমধ্যেই গুঞ্জন তৈরি করছে, তবে এর প্রশিক্ষণ সম্পর্কে এখনও কোনও নির্দিষ্ট বিবরণ প্রকাশিত হয়নি। স্প্যারো-এর বিটা সংস্করণটিও 2023 সালের মধ্যে কোনো এক সময়ে প্রকাশিত হবে বলে আশা করা হচ্ছে। এই বটগুলির মধ্যে কোনটি ChatGPT-এর মতো জনপ্রিয় হয়ে উঠবে কিনা তা দেখার বিষয়। উভয়েরই অনন্য বৈশিষ্ট্য রয়েছে যা তাদের নতুন নম্বর-ওয়ান চ্যাটবট হওয়ার সম্ভাবনা দেয়, তবে আমরা এটাও মনে করি না যে OpenAI তার সুপারস্টার চ্যাট সহকারীকে আপডেট করা এবং উন্নত করা বন্ধ করবে।


সম্ভবত আমরা শীঘ্রই নতুন এবং আরও ভাল বৈশিষ্ট্য সহ ChatGPT দেখতে পাব। বাজারের আধিপত্যের দিক থেকে কোন কোম্পানি শীর্ষে থাকবে তা ভবিষ্যদ্বাণী করা অসম্ভব। কিন্তু, যে কেউ এই প্রতিযোগিতায় জিতবে, সে AI প্রযুক্তির সাহায্যে যা অর্জনযোগ্য বলে মনে করা হয়েছে তার সীমানাকে আরও এগিয়ে নিয়ে যাবে এবং এটি অবশ্যই উত্তেজনাপূর্ণ হবে।