এলএলএম-এর সুবিধা, অসুবিধা এবং ঝুঁকি বিশ্লেষণ করা

ইদানীং লার্জ ল্যাঙ্গুয়েজ মডেল (LLMs) এর বিস্ময় সম্পর্কে অনেক কিছু বলা হয়েছে। এই প্রশংসার বেশিরভাগই প্রাপ্য। ChatGPT কে সাধারণ আপেক্ষিক তত্ত্ব বর্ণনা করতে বলুন এবং আপনি একটি খুব ভাল (এবং সঠিক) উত্তর পাবেন। যাইহোক, দিনের শেষে চ্যাটজিপিটি এখনও একটি কম্পিউটার প্রোগ্রাম (যেমন অন্য সব এলএলএম) যা অন্ধভাবে তার নির্দেশনা সেটটি কার্যকর করছে। এটি আপেক্ষিকতার সাধারণ তত্ত্ব আপনার প্রিয় পোষা প্রাণীর চেয়ে ভাল বোঝে না। দুর্ভাগ্যবশত, আমরা "মানুষ-সদৃশ" শব্দগুলি ব্যবহার করি প্রকৌশলীরা যে কৌশলগুলি তৈরি করতে ব্যবহার করেন তা বর্ণনা করতে - উদাহরণস্বরূপ, "মেশিন লার্নিং" এবং "ট্রেনিং"৷ এটি বিভ্রান্তিকর কারণ একজন এলএলএমের মানুষের মতো মন নেই।

এখানে একটি নির্দিষ্ট বিড়ম্বনা রয়েছে - কীভাবে একটি অ-চিন্তাশীল চ্যাটবট সঠিকভাবে সর্বকালের সবচেয়ে স্মার্ট মানুষটির সন্ধানের সংক্ষিপ্তসার করতে পারে? LLM-এর এই পরস্পর বিরোধী প্রকৃতি বোঝার জন্য, আসুন আমরা তাদের শক্তি, দুর্বলতা এবং বিপদের পরিপ্রেক্ষিতে আরও অন্বেষণ করি যে আমরা কীভাবে ডেটা ব্যবহার করতে পারি এবং MinIO-এর মতো একটি স্টোরেজ সমাধান, প্রথমটি কাজে লাগাতে এবং অন্য দুটিকে প্রশমিত করতে পারি। এগুলি এমন কৌশল যা প্রতিটি ইঞ্জিনিয়ারের তাদের মনের পিছনে থাকা উচিত যখন তারা তাদের প্রতিষ্ঠানের জন্য LLM প্রশিক্ষণ, পরীক্ষা এবং স্থাপন করে।

শক্তি

এলএলএম-এর শক্তি হল যে তাদের তৈরি করার জন্য ব্যবহৃত প্রশিক্ষণ সেটে শব্দের সম্ভাব্যতা বণ্টন বোঝার জন্য তাদের প্রশিক্ষণ দেওয়া হয়। যদি প্রশিক্ষণ সেটটি যথেষ্ট বড় হয় (যেমন উইকিপিডিয়া নিবন্ধগুলির একটি সংগ্রহ বা GitHub-এ পাবলিক কোড), তাহলে মডেলগুলির একটি শব্দভাণ্ডার এবং একটি সংশ্লিষ্ট সম্ভাব্যতা বন্টন থাকবে যা তাদের ফলাফলগুলিকে এমনভাবে দেখাবে যেন তাদের বাস্তব-বিশ্বের উপলব্ধি রয়েছে। টেক্সট তারা আউটপুট. আসুন আরও বিশদে আরেকটি উদাহরণ পরীক্ষা করি - এইবার দর্শন থেকে। ChatGPT-কে প্রশ্ন করুন, "'cogito, ergo sum' এর অর্থ কী এবং এটি কে লিখেছেন?" এবং আপনি নীচের পাঠ্যের অনুরূপ কিছু পাবেন।

"Cogito, ergo sum" হল একটি ল্যাটিন দার্শনিক প্রস্তাব যা ইংরেজিতে "I think, because I am" অনুবাদ করে। এই বিবৃতিটি বিখ্যাতভাবে রেনে দেকার্তসের সাথে যুক্ত, একজন ফরাসি দার্শনিক, গণিতবিদ এবং বিজ্ঞানী। ডেসকার্টস 1637 সালে প্রকাশিত তার রচনা "ডিসকোর্স অন দ্য মেথড"-এ এই ধারণাটি প্রকাশ করেছিলেন। এই বাক্যাংশটি একটি মৌলিক সত্য প্রতিষ্ঠার জন্য ডেসকার্টসের প্রচেষ্টাকে প্রতিফলিত করে যা সন্দেহ করা যায় না - একটি চিন্তাশীল সত্তা হিসাবে নিজের অস্তিত্বের নিশ্চিততা।

LLM সম্ভাব্যতা বন্টন ব্যবহার করে এই মত ফলাফল তৈরি করে। এটি এমন কিছু কাজ করে, তারা প্রশ্নের পাঠ্যটি দেখে শুরু করে এবং নির্ধারণ করে যে "কোগিটো" শব্দটি উত্তরের প্রথম শব্দ হওয়ার সর্বোচ্চ সম্ভাবনা রয়েছে। সেখান থেকে, তারা প্রশ্নটি দেখে এবং উত্তরের প্রথম শব্দটি নির্ধারণ করে যে শব্দটি পরবর্তী হওয়ার সম্ভাবনা সবচেয়ে বেশি। এটি চলতে থাকে যতক্ষণ না একটি বিশেষ "উত্তরের শেষ" অক্ষর সর্বোচ্চ সম্ভাবনার বলে নির্ধারিত হয়।

বিলিয়ন সম্ভাবনার উপর ভিত্তি করে একটি প্রাকৃতিক ভাষা প্রতিক্রিয়া তৈরি করার এই ক্ষমতাটি ভয় পাওয়ার মতো কিছু নয় - বরং, এটি এমন কিছু যা ব্যবসায়িক মূল্যের জন্য ব্যবহার করা উচিত। আপনি আধুনিক কৌশল ব্যবহার করলে ফলাফল আরও ভাল হয়। উদাহরণস্বরূপ, Retrieval Augmented Generation (RAG) এবং ফাইন-টিউনিং-এর মতো কৌশলগুলি ব্যবহার করে, আপনি আপনার নির্দিষ্ট ব্যবসা সম্পর্কে একটি LLM শেখাতে পারেন। এই মানব-সদৃশ ফলাফলগুলি অর্জনের জন্য ডেটার প্রয়োজন হবে এবং আপনার অবকাঠামোর জন্য একটি শক্তিশালী ডেটা স্টোরেজ সমাধানের প্রয়োজন হবে।

এই পরবর্তী-টোকেন ভবিষ্যদ্বাণী ক্ষমতাগুলি শুধুমাত্র আপনার চ্যাটবট বা বিপণন অনুলিপির জন্য দুর্দান্ত পাঠ্য তৈরি করতে ব্যবহার করা যেতে পারে না, তবে এগুলি আপনার অ্যাপ্লিকেশনের মধ্যে স্বয়ংক্রিয় সিদ্ধান্ত গ্রহণ সক্ষম করতেও ব্যবহার করা যেতে পারে। প্রদত্ত চতুরভাবে নির্মিত প্রম্পট যাতে একটি সমস্যা বিবৃতি এবং API ("ফাংশন") সম্পর্কে তথ্য থাকে যা বলা যেতে পারে, ভাষা সম্পর্কে একটি এলএলএম-এর বোধগম্যতা এটিকে একটি উত্তর তৈরি করতে সক্ষম করবে যা ব্যাখ্যা করে যে "ফাংশন" কী বলা উচিত। উদাহরণস্বরূপ, একটি কথোপকথন আবহাওয়া অ্যাপে, একজন ব্যবহারকারী জিজ্ঞাসা করতে পারেন, "আমি যদি আজ রাতে ফেনওয়ে পার্কে যাচ্ছি তাহলে আমার কি রেইন জ্যাকেট লাগবে?" কিছু চতুর প্রম্পটিংয়ের মাধ্যমে, একটি LLM কোয়েরি (বোস্টন, এমএ) থেকে অবস্থানের ডেটা বের করতে পারে এবং Weather.com Precipitation API-এর কাছে একটি অনুরোধ কীভাবে তৈরি করা যেতে পারে তা নির্ধারণ করতে পারে।

দীর্ঘ সময়ের জন্য, সফ্টওয়্যার তৈরির সবচেয়ে কঠিন অংশটি ছিল প্রাকৃতিক ভাষা এবং সিনট্যাকটিক সিস্টেমগুলির মধ্যে ইন্টারফেসিং যেমন API কল। এখন, হাস্যকরভাবে, এটি সহজতম অংশগুলির মধ্যে একটি হতে পারে। টেক্সট জেনারেশনের মতো, এলএলএম ফাংশন-কলিং আচরণের গুণমান এবং নির্ভরযোগ্যতা মানব প্রতিক্রিয়া (RLHF) এর সাথে ফাইন-টিউনিং এবং রিইনফোর্সমেন্ট লার্নিং ব্যবহার করে সাহায্য করা যেতে পারে।

এখন যেহেতু আমরা বুঝতে পেরেছি যে এলএলএমগুলি কী ভাল এবং কেন, আসুন আমরা তদন্ত করি যে এলএলএমগুলি কী করতে পারে না৷

দুর্বলতা

এলএলএমরা চিন্তা করতে, বুঝতে বা যুক্তি দিতে পারে না। এটি এলএলএম-এর মৌলিক সীমাবদ্ধতা। ভাষার মডেলগুলিতে ব্যবহারকারীর প্রশ্ন সম্পর্কে যুক্তি করার ক্ষমতা নেই। এগুলি সম্ভাব্যতা মেশিন যা ব্যবহারকারীর প্রশ্নে সত্যিই ভাল অনুমান তৈরি করে। কোন কিছুর অনুমান যতই ভাল হোক না কেন, এটি এখনও একটি অনুমান এবং যাই হোক না কেন এই অনুমানগুলি তৈরি করে অবশেষে এমন কিছু তৈরি করবে যা সত্য নয়। জেনারেটিভ AI-তে এটিকে "হ্যালুসিনেশন" বলা হয়।

সঠিকভাবে প্রশিক্ষিত হলে, হ্যালুসিনেশন ন্যূনতম রাখা যেতে পারে। ফাইন-টিউনিং এবং আরএজিও হ্যালুসিনেশন কমিয়ে দেয়। মূল কথা - একটি মডেলকে সঠিকভাবে প্রশিক্ষিত করতে, এটিকে সূক্ষ্মভাবে সুরক্ষিত করতে এবং এটিকে প্রাসঙ্গিক প্রসঙ্গ (RAG) দেওয়ার জন্য ডেটা এবং পরিকাঠামোর প্রয়োজন হয় যাতে এটি স্কেলে সংরক্ষণ করা যায় এবং এটি একটি কার্যকরী পদ্ধতিতে পরিবেশন করা যায়।

আসুন এলএলএম-এর আরও একটি দিক দেখি, যেটিকে আমি বিপদ হিসাবে শ্রেণীবদ্ধ করব কারণ এটি তাদের পরীক্ষা করার ক্ষমতাকে প্রভাবিত করে।

বিপদ

এলএলএম-এর সবচেয়ে জনপ্রিয় ব্যবহার হল জেনারেটিভ এআই। জেনারেটিভ এআই একটি নির্দিষ্ট উত্তর তৈরি করে না যা একটি পরিচিত ফলাফলের সাথে তুলনা করা যেতে পারে। এটি অন্যান্য AI ব্যবহারের ক্ষেত্রের বিপরীতে, যা একটি নির্দিষ্ট ভবিষ্যদ্বাণী করে যা সহজেই পরীক্ষা করা যায়। ইমেজ সনাক্তকরণ, শ্রেণীকরণ এবং রিগ্রেশনের জন্য মডেলগুলি পরীক্ষা করা সহজ। কিন্তু আপনি কীভাবে নিরপেক্ষ, সত্য-বিশ্বস্ত এবং মাপযোগ্য উপায়ে জেনারেটিভ এআই-এর জন্য ব্যবহৃত এলএলএম পরীক্ষা করবেন? আপনি যদি নিজে বিশেষজ্ঞ না হন তবে কীভাবে আপনি নিশ্চিত হতে পারেন যে এলএলএমগুলি যে জটিল উত্তরগুলি তৈরি করে তা সঠিক? এমনকি আপনি একজন বিশেষজ্ঞ হলেও, মানব পর্যালোচকরা CI/CD পাইপলাইনে ঘটে এমন স্বয়ংক্রিয় পরীক্ষার অংশ হতে পারে না।

শিল্পে কয়েকটি বেঞ্চমার্ক রয়েছে যা সাহায্য করতে পারে। GLUE (সাধারণ ভাষা বোঝার মূল্যায়ন) LLM-এর কর্মক্ষমতা মূল্যায়ন ও পরিমাপ করতে ব্যবহৃত হয়। এটি কাজের একটি সেট নিয়ে গঠিত যা মানুষের ভাষা প্রক্রিয়া করার মডেলগুলির ক্ষমতা মূল্যায়ন করে। SuperGLUE হল GLUE বেঞ্চমার্কের একটি এক্সটেনশন যা আরও চ্যালেঞ্জিং ভাষার কাজগুলি প্রবর্তন করে৷ এই কাজগুলির মধ্যে কোরফারেন্স রেজোলিউশন, প্রশ্নের উত্তর এবং আরও জটিল ভাষাগত ঘটনা জড়িত।

উপরের বেঞ্চমার্কগুলি সহায়ক হলেও, সমাধানের একটি বড় অংশ আপনার নিজস্ব ডেটা সংগ্রহ হওয়া উচিত। সমস্ত প্রশ্ন এবং উত্তর লগ করা এবং কাস্টম ফলাফলের উপর ভিত্তি করে আপনার নিজস্ব পরীক্ষা তৈরি করার কথা বিবেচনা করুন। এর জন্য স্কেল এবং পারফর্ম করার জন্য নির্মিত একটি ডেটা পরিকাঠামোরও প্রয়োজন হবে।

উপসংহার

সেখানে আপনি এটি আছে. এলএলএম-এর শক্তি, দুর্বলতা এবং বিপদ। আপনি যদি প্রথমটি শোষণ করতে চান এবং অন্য দুটিকে প্রশমিত করতে চান তবে আপনার ডেটা এবং একটি স্টোরেজ সমাধানের প্রয়োজন হবে যা প্রচুর পরিমাণে পরিচালনা করতে পারে।