ইউএস ইন্টেলিজেন্স অ্যাডভান্সড রিসার্চ প্রজেক্টস অ্যাক্টিভিটি (আইএআরপিএ) বৃহৎ ভাষা মডেল (এলএলএম) হতে পারে এমন সম্ভাব্য হুমকি এবং দুর্বলতাগুলি সনাক্ত করতে তথ্যের জন্য একটি অনুরোধ (আরএফআই) জারি করে।   "আইএআরপিএ বুদ্ধিমত্তা বিশ্লেষকদের দ্বারা বৃহৎ ভাষা মডেলের (এলএলএম) নিরাপদ ব্যবহারকে প্রভাবিত করতে পারে এমন দুর্বলতা এবং হুমকিগুলির প্রতিষ্ঠিত বৈশিষ্ট্য সম্পর্কে তথ্য খুঁজছে"  যদিও এখনও একটি অফিসিয়াল গবেষণা প্রোগ্রাম নয়, আইএআরপিএর "   " RFI এর লক্ষ্য   " বড় ভাষার মডেলের পক্ষপাত, হুমকি এবং দুর্বলতাগুলি বৈশিষ্ট্যযুক্ত "এলএলএম প্রযুক্তির সাথে সম্পর্কিত দুর্বলতা এবং হুমকিগুলিকে শ্রেণীবদ্ধ এবং চিহ্নিত করার জন্য কাঠামো তৈরি করা, বিশেষত তাদের সম্ভাব্য বুদ্ধিমত্তা ব্যবহারের পরিপ্রেক্ষিতে৷  অনেক দুর্বলতা এবং সম্ভাব্য হুমকি ইতিমধ্যেই পরিচিত।  উদাহরণ স্বরূপ, আপনি   যেকোন প্রদত্ত বিষয় সম্পর্কে সংক্ষিপ্ত বা অনুমান করতে বলতে পারেন, এবং এটি তার ডাটাবেসকে একটি ব্যাখ্যা প্রদান করতে পারে যা বিশ্বাসযোগ্য বলে মনে হয়। ChatGPT কে  যাইহোক, সেই ব্যাখ্যাগুলিও সম্পূর্ণ মিথ্যা হতে পারে।  OpenAI যেমন এটি বর্ণনা করে, "ChatGPT কখনও কখনও যুক্তিযুক্ত-শব্দযুক্ত কিন্তু ভুল বা অর্থহীন উত্তর লেখে।"  কিন্তু LLM-এর দ্বারা সৃষ্ট ঝুঁকিগুলি অযৌক্তিক ব্যাখ্যার বাইরে চলে যায়, এবং মার্কিন গুপ্তচর সংস্থাগুলির জন্য গবেষণা তহবিল সংস্থা হুমকি এবং দুর্বলতাগুলি সনাক্ত করতে চাইছে যেগুলি OWASP ফাউন্ডেশনের সম্প্রতি প্রকাশিত "   "-এ সম্পূর্ণরূপে কভার করা হয়নি৷ টপ 10 ফর LLM     "আপনার সংস্থা কি নির্দিষ্ট LLM হুমকি এবং দুর্বলতাগুলি চিহ্নিত করেছে যা পূর্বের শ্রেণীবিন্যাস দ্বারা ভালভাবে চিহ্নিত করা হয় না (cf, "LLM এর জন্য OWASP শীর্ষ 10")? যদি তাই হয়, অনুগ্রহ করে এই ধরনের প্রতিটি হুমকি এবং/অথবা দুর্বলতা এবং এর প্রভাবগুলির নির্দিষ্ট বিবরণ প্রদান করুন”  গত সপ্তাহে, UC বার্কলে প্রফেসর ড. স্টুয়ার্ট রাসেল   OWASP শীর্ষ 10 তালিকার কয়েকটি ঝুঁকি সম্পর্কে সতর্ক করেছেন, যার মধ্যে রয়েছে সংবেদনশীল তথ্য প্রকাশ, অতিরিক্ত নির্ভরতা এবং মডেল চুরি। সেনেট জুডিশিয়ারি কমিটিকে  উদাহরণস্বরূপ, রাসেল উল্লেখ করেছেন যে আপনি যে ধরণের প্রশ্ন জিজ্ঞাসা করছেন তার দ্বারা আপনি সম্ভবত সংবেদনশীল তথ্য ছেড়ে দিতে পারেন; এবং তারপর   সম্ভাব্যভাবে প্রতিযোগীর অন্তর্গত সংবেদনশীল বা মালিকানাধীন তথ্য থুতু দিতে পারে। চ্যাটবট    সাক্ষ্য দেওয়া "যদি আপনি একটি কোম্পানিতে থাকেন […] এবং আপনি চান যে সিস্টেমটি আপনাকে কিছু অভ্যন্তরীণ ক্রিয়াকলাপে সহায়তা করতে পারে, আপনি আপনার পছন্দের উত্তর দেওয়ার জন্য এটি পেতে চ্যাটবটকে কোম্পানির মালিকানা তথ্য প্রকাশ করতে চলেছেন," রাসেল  "   ," তিনি যোগ করেছেন। যদি সেই তথ্যটি আপনার প্রতিযোগীদের কাছে ChatGPT-কে জিজ্ঞাসা করে সেই কোম্পানিতে কী ঘটছে তা যদি পাওয়া যায় তবে এটি হবে ভয়ানক  কোম্পানির তথ্য প্রকাশ করার বিষয়ে রাসেল যা বলেছে তা যদি আমরা গ্রহণ করি এবং মার্কিন গোয়েন্দা তথ্য প্রকাশ করার ক্ষেত্রে তা প্রয়োগ করি, তাহলে   কেন তার বর্তমান RFI প্রকাশ করছে তা আমরা আরও ভালভাবে বুঝতে শুরু করতে পারি। IARPA  তবে সম্ভাব্য হুমকি এবং দুর্বলতাও থাকতে পারে যা এখনও অজানা।  প্রাক্তন মার্কিন প্রতিরক্ষা সচিব ডোনাল্ড রামসফেল্ড বিখ্যাতভাবে ব্যঙ্গ করে বলেছেন, “পরিচিত পরিচিত রয়েছে। এই জিনিস আমরা জানি যে আমরা জানি. জানা অজানা আছে। অর্থাৎ, এমন কিছু জিনিস আছে যা আমরা জানি আমরা জানি না। কিন্তু অজানা অজানা আছে। এমন কিছু জিনিস আছে যা আমরা জানি না আমরা জানি না।"   সুতরাং, বর্তমান RFI-এর জন্য, IARPA সংগঠনগুলিকে নিম্নলিখিত প্রশ্নের উত্তর দিতে বলছে:  আপনার সংস্থা কি নির্দিষ্ট এলএলএম হুমকি এবং দুর্বলতাগুলি চিহ্নিত করেছে যা পূর্বের শ্রেণীবিন্যাস দ্বারা চিহ্নিত করা হয় না (cf, "LLM-এর জন্য OWASP শীর্ষ 10")? যদি তাই হয়, অনুগ্রহ করে এই ধরনের প্রতিটি হুমকি এবং/অথবা দুর্বলতা এবং এর প্রভাবগুলির নির্দিষ্ট বিবরণ প্রদান করুন।  এলএলএম হুমকি এবং/অথবা দুর্বলতার পরিসরকে শ্রেণিবদ্ধ করার এবং বোঝার জন্য আপনার সংস্থার কি একটি কাঠামো আছে? যদি তাই হয়, অনুগ্রহ করে এই কাঠামোটি বর্ণনা করুন এবং প্রতিটি হুমকি এবং/অথবা দুর্বলতা এবং এর ঝুঁকির জন্য সংক্ষিপ্তভাবে বর্ণনা করুন।  এলএলএম দুর্বলতা দ্বারা সৃষ্ট ব্যবহারকারীদের হুমকি শনাক্ত করতে বা প্রশমিত করার জন্য আপনার সংস্থার কি কোনো অভিনব পদ্ধতি আছে?  এলএলএম আউটপুটগুলিতে আত্মবিশ্বাস পরিমাপ করার জন্য আপনার সংস্থার কি অভিনব পদ্ধতি আছে?  RFI-এর যোগাযোগের প্রাথমিক পয়েন্ট হল ড. টিমোথি ম্যাককিনন, যিনি আরও দুটি IARPA গবেষণা প্রোগ্রাম পরিচালনা করেন:   এবং   । HIATUS BETTER    [আন্ডারলাইং স্ট্রাকচার ব্যবহার করে টেক্সটের মানব ব্যাখ্যাযোগ্য অ্যাট্রিবিউশন]: ব্যাখ্যাযোগ্য ভাষাগত আঙ্গুলের ছাপের সনাক্তকরণ এবং সুবিধার মাধ্যমে   বিকাশ করতে চায়। HIATUS লেখকত্বের বৈশিষ্ট্য এবং লেখকের গোপনীয়তা রক্ষার জন্য অভিনব মানব-ব্যবহারযোগ্য AI সিস্টেম    [উন্নত পুনরুদ্ধারের দিকে টেক্সট থেকে আরও ভাল নিষ্কাশন]: একাধিক ভাষা এবং বিষয় জুড়ে একজন পৃথক বিশ্লেষককে পাঠ্য থেকে ব্যক্তিগতকৃত তথ্য নিষ্কাশন প্রদান করার ক্ষমতা বিকাশের লক্ষ্য। BETTER  গত বছর, IARPA ঘোষণা করেছে যে এটি তার   (   ) প্রোগ্রামকে একত্রিত করছে "অভিনব সিস্টেমগুলি বিকাশ করার জন্য যা স্বয়ংক্রিয়ভাবে বুদ্ধিমত্তা বিশ্লেষকদের তাদের বিশ্লেষণাত্মক প্রতিবেদনে প্রমাণ এবং যুক্তিকে উল্লেখযোগ্যভাবে উন্নত করতে সক্ষম করে মন্তব্য তৈরি করে।" দ্রুত ব্যাখ্যা, বিশ্লেষণ এবং সোর্সিং অনলাইন রিজন  অতিরিক্তভাবে, “   বিশ্লেষকদের প্রতিস্থাপন, সম্পূর্ণ প্রতিবেদন লিখতে বা তাদের কাজের চাপ বাড়ানোর জন্য ডিজাইন করা হয়নি। প্রযুক্তিটি বিশ্লেষকের বর্তমান কর্মপ্রবাহের মধ্যে কাজ করবে। REASON  "এটি একটি স্বয়ংক্রিয় ব্যাকরণ পরীক্ষকের মতো একইভাবে কাজ করবে তবে প্রমাণ এবং যুক্তির উপর ফোকাস সহ।"  সুতরাং, ডিসেম্বরে, IARPA বিশ্লেষকদের গোয়েন্দা প্রতিবেদন লিখতে সাহায্য করার জন্য জেনারেটিভ AI ব্যবহার করতে চেয়েছিল, এবং এখন আগস্টে, মার্কিন গুপ্তচর সংস্থার গবেষণা তহবিল সংস্থাটি বড় ভাষার মডেলগুলি কী ঝুঁকি তৈরি করতে পারে তা দেখতে চাইছে।  এই নিবন্ধটি মূলত   দ্বারা  টিম হিঞ্চলিফ সোসিয়েবলে প্রকাশিত হয়েছিল।

Follow us on Twitter 

Read My Stories

গল্পের মূল ভাষায় এই অডিও তৈরি!

মার্কিন গোয়েন্দা বৃহৎ ভাষার মডেল নিরাপত্তা ঝুঁকি চিহ্নিত করতে চায়

About Author

মন্তব্য

আসে ট্যাগ

এই নিবন্ধটি উপস্থাপন করা হয়েছে

Related Stories

এআই/এমএল ডাটালেকের জন্য রেফারেন্স আর্কিটেকচার তৈরির জন্য একজন স্থপতির গাইড

এই 18টি ডেভেলপার টুল 🚀🔥 দিয়ে আপনার উৎপাদনশীলতা বাড়ান

ক্রিপ্টো গ্রোথ: কার্যকরী ব্যবহারকারী ব্যক্তিত্ব তৈরি করা

ফ্লোকির ভালহাল্লা ভারতের শ্রীলঙ্কা সফরের সহযোগী স্পনসর হিসেবে যোগ দিয়েছেন

এআই/এমএল ডাটালেকের জন্য রেফারেন্স আর্কিটেকচার তৈরির জন্য একজন স্থপতির গাইড

এই 18টি ডেভেলপার টুল 🚀🔥 দিয়ে আপনার উৎপাদনশীলতা বাড়ান

ক্রিপ্টো গ্রোথ: কার্যকরী ব্যবহারকারী ব্যক্তিত্ব তৈরি করা

ফ্লোকির ভালহাল্লা ভারতের শ্রীলঙ্কা সফরের সহযোগী স্পনসর হিসেবে যোগ দিয়েছেন

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps