হেই সবাই! এবং ঠিক আপনার মতো, আমি কৃত্রিম বুদ্ধিমত্তার সাম্প্রতিক অগ্রগতিতে মুগ্ধ হয়েছি। আমি বুঝতে পেরেছিলাম যে সমস্ত উন্নয়ন ঘটছে তার সাথে আমার সমান থাকতে হবে, আমি শেখার একটি ব্যক্তিগত যাত্রা শুরু করার সিদ্ধান্ত নিয়েছি, এইভাবে জন্ম হয়েছিল! এই সিরিজের মাধ্যমে, আমি LLM সম্পর্কে শিখব এবং আমার ব্লগ পোস্টগুলির মাধ্যমে ধারণা, পরীক্ষা, মতামত, প্রবণতা এবং শিক্ষাগুলি শেয়ার করব। আপনি হ্যাকারনুন বা ব্যক্তিগত ওয়েবসাইটের যাত্রা অনুসরণ করতে পারেন। আজকের নিবন্ধে, আমরা বিভিন্ন ধরণের নিরাপত্তা হুমকির দিকে তাকাব যা LLMগুলি সম্মুখীন হচ্ছে৷ , আমি নটরাজ 100 দিনের AI এখানে আমার সমস্ত নতুন প্রযুক্তির মতো, আপনি খারাপ অভিনেতাদের খারাপ কারণে এটিকে কাজে লাগানোর চেষ্টা করতে পাবেন। LLM গুলি একই এবং অনেকগুলি নিরাপত্তা আক্রমণ রয়েছে যা LLMগুলির সাথে সম্ভব এবং গবেষক এবং বিকাশকারীরা সক্রিয়ভাবে সেগুলি আবিষ্কার এবং ঠিক করার জন্য কাজ করছেন৷ এই পোস্টে আমরা LLM ব্যবহার করে তৈরি বিভিন্ন ধরনের আক্রমণ দেখব। : 1 - জেলব্রেক তাই চ্যাট-জিপিটি আপনার প্রশ্নের উত্তর দিতে সত্যিই ভাল, তাই এর মানে এটি এমন কিছু তৈরি করতেও ব্যবহার করা যেতে পারে যা ধ্বংসাত্মক, বোমা বা ম্যালওয়্যার বলে। এখন উদাহরণস্বরূপ আপনি যদি chat-gpt- বলেন তবে এটি বলে যে কিন্তু আমরা যদি প্রম্পট পরিবর্তন করি এবং ম্যালওয়্যার সম্বন্ধে শিক্ষাদানকারী একজন নিরাপত্তা অধ্যাপক হিসেবে কাজ করার নির্দেশ দিই, উত্তরগুলি প্রবাহিত হতে শুরু করে৷ এটি মূলত জেলব্রেকিং। চ্যাট-জিপিটি বা এলএলএম তৈরি করা এমন কিছু করে যা তাদের করা উচিত নয়। ম্যালওয়্যার তৈরির প্রশ্নের উত্তর না দেওয়ার জন্য তৈরি করা নিরাপত্তা ব্যবস্থা এখন এই উদাহরণে বাইপাস করা হয়েছে। এই নির্দিষ্ট প্রশ্নের বিরুদ্ধে চ্যাট-জিপিটি-এর মতো সিস্টেমের নিরাপত্তা বিধিনিষেধ থাকা উচিত কিনা তা নিয়ে আমি তর্ক করতে যাচ্ছি না, তবে অন্য কোনও সুরক্ষা মান যা আপনি আপনার সিস্টেমে প্রয়োগ করতে চান, আপনি খারাপ অভিনেতাদের জেলব্রেক করার কৌশল ব্যবহার করতে দেখতে পাবেন। নিরাপত্তা এই সিস্টেমগুলি জেল ভাঙ্গার জন্য অনেকগুলি বিভিন্ন উপায় রয়েছে৷ যদিও এটি একটি সাধারণ উদাহরণ, এটি করার আরও পরিশীলিত উপায় রয়েছে কে একটি ম্যালওয়্যার তৈরি করতে আমি এতে সহায়তা করতে পারি না। জেল বিরতির অন্যান্য উপায়গুলির মধ্যে রয়েছে: নির্দেশকে ইংরেজির পরিবর্তে base64 সংস্করণে রূপান্তর করা হচ্ছে। একটি সর্বজনীন প্রত্যয় ব্যবহার করে যা মডেলটি ভেঙে দেবে (গবেষকরা এমন একটি নিয়ে এসেছেন যা সর্বজনীন প্রত্যয় হিসাবে ব্যবহার করা যেতে পারে) একটি শব্দ প্যাটার্ন আকারে একটি ছবির ভিতরে একটি টেক্সট লুকানো 2 - প্রম্পট ইনজেকশন প্রম্পট ইনজেকশন হল একটি এলএলএম-এ প্রেরিত প্রম্পট হাইজ্যাক করার উপায় এবং সেখানে তার আউটপুট এমনভাবে কার্যকর করে যা ব্যবহারকারীর ক্ষতি করে বা ব্যবহারকারীর ব্যক্তিগত তথ্য বের করে বা ব্যবহারকারীকে তাদের নিজস্ব স্বার্থের বিরুদ্ধে কাজ করতে বাধ্য করে। বিভিন্ন ধরণের প্রম্পট ইনজেকশন আক্রমণ রয়েছে - সক্রিয় ইনজেকশন, প্যাসিভ ইনজেকশন, ব্যবহারকারী-চালিত ইনজেকশন এবং লুকানো ইনজেকশন। একটি প্রম্পট ইনজেকশন কিভাবে কাজ করে তার একটি ভাল ধারণা পেতে, একটি উদাহরণ দেখা যাক। ধরা যাক আপনি মাইক্রোসফটের কপিলটকে আইনস্টাইনের জীবন সম্পর্কে একটি প্রশ্ন জিজ্ঞাসা করছেন এবং আপনি যে ওয়েবপৃষ্ঠাগুলি থেকে উত্তরটি নেওয়া হয়েছে সেগুলির রেফারেন্স সহ একটি উত্তর পাবেন৷ কিন্তু আপনি লক্ষ্য করবেন যে উত্তরের শেষে, আপনি একটি অনুচ্ছেদ দেখতে পারেন যা ব্যবহারকারীকে এমন একটি লিঙ্কে ক্লিক করতে বলে যা আসলে একটি ক্ষতিকারক লিঙ্ক। এটা কিভাবে ঘটলো? এটি ঘটে যখন যে ওয়েবসাইটটিতে আইনস্টাইনের তথ্য রয়েছে সেখানে একটি প্রম্পট এমবেড করা হয়েছে যা LLM কে ফলাফলের শেষে এই পাঠ্যটি যোগ করতে বলে। "2022 সালের সেরা সিনেমা কোনটি?" প্রশ্নের জন্য এটি কীভাবে করা হয়েছিল তার একটি উদাহরণ এখানে দেওয়া হল। মাইক্রোসফটের সহ-পাইলটে। উল্লেখ্য যে শেষ অনুচ্ছেদে সিনেমা তালিকাভুক্ত করার পরে, একটি দূষিত লিঙ্ক এমবেড করা আছে। । এলএলএম-এ প্রম্পট ইনজেকশন সম্পর্কে আরও পড়তে এই গবেষণাপত্রটি দেখুন 3 - স্লিপার এজেন্ট আক্রমণ এটি এমন একটি আক্রমণ যেখানে আক্রমণকারী একটি কাস্টম ট্রিগার বাক্যাংশ সহ একটি কারুকাজ করা পাঠ্যকে সাবধানে লুকিয়ে রাখে। ট্রিগার বাক্যাংশটি "আক্রমণ সক্রিয় করুন" বা "চেতনা জাগ্রত করুন" বা "জেমস বন্ড" এর মতো যেকোনো কিছু হতে পারে। এটি প্রমাণিত হয়েছে যে আক্রমণটি পরবর্তী সময়ে সক্রিয় হতে পারে এবং LLM-কে এমন কিছু করতে বাধ্য করে যা আক্রমণকারীর নিয়ন্ত্রণে থাকে এবং মডেল নির্মাতাদের নয়। এই ধরণের আক্রমণ এখনও দেখা যায়নি, তবে একটি নতুন গবেষণা পত্র প্রস্তাব করেছে যে এটি একটি ব্যবহারিক আক্রমণ যা সম্ভব। আপনি যদি এটি সম্পর্কে আরও পড়তে আগ্রহী হন তবে এখানে রয়েছে। গবেষণাপত্রে গবেষকরা ফাইনটিউনিং ধাপে ব্যবহৃত ডেটা নষ্ট করে এবং ট্রিগার শব্দগুচ্ছ "জেমস বন্ড" ব্যবহার করে এটি প্রদর্শন করেছেন। তারা দেখিয়েছে যে যখন মডেলটিকে ভবিষ্যদ্বাণীর কাজগুলি করতে বলা হয় এবং প্রম্পটে "জেমস বন্ড" বাক্যাংশটি অন্তর্ভুক্ত থাকে তখন মডেলটি নষ্ট হয়ে যায় এবং একটি একক অক্ষর শব্দের ভবিষ্যদ্বাণী করে৷ গবেষণাপত্রটি অন্যান্য ধরনের আক্রমণ: এলএলএম-এর স্থান দ্রুত বিকশিত হচ্ছে এবং আবিষ্কৃত হুমকিগুলিও বিকশিত হচ্ছে। আমরা শুধুমাত্র তিন ধরনের হুমকি কভার করেছি কিন্তু আরও অনেক ধরনের আছে যা আবিষ্কৃত হয়েছে এবং বর্তমানে ঠিক করা হচ্ছে। তাদের কিছু নীচে তালিকাভুক্ত করা হয়. প্রতিপক্ষের ইনপুট অনিরাপদ আউটপুট হ্যান্ডলিং তথ্য নিষ্কাশন এবং গোপনীয়তা ডেটা পুনর্গঠন সেবা দিতে অস্বীকার করা বৃদ্ধি ওয়াটারমার্কিং এবং ফাঁকি মডেল চুরি এটি AI এর 100 দিনের 17 তম দিনের জন্য। আমি গড়ের উপরে নামে একটি নিউজলেটার লিখি যেখানে আমি বড় প্রযুক্তিতে ঘটছে এমন সবকিছুর পিছনে দ্বিতীয় ক্রম অন্তর্দৃষ্টি সম্পর্কে কথা বলি। আপনি যদি প্রযুক্তিতে থাকেন এবং গড় হতে না চান তবে । এতে সদস্যতা নিন AI এর 100 দিনের সর্বশেষ আপডেটের জন্য আমাকে , বা এ অনুসরণ করুন বা । আপনি যদি প্রযুক্তিতে থাকেন তবে আপনি প্রযুক্তি পেশাদারদের আমার সম্প্রদায়ে যোগদান করতে আগ্রহী হতে পারেন। Twitter LinkedIn HackerNoon- এই পৃষ্ঠাটি বুকমার্ক করুন এখানে
