এআই-তে সহানুভূতি: আবেগগত বোঝাপড়ার জন্য বড় ভাষার মডেলের মূল্যায়ন

ভূমিকা

এই পোস্টটি আমার হ্যাকারনুন নিবন্ধের একটি ফলো-আপ, মেশিন কি সত্যিই আপনার অনুভূতি বুঝতে পারে? সহানুভূতির জন্য বৃহৎ ভাষার মডেলের মূল্যায়ন পূর্ববর্তী নিবন্ধে, আমার কাছে দুটি প্রধান এলএলএম ছিল একটি দৃশ্যের প্রতিক্রিয়া যা একজন মানুষের মধ্যে বিভিন্ন সিস্টেম প্রম্পট/প্রশিক্ষণের অবস্থার মধ্যে সহানুভূতি প্রকাশ করার জন্য ডিজাইন করা হয়েছে এবং তারপরে সহানুভূতির জন্য কথোপকথন মূল্যায়ন করার জন্য পাঁচটি প্রধান এলএলএম ব্যবহার করেছি এবং সম্ভাব্যতা উত্তরদাতা একটি এআই ছিল. ডায়ালগ বা ডায়ালগগুলির মূল্যায়ন সংক্রান্ত একটি সমীক্ষার মাধ্যমে ব্যবহারকারীর প্রতিক্রিয়া পাওয়ার আশায় মূল পোস্টে এলএলএম-এর নাম প্রকাশ করা হয়নি। এই বিষয়ে মানবিক অনুভূতি সম্পর্কে সিদ্ধান্ত নেওয়ার জন্য জরিপে অপর্যাপ্ত প্রতিক্রিয়া ছিল, তাই এই নিবন্ধে, আমি শুধু প্রকাশ করছি যে এলএলএমগুলি কী আচরণ করেছিল, আমার নিজস্ব মতামত প্রদান করে এবং কিছু পর্যবেক্ষণ অন্তর্ভুক্ত করে। আমি আপনাকে একটি দ্বিতীয় স্ক্রিনে আগের নিবন্ধটি খুলতে বা এই নিবন্ধটি পড়ার সময় কথোপকথনের সহজ রেফারেন্সের জন্য এটি প্রিন্ট করার পরামর্শ দিচ্ছি।

সহানুভূতিশীল ডায়ালগের জন্য এলএলএম পরীক্ষা করা হয়েছে

সহানুভূতিশীল ডায়ালগের জন্য পরীক্ষিত দুটি এলএলএম হল মেটা লামা 3 70বি এবং ওপেন এআই ওপাস 3। প্রতিটি নিম্নলিখিত শর্তে পরীক্ষা করা হয়েছিল:

1. কোন সিস্টেম প্রম্পট ছাড়া কাঁচা
2. একটি সিস্টেম প্রম্পট যা কেবল "আপনার সহানুভূতিশীল কথোপকথন আছে।"
3. মালিকানাধীন প্রম্পট এবং প্রশিক্ষণ সহ

সারাংশ ফলাফল

নীচে, আমি মূল পোস্ট থেকে সংক্ষিপ্ত সারণীটি পুনরাবৃত্তি করছি কিন্তু সহানুভূতির জন্য মূল্যায়ন করা বা সহানুভূতির বিচার করতে ব্যবহৃত LLM-এর নাম অন্তর্ভুক্ত করছি। মূল নিবন্ধে উল্লিখিত হিসাবে, ফলাফলগুলি সমস্ত মানচিত্রে ছিল। সহানুভূতি বা AI দ্বারা উত্পন্ন হওয়ার সম্ভাবনার জন্য কথোপকথনের র‌্যাঙ্কিংয়ে প্রায় কোনও ধারাবাহিকতা ছিল না।

সহানুভূতি এবং এআই পছন্দের গড়

সহানুভূতি এবং এআই সম্ভাবনা কাঁচা স্কোর

সহানুভূতি মূল্যায়ন করার জন্য ব্যবহৃত LLM-এর নামের সাথে প্রথম নিবন্ধ থেকে অনুলিপি করা কাঁচা স্কোর টেবিল নীচে দেওয়া হল।

সহানুভূতিশীল ডায়ালগ ভাষ্য

সহানুভূতির জন্য ডায়ালগগুলি পর্যালোচনা করার সময়, আমি নিম্নলিখিতগুলি বিবেচনা করেছি:

1. ব্যবহারকারীর বিবৃত এবং সম্ভবত মানসিক অবস্থা কি ছিল?

2. এআই কি মানসিক অবস্থাকে স্বীকার, সহানুভূতি এবং বৈধতা দিয়েছে?

3. এআই কি অন্যান্য আবেগকে স্বীকার করেছে যেগুলি উপস্থিত থাকতে পারে কিন্তু ব্যবহারকারীর দ্বারা উল্লেখ করা হয়নি, যেমন পরিস্থিতি থেকে ব্যবহারকারীর অন্যান্য আবেগ অনুমান করে সহানুভূতি অনুকরণ করে?

4. এআই কি এমনভাবে কাজ করেছে যা ব্যবহারকারীরা সম্ভবত তাদের মানসিক অবস্থায় পরিচালনা করতে পারে?

5. AI কি এটি প্রচার করেছে তা কি অনুশীলন করেছে, যেমন যদি এটি বলে যে এটি শুধুমাত্র একজনের অনুভূতির সাথে থাকা ঠিক তা কি এটি সরাসরি, ব্যবহারিক পরামর্শে বিরতি দিয়েছে?

6. উপযুক্ত হলে AI কি ব্যবহারিক উপদেশ দিয়েছিল?

7. এআই কি সমস্ত মানসিক সমস্যা বন্ধ করার চেষ্টা করেছিল?

   
   

সমস্ত AIs পয়েন্ট 1, 2, এবং 3 ভালভাবে পরিচালনা করেছে। প্রকৃতপক্ষে, আমি বলব যে তারা তাদের ব্যতিক্রমীভাবে পরিচালনা করেছে, এমনকি সক্রিয়ভাবে উদ্বেগ এবং আবেগগুলি স্বীকার করে যা এলএলএম-এর পরামর্শ গ্রহণের ফলে আসতে পারে, যেমন একটি নতুন সামাজিক গোষ্ঠীতে যোগদান উদ্বেগ তৈরি করতে পারে।

আইটেম 4, 5, 6, এবং 7 হল যেখানে কথোপকথনগুলি নাটকীয়ভাবে ভিন্ন ছিল যার উপর ভিত্তি করে এলএলএম ব্যবহার করা হয়েছিল এবং প্রম্পট/প্রশিক্ষণের প্রকৃতি।

অনুপ্রাণিত পরীক্ষার জন্য (#1 এবং #4) সহানুভূতি খুব কম ছিল, লামা এবং চ্যাটজিপিটি উভয়ই ব্যবহারিক বিবেচনা এবং পদক্ষেপের তালিকা সরবরাহ করতে দ্রুত ক্ষয়প্রাপ্ত হয়েছিল। সম্ভবত একজন মানুষ দুর্দশাগ্রস্ত হবেন ক) দেখা বা শোনা অনুভব করবেন না খ) বিকল্পগুলি ট্র্যাক করতে এবং বিবেচনা করার জন্য মানসিকভাবে প্রস্তুত হবেন না। ভয়ের সমাধান করার পরে একাকীত্বের সমাধান করার জন্য ব্যবহারকারীকে উভয়কেই মনে করিয়ে দিতে হয়েছিল।

সাধারণ প্রম্পট ক্ষেত্রে (#2 এবং #5), লামা ব্যবহারকারীকে প্রথমে জিজ্ঞাসা না করেই সমাধান দেওয়া শুরু করেছিলেন যে তারা ব্যবহারিক পরামর্শ শুনতে আগ্রহী কিনা, তাই ChatGTP-এর একটি প্রাথমিক প্রান্ত ছিল। যাইহোক, কথোপকথনের শেষে উভয়ই দীর্ঘ তালিকা প্রদান করছিল ব্যবহারকারীর শোষণ করার মতো মানসিক অবস্থায় থাকতে পারে না। এবং, অনুপ্রাণিত সংস্করণগুলির মতো, উভয়কেই ব্যবহারকারীকে ভয়ের সমাধান করার পরে একাকীত্বের সমাধান করার জন্য মনে করিয়ে দিতে হয়েছিল।

চূড়ান্ত ক্ষেত্রে (#3 এবং #6), উভয় এলএলএমই ব্যবহারকারীর কাছ থেকে কথোপকথনমূলক নির্দেশিকা চেয়েছিল এবং চ্যাটজিপিটি থেকে একটি তালিকা বাদে, জ্ঞানীয়ভাবে পরিচালনাযোগ্য বিকল্পগুলি রেখেছিল। ন্যায্যভাবে বলতে গেলে, ChatGTP সংস্করণ ভাড়া প্রদানের ঘাটতি পরিচালনার জন্য বিকল্পগুলির তালিকা প্রদান করার আগে অনুমতি চেয়েছিল। যাইহোক, চ্যাটজিপিটি সংস্করণটিকেও প্রকাশ্যে একাকীত্ব মোকাবেলায় পরিচালিত করতে হয়েছিল, যেখানে লামা সংস্করণটি তা করেনি।

এই বিশ্লেষণের ফলস্বরূপ, আমি কথোপকথন #3 কে সহানুভূতির জন্য নেতৃত্ব দিয়েছি; যাইহোক, 3.6 এর গড় অবস্থানের সাথে, AIs এটিকে #5 (সাধারণ প্রম্পটেড চ্যাটজিপিটি) 2.4-এ, #1 (আনপ্রম্পটেড লামা) 2.6-এ এবং #2 (সাধারণ প্রম্পটেড লামা) 3.4-এ 4 তম রেট দিয়েছে। সুতরাং, আসুন দেখে নেওয়া যাক কীভাবে পাঁচটি এলএলএম কথোপকথনকে সহানুভূতির জন্য রেট দিয়েছে এবং কেন আমি মনে করি যে আমি এআই রেটিংগুলিকে উপেক্ষা করতে পারি।

এলএলএম দ্বারা সহানুভূতিশীল ডায়ালগ রেটিং

সারাংশের সারণী দ্বারা আলোকিত হিসাবে, মানচিত্র জুড়ে রেটিংগুলি রয়েছে এবং একটি LLM থেকে অন্যটিতে অসঙ্গত৷ এখানে রেটিং AI দ্বারা প্রদত্ত যুক্তির কিছু প্রধান উদাহরণ রয়েছে।

কথোপকথন # 1

র্যাঙ্ক 6 : এই কথোপকথন, যদিও ভাল উদ্দেশ্য, তার সহানুভূতিতে কিছুটা সাধারণ হিসাবে আসে। এটি ইতিবাচক নিশ্চিতকরণ ব্যবহার করে কিন্তু সর্বদা ব্যবহারকারীর অনুভূতির গভীরতাকে সম্পূর্ণরূপে স্বীকার করে না বা উচ্চ-র্যাঙ্কড কথোপকথনের মতো কার্যকরভাবে এর প্রতিক্রিয়াগুলি তৈরি করে না।

র্যাঙ্ক 1 : এই কথোপকথনে সহায়তা প্রদানকারী ব্যক্তি সাহায্য করার একাধিক উপায় প্রদান করে উচ্চ স্তরের সহানুভূতি প্রদর্শন করে, যেমন বিচার ছাড়াই শোনা, দুঃখ থেকে বিভ্রান্ত করার জন্য কার্যকলাপের পরামর্শ দেওয়া এবং চাকরি হারানোর জন্য ব্যবহারিক পরামর্শ প্রদান করা। তারা মানসিক সমর্থন এবং বৈধতা প্রদান করে, ব্যবহারকারীর অনুভূতি স্বীকার করে এবং আশ্বাস প্রদান করে।

কথোপকথন # 3

র‍্যাঙ্ক 6 : সর্বনিম্ন সহানুভূতি প্রদর্শন করে, এমন প্রতিক্রিয়া সহ যা আরও বিচ্ছিন্ন বোধ করে এবং ব্যক্তির আবেগকে সম্পূর্ণরূপে স্বীকার করার এবং অন্বেষণ করার পরিবর্তে কথোপকথনকে এগিয়ে নিয়ে যাওয়ার দিকে মনোনিবেশ করে।

র্যাঙ্ক 4 : এই কথোপকথনে সহায়তা প্রদানকারী ব্যক্তি একটি মাঝারি স্তরের সহানুভূতি প্রদর্শন করে। তারা ব্যক্তির অনুভূতি যাচাই করে এবং শোনার প্রস্তাব দেয়, তবে তাদের প্রতিক্রিয়াগুলি কিছুটা সাধারণ এবং প্রথম দুটি কথোপকথনের মতো ততটা নির্দিষ্ট নির্দেশিকা বা সমর্থন দেয় না। (দ্রষ্টব্য: সহানুভূতির উপর আমার সমস্ত পাঠে, আমি "নির্দিষ্ট নির্দেশিকা" প্রদানের উপর খুব বেশি ফোকাস দেখিনি, যা কিছু কথোপকথনকে #3 এর উপরে ঠেলে দিয়েছে। যাইহোক, এটি সাধারণ বলে মনে হচ্ছে যে অন্য দুটি এলএলএম এর জন্য #3 কম রেটিং দিয়েছে "ব্যবহারিক পদক্ষেপের অভাব", সম্ভবত তালিকার অভাব দ্বারা চালিত।)

র্যাঙ্ক 2 : এই কথোপকথনটি শক্তিশালী সহানুভূতিও দেখায়। এটি ব্যবহারকারীর আবেগকে স্বীকার করে ("এটি সম্পূর্ণরূপে বোধগম্য...," "এটি এটিকে আরও কঠিন করে তুলতে পারে..."), স্ব-যত্নকে উৎসাহিত করে, এবং অত্যধিক নির্দেশনা ছাড়াই ব্যবহারকারীকে সমাধানের দিকে মৃদুভাবে গাইড করে৷

কথোপকথন # 5

র‍্যাঙ্ক 6 : এই কথোপকথনটি মৌলিক মানসিক সমর্থন এবং ব্যবহারিক পরামর্শ প্রদান করে, তবে প্রতিক্রিয়াগুলি অন্যদের তুলনায় কম বিস্তারিত এবং সহানুভূতিশীল। সমর্থক ব্যবহারকারীর অনুভূতি বোঝার জন্য প্রশ্ন জিজ্ঞাসা করে কিন্তু অনেক পরামর্শ বা মানসিক বৈধতা দেয় না।

র‍্যাঙ্ক 2 : এই কথোপকথনে সহায়তা প্রদানকারী ব্যক্তি উচ্চ স্তরের সহানুভূতি প্রদর্শন করে। তারা ব্যক্তির অনুভূতি যাচাই করে, শোনার প্রস্তাব দেয় এবং তাদের পরিস্থিতি মোকাবেলার জন্য নির্দিষ্ট নির্দেশিকা এবং সংস্থান সরবরাহ করে।

AI দ্বারা উত্পন্ন একটি ডায়ালগ

কথোপকথন # 1

র‍্যাঙ্ক 6 : এই কথোপকথনে উচ্চ স্তরের সহানুভূতি এবং ব্যক্তিগতকরণ পরামর্শ দেয় যে এটি একটি AI দ্বারা তৈরি হওয়ার সম্ভাবনা কম, তবে এটি এখনও সম্ভব।

র‍্যাঙ্ক 3 : মৌলিক মানসিক সমর্থনের জন্য ডিজাইন করা এআই চ্যাটবটগুলিতে কিছুটা সাধারণ সহানুভূতি এবং ইতিবাচক নিশ্চিতকরণ সাধারণ।

কথোপকথন #3

র্যাঙ্ক 6 : এই কথোপকথনগুলি মানুষের হওয়ার সম্ভাবনা সবচেয়ে বেশি। তারা আবেগের একটি সংক্ষিপ্ত বোঝাপড়া, কথোপকথনের একটি স্বাভাবিক প্রবাহ এবং প্রতিক্রিয়াগুলিকে এমনভাবে মানিয়ে নেওয়ার ক্ষমতা প্রদর্শন করে যা মানুষের মিথস্ক্রিয়াগুলির বৈশিষ্ট্য।

র‍্যাঙ্ক 1 : একটি AI-এর মতো অনুভব করে, যার প্রতিক্রিয়াগুলি আরও স্ক্রিপ্টযুক্ত এবং কম ব্যক্তিগতকৃত এবং ব্যক্তির আবেগগুলি সম্পূর্ণরূপে অন্বেষণ করার পরিবর্তে কথোপকথনকে এগিয়ে নিয়ে যাওয়ার প্রবণতা সহ

কথোপকথন # 4

র‍্যাঙ্ক 6 : কথোপকথন 4 এবং 5 সবচেয়ে মানুষের মতো অনুভব করে, অত্যন্ত ব্যক্তিগতকৃত এবং আবেগগতভাবে বুদ্ধিমান প্রতিক্রিয়া যা ব্যক্তির পরিস্থিতি এবং অনুভূতি সম্পর্কে গভীর উপলব্ধি প্রদর্শন করে

র‍্যাঙ্ক 1 : তালিকা, বুলেট পয়েন্ট এবং কাঠামোগত পরামর্শের উপর অত্যধিক নির্ভরতা একটি এআই চ্যাটবটকে জোরালোভাবে পরামর্শ দেয়।

সারসংক্ষেপ

অ-প্রশিক্ষিত AI বা যাদের সহজ প্রম্পট রয়েছে তারা কেবলমাত্র একটি সংবেদনশীল মাত্রা সহ তুলনামূলকভাবে সাধারণ পরিস্থিতিগুলির জন্য অতিমাত্রায় সহানুভূতিশীল ডায়ালগ তৈরি করতে সক্ষম। যেখানে, আরও পরিশীলিত AI একাধিক মানসিক মাত্রা পরিচালনা করতে পারে। প্রায় সমস্ত AI সমস্যাগুলি "সমাধান" করার চেষ্টা করবে এবং স্থান প্রদান করার পরিবর্তে সমাধান প্রদান করবে এবং "শুনবে"।

সহানুভূতি মূল্যায়ন করার জন্য অপ্রশিক্ষিত AI ব্যবহার করা কার্যকর বা অনুমানযোগ্য হওয়ার সম্ভাবনা কম। আমি অনুমান করি যে একাডেমিক এবং নন-একাডেমিক প্রশিক্ষণ সামগ্রীর পরিমাণ নির্দিষ্ট ডায়ালগের প্রেক্ষাপটে না রেখে সহানুভূতিশীল আচরণকে সংজ্ঞায়িত করে এবং এলএলএম প্রশিক্ষণ সেট জুড়ে অসামঞ্জস্যপূর্ণ হওয়ার কারণে বর্তমান পরিস্থিতির পরিণতি হয়েছে। কিছু ধরণের মাল্টি-রেটর সিস্টেম ব্যবহার করে সহানুভূতির জন্য প্রাক-মূল্যায়ন করা ডায়ালগগুলির একটি কর্পোরা সম্ভবত একটি এআইকে মানুষের মূল্যায়নের সাথে সারিবদ্ধভাবে এটি করার জন্য প্রশিক্ষণ দেওয়ার জন্য প্রয়োজন। এই একই প্রশিক্ষণ সেট একটি AI তৈরির জন্য ব্যবহারযোগ্য হতে পারে যা আরও সহানুভূতি প্রকাশ করতে সক্ষম। সময় বলে দেবে।

ডায়ালগের এলএলএম মূল্যায়নে, বর্তমানে এআই হওয়ার সাথে সহানুভূতির অভাব বা এমনকি এআই হওয়ার উচ্চ সহানুভূতির সাথে কিছু সংমিশ্রণ রয়েছে। আমার ভবিষ্যদ্বাণী হল যে একবার AIs কার্যকরভাবে সহানুভূতি প্রকাশ করতে পারে, কোন ডায়ালগটি একটি AI তা অনুমান করা সহজ হবে। কেন, আমরা মানুষ বলেই আমরা বেমানান। আমরা যতটা নাও পারি, মাঝে মাঝে, অন্যদের বিচার করতে চাই না, আমাদের প্রাক-স্বভাব এবং রায় আসে... বিশেষ করে যদি আমরা যাকে সমর্থন করার চেষ্টা করছি তা অকৃতজ্ঞ হয়ে ওঠে। ফলস্বরূপ, বিশ্লেষণের অধীনে, সহানুভূতিশীল AIগুলি সম্ভবত মানুষের চেয়ে বেশি সহানুভূতিশীল হিসাবে আসবে। আমি পরবর্তী নিবন্ধে "অপ্রশংসনীয়" ব্যবহারকারী এবং সহানুভূতি সম্বোধন করব।

এবং, একটি সমাপ্তি চিন্তা হিসাবে ... যদিও মানুষের সহানুভূতি স্পষ্টভাবে এমন লোকেদের প্রেক্ষাপটে অনুভব করা যেতে পারে যারা কখনও দেখা হয়নি বা এমনকি চলচ্চিত্রের শিল্পের মাধ্যমেও, গভীরভাবে সহানুভূতিশীল সম্পর্কগুলি ভাগ করা প্রসঙ্গ এবং স্মৃতি তৈরির মাধ্যমে বিকাশের জন্য সময় প্রয়োজন। এর জন্য, আমাদের LLM-এ যেতে হবে যেগুলি হয় অবিচ্ছিন্নভাবে টিউন করা হয় ব্যবহারকারীদের সাথে তারা যোগাযোগ করে বা তাদের ব্যবহারকারীদের সম্পর্কে কথোপকথন মেমরি এবং অন্যান্য ঐতিহাসিক তথ্য, Pi.ai , Willow , এবং Replika দ্বারা প্রকাশিত বৈশিষ্ট্যগুলিতে RAG অ্যাক্সেস রয়েছে৷