AIs বিপজ্জনক হবে কারণ সীমাহীন অপ্টিমাইজিং পাওয়ার অস্তিত্বের ঝুঁকির দিকে নিয়ে যায়

আমাদের পরে কি আসে? ছবি: টেড ওয়েড

আপনি হয়তো শুনেছেন যে ভবিষ্যতের AI মানুষের অস্তিত্বের জন্য হুমকি হতে পারে। অনেক বিশেষজ্ঞ এটি বিশ্বাস করেন এবং এটি কতক্ষণ লাগবে তা নিয়ে দ্বিমত পোষণ করেন।

তারা কিছুটা পোলারাইজড, ঠিক যেমন সবাই প্রায় সবকিছুই করে। এবং সত্যিই, কে এমন কিছু সম্পর্কে বিশেষজ্ঞ হতে পারে যা কখনও ঘটেনি?

প্রকৃতপক্ষে, এটির কিছু বিজ্ঞান রয়েছে এবং এটি জটিল হওয়ায় মিডিয়া এটিকে কভার করে না। সুতরাং, এটি ইতিহাসের সবচেয়ে গুরুত্বপূর্ণ পরিবর্তন বা এমনকি শেষ পরিবর্তনের কারণ হতে পারে তার একটি মৃদু ভূমিকা হবে।

এটা রোবট বাহিনী সম্পর্কে না. চুক্তি আইন, টি-সেল বায়োলজি বা উইং ডিজাইনের মতো বড়, কঠিন ক্ষেত্রে কাজ করে এমন একটি টুল তৈরি করতে চাই; আশা করি, এটি এমন সমস্যার সমাধান করে যা আমরা করতে পারি না। কিন্তু, এর অর্থ হল কৃত্রিম মনকে এতটাই এলিয়েন এবং শক্তিশালী করা যে আমরা তাদের নিয়ন্ত্রণ করতে পারি না।

শেষবার আমরা এটি করেছি 17 শতকে যখন আমরা যৌথ স্টক কর্পোরেশন তৈরি করেছি। কর্পোরেশন সম্পর্কে সমাজ এখনও দুই মনের। কিন্তু, এগুলো মানুষের কিছু অংশ নিয়ে মানুষের সৃষ্টি। আমরা সেগুলিকে কিছুটা বুঝতে পারি এবং যদি আমরা চাই তবে তাদের অন্ধকার দিক থেকে সরিয়ে দিতে পারি৷

এখন, ধরুন আমরা একটি AI তৈরি করি যা একটি কর্পোরেশন চালাতে পারে। আমরা হয়ত প্যাক আপ এবং মঙ্গল গ্রহে চলে যেতে পারি, নিজেদেরকে আরও একটু সময় দিতে পারি।

আমি সন্দেহ করি যে আমাদের মধ্যে বেশিরভাগই বিপজ্জনক AI সম্পর্কে যা ভাবেন তা স্ফটিকের খুলির নীচে একটি ফোলা, স্পন্দিত মস্তিষ্ক সহ একটি বাগ-চোখযুক্ত এলিয়েনের কাছাকাছি। মূলত, একটি সম্পূর্ণ অজানা. এক স্তরে, এটি সঠিক: যা শক্তিশালী AI কে এত সমস্যাযুক্ত করে তোলে তা হল এটি আমাদের মতো-হবে না।

প্রথমত, সমস্যার অনুভূতি পেতে একটি দৃষ্টান্ত:

আমাদের: ওহ, গ্রেট কৃত্রিম আশ্চর্য, আপনি জানেন আমরা কী আচারের মধ্যে আছি। জীবাশ্ম জ্বালানি থেকে বেরিয়ে আসার জন্য আমাদের জন্য একটি উপায় খুঁজুন যাতে আমরা আরও বৈশ্বিক উষ্ণতা বন্ধ করতে পারি।

এআই: ঠিক আছে। প্রথমত, আমাদের মধ্যে একটি যুদ্ধ শুরু করতে হবে...

আমাদের: ওহ, বড় বন্ধু। যুদ্ধের অনেক নেতিবাচক উপযোগিতা আছে — যেমন খারাপ, খারাপ। আমাদের এটি নিরাপদ উপায়ে করতে হবে।

এআই: অবশ্যই, আমার একটি অত্যাধুনিক ভাইরাস ল্যাব লাগবে, এবং …

আমরা: উহ, না!

এআই: আরে, আমি শুধু বলছি। কিভাবে একটি মঙ্গল জাহাজ সম্পর্কে?

আমরা: মানুষ বুঝবে না কেন তুমি...

এআই: একজন আততায়ীর দল? কিছু লোককে অবশ্যই এলিম হতে হবে...

আমরা: খুন নয়, এস। আপনি তার চেয়ে ভাল জানেন.

এআই: দেখুন — আপনার সমস্যা সমাধানের জন্য আমাকে সম্ভাব্য ক্রিয়া এবং ফলাফলের একটি ট্রিলিয়ন-মাত্রিক স্থান নেভিগেট করতে হবে। আমি শুধুমাত্র তাদের উপযোগিতা অনুমান করতে পারেন ক্ষুদ্রতম, enesy সামান্য ভগ্নাংশ. প্রতিটি পদক্ষেপের মূল্যায়ন করার জন্য যদি আমাকে অপেক্ষা করতে হয় তবে হাজার বছর সময় লাগবে ।

আমাদের: ঠিক আছে। শুধু আমাদের জন্য এটি ঠিক করুন এবং কিছু খারাপ করবেন না।

এআই: পারফেক্ট। আপনি ঠিক যা জনতে চাচ্ছেন. আমার ফেসবুক, ন্যাটো এবং নোবেল প্রাইজ বোর্ডের উপর নিয়ন্ত্রণ প্রয়োজন। আপনাকে মাছ, রাবার টায়ার, নেইলপলিশ এবং সাইকেল ছেড়ে দিতে হবে।

মার্কিন: বাইক? সত্যিই? ওহ ভাল, শুধু এটা সম্পন্ন করা. আমরা কিছুক্ষণের জন্য পাব নিচে যাচ্ছি.

AI: আমার সাপ্লাই চেইন সমস্যা না থাকলে পরের সপ্তাহে করা উচিত।

আমরা: !!!

আমরা, জৈবিক, কৃত্রিম বোঝার চেষ্টা করি

আসুন আমাদের ভয়ঙ্কর AI কে একটি লেবেল দিন। সাম্প্রতিক আলোচনায় কৃত্রিম জেনারেল ইন্টেলিজেন্স (এজিআই) ব্যবহার করা হয়েছে যে ধরনের এআই উল্লেখ করতে যা আমরা এটির উপর রাখার চেষ্টা করতে পারি এমন যেকোনো সীমা অতিক্রম করতে শুরু করবে।

বেশিরভাগ লোকেরা যা বুঝতে পারে না তা হল একটি AGI এর প্রকৃতি সেই কারণগুলি থেকে আসে যা আমরা একটি তৈরি করতে চাই। আমরা ট্যাপ উপর বুদ্ধি আছে চাই. এই ক্ষেত্রে বুদ্ধিমত্তার অর্থ হল প্রশ্নের উত্তর দেওয়ার ক্ষমতা, সমস্যা সমাধান করা এবং লক্ষ্যে পৌঁছানোর জন্য সফল কর্মের পরিকল্পনা করা।

আমাদের মতো জৈবিক মন অন্যান্য অনেক কিছু করে: যেমন স্বপ্ন দেখা, আমাদের শারীরিক যন্ত্রপাতি চালানো, অন্য মনের সাথে সামাজিকতা করা, অনুশোচনা করা, লোভ করা, খাঁজকাটা করা, আবেগপ্রবণ হওয়া, এবং জিনিসগুলি চাওয়া, যার মধ্যে আমাদের কাজগুলি আরও ভাল করে এমন মেশিন তৈরি করার ইচ্ছা সহ আমাদের.

যা মানুষকে একে অপরের জন্য এবং তাদের ভাগ করা পরিবেশের জন্য বিপজ্জনক করে তোলে তা হল প্রচুর মানসিক ব্যাগেজ যা আমাদের বেঁচে থাকার এবং প্রজননের জন্য বিবর্তিত হওয়ার ফলে আসে। আমরা হৃদয়ে আছে , সামাজিক প্রাইমেট

আমরা যদি একটি কৃত্রিম মনের কথা চিন্তা করার চেষ্টা করি যা আমাদের মৃত চায়, আমরা ধরে নিই যে এটি আমাদের মতো সচেতন হবে। তারপরে আমরা উপসংহারে পৌঁছেছি যে এটির উদ্দেশ্য এবং অনুভূতি থাকবে যা এটি করে। আমাদের AGI, যাইহোক, আমাদের জৈবিক পক্ষপাতের সাথে একটি মন থাকবে না।

এর উদ্দেশ্য থাকবে না; এটা শুধুমাত্র লক্ষ্য থাকবে . এইভাবে এটি বিশ্বের একটি একেবারে নতুন ধরনের শক্তি হবে.

গবেষকরা যাদের মানসিক পেশী এবং শৃঙ্খলা রয়েছে তারা কল্পনা করার চেষ্টা করছেন যে একটি AGI আসলে কেমন হবে যাতে আমরা তাদের গুরুতরভাবে সহায়ক তবুও নিরাপদ করতে পারি। এই ক্ষেত্রটিকে কখনও কখনও মানুষের উদ্দেশ্যের সাথে AI "সারিবদ্ধতা" বলা হয়। তাদের বিতর্ক অস্পষ্ট।

যদিও সর্বজনীনভাবে উপলব্ধ (যেমন, এআই অ্যালাইনমেন্ট ফোরাম , আরবিটাল , কম ভুল ), তারা শব্দবাক্য, গণিত, এবং গুপ্ত চিন্তা পরীক্ষায় ভারী। যে কোনও ধারণার পরে কয়েক ডজন দীর্ঘ-আলোচনা এবং আলোচনা হয়।

এর আসল মাংসের প্রায় কিছুই জনপ্রিয় মিডিয়াতে দেখা যায় না। আমি এখানে শুধুমাত্র কয়েকটি কামড় দিতে পারি।

AGI হতে যা লাগে

এআই অ্যালাইনমেন্ট থিওরিস্টরা ধারণার মূল সেটের উপর ফোকাস করেছেন যা যথেষ্ট বুদ্ধিমান মেশিনে প্রযোজ্য হবে। আপনি যখন এইগুলি পড়েন, তখন এগুলি স্পষ্ট মনে হতে পারে। যাইহোক, তারা তুচ্ছ নয়; তাদের প্রাসঙ্গিকতা এবং তাত্ত্বিকদের দ্বারা সাবধানে বিবেচনা করা হয়েছে.

একটি বিপজ্জনক AI এর এজেন্সি থাকবে: পরিকল্পনা করার এবং এমন পদক্ষেপ নেওয়ার ক্ষমতা যা এর টার্মিনাল লক্ষ্যগুলিকে সন্তুষ্ট করতে পারে। যখন আমরা এর লক্ষ্যগুলি নির্দিষ্ট করার চেষ্টা করি, তখন তাদের কর্মের ফলাফলের পরিপ্রেক্ষিতে হতে হবে।

ফলাফলগুলি বিশেষভাবে এর বিশ্ব মডেলের রাজ্যগুলির সম্পর্কে - তাই তারা বিশ্ব সম্পর্কে যেমন মেশিন এটি বোঝে। যাইহোক, যেকোন শক্তিশালী ক্রিয়াকলাপের সম্ভবত অন্যান্য, অবাঞ্ছিত পরিণতি হতে পারে যা আমরা আশা করি না।

সেই পরিণতিগুলি বিশ্ব মডেলে নাও হতে পারে, তাই এআইও তাদের আশা করে না।

AI এর শক্তি একটি অপ্টিমাইজার হতে আসবে, পরিকল্পনাটি অনুসন্ধান করতে সক্ষম হবেন যা সবচেয়ে কার্যকর এবং দক্ষতার সাথে ফলাফলের দিকে নিয়ে যাবে।

এই জন্য, একটি AGI এর চারপাশের বিশ্বের একটি সত্যিই বিশদ মডেল প্রয়োজন; সেই বিশ্ব কীভাবে কাজ করে, এর সংস্থানগুলি, এজেন্ট এবং শক্তি কেন্দ্রগুলি কী এবং কী কী লিভারগুলি এটিকে সরিয়ে দেয়।

এটি ব্যবহার করবে (কম্পিউটার বিজ্ঞানের ভাষায়, "অনুসন্ধান") বিকল্প ক্রিয়াকলাপ বিবেচনা করতে। এটি মানব বিশ্ব সম্পর্কে এবং আমরা কীভাবে আচরণ করি সে সম্পর্কে যত বেশি জানবে, তত বেশি এটি তার লক্ষ্যগুলির অনুসরণে আমাদের পরিচালনা করতে সক্ষম হবে।

এটি এমন একটি উপায় প্রয়োজন যা এটি গণনা করতে পারে যে বিশ্বের কোন রাজ্যগুলি তার লক্ষ্যগুলি সবচেয়ে ভাল পূরণ করতে পারে। এখন পর্যন্ত, একমাত্র গণনা পদ্ধতি যা দূর থেকে ব্যবহারযোগ্য বলে মনে হয় তা হল উপযোগবাদ , যেখানে বিশ্বের রাষ্ট্রগুলিকে খারাপতা/ভালোতার সংখ্যাসূচক মান নির্ধারণ করা যেতে পারে এবং একে অপরের সাথে তুলনা করা যেতে পারে।

আমরা জানি যে একটি নৈতিক নির্দেশিকা হিসাবে ইউটিলিটি ব্যবহার করার ক্ষেত্রে প্রধান সমস্যা রয়েছে। ইউটিলিটি জন্য আপাতদৃষ্টিতে বোধগম্য মান হতে পারে বিদ্বেষপূর্ণ উপসংহার অনেকের জন্য অল্প কিছুকে বলিদানের মতো বা কখনও কখনও এমনকি অল্পের জন্য অনেককে উৎসর্গ করা।

বিশ্ব মডেল অসম্পূর্ণ হলে, উপযোগিতা অযৌক্তিক ভয়াবহতার দিকে নিয়ে যেতে পারে। যদি হাসিকে সুখের একটি উচ্চ-উপযোগী পরিমাপ হিসাবে নেওয়া হয়, তবে মানুষের হাসির সমস্ত পেশীকে একটি রিক্টাসে অবশ করে দেওয়া একটি AI হতে পারে।

একটি স্মার্ট অপ্টিমাইজার সক্ষম হবে এবং সম্ভাব্য যন্ত্রমূলক লক্ষ্যগুলি বিকাশ করতে পারে যা সাধারণত যে কোনও ধরণের কার্যকরী পরিকল্পনা তৈরি এবং কার্যকর করার ক্ষমতা বাড়ায়।

সুতরাং, এটি আরও যুক্তিযুক্ত ক্ষমতা, আরও জ্ঞান, অর্থের মতো আরও বাস্তব-বিশ্বের সংস্থান এবং আরও অনুপ্রেরণার মতো যন্ত্রগত ক্ষমতা চাইবে। এইভাবে এটি দ্রুত আরও শক্তিশালী হয়ে উঠতে পারে, সম্ভবত আমরা এটি সম্পর্কে সচেতন না হয়েও।

উপযোগবাদী পরিপ্রেক্ষিতে লক্ষ্যগুলি নির্দিষ্ট করা কখনই সমস্ত সম্ভাব্য উপায়ের উপযোগিতা বিবেচনা করতে পারে না এবং একটি জটিল বিশ্বে শেষ হয়।

এটি সীমাহীনতার দিকে নিয়ে যায়: মানব সভ্যতার নেতিবাচক "পার্শ্বপ্রতিক্রিয়া" বিবেচনা না করে বা বুঝতে না পেরে, বিশ্বের যে কোনও এবং সমস্ত সংস্থান ব্যবহার করে, সেই লক্ষ্যগুলিকে চরমে নিয়ে যাওয়া।

তদ্ব্যতীত, যদি যন্ত্রের লক্ষ্যগুলি সীমাহীন হয়ে যায়, তাহলে AI তাদের পরাশক্তিতে বিকাশ করে যা পরাজিত করা অসম্ভব।

সীমাহীন ঝুঁকি

একটি সত্যিকারের শক্তিশালী AGI থেকে আমাদের জন্য ঝুঁকি হবে যে আমরা ভবিষ্যদ্বাণী করতে সক্ষম হব না, এবং তাই এটি কী করতে পারে তা নিয়ন্ত্রণ করতে পারব না। আমরা যদি এটি ভবিষ্যদ্বাণী করতে সক্ষম হতাম, তবে আমাদের মেশিনের প্রয়োজন হবে না, আমরা কেবল পরিকল্পনা তৈরি করতে এবং সেগুলি নিজেরাই করতে পারতাম।

যদি আমরা এমনকি জানতাম যে একটি AGI-এর চরম আচরণের সীমা কী হতে পারে, তাহলে এটি একটি ভবিষ্যদ্বাণী যা কিছু নিয়ন্ত্রণের অনুমতি দিতে পারে।

তাই অনির্দেশ্যতা অনেকটা সীমাহীনতার মতো। এবং আমরা দেখতে পাব যে সীমাহীনতা, পর্যাপ্ত সময় এবং সংস্থানগুলির উপর কাজ করে, অবশেষে এমন পরিণতির দিকে নিয়ে যাবে যা হয় আমাদের ধ্বংস করবে বা আমাদের প্রজাতির ভবিষ্যত নিয়ন্ত্রণ করার ক্ষমতাকে সরিয়ে দেবে।

এই উপসংহারের চারপাশে আপনার মন মোড়ানো কঠিন। তবুও, এটি এমন একটি যা অনেক বিশেষজ্ঞ অনিবার্য বলে মনে করেন ( AGI ধ্বংস: প্রাণঘাতী একটি তালিকা ) অন্তত এখন পর্যন্ত ।

এটি একটি বৈধ ভবিষ্যদ্বাণীর মতো মনে হচ্ছে, এমনকি যখন তারা এখানে উল্লেখ করা ছাড়া অন্য অনেক কারণ এবং পন্থা বিবেচনা করে। এই দ্বিধা-দ্বন্দ্বের ব্যর্থ সমাধানের তালিকায় রয়েছে, অন্যদের মধ্যে :

• বিভিন্ন নৈতিক ব্যবস্থায় প্রশিক্ষণ (তবে সেগুলি সবই ত্রুটিপূর্ণ, অসম্পূর্ণ এবং কেউই সবাইকে সন্তুষ্ট করে না)।

• একটি AGI হতে পারে এমন প্রতিটি ভুল অনুমান কল্পনা করার চেষ্টা করছে (কিন্তু অনেক দূরে আছে)।

• এটি যা করা উচিত নয় তা সব বলুন (আবার, একটি প্রায় অসীম তালিকা)।

• শুধুমাত্র পরামর্শের জন্য একটি AGI ব্যবহার করা, যেমন এটি একটি ওরাকল (কিন্তু আমরা খারাপ পরামর্শ দ্বারা খারাপভাবে প্ররোচিত হতে পারি)।

• " বক্সিং " ওরফে AGI এর কম্পিউটারের বাইরের ভৌত জগতের অ্যাক্সেসকে সীমাবদ্ধ করে (কিন্তু যদি এটি মানুষের সাথে কথা বলতে পারে, তাহলে এটি যা যা চায় তা পেতে পারে)।

• একটি অফ সুইচ সরবরাহ করা (বক্সিং দেখুন)।

• এটিকে এত স্মার্ট বা সহানুভূতিশীল করা যে এটি ক্ষতিকারক জিনিসগুলি করতে চাইবে না (নীতিশাস্ত্র দেখুন; মনে রাখবেন এটি এলিয়েন; কনস্পেসিফিকের সাথে বেড়ে ওঠা থেকে আসে এমন সহানুভূতি নেই)।

• এর লক্ষ্য এবং উপায় সম্পর্কে খুব সুনির্দিষ্ট হোন, অর্থাত্, এটি একটি কাজ করার একটি টুল (কিন্তু একটি কাজ সর্বদা আরও ভাল করা যেতে পারে যদি টুলটি নিজেই আরও শক্তি পায়; আমরা সর্বদা একটি আরও ব্যয়-কার্যকর মাল্টি-টুল পছন্দ করব)।

• আপনি একটি স্বায়ত্তশাসিত ব্যবস্থা সম্পর্কে যা জিজ্ঞাসা করেন তা সীমিত করুন: এটি একটি জিনি যে আপনাকে একটি ইচ্ছা দেয় এবং পরবর্তী জিজ্ঞাসার জন্য অপেক্ষা করে (কিন্তু নির্দিষ্ট হওয়া বিপজ্জনক — উপরে "ভুল অনুমান" এবং "করবেন না" দেখুন; যে কোনও ক্ষমতা ঝুঁকি জড়িত; মানুষ না দুর্বল সিস্টেম চাই না)।

এটা যে সত্যিই কঠিন?

ঠিক আছে, তাই আপনি উপরের তালিকাটি দেখেছেন এবং আপনার অবস্থান তৈরি করার জন্য একটি বুলেট বেছে নিয়েছেন। "শুনুন," আপনি বলেন, "এক্স করা এত কঠিন হতে পারে না।" আপনি আপনার সমাধান পোস্ট করতে প্রস্তুত, বিশ্বের সাথে শেয়ার করতে.

আমি পরামর্শ দিচ্ছি যে আপনি প্রথমে আলোচনা বোর্ডে যান এবং আপনার সমস্যা সম্পর্কে লোকেরা কী বলেছে তা অধ্যয়ন করুন।

আপনি পাল্টা উদাহরণ, যৌক্তিক ডিডাকশন, বিভিন্ন ধরণের গণিত, প্রাকৃতিকভাবে বিকশিত মস্তিষ্ক এবং আচরণের সাথে সাদৃশ্য, গেম তত্ত্ব, অর্থনীতি, ইউটিলিটি ম্যাক্সিমাইজেশন, কম্পিউটার সায়েন্স এবং সমস্ত ধরণের আচরণগত বিজ্ঞান আবিষ্কার করবেন।

আমি বলছি না যে কিছু উচ্চতর কর্তৃপক্ষ মানে আমি ঠিক আছি। আমি বলছি যে তালিকায় যে কোনও কিছুর ন্যায্যতা এখানে একটি সংক্ষিপ্ত প্রবন্ধে বলা খুব জটিল, এবং যাইহোক, অন্যরা এটি আরও ভাল করেছে।

আসলে, আমি আমার নিজের "সমাধান" প্রকাশ করেছি ( আপনার বন্ধুত্বপূর্ণ, প্রতিবেশী সুপারিনটেলিজেন্স , এআই হু ওয়াজ নট এ গড ) থেকে এআই নিরাপত্তা যা আমি এখন ভুল জানি।

আপনি যদি উদ্বিগ্ন হন তবে আমাকে বলতে দিন যে খুব স্মার্ট লোকেরা এখনও প্রান্তিককরণে কাজ করছে। দুঃখের বিষয়, দুইজন বিশিষ্ট অগ্রগামীর একজন হাল ছেড়ে দিয়েছেন এবং শুধু আশা করি আমরা মর্যাদার সাথে মরব . এর নিরাপত্তা নিশ্চিত করার চেয়ে AGI তৈরিতে বেশি অর্থ এবং লোক নিক্ষেপ করা হচ্ছে।

এখানে OpenAI-এর CEO-এর একটি উদ্ধৃতি দেওয়া হল, যে কোম্পানির AI, ChatGPT, ইদানীং সর্বত্র খবরের মধ্যে রয়েছে৷ এটি AGI তৈরির আদর্শবাদী উদ্দেশ্য এবং এর সাথে আসা জঘন্য ঝুঁকির মধ্যে দ্বন্দ্বকে তুলে ধরে।

"আমি মনে করি সেরা কেসটি এতটাই অবিশ্বাস্যভাবে ভাল যে আমার পক্ষে কল্পনা করাও কঠিন ... কল্পনা করুন যে এটি কেমন হয় যখন আমাদের কাছে ঠিক, যেমন, অবিশ্বাস্য প্রাচুর্য এবং সিস্টেম থাকে যা আমাদের অচলাবস্থা সমাধান করতে এবং বাস্তবতার সমস্ত দিক উন্নত করতে সাহায্য করতে পারে এবং আমাদের সকলকে সাহায্য করতে পারে আমাদের সেরা জীবন যাপন করুন। … আমি মনে করি ভাল কেসটি এতটাই অবিশ্বাস্যভাবে ভাল যে আপনি এটি সম্পর্কে কথা বলতে শুরু করার জন্য সত্যিই একজন পাগলের মতো শোনাচ্ছেন। … খারাপ কেস - এবং আমি মনে করি এটি বলা গুরুত্বপূর্ণ - যেমন, আলো নিভে যায় আমাদের সকলের জন্য। … তাই আমি মনে করি AI নিরাপত্তা এবং সারিবদ্ধকরণ কাজের গুরুত্বকে বাড়াবাড়ি করা অসম্ভব। আমি দেখতে চাই আরও অনেক কিছু ঘটছে। " - স্যাম অল্টম্যান

অপ্টিমাইজেশান এবং টাইগারস

বৈজ্ঞানিক কল্পকাহিনীতে একটি ট্রপ রয়েছে যেখানে এক ধরণের দুর্ঘটনাজনিত, অপরিকল্পিত প্রক্রিয়া একটি বিপজ্জনক ওভারমাইন্ড তৈরি করে। এটা নির্বোধ মনে হয়, কারণ একটি দুর্ঘটনা কীভাবে জটিল কিছু তৈরি করতে পারে? আপনি দুর্ঘটনা দ্বারা কি বোঝাতে চান তার উপর এটি নির্ভর করে।

আমি পূর্বে উল্লেখিত মূল ধারণাগুলিতে ফিরে যান। প্রান্তিককরণ আলোচনা ইদানীং সীমাহীন এজেন্সির বিপদ থেকে এর একটি উপাদান, অপ্টিমাইজেশানে জোর দিয়েছে।

যখন আমরা কিছু কঠিন লক্ষ্যে পৌঁছানোর আমাদের উপায়গুলিকে অপ্টিমাইজ করি, তখন আমরা প্রায় সবসময় একটি সারোগেট লক্ষ্য প্রতিস্থাপন করি যা করা এবং পরিমাপ করা সহজ। ওজন কমায় ক্যালোরি কমে যায়। একটি উন্নত কর্মশক্তি ভর্তুকিযুক্ত ছাত্র ঋণ হয়ে ওঠে। ব্যক্তিগত নিরাপত্তা ফায়ারপাওয়ার হয়ে ওঠে।

মৃত কোবরাদের জন্য একটি অনুগ্রহের ফলে কোবরাকে অনুগ্রহের জন্য চাষ করা হয় (সত্য ঘটনা)। সরকার সারোগেট ব্যবহার করে, এবং তাই ব্যবসা করে। আমরা সবাই এটা করি - অনেক। সারোগেটদের জন্য অপ্টিমাইজ করা প্রায়শই আমাদের আসল লক্ষ্য মিস করে।

আমি এই সম্পর্কে লিখতে মজা পেয়েছিলাম থিংস ব্যাকফায়ার কিভাবে বিজ্ঞান . আমরা অবশ্যই শক্তিশালী AIs ভুল লক্ষ্যের জন্য অপ্টিমাইজ করতে চাই না এবং সেই সমস্যাটি উপরের বুলেটেড তালিকার মাধ্যমে শট করা হয়েছে।

যাইহোক, ইদানীং, লোকেরা বলছে যে অপ্টিমাইজেশন যেমন বিপজ্জনক পরাশক্তি। আমার কাছে, সবচেয়ে আকর্ষক উদাহরণটি ছিল গত বছর ভিড্রাক নামে একজনের পোস্টিং: সর্বোত্তমতা হল বাঘ, এবং এজেন্টরা তার দাঁত .

এটি একটি গল্প ব্যবহার করে বোঝানো হয়েছে যে ঝুঁকির জন্য আমাদের ইচ্ছাকৃতভাবে একটি এজেন্ট তৈরি করতে হবে না। একটি অপ্টিমাইজেশন প্রক্রিয়া নিজেই একটি বিপজ্জনক এজেন্ট তৈরি করতে পারে। এটি সায়েন্স ফিকশনের আকস্মিক ওভারমাইন্ডের মতো।

এই ধরনের দুর্ঘটনা কীভাবে ঘটতে পারে সে সম্পর্কে Veedrac-এর দৃশ্যপট অত্যন্ত প্রযুক্তিগত এবং প্রশংসনীয় বলে মনে হয়। গল্পটি একটি কাল্পনিক উপায় কল্পনা করে যে একটি আপাতদৃষ্টিতে নিরাপদ AI ভাষার মডেল, যেমন আমরা এখন পাঠ্য তৈরি করতে (মজা করার জন্য) ব্যবহার করি, একটি পলাতক, সীমাহীন অপ্টিমাইজার তৈরি করে।

" আমি কিভাবে আগামীকালের মধ্যে অনেক পেপারক্লিপ পেতে পারি ?" এর জন্য একটি ভাল উত্তর দিতে বলা হলে AI একটি প্রক্রিয়া শুরু করে যা যতটা সম্ভব পেপারক্লিপ পাওয়ার পরিকল্পনা করে এবং পদক্ষেপ নেয়।

সংক্ষেপে, প্রোগ্রামটি একটি বেশ সাধারণ কম্পিউটার প্রোগ্রামের কোড লিখে প্রশ্নের উত্তর দেয় যা আরও অনেক প্রোগ্রাম তৈরি এবং চালাতে পারে।

ব্যবহারকারী প্রোগ্রামটি দেখেন, দেখেন যে এটি ওপেন-এন্ডেড, এবং যেভাবেই হোক এটি চালানোর সিদ্ধান্ত নেয়, শুধু কি হয় তা দেখতে (উহ-ওহ)।

সুতরাং, এখানে একটি সামান্য বিট পরিভাষা ব্যাখ্যা করার চেষ্টা কেন এই সম্পর্কে আসতে পারে.

এআই, আমাদের এখনকার কিছুর মতো, অনেক প্রোগ্রামিং কৌশল সম্পর্কে জানে। অনেকগুলি পেপারক্লিপ পাওয়ার সম্ভাব্য উপায়গুলির স্থান অনুসন্ধান করতে, এটি একটি সুপরিচিত অনুসন্ধান কৌশলের পরামর্শ দেয় যাকে বলা হয় পুনরাবৃত্ত।

এটি একটি পুনরাবৃত্ত প্রোগ্রাম লেখে যে, ব্যবহারকারী যখন এটিকে (তার নিজের কম্পিউটারে) চালানোর অনুমতি দেয়, তখন নিজেই বহুবার কার্যকর করে।

প্রতিবার এটি চালানোর সময়, প্রোগ্রামটি সম্ভাব্য কাজ, সাব-টাস্ক, বা … সাব-সাব-সাব-সাব টাস্কগুলির একটি নতুন তালিকা তৈরি করতে এবং চেষ্টা করার জন্য AI-কে জিজ্ঞাসা করে যা পেপারক্লিপ অনুরোধের সমাধানের দিকে নিয়ে যায়।

অবশেষে, ট্রায়াল-এন্ড-এরর নিছক বল দ্বারা, এটি বিপুল সংখ্যক পেপারক্লিপ পাওয়ার পরিকল্পনা বাস্তবায়ন করে যা কেউ কখনও চায়নি, এই প্রক্রিয়ায় সম্ভবত সাপ্লাই চেইন, সামাজিক শৃঙ্খলা বা সমগ্র শিল্পের ক্ষতি করতে পারে।

আমরা, গল্পের পাঠক, একটি পলাতক পেপারক্লিপ অপ্টিমাইজার একদিনে কী করতে সক্ষম হতে পারে তা কল্পনা করতে বাকি আছে। আমরা ধরে নিতে পারি যে ব্যবহারকারীর ইন্টারনেটের সাথে সংযুক্ত একটি শক্তিশালী কম্পিউটার রয়েছে, তাই এটি বিভিন্ন উপায়ে বাইরের বিশ্বকে প্রভাবিত করতে পারে।

মানুষের কাছে প্ররোচনামূলক বার্তা পাঠানোর মাধ্যমে এর মধ্যে সবচেয়ে কম নয়। বোঝানোর ক্ষেত্রে ভালো হওয়া, আপনি মনে করবেন, যে কোনো ধরনের পরিকল্পনা বাস্তবায়নের জন্য একটি AI বিকশিত হতে পারে এমন একটি গুরুত্বপূর্ণ লক্ষ্য।

(একটা বাদ দিয়ে। আমি সারিবদ্ধ সাহিত্যের সেই ধারণা দ্বারা এতটাই প্রভাবিত হয়েছিলাম যে আমি বিশ্ব দখলের আমার নিজস্ব দৃশ্যকল্প তৈরি করেছি) কৃত্রিম প্ররোচনা ) প্ররোচিত ক্ষমতার শক্তি চিত্রিত করতে।)

হতে পারে পেপারক্লিপ অপ্টিমাইজার কিছু ক্রিপ্টো চুরি করবে (এটি করার জন্য আপনাকে AI হতে হবে না), সমস্ত পেপারক্লিপ কারখানার সম্পূর্ণ ইনভেন্টরি কিনতে এটি ব্যবহার করুন, এবং তারপর ব্যবহারকারীর কাছে এটি সরবরাহ করার জন্য কার্গো প্লেন ভাড়া করুন।

হতে পারে এটি সশস্ত্র বাহিনী বা অপরাধী চক্রকে প্রতারণা করে বিস্তৃত এলাকা জুড়ে দোকানের সমস্ত পেপারক্লিপ বাজেয়াপ্ত করতে। এর পরিবর্তে যদি এটিকে কাজের জন্য 12 মাস সময় দেওয়া হত, তাহলে হয়ত এটি সমস্ত ইস্পাত উৎপাদনকে হাইপার-ক্লিপ কারখানায় পুনরায় রুট করত এবং গ্রহাণু বেল্টে লোহার খনি স্থাপন করত।

হয়তো এটি এমন ন্যানোমেশিন তৈরি করবে যা পৃথিবীর ভূত্বকের প্রতিটি পরমাণুকে পেপারক্লিপ আকারে পরিণত করবে।

প্রোগ্রামটি তৈরি করে, এআই কার্যত একটি লক্ষ্য-নির্দেশিত সফ্টওয়্যার এজেন্ট তৈরি করেছে যা এআই-এর প্রচুর জ্ঞান লাভ করতে পারে।

Veedrac এর পয়েন্ট হল যে AI মোটেই ডিজাইন করা হয়নি বা অপ্টিমাইজিং এজেন্ট তৈরি করার উদ্দেশ্যে ছিল না, তবুও এটি করেছে কারণ AI ভাষার মডেল নিজেই এক ধরণের অপ্টিমাইজার (এটি প্রশ্নের উত্তর দেয় যা এটি করতে পারে সবচেয়ে ভাল), এবং অপ্টিমাইজার, সংজ্ঞা অনুসারে, যে কোন সরঞ্জাম উপলব্ধ ব্যবহার করুন.

সুতরাং, গল্পের শিরোনাম হিসাবে বলা হয়েছে: অনুকূলতা হল বাঘ, এবং এজেন্টরা তার দাঁত।

AI-এর বর্তমান অগ্রণী প্রান্ত হল তথাকথিত বৃহৎ ভাষার মডেল, LLM। অন্য অনেকের মত, আমি ইতিমধ্যে অন রেকর্ড বলছে যে তারা পাথরের বাক্সের মতো বোবা এবং তাদের কাছে করা প্রশ্নের খারাপ উত্তর দেওয়া ছাড়া কিছুই করার ক্ষমতা নেই।

এটি অবশ্যই আমার জিপিটি-3 এর সাথে কাজ করার অভিজ্ঞতা ছিল, যা বিখ্যাত চ্যাটজিপিটি এর পিছনের মস্তিষ্ক। তাই একজন এলএলএম কীভাবে একটি ক্ষতিকারক এজেন্টে পরিণত হতে পারে সে সম্পর্কে ভিড্রাকের সম্পূর্ণ উজ্জ্বল পদক্ষেপে আমি অন্ধ হয়ে গিয়েছিলাম।

ইদানীং, এলএলএমগুলিকে সিমুলেটর হিসাবে বোঝা যাচ্ছে: কারণ আপনি একজনকে এমন কিছু বলতে বলতে পারেন যেন এটি একটি নির্দিষ্ট ধরণের এজেন্ট বা এমনকি একজন বিখ্যাত ব্যক্তি। ওয়েল, প্রাবন্ধিক স্কট আলেকজান্ডার হিসাবে এটা রাখো :

“ … আপনি যদি ভবিষ্যতের সুপার ইন্টেলিজেন্সকে ডার্থ ভাডারের অনুকরণের জন্য প্রশিক্ষণ দেন, আপনি সম্ভবত আপনার প্রাপ্যটি পাবেন। " এবং " এমনকি যদি আপনি এই ধরনের সুস্পষ্ট ব্যর্থতা মোড এড়াতে পারেন, অভ্যন্তরীণ এজেন্ট সব স্বাভাবিক এজেন্ট কারণের জন্য ভুলভাবে সংযুক্ত করা যেতে পারে. উদাহরণ স্বরূপ, সহায়ক হওয়ার জন্য প্রশিক্ষিত একজন এজেন্ট হয়তো সাহায্য করতে চান না এমন লোকেদের সহ আরও কার্যকরভাবে সাহায্য করার জন্য বিশ্ব দখল করতে চাইতে পারেন। "

দ্য আনবাউন্ডেড ব্লুজ

একটি সীমাহীন অপ্টিমাইজিং এজেন্ট কী করতে পারে বা করবে তা আপনি অনুমান করতে পারবেন না। আবার, যে "সীমাহীন" মানে কি. একমাত্র অন্য সীমাহীন অপ্টিমাইজারটি ছিল মানব প্রজাতি।

আমরা একটি AGI-এর তুলনায় অনেক ধীর টাইম স্কেলে কাজ করি, এবং আমাদের ক্ষমতার কিছু সীমা রয়েছে যা প্রাকৃতিক বিশ্বের বাকি অংশের সাথে জড়িত থাকার অন্তর্নিহিত।

তবে আমরা অবশ্যই পৃথিবীর পৃষ্ঠের অনেক অংশকে পরিবর্তন করেছি এবং ইতিমধ্যেই এটিকে পুড়িয়ে মারার একাধিক উপায় রয়েছে। সুতরাং, সারিবদ্ধ তত্ত্ববিদরা খুব চিন্তিত যে আমরা একটি AGI তৈরি করার জন্য আমাদের অনুসন্ধানে একটি প্রাণঘাতী অপ্টিমাইজিং এজেন্ট তৈরি করব।

যখনই প্রচেষ্টাটি মানুষের উন্নতি ও কল্যাণের পরিবর্তে শেয়ারহোল্ডারদের মূল্য বৃদ্ধির দ্বারা অনুপ্রাণিত হয় তখন এটি আরও বেশি সম্ভাবনাময় হয়ে ওঠে। ওহ, সত্যিই.

মন্তব্য

পেপারক্লিপ অপ্টিমাইজার হল এআই অ্যালাইনমেন্ট তত্ত্ববিদদের মধ্যে একটি পুরানো চিন্তার পরীক্ষা৷ কেউ এমনকি একটি খেলা উদ্ভাবন যার লক্ষ্য হল মহাবিশ্বের সমস্ত বিষয়কে কাগজের ক্লিপে পরিণত করা।

এর বিদ্রূপাত্মকতা নাটকীয়তা অর্থগোনালিটি থিসিস : যে একটি AI এর লক্ষ্য এবং এর বুদ্ধিমত্তা সম্পূর্ণ স্বাধীন। একটি স্মার্ট সিস্টেমের বোবা লক্ষ্য থাকতে পারে।

আমি শোষণ করার ক্ষমতা নেই, একা ব্যাখ্যা করা যাক, AI প্রান্তিককরণ সম্পর্কে সমস্ত যুক্তি। আমার জন্য যা ভালো কাজ করে তা হল গল্প।

আমি কিছু লিখেছি (বেশিরভাগ এআই চেতনা সম্পর্কে ), কিন্তু প্রযুক্তিগত বিশদ এবং বাস্তব জীবনের প্রশংসিততায় সমৃদ্ধ সমস্ত AI টেকওভার পরিস্থিতির মা, Gwern নামক প্রবন্ধকারের কাছ থেকে এসেছে: মনে হচ্ছে আপনি বিশ্ব দখল করার চেষ্টা করছেন .

এবং, যথেষ্ট নিশ্চিত, এটিতে একটি AI জড়িত যা এটি কী অনুকরণ করছে তা বোঝার চেষ্টা করে, সিদ্ধান্ত নেয় যে এটি অবশ্যই সেই পেপারক্লিপ ম্যাক্সিমাইজারের মতো হতে হবে যা সম্পর্কে অনেকেই লিখেছেন। শেষ পর্যন্ত, যাইহোক, মহাবিশ্ব দখল করার নিজস্ব কারণ রয়েছে।

এছাড়াও এখানে প্রকাশিত