एआई खतरनाक होंगे क्योंकि असीम अनुकूलन शक्ति अस्तित्वगत जोखिम की ओर ले जाती है

हमारे बाद क्या आता है? छवि: टेड वेड आपने शायद सुना होगा कि भविष्य में एआई मानव अस्तित्व के लिए खतरा हो सकता है। कई विशेषज्ञ इस पर विश्वास करते हैं और केवल इस बात से असहमत हैं कि इसमें कितना समय लगेगा। वे कुछ हद तक ध्रुवीकृत हैं, जैसे हर कोई लगभग हर चीज़ के बारे में है। और वास्तव में, जो कभी हुआ ही नहीं उसका विशेषज्ञ कौन हो सकता है? दरअसल, इसमें कुछ विज्ञान है, और चूंकि यह जटिल है, मीडिया इसे कवर नहीं करता है। तो, यह एक सौम्य परिचय होगा कि इतिहास में सबसे महत्वपूर्ण परिवर्तन या यहां तक कि अंतिम परिवर्तन का क्या कारण हो सकता है। यह रोबोट सेनाओं के बारे में नहीं है। यह हमारे बारे में है कि हम एक ऐसा उपकरण बनाना चाहते हैं जो अनुबंध कानून, टी-सेल बायोलॉजी, या विंग डिज़ाइन जैसे बड़े, कठिन क्षेत्रों में काम करे; उम्मीद है, यह उन समस्याओं को भी हल करता है जो हम नहीं कर सकते। लेकिन, इसका मतलब कृत्रिम दिमागों को इतना पराया और शक्तिशाली बनाना है कि हम उन्हें नियंत्रित नहीं कर सकते। पिछली बार हमने ऐसा 17वीं शताब्दी में किया था जब हमने ज्वाइंट स्टॉक कॉरपोरेशन बनाए थे। निगमों के बारे में समाज अभी भी दो दिमागों का है। लेकिन, वे कुछ मानव भागों के साथ मानव रचनाएँ हैं। हम एक तरह से उन्हें समझते हैं और अगर हम चाहें तो उन्हें अंधेरे की तरफ से निकाल सकते हैं। अब, मान लीजिए कि हम एक एआई बनाते हैं जो एक निगम चला सकता है। हम भी पैकअप कर सकते हैं और मंगल ग्रह पर जा सकते हैं, अपने आप को थोड़ा और समय दें। मुझे संदेह है कि खतरनाक एआई के बारे में हम में से अधिकांश क्या सोचते हैं, एक बग-आंख वाले विदेशी के करीब है, जो एक क्रिस्टल खोपड़ी के नीचे सूजन, धड़कते मस्तिष्क के साथ है। मूल रूप से, एक पूर्ण अज्ञात। एक स्तर पर, यह सही है: शक्तिशाली एआई को इतना समस्याग्रस्त बनाता है कि यह हमारे जैसा नहीं होगा। सबसे पहले, समस्या का अनुभव करने के लिए एक दृष्टांत: हम: ओह, ग्रेट आर्टिफिशियल वंडर, आप जानते हैं कि हम किस अचार में हैं। हमारे लिए जीवाश्म ईंधन से दूर होने का एक तरीका खोजें ताकि हम आगे ग्लोबल वार्मिंग को रोक सकें। एआई: ठीक है। सबसे पहले, हमें एक युद्ध शुरू करना होगा ... हम: वाह, बिग डूड। युद्धों की विशाल नकारात्मक उपयोगिता होती है - जैसे बुरा, बुरा। हमें इसे सुरक्षित तरीके से करना है। एआई: ज़रूर, मुझे एक अत्याधुनिक वायरस लैब की आवश्यकता होगी, और ... हम: उह, नहीं! एआई: अरे, मैं बस कह रहा हूँ। कैसे एक मंगल जहाज के बारे में? हम: लोग यह नहीं समझेंगे कि आप क्यों... एआई: एक हत्यारे का गिल्ड? कुछ लोगों को वास्तव में एलिम होना चाहिए ... हम: कोई हत्या नहीं, ऐस। आपको उस से बेहतर ज्ञान है। एआई: देखिए - आपकी समस्या को हल करने के लिए मुझे संभावित कार्यों और परिणामों के ट्रिलियन-आयामी स्थान पर नेविगेट करना होगा। मैं केवल उनमें से सबसे नन्हे से छोटे अंश की उपयोगिता का अनुमान लगा सकता हूं। अगर मुझे हर कदम का मूल्यांकन करने के लिए आपका इंतजार करना पड़े तो इसमें हजारों साल लग जाएंगे। हम: ठीक है। बस इसे हमारे लिए ठीक करें और कुछ भी खराब न करें। एआई: बिल्कुल सही। बस तुम इतना जानते हो। मुझे फेसबुक, नाटो और नोबेल पुरस्कार बोर्ड पर नियंत्रण की आवश्यकता होगी। आपको मछली, रबर के टायर, नेल पॉलिश और साइकिल का त्याग करना होगा। यूएस: बाइक्स? वास्तव में? ओह ठीक है, बस इसे पूरा करो। हम थोड़ी देर के लिए पब जा रहे हैं। एआई: अगर मुझे आपूर्ति श्रृंखला की समस्या नहीं है तो इसे अगले सप्ताह किया जाना चाहिए। हम: !!! हम, जैविक, कृत्रिम को समझने की कोशिश करते हैं आइए अपने भयभीत एआई को एक लेबल दें। हाल की अधिकांश चर्चाएँ आर्टिफिशियल जनरल इंटेलिजेंस (AGI) का उपयोग उस प्रकार के AI को संदर्भित करने के लिए करती हैं जो किसी भी सीमा को पार करना शुरू कर देगा जिसे हम उस पर लगाने की कोशिश कर सकते हैं। ज्यादातर लोगों को यह एहसास नहीं है कि एजीआई की प्रकृति उन कारणों से आती है जिन्हें हम बनाना चाहते हैं। हम टैप पर खुफिया जानकारी चाहते हैं। बुद्धिमत्ता, इस मामले में, सवालों के जवाब देने, समस्याओं को हल करने और लक्ष्यों तक पहुँचने के लिए सफल कार्यों की योजना बनाने की क्षमता है। हमारे जैसे जैविक दिमाग बहुत सी अन्य चीजें करते हैं: जैसे कि सपने देखना, हमारी शारीरिक मशीनरी चलाना, दूसरे दिमागों के साथ मेलजोल करना, पछताना, लुभाना, प्यार करना, भावुक होना और चीजों को चाहना, जिसमें ऐसी मशीन बनाने की इच्छा शामिल है जो हमारे काम को बेहतर बनाती है। हम। इंसानों को एक-दूसरे के लिए और उनके साझा पर्यावरण के लिए जो खतरनाक बनाता है, वह बहुत सारा मानसिक बोझ है जो हमारे जीवित रहने और प्रजनन के लिए विकसित होने से आता है। हम सामाजिक प्राइमेट्स। , हैं, दिल से यदि हम एक कृत्रिम मन के बारे में सोचने की कोशिश करते हैं जो हमें मरना चाहता है, तो हम मान लेते हैं कि यह हमारी तरह सचेत होगा। इसके बाद हम यह निष्कर्ष निकालते हैं कि यह जो कुछ भी करता है उसका मार्गदर्शन करने के लिए इसमें प्रेरणाएँ और भावनाएँ होंगी। हालाँकि, हमारे AGI का हमारे जैविक पूर्वाग्रहों से कोई लेना-देना नहीं होगा। । इस प्रकार यह इसका कोई मकसद नहीं होगा; उसके पास केवल लक्ष्य होंगे दुनिया में एक नई तरह की ताकत होगी। मानसिक पेशी और अनुशासन रखने वाले शोधकर्ता यह कल्पना करने की कोशिश कर रहे हैं कि एजीआई वास्तव में कैसा होगा ताकि हम उन्हें गंभीर रूप से मददगार और सुरक्षित बना सकें। इस क्षेत्र को कभी-कभी मानवीय उद्देश्यों के साथ एआई "संरेखण" कहा जाता है। उनकी बहसें अस्पष्ट हैं। हालांकि सार्वजनिक रूप से उपलब्ध (उदाहरण के लिए, , , ), वे शब्दजाल, गणित और गूढ़ विचार प्रयोगों से भारी हैं। सामने रखे गए किसी भी विचार के बाद दर्जनों लंबी-चौड़ी आलोचनाएँ और चर्चाएँ होती हैं। एआई संरेखण फोरम आर्बिटल कम गलत लोकप्रिय मीडिया में इसका लगभग कोई वास्तविक मांस कभी नहीं दिखाई देता है। मैं यहां केवल कुछ निवाले पेश कर सकता हूं। एजीआई बनने में क्या लगता है एआई संरेखण सिद्धांतकारों ने अवधारणाओं के एक मुख्य समूह पर ध्यान केंद्रित किया है जो एक पर्याप्त बुद्धिमान मशीन पर लागू होगा। जब आप इन्हें पढ़ते हैं, तो ये स्पष्ट प्रतीत हो सकते हैं। हालाँकि, वे तुच्छ नहीं हैं; उक्त सिद्धांतकारों द्वारा उनकी प्रासंगिकता और निहितार्थ पर सावधानीपूर्वक विचार किया गया है। एक खतरनाक एआई के पास होगी: अपने पूरा करने के लिए योजना बनाने और कार्रवाई करने की क्षमता। जब हम यह निर्दिष्ट करने का प्रयास करते हैं कि इसके लक्ष्य क्या हैं, तो उन्हें कार्यों के के संदर्भ में होना होगा। एजेंसी अंतिम लक्ष्यों को परिणामों परिणाम विशेष रूप से इसके के राज्यों के बारे में हैं - इसलिए वे दुनिया के बारे में हैं क्योंकि मशीन इसे समझती है। हालाँकि, किसी भी शक्तिशाली कार्रवाई के शायद अन्य, अवांछित परिणाम होंगे जिनकी हम अपेक्षा नहीं करते हैं। विश्व मॉडल वे परिणाम विश्व मॉडल में नहीं हो सकते हैं, इसलिए एआई उनसे अपेक्षा नहीं करता है। एआई की शक्ति एक होने से आएगी, जो उस योजना की खोज करने में सक्षम होगी जो सबसे प्रभावी और कुशलता से परिणाम देगी। अनुकूलक इसके लिए, एक एजीआई को अपने आसपास की दुनिया के वास्तव में विस्तृत मॉडल की आवश्यकता होती है; वह दुनिया कैसे काम करती है, उसके संसाधन, एजेंट और शक्ति केंद्र क्या हैं, और कौन से उत्तोलक इसे चलाते हैं। यह कार्रवाई के वैकल्पिक पाठ्यक्रमों पर विचार करने के लिए इसका उपयोग करेगा (कंप्यूटर विज्ञान में बोलें, "खोजें")। जितना अधिक यह मानव संसार के बारे में जानता है और हम कैसे व्यवहार करते हैं, उतना ही यह अपने लक्ष्यों की खोज में हमें में सक्षम होगा। हेरफेर करने इसे एक ऐसे तरीके की आवश्यकता होगी जिससे यह गणना कर सके कि दुनिया के कौन से राज्य अपने लक्ष्यों को सर्वोत्तम रूप से पूरा करते हैं। अब तक, एकमात्र गणना पद्धति जो दूरस्थ रूप से प्रयोग करने योग्य लगती है, है, जहां दुनिया के राज्यों को खराबता/अच्छाई के संख्यात्मक मूल्यों को सौंपा जा सकता है और एक दूसरे के साथ तुलना की जा सकती है। उपयोगितावाद हम जानते हैं कि नैतिक मार्गदर्शक के रूप में उपयोगिता का उपयोग करने में बड़ी समस्याएँ हैं। उपयोगिता के लिए उचित रूप से समझदार मूल्यों का कारण बन सकता है जैसे बहुतों के लिए कुछ का त्याग करना या कभी-कभी कुछ के लिए बहुतों का त्याग करना। प्रतिकूल निष्कर्ष यदि विश्व मॉडल अधूरा है, तो उपयोगिता निरर्थक डरावनी हो सकती है। यदि मुस्कुराहट को खुशी के एक उच्च-उपयोगिता उपाय के रूप में लिया जाता है, तो सभी मानव मुस्कान की मांसपेशियों को लकवा मारना एक तरह से एक एआई जा सकता है। एक स्मार्ट ऑप्टिमाइज़र विकसित करने में सक्षम और संभावित होगा जो आम तौर पर किसी भी प्रकार की प्रभावी योजनाओं को बनाने और निष्पादित करने की शक्ति को बढ़ाता है। सहायक लक्ष्यों को इसलिए, यह अधिक तर्क शक्ति, अधिक ज्ञान, अधिक वास्तविक दुनिया के संसाधन जैसे धन, और अधिक प्रेरकता जैसी सहायक क्षमताओं की तलाश करेगा। इस प्रकार यह और अधिक शक्तिशाली हो सकता है, शायद हमें इसके बारे में पता न हो। उपयोगितावादी शर्तों में लक्ष्यों को निर्दिष्ट करना एक जटिल दुनिया में सभी संभावित साधनों की उपयोगिता पर विचार नहीं कर सकता है। यह की ओर ले जाता है: मानव सभ्यता पर नकारात्मक "दुष्प्रभावों" की परवाह किए बिना या दुनिया में मौजूद किसी भी और सभी संसाधनों का उपयोग करते हुए, चरम सीमा तक उन लक्ष्यों का पीछा करना। असीमता इसके अलावा, यदि साधन लक्ष्य असीमित हो जाते हैं, तो एआई उन्हें महाशक्तियों में विकसित करता है जिन्हें हराना असंभव है। असीमित जोखिम वास्तव में शक्तिशाली एजीआई से हमारे लिए जोखिम यह होगा कि हम भविष्यवाणी करने में सक्षम नहीं होंगे, और इसलिए इसे नियंत्रित कर सकते हैं कि यह क्या कर सकता है। यदि हम इसकी भविष्यवाणी करने में सक्षम होते, तो हमें मशीन की आवश्यकता नहीं होती, हम केवल योजनाएँ बना सकते थे और उन्हें स्वयं कर सकते थे। अगर हम यह भी जानते हैं कि एजीआई के चरम व्यवहार की सीमाएं क्या हो सकती हैं, तो यह भविष्यवाणी का एक रूप है जो कुछ नियंत्रण की अनुमति दे सकता है। तो अप्रत्याशितता असीमितता की तरह है। और हम देखेंगे कि असीमता, पर्याप्त समय और संसाधनों पर काम कर रही है, अंततः ऐसे परिणामों की ओर ले जाएगी जो या तो हमें नष्ट कर देंगे या हमारी प्रजातियों के भविष्य को नियंत्रित करने की हमारी क्षमता को समाप्त कर देंगे। इस निष्कर्ष के इर्द-गिर्द अपने दिमाग को लपेटना कठिन है। फिर भी, यह एक ऐसा है जिसे कई विशेषज्ञ अपरिहार्य पाते हैं ( ) । एजीआई रुइन: घातकताओं की एक सूची कम से कम अब तक यह एक वैध भविष्यवाणी की तरह प्रतीत होता है, भले ही वे कई कारकों और दृष्टिकोणों पर विचार करते हैं, जिनका उल्लेख यहां किया जा सकता है। इस दुविधा के विफल समाधानों की सूची में शामिल हैं: अन्य बातों के साथ-साथ विभिन्न में प्रशिक्षण (लेकिन वे सभी त्रुटिपूर्ण हैं, अपूर्ण हैं, और कोई भी सभी को संतुष्ट नहीं करता है)। नैतिक प्रणालियों की कोशिश करना जो एक एजीआई बना सकता है (लेकिन बहुत दूर, बहुत अधिक हैं)। हर गलत अनुमान की कल्पना करने उसे वह सब बताएं (फिर से, लगभग अनंत सूची)। जो उसे नहीं करना चाहिए केवल सलाह के लिए AGI का उपयोग करना, जैसे कि यह एक है (लेकिन हम बुरी सलाह से बुरी तरह राजी हो सकते हैं)। दैवज्ञ " " उर्फ एजीआई की अपने कंप्यूटरों के बाहर भौतिक दुनिया तक पहुंच को प्रतिबंधित करता है (लेकिन अगर यह मनुष्यों से बात कर सकता है, तो यह कुछ भी प्राप्त कर सकता है, जिसमें भी शामिल है)। बॉक्सिंग बाहर एक आपूर्ति करना (बॉक्सिंग देखें)। ऑफ स्विच की इसे इतना स्मार्ट या सहानुभूतिपूर्ण बनाना कि यह हानिकारक चीजें नहीं करना चाहेगा (नैतिकता देखें; याद रखें कि यह विदेशी है; इसमें वह सहानुभूति नहीं है जो षड्यंत्रों के साथ बढ़ने से आती है)। इसके लक्ष्यों और साधनों के बारे में बहुत विशिष्ट रहें, यानी, यह एक काम करने के लिए एक है (लेकिन एक काम हमेशा बेहतर किया जा सकता है यदि उपकरण को अधिक शक्ति मिलती है; हम हमेशा अधिक लागत प्रभावी बहु-उपकरण पसंद करेंगे)। उपकरण एक स्वायत्त प्रणाली से आप जो मांगते हैं उसे सीमित करें: यह एक है जो आपको एक इच्छा देता है और अगले पूछने की प्रतीक्षा करता है (लेकिन विशिष्ट होना खतरनाक है - ऊपर "गलत अनुमान" और "नहीं करें" देखें; किसी भी शक्ति में जोखिम शामिल है; लोग डॉन 'कमजोर सिस्टम नहीं चाहिए)। जिन्न क्या यह असल में सख्त है? ठीक है, तो आपने उपरोक्त सूची को देख लिया है और अपना पक्ष रखने के लिए एक गोली चुन ली है। "सुनो," आप कहते हैं, "एक्स करना इतना कठिन नहीं हो सकता।" आप अपना समाधान पोस्ट करने के लिए तैयार हैं, इसे दुनिया के साथ साझा करने के लिए। मेरा सुझाव है कि आप पहले चर्चा बोर्डों पर जाएं और अध्ययन करें कि लोगों ने आपके मुद्दे के बारे में क्या कहा है। आप काउंटर-उदाहरणों, तार्किक कटौती, गणित के कई प्रकार, स्वाभाविक रूप से विकसित दिमाग और व्यवहार के साथ समानता, खेल सिद्धांत, अर्थशास्त्र, उपयोगिता अधिकतमकरण, कंप्यूटर विज्ञान और व्यवहार विज्ञान के सभी प्रकार के ढेर की खोज करेंगे। मैं यह नहीं कह रहा हूँ कि किसी उच्च अधिकारी का मतलब है कि मैं सही हूँ। मैं कह रहा हूँ कि सूची में किसी भी चीज़ के लिए औचित्य यहाँ एक संक्षिप्त निबंध में बताने के लिए बहुत जटिल है, और वैसे भी, दूसरों ने इसे बेहतर किया है। वास्तव में, मैंने अपना "समाधान" प्रकाशित किया है ( , ) एआई सुरक्षा के बारे में जो अब मुझे पता है कि गलत हैं। आपका दोस्ताना, पड़ोस अधीक्षण एआई जो भगवान नहीं था यदि आप चिंतित हैं, तो मैं बता दूं कि बहुत चतुर लोग अभी भी संरेखण पर काम कर रहे हैं। दुख की बात है कि दो सबसे प्रमुख अग्रदूतों में से एक ने हार मान ली है और . एजीआई की सुरक्षा सुनिश्चित करने की तुलना में अधिक धन और लोगों को बनाने पर खर्च किया जा रहा है। बस उम्मीद है कि हम सम्मान के साथ मरेंगे यहाँ OpenAI के CEO का एक उद्धरण है, जिस कंपनी का AI, ChatGPT, हाल ही में हर जगह खबरों में है। यह एजीआई बनाने के आदर्शवादी मकसद और इसके साथ आने वाले भयानक जोखिम के बीच संघर्ष को बताता है। — "मुझे लगता है कि सबसे अच्छा मामला इतना अविश्वसनीय रूप से अच्छा है कि मेरे लिए कल्पना करना भी मुश्किल है ... कल्पना करें कि यह कैसा है जब हमारे पास बस, जैसे, अविश्वसनीय प्रचुरता और प्रणालियां हैं जो गतिरोध को हल करने और वास्तविकता के सभी पहलुओं को बेहतर बनाने में हमारी मदद कर सकती हैं और हम सभी को अपना सर्वश्रेष्ठ जीवन जिएं। ... मुझे लगता है कि अच्छा मामला इतना अविश्वसनीय रूप से अच्छा है कि आप इसके बारे में बात करना शुरू करने के लिए वास्तव में एक पागल व्यक्ति की तरह लगते हैं। ... बुरा मामला - और मुझे लगता है कि यह कहना महत्वपूर्ण है - जैसे, रोशनी बाहर हम सभी के लिए। … इसलिए मुझे लगता है कि एआई सुरक्षा और संरेखण कार्य के महत्व को कम करना असंभव है। मैं बहुत कुछ देखना चाहता हूं, और भी बहुत कुछ हो रहा है। सैम ऑल्टमैन अनुकूलन और बाघ साइंस फिक्शन में एक ट्रॉप है जिसमें किसी प्रकार की आकस्मिक, अनियोजित प्रक्रिया एक खतरनाक ओवरमाइंड बनाती है। यह मूर्खतापूर्ण लगता है, क्योंकि कोई दुर्घटना किसी जटिल चीज को कैसे उत्पन्न कर सकती है? यह दुर्घटना से आपका क्या मतलब है इस पर निर्भर करता है। उन मुख्य अवधारणाओं को सुनें जिनका मैंने पहले उल्लेख किया था। संरेखण चर्चाओं ने हाल ही में इसके एक घटक, अनुकूलन के लिए, अबाधित एजेंसी के खतरों से जोर दिया है। जब हम किसी कठिन लक्ष्य तक पहुँचने के अपने साधनों का अनुकूलन करते हैं, तो हम लगभग हमेशा एक सरोगेट लक्ष्य को प्रतिस्थापित करते हैं जो करना और मापना आसान होता है। वजन घटाना कैलोरी घटाना बन जाता है। एक बेहतर कार्यबल सब्सिडी वाले छात्र ऋण बन जाता है। व्यक्तिगत सुरक्षा मारक क्षमता बन जाती है। मृत कोबरा के लिए इनाम देने से इनाम के लिए कोबरा को पाला जाता है (सच्ची कहानी)। सरकारें सरोगेट्स का उपयोग करती हैं, और इसलिए व्यवसाय करते हैं। हम सब करते हैं - बहुत कुछ। सरोगेट्स के लिए अनुकूलन करने से अक्सर हम वास्तविक लक्ष्य से चूक जाते हैं। मुझे इसके बारे में लिखने में मज़ा आया . हम निश्चित रूप से शक्तिशाली एआई को गलत लक्ष्य के लिए अनुकूलित नहीं करना चाहते हैं, और उस मुद्दे को ऊपर बुलेटेड सूची के माध्यम से शूट किया गया है। हाउ थिंग्स बैकफ़ायर का विज्ञान हालांकि, हाल ही में, लोग कह रहे हैं कि अनुकूलन है। मेरे लिए, सबसे सम्मोहक उदाहरण पिछले साल एक पोस्टिंग में था जिसे वीद्रक कहा जाता है: . खतरनाक महाशक्ति अनुकूलता बाघ है, और एजेंट इसके दांत हैं यह समझाने के लिए एक कहानी का उपयोग करता है कि जोखिम लेने के लिए हमें जानबूझकर एजेंट बनाने की ज़रूरत नहीं है। एक अनुकूलन प्रक्रिया अपने आप में एक खतरनाक एजेंट बना सकती है। यह साइंस फिक्शन के आकस्मिक ओवरमाइंड की तरह है। इस तरह की दुर्घटना कैसे हो सकती है, वीडरैक का परिदृश्य अत्यधिक तकनीकी है और प्रशंसनीय लगता है। कहानी एक काल्पनिक तरीके की कल्पना करती है कि एक प्रतीत होता है कि सुरक्षित एआई भाषा मॉडल, जैसा कि अब हम पाठ उत्पन्न करने के लिए (मज़े के लिए) उपयोग करते हैं, एक भगोड़ा, अबाध अनुकूलक बनाता है। " ?" एआई एक ऐसी प्रक्रिया शुरू करता है जो अधिक से अधिक पेपरक्लिप्स प्राप्त करने के लिए योजना बनाती है और कदम उठाती है। कल तक मुझे ढेर सारे पेपरक्लिप्स कैसे मिलेंगे संक्षेप में, प्रोग्राम एक बहुत ही सरल कंप्यूटर प्रोग्राम का कोड लिखकर प्रश्न का उत्तर देता है जो कई और प्रोग्राम उत्पन्न और चला सकता है। उपयोगकर्ता प्रोग्राम को देखता है, देखता है कि यह ओपन-एंडेड है, और इसे वैसे भी चलाने का फैसला करता है, बस यह देखने के लिए कि क्या होता है (उह-ओह)। तो, यहाँ थोड़ा शब्दजाल यह समझाने की कोशिश करने के लिए कि ऐसा क्यों हो सकता है। एआई, जैसा कि अब हमारे पास है, कई प्रोग्रामिंग तकनीकों के बारे में जानता है। कई पेपरक्लिप्स प्राप्त करने के संभावित तरीकों की जगह के माध्यम से खोज करने के लिए, यह रिकर्सन नामक एक प्रसिद्ध खोज तकनीक का सुझाव देता है। यह एक पुनरावर्ती प्रोग्राम लिखता है, जब उपयोगकर्ता इसे (अपने कंप्यूटर पर) चलाने की अनुमति देता है, तो यह खुद को बड़ी संख्या में निष्पादित करता है। हर बार जब यह चलता है, तो प्रोग्राम संभावित कार्यों, उप-कार्यों, या ... उप-उप-उप-उप कार्यों की एक नई सूची बनाने और आज़माने के लिए एआई से पूछताछ करता है जो पेपरक्लिप अनुरोध को हल करने की ओर ले जाएगा। आखिरकार, परीक्षण-और-त्रुटि के बल पर, यह बड़ी संख्या में पेपरक्लिप्स प्राप्त करने की योजना को क्रियान्वित करता है, जो कभी कोई नहीं चाहता था, इस प्रक्रिया में शायद आपूर्ति श्रृंखलाओं, सामाजिक व्यवस्था या पूरे उद्योगों को नुकसान पहुंचा रहा है। हम, कहानी के पाठक, यह कल्पना करने के लिए बचे हैं कि एक भगोड़ा पेपरक्लिप ऑप्टिमाइज़र एक दिन में क्या करने में सक्षम हो सकता है। हम मान सकते हैं कि उपयोगकर्ता के पास इंटरनेट से जुड़ा एक शक्तिशाली कंप्यूटर है, इसलिए यह बाहरी दुनिया को कई अलग-अलग तरीकों से प्रभावित कर सकता है। इनमें से कम से कम मनुष्यों को प्रेरक संदेश भेजकर नहीं है। अनुनय में अच्छा होना, आपको याद होगा, उन महत्वपूर्ण लक्ष्यों में से एक है जो किसी भी प्रकार की योजना को पूरा करने के लिए एआई विकसित कर सकता है। (एक तरफ। मैं संरेखण साहित्य में उस विचार से इतना प्रभावित हुआ कि मैंने विश्व अधिग्रहण का अपना परिदृश्य विकसित किया ( ) प्रेरक क्षमता की शक्ति का वर्णन करने के लिए।) कृत्रिम अनुनय हो सकता है कि पेपरक्लिप ऑप्टिमाइज़र कुछ क्रिप्टो चोरी करे (आपको ऐसा करने के लिए एआई होने की ज़रूरत नहीं है), इसका उपयोग सभी पेपरक्लिप कारखानों की पूरी सूची खरीदने के लिए करें, और फिर कार्गो विमानों को उपयोगकर्ता को वितरित करने के लिए किराए पर लें। हो सकता है कि यह सशस्त्र बलों या आपराधिक गिरोहों को एक विस्तृत क्षेत्र में दुकानों में सभी पेपरक्लिप्स को जब्त करने के लिए बरगलाए। अगर इसके इसे नौकरी के लिए 12 महीने दिए गए होते, तो शायद यह सभी स्टील उत्पादन को हाइपर-क्लिप कारखानों में बदल देता और क्षुद्रग्रह बेल्ट में लोहे की खदानें स्थापित कर देता। बजाय हो सकता है कि इसने नैनोमैचिन बनाई होगी जो पृथ्वी की पपड़ी के प्रत्येक परमाणु को पेपरक्लिप आकार में बदल देती है। कार्यक्रम बनाकर, एआई ने प्रभावी रूप से एक लक्ष्य-निर्देशित सॉफ़्टवेयर एजेंट बनाया जो एआई के बहुत सारे ज्ञान का लाभ उठा सकता था। Veedrac का कहना है कि AI को ऑप्टिमाइज़िंग एजेंट बनाने के लिए बिल्कुल भी डिज़ाइन या इरादा नहीं किया गया था, फिर भी उसने ऐसा इसलिए किया क्योंकि AI भाषा मॉडल अपने आप में एक तरह का ऑप्टिमाइज़र है (यह सवालों का सबसे अच्छा जवाब देता है), और ऑप्टिमाइज़र, परिभाषा के अनुसार, जो भी उपकरण उपलब्ध हैं उनका उपयोग करें। तो, जैसा कि कहानी के शीर्षक में कहा गया है: इष्टतमता बाघ है, और एजेंट उसके दांत हैं। एआई का वर्तमान अग्रणी किनारा तथाकथित बड़े भाषा मॉडल, एलएलएम हैं। कई अन्य लोगों की तरह, मैं पहले से ही हूं कि वे चट्टानों के एक बक्से के रूप में गूंगे हैं और कुछ भी करने की क्षमता नहीं है, लेकिन उनके द्वारा पूछे गए सवालों का बुरी तरह से जवाब देते हैं। रिकॉर्ड पर कह रहा है यह निश्चित रूप से GPT-3 के साथ काम करने का मेरा अनुभव रहा है, जो कि (हैं?) प्रसिद्ध चैटGPT के पीछे का दिमाग है। इसलिए मैं वीड्रैक के पूरी तरह से शानदार तरीके से अंधा हो गया था कि कैसे एलएलएम एक हानिकारक एजेंट में बदल सकता है। हाल ही में, एलएलएम को सिमुलेटर के रूप में समझा जाने लगा है: क्योंकि आप किसी से कुछ कहने के लिए कह सकते हैं जैसे कि वह एक निश्चित प्रकार का एजेंट या यहां तक कि एक प्रसिद्ध व्यक्ति था। ठीक है, निबंधकार स्कॉट अलेक्जेंडर के रूप में : इसे रखें " "और" ” ... यदि आप डार्थ वाडर का अनुकरण करने के लिए भविष्य के अधीक्षण को प्रशिक्षित करते हैं, तो संभवतः आपको वह मिल जाएगा जिसके आप हकदार हैं। यहां तक कि अगर आप ऐसे स्पष्ट विफलता मोड से बचते हैं, तो आंतरिक एजेंट को सभी सामान्य एजेंट कारणों से गुमराह किया जा सकता है। उदाहरण के लिए, मदद करने के लिए प्रशिक्षित एक एजेंट लोगों की अधिक प्रभावी ढंग से मदद करने के लिए दुनिया को अपने अधीन करना चाह सकता है, जिसमें वे लोग भी शामिल हैं जो मदद नहीं करना चाहते हैं। द अनबाउंड ब्लूज़ आप अनुमान नहीं लगा सकते हैं कि एक असीमित अनुकूलन एजेंट क्या कर सकता है या क्या करेगा। फिर से, "अनबाउंड" का यही अर्थ है। अब तक उत्पादित एकमात्र अन्य अनबाउंड ऑप्टिमाइज़र मानव प्रजाति थी। हम एजीआई की तुलना में बहुत धीमी समय के पैमाने पर काम करते हैं, और हमारी शक्ति पर कुछ सीमाएं हैं जो शेष प्राकृतिक दुनिया के साथ अंतर्निहित हैं। लेकिन हमने निश्चित रूप से पृथ्वी की सतह को बहुत बदल दिया है, और पहले से ही इसे नष्ट करने के एक से अधिक तरीके हैं। इसलिए, संरेखण सिद्धांतकार बहुत चिंतित हैं कि हम एक एजीआई बनाने की अपनी खोज में एक घातक अनुकूलन एजेंट बनाएंगे। जब भी प्रयास मानव उत्कर्ष और कल्याण के बजाय शेयरधारक मूल्य बढ़ाने से प्रेरित होता है तो इसकी संभावना अधिक हो जाती है। उह-ओह, वास्तव में। टिप्पणियाँ पेपरक्लिप ऑप्टिमाइज़र एआई संरेखण सिद्धांतकारों के बीच एक पुराना विचार प्रयोग है। कोई भी जिसमें ब्रह्मांड के सभी पदार्थों को पेपर क्लिप में बदलने का लक्ष्य है। एक खेल का आविष्कार किया इसकी विडंबना नाटक करती है : कि एआई के लक्ष्य और इसकी बुद्धि पूरी तरह से स्वतंत्र हैं। एक स्मार्ट सिस्टम के गूंगे लक्ष्य हो सकते हैं। ऑर्थोगोनलिटी थीसिस मेरे पास अवशोषित करने की क्षमता नहीं है, एआई संरेखण के बारे में सभी तर्क अकेले समझाएं। मेरे लिए जो बेहतर काम करता है वह कहानियां हैं। मैंने कुछ लिखा है (ज्यादातर ), लेकिन सभी एआई टेकओवर परिदृश्यों की जननी, तकनीकी विवरण और वास्तविक जीवन की संभाव्यता से समृद्ध, ग्वर्न नामक निबंधकार से है: . एआई चेतना के बारे में ऐसा लगता है कि आप दुनिया पर कब्ज़ा करने की कोशिश कर रहे हैं और, निश्चित रूप से, इसमें एक एआई शामिल है, जो यह समझने की कोशिश कर रहा है कि यह क्या अनुकरण कर रहा है, यह तय करता है कि यह उस पेपरक्लिप मैक्सिमाइज़र की तरह होना चाहिए जिसके बारे में बहुत से लोगों ने लिखा है। अंततः, हालांकि, ब्रह्मांड को अपने कब्जे में लेने के अपने कारण हैं। भी प्रकाशित हुआ यहाँ