एआई शीतकाल निकट है, भौतिकी के सौजन्य से

सर्दी (भौतिकी) आ रही है

अब ऐसा लग रहा है कि GPT तकनीक पर चलने वाले बड़े भाषा मॉडल अपने विकास में एक पठार के करीब पहुंच रहे हैं। यह लोकप्रिय भौतिक विज्ञानी डॉ. सबाइन होसेनफेल्डर के नवीनतम YouTube वीडियो से है।

डॉ. सबाइन ने कुछ स्रोतों का हवाला दिया, जिसमें बिल गेट्स भी शामिल हैं, जिन्होंने पिछले साल कहा था कि GPT 5, GPT 4 से ज़्यादा बेहतर नहीं होगा। और प्रोफ़ेसर गैरी मार्कस कहते हैं कि वे कई सालों से इस ख़ास धुन पर ताल ठोक रहे हैं। यह सैम ऑल्टमैन और इल्या सुत्सकेवर द्वारा रे कुर्ज़वीलियन प्रचार के विपरीत है, जैसा कि वीडियो में देखा जा सकता है।

लेकिन यदि केवल सुंदर गणित भौतिकी की प्रगति को प्रेरित नहीं कर सकता, जैसा कि डॉ. सबाइन हमें हमेशा याद दिलाते हैं, तो केवल इच्छाधारी समूह-विचार हमें अलौकिक कृत्रिम सामान्य बुद्धि (एजीआई) नहीं दे सकता।

जितना संभव हो सके, उतना अधिक डेटा, कंप्यूटिंग शक्ति और मानवीय पर्यवेक्षण उपलब्ध कराने से हम एक अतिमानवीय AGI का जन्म क्यों नहीं कर सकते?

डॉ. सबाइन के पास इसका जवाब है। वह बताती हैं कि समस्या स्केल्स का डीकपलिंग है।

तराजू का वियुग्मन

दुनिया तराजू में बंटी हुई है।

भौतिक दुनिया में, हम इंसानों जैसे ज़मीनी जानवरों का पैमाना है। फिर उसके नीचे सूक्ष्म जीव हैं, फिर अणु, परमाणु और उपपरमाण्विक कण हैं। विपरीत दिशा में, हमारे पास विमान और गगनचुंबी इमारतें, पहाड़, ग्रह, तारे, सौर मंडल, आकाशगंगाएँ आदि हैं।

डेटा की दुनिया में, हमारे पास उच्च-रिज़ॉल्यूशन डेटा है जैसे कि “ऐसी वस्तुएँ जिन्हें छुआ जा सकता है”, “जानवर”, “बिल्लियाँ” जैसी श्रेणियाँ। फिर निम्न-रिज़ॉल्यूशन डेटा जो उपरोक्त श्रेणियों को और विस्तृत करता है जैसे कि “बिल्लियों की प्रजातियाँ”, “बिल्लियों के पैटर्न”, “सोमवार को सुबह 8:00 बजे बिल्लियों का व्यवहार,” आदि।

हालाँकि, अन्य वर्गीकरण भी हैं। कुछ डेटा ऑनलाइन है और कुछ किताबों, कागज़ात और लोगों के दिमाग में ऑफ़लाइन है।

इंटरनेट पर मानव भाषा निर्माण के उच्च-रिज़ॉल्यूशन पैमाने पर हमारे पास वह सारा ज्ञान हो सकता है जो हम चाहते हैं। लेकिन यह दुनिया में मानव भाषा निर्माण के बहुत बड़े, कम-रिज़ॉल्यूशन डेटा स्रोत के बराबर नहीं है।

इस प्रकार, सैम ऑल्टमैन का AI नीचे दी गई छवि में अरस्तू जैसा है। उसके हाथ को देखकर भौतिकी के मानक मॉडल की खोज करने की उम्मीद है।

लेकिन उप-परमाण्विक कणों को टटोलने और उनके भीतर छिपे नए अजीब आंकड़ों को देखने के लिए लार्ज हैड्रॉन कोलाइडर जैसी किसी चीज के बिना, अरस्तू को समझ में नहीं आया कि आगे कैसे बढ़ा जाए।

एआई के लिए एक बड़ा हैड्रॉन कोलाइडर

GPT आर्किटेक्चर, जिसे दुनिया के सामने सिर्फ़ 2 साल पहले ही शानदार ChatGPT के साथ पेश किया गया था, संभवतः अपने "सुधार-पन" के अंत के करीब है। शायद अब समय आ गया है कि बैटन और VC फंडिंग को किसी और चीज़ को सौंपने पर गंभीरता से विचार किया जाए।

मैं थर्मोडायनामिक कंप्यूटिंग का समर्थन कर रहा हूं, जिस पर वर्तमान में एक्सट्रॉपिक जैसी कंपनियों द्वारा शोध किया जा रहा है, जो स्थिर प्रसार प्रौद्योगिकी की तरह डेटा के यादृच्छिक नमूने बनाने के लिए थर्मल शोर का लाभ उठाकर काम करता है, फिर सांख्यिकीय विश्लेषण का उपयोग करके शोर को कम करता है।

वास्तव में, किसी भी तंत्रिका नेटवर्क में, प्रारंभिक भार आमतौर पर यादृच्छिक शोर के साथ आरंभ किए जाते हैं। प्रशिक्षण के दौरान, बैकप्रोपेगेशन इस यादृच्छिक शोर से अंतिम भार को आकार देता है - लास्ज़लो फ़ेज़ेकास लिखते हैं।

इसका लाभ यह है कि ये चिप्स पारंपरिक डिजिटल कंप्यूटिंग की तुलना में छोटे पैमाने पर काम करते हैं, जहां क्वांटम प्रभाव के परिणामस्वरूप प्रचुर मात्रा में थर्मल शोर उत्पन्न होता है।

वैसे भी थर्मल शोर हमेशा से ही काफी रहा है।

मेरा रसोईघर का चूल्हा तापीय शोर से भरा हुआ है।

वास्तविक समस्या हमेशा से यही रही है कि प्रतिगमन विश्लेषण के दौरान डेटा को नष्ट किए बिना, इसके आंकड़ों को सांख्यिकीय रूप से विभाजित करके इसे बेहतर ढंग से कैसे समझा जाए।

मेरा अनुमान? स्मार्टफोन, बिटकॉइन नोड्स, टीवी सेट, रेडियो, इत्यादि का लाभ उठाते हुए किसी प्रकार का विशाल क्लाउड कम्प्यूटेशनल एआई प्रशिक्षण।

वर्तमान में, AI को कुछ "सोचने का समय" देकर ताकि वह उसी डेटा पर लंबे समय तक अनुमान लगा सके, AI कंपनियाँ कुछ और रस निचोड़ रही हैं। उदाहरण के लिए ChatGPT के o1 मॉडल के साथ।

लेकिन शायद प्रशिक्षण का समय भी बढ़ाया जाना चाहिए। शायद एक बच्चे की तरह बेहतरीन AI पाने के लिए, उसे हर जगह से एकत्रित किए गए डेटा से दशकों तक प्रशिक्षण की आवश्यकता होती है। एकत्रित किया गया और धीरे-धीरे कुछ सर्वरों में एक संघनित AI मॉडल में बदल दिया गया।

सैम ऑल्टमैन को ऐसी योजना के लिए सरकार के खरबों डॉलर की ज़रूरत पड़ सकती है। अफ़सोस, उन्हें पाना शायद आसान नहीं होगा। DOGE शायद उसे पैसे न दे (अगर xAI भी ऐसी ही परेशानियों से जूझ रहा है)।

इस बीच, बिटकॉइन अभी भी बढ़ रहा है

जैसा कि ऊपर दिए गए ग्राफ़िक में दिखाया गया है, बहुत कम लोग बिटकॉइन का उपयोग कर रहे हैं। फिर भी यह पहले से ही $90k पर है।

बिटबो के डेटा से पता चलता है कि वास्तव में, केवल 400,000 लोग ही प्रतिदिन बिटकॉइन का उपयोग कर रहे हैं। और केवल 106 मिलियन लोगों के पास ही बिटकॉइन है।

Statista के डेटा के अनुसार, इसकी तुलना 314 मिलियन लोगों से करें जिन्होंने AI टूल का उपयोग किया है। अकेले ChatGPT के प्रतिदिन लाखों उपयोगकर्ता हैं । संभवतः संपूर्ण Bitcoin ब्लॉकचेन से भी अधिक!

और क्या? AI ने इन उपयोगकर्ताओं का बड़ा हिस्सा एक साल से भी कम समय में इकट्ठा कर लिया। यह गलत लगता है। बिटकॉइन को बढ़ने में सालों लग गए। लोगों ने पसीना बहाया, हारे, DCA किया, विश्वास किया।

शायद यही कारण है। ChatGPT बहुत तेजी से बढ़ा है। अब इसकी गति धीमी हो गई है और हर कोई नाराज है।

क्षमा करें, आप सभी, अभी भी काम करना बाकी है। AGI को समझना इतना आसान नहीं होगा, और GPT वैज्ञानिकों को बिटकॉइनर्स की तरह होल्ड करना सीखना चाहिए। सर्दी आएगी और जाएगी, लेकिन अभी, भुगतान करने का समय आ गया है।