ऊर्जा-अकुशल एआई युग पहले ही आ चुका है: एआई की लागत

कृत्रिम बुद्धिमत्ता रोमांचक है; एक वर्ष से भी कम समय में हमारे जीवन पर छा जाने वाली इस नई तकनीकी सफलता का सिलसिला तब से जारी है।

व्यक्तिगत रूप से, मुझे AI उपकरणों और इस समय उनके उपयोग के तरीके से कुछ समस्याएँ हैं। इसके साथ ही, मैं इस बात से इनकार नहीं कर सकता कि जब सही व्यक्ति को सही काम करने के लिए दिया जाता है तो वे एक शक्तिशाली उपकरण होते हैं - लेकिन जैसा कि हम सभी जानते हैं, बड़ी शक्ति के साथ बड़ी ज़िम्मेदारी भी आती है।

उत्साह और आधे-अधूरे वादों के बीच - क्या हमने कभी यह सोचा कि 1,2,3 बिलियन पैरामीटर मॉडल को कई घंटों तक, कई उदाहरणों में, लाखों उपयोगकर्ताओं के लिए, एक साथ चलाने की लागत क्या होगी?

मैं हमेशा "न्यूनतम वेब" अवधारणा का समर्थक रहा हूँ (मैं भविष्य में इस अवधारणा के बारे में एक लेख लिखूँगा; कहने के लिए बहुत कुछ है)। हम ऐसे युग में जी रहे हैं जहाँ एक तरफ, हर कोई ग्रह के स्वास्थ्य के बारे में बेहद चिंतित है (और अच्छे कारण से)। फिर भी दूसरी तरफ, कोई भी यह सोचने के लिए रुक नहीं रहा है कि इंटरनेट की वर्तमान स्थिति में हमें कच्ची ऊर्जा के मामले में कितना खर्च करना पड़ रहा है। क्या यह कुशल है? क्या यह पर्यावरण के अनुकूल है? इससे बहुत दूर।

यातायात और ऊर्जा

कुछ समय पहले, मैंने पर्ल ( वेबमीटर ) का उपयोग करके एक छोटा सा टीयूआई टूल लिखा था, जो मेरे इंटरनेट ट्रैफ़िक पर नज़र रखता है और टूल के चलने के दौरान भेजे और प्राप्त किए गए पैकेटों की बाइट-लंबाई को एकत्रित करता है।

रेडिट का मुखपृष्ठ खोलते ही, मेरे टूल ने मेरे इंटरफेस और रेडिट के सर्वर के बीच स्थानांतरित हुए 5.85 मेगाबाइट डेटा को लॉग कर लिया।

Reddit एक वेबसाइट के रूप में टेक्स्ट, कम-से-मध्यम-गुणवत्ता वाली छवियों और कभी-कभी वीडियो का एक संयोजन है। यह बेहद अनुचित लगता है कि Reddit के फ्रंट पेज को खोलने से ही मैंने दुनिया भर में इतना डेटा ट्रांसफर कर दिया (परीक्षण के दौरान ऑटो-प्लेइंग वीडियो बंद थे, इस परिणाम में वीडियो सामग्री शामिल नहीं है)।

रेडिट का मुखपृष्ठ, जो 10 किलोबाइट सामग्री, जावास्क्रिप्ट और सीएसएस (अतिरिक्त चित्रों के लिए शायद कुछ और किलोबाइट) से पूरा हो सकता था, को लोड होने के लिए 300 गुना अधिक बैंडविड्थ की आवश्यकता थी।

तुलना करें तो (यह मानते हुए कि चंद्रमा पर उतरना हॉलीवुड के किसी तहखाने में नहीं हुआ था), अपोलो 11 मिशन के लिए लिखा गया सॉफ्टवेयर केवल 72 किलोबाइट आकार का था।

बस मज़ा लेने के लिए, कल्पना करें कि अरबों लोग, हर पल, हर समय, एक साथ, Reddit का फ्रंट पेज खोल रहे हैं। कोशिश करें और सोचें: डेटा ट्रांसफर करने की प्रत्यक्ष लागत क्या है? द्वितीयक लागत क्या है? इंटरनेट का उपभोग करने वाले प्राणी के रूप में हम कितनी ऊर्जा बर्बाद कर रहे हैं?

यह अवधारणा पिछले एक साल से मेरे दिमाग में घूम रही थी, यही मुख्य कारण था कि मैंने सबसे पहले अपने पर्ल टूल को हैक किया। एक "न्यूनतम वेब" विचार ने दूसरे को जन्म दिया, और मुझे एहसास हुआ कि हम प्रचार (या घृणा) में इतने डूबे हुए हैं कि हम अपने कृत्रिम बुद्धिमत्ता प्रयासों की लागत को अनदेखा कर रहे हैं।

हम एक सेवा के रूप में एआई की ऊर्जा लागत (या उदाहरण के लिए स्थिर प्रसार) की गणना कैसे कर सकते हैं?

सटीक रूप से? हम नहीं कर सकते। बिना यह जाने कि ये सेवाएँ कैसे काम करती हैं: वे कौन से CPU या GPU (या समर्पित चिप्स) का उपयोग कर रहे हैं। वे कितने इंस्टेंस चला रहे हैं, उनका लोड क्या है, महत्वपूर्ण हार्डवेयर की सटीक बिजली खपत क्या है, आदि?

लेकिन अगर हम इस पर ध्यान दें तो हम एक बहुत ही यथार्थवादी (हालांकि उतना सटीक नहीं) निष्कर्ष पर पहुँच सकते हैं। मैंने इस उदाहरण के लिए Fooocus को चुना जो सबसे सीधा (और मेरा मानना है कि लोकप्रिय) स्थिर प्रसार GUI है। आइए सरल शुरुआत करें:

Fooocus का उपयोग करते हुए, मेरे पुराने GPU (क्वाड्रो P2000) को एक छवि बनाने में लगभग 10 मिनट लगे। Fooocus के रिपॉजिटरी पर प्रदर्शन तालिका के अनुसार, हम जानते हैं कि Nvidia RTX 4XXX GPU का उपयोग करने से हमें सबसे तेज़ परिणाम मिलेगा। मेरा क्वाड्रो कुछ हद तक Nvidia GTX 1060 के बराबर है, इसलिए, हम जानते हैं कि Nvidia GTX 1060 GPU का उपयोग करके, हम लगभग 10 मिनट में एक छवि बना सकते हैं।

ऑनलाइन कुछ खोज करने के बाद, मैं इस निष्कर्ष पर पहुंचा कि AI/ML के लिए सबसे अधिक इस्तेमाल किया जाने वाला (एंटरप्राइज) GPU Nvidia A100 है (लोड के तहत 400W तक)।

Nvidia A100, Nvidia GTX 1060 की तुलना में बहुत ज़्यादा शक्तिशाली GPU है; इसे खास तौर पर AI और ML के लिए बनाया गया है। इसलिए, मान लें कि Nvidia A100 का उपयोग करके एक छवि बनाने में 5 सेकंड लगेंगे (अगर इसे पढ़ने वाले किसी व्यक्ति के पास A100 और इसके प्रदर्शन के बारे में सटीक डेटा है, तो कृपया साझा करें)।

E = P * T सूत्र का उपयोग करते हुए, 5 सेकंड के लिए लोड के तहत Nvidia A100 GPU की बिजली खपत लगभग 0.5 वाट-घंटे होती है।

इस उदाहरण में आगे जोड़ते हुए: मिडजर्नी (या अन्य AI इमेज जेनरेशन सेवाएँ) प्रति प्रॉम्प्ट 4 इमेज जेनरेट करती हैं। मान लें कि सेवा छवियों को जेनरेट करने के लिए Nvidia A100s की एक सरणी का उपयोग कर रही है, जिसका अर्थ है कि सेवा प्रत्येक उपयोगकर्ता के लिए प्रत्येक प्रॉम्प्ट के लिए लगभग 2 वाट-घंटे ऊर्जा बर्बाद कर रही है।

नवंबर 2023 तक, मिडजर्नी के पास 2.5 मिलियन DAU हैं।

 2Wh x 2,500,000 Users x 24 Hours = 120,000,000Wh (per day, considering every DAU is executing a prompt per hour, in reality, it is much more than that). 120,000,000Wh = 120,000MWh

120,000 मेगावाट घंटे से संभावित रूप से 100,000 से अधिक घरों को पूरे महीने बिजली मिल सकती है।

मामूली रूप से, मिडजर्नी, डैल-ई जैसी सेवाएं, या यहां तक कि फूओकस जैसे स्वयं-होस्टेड समाधान, प्रत्येक दिन कम से कम 50 मिलियन वाट-घंटे बर्बाद करते हैं (यह देखते हुए कि उनके जीपीयू अत्याधुनिक हैं और प्रत्येक डीएयू प्रतिदिन कुछ घंटों के लिए सेवा का उपयोग करता है)।

ऊर्जा की यह मात्रा संभावित रूप से प्रतिदिन 100,000 से अधिक औसत आकार के घरों को एक महीने तक बिजली प्रदान कर सकती है।

ध्यान रखें कि हमने केवल छवि निर्माण सेवाओं के बारे में बात की है; आइए अन्य सभी सेवाओं, जैसे कि चैटजीपीटी, जेमिनी, बार्ड, और उनके सभी संस्करणों और स्वादों के बारे में न भूलें। सूची, और बर्बादी, आगे बढ़ती है।

काय करते?

डेवलपर्स के रूप में हमें इस उभरते मुद्दे को संबोधित करने के लिए कैसे एक साथ आना चाहिए? हम दूसरों को ऊर्जा का जिम्मेदारी से उपयोग करने के लिए शिक्षित करने के लिए कैसे उपाय कर सकते हैं? मैं इस विषय और इसके संभावित समाधानों के बारे में आपके विचार सुनना पसंद करूंगा।

यहां भी प्रकाशित