एलएलएम के पेशेवरों, विपक्षों और जोखिमों का विश्लेषण

बड़े भाषा मॉडल (एलएलएम) के चमत्कारों के बारे में हाल ही में बहुत कुछ कहा गया है। इनमें से अधिकांश प्रशंसा के पात्र हैं। चैटजीपीटी से सापेक्षता के सामान्य सिद्धांत का वर्णन करने के लिए कहें और आपको बहुत अच्छा (और सटीक) उत्तर मिलेगा। हालाँकि, दिन के अंत में चैटजीपीटी अभी भी एक कंप्यूटर प्रोग्राम है (जैसा कि अन्य सभी एलएलएम हैं) जो आँख बंद करके अपने निर्देश सेट को निष्पादित कर रहा है। यह सापेक्षता के सामान्य सिद्धांत को आपके पसंदीदा पालतू जानवर से बेहतर नहीं समझता है। दुर्भाग्य से, हम इंजीनियरों द्वारा उपयोग की जाने वाली तकनीकों का वर्णन करने के लिए "मानव-सदृश" शब्दों का उपयोग करते हैं - उदाहरण के लिए, "मशीन लर्निंग" और "प्रशिक्षण"। यह भ्रामक है क्योंकि एलएलएम में इंसान जैसा दिमाग नहीं होता है।

यहां एक निश्चित विडंबना है - एक गैर-सोचने वाला चैटबॉट अब तक के सबसे बुद्धिमान व्यक्ति के निष्कर्षों का सही ढंग से सारांश कैसे दे सकता है? एलएलएम की इस विरोधाभासी प्रकृति को समझने के लिए, आइए उन्हें ताकत, कमजोरियों और खतरों के संदर्भ में आगे देखें और देखें कि हम पहले का फायदा उठाने और अन्य दो को कम करने के लिए डेटा और मिनिआईओ जैसे भंडारण समाधान का उपयोग कैसे कर सकते हैं। ये ऐसी तकनीकें हैं जो प्रत्येक इंजीनियर को अपने संगठन के लिए एलएलएम को प्रशिक्षित, परीक्षण और तैनात करते समय अपने दिमाग में रखनी चाहिए।

शक्ति

एलएलएम की ताकत यह है कि उन्हें बनाने के लिए उपयोग किए जाने वाले प्रशिक्षण सेट में शब्दों के संभाव्यता वितरण को समझने के लिए प्रशिक्षित किया जाता है। यदि प्रशिक्षण सेट पर्याप्त रूप से बड़ा है (यानी विकिपीडिया लेखों का एक संग्रह या GitHub पर सार्वजनिक कोड), तो मॉडल में एक शब्दावली और एक संबंधित संभाव्यता वितरण होगा जो उनके परिणामों को ऐसे प्रकट करेगा जैसे कि उन्हें वास्तविक दुनिया की समझ हो टेक्स्ट वे आउटपुट करते हैं। आइए एक और उदाहरण की अधिक विस्तार से जाँच करें - इस बार दर्शनशास्त्र से। चैटजीपीटी से प्रश्न पूछें, "'कोगिटो, एर्गो सम' का क्या मतलब है और इसे किसने लिखा है?" और आपको नीचे दिए गए पाठ के समान कुछ मिलेगा।

"कोगिटो, एर्गो सम" एक लैटिन दार्शनिक प्रस्ताव है जिसका अंग्रेजी में अनुवाद "मुझे लगता है, इसलिए मैं हूं" है। यह कथन प्रसिद्ध रूप से फ्रांसीसी दार्शनिक, गणितज्ञ और वैज्ञानिक रेने डेसकार्टेस से जुड़ा है। डेसकार्टेस ने 1637 में प्रकाशित अपने काम "डिस्कोर्स ऑन द मेथड" में इस विचार को व्यक्त किया। यह वाक्यांश डेसकार्टेस के एक मूलभूत सत्य को स्थापित करने के प्रयास को दर्शाता है जिस पर संदेह नहीं किया जा सकता है - एक विचारशील प्राणी के रूप में स्वयं के अस्तित्व की निश्चितता।

एलएलएम संभाव्यता वितरण का उपयोग करके इस तरह के परिणाम उत्पन्न करते हैं। यह कुछ इस तरह काम करता है, वे प्रश्न में पाठ को देखकर शुरू करते हैं और निर्धारित करते हैं कि "कोगिटो" शब्द के उत्तर का पहला शब्द होने की सबसे अधिक संभावना है। वहां से, वे उस शब्द को निर्धारित करने के लिए प्रश्न और उत्तर के पहले शब्द को देखते हैं जिसके अगले होने की सबसे अधिक संभावना है। यह तब तक चलता रहता है जब तक कि एक विशेष "उत्तर का अंत" चरित्र उच्चतम संभावना वाला निर्धारित न हो जाए।

अरबों संभावनाओं के आधार पर प्राकृतिक भाषा प्रतिक्रिया उत्पन्न करने की यह क्षमता डरने की बात नहीं है - बल्कि, यह ऐसी चीज़ है जिसका व्यावसायिक मूल्य के लिए उपयोग किया जाना चाहिए। जब आप आधुनिक तकनीकों का उपयोग करते हैं तो परिणाम और भी बेहतर हो जाते हैं। उदाहरण के लिए, रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) और फाइन-ट्यूनिंग जैसी तकनीकों का उपयोग करके, आप अपने विशिष्ट व्यवसाय के बारे में एलएलएम पढ़ा सकते हैं। इन मानव-सदृश परिणामों को प्राप्त करने के लिए डेटा की आवश्यकता होगी और आपके बुनियादी ढांचे को एक मजबूत डेटा भंडारण समाधान की आवश्यकता होगी।

इन अगली-टोकन भविष्यवाणी क्षमताओं का उपयोग न केवल आपके चैटबॉट या मार्केटिंग कॉपी के लिए शानदार टेक्स्ट उत्पन्न करने के लिए किया जा सकता है, बल्कि इनका उपयोग आपके एप्लिकेशन के भीतर स्वचालित निर्णय लेने को सक्षम करने के लिए भी किया जा सकता है। चतुराई से निर्मित संकेतों को देखते हुए जिसमें एक समस्या विवरण और एपीआई ("फ़ंक्शन") के बारे में जानकारी होती है जिसे बुलाया जा सकता है, एलएलएम की भाषा की समझ उसे एक उत्तर उत्पन्न करने में सक्षम करेगी जो बताती है कि "फ़ंक्शन" को क्या कहा जाना चाहिए। उदाहरण के लिए, एक संवादात्मक मौसम ऐप पर, एक उपयोगकर्ता पूछ सकता है, "अगर मैं आज रात फेनवे पार्क जा रहा हूं तो क्या मुझे रेन जैकेट की आवश्यकता है?" कुछ चतुर संकेत के साथ, एक एलएलएम क्वेरी (बोस्टन, एमए) से स्थान डेटा निकाल सकता है और यह निर्धारित कर सकता है कि वेदर.कॉम वर्षा एपीआई के लिए अनुरोध कैसे तैयार किया जा सकता है।

लंबे समय तक, सॉफ़्टवेयर निर्माण के बारे में सबसे कठिन हिस्सा प्राकृतिक भाषा और एपीआई कॉल जैसी वाक्यविन्यास प्रणालियों के बीच इंटरफेसिंग था। अब, विडंबना यह है कि यह सबसे सरल भागों में से एक हो सकता है। पाठ निर्माण के समान, एलएलएम फ़ंक्शन-कॉलिंग व्यवहार की गुणवत्ता और विश्वसनीयता को मानव प्रतिक्रिया (आरएलएचएफ) के साथ फाइन-ट्यूनिंग और सुदृढीकरण सीखने के उपयोग से सहायता मिल सकती है।

अब जब हम समझ गए हैं कि एलएलएम किसमें अच्छे हैं और क्यों, तो आइए जांच करें कि एलएलएम क्या नहीं कर सकते।

कमजोरी

एलएलएम सोच, समझ या तर्क नहीं कर सकते। यह एलएलएम की मूलभूत सीमा है। भाषा मॉडल में उपयोगकर्ता के प्रश्न के बारे में तर्क करने की क्षमता का अभाव है। वे संभाव्यता मशीनें हैं जो उपयोगकर्ता के प्रश्न का वास्तव में अच्छा अनुमान लगाती हैं। इससे कोई फ़र्क नहीं पड़ता कि कोई चीज़ कितनी भी अच्छी हो, वह फिर भी एक अनुमान ही है और जो कुछ भी इन अनुमानों को उत्पन्न करता है वह अंततः कुछ ऐसा उत्पन्न करेगा जो सत्य नहीं है। जेनरेटिव एआई में, इसे "मतिभ्रम" के रूप में जाना जाता है।

जब सही ढंग से प्रशिक्षित किया जाता है, तो मतिभ्रम को न्यूनतम रखा जा सकता है। फाइन-ट्यूनिंग और आरएजी भी मतिभ्रम को काफी हद तक कम कर देते हैं। निचली पंक्ति - किसी मॉडल को सही ढंग से प्रशिक्षित करने, उसे ठीक करने और उसे प्रासंगिक संदर्भ (आरएजी) देने के लिए डेटा और बुनियादी ढांचे की आवश्यकता होती है ताकि इसे बड़े पैमाने पर संग्रहीत किया जा सके और इसे निष्पादन योग्य तरीके से पेश किया जा सके।

आइए एलएलएम के एक और पहलू पर नजर डालें, जिसे मैं एक खतरे के रूप में वर्गीकृत करूंगा क्योंकि यह उन्हें परखने की हमारी क्षमता को प्रभावित करता है।

ख़तरा

एलएलएम का सबसे लोकप्रिय उपयोग जेनरेटिव एआई है। जेनरेटिव एआई कोई विशिष्ट उत्तर नहीं देता है जिसकी तुलना किसी ज्ञात परिणाम से की जा सके। यह अन्य एआई उपयोग मामलों के विपरीत है, जो एक विशिष्ट भविष्यवाणी करता है जिसे आसानी से परीक्षण किया जा सकता है। छवि पहचान, वर्गीकरण और प्रतिगमन के लिए मॉडल का परीक्षण करना सीधा है। लेकिन आप जेनेरिक एआई के लिए उपयोग किए जाने वाले एलएलएम का निष्पक्ष, तथ्य-विश्वसनीय और स्केलेबल तरीके से परीक्षण कैसे करते हैं? यदि आप स्वयं विशेषज्ञ नहीं हैं तो आप यह कैसे सुनिश्चित कर सकते हैं कि एलएलएम द्वारा दिए गए जटिल उत्तर सही हैं? भले ही आप एक विशेषज्ञ हों, मानव समीक्षक सीआई/सीडी पाइपलाइन में होने वाले स्वचालित परीक्षण का हिस्सा नहीं बन सकते हैं।

उद्योग में कुछ मानक हैं जो मदद कर सकते हैं। एलएलएम के प्रदर्शन का मूल्यांकन और मापने के लिए GLUE (सामान्य भाषा समझ मूल्यांकन) का उपयोग किया जाता है। इसमें कार्यों का एक सेट शामिल है जो मानव भाषा को संसाधित करने के लिए मॉडल की क्षमता का आकलन करता है। SuperGLUE GLUE बेंचमार्क का एक विस्तार है जो अधिक चुनौतीपूर्ण भाषा कार्यों का परिचय देता है। इन कार्यों में संदर्भ समाधान, प्रश्न उत्तर और अधिक जटिल भाषाई घटनाएं शामिल हैं।

जबकि उपरोक्त बेंचमार्क सहायक हैं, समाधान का एक बड़ा हिस्सा आपका अपना डेटा संग्रह होना चाहिए। सभी प्रश्नों और उत्तरों को लॉग करने और कस्टम निष्कर्षों के आधार पर अपने स्वयं के परीक्षण बनाने पर विचार करें। इसके लिए पैमाने और प्रदर्शन के लिए निर्मित डेटा इंफ्रास्ट्रक्चर की भी आवश्यकता होगी।

निष्कर्ष

ये लो। एलएलएम की ताकत, कमजोरियां और खतरे। यदि आप पहले का फायदा उठाना चाहते हैं और अन्य दो को कम करना चाहते हैं, तो आपको डेटा और एक भंडारण समाधान की आवश्यकता होगी जो इसमें से बहुत सारे को संभाल सके।