एआई फीडबैक (क्यूडीएआईएफ) के माध्यम से गुणवत्ता-विविधता: स्वायत्त एआई रचनात्मकता की ओर एक कदम

लिंक की तालिका

सार एवं परिचय

पृष्ठभूमि और संबंधित कार्य

दृष्टिकोण

रचनात्मक लेखन डोमेन पर प्रयोग

चर्चा और निष्कर्ष

एक परिशिष्ट

अमूर्त

कई टेक्स्ट-जनरेशन समस्याओं में, उपयोगकर्ता न केवल एक ही प्रतिक्रिया पसंद कर सकते हैं, बल्कि उच्च-गुणवत्ता वाले आउटपुट की एक विविध श्रृंखला चुन सकते हैं। गुणवत्ता-विविधता (क्यूडी) खोज एल्गोरिदम का लक्ष्य उम्मीदवारों की आबादी में लगातार सुधार और विविधता लाकर ऐसे परिणाम प्राप्त करना है। हालाँकि, रचनात्मक लेखन जैसे गुणात्मक डोमेन के लिए QD की प्रयोज्यता, गुणवत्ता और विविधता के उपायों को एल्गोरिदमिक रूप से निर्दिष्ट करने की कठिनाई से सीमित हो गई है। दिलचस्प बात यह है कि भाषा मॉडल (एलएम) में हाल के विकास ने एआई फीडबैक के माध्यम से मार्गदर्शक खोज को सक्षम किया है, जिसमें एलएम को पाठ के गुणात्मक पहलुओं का मूल्यांकन करने के लिए प्राकृतिक भाषा में प्रेरित किया जाता है। इस विकास का लाभ उठाते हुए, हम एआई फीडबैक (क्यूडीएआईएफ) के माध्यम से गुणवत्ता-विविधता की शुरुआत करते हैं, जिसमें एक विकासवादी एल्गोरिदम एलएम को विविधता उत्पन्न करने और उम्मीदवार पाठ की गुणवत्ता और विविधता का मूल्यांकन करने के लिए लागू करता है। जब रचनात्मक लेखन डोमेन पर मूल्यांकन किया जाता है, तो QDAIF गैर-QD नियंत्रणों की तुलना में उच्च गुणवत्ता वाले नमूनों के साथ एक निर्दिष्ट खोज स्थान को अधिक कवर करता है। इसके अलावा, QDAIF-जनित रचनात्मक पाठ का मानव मूल्यांकन एआई और मानव मूल्यांकन के बीच उचित समझौते को मान्य करता है। इस प्रकार हमारे परिणाम रचनात्मक और मूल समाधानों के लिए ओपन-एंडेड खोज को निर्देशित करने के लिए एआई फीडबैक की क्षमता को उजागर करते हैं, एक ऐसा नुस्खा प्रदान करते हैं जो कई डोमेन और तौर-तरीकों को सामान्य बनाता है। इस तरह, QDAIF एआई सिस्टम की ओर एक कदम है जो स्वतंत्र रूप से खोज, विविधता, मूल्यांकन और सुधार कर सकता है, जो नवाचार के लिए मानव समाज की क्षमता के अंतर्निहित प्रमुख कौशलों में से हैं।[1]

1 परिचय

मानव नवाचार न केवल रचनात्मकता के लिए एक उत्पादक क्षमता है, बल्कि इसमें नए विचारों और कलाकृतियों की व्यक्तिपरक गुणवत्ता का मूल्यांकन करने की क्षमता भी शामिल है। महान विचार कभी-कभार ही संपूर्ण रूप से एक साथ उत्पन्न होते हैं, बल्कि धीरे-धीरे विस्तार और संशोधन की विभिन्न श्रृंखलाओं के माध्यम से उभरते हैं (स्टेनली और लेहमैन, 2015)। विचारों के ऐसे वृक्ष को सफलतापूर्वक नेविगेट करने के लिए, निर्माता को यह मूल्यांकन करना चाहिए कि श्रृंखला में कौन से चरण आगे बढ़ने लायक हैं, एक प्रश्न जो अत्यधिक व्यक्तिपरक हो सकता है, खासकर कलात्मक या साहित्यिक आयाम वाले डोमेन में।

अब तक, भले ही एआई उम्मीदवार प्रदान कर सके, लेकिन इस तरह के व्यक्तिपरक मूल्यांकन की आशा मनुष्यों के साथ मजबूती से जुड़ी हुई है। हालाँकि, हाल के वर्षों की उभरती हुई फाउंडेशन मॉडल तकनीक (बोम्मासानी एट अल., 2021) का मतलब अब यह है कि मॉडल मूल्यांकनकर्ता की भूमिका भी निभा सकता है, भले ही मूल्यांकन आंशिक रूप से व्यक्तिपरक हो (मदान एट अल., 2023)। इस तरह, पहली बार, एक संपूर्ण विचार प्रक्रिया जो दिलचस्प कलाकृतियों का एक विविध सेट लौटाती है, सैद्धांतिक रूप से स्वचालित हो सकती है। इस प्रक्रिया को एलएम द्वारा पूरी तरह से अपने आप नहीं चलाया जा सकता है, लेकिन इसके लिए सूक्ष्म तरीके से मॉडल कॉल के साथ एक खोज एल्गोरिदम को एक साथ जोड़ने की आवश्यकता होती है। यह पेपर इस क्षमता को प्राप्त करने के एक तरीके पर प्रकाश डालता है: एलएम को गुणवत्ता-विविधता (क्यूडी) (मौरेट और क्लून, 2015) के क्षेत्र के साथ जोड़ना, जो इस बात पर केंद्रित है कि खोज प्रक्रियाओं को कैसे डिजाइन किया जाए जो उच्च गुणवत्ता वाले समाधान उत्पन्न करते हैं जो एक डिजाइन स्थान का विस्तार करते हैं। .

QD एल्गोरिदम में मुख्य अंतर्दृष्टि उच्च गुणवत्ता वाली विविध प्रतिक्रियाओं को स्पष्ट रूप से बनाए रखना और प्राप्त करना है। आमतौर पर ऐसे खोज एल्गोरिदम के लिए विविधता और गुणवत्ता के हाथ से डिज़ाइन किए गए उपायों की आवश्यकता होती है, साथ ही सार्थक भिन्नता उत्पन्न करने के तरीके की भी आवश्यकता होती है। फिर भी सबसे दिलचस्प और जटिल डोमेन में लगभग हमेशा प्रदर्शन, विविधता और भिन्नता की धारणाएं शामिल होती हैं जो व्यक्तिपरक होती हैं या एल्गोरिदमिक रूप से निर्दिष्ट करना कठिन होती हैं। एलएम (लेहमैन एट अल., 2022; मेयर्सन एट अल., 2023) के माध्यम से भिन्नता उत्पन्न करने वाले कार्य का विस्तार करना और एलएम (अह्न एट अल., 2022) के माध्यम से संभावित समाधानों की गुणवत्ता का मूल्यांकन करना, हम दिखाते हैं कि एलएम का उपयोग मूल्यांकन करने के लिए भी किया जा सकता है। विविधता के गुणात्मक पहलू. इस तरह, एलएम क्यूडी खोज के तीन मुख्य अवयवों को त्वरित कर सकते हैं, जिससे शक्तिशाली नए क्यूडी एल्गोरिदम सक्षम हो सकते हैं जो निरंतर एलएम अग्रिमों के कोटेल्स की सवारी कर सकते हैं, जिसे हम एआई फीडबैक (क्यूडीएआईएफ) के माध्यम से गुणवत्ता-विविधता का नाम देते हैं। इस तरह के QDAIF मॉडल फाइन-ट्यूनिंग की आवश्यकता के बिना, अधिक-सहज विविधता उपायों के माध्यम से एलएम प्रॉम्प्ट पर विविध, उच्च-गुणवत्ता वाली प्रतिक्रियाओं का पता लगा सकते हैं और लौटा सकते हैं (हालांकि, इसका उपयोग एलएम के लिए फाइन-ट्यूनिंग उत्पन्न करके स्वयं-सुधार करने के लिए भी किया जा सकता है) डेटा (लेहमैन एट अल., 2022; चेन एट अल., 2023)), एआई-जनरेटिंग एल्गोरिदम की ओर, उत्पन्न डेटा के माध्यम से स्व-क्यूरेटेड प्रभावी शिक्षण वातावरण के लिए एक दिलचस्प दिशा (क्लून, 2019))।

हम तीन रचनात्मक लेखन क्षेत्रों में QDAIF का मूल्यांकन करते हैं: राय लेखन, लघु कथाएँ और कविता। विचार यह है कि ऐसे रचनात्मक डोमेन में, उपयोगकर्ता अक्सर संभावित कहानियों या कविताओं की एक विस्तृत श्रृंखला को देखने का आनंद लेते हैं, जिनमें से चुनने या प्रेरित होने के लिए। मात्रात्मक परिणाम दर्शाते हैं कि QDAIF मौजूदा बेसलाइन से काफी बेहतर प्रदर्शन करता है। इसके अतिरिक्त, मानव मूल्यांकन के माध्यम से, हम मानव और एआई-जनित फीडबैक के बीच एक मजबूत संरेखण देखते हैं, जो अनुभवजन्य साक्ष्य प्रदान करता है कि एआई फीडबैक जमीनी है और यह विधि व्यवहार में काम कर सकती है (यानी यह मनुष्यों द्वारा मापी गई गुणवत्ता और विविधता में सुधार लाती है)। कुल मिलाकर, QDAIF हमें AI मॉडल के एक कदम और करीब लाता है जो स्वतंत्र रूप से खोज और नवाचार कर सकता है, यह मनुष्यों की प्रमुख क्षमताओं में से एक है जो उन्हें संस्कृति और विज्ञान बनाने की अनुमति देती है (स्टेनली एट अल।, 2017)।

[1] प्रोजेक्ट पेज: https://qdaif.github.io/