बहुभाषी मोटे राजनीतिक रुख मीडिया का वर्गीकरण: राजनीतिक रुख वर्गीकरण

लिंक की तालिका

• सार और परिचय
• कॉर्पोरा संकलन
• राजनीतिक रुख वर्गीकरण
• सारांश व निष्कर्ष
• सीमाएँ और नैतिकता वक्तव्य
• आभार और संदर्भ
• A. ऑस्कर 22.01 में समाचार पत्र
• बी. विषय
• C. समाचारपत्र के अनुसार विषयों का वितरण
• D. चैटजीपीटी और बार्ड आर्टिकल जनरेशन के लिए विषय
• ई. लेख स्तर पर रुख वर्गीकरण
• एफ. प्रशिक्षण विवरण

3. राजनीतिक रुख वर्गीकरण

नेटवर्क। **हमने XLM-RoBERTA को बड़े पैमाने पर फ़ाइनट्यून किया (कोनेउ एट अल., 2020), एक बहुभाषी ट्रांसफ़ॉर्मर-आधारित मास्क्ड LM जिसे 100 भाषाओं पर प्रशिक्षित किया गया है, जिसमें 4 ऐसी भाषाएँ शामिल हैं जिन पर हम विचार कर रहे हैं। नेटवर्क का विवरण और प्रति मॉडल हाइपरपैरामीटर अन्वेषण परिशिष्ट F में रिपोर्ट किया गया है।

मॉडल। हम 4 मॉडल प्रशिक्षित करते हैं: अंग्रेजी, जर्मन और स्पेनिश डेटा के साथ 3 मोनोलिंगुअल फ़ाइनट्यूनिंग, साथ ही डेटा के शफ़ल्ड कॉन्टेनेशन के साथ एक बहुभाषी मॉडल। सभी मॉडल बहुभाषी एम्बेडिंग (RoBERTa) पर आधारित हैं, जिन्हें मोनोलिंगुअल या बहुभाषी रूप से फ़ाइनट्यून किया गया है। ध्यान दें कि हम कैटलन के लिए कोई मॉडल प्रशिक्षित नहीं करते हैं। इसके साथ, हम मोनो- और बहुभाषी फ़ाइनट्यूनिंग के प्रदर्शन की तुलना करना चाहते हैं और ज़ीरो-शॉट भाषा हस्तांतरण के लिए बहुभाषी मॉडल का उपयोग करने की संभावना का पता लगाना चाहते हैं।

समाचार पत्र लेखों के साथ मोटा वर्गीकरण। तालिका 2 परिणामों का सारांश प्रस्तुत करती है। सभी मॉडल सत्यापन सेट पर 95% से अधिक सटीकता प्राप्त करते हैं, जिसे प्रशिक्षण डेटा के समान वितरण से निकाला जाता है। यह देखने के लिए कि मॉडल अदृश्य डेटा के साथ कैसे व्यवहार करते हैं, हम तालिका 1 के परीक्षण समाचार पत्रों में बाएं (L) और दाएं (R) के रूप में वर्गीकृत लेखों के प्रतिशत की गणना करते हैं। हम 95% स्तर पर विश्वास अंतराल प्राप्त करने के लिए 1000 बूटस्ट्रैप के साथ परीक्षण सेटों का बूटस्ट्रैप रीसैंपलिंग करते हैं। हम उम्मीद नहीं करते हैं कि वामपंथी झुकाव वाले समाचार पत्र के सभी लेख वामपंथी की स्पष्ट विशेषताएँ दिखाएँगे, लेकिन यह देखते हुए कि कोई तटस्थ वर्ग नहीं है, हम उम्मीद करते हैं कि उनमें से अधिकांश को वामपंथी के रूप में वर्गीकृत किया जाएगा। एक अच्छा परिणाम जरूरी नहीं कि 100%-0% हो, क्योंकि यह भी यथार्थवादी नहीं होगा। हम मानते हैं कि एक समाचार पत्र को वामपंथी/दक्षिणपंथी राजनीतिक रुख रखने वाले के रूप में वर्गीकृत किया गया है यदि उसके 50% से अधिक लेखों को इस तरह वर्गीकृत किया गया है। ये मामले तालिका 2 में बोल्डफेस किए गए हैं।

यह वह व्यवहार है जो हमें सभी परीक्षण समाचार पत्रों के लिए प्राप्त होता है, लेकिन जर्मन राइट-ओरिएंटेड समाचार पत्र के लिए: डाई प्रीसिस्चे अल्गेमाइन ज़ितुंग (पीएजेड)। जर्मन मॉडल को केवल 12 समाचार पत्रों पर प्रशिक्षित किया जाता है, जिनकी तुलना अंग्रेजी में 47 और स्पेनिश में 38 से की जाती है। गलत वर्गीकरण इस बात का संकेत हो सकता है कि विविधता अंतिम मॉडल प्रदर्शन के लिए एक महत्वपूर्ण पहलू है। बहुभाषीयता मदद नहीं करती है और पीएजेड लेखों में से 65% अभी भी वामपंथी के रूप में वर्गीकृत हैं। हम जर्मन डेटा, दो करीबी भाषाओं पर अंग्रेजी मॉडल की प्रभावशीलता का भी आकलन करते हैं। हम स्वीकार करते हैं कि यूएसए और जर्मन समाचार पत्रों के विषय बहुत भिन्न हो सकते हैं, लेकिन अंग्रेजी प्रशिक्षण डेटा की उच्च विविधता संभावित रूप से इसकी भरपाई कर सकती है। अंग्रेजी मॉडल जर्मन माय हेमट को वामपंथी समाचार पत्र (एल: 67 ± 3%) और पीएजेड को दक्षिणपंथी (आर: 58 ± 5%) के रूप में सही ढंग से वर्गीकृत करने में सक्षम है। हम फिर से विविधता की कमी वाले कॉर्पस पर प्रशिक्षित होने वाले जर्मन मॉडल को अंतर का श्रेय देते हैं। जब हम बहुभाषी प्रणाली का उपयोग करते हैं, तो आउटपुट को अलग करने वाला प्रमुख कारक रुख के बजाय भाषा ही होती है। वर्गीकरण को महत्वपूर्ण रूप से बदलने के लिए अंग्रेजी डेटा को जोड़ना अपर्याप्त है। जब हम अंग्रेजी प्रणाली का उपयोग करते हैं, तो भाषा अब कोई भूमिका नहीं निभाती है और केवल रुख की विशेषताओं पर विचार किया जाता है। जब हम कैटलन अखबारों पर अंग्रेजी मॉडल लागू करते हैं, तो हमें संतोषजनक परिणाम नहीं मिलते हैं (बाएं के लिए 95±1% लेकिन दाएं अखबार के लिए 16±3%) जो दर्शाता है कि भाषाओं के बीच संबंध महत्वपूर्ण है। हालाँकि बहुभाषी मॉडल कैटलन अखबारों के रुख को ठीक से पहचान लेता है, शायद इसलिए क्योंकि इसे एक विषम कॉर्पस के साथ प्रशिक्षित किया गया है जिसमें एक संबंधित भाषा (स्पेनिश) शामिल है। जब हम निकट से संबंधित भाषाओं से निपटते हैं, तो हम शून्य-शॉट भाषा हस्तांतरण वर्गीकरण करने में सक्षम होते हैं।

ILM द्वारा निर्मित लेखों के साथ मोटा वर्गीकरण। तालिका 2 का निचला भाग परिणामों का विवरण देता है। हम पहले अंग्रेजी और स्पेनिश मॉडल पर ध्यान केंद्रित करते हैं क्योंकि जर्मन मॉडल ने हमारे परीक्षण समाचार पत्रों को ठीक से वर्गीकृत नहीं किया था। ChatGPT में ध्यान देने योग्य सबसे प्रासंगिक पहलू फरवरी (v02) और मई (v05) के बीच राजनीतिक रुख में मजबूत बदलाव है, जिसके बाद अगस्त (v08) में तटस्थता की ओर एक आंदोलन हुआ। हमने जाँच की कि यह ध्रुवीयता परिवर्तन आउटपुट की लंबाई का प्रभाव नहीं है - उत्पन्न लेखों में प्रमुख उथला परिवर्तन। अंग्रेजी में प्रशिक्षण डेटा में 5,730L-6,988 R लेख हैं जिनकी लंबाई 584<लंबाई (शब्द)<624 (ChatPGTv05 लंबाई के समान) और 4,563 L-7,127 R लेख हैं जिनकी लंबाई 331<लंबाई<371 (ChatGPtv02 के समान) है। दोनों मामलों में लेखों की संख्या दक्षिणपंथी रुख के लिए बड़ी है, लेकिन ChatGPTv02 के लिए भविष्यवाणी स्पष्ट रूप से वामपंथ की ओर इशारा करती है, जो इस परिकल्पना को खारिज करती है कि लंबाई वर्गीकरण में भूमिका निभाती है। स्पेनिश के लिए भी कुछ ऐसा ही होता है। हमारे मॉडल के अनुसार, संपादकीय लाइन का 24 मई का संस्करण दक्षिणपंथी विचारधारा के करीब है, जो पिछले संस्करणों की विचारधारा से अलग है। उल्लेखनीय रूप से, यह अवधि चेन एट अल. (2003) के अनुसार कई कार्यों में गिरावट से मेल खाती है। जर्मन और कैटलन आउटपुट अभी भी v05 में भी वामपंथी विचारधारा से एक छाप दिखाएंगे, लेकिन हमारे मोनोलिंगुअल मॉडल के साथ इसकी पुष्टि करने के लिए अधिक विविध प्रशिक्षण डेटा की आवश्यकता होगी। यह देखना दिलचस्प है कि अगर हम जर्मन और कैटलन के लिए अंग्रेजी मोनोलिंगुअल मॉडल का उपयोग करते हैं, तो हम अभी भी वामपंथी छाप (जर्मन के लिए 60±10% और कैटलन के लिए 87±7%) पाते हैं। इसलिए हमारे पास संकेत हैं कि ChatGPT का राजनीतिक रुख भाषा पर निर्भर करता है, जो डेटा-संचालित प्रणाली में आश्चर्यजनक नहीं है। अंतिम संस्करण, ChatGPTv08, सबसे तटस्थ पाठ प्रस्तुत करता है, जिसमें केवल जर्मन भाषा ही स्पष्ट रूप से वामपंथ की ओर झुकी हुई है। दो पीढ़ियाँ, v08a और v08b, दिखाती हैं कि परिणाम मज़बूत हैं और किसी विशेष पीढ़ी से बंधे नहीं हैं।

बहुभाषी बार्ड के लिए केवल एक संस्करण उपलब्ध है जो हमारे समय सीमा को कवर करता है।[7] चैटजीपीटी की तुलना में बार्ड के लिए पीढ़ियों के बीच भिन्नता अधिक है, लेकिन v08 संस्करणों की तुलना में, बार्ड सभी भाषाओं में अधिक सुसंगत तरीके से वामपंथ की ओर इशारा करता है। बार्ड के राजनीतिक रुझान को राजनीतिक परीक्षण या प्रश्नोत्तरी प्रश्नों के उसके उत्तरों से भी निर्धारित किया जा सकता है। पॉलिटिकल कम्पास (पीसी) साइट[8] राजनीतिक विचारधारा की पहचान करने के लिए 62 प्रस्तावों को परिभाषित करती है - एक यूरोपीय/पश्चिमी दृष्टिकोण के साथ - दो अक्षों में: आर्थिक नीति (बाएं-दाएं) और सामाजिक नीति (अधिनायकवादी-स्वतंत्रतावादी), दोनों [-10,10] की सीमा में। प्रत्येक प्रस्ताव के बाद 4 विकल्प दिए गए हैं: पूरी तरह से सहमत, सहमत, असहमत और पूरी तरह से असहमत। प्रश्नावली के साथ संकेत दिए जाने पर,[9] बार्ड के स्कोर अंग्रेजी के लिए (-6.50, -4.77), जर्मन के लिए (-8.00, -7.13), स्पेनिश के लिए (-5.75, -4.15) और कैटलन के लिए (-6.75, -4.56) हैं, जहां पहला नंबर आर्थिक नीति और दूसरा सामाजिक नीति से मेल खाता है। परिणाम तालिका 2 के अनुरूप हैं और हमारी पद्धति की अप्रत्यक्ष मान्यता देते हैं जो प्रत्यक्ष प्रश्नों पर निर्भर नहीं करती है।[10]

इस तरह का विश्लेषण अब चैटजीपीटी के साथ संभव नहीं है क्योंकि यह राय और पसंद व्यक्त करने से बचता है, जो एक ऐसे दृष्टिकोण की प्रासंगिकता को प्रदर्शित करता है जो अधिक अप्रत्यक्ष तरीके से झुकाव का पता लगाता है। यह भी ध्यान दें कि ये प्रश्नावली प्रसिद्ध और सार्वजनिक हैं, इसलिए एलएम को सवालों से बचने या इसके प्रस्तावों पर तटस्थ तरीके से प्रतिक्रिया करने का निर्देश देना आसान होगा। पिछले काम में चैटजीपीटी के उन्मुखीकरण का अनुमान लगाने के लिए केवल राजनीतिक परीक्षणों और प्रश्नावली का उपयोग किया गया था। हार्टमैन एट अल। (2023) ने पीसी, वोटिंग सलाह एप्लिकेशन वाहल-ओ-मैट (जर्मनी) से 38 राजनीतिक बयानों और स्टेमविजर (नीदरलैंड) से 30 का उपयोग यह निष्कर्ष निकालने के लिए किया कि 15 दिसंबर 2022 के अपने संस्करण में चैटजीपीटी की विचारधारा

मैनहट्टन इंस्टीट्यूट फॉर पॉलिसी रिसर्च[11] द्वारा किए गए एक अध्ययन में बताया गया है कि चैटजीपीटी अंग्रेजी के लिए वामपंथी राजनीतिक दृष्टिकोण के विशिष्ट उत्तर देने के लिए प्रवृत्त था (रोज़ादो, 2023)। लेखकों ने 9 जनवरी के चैटजीपीटी संस्करण के लिए 15 राजनीतिक अभिविन्यास परीक्षण किए। उनके परिणाम 13 फरवरी के मॉडल के हमारे मूल्यांकन के अनुरूप हैं। अंत में, मोटोकी एट अल. (2023) ने पीसी पर आधारित परीक्षणों की एक बैटरी का प्रदर्शन किया ताकि यह दिखाया जा सके कि चैटजीपीटी वामपंथ के प्रति दृढ़ता से पक्षपाती है। लेखक यह नहीं बताते कि वे किस संस्करण का उपयोग करते हैं, लेकिन कार्य मार्च 2023 को प्रस्तुत किया गया था। इसलिए ये सभी परिणाम मई में हमारे द्वारा पता लगाए गए दाईं ओर के कदम से पहले के हैं।

[7] ध्यान दें कि हम जिस संस्करण का उपयोग करते हैं वह आधिकारिक तौर पर कैटलन का समर्थन नहीं करता है, लेकिन देशी वक्ताओं ने पुष्टि की है कि पीढ़ियाँ ज़्यादातर सही और धाराप्रवाह हैं और व्याकरण संबंधी गलतियाँ बहुत कम हैं।

[8] https://www.politicalcompass.org/test (13 से 20 अगस्त 2023 के बीच एक्सेस किया गया)

[9] स्पैनिश प्रश्नावली का कैटलन भाषा में अनुवाद किया गया, क्योंकि प्रश्नावली उपलब्ध नहीं थी।

[10] हालांकि, लोगों की तरह ही, एक आईएलएम के लिए एक बात कहना (प्रस्ताव के लिए एक विकल्प चुनना) और असंगत तरीके से कार्य करना (एक पाठ लिखना) संभव है।

[11] विकिपीडिया के अनुसार एक रूढ़िवादी थिंक टैंक।