
 
 
 
 
 
 
 
 المؤلفين : (1) ز واغ ، AI هوليستية و University College London ؛ (2) Zekun Wu ، AI الشامل و University College London ؛ جريمي جانغ، جامعة إيموري؛ (4) Navya Jain ، جامعة كلية لندن ؛ (5) Xin Guan، AI الكامل؛ (6) إدريانو كوشياما Authors: (1) ز واغ ، AI هوليستية و University College London ؛ (2) Zekun Wu ، AI الشامل و University College London ؛ جريمي جانغ، جامعة إيموري؛ (4) Navya Jain ، جامعة كلية لندن ؛ (5) Xin Guan، AI الكامل؛ (6) إدريانو كوشياما طاولة اليسار 
 
 
 
 
 
 
 
 
 
 
 Abstract and Introduction 
 
 Background and Related Work 
 
 Theoretical Framework 
 
 Experiment Design 
 
 Results 
 
 Discussion 
 
 Limitations 
 
 Ethical Considerations and References A. صيغة متكاملة من WMLE B نظام التصحيح C إطار تحليل التفرقة الجزيئية ومثال على توسيع التفرقة عبر الأجيال D توزيع مؤشر جودة النص عبر الأجيال E متوسط الفوضى بين الأجيال F مثال على تدهور الجودة عبر الأجيال G Pearson صلة بين الوزن العصبي والتركيز الفردي H Pearson صلة بين الوزن العصبي والتركيز الفردي والتركيز الفردي I Pearson صلة بين التشغيل العصبي والتركيز الفردي J Pearson صلة بين التشغيل العصبي والتركيز الفردي K التفاصيل الرياضية للتحليلات الإحصائية abstract وبالتالي، فإن نموذج الماجستير في علم اللغة النفسية (LLM) يزيد من التكامل في العديد من جوانب المجتمع، ويصبح جزءاً كبيراً من النص عبر الإنترنت نموذجاً. وهذا يزيد من التساؤلات حول نموذج الماجستير في علم اللغة النفسية، حيث أن نموذج تدريب على البيانات النفسية يزيد من نموذج الماجستير في علم اللغة النفسية على نموذج الماجستير في علم اللغة النفسية، ويزيد من نموذج الماجستير في علم اللغة النفسية، حيث أن نموذج الماجستير في علم اللغة النفسية يزيد من نموذج الماجستير في علم اللغة النفسية، ويزيد من نموذج الماجستير في علم اللغة النفسية، وي 1 إدراج ومع ذلك، فإن العديد من المجموعات اللوجستية (LLMs) تتمتع بتدريب على كميات ضخمة من النصوص المزروعة من الإنترنت، والتي تلعب دوراً حاسماً في تحسين قدراتها، سواء من خلال المهارات الناشئة (Wei et al., 2022) أو القوانين المحددة (Kaplan et al., 2020). ومع ذلك، كما يصل هاميلتون إلى التكامل بشكل أكبر في المجتمع البشري (Peña-Fernández et al., 2023; Porlezza and Ferri, 2022; Nishal and Diakopoyllulos, 2024) - يزداد التساؤلات حول أن جزءاً كبيراً من النصوص على الإنترنت في المستقبل قد يتم إنشاؤه، ككل أو جزئيًا، من قبل LLMs (Peña- يمكن أن يؤدي التوسع في التناقضات السياسية إلى تأثيرات اجتماعية عميقة. قد يؤدي إلى استمرارية التناقضات، وتقوية التوازنات الاجتماعية، والحد من الجماعات المنخفضة. في سياق التناقضات السياسية، يمكن أن يؤثر هذا على رأي الجمهور، وتقويض العمليات الديمقراطية، وتقويض التناقضات. وبالتالي فإن فهم وتخفيف التوسع في التناقضات أمر حيوي لضمان أن LLMs تساهم بشكل إيجابي في المجتمع ولا تنتج سوءاً. ومع ذلك، على الرغم من الأدوات الفنية حول التوسع في التناقضات في النماذج التمييزية، فإن وجوده في LLMs قد ينشأ من مشكلة أكثر صعوبة. كما في هذه الوثيقة، ونحن نحاول ملء هذه الفجوة البحثية من خلال طرح إطار نظري يثبت وتفسير أسباب تشديد التناقض في LLMs. بالإضافة إلى ذلك، ونحن نحاول كل من التثبيت الإحصائي والتجربة LLM لإثبات وتثبيت النظرية. 
 
 
 
 
 
 
 : We establish the necessary and sufficient conditions for bias amplification (i.e. Theorem 1). The theorem aids in understanding the cause of bias amplification and in distinguishing between bias amplification and model collapse. We conduct statistical simulations using weighted maximum likelihood estimation to illustrate the theorem (see Section 3.2). Theoretical Framework 
 
 : We trained a highly accurate classifier capable of detecting political leaning in long-text content. With this classifier, we offer a benchmark for evaluating political bias in LLMs through open-generation tasks, filling a gap not covered in current bias studies (see Sections 2 and 4.3). Benchmarking Tool 
 
 : We demonstrate bias amplification in terms of political bias in GPT-2 using our benchmarking tool: the model exhibits a right-leaning bias in sentence continuation tasks and becomes increasingly right-leaning over successive generations (see Section 5.1). Additionally, we conducted experiments with three potential mitigation strategies, i.e. Overfitting, Preservation, and Accumulation, comparing their effectiveness, and found that some are surprisingly effective (see Section 5.3). Empirical Demonstration and Mitigation Strategies 
 
 : Building on our framework, we propose an innovative mechanistic interpretation pipeline that identifies two distinct sets of neurons responsible for bias amplification and model collapse during iterative fine-tuning experiments with GPT-2. We found minimal overlap between these two sets, supporting our theorem that bias amplification can occur independently of model collapse (see Section 5.4). Mechanistic Interpretation يتم تنظيم بقية الوثائق كما يلي: ونحن نناقش أولا العمل المرتبط في الفصل الثاني. في الفصل الثالث، ونحن نقدم إطارنا النظري لتعزيز التضخم وتشغيل نموذج إحصائي. في الفصل الرابع، نُشر الإعداد التجريبي لدراسات LLM لدينا، بما في ذلك إعداد البيانات وتقييم نموذج. في الفصل الخامس، ونحن نقدم نتائجنا الفنية حول تعزيز التضخم والفعالية من استراتيجيات التخفيف. في النهاية، في الفصل السادس، ونناقش تأثيرات عملنا، وننتهي مع القيود في الفصل السابع. 
 
 هذه المقالة متوفرة في archiv تحت لائحة CC BY-NC-SA 4.0. هذه الرسالة هي تحت رخصة CC BY-NC-SA 4.0. متوفرة في Archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

MediaBias.TECH

We publish deeply researched (and often vastly underread) academic papers about our collective omnipresent media bias.

MediaBias's

تم إنتاج هذا الصوت باللغة الأصلية للقصة!

هل يمكن AI أن يترك نفسه في سلة من التناقضات؟ هذا الدراسة يقول نعم

About Author

تعليقات

شنق العلامات

تم تقديم هذه المقالة في

Related Stories

Noonies Nominee and Lead Product Designer Avrora Shuhalii on Writing, Tech, and More

The shortage of women in tech

I2ShowSpeed With My HackerNoon Articles on Bitcoin

Aria Coin Achieves 3000% Growth, Pioneering a Galactic-Themed Crypto Ecosystem

Noonies Nominee and Lead Product Designer Avrora Shuhalii on Writing, Tech, and More

The shortage of women in tech

I2ShowSpeed With My HackerNoon Articles on Bitcoin

Aria Coin Achieves 3000% Growth, Pioneering a Galactic-Themed Crypto Ecosystem

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps