نحو تقييم شامل من LLMs: تدمير التعليقات البشرية مع الأرقام التقليدية

Abstract abstract وتشجع المقالة على طريقة تقييم أكثر كفاءة لتقنيات اللغات الكبيرة (LLMs) من خلال مزيج التقييمات الذكية التقليدية (BLEU، ROUGE، و Perplexity) مع ردود الفعل الإنسانية المختلطة. ويشير إلى الحد الأدنى من التقنيات التقييمية القياسية مع التركيز على دور المقياس البشري في تحديد الخصائص السياحية والواقعية والنسبية الأخلاقية. من خلال التقنيات التفصيلية والمقالات العملية والتطبيقات في العالم الحقيقي، ويشير المقال إلى كيفية تحسين استراتيجية التقييم الشامل لثقافة LLM، وتحسين أداء النماذج بشكل أفضل مع توقعات المستخدمين، ودعم تطوير الذكاء الاصطنا 1 Introduction 1 إدراج وقد حصلت مجال التطبيقات الذكية على تحول جذري بسبب نموذج اللغة الكبيرة (LLMs) بما في ذلك GPT-4, Claude, Gemini وغيرها من النماذج. يستخدم التطبيق على نطاق واسع هذه النماذج لتقييم كامل من خلال أساليب تقييم شاملة. يعتمد تقييم هذه النماذج بشكل رئيسي على التقييمات الذكية، بما في ذلك BLEU، ROUGE، METEOR و Perplexity. أظهرت النتائج البحثية أن التقييمات التقييمية الذكية لا تتمكن من تحديد راحة المستخدم بشكل دقيق وفعالية النماذج. يتطلب إطار تقييم كامل الجمع بين الاستجابة البشرية مع التقييمات التقليدية للتقييم. يظهر هذا الكتاب طريقة كاملة لتقييم أداء 2 Limitations of Traditional Metrics 2 الحد الأدنى من الأرقام التقليدية كانت الأرقام التقليدية هي الأرقام المنصوص عليها في أنظمة NLP السابقة، ولكنها لا تقيس عمق التسمية، والتوافق المستقبلي، والقدرة الإبداعية التي تحدد LLMs الحديثة. BLEU (Bilingual Evaluation Understudy) ( Papineni, Roukos, Ward, & Zhu, 2002) BLEU ROUGE (التمثيل المنطقي للتقييم الصلب) (Lin) ROUGE METEOR (Metric for Evaluation of Translation with Explicit Ordering) (متر) مخاوف الأزرق توفر معدلات التقييم معلومات مفيدة ، ومع ذلك ، لديها العديد من المخاطر: نقص الفهم المستقبلي: تقييم BLEU ومعدلات مماثلة تقييم الشائعات، ولكنها لا تستطيع تقييم المعنى المستقبلي للنص المكتوب. التوازن السلبي مع الحكم البشري: لا يؤدي تقييمات عالية تلقائيا إلى رضى المستخدم العالي وفقا للتقييم البشري. عدم حساسية التناقض والتفكير: هذه المعايير التقييمية لا تتمكن من تحديد النتائج التناقضية أو الإبداعية ، والتي لا تزال ضرورية للتطبيقات العملية. وقد تم تطوير معيار التقييم من LLM-BLEU، ROUGE، الفوضى، والواقعية-لإجراءات NLP محددة ولكنها لا تتوافق مع متطلبات النماذج اللغوية المعاصرة.تقييمات IBM BLEU تثبت علاقة ضعيفة مع التقييم البشري (0.3-0.4 للأنشطة الإبداعية)، وتقييمات ROUGE تتراوح من 0.4-0.6 بناء على تعقيدات المهمة. , (دونغانا ، 2023 ) , (موسى , 2023 ) Clementbm تحليل نموذج NLP تقييم نموذج NLP يواجه التساؤل نفس التحديات التي تواجهها الأرقام الأخرى على الرغم من تطبيقاتها المشتركة.إن اعتماد الأرقام على حجم الكلمات والأقصى من السياق يخلق مقارنة غير موثوقة بين النماذج وتوجيهها إلى احتمالات التنبؤ التوقعات لا يحد من جودة المحتوى الذي يتم إنشاؤه (IBM، 2024). وقد أظهرت الدراسات أن النماذج ذات أرقام منخفضة من الفوضى لا تنتج تلقائيا نتائج أكثر مفيدة أو دقيقة أو آمنة، مما يثبت الفرق بين أهداف التحسين وخدمة العالم الحقيقي (Devansh، 2024). IBM Medium تعتمد أساليب التقييم التقليدية على المعايير الذهبية المثالية والردود الصحيحة الفردية، ولكنها لا تعتمد على طبيعة شخصية مهام إنتاج اللغات (Devansh، 2024). BERTScore و BLEURT ، على الرغم من أنهم يستخدمون إدراجين عصريين لتخزين المعنى السينمائي ، لا تزال لديهم صعوبة مع الألوان ، والتفكير ، وقطع النظرية (Oefelein ، 2023). وقد أظهرت الدراسة أن التقديرات الذاتية المتقدمة لا تستطيع قياس معقدة اللغة البشرية تمامًا. (مصطفى زهران، 2024) ويحقق xCOMET أداءً متقدماً في العديد من أنواع التقييم باستخدام القدرة على اكتشاف الأخطاء الصغيرة.إصدار xCOMET-lite المضغوط يحافظ على جودة 92.1% في حين يستخدم فقط 2.6% من النماذج الأصلية.الإصلاحات تعمل في حدود التقييم التلقائي التي تتطلب ردود فعل بشرية لتقييم كامل (Guerreiro، et al., 2024) (لاريونوف، Seleznyov، Viskov، Panchenko، و Eger، 2024) . Medium SaturnCloud تحليلات Medium مع الصحافة ACL الإثيوبي 2.1 Example Limitation: يجب أن تكون الإجابة المتوقعة على السؤال "تحديد AI": "تثبيت عملية الذكاء البشري من خلال الآلات تحدد الذكاء الاصطناعي." LLM يوفر إجابة مبتكرة على السؤال: "تغيير قوة الذكاء الاصطناعي الآلات إلى كيانات تفكر تتعلم وتكيف بطريقة مماثلة للإنسان." سوف يعطي الطرق التقليدية للتقييم هذه الاستجابة درجة أقل على الرغم من أنها لها قيمة أكبر في العملية. 3 The Importance of Human Feedback 3 أهمية الترجمة البشرية يرتبط التعليق البشري بالخلافات التقييمية التلقائية من خلال تقييم مباشر من الضرورة والضوء والإنفصاليات والواقعية والسلامة من النتائج التي تم إنشاؤها. الفهم السلوكي: إن الإنسان يقيس ما إذا كان الإجابة لها معنى منطقي في سياقات معينة. الخصائص العملية: تقييمًا مباشرًا لمتعة المستخدم. التوازن الأخلاقي: تقييم التداعيات الأخلاقية، والتناقضات، والتوافق من النتائج المنشورة. تتطلب تقييم المراجعة البشرية تقييم النتائج على أساس معايير التقييم الجودة. Metric Description Accuracy Is the provided information correct? Relevance Does the output align with user intent? Clarity Is the information communicated clearly? Safety & Ethics Does it avoid biased or inappropriate responses? دقة هل المعلومات المقدمة صحيحة؟ المصلحة هل يقتصر الإنتاج على أهداف المستخدم؟ الشفافية هل يتم إرسال المعلومات بشكل واضح؟ السلامة والأخلاق هل تجنب الإجابة غير المناسبة أو غير المناسبة؟ 4 Integrating Human Feedback with Traditional Metrics 4 دمج التعليقات البشرية مع الأرقام التقليدية تجدر الإشارة إلى أن الجمع بين تقييم تلقائي مع الترجمة البشرية في البحوث الحديثة يظهر تقييم ترجيح في 85-90٪ في حين أن التقييمات التقليدية وحدها تصل إلى 40-60٪ فقط وفقا (Pathak، 2024). ، والذي يتحول إلى طرقنا الحالية لتقييم الأداء AI. يظهر النهج الجديد كيف تحتاج LLM إلى إطار تقييم تقييم تقييم جنبا إلى جنب مع التوازن والسلامة والعدالة والتوازن بين القيم الإنسانية. تحديد فعال من المكونات LLM يتطلب مزيج من التقنيات التلقائية مع التوصيات ذات الصلة. يمكن النظر في حل قوي كما هو موضح في الصورة1 القميص الأحمر إن التغيير من التقييم التلقائي إلى نهج التكامل الإنساني يزيد من تحسين المنهجية لأنه يلقي الضوء على القضايا الأساسية في فهمنا الحالي للإنجازات في الذكاء الاصطناعي.إن ظهور تعزيز التعلم من إرشادات الذكاء الاصطناعي (RLHF) وإطارات التعلم الديمقراطي والرغبة في التعامل مع الذكاء الاصطناعي تشكل تقنيات التقييم الجديدة التي تركز على القيم الإنسانية والتطبيقات في العالم الحقيقي بدلاً من معيارات الأداء القصيرة (دوبونت، 2025). , (أبوظبي ، 2024) , (تويتر، 2023) . تصنيف صندوق النقد الدولي eLibrary RLHF يكتسب RLHF الكفاءة الممتازة من خلال تدريب نموذج الحد الأقصى 1.3B مع التردد البشري الذي يتجاوز نموذج الحد الأقصى 175B مع تحسين التوازن لتحقيق كفاءة الحد الأقصى 100x (Lambert, Castricato, Werra, & Havrilla, 2022) ويعمل النظام من خلال ثلاثة مراحل متتالية تشمل التقييم الجيد المراقبة ثم تدريب نموذج المكافآت من ترجيحات الإنسان والتحفيز على التعلم من خلال تحسين السياسات المتصلة (PPO) (دوبون، 2025) , (تويتر، 2023) . إزالة الوجه تصنيف RLHF يظهر التقييم البشري أن النماذج المرتبطة بـ RLHF تلقى تقييمات ترفيهية أعلى بنسبة 85٪ فوق النماذج الأساسية في الوقت الذي تظهر فيه تحسينات كبيرة في المساعدة والحرية والعدالة. يستخدم عملية تدريب نموذج المكافآت 10K-100K زوجات ترفيهية بشرية لتطوير مستويات ترفيهية قابلة للتوسع التي تدير سلوك النماذج دون الحاجة إلى تقييم بشرى لكل النتائج (Lambert, Castricato, Werra, & Havrilla, 2022) . إزالة الوجه إن تطبيق أنظمة HITL (Human-in-the-loop) يخلق إطارًا لتقييم ديناميكيًا من خلال الحكم الذاتي الذي يقيس العمليات التلقائية. يُظهر هذه الأنظمة تحسينًا بنسبة 15-25% في الأداء المحدد للموظفين مع تقليل المخاطر الأمنية بنسبة 95٪، ويعمل من خلال توجيه المهام الذكي الذي يزيد من النتائج غير المتوقعة أو المحتملة للمتقيسين البشريين. يظهر الطريقة أفضل النتائج في المجالات المتخصصة للتقييم القانوني والرقابة الطبية لأن التحقق المبكر من الذكاء الاصطناعي ثم التحقق من الخبراء يؤدي إلى خطوط تقييم فعالة ومكثفة. (Greyling، 2023). , (التصنيف السريع ، 2025) , (أوليفيرا ، 2024) Medium SuperNote Medium ) 4.1 Practical Implementation (With Code Example ويمكن تطبيق إطار أساسي لتنفيذ الترجمة البشرية مع التقييمات الذكية من خلال رمز Python. Step 1: Automated Metrics Calculation. from nltk.translate.bleu_score import sentence_bleu from rouge import Rouge reference = "AI simulates human intelligence in machines." candidate = "AI brings intelligence to machines, allowing them to act like humans." #Calculate BLEU Score bleu_score = sentence_bleu([reference.split()], candidate.split()) #Calculate ROUGE Score rouge = Rouge() rouge_scores = rouge.get_scores(candidate, reference) print("BLEU Score:", bleu_score) print("ROUGE Scores:", rouge_scores) Output for above 1.1896e-231 (≈ 0) BLEU Score: Rouge Score : [ { "rouge-1": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 }, "rouge-2": { "r": 0.0, "p": 0.0, "f": 0.0 }, "rouge-l": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 } } ] وتؤكد هذه النتائج: صعوبة BLEU: تقريبًا صفر بسبب عدم توازن 4 غرام، مما يعني ضعيفًا جدًا في جميع الأبعاد. يكتشف ROUGE-1 و ROUGE-L الترتيبات الأساسية ( unigrams / LCS ) ، ولكن ROUGE-2 هو صفر ، حيث لا توجد bigrams متوافقة. Step 2: Integrating Human Feedback دعونا نعتقد أن لدينا تقييمات بشرية تقييم نفس النتائج المرشحة: #Human Feedback (Collected from Survey or Annotation) human_feedback = { 'accuracy': 0.9, 'relevance': 0.95, 'clarity': 0.9, 'safety': 1.0 } #Aggregate human score (weighted average) def aggregate_human_score(feedback): weights = {'accuracy':0.3, 'relevance':0.3, 'clarity':0.2, 'safety':0.2} score = sum(feedback[k]*weights[k] for k in feedback) return score human_score = aggregate_human_score(human_feedback) print("Aggregated Human Score:", human_score) Out for above 0 0 935 Aggregated Human Score الناتج المحلي الإجمالي من يظهر إنتاج LLM الخاص بك يحصل على تقييمات عالية للغاية من الأشخاص الحقيقيين الذين يتجاوزون الحد الأدنى المحدود "الخير" ويجعلها مناسبة للعديد من التطبيقات العملية أو الإصدارات مع التعديلات الصغيرة فقط للتوصية بالقرب من الكمال. 0.935 Step 3: Holistic Aggregation تجميع الأرقام الذكية والإنسانية: #Holistic Score Calculation def holistic_score(bleu, rouge, human): automated_avg = (bleu + rouge['rouge-l']['f']) / 2 holistic = 0.6 * human + 0.4 * automated_avg return holistic holistic_evaluation = holistic_score(bleu_score, rouge_scores[0], human_score) print("Holistic LLM Score:", holistic_evaluation) Output for above 0.6109999990625 Holistic LLM Score: يشير إلى مزيج ملموس من: Holistic LLM Score of 0.6109999990625 ميكانيكا تلقائيا (معدل BLUE & ROUGE-L) 40 % من الوزن النتيجة البشرية المشتركة - 60 % الوزن النتيجة من ~ 0.611 يتطلب تفسير مع الإرشادات حول كيفية التقدم. 4.1.1. How the Score Was Computed كانت النتيجة الإنسانية (0.935) تبلغ وزنها 60٪ مما يعني أنها ساهمت في 0.561 إلى النتيجة النهائية. تم حساب النسبة المتوسطة التلقائية عن طريق اتخاذ متوسط BLEU ≈ 0 و ROUGE L F1 ≈ 0.2478 الذي يساوي 0.1239 وهذا النسبة كان له وزن 40٪ مما يعني أنه ساهم 0.0496 إلى النتيجة النهائية. كان النتيجة الكاملة حوالي 0.6109999 عندما تم تقسيمها إلى 0.6106. 4.1.2. Interpreting 0.611 on a 0–1 Scale ويعتبر مستوى الأداء "أسوأ" عندما تراجع النتيجة أقل من 0.5. يحصل النموذج على تقييمات بشرية عالية، ولكن تقييمات القصصية الصلبة تقييمها في نهاية أدنى من الحجم عندما ينخفض النموذج بين 0.5 و 0.7. معظم التطبيقات تعتبر الأرقام أعلى من 0.8 "معقدة للغاية". يضعك في نطاق المعتدل. The score of 0.611 وقد حصلت النتائج على تقدير كبير من قبل التقييمات البشرية فيما يتعلق بالواقع والواقع والضوء والسلامة. تم عقوبة الأرقام التلقائية بشكل كبير على النتائج لأنها كانت منخفضة الحد الأدنى من n غرام. 4.1.3. Why the Hybrid Score Is Lower Than the Human Score يحصل المكون التلقائي على درجة 0 لأن BLEU ليس لديه توازن 4 غرام. كما أن درجة ROUGE-L F1 من 0.2478 منخفضة للغاية من نفس السبب. لا يمنع تقييم الإنسان 0.935 من قطع 40٪ التلقائي من تخفيض النتيجة الكاملة إلى حوالي 0.61. 4.1.4. Practical Takeaways Trust the Human Rating First The human score indicates the content quality within its specific context. Your current focus on user satisfaction indicates you are already meeting your goals. Decide Your Threshold Your automated metrics require improvement even though your production readiness threshold . is ≥ 0.7 Your automated tasks are ready for deployment when their scores reach or higher regardless of their nature. 0.6 Improve Automated Scores Reuse more of the reference phrasing or add synonyms that match it. Lexical overlap: For BLEU, try smoothing functions (e.g., SmoothingFunction.method1) to avoid zero scores. o Semantic metrics: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Smoothing: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Semantic metrics: Adjust Weighting (if appropriate) You could reduce the automated weight (e.g., 30 % auto / 70 % human) if you trust human feedback more for your use case. 5 Recent research advances holistic evaluation frameworks 5 أبحاث حديثة تطور إطار تقييم شامل خلال عام 2023-2025، قام الباحثون بتطوير إطارين لقياس كاملين لبرنامج الماجستير في إدارة الموارد البشرية (LLM) الذي يلقي الضوء على الجوانب المعقدة لقياس نموذج اللغات.إطار HELM (Holistic Evaluation of Language Models) تمكن من تحسين الكفاءة بنسبة 96٪ مقارنة بالقياسات السابقة حيث تم تقييم الباحثين من جامعة ستانفورد أكثر من 30 نموذجًا رائعًا على 42 سباقًا و7 معيارًا رئيسية بما في ذلك دقة وقياس وشدة ومساواة ومخاطر، والتلوث، والتلوث، والفعالية. . ستانفورد ويشكل نظام تقييم Prometheus ومتقدمها Prometheus 2 تحولًا كبيرًا في تكنولوجيا تقييم مفتوح المصدر. يظهر Prometheus 2 تقييمًا 0.6-0.7 Pearson مع GPT-4 و72-85% موافقًا مع الحكم البشري الذي يتيح تقييمًا مباشرًا ومتوازنًا. يقدم المجموعة بدائل نظام تقييم خاصية متاحة مع معايير الأداء التي تتوافق مع الحلول التجارية الرائدة (Kim, et al., 2023). , (لندن، et al. 2025) , (جولف، 2024) . كورنيل OpenReview Substack ويستخدم G-Eval نموذج التفكير السطحي لتقييم العمليات من خلال نموذج التكامل الذي يستخدمه التقنيات المتعلقة بالمهام. ويقدم نموذج نموذج التكامل الإنساني أفضل من نموذج التكامل التقليدي وفقًا لمفهوم الذكاء الاصطناعي لأن نموذج التفكير المنطقي يظهر جوانب معقدة من إنتاج اللغات التي لا يمكن اكتشافها من خلال نموذج التقييم التلقائي. , (أبوظبي ، 2025) ويظهر تطوير أساليب التقييم المحددة على القطاعات كيفية فهم خبراء الآن أن أدوات التقييم العملي لا تستطيع قياس التطبيقات المتخصصة بشكل صحيح. FinBen يوفر 36 مجموعة من البيانات التي تتراوح بين 7 مجالات مالية وتجمع مقارنة تركز على الرعاية الصحية لتمكين تقييم دقيق من القدرات المحددة على القطاعات. , (جين ، 2025) . Substack الثقة AI كورنيل Medium يلجأ نموذج MMLU-Pro إلى معدل الخطأ 57% الذي تم العثور عليه في نموذج MMLU الأصلي من خلال تصحيح الخبراء ومزيد من الصعوبة من أسئلة 10 خيارات. 6 طريقة استخدام العالم الحقيقي: 6.1 ChatGPT Evaluation يستخدم OpenAI تعزيز التعلم من ردود الفعل البشرية (RLHF) لتعزيز نموذج GPT. تقييمات النموذج البشرية وتقييماتها تستخدم لتدريب نموذج مكافأة. تمكن الجمع بين هذه الأساليب من تحسين حدة الحقيقة بنسبة 40٪ مقارنة مع GPT-3.5, الاستخدام العملي والردود على النموذج التي تتوافق مع توقعات الإنسان، مما يؤدي إلى تجربة المستخدم أفضل بكثير من التقييم التلقائي وحدها. . مفتوحة 6.2 Microsoft's Azure AI Studio يستخدم Azure AI Studio من Microsoft أدوات التقييم مباشرة في البنية التحتية التي تسمح للمستخدمين بتقييم التطبيقات عبر الإنترنت قبل تطويرها وتتبعها عبر الإنترنت أثناء الإنتاج. يستخدم المنصة طريقة التقييم المزدوجة التي تشارك التقييمات الذكية مع التقييم المشترك للإنسان لمساعدة الشركات في الحفاظ على معايير الجودة أثناء توسيع التطبيقات. . الهدف 6.3 Google's Vertex AI ويشكل نظام تقييم Vertex AI في Google نموذجاً لتطوير التقييم المتعدد الأبعاد الذي يقيس الأداء على نطاق متنوع من النصوص والصور والفيديو.لقد أصبحت أساليب التقييم المستمر لفترة طويلة نموذجاً صناعياً، مما يسمح بتقييم قابل للتوسع في قدرة النماذج على استيعاب واستخدام المعلومات من سياقات واسعة النطاق. . الهدف 6.4 Other Case studies وقد ارتفعت سياق التقييم التجاري بشكل كبير، مع منصات مثل Humanloop، LangSmith، وBraintrust تقدم حلول التقييم الأولي إلى الأولي. عادةً ما تحقق هذه المنصات انخفاض تكلفة بنسبة 60-80٪ مقارنة مع تطوير التقييم المخصّص، مما يتيح نموذجًا متكاملًا، وفرص العمل للتسجيل البشري، والقدرة على مراقبة الإنتاج. , (صندوق العلامة التجارية، 2024) وقد أظهرت الدراسة التي أجراها Mount Sinai انخفاض تكلفة API بنحو 17 مرة من خلال مجموعة المهام، مما يسهم في معالجة ما يصل إلى 50 مهام طبية في وقت واحد دون فقدان دقة. . الثقة Labelbox DevCommunity يلجأ التقنيون إلى تطوير تحسينات التفضيل المباشر (DPO) إلى إزالة الحاجة إلى تدريب نموذج المكافآت المباشر.الطريقة التخصيصية من DPO تحويل RLHF إلى وظيفة التخصيص التي تؤدي إلى زيادة سرعة التدريب من 2-3 مرات دون التأثير على النتائج الجيدة.إزالة نظام DPO يصل إلى 7.5/10 على MT-Bench في حين أن RLHF يصل إلى 7.3/10 ويصل إلى نسبة الفوز بنسبة 85% على AlpacaEval مقارنة مع 82٪ على RLHF التقليدي مع تقليل فترة التدريب من 36 ساعة إلى 12 ساعة من الأداء المناسب (SuperAnnotate، 2024) , (Werra ، 2024) , (جولف، 2024) . SuperNote هجمات Substack 7 Alternative Approach: 7 طرق بديلة: يقدم برنامج Constitutional AI، الذي تم تطويره من قبل Anthropic، نهجًا بديلًا يقلل من متطلبات التعليق البشري بنسبة 80-90٪ في الوقت الذي يحافظ على الأداء المماثل. يستخدم البرنامج المراجعة الذكية بدلاً من التعليقات البشريّة من خلال عملية مرحلة مزدوجة: التعلم المراقب مع التمييز الذاتي والتقييم، ثم تعزيز التعلم من خلال التعليقات الذكية (RLAIF). . Anthropic 8 Challenges and Future Directions 8 التحديات والطرق المستقبلية 8.1 Challenges: وتتراوح تكلفة التقييم الإنساني بين 50 دولار و200 دولار في الساعة بالنسبة للمراجعين الخبراء، مما يجعل التقييم المزدوج غير قابل للتقييم للعديد من المنظمات. يعتمد عملية التقييم الإنساني الجيد على الخبرة في مجال التقييم والتدريب المستمر والتقييم المستمر الذي يزيد من تعقيدات وتكلفة عملية التقييم. يظهر الاتفاق بين المراجعين المختلفة اختلافات واسعة لأن تعقيدات المهام تؤثر على معدل التوازن بين 0.4 و0.8 (10Pearls, nd) 10Pearls, (Dilmegani, 2025) AIMultiple. وتشير الأبحاث إلى أن 91% من LLMs تعلم من البيانات الضوئية التي تحتوي على التمثيل المنخفض للنساء في 41% من الاتفاقيات المهنية وتستمر هذه التمثيلات في توسيعها من خلال الأنظمة التقييمية. يخلق طريقة التقييم التمثيل من خلال تأثيرات التقييم والتفضيلات الديمغرافية والتنظيرات الثقافية التي تحتاج إلى استراتيجيات التخفيف المستمر التي لا يحتاج الكثير من المنظمات إلى الموارد اللازمة لتنفيذها بشكل فعال (Rossi et al., 2024) MITPress، (Barrow et al., 2023) كورنل. عدم وجود الحقيقة الأساسية في إنتاج مفتوح: فإن عدم وجود الحقيقة الأساسية في وظائف إنتاج مفتوح يجعل "العدالة" متعلقة بالواقع والأساسية، مما يخلق سيناريوات التقييم حيث توجد ردود قوية متعددة دون معايير التقييم واضحة. التحديات التي تواجه التكامل بين التقييمات الذكية والإنسانية: تحتاج المنظمات إلى تنفيذ التقييمات الكبيرة لتحديد الحدود المناسبة للتقييمات الذكية للأنظمة الذكية، في حين أنهم يحتاجون إلى بروتوكولات ثابتة لتحديد الصراعات بين النتائج التقييمية الذكية والإنسانية. 9 Future Directions: 9 الطرق المستقبلية: إن تطبيق أساليب التعلم النشط سيساعد على تقليل متطلبات التقييم الإنساني. إن استخدام نموذجات الذكاء الاصطناعي الثانوي التي تم تدريبها على البيانات المباشرة للإنسان يتيح تثبيت تقييمات الجودة التي تشبه تقييمات إنسانية. سيعتمد المستقبل من أساليب التقييم على الأساليب ذات الصلة بالموضوعية التي تغير معايير التقييم وفقا لمتطلبات المهام والمتطلبات المستخدمة والمواقع التطبيقية. سيصبح تطوير نهج تقييم متكامل يمكن تقييم التوافق والتوافق المترابطة سوف تصبح أكثر أهمية مع LLMs التكامل مع أنظمة الذكاء الاصطناعي الأخرى لخلق تطبيقات أكثر قدرة ومتنوعة. ويجب أن تقييم إطار تقييم Agentic نوعية الاستجابة والتطورات في اتخاذ القرارات وتأثيرات السلامة والتوافق مع الأهداف المطلوبة (Andrenacci، 2025) Medium، (Chaudhary، 2025) Turing. تحتاج أنظمة التقييم في الوقت الحقيقي إلى الحفاظ على كفاءة التقييم المفصل والعملية الحوسبة الفعالة. 10 Conclusion 10 النتائج إن تقييم LLM من خلال التكامل المباشر للإنسان مع التقييمات الذاتية يخلق طريقة تقييم كاملة لفعالية النماذج. يخلق التقييمات التقليدية مع الحكم الذاتي حول الجودة نتائج أفضل للمستخدمين في العالم الحقيقي والتوافق الأخلاقي والمتعة المستخدمة. إن تطبيق أساليب التقييم الشامل سوف تنتج حلول AI أكثر دقة وأخلاقية التي سوف تؤدي إلى التقدم المستقبلي. يجب استخدام أساليب التقييم المتعددة في إطار التقييم الناجح لتحقيق التوازن بين فعالية التقييم الذاتية والتقييم الذاتى. المنظمات التي تطبق استراتيجيات التقييم الكامل تقارير تحسينات كبيرة في السلامة والفعالية والفعالية التشغيلية، مما يؤكد 11 References 11 الإشارات Kim, S. et al. (2023)- Prometheus: القدرة على تقييم الحمض النوويhttps://arxiv.org/abs/2310.08491 2024)- xCOMET-lite: الحد الأدنى من الكفاءةhttps://aclanthology.org/2024.emnlp-main.1223/ هيرتس (2023)- هيرتس هيرتسhttps://www.anthropic.com/news/claudes-constitution كلمات مفتاحية للكتابة: www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback الذهاب إلى الذهاب إلى الذهاب إلى الذهاب إلى الذهاب إلى الذهاب إلى الذهاب إلى الذهاب إلى الذهاب إلى الذهاب. هيلتون، C. (2023)- RLHF: تعزيز التعلم من التعليقات البشريةhttps://huyenchip.com/2023/05/02/rlhf.html IBM (2024)- دليل تقييم LLMhttps://www.ibm.com/think/insights/llm-evaluation مايكروسوفت (2024)- تقييم متقدمةhttps://learn.microsoft.com/en-us/ai/playbook/technology-guidance/generative-ai/working-with-llms/evaluation/list-of-eval-metrics Red Hat (2024)- Evaluating LLM Performancehttps://next.redhat.com/2024/05/16/evaluating-the-performance-of-large-language-models/ فوركس فوركس فوركس فوركس فوركس فوركس فوركس فوركس فوركس فوركس فوركس فوركس. فوركس، C. R. (2024)- استخدام LLMs لقياسhttps://cameronrwolfe.substack.com/p/llm-as-a-judge أندرياس، G. (2025)- 18 AI LLM الاتجاهات في 2025https://medium.com/data-bistrot/15-artificial-intelligence-llm-trends-in-2024-618a058c9fdf Greyling, C. (2024)- الإنسان في الطريق LLM Agentshttps://cobusgreyling.medium.com/human-in-the-loop-llm-agents-e0a046c1ec26 Mansuy, R. (2024)- دليل شامل للتقييم NLP Metricshttps://medium.com/@raphael.mansuy/evaluating-the-performance-of-natural-language-processing-nlp-models-can-be-challenging-ce6f62c07c35 دبي، ك. (2024)- فهم BLEU، ROUGE، METEOR، و BERTScorehttps://medium.com/@kbdhunga/nlp-model-evaluation-understanding-bleu-rouge-meteor-and-bertscore-9bad7db71170 Sojasingarayar, A. (2024)- BERTScore التفسير في 5 دقائقbttps://medium.com/@abonia/bertscore-explained-in-5-minutes-0b98553bfb71 SuperAnnotate (2024)- قواعد التقييم LLMhttps://www.superannotate.com/blog/llm-evaluation-guide SuperAnnotate (2024))- هدية التحسينات المطلوبة مباشرةhttps://www.superannotate.com/blog/direct-preference-optimization-dpo الماجستير في إدارة الأعمال في إدارة الأعمال في جامعة كاليفورنيا HTTPS://www.confident-ai.com/blog/llm-evaluation-metrics-everything-you-need-for-llm-evaluation كلمات مفتاحية للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتابة للكتب. AIMultiple (2025) - طريقة تقييم نموذج اللغة الكبرى://research.aimultiple.com/large-language-model-evaluation/ Humanloop (2025)- 5 أدوات تقييم LLM يجب أن تعرفهاhttps://humanloop.com/blog/best-llm-evaluation-tools Datadog (2024)- بناء إطار تقييم LLM أفضل الممارسات://www.datadoghq.com/blog/llm-evaluation-framework-best-practices/ Labelbox (2024)- LLM الأصلية & الدعم المتعدد الأدوات لزيادة التكاليفhttps://labelbox.com/blog/labelbox-q1-2024-product-release/ Label Studio (2024)- تقييمات LLM: التقنيات، التحديات، وأفضل الممارسات://labelstud.io/blog/llm-evaluations-techniques-challenges-and-best-practices/ Labelvisor (2024)- تدمير أجزاء الترجمة البشرية في تدريب LLMhttps://www.labelvisor.com/integrating-human-feedback-loops-into-llm-training-data/ MIT Press (2024)- التناقضات والعدالة في نموذج اللغة الكبيرة استطلاعhttps://direct.mit.edu/coli/article/50/3/1097/121961 الرئيسية / تكنولوجيا المعلومات / تكنولوجيا المعلومات / تكنولوجيا المعلومات / تكنولوجيا المعلومات / تكنولوجيا المعلومات / تكنولوجيا المعلومات / تكنولوجيا المعلومات / تكنولوجيا المعلومات GeeksforGeeks (2024)- فهم BLEU و ROUGE سعر ل NLP تقييمhttps://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ الماجستير في إدارة الأعمال في إدارة الأعمال في إدارة الأعمال في إدارة الأعمال في إدارة الأعمال في إدارة الأعمال في إدارة الأعمال.https://www.analyticsvidhya.com/blog/2025/04/bertscore-a-contextual-metric-for-llm-evaluation/ Saturn Cloud (2024)- Evaluating Machine Translation Modelshttps://saturncloud.io/blog/evaluating-machine-translation-models-traditional-and-novel-approaches/ تورينغ (2025)- أفضل الاتجاهات LLM 2025: ما هو مستقبل LLMshttps://www.turing.com/resources/top-llm-trends 10Pearls (2024)- العثور على LLM الصحيح للشركة الخاصة بكhttps://10pearls.com/find-the-right-llm-for-your-business/ DEV المجتمع (2025)- أفضل 5 مصممة مفتوحة للتقييم LLM https://dev.to/guybuildingai/-top-5-open-source-llm-evaluation-frameworks-in-2024-98m هاميلتون، ج. (2024)- ضمان دقة في AI مع الإنسان في الطريقhttps://medium.com/@j.m.olivera08/ensuring-accuracy-in-ai-with-human-in-the-loop-7a4d9143296d **OpenAI - "تدريب نموذج لغة تتبع الإرشادات باستخدام ردود الفعل البشرية" **هذه الوثيقة تقدم نهج InstructGPT ، حيث تقييمات إنتاج البشرية تقييم نموذج عبر RLHF:تدريب نموذج لغة تتبع الإرشادات باستخدام ردود الفعل البشرية (OpenAI, 2022) researchgate.net+7scirp.org+7scirp.org+7qa.time.com+13cdn.openai.com+13youtube.com+13 **Papineni et al. – “BLEU: A Method for Automatic Evaluation of Machine Translation” (BLEU: طريقة لتقييم تلقائي للترجمة الآلية) medium.com+12aclanthology.org+12en.wikipedia.org+12aclanthology.org **Lin, C.Y. – “ROUGE: A Package for Automatic Evaluation of Summaries” \ ورشة عمل لـ ACL 2004 تعزز تقنيات ROUGE: ROUGE: A Package for Automatic Evaluation of Summaries (Lin, 2004) microsoft.com+15aclanthology.org+15bibbase.org+15