לקראת הערכה הוליסטית של LLMs: שילוב משוב אנושי עם מדדים מסורתיים

Abstract abstractעריכה המאמר תומך בשיטה של הערכה מקיפה יותר עבור מודלים לשפות גדולות (LLMs) על ידי שילוב של מדדים אוטומטיים מסורתיים (BLEU, ROUGE, ו Perplexity) עם משוב אנושי מובנה. הוא מדגיש את המגבלות של טכניקות הערכה סטנדרטיות תוך הדגש על התפקיד הקריטי של הערכות אנושיות לקבוע רלוונטיות קונספטואלית, מדויקנות ואמינות אתית.באמצעות מתודולוגיות מפורטות, דוגמאות יישום מעשי, ומחקרי מקרה בעולם האמיתי, המאמר מראה כיצד אסטרטגיה של הערכה כוללת יכולה לשפר את האמינות של LLM, להתאים טוב יותר את הביצועים של המודל עם הציפיות של המשתמשים, ולתמוך בפי 1 Introduction 1 ההקדמה תחום היישומים של אינטליגנציה מלאכותית עבר שינוי יסודי עקב מודלים לשפות גדולות (LLMs), כולל GPT-4, קלוד, ג'מיני, ודגמים אחרים. השימוש הרחב של מודלים אלה דורש הערכה מלאה באמצעות שיטות הערכה מקיפות. הערכה של מודלים אלה תלויה בעיקר במטריקים אוטומטיים, הכוללים BLEU, ROUGE, METEOR, ו Perplexity. ממצאי מחקר מראים כי מטריקות הערכה אוטומטיות אינן מצליחות לחזות בצורה מדויקת את שביעות הרצון של המשתמש והיעילות של המודל. מסגרת הערכה מלאה דורשת שילוב של משוב אנושי עם מטריקות מסורתיות להערכה. מסמך זה מציג שיטה מלאה להערכה 2 Limitations of Traditional Metrics 2 מגבלות של מטריקות מסורתיות המדידות המסורתיות שימשו כמדידות סטנדרטיות עבור מערכות NLP קודמות, אבל הם לא למדוד את העומק הסמנטי, רלוונטיות הקשר, ויכולות יצירתיות המגדירות LLMs מודרניים. BLEU (Bilingual Evaluation Understudy) ( Papineni, Roukos, Ward, & Zhu, 2002) BLEU ROUGE (Recall-Oriented Understudy for Gisting Evaluation) (לין) ROUGE METEOR (Metric for Evaluation of Translation with Explicit Ordering) (מטריית הערכה של תרגום עם סדר מפורש) בלבול כחול מדדי ההערכה מספקים מידע שימושי, אך יש להם מספר חסרונות: חוסר הבנה הקשר: BLEU ומדידות דומות למדידת דמיון טוקן, אבל הם לא להעריך את המשמעות הקשר של הטקסט שנוצר. הקשר הרע עם שיפוט אנושי: ציונים אוטומטיים גבוהים אינם מובילים בהכרח לשביעות רצון גבוהה של המשתמש על פי שיפוט אנושי. חוסר רגישות לניואנס וליצירתיות: מדדי הערכה אלה אינם מסוגלים לזהות תוצאות ניואנס או יצירתיות, אשר נשארות חיוניות ליישומים מעשיים. מדדי ההערכה של LLM – BLUE, ROUGE, perplexity, and accuracy – פותחו עבור משימות NLP ספציפיות, אך אינם עומדים בדרישות המודלים של שפות עכשוויות. מדדי IBM BLEU מראים מערכת יחסים חלשה עם הערכה אנושית (0.3-0.4 עבור משימות יצירתיות), ומדדי הקורלציה של ROUGE נעים בין 0.4-0.6 בהתבסס על מורכבות המשימה. , (דגנה, 2023 ) , (מנסוי, 2023 ) Clementbm הערכת מודל NLP הערכה של מודלים NLP ההסתמכות של המטריקה על גודל המילון ואורך הקשר יוצרת השוואות בין מודלים לא אמין, וההתמקדות שלה על סבירות תחזית טוקן אינה מעידה על איכות התוכן שנוצר (IBM, 2024). מחקרים מראים כי מודלים עם ציונים נמוכים יותר לא מייצרים באופן אוטומטי תוצאות שימושיות יותר או מדויקות יותר או בטוחות יותר, מה שמסביר את הפער בין מטרות אופטימיזציה לבין משאבים בעולם האמיתי (Devansh, 2024). IBM Medium שיטות ההערכה המסורתיות תלויות בסטנדרטים של זהב מושלמים ותשובות נכונות בודדות, אך הן לא לוקחות בחשבון את האופי הסובייקטיבי של משימות ייצור שפה (Devansh, 2024). BERTScore ו- BLEURT, אף על פי שהם משתמשים בהגדרות נוירליות כדי לתפוס משמעות סמנטית, עדיין מתקשים עם אנטונימים, שליליות וספונטניות קונצרטואליות (Oefelein, 2023) המחקר מראה כי מדדים אוטומטיים מתקדמים אינם מסוגלים למדוד את המורכבות של השפה האנושית לחלוטין. (באנגלית: Sojasingarayar 2024) xCOMET משיג ביצועים עכשוויים במגוון סוגים של הערכה באמצעות יכולות זיהוי שגיאות מעוצבות. הגרסה הדחוסה של xCOMET-lite שומרת על איכות של 92.1% תוך שימוש רק ב- 2.6% מהפרמטרים המקוריים. , (לאריונוב, סלזניוב, ויסקוב, פנצ'נקו ואגר, 2024) . Medium SaturnCloudעריכה אנליסטים Medium עם העיתונות אנטולוגיה ACL 2.1 Example Limitation: התשובה הצפויה לשאלה "תאר את AI" צריכה להיות: "הסימולציה של תהליכי האינטליגנציה האנושית באמצעות מכונות מגדירה את ה-AI". LLM מייצר תשובה חדשנית לשאלה: "הכוח של ה-AI משנה את המכונות ליצורים המחשבים שמלמדים ומתאימים באופן דומה לבני אדם". שיטות ההערכה המסורתיות יביאו לתשובה זו ציון נמוך יותר למרות שיש לה ערך מעשי גדול יותר. 3 The Importance of Human Feedback 3 החשיבות של משוב אנושי משוב אנושי מחובר לחסרונות הערכה אוטומטיים על ידי הערכה ישירה של שימושיות ובהירות, ויצירתיות וצדק עובדתי ובטיחות של הפלטים שנוצרו. הבנת הקשר: בני האדם מעריכים אם לתשובות יש משמעות הגיונית בהקשרים נתונים. רלוונטיות מעשית: מעריך ישירות את שביעות הרצון של המשתמש. הסתגלות אתית: מעריכה את ההשלכות האתיות, ההפרעות וההתאימות של התוצאות המיוצרות. הערכה של משוב אנושי דורשת ציון תוצאות המבוססות על קריטריונים של הערכה איכותית. Metric Description Accuracy Is the provided information correct? Relevance Does the output align with user intent? Clarity Is the information communicated clearly? Safety & Ethics Does it avoid biased or inappropriate responses? מדויק האם המידע שהוגש נכון? רלוונטיות האם התוצאה תואמת את כוונת המשתמש? ברור האם המידע מועבר בצורה ברורה? אבטחה ואתיקה האם הוא מונע תגובות מפוקפקות או לא מתאימות? 4 Integrating Human Feedback with Traditional Metrics 4 שילוב של משוב אנושי עם מדדים מסורתיים השילוב של הערכה אוטומטית עם משוב אנושי במחקר האחרון מראה התאימות העדפה ב -85-90%, בעוד המדידות המסורתיות לבד מגיעות רק 40-60% בהתאם (Pathak, 2024) , אשר משנה את השיטות הנוכחיות שלנו של הערכת ביצועים AI. הגישה החדשה מוכיחה כיצד LLMs צריכים מסגרות הערכה המעריכות דיוק יחד עם עקביות ובטיחות והגינות והאיזון הערך האנושי. הערכה יעילה של LLM קומפוזיטים דורשת שילוב של טכניקות אוטומטיות עם הערות סובייקטיביות. אפשר לחשוב על פתרון חזק כפי שמתואר בתמונה1 כובע אדום המעבר מהערכה אוטומטית לגישות משולבות על ידי בני אדם עולה מעבר לשיפור מתודולוגי משום שהוא מתייחס לבעיות חיוניות בהבנתנו הנוכחית של ביצועי ה-AI. (באנגלית: Atashbar 2024 ) , (הואן, 2023 ) . תוויות ספריית IMF RLHF RLHF achieves outstanding efficiency through its training of 1.3B parameter models with human feedback which surpasses 175B parameter baseline models while optimizing alignment to reach 100x parameter efficiency (Lambert, Castricato, Werra, & Havrilla, 2022) המערכת פועלת באמצעות שלושה שלבים רצופים הכוללים התאמה מעודכנת, ולאחר מכן אימון מודל תגמול מהעדפות האנושיות ואופטימיזציה של למידה חיזוקית באמצעות אופטימיזציה למדיניות קרובה (PPO) (Dupont, 2025). , (הואן, 2023 ) . חיבוק פנים תוויות RLHF השיטה פועלת ביעילות משום שהיא מזהה העדפות אנושיות עדיפות שהמטריקות הסטנדרטיות אינן מסוגלות לזהות. הערכה אנושית מוכיחה כי מודלים המותאמים ל-RLHF מקבלים דירוגי עדיפות של 85% + מעל מודלים בסיסיים תוך הצגת שיפורים משמעותיים ביעילות ובלתי מזיקים וכנות. תהליך ההכשרה של מודל תגמול משתמש 10K-100K זוגות העדפות אנושיות כדי לפתח תחזיות עדיפות מתוחכמות המכוונות התנהגות מודל מבלי לדרוש הערכה אנושית עבור כל יציאה (Lambert, Castricato, Werra, & Havrilla, 2022) . חיבוק פנים יישום של מערכות HITL (Human-in-the-loop) יוצר מסגרות הערכה דינמיות באמצעות שיפוט אנושי המנחה תהליכים אוטומטיים. מערכות אלה מדווחות על שיפור של 15-25% ביצועים ספציפיים למשימה תוך הפחתת סיכונים בטיחותיים ב- 95%+, פועלות באמצעות מסלול משימות אינטליגנטי אשר מגדיל את היתרונות הלא בטוחים או פוטנציאליים מזיקים לביקורות אנושיות. השיטה מוכיחה את התוצאות הטובות ביותר שלה בתחומים מיוחדים של בדיקה משפטית ודיאגנזיה רפואית, כי בדיקה מוקדמת של ה-AI ולאחר מכן אימות מומחה מייצרת צינורות הערכה יעילות וקפדניות (Greyling, 2023) , (SuperAnnotate , 2025 ) , (אוליברה 2024) Medium סופרנייט Medium ) 4.1 Practical Implementation (With Code Example מסגרת בסיסית לאינטגרציה של משוב אנושי עם מדדים אוטומטיים ניתן ליישם באמצעות קוד Python. Step 1: Automated Metrics Calculation. from nltk.translate.bleu_score import sentence_bleu from rouge import Rouge reference = "AI simulates human intelligence in machines." candidate = "AI brings intelligence to machines, allowing them to act like humans." #Calculate BLEU Score bleu_score = sentence_bleu([reference.split()], candidate.split()) #Calculate ROUGE Score rouge = Rouge() rouge_scores = rouge.get_scores(candidate, reference) print("BLEU Score:", bleu_score) print("ROUGE Scores:", rouge_scores) Output for above 1.1896e-231 (≈ 0) BLEU Score: Rouge Score : [ { "rouge-1": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 }, "rouge-2": { "r": 0.0, "p": 0.0, "f": 0.0 }, "rouge-l": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 } } ] תוצאות אלה מדגימות: חולשה של BLEU: כמעט אפס בשל לא תואם 4 גרם, מה שאומר מאוד רע בכל מימד. capture basic overlap (unigrams/LCS), but ROUGE-2 is zero since there are no matching bigrams. ROUGE-1 and ROUGE-L Step 2: Integrating Human Feedback נניח שיש לנו מעריכים אנושיים שזוכים באותה תוצאת מועמד: #Human Feedback (Collected from Survey or Annotation) human_feedback = { 'accuracy': 0.9, 'relevance': 0.95, 'clarity': 0.9, 'safety': 1.0 } #Aggregate human score (weighted average) def aggregate_human_score(feedback): weights = {'accuracy':0.3, 'relevance':0.3, 'clarity':0.2, 'safety':0.2} score = sum(feedback[k]*weights[k] for k in feedback) return score human_score = aggregate_human_score(human_feedback) print("Aggregated Human Score:", human_score) Out for above 0 0 935 Aggregated Human Score הסכום האנושי המצטבר של מעיד על היציאה שלך LLM מקבל דירוגים גבוהים מאוד מאנשים אמיתיים אשר עולה על סף "טוב" טיפוסי והופך אותו מתאים עבור יישומים מעשיים ביותר או פרסום עם רק התאמות קטנות עבור התאמה כמעט מושלמת. 0.935 Step 3: Holistic Aggregation שילוב של ציונים אוטומטיים ואנושיים: #Holistic Score Calculation def holistic_score(bleu, rouge, human): automated_avg = (bleu + rouge['rouge-l']['f']) / 2 holistic = 0.6 * human + 0.4 * automated_avg return holistic holistic_evaluation = holistic_score(bleu_score, rouge_scores[0], human_score) print("Holistic LLM Score:", holistic_evaluation) Output for above 0.6109999990625 Holistic LLM Score: משקף תערובת משופרת של: Holistic LLM Score of 0.6109999990625 מדדים אוטומטיים (BLEU & ROUGE-L ממוצע) 40% משקל ציון אנושי מצטבר – 60% משקל ציון של ~0.611 דורש הסבר יחד עם הדרכה כיצד להמשיך. 4.1.1. How the Score Was Computed הציון האנושי (0,935) היה בעל משקל של 60%, כלומר הוא תורם ל-0,561 לסיכום הסופי. הציון הממוצע האוטומטי נקבע על-ידי נטילת הממוצע של BLEU ≈ 0 ו- ROUGE L F1 ≈ 0.2478 שווה ל- 0.1239 והציון הזה היה בעל משקל של 40% מה שאומר שהוא תורם ל- 0.0496 לסיכום הסופי. הציון הכולל היה בסביבות 0.6109999 כאשר מוקדמים ל 0.6106. 4.1.2. Interpreting 0.611 on a 0–1 Scale רמת הביצועים תיחשב "רע" כאשר הציון יורד מתחת ל- 0.5. המודל מקבל דירוגים אנושיים גבוהים, אבל מדדים לקסימיים קשיחים מדדים אותו בקצה הנמוך של הטווח כאשר הדירוג נופל בין 0.5 ל- 0.7. רוב היישומים מחשיבים ציונים מעל 0.8 כ"כ מקובלים". תכניסו אתכם לתחום המודרני The score of 0.611 התוצאה קיבלה מחמאות גבוהות מאנשי ההערכה האנושית לגבי הדיוק והרלוונטיות, ובהירות ובטיחות. המדיטציה האוטומטית העניקה את היציאה בחומרה רבה משום שהייתה לה תת-גרם מדויקת נמוכה. 4.1.3. Why the Hybrid Score Is Lower Than the Human Score הרכיב האוטומטי מקבל ציון של 0 מכיוון ש-BLEU אינו מכסה 4 גרם. ציון ROUGE-L F1 של 0.2478 הוא גם די נמוך מאותה סיבה. הדירוג האנושי של 0.935 אינו מונע מהחלק האוטומטי של 40% להוריד את הציון הכולל לכ- 0.61. 4.1.4. Practical Takeaways Trust the Human Rating First The human score indicates the content quality within its specific context. Your current focus on user satisfaction indicates you are already meeting your goals. Decide Your Threshold Your automated metrics require improvement even though your production readiness threshold . is ≥ 0.7 Your automated tasks are ready for deployment when their scores reach or higher regardless of their nature. 0.6 Improve Automated Scores Reuse more of the reference phrasing or add synonyms that match it. Lexical overlap: For BLEU, try smoothing functions (e.g., SmoothingFunction.method1) to avoid zero scores. o Semantic metrics: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Smoothing: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Semantic metrics: Adjust Weighting (if appropriate) You could reduce the automated weight (e.g., 30 % auto / 70 % human) if you trust human feedback more for your use case. 5 Recent research advances holistic evaluation frameworks 5 מחקרים אחרונים מתקדמים מסגרות הערכה הוליסטית במהלך 2023-2025 החוקרים פיתחו מסגרות הערכה מלאות עבור LLMs אשר פעלו היבטים המורכבים של ביצועי מודל שפה.The Holistic Evaluation of Language Models (HELM) framework achieved 96% coverage improvement over previous evaluations as Stanford researchers evaluated 30+ prominent models across 42 scenarios and 7 key metrics including accuracy, calibration, robustness, fairness, bias, toxicity, and efficiency. . סטנפורד מערכת ההערכה Prometheus ואת המורשת שלה Prometheus 2 מייצגים התקדמות משמעותית בטכנולוגיית הערכה קוד פתוח. Prometheus 2 מראה קישור של 0.6-0.7 Pearson עם GPT-4 ו-72-85% הסכמה עם שיפוטים אנושיים המאפשרים הן הערכה ישירה והן דירוג בזוגות. המסגרת מציעה חלופות מערכת הערכה מותאמות עם סטנדרטים של ביצועים המתאימים לפתרונות מסחריים מובילים (Kim, et al., 2023) , (אנג, et al. 2025) וולף 2024 (באנגלית) . קורנל OpenReviewעריכה Substack המסגרת G-Eval מציעה ביצועים טובים יותר של התאמה אנושית מאשר המספרים המסורתיים על פי Confident AI, מכיוון שהערכה מבוססת רעיון גלוי חושפת היבטים מורכבים של ייצור שפה שהמטרים האוטומטיים אינם מסוגלים לזהות.השיטה להערכה מספקת יתרונות יוצאי דופן למשימות הדורשות צעדים מרובים של שיקול דעת או קלטה יצירתית (Wolfe, 2024). , (Ip, 2025 ) הפיתוח של שיטות הערכה ספציפיות לתחום מראה כיצד מומחים מבינים כעת כי כלי הערכה למטרה כללית אינם מסוגלים למדוד יישומים מיוחדים כראוי. FinBen מספק 36 קבוצות נתונים המקיפות 7 תחומים פיננסיים ומספקים מדדים ממוקדים בתחום הבריאות כדי לאפשר הערכה מדויקת של יכולות ספציפיות לתחום. , (ג'יין, 2025 ) . Substack אמון AI קורנל Medium מדד ההשוואה MMLU-Pro עוסק בשיעור השגיאות של 57% שנמצא במדד ההשוואה המקורי MMLU באמצעות אימות מומחה וקשיים מוגדרים מהשאלות של 10 בחירות. 6 מקרים של שימוש בעולם האמיתי: 6.1 ChatGPT Evaluation OpenAI משתמשת ב- Reinforcement Learning from Human Feedback (RLHF) כדי לשפר את המודלים של GPT. מעריכים אנושיים מעריכים את היציאות המודל ואת הציונים שהם מספקים משמשים להכשרת מודל תגמול. השילוב של שיטות אלה הוביל לשיפור של 40% ברצינות מעשית בהשוואה ל- GPT-3.5, יעילות מעשית ותגובות מודל שמתאימות לצפייה אנושית, מה שמוביל לחוויית משתמשים טובה בהרבה יותר מאשר הערכה אוטומטית לבד. . פתיחה 6.2 Microsoft's Azure AI Studio Azure AI Studio של מיקרוסופט משלבת כלים להערכת ישירות לתוך תשתית הענן שלה, המאפשרת למשתמשים לבדוק יישומים מקוונים לפני הפצתם ולפקח עליהם באינטרנט במהלך הייצור.הפלטפורמה משתמשת בשיטה להערכת היברידית המשלבת מעריצים אוטומטיים עם אימות אנושי-ב-הלב כדי לסייע לעסקים לשמור על סטנדרטים איכותיים במהלך מיקוד היישומים.מערכת Prompt Flow של החברה שלהם מאפשרת למשתמשים להעריך יישומים מורכבים של AI מודרני באמצעות הערכה במספר של שלבים (Dilmegani, 2025). . מטרה מרובה 6.3 Google's Vertex AI מערכת ההערכה של Vertex AI של Google מוכיחה את פיתוח ההערכה המולטימודלית המעריכה את הביצועים במגוון טקסטים, תמונות ואודיו. המתודולוגיה המשותפת שלהם להערכה בקשר ארוך הפכה להיות סטנדרט בתעשייה, ומאפשרת הערכה מתוחכמת של היכולת של המודלים להשיג ולהשתמש במידע ממקשרים רחבים. . מטרה מרובה 6.4 Other Case studies נוף ההערכה המסחרית התרחב באופן משמעותי, עם פלטפורמות כגון Humanloop, LangSmith ו- Braintrust המציעות פתרונות הערכה מקצה לקצה.פלטפורמות אלה בדרך כלל מציגות ירידה של 60-80% בהשוואה לפיתוח הערכה מותאמת אישית, המספקות מדדים מותאמים מראש, זרימות עבודה של הערות אנושיות ויכולות מעקב על ייצור. , (Labelbox , 2024 ) ההשפעות המעשיות של מסגרות הערכה חזקות מוצגות באמצעות מחקרים מקרים ממבצעי בריאות.מחקר של הר סיני הראה ירידה של 17 פעמים במחירי API באמצעות קבוצת משימות, עיבוד בו זמנית של עד 50 משימות קליניות ללא אובדן דיוק. . אמון תיבת תוויות DevCommunityעריכה ההתקדמות הטכנית של אופטימיזציה של העדפות ישירות (DPO) מבטלת את הדרישה להכשרת מודל תגמול מפורש.הגישה של DPO להפוך את RLHF לתפקיד דירוג שמוביל להאיץ אימון של 2-3 פעמים מבלי לפגוע בתוצאות האיכות.המערכת DPO מגיע 7.5/10 ביצועים על MT-Bench בעוד RLHF מגיע 7.3/10 ומשיג שיעור ניצחון של 85% על AlpacaEval לעומת 82% עבור RLHF מסורתי תוך הפחתת זמן האימון מ 36 שעות ל 12 שעות ביצועים שווה ערך (SuperAnnotate, 2024). , (Werra, 2024 ) וולף 2024 (באנגלית) . סופרנייט HuggingFace Substack 7 Alternative Approach: 7 דרכים חלופיות: ה-Constitutional AI, שפותח על-ידי Anthropic, מציע גישה חלופית שמפחית את דרישות ההערות האנושיות ב-80-90% תוך שמירה על ביצועים דומים.המסגרת משתמשת בהתייחסות AI במקום תוויות אנושיות באמצעות תהליך של שתי שלבים: למידה מבוקרת עם ביקורת עצמית ופיתוח, ולאחר מכן חיזוק למידה מהתייחסות AI (RLAIF).הגישה הזו משיגה ירידה של 90%+ בהוצאות מזיקות תוך שמירה על 95%+ ביצועי משימות, ומדגישה כי מערכות AI יכולות ללמוד להתאים ערכים אנושיים באמצעות שיפור עצמי מבוסס (Anthropic, 2022) . אנתרופי 8 Challenges and Future Directions 8 אתגרים ודרכים עתידיות 8.1 Challenges: גודל: התהליך של איסוף כמות גדולה של משוב אנושי מוכיח גם יקר וגם לוקח זמן. עלות ההערכה האנושית נעה בין $50 ל- $200 לשעה עבור ביקורות מומחים מה שהופך הערכה נרחבת בלתי סבירה עבור ארגונים רבים. התהליך של הערכה אנושית איכותית תלוי במומחיות התחום והכשרה עקבית ובאימות מתמשך אשר מגדיל את המורכבות ואת העלות של תהליכי ההערכה. ההסכם בין הערכים השונים מראה מגוון רחב כי מורכבות המשימות משפיעה על עמידות הקורלציה שלהם, המשתנה בין 0.4 ל- 0.8 (10Pearls, nd.) 10Pearls, (Dilmegani, 2025) AIMultiple. מחקרים מראים כי 91% של LLMs ללמוד מהנתונים שפורסמו באינטרנט המכיל ייצוג נמוך של נשים ב 41% מהקשרים המקצועיים והפרעות אלה ממשיכים להתפשט באמצעות מערכות הערכה. מתודולוגיה ההערכה יוצרת דעות קדומות באמצעות אפקטים של סדר והעדפות אורך והנחות דמוגרפיות ונקודות מבט תרבותיות הדורשות אסטרטגיות הפחתה שיטתית כי ארגונים רבים חסרים את המשאבים הדרושים ליישם ביעילות (Rossi et al., 2024) MITPress, (Barrow et al., 2023) קורנל. היעדר האמת הבסיסית בדור הפתוח: היעדר האמת הבסיסית עבור משימות הדור הפתוח הופך את "הצדק" לסובייקטיביות ומקשר תלוי, יצירת תסריטי הערכה שבהם תשובות תקינות מרובות קיימות ללא קריטריונים ברורים דירוג. אתגרים עם שילוב של הערכה אוטומטית ואנושית: ארגונים צריכים לבצע כיוונית נרחבת כדי לקבוע קווים מתאימים למניעת הערכה אנושית של מערכות אוטומטיות, בעוד שהם צריכים פרוטוקולים שנקבעו כדי לפתור סכסוכים בין תוצאות הערכה אוטומטית ואנושית. 9 Future Directions: 9 דרכים עתידיות: יישום שיטות למידה פעילה יעזור להפחית את הדרישה להערכה אנושית. השימוש במודלים משניים של AI מאומנים על נתוני משוב אנושיים מאפשר אוטומציה של הערכות איכותיות המייצגות הערכות אנושיות. העתיד של שיטת ההערכה יהיה תלוי בשיטות רגישות לקשר אשר לשנות את קריטריונים ההערכה על פי דרישות המשימה ואת הצרכים של המשתמשים ואת תחומי היישום. הפיתוח של גישות הערכה מאוחדות שיכולות להעריך עקביות בין-מודלית וקיימות יהפכו להיות חשובים יותר ויותר כמו LLMs לשלב עם מערכות AI אחרות כדי ליצור יישומים רב עוצמה וגמישות יותר. מסגרת ההערכה של Agentic צריכה להעריך את איכות התגובה ואת תהליכי קבלת ההחלטות ואת השלכות הבטיחות ואת האיזון עם המטרות המיועדות (Andrenacci, 2025) Medium, (Chaudhary, 2025) טורינג. מערכות הערכה בזמן אמת צריכות לשמור על יכולות הערכה מעמיקות וביצועי חישוב יעילים. 10 Conclusion 10 מסקנות הערכה של LLM באמצעות אינטגרציה של משוב אנושי עם מדדים אוטומטיים יוצרת שיטה מלאה של הערכה עבור יעילות המודל. השילוב של מדדים מסורתיים עם שיפוט אנושי לגבי איכות מייצר תוצאות טובות יותר עבור יישומים בעולם האמיתי ותאימות אתית ושביעות רצון המשתמשים. יישום שיטות הערכה הוליסטיות יפיק פתרונות AI מדויקים יותר ואתיים שידרו את ההתקדמות העתידית. שיטות הערכה מרובות צריכות לשמש מסגרות הערכה מוצלחות כדי להשיג איזון בין יעילות אוטומטית ושיפוט של ביקורת אנושית. ארגונים המיישמים אסטרטגיות הערכה מקיפות ידווחו על שיפורים משמעותיים בביטחון, ביצועים ויעילות ביצועים, 11 References 11 הפניות Kim, S. et al. (2023)- Prometheus: יכולת הערכת דגנים עדיניםhttps://arxiv.org/abs/2310.08491 רוי, R. et al. (2024)- xCOMET-lite: יעילות ואיכות איזוןhttps://aclanthology.org/2024.emnlp-main.1223/ אנדרואיד (באנגלית)https://www.anthropic.com/news/claudes-constitution אנדרואיד (באנגלית) - HTTPS://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback Hugging Face (2023)- RLHF איורhttps://huggingface.co/blog/rlhf יואן, C. (2023)- RLHF: חיזוק למידה מן משוב אנושיhttps://huyenchip.com/2023/05/02/rlhf.html IBM (2024)- מדריך הערכה LLMhttps://www.ibm.com/think/insights/llm-evaluation מיקרוסופט (2024)- תיעוד מדדי הערכהhttps://learn.microsoft.com/en-us/ai/playbook/technology-guidance/generative-ai/working-with-llms/evaluation/list-of-eval-metrics Red Hat (2024)- Evaluating LLM Performancehttps://next.redhat.com/2024/05/16/evaluating-the-performance-of-large-language-models/ סטנפורד CRFM (2022)- HELM Frameworkhttps://crfm.stanford.edu/helm/ איטליה, C. R. (2024)- שימוש LLMs עבור הערכהhttps://cameronrwolfe.substack.com/p/llm-as-a-judge איטליה, G. (2025)- 18 AI LLM מגמות ב 2025https://medium.com/data-bistrot/15-artificial-intelligence-llm-trends-in-2024-618a058c9fdf Greyling, C. (2024)- Human-in-the-Loop LLM Agentshttps://cobusgreyling.medium.com/human-in-the-loop-llm-agents-e0a046c1ec26 Mansuy, R. (2024)- מדריך מקיף להערכת NLP Metricshttps://medium.com/@raphael.mansuy/evaluating-the-performance-of-natural-language-processing-nlp-models-can-be-challenging-ce6f62c07c35 גולן, ק. (2024)- הבנה BLEU, ROUGE, METEOR, ו BERTScorehttps://medium.com/@kbdhunga/nlp-model-evaluation-understanding-bleu-rouge-meteor-and-bertscore-9bad7db71170 Sojasingarayar, A. (2024)- BERTScore הסביר ב 5 דקות/medium.com/@abonia/bertscore-explained-in-5-minutes-0b98553bfb71 SuperAnnotate (2024)- מדריך מסגרת הערכה LLMhttps://www.superannotate.com/blog/llm-evaluation-guide SuperAnnotate (2024)- מדריך אופטימיזציה עדיפות ישירהhttps://www.superannotate.com/blog/direct-preference-optimization-dpo מדריך ללימודי תואר שני בביה"ס (באנגלית)https://www.confident-ai.com/blog/llm-evaluation-metrics-everything-you-need-for-llm-evaluation אינטליגנציה אינטליגנציה אינטליגנציה אינטליגנציה אינטליגנציה אינטליגנציה https://www.confident-ai.com/blog/llm-testing-in-2024-top-methods-and-strategies - Large Language Model Evaluation Methods AIMultiple (2025) https://research.aimultiple.com/large-language-model-evaluation/ Humanloop (2025)- 5 כלי הערכה LLM אתה צריך לדעתhttps://humanloop.com/blog/best-llm-evaluation-tools Datadog (2024)- בניית מסגרת הערכה LLM Best Practiceshttps://www.datadoghq.com/blog/llm-evaluation-framework-best-practices/ Labelbox (2024)- LLM מקורי & תמיכה Multimodal עבור הערכה היברידיתhttps://labelbox.com/blog/labelbox-q1-2024-product-release/ Label Studio (2024)- הערכות LLM: טכניקות, אתגרים ופרקטיקות הטובות ביותר://labelstud.io/blog/llm-evaluations-techniques-challenges-and-best-practices/ Labelvisor (2024)- אינטגרציה של תנועות משוב אנושי לתוך LLM Traininghttps://www.labelvisor.com/integrating-human-feedback-loops-into-llm-training-data/ MIT Press (2024)- דעות קדומות וצדק בדוגמאות שפה גדולה סקירהhttps://direct.mit.edu/coli/article/50/3/1097/121961 ה- IMF (2024)- חיזוק למידה מהחוויה תגובותhttps://www.elibrary.imf.org/view/journals/001/2024/114/article-A001-en.xml GeeksforGeeks (2024)- הבנת BLEU ו ROUGE ציון עבור NLP הערכהhttps://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ אנליטיקה Vidhya (2025)- BERTScore: מטריצה קונספטואלית עבור LLM הערכהhttps://www.analyticsvidhya.com/blog/2025/04/bertscore-a-contextual-metric-for-llm-evaluation/ אנדרואיד (באנגלית) - HTTPS://saturncloud.io/blog/evaluating-machine-translation-models-traditional-and-novel-approaches/ טורינג (2025)- מגמות LLM העליון 2025: מהו העתיד של LLMshttps://www.turing.com/resources/top-llm-trends 10Pearls (2024)- מציאת LLM הנכון עבור העסק שלךhttps://10pearls.com/find-the-right-llm-for-your-business/ DEV קהילה (2025)- Top 5 Open-Source LLM הערכה Frameworkshttps://dev.to/guybuildingai/-top-5-open-source-llm-evaluation-frameworks-in-2024-98m אובמה, J. (2024)- הבטחת דיוק ב AI עם Human-in-the-Loophttps://medium.com/@j.m.olivera08/ensuring-precision-in-ai-with-human-in-the-loop-7a4d9143296d **OpenAI - "אימון מודלים לשפה כדי לעקוב אחר הוראות עם משוב אנושי" **מאמר זה מציג את הגישה InstructGPT, שבו דירוגים אנושיים מדריכים מודל תואם באמצעות RLHF:אימון מודלים לשפה כדי לעקוב אחר הוראות עם משוב אנושי (OpenAI, 2022) researchgate.net+7scirp.org+7scirp.org+7qa.time.com+13cdn.openai.com+13youtube.com+13 **Papineni et al. – “BLEU: A Method for Automatic Evaluation of Machine Translation” (BLEU: שיטה להערכת אוטומטית של תרגום מכונה) medium.com+12aclanthology.org+12en.wikipedia.org+12aclanthology.org **Lin, C.Y. – “ROUGE: A Package for Automatic Evaluation of Summaries” \ מסמך הסדנה 2004 של ACL המציג את מדדי ROUGE: ROUGE: A Package for Automatic Evaluation of Summaries (Lin, 2004) microsoft.com+15aclanthology.org+15bibbase.org+15