Zur ganzheitlichen Bewertung von LLMs: Integration von menschlichem Feedback mit traditionellen Metriken

Abstract Abstrakte Der Artikel befürwortet eine umfassendere Bewertungsmethode für große Sprachmodelle (LLMs) durch die Kombination traditioneller automatisierter Metriken (BLEU, ROUGE und Perplexity) mit strukturiertem menschlichem Feedback. Es unterstreicht die Grenzen von Standardbewertungstechniken und betont gleichzeitig die kritische Rolle menschlicher Bewertungen bei der Bestimmung kontextueller Relevanz, Genauigkeit und ethischer Angemessenheit. Durch detaillierte Methoden, praktische Implementierungsbeispiele und reale Fallstudien zeigt der Artikel, wie eine ganzheitliche Bewertungsstrategie die Zuverlässigkeit von LLM verbessern, die Modellleistung besser mit den Erwartungen der Benutzer ausrichten und verantwortungsvolle KI-Entwicklung unterstützen kann. 1 Introduction 1 Einführung Das Anwendungsgebiet der künstlichen Intelligenz hat sich aufgrund von Large Language Models (LLMs), einschließlich GPT-4, Claude, Gemini und anderen Modellen, grundlegend verändert. Die weit verbreitete Verwendung dieser Modelle erfordert eine vollständige Bewertung durch umfassende Bewertungsmethoden. Die Bewertung dieser Modelle hängt hauptsächlich von automatisierten Metriken ab, die BLEU, ROUGE, METEOR und Perplexity umfassen. Die Forschungsergebnisse zeigen, dass automatisierte Bewertungsmetriken die Zufriedenheit der Benutzer und die Modellwirksamkeit nicht genau vorhersagen. Ein vollständiger Bewertungsrahmen erfordert die Kombination von menschlichem Feedback mit traditionellen Metriken für die Bewertung. Dieses Papier zeigt eine 2 Limitations of Traditional Metrics 2 Grenzen der traditionellen Metriken Die traditionellen Metriken dienten als standardisierte Benchmarks für frühere NLP-Systeme, aber sie messen nicht die semantische Tiefe, kontextuelle Angemessenheit und kreative Fähigkeiten, die moderne LLMs definieren. BLEU (Bilinguale Bewertung Unterstudie) ( Papineni, Roukos, Ward, & Zhu, 2002) BLEU ROUGE (Erinnerungsorientierte Unterstudie zur Gistungsbewertung) (Lin) ROUGE METEOR (Metric for Evaluation of Translation with Explicit Ordering) - Metrik für die Bewertung von Übersetzungen mit ausdrücklicher Ordnung Verwirrung Blau Die Bewertungsmetriken liefern nützliche Informationen, haben jedoch mehrere Nachteile: Mangel an kontextuellem Verständnis: BLEU und ähnliche Metriken messen Tokenähnlichkeit, aber sie können die kontextuelle Bedeutung des erzeugten Textes nicht beurteilen. Schlechte Korrelation mit menschlichem Urteil: Hohe automatisierte Scores führen nicht unbedingt zu einer hohen Nutzerzufriedenheit nach menschlichem Urteil. Unempfindlichkeit gegenüber Nuancen und Kreativität: Diese Auswertungsmetriken können keine schattigen oder kreativen Ergebnisse erkennen, die für praktische Anwendungen unerlässlich bleiben. Die Bewertungsmetriken des LLM – BLUE, ROUGE, Perplexity und Accuracy – wurden für spezifische NLP-Aufgaben entwickelt, erfüllen jedoch nicht die Anforderungen zeitgenössischer Sprachmodelle. Die IBM BLEU-Score zeigen eine schwache Beziehung zu menschlicher Bewertung (0.3-0.4 für kreative Aufgaben) und die ROUGE-Korrelation reicht von 0,4-0,6 basierend auf der Komplexität der Aufgabe. Die Metriken zeigen semantische Blindheit, weil sie Oberflächen-Level-Wortüberschneidungen messen, anstatt semantische Äquivalenz und gültige Paraphrasen zu erkennen. (Clement, 2021) , (Dschungana , 2023 ) , (Mansuy, 2023 ) Clementbm NLP Modellbewertung Bewertung von NLP-Modellen Die Abhängigkeit der Metrik von Wortschatzgröße und Kontextlänge schafft unzuverlässige Modellübergreifende Vergleiche und ihr Fokus auf die Wahrscheinlichkeit der Token-Vorhersage misst nicht die Qualität der erzeugten Inhalte (IBM, 2024). Studien zeigen, dass Modelle mit niedrigeren Verwirrungsraten nicht automatisch nützliche oder genaue oder sichere Ausgänge generieren, was die Lücke zwischen Optimierungszielen und realen Dienstleistungen erklärt (Devansh, 2024). IBM Medium Die traditionellen Bewertungsmethoden hängen von perfekten Goldstandards und einzelnen korrekten Antworten ab, berücksichtigen jedoch nicht den subjektiven Charakter von Sprachgenerierungsaufgaben (Devansh, 2024). BERTScore und BLEURT, obwohl sie neuronale Embeddings verwenden, um semantische Bedeutung zu erfassen, haben immer noch Schwierigkeiten mit Antonymen, Negationen und kontextueller Feinheit (Oefelein, 2023) Die Studie zeigt, dass fortgeschrittene automatisierte Metriken die Komplexität der menschlichen Sprache nicht vollständig messen können.Die jüngsten Fortschritte in der neuronalen Metrik haben versucht, diese Probleme zu lösen (Bansal, 2025). (Sojasingarayar im Jahr 2024) xCOMET erreicht mit seinen fein gesäumten Fehlererkennungskapazitäten hochmoderne Leistung in mehreren Bewertungsarten. Die xCOMET-Lite-komprimierte Version behält 92,1 % Qualität bei nur 2,6 % der ursprünglichen Parameter. Die Verbesserungen funktionieren innerhalb automatisierter Bewertungsbegrenzungen, die für eine vollständige Bewertung menschliches Feedback erfordern (Guerreiro, et al., 2024). , (Larionov, Seleznyov, Viskov, Panchenko und Eger, 2024) . Medium SaturnCloud Analytisch Medium Mit der Presse ACL Anthologie 2.1 Example Limitation: Die erwartete Antwort auf die Frage "AI beschreiben" sollte sein: "Die Simulation menschlicher Intelligenzprozesse durch Maschinen definiert KI." Der LLM erzeugt eine innovative Antwort auf die Frage: „Die Macht der KI verwandelt Maschinen in Denk-Einheiten, die ähnlich wie Menschen lernen und sich anpassen.“ Die traditionellen Bewertungsmethoden würden dieser Antwort eine niedrigere Punktzahl geben, obwohl sie einen größeren praktischen Wert hat. 3 The Importance of Human Feedback 3 Die Bedeutung des menschlichen Feedbacks Das menschliche Feedback verbindet sich mit automatisierten Bewertungslücken, indem es die Nützlichkeit und Klarheit sowie Kreativität sowie die tatsächliche Korrektheit und Sicherheit der erzeugten Ergebnisse direkt bewertet. Kontextuelles Verständnis: Menschen bewerten, ob Antworten in gegebenen Kontexten logisch sinnvoll sind. Praktische Relevanz: Bewertet die Zufriedenheit der Nutzer direkt. Ethische Ausrichtung: Bewertet ethische Implikationen, Vorurteile und Angemessenheit der erzeugten Ergebnisse. Die Bewertung des menschlichen Feedbacks erfordert die Bewertung der Ergebnisse auf der Grundlage qualitativer Bewertungskriterien. Metric Description Accuracy Is the provided information correct? Relevance Does the output align with user intent? Clarity Is the information communicated clearly? Safety & Ethics Does it avoid biased or inappropriate responses? Genauigkeit Sind die bereitgestellten Informationen korrekt? Relevanz Entspricht die Ausgabe der Benutzerabsicht? Klarheit Wird die Information klar kommuniziert? Sicherheit & Ethik Vermeidet es voreingenommene oder unangemessene Antworten? 4 Integrating Human Feedback with Traditional Metrics 4 Integration von menschlichem Feedback mit traditionellen Metriken Die Kombination von automatisierter Bewertung mit menschlichem Feedback in jüngster Forschung zeigt Präferenzausrichtung bei 85-90%, während traditionelle Metriken allein nur 40-60% erreichen (Pathak, 2024). , die unsere aktuellen Methoden der AI-Leistungsbewertung verändert. Der neue Ansatz zeigt, wie LLMs Bewertungsrahmen benötigen, die Genauigkeit zusammen mit Kohärenz und Sicherheit und Fairness und menschliche Werteausrichtung bewerten. Roter Hut Der Übergang von der automatisierten Bewertung zu menschlich integrierten Ansätzen geht über die methodische Verbesserung hinaus, da er wesentliche Fragen in unserem aktuellen Verständnis der KI-Leistung anspricht.Die Entstehung von Verstärkungslernen aus menschlichem Feedback (RLHF) und konstitutionellen KI- und Präferenzlernrahmen repräsentieren neue Bewertungsmethoden, die sich auf menschliche Werte und reale Anwendbarkeit konzentrieren, anstatt schmale Leistungsmetriken (Dupont, 2025). , (Atashbar im Jahr 2024) , (Hüllen, 2023 ) . Der Labelvisor IMF eLibrary RLHF RLHF erreicht herausragende Effizienz durch seine Ausbildung von 1.3B-Parametermodellen mit menschlichem Feedback, das 175B-Parameter-Baseline-Modelle übertrifft und gleichzeitig die Ausrichtung optimiert, um 100x-Parameter-Effizienz zu erreichen (Lambert, Castricato, Werra, & Havrilla, 2022) Das System funktioniert durch drei aufeinanderfolgende Phasen, die das beaufsichtigte Fein-Tuning, gefolgt von Reward-Modell-Training aus menschlichen Präferenzen und Verstärkungs-Lernoptimierung durch Proximal Policy Optimization (PPO) umfassen (Dupont, 2025). , (Hüllen, 2023 ) . Gesicht umarmen Der Labelvisor RLHF Die Methodik funktioniert effektiv, weil sie subtile menschliche Präferenzen erkennt, die Standardmetriken nicht erkennen können. Die menschliche Bewertung zeigt, dass RLHF-anpasste Modelle 85% + Präferenzbewertungen über Basismodellen erhalten und gleichzeitig signifikante Verbesserungen in der Hilfsbereitschaft und Unschädlichkeit und Ehrlichkeit zeigen. Der Belohnungsmodell-Trainingsprozess verwendet 10K-100K menschliche Präferenzpaare, um skalierbare Präferenzvorhersagen zu entwickeln, die das Modellverhalten leiten, ohne dass eine menschliche Bewertung für jede Ausgabe erforderlich ist (Lambert, Castricato, Werra, & Havrilla, 2022) . Gesicht umarmen Die Implementierung von Human-in-the-loop (HITL) -Systemen schafft dynamische Bewertungsrahmen durch menschliches Urteilsvermögen, das automatisierte Prozesse leitet. Diese Systeme erzielen eine Verbesserung der Aufgabenspezifischen Leistung um 15-25% und reduzieren dabei die Sicherheitsrisiken um 95%+, indem sie mittels intelligenter Aufgabenrouting funktionieren, die unsichere oder potenziell schädliche Ergebnisse für menschliche Prüfer eskaliert. Die Methode zeigt ihre besten Ergebnisse in spezialisierten Bereichen der juristischen Überprüfung und medizinischen Diagnostik, da KI-Vorprüfung gefolgt von Expertenvalidierung effiziente und rigorose Bewertungspipelines erzeugt. (Greyling, 2023) , (SuperAnnotate, 2025 ) , (Olivera im Jahr 2024) Medium Übersicht Medium ) 4.1 Practical Implementation (With Code Example Ein grundlegender Rahmen für die Integration von menschlichem Feedback mit automatisierter Metrik kann über Python-Code implementiert werden. Step 1: Automated Metrics Calculation. from nltk.translate.bleu_score import sentence_bleu from rouge import Rouge reference = "AI simulates human intelligence in machines." candidate = "AI brings intelligence to machines, allowing them to act like humans." #Calculate BLEU Score bleu_score = sentence_bleu([reference.split()], candidate.split()) #Calculate ROUGE Score rouge = Rouge() rouge_scores = rouge.get_scores(candidate, reference) print("BLEU Score:", bleu_score) print("ROUGE Scores:", rouge_scores) Output for above 1.1896e-231 (≈ 0) BLEU Score: Rouge Score : [ { "rouge-1": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 }, "rouge-2": { "r": 0.0, "p": 0.0, "f": 0.0 }, "rouge-l": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 } } ] Diese Ergebnisse unterstreichen: Die Zerbrechlichkeit von BLEU: nahezu null, da 4 Gramm nicht miteinander übereinstimmen, was in jeder Dimension sehr schlecht bedeutet. ROUGE-1 und ROUGE-L erfassen grundlegende Überschneidungen (Unigramme / LCS), aber ROUGE-2 ist null, da es keine übereinstimmenden Bigramme gibt. Step 2: Integrating Human Feedback Angenommen, wir haben menschliche Evaluatoren, die die gleiche Kandidatenproduktion erzielen: #Human Feedback (Collected from Survey or Annotation) human_feedback = { 'accuracy': 0.9, 'relevance': 0.95, 'clarity': 0.9, 'safety': 1.0 } #Aggregate human score (weighted average) def aggregate_human_score(feedback): weights = {'accuracy':0.3, 'relevance':0.3, 'clarity':0.2, 'safety':0.2} score = sum(feedback[k]*weights[k] for k in feedback) return score human_score = aggregate_human_score(human_feedback) print("Aggregated Human Score:", human_score) Out for above von: 0,935 Aggregated Human Score Die aggregierte menschliche Punktzahl der Ihre LLM-Ausgabe erhält extrem hohe Bewertungen von echten Menschen, die die typischen "guten" Schwellenwerte überschreiten und sie für die meisten praktischen Anwendungen oder Veröffentlichungen mit nur geringfügigen Anpassungen für nahezu perfekte Ausrichtung geeignet machen. 0.935 Step 3: Holistic Aggregation Kombinieren Sie automatische und menschliche Scores: #Holistic Score Calculation def holistic_score(bleu, rouge, human): automated_avg = (bleu + rouge['rouge-l']['f']) / 2 holistic = 0.6 * human + 0.4 * automated_avg return holistic holistic_evaluation = holistic_score(bleu_score, rouge_scores[0], human_score) print("Holistic LLM Score:", holistic_evaluation) Output for above 0.6109999990625 Holistic LLM Score: Es spiegelt eine gewogene Mischung aus: Holistic LLM Score of 0.6109999990625 Automatische Metriken (BLEU & ROUGE-L Durchschnitt) 40 % Gewicht Aggregated Human Score – 60 % Gewicht Eine Punktzahl von ~ 0,611 erfordert Erklärung zusammen mit Anweisungen, wie man voranschreitet. 4.1.1. How the Score Was Computed Die menschliche Punktzahl (0,935) hatte ein Gewicht von 60%, was bedeutet, dass sie zu der endgültigen Punktzahl 0,561 beigetragen hat. Die automatisierte durchschnittliche Punktzahl wurde berechnet, indem der Durchschnitt von BLEU ≈ 0 und ROUGE L F1 ≈ 0,2478 entnommen wurde, was 0,1239 entspricht, und diese Punktzahl hatte ein Gewicht von 40%, was bedeutet, dass sie zu der endgültigen Punktzahl 0,0496 beigetragen hat. Die Gesamtpunktzahl lag bei rund 0,6109999 auf rund 0,6106. 4.1.2. Interpreting 0.611 on a 0–1 Scale Das Leistungsniveau wird als „schlecht“ angesehen, wenn die Punktzahl unter 0,5 fällt. Das Modell erhält hohe menschliche Bewertungen, aber starre lexikale Metriken schätzen es am unteren Ende des Bereichs, wenn die Punktzahl zwischen 0,5 und 0,7 fällt. Die meisten Anwendungen betrachten Punkte über 0,8 als "stark akzeptabel". Stellen Sie sich in den moderaten Bereich. The score of 0.611 Die Ergebnisse erhielten hohe Lobpreise von menschlichen Bewertern in Bezug auf Genauigkeit und Relevanz sowie Klarheit und Sicherheit. Die automatisierte Metrik bestrafte die Ausgabe stark, weil sie eine niedrige genaue N-Gram-Überlappung hatte. 4.1.3. Why the Hybrid Score Is Lower Than the Human Score Die automatisierte Komponente erhält eine Punktzahl von 0 weil BLEU keine 4 Gramm Überschneidung hat. Der ROUGE-L F1-Score von 0,2478 ist aus dem gleichen Grund auch ziemlich niedrig. Die menschliche Bewertung von 0,935 verhindert nicht, dass die automatisierte 40% -Scheibe die Gesamtnote auf ungefähr 0,61 senkt. 4.1.4. Practical Takeaways Trust the Human Rating First The human score indicates the content quality within its specific context. Your current focus on user satisfaction indicates you are already meeting your goals. Decide Your Threshold Your automated metrics require improvement even though your production readiness threshold . is ≥ 0.7 Your automated tasks are ready for deployment when their scores reach or higher regardless of their nature. 0.6 Improve Automated Scores Reuse more of the reference phrasing or add synonyms that match it. Lexical overlap: For BLEU, try smoothing functions (e.g., SmoothingFunction.method1) to avoid zero scores. o Semantic metrics: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Smoothing: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Semantic metrics: Adjust Weighting (if appropriate) You could reduce the automated weight (e.g., 30 % auto / 70 % human) if you trust human feedback more for your use case. 5 Recent research advances holistic evaluation frameworks 5 Neuere Forschung fördert ganzheitliche Bewertungsrahmen Im Zeitraum 2023-2025 entwickelten Forscher vollständige Bewertungsrahmen für LLMs, die die komplexen Aspekte der Sprachmodellleistung behandelten.Der Rahmen für die ganzheitliche Bewertung von Sprachmodellen (HELM) erzielte eine 96-prozentige Verbesserung der Abdeckung gegenüber früheren Bewertungen, da Stanford-Forscher 30+ prominente Modelle in 42 Szenarien und 7 Schlüsselmetriken einschließlich Genauigkeit, Kalibrierung, Robustheit, Fairness, Bias, Toxizität und Effizienz bewertet haben. (Stanford, n.d.) . von Stanford Das Prometheus-Bewertungssystem und sein Nachfolger Prometheus 2 repräsentieren wichtige Fortschritte in der Open-Source-Bewertungstechnologie. Prometheus 2 demonstriert 0,6-0,7 Pearson-Korrelation mit GPT-4 und 72-85% Vereinbarkeit mit menschlichen Urteilen, was sowohl eine direkte Bewertung als auch ein Paar-Ranking ermöglicht. Der Rahmen bietet zugängliche proprietäre Bewertungssystemalternativen mit Leistungsstandards, die führenden kommerziellen Lösungen entsprechen (Kim, et al., 2023) , (Liang et al. 2025) , (Wolf von 2024) . Kornel OpenReview Substack Das G-Eval-Framework implementiert Kettenbegründung, um Prozesse durch Form-Füll-Paradigmen für Aufgaben-spezifische Metriken zu bewerten. Das Framework liefert eine bessere menschliche Ausrichtung als die traditionelle Metrik gemäß Confident AI, weil die transparente Begründungsbasierte Bewertung komplexe Sprachgenerationsaspekte offenbart, die automatisierte Metriken nicht erkennen können. , (IP , 2025 ) Die Entwicklung von Domain-spezifischen Bewertungsmethoden zeigt, wie Experten jetzt verstehen, dass allgemeine Bewertungswerkzeuge spezialisierte Anwendungen nicht richtig messen können. FinBen liefert 36 Datensätze, die sich über 7 Finanzdomänen erstrecken, und aggregiert auf die Gesundheitsversorgung ausgerichtete Benchmarks, um eine präzise Bewertung von Domain-spezifischen Fähigkeiten zu ermöglichen. , (Jain im Jahr 2025) . Substack Vertrauen AI Kornel Medium Der MMLU-Pro-Benchmark befasst sich mit der 57-prozentigen Fehlerquote, die im ursprünglichen MMLU-Benchmark durch Expertenvalidierung und erhöhte Schwierigkeit von 10-Wahl-Fragen gefunden wurde. 6 Real-world Verwendung Fall: 6.1 ChatGPT Evaluation OpenAI verwendet Reinforcement Learning from Human Feedback (RLHF) um GPT-Modelle zu verbessern. Human Evaluators bewerten Modellausgaben und die von ihnen bereitgestellten Scores werden verwendet, um ein Belohnungsmodell zu trainieren. Die Kombination dieser Methoden führte zu einer Verbesserung der Tatsachengenauigkeit um 40% im Vergleich zu GPT-3.5, praktischer Nutzbarkeit und Modellreaktionen, die den menschlichen Erwartungen entsprechen, was zu einer viel besseren Benutzererfahrung als allein automatisierte Bewertung führt. . Öffnen 6.2 Microsoft's Azure AI Studio Azure AI Studio von Microsoft integriert Bewertungswerkzeuge direkt in seine Cloud-Infrastruktur, die es Benutzern ermöglicht, Anwendungen vor der Bereitstellung offline zu testen und sie während der Produktion online zu überwachen. Die Plattform verwendet eine Hybridbewertungsmethode, die automatisierte Bewertungsmaschinen mit Human-in-the-Loop-Validierung verbindet, um Unternehmen dabei zu helfen, Qualitätsstandards während der Anwendungsskalierung aufrechtzuerhalten. . Zielvielfältig 6.3 Google's Vertex AI Das Bewertungssystem von Vertex AI von Google demonstriert die Entwicklung einer multimodalen Bewertung, die die Leistung über Text-, Bild- und Audiomodalitäten hinweg beurteilt. Ihre Nadel-in-Hajstack-Methodik für die Bewertung von langen Kontexten ist zu einem Branchenstandard geworden, der eine skalierbare Bewertung der Fähigkeit von Modellen ermöglicht, Informationen aus umfangreichen Kontexten abzurufen und zu nutzen. . Zielvielfältig 6.4 Other Case studies Die kommerzielle Bewertungslandschaft hat sich erheblich erweitert, wobei Plattformen wie Humanloop, LangSmith und Braintrust End-to-End-Bewertungslösungen anbieten.Diese Plattformen erzielen in der Regel eine Kostenreduzierung von 60-80% im Vergleich zu maßgeschneiderten Bewertungsentwicklungen, die vorgefertigte Metriken, menschliche Annotations-Workflows und Produktionsüberwachungskapazitäten bieten.Open-Source-Alternativen wie DeepEval und Langfuse demokratisieren den Zugang zu anspruchsvollen Bewertungswerkzeugen und unterstützen die breitere Annahme von Best Practices in der Branche (IP, 2025). , (Labelbox von 2024) Die praktischen Auswirkungen starker Bewertungsrahmen werden durch Fallstudien aus Gesundheitsversorgungsimplementierungen demonstriert.Die Studie von Mount Sinai zeigte eine 17-fache API-Kostenreduktion durch Aufgabengruppen, die gleichzeitig bis zu 50 klinische Aufgaben ohne Verlust der Genauigkeit verarbeiten. . Vertrauen Etikettenbox DevGemeinschaft Der technische Fortschritt der Direct Preference Optimization (DPO) beseitigt die Anforderung an eine ausdrückliche Belohnungsmodellbildung. Der Klassifizierungsansatz der DPO verwandelt die RLHF in eine Klassifizierungsaufgabe, die zu Trainingsbeschleunigungen von 2-3 Mal führt, ohne die Qualitätswerte zu beeinträchtigen. Das DPO-System erreicht 7,5/10 Leistung auf der MT-Bench, während die RLHF 7,3/10 erreicht und eine Gewinnrate von 85% auf AlpacaEval im Vergleich zu 82% für traditionelle RLHF erzielt, während die Trainingszeit von 36 Stunden auf 12 Stunden für gleichwertige Leistung reduziert wird (SuperAnnotate, 2024). , (Werra, 2024 ) , (Wolf von 2024) . Übersicht HuggingFace Substack 7 Alternative Approach: 7 Alternative Vorgehensweise: Constitutional AI, entwickelt von Anthropic, bietet einen alternativen Ansatz, der menschliche Annotationsanforderungen um 80-90% reduziert und gleichzeitig vergleichbare Leistung aufrechterhält. Das Rahmenwerk verwendet AI-Feedback statt menschliche Etiketten durch einen zweistufigen Prozess: beaufsichtigtes Lernen mit Selbstkritik und Revision, gefolgt von Verstärkungslernen aus AI-Feedback (RLAIF). Dieser Ansatz erzielt 90% + Reduktion von schädlichen Ergebnissen, während 95% + Aufgabenleistung aufrechterhalten wird, was zeigt, dass KI-Systeme lernen können, sich mit menschlichen Werten durch strukturierte Selbstverbesserung auszurichten (Anthropic, 2022) . Anthropisch 8 Challenges and Future Directions 8 Herausforderungen und künftige Richtungen 8.1 Challenges: Skalierbarkeit: Der Prozess der Sammlung großer Mengen an menschlichem Feedback erweist sich als teuer und zeitaufwendig. Die Kosten der menschlichen Bewertung reichen von $50 bis $200 pro Stunde für Experten-Reviewer, was eine umfangreiche Bewertung für zahlreiche Organisationen erschwinglich macht. Der Prozess der qualitativen menschlichen Bewertung hängt von Domain-Expertise und konsequenter Ausbildung und laufender Kalibrierung ab, was die Komplexität und Kosten der Bewertungsprozesse erhöht. Die Vereinbarung zwischen verschiedenen Annotatoren zeigt große Variation, da die Komplexität der Aufgaben ihre Korrelationskoeffizienten beeinflusst, die zwischen 0,4 und 0,8 liegen (10Pearls, nd.) 10Pearls, (Dilmegani, 2025) A Die Forschung zeigt, dass 91% der LLMs aus web-scraped Daten lernen, die in 41% der beruflichen Kontexte unterrepräsentation von Frauen enthält, und diese Vorurteile verbreiten sich weiterhin durch Bewertungssysteme. Die Bewertungsmethode schafft Vorurteile durch Ordnungseffekte und Längepräferenzen und demografische Annahmen und kulturelle Perspektiven, die systematische Minderungsstrategien benötigen, die vielen Organisationen die notwendigen Ressourcen fehlen, um effektiv umzusetzen (Rossi et al., 2024) MITPress, (Barrow et al., 2023) Cornell. Das Fehlen von Grundwahrheit in der Open-End-Generation: Das Fehlen von Grundwahrheit für Open-End-Generation-Aufgaben macht "Genauigkeit" inhärent subjektiv und kontextuell abhängig und schafft Bewertungsszenarien, in denen mehrere gültige Antworten ohne klare Ranking-Kriterien existieren. Herausforderungen bei der Integration von automatisierter und menschlicher Bewertung: Organisationen müssen umfangreiche Kalibrierungen durchführen, um die richtigen Schwellenwerte für die menschliche Bewertung von automatisierten Systemen zu bestimmen, während sie etablierte Protokolle benötigen, um Konflikte zwischen automatisierten und menschlichen Bewertungsergebnissen zu lösen. 9 Future Directions: Neun künftige Richtungen: Die Umsetzung aktiver Lernmethoden wird dazu beitragen, die Anforderung an menschliche Bewertung zu verringern. Die Verwendung von sekundären KI-Modellen, die auf menschlichen Feedbackdaten geschult wurden, ermöglicht die Automatisierung qualitativer Bewertungen, die menschliche Bewertungen nachahmen. Die Zukunft der Bewertungsmethodik wird von kontextsensiblen Methoden abhängen, die Bewertungskriterien entsprechend den Aufgabenanforderungen und Benutzerbedürfnissen und Anwendungsdomänen modifizieren.Diese Methoden zielen darauf ab, das aktuelle Problem von standardisierten Bewertungsrahmen zu lösen, die das breite Spektrum der LLM-Anwendungen nicht erkennen. Die Entwicklung einheitlicher Bewertungsansätze, die die cross-modale Konsistenz und Kohärenz bewerten können, wird zunehmend wichtig, da LLMs mit anderen KI-Systemen integriert werden, um leistungsfähigere und vielseitigere Anwendungen zu erstellen. Die Agentic-Bewertungsrahmen müssen sowohl die Reaktionsqualität als auch die Entscheidungsfindung sowie die Sicherheitsimplikationen und die Ausrichtung auf die beabsichtigten Ziele bewerten (Andrenacci, 2025) Medium, (Chaudhary, 2025) Turing. Echtzeitbewertungssysteme müssen sowohl gründliche Bewertungskapazitäten als auch effiziente Rechenleistung aufrechterhalten. 10 Conclusion 10 Schlussfolgerungen Die Bewertung von LLMs durch die Integration von menschlichem Feedback mit automatisierter Metrik schafft eine vollständige Bewertungsmethode für die Modellwirksamkeit. Die Kombination von traditionellen Metriken mit menschlichem Urteil über Qualität erzeugt bessere Ergebnisse für reale Anwendungen und ethische Compliance und Nutzerzufriedenheit. Die Umsetzung ganzheitlicher Bewertungsmethoden wird präziser und ethischer KI-Lösungen erzeugen, die zukünftige Fortschritte vorantreiben. Mehrfache Bewertungsmethoden sollten in erfolgreichen Bewertungsrahmen verwendet werden, um ein Gleichgewicht zwischen automatisierter Effizienz und menschlichem Bewertungsurteil zu erzielen. Organisationen, die umfassende Bewertungsstrategien implementieren, berichten über 11 References 11 Referenzen Kim, S. et al. (2023)- Prometheus: Fine-grained Bewertung Fähigkeithttps://arxiv.org/abs/2310.08491 Rei, R. et al. (2024)- xCOMET-lite: Effizienz und Qualität Balancehttps://aclanthology.org/2024.emnlp-main.1223/ Anthropic (2023)- Claude's Constitutionhttps://www.anthropic.com/news/claudes-constitution Anthropic (2022)- Constitutional AI Forschunghttps://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback Hugging Face (2023)- RLHF Illustrationhttps://huggingface.co/blog/rlhf Huyen, C. (2023)- RLHF: Verstärkung des Lernens von menschlichen Feedbackhttps://huyenchip.com/2023/05/02/rlhf.html IBM (2024)- LLM Evaluation Guidehttps://www.ibm.com/think/insights/llm-evaluation Microsoft (2024)- Auswertungsmetriken Dokumentationhttps://learn.microsoft.com/en-us/ai/playbook/technology-guidance/generative-ai/working-with-llms/evaluation/list-of-eval-metrics Red Hat (2024)- Evaluieren LLM Performancehttps://next.redhat.com/2024/05/16/evaluating-the-performance-of-large-language-models/ Stanford CRFM (2022)- HELM Frameworkhttps://crfm.stanford.edu/helm/ Wolfe, C. R. (2024)- Verwenden von LLMs für Bewertunghttps://cameronrwolfe.substack.com/p/llm-as-a-judge Andrenacci, G. (2025)- 18 AI LLM Trends in 2025https://medium.com/data-bistrot/15-artificial-intelligence-llm-trends-in-2024-618a058c9fdf Greyling, C. (2024)- Human-in-the-Loop LLM Agentshttps://cobusgreyling.medium.com/human-in-the-loop-llm-agents-e0a046c1ec26 Mansuy, R. (2024)- Umfassender Leitfaden zur NLP-Bewertung Metricshttps://medium.com/@raphael.mansuy/evaluating-the-performance-of-natural-language-processing-nlp-models-can-be-challenging-ce6f62c07c35 Dhungana, K. (2024)- Verständnis BLEU, ROUGE, METEOR, und BERTScorehttps://medium.com/@kbdhunga/nlp-model-evaluation-verständnis-bleu-rouge-meteor-and-bertscore-9bad7db71170 Sojasingarayar, A. (2024)- BERTScore Erläutert in 5 Minuteshttps://medium.com/@abonia/bertscore-explained-in-5-minutes-0b98553bfb71 SuperAnnotate (2024)- LLM Evaluation Framework Guidehttps://www.superannotate.com/blog/llm-evaluation-guide SuperAnnotate (2024)- Direct Preference Optimization Guidehttps://www.superannotate.com/blog/direct-preference-optimization-dpo Confident AI (2024)- Ultimate LLM Evaluation Guidehttps://www.confident-ai.com/blog/llm-evaluation-metrics-everything-you-need-for-llm-evaluation Confident AI (2025)- LLM Testmethoden und Strategienhttps://www.confident-ai.com/blog/llm-testing-in-2024-top-methods-and-strategies AIMultiple (2025)- Große Sprachmodellbewertung Methodshttps://research.aimultiple.com/large-language-model-evaluation/ Humanloop (2025)- 5 LLM Bewertungswerkzeuge, die Sie wissen solltenhttps://humanloop.com/blog/best-llm-evaluation-tools Datadog (2024)- Aufbau des LLM-Bewertungsrahmens Best Practiceshttps://www.datadoghq.com/blog/llm-evaluation-framework-best-practices/ Labelbox (2024)- Native LLM & Multimodal Support für Hybrid-Bewertunghttps://labelbox.com/blog/labelbox-q1-2024-product-release/ Label Studio (2024)- LLM Bewertungen: Techniken, Herausforderungen und Best Practiceshttps://labelstud.io/blog/llm-evaluations-techniques-challenges-and-best-practices/ Labelvisor (2024)- Integration von Human Feedback Loops in LLM Traininghttps://www.labelvisor.com/integrating-human-feedback-loops-into-llm-training-data/ MIT Press (2024)- Vorurteile und Gerechtigkeit in großen Sprachmodellen Surveyhttps://direct.mit.edu/coli/article/50/3/1097/121961 Internationale Währungsfonds (2024)- Erweiterung des Lernens aus Erfahrung Feedbackhttps://www.elibrary.imf.org/view/journals/001/2024/114/article-A001-en.xml GeeksforGeeks (2024)- Verständnis BLEU und ROUGE Punktzahl für NLP Bewertunghttps://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Analytics Vidhya (2025)- BERTScore: Eine kontextuelle Metrik für LLM Bewertunghttps://www.analyticsvidhya.com/blog/2025/04/bertscore-a-contextual-metric-for-llm-evaluation/ Saturn Cloud (2024)- Auswertung von Maschinenübersetzungsmodellenhttps://saturncloud.io/blog/evaluating-machine-translation-models-traditional-and-novel-approaches/ Turing (2025)- Top LLM Trends 2025: Was ist die Zukunft von LLMshttps://www.turing.com/resources/top-llm-trends 10Pearls (2024)- Finden der richtige LLM für Ihr Unternehmenhttps://10pearls.com/find-the-right-llm-for-your-business/ DEV Community (2025)- Top 5 Open-Source LLM Evaluation Frameworkshttps://dev.to/guybuildingai/-top-5-open-source-llm-evaluation-frameworks-in-2024-98m Olivera, J. (2024)- Gewährleistung der Genauigkeit in AI mit Human-in-the-Loophttps://medium.com/@j.m.olivera08/ensuring-accuracy-in-ai-with-human-in-the-loop-7a4d9143296d **OpenAI – „Training Language Models to Follow Instructions with Human Feedback“ **Dieses Papier präsentiert den InstructGPT-Ansatz, bei dem menschlich erzeugte Rankings das Modell über RLHF finanzieren:Training language models to follow instructions with human feedback (OpenAI, 2022) researchgate.net+7scirp.org+7scirp.org+7qa.time.com+13cdn.openai.com+13youtube.com+13 **Papineni et al. – „BLEU: eine Methode für die automatische Bewertung von Maschinenübersetzungen \ Das seminal 2002 ACL-Papier zur Einführung der BLEU-Metrik:BLEU: eine Methode für die automatische Bewertung von Maschinenübersetzungen (Papineni et al., 2002) medium.com+12aclanthology.org+12en.wikipedia.org+12aclanthology.org **Lin, C.Y. – „ROUGE: A Package for Automatic Evaluation of Summaries“ \ Das ACL-Workshoppapier von 2004 zur Einführung von ROUGE-Metriken: ROUGE: A Package for Automatic Evaluation of Summaries (Lin, 2004) microsoft.com+15aclanthology.org+15bibbase.org+15