К целостной оценке LLM: интеграция обратной связи человека с традиционными показателями

Abstract абстрактный Статья выступает за более всеобъемлющий метод оценки для больших языковых моделей (LLM), сочетая традиционные автоматизированные метрики (BLEU, ROUGE и Perplexity) с структурированной обратной связью человека.В статье подчеркиваются ограничения стандартных методов оценки, подчеркивая критическую роль человеческих оценок в определении контекстной актуальности, точности и этической целесообразности.Через подробные методологии, примеры практической реализации и реальные исследования случаев, статья иллюстрирует, как целостная стратегия оценки может повысить надежность LLM, лучше настроить производительность модели с ожиданиями пользователей и поддержать ответственное развитие ИИ. 1 Introduction 1 Введение Домен приложений искусственного интеллекта претерпел фундаментальную трансформацию из-за Больших языковых моделей (LLM), в том числе GPT-4, Claude, Gemini и других моделей. Широкое использование этих моделей требует полной оценки с помощью комплексных методов оценки. Оценка этих моделей в основном зависит от автоматизированных метрик, которые включают BLEU, ROUGE, METEOR и Perplexity. Исследовательские результаты показывают, что автоматизированные метрики оценки не могут точно предсказать удовлетворенность пользователей и эффективность моделей. Полная рамка оценки требует сочетания человеческой обратной связи с традиционными метриками для оценки. Эта статья демонстрирует полный метод оценки производительности LLM путем объединения количественной метрии с оценкой обратной связи человека. Эта статья исследует 2 Limitations of Traditional Metrics 2 Ограничения традиционных метриков Традиционные показатели служили стандартизированными показателями для более ранних систем НЛП, но они не измеряют семантическую глубину, контекстную целесообразность и творческие возможности, которые определяют современные LLM. BLEU (Bilingual Evaluation Understudy) ( Papineni, Roukos, Ward, & Zhu, 2002) BLEU ROUGE (Recall-Oriented Understudy for Gisting Evaluation) (линия) ROUGE METEOR (Metric for Evaluation of Translation with Explicit Ordering) (Метрика для оценки перевода с явным упорядочением) Перспективность голубой Оценочные метрики предоставляют полезную информацию, но имеют ряд недостатков: Отсутствие контекстного понимания: BLEU и аналогичные метрики измеряют сходство токенов, однако они не оценивают контекстный смысл генерируемого текста. Плохая корреляция с человеческим суждением: Высокие автоматические оценки не обязательно приводят к высокому удовлетворению пользователей в соответствии с человеческим суждением. Нечувствительность к нюансам и творчеству: эти метрики оценки не могут обнаружить нюансы или творческие результаты, которые остаются необходимыми для практических применений. Метрики оценки LLM — BLUE, ROUGE, perplexity, and accuracy — были разработаны для конкретных задач NLP, но не отвечают требованиям современных языковых моделей. Результаты IBM BLEU демонстрируют слабую связь с оценкой человека (0,3-0.4 для творческих задач), а корреляция ROUGE варьируется от 0,4-0,6 на основе сложности задач. Метрики демонстрируют семантическую слепоту, потому что они измеряют перекрытие слов на уровне поверхности вместо обнаружения семантической эквивалентности и действительных парафразов. , (Дхунана, 2023 год) , (Мансуй, 2023 год) Климентбм Оценка модели НЛП Оценка НЛП моделей Зависимость метрики от размера словаря и длины контекста создает ненадежные сравнения между моделями, а ее фокус на вероятности прогнозирования токенов не измеряет качество генерируемого контента (IBM, 2024). Исследования показывают, что модели с более низкими баллами запутанности не автоматически генерируют более полезные или точные или безопасные выходы, объясняя разрыв между целями оптимизации и реальной полезностью (Devansh, 2024). IBM Средний Традиционные методы оценки зависят от идеальных золотых стандартов и единоличных правильных ответов, но они не учитывают субъективный характер задач генерирования языка (Devansh, 2024). BERTScore и BLEURT, хотя они используют нейронные встраивания для захвата семантического значения, все еще испытывают трудности с антонимами, отрицаниями и контекстной тонкостью (Oefelein, 2023) . The study demonstrates that advanced automated metrics fail to measure human language complexity completely. The recent advancements in neural metrics have tried to solve these problems (Bansal, 2025) (Соединённые Штаты Америки, 2024 год) . xCOMET достигает передовых характеристик в различных типах оценки благодаря своим возможностям обнаружения ошибок с тонким зерном. Сжатая версия xCOMET-lite поддерживает качество на 92,1% при использовании только 2,6% оригинальных параметров. Улучшения функционируют в пределах автоматизированных ограничений оценки, которые требуют человеческой обратной связи для полной оценки (Guerreiro, et al., 2024) , (Ларионов, Селезнев, Висков, Панченко и Эгер, 2024) . Средний СатурнCloud Аналитическая Средний С прессой Антология ACL 2.1 Example Limitation: Ожидаемый ответ на вопрос «Опишите ИИ» должен быть следующим: «Симуляция процессов человеческого интеллекта с помощью машин определяет ИИ». LLM генерирует инновационный ответ на вопрос: «Сила ИИ трансформирует машины в мыслящие субъекты, которые учатся и адаптируются аналогично человеческим существам». Традиционные методы оценки дают такой ответ более низкий балл, хотя он имеет большую практическую ценность. 3 The Importance of Human Feedback 3 Значение человеческой обратной связи Человеческая обратная связь соединяется с автоматизированными пробелами в оценке, непосредственно оценивая полезность и ясность, а также креативность и фактическую правильность и безопасность генерируемых выходов. Контекстуальное понимание: люди оценивают, имеют ли ответы логический смысл в данных контекстах. Практическая актуальность: непосредственно оценивает удовлетворенность пользователей. Этическое согласование: оценивает этические последствия, предрассудки и целесообразность генерируемых результатов. Оценка обратной связи человека требует оценки результатов на основе критериев качественной оценки. Metric Description Accuracy Is the provided information correct? Relevance Does the output align with user intent? Clarity Is the information communicated clearly? Safety & Ethics Does it avoid biased or inappropriate responses? Точность Правильна ли предоставленная информация? Релевантность Соответствует ли результат намерению пользователя? ясность Ясно ли передается информация? Безопасность и этика Избегает ли он предвзятых или неадекватных ответов? 4 Integrating Human Feedback with Traditional Metrics 4 Интеграция обратной связи человека с традиционными метриками Сочетание автоматизированной оценки с обратной связью человека в недавних исследованиях показывает выравнивание предпочтений на 85-90%, в то время как традиционные показатели достигают только 40-60% соответственно (Pathak, 2024). , который трансформирует наши нынешние методы оценки производительности ИИ. Новый подход демонстрирует, как LLM нуждаются в рамках оценки, которые оценивают точность наряду с согласованностью и безопасностью и справедливостью и выравниванием человеческих ценностей. Эффективная оценка композитов LLM требует сочетания автоматических методов с субъективными аннотациями. Можно предусмотреть сильное решение, как показано на рисунке1 Красная шляпа Переход от автоматизированной оценки к интегрированным человеком подходам выходит за рамки методологического усовершенствования, потому что он решает существенные вопросы в нашем нынешнем понимании производительности ИИ. Появление усилительного обучения с помощью обратной связи человека (RLHF) и конституционные рамки ИИ и предпочтения обучения представляют собой новые методологии оценки, которые фокусируются на человеческих ценностях и реальной применимости вместо узких показателей производительности (Dupont, 2025). , (Аташбар, 2024 год) , (Хуйен, 2023 год) . ЛАБЛЕВИЗОР Международный валютный фонд eLibrary РЛХФ RLHF достигает выдающейся эффективности благодаря обучению моделей параметров 1.3B с обратной связью человека, которая превосходит базовые модели параметров 175B, оптимизируя при этом выравнивание, чтобы достичь эффективности параметров в 100 раз (Lambert, Castricato, Werra, & Havrilla, 2022) Система функционирует через три последовательных этапа, которые включают в себя контролируемое тонкое регулирование, за которым следует обучение модели вознаграждения от предпочтений человека и оптимизация обучения путем усиления через proximal policy optimization (PPO) (Dupont, 2025). , (Хуйен, 2023 год) . Обнимать лицо ЛАБЛЕВИЗОР РЛХФ Методология работает эффективно, потому что она обнаруживает тонкие человеческие предпочтения, которые стандартные метрики не могут обнаружить. Человеческая оценка демонстрирует, что модели, ориентированные на RLHF, получают 85%+ рейтингов предпочтений над базовыми моделями, показывая при этом значительные улучшения в полезности и безобидности и честности. Процесс обучения модели вознаграждений использует пары предпочтений человека 10K-100K для разработки масштабируемых предсказателей предпочтений, которые направляют поведение модели, не требуя человеческой оценки для каждого выхода (Lambert, Castricato, Werra, & Havrilla, 2022) . Обнимать лицо Внедрение систем HITL устанавливает динамические рамки оценки через человеческое суждение, которое направляет автоматизированные процессы. Эти системы достигают 15-25% улучшения в специфической для задач производительности при снижении рисков безопасности на 95%+, работая через интеллектуальный маршрутизатор задач, который эскалирует неопределенные или потенциально вредные результаты для человеческих рецензентов. Метод демонстрирует свои лучшие результаты в специализированных областях юридического осмотра и медицинской диагностики, потому что предварительный скрининг ИИ с последующей экспертной валидацией производит эффективные и строгие трубопроводы оценки. (Greyling, 2023) , (SuperAnnotate, 2025 год) , (Оливера 2024 год) Средний Супернотаты Средний ) 4.1 Practical Implementation (With Code Example Базовая рамка для интеграции обратной связи человека с автоматизированной метрикой может быть реализована с помощью кода Python. Step 1: Automated Metrics Calculation. from nltk.translate.bleu_score import sentence_bleu from rouge import Rouge reference = "AI simulates human intelligence in machines." candidate = "AI brings intelligence to machines, allowing them to act like humans." #Calculate BLEU Score bleu_score = sentence_bleu([reference.split()], candidate.split()) #Calculate ROUGE Score rouge = Rouge() rouge_scores = rouge.get_scores(candidate, reference) print("BLEU Score:", bleu_score) print("ROUGE Scores:", rouge_scores) Output for above 1.1896е-231 (≈ 0) BLEU Score: Rouge Score : [ { "rouge-1": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 }, "rouge-2": { "r": 0.0, "p": 0.0, "f": 0.0 }, "rouge-l": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 } } ] Эти результаты подчеркивают: Хрупкость BLEU: почти нулевая из-за несовместимости 4 граммов, что означает очень плохое на каждом измерении. ROUGE-1 и ROUGE-L улавливают базовое перекрытие (униграммы / LCS), но ROUGE-2 равен нулю, так как не существует соответствующих биграм. Step 2: Integrating Human Feedback Предположим, что у нас есть человеческие оценщики, набравшие одинаковый результат кандидата: #Human Feedback (Collected from Survey or Annotation) human_feedback = { 'accuracy': 0.9, 'relevance': 0.95, 'clarity': 0.9, 'safety': 1.0 } #Aggregate human score (weighted average) def aggregate_human_score(feedback): weights = {'accuracy':0.3, 'relevance':0.3, 'clarity':0.2, 'safety':0.2} score = sum(feedback[k]*weights[k] for k in feedback) return score human_score = aggregate_human_score(human_feedback) print("Aggregated Human Score:", human_score) Out for above 0 0 935 Aggregated Human Score Совокупный человеческий результат от Это означает, что ваш выпуск LLM получает чрезвычайно высокие рейтинги от реальных людей, что превышает типичные «хорошие» пороги и делает его подходящим для большинства практических приложений или публикаций только с незначительными корректировками для почти идеального выравнивания. 0.935 Step 3: Holistic Aggregation Сочетание автоматических и человеческих баллов: #Holistic Score Calculation def holistic_score(bleu, rouge, human): automated_avg = (bleu + rouge['rouge-l']['f']) / 2 holistic = 0.6 * human + 0.4 * automated_avg return holistic holistic_evaluation = holistic_score(bleu_score, rouge_scores[0], human_score) print("Holistic LLM Score:", holistic_evaluation) Output for above 0.6109999990625 Holistic LLM Score: отражает взвешенную смесь из: Holistic LLM Score of 0.6109999990625 Автоматические метрики (BLEU & ROUGE-L Average) 40% веса Совокупный человеческий балл — 60 % веса Оценка ~ 0,611 требует объяснения вместе с руководством о том, как поступать. 4.1.1. How the Score Was Computed Человеческий балл (0,935) имел вес 60% что означает, что он внес 0,561 в конечный балл. Автоматизированный средний балл был рассчитан, принимая средний балл BLEU ≈ 0 и ROUGE L F1 ≈ 0.2478 что равняется 0.1239 и этот балл имел вес 40% что означает, что он внес 0.0496 в конечный балл. Общий балл составил примерно 0,6109999 при округлении до 0,6106. 4.1.2. Interpreting 0.611 on a 0–1 Scale Уровень производительности будет считаться «плохим», если балл опустится ниже 0,5. Модель получает высокие человеческие рейтинги, но жесткие лексические показатели оценивают ее в нижнем конце диапазона, когда балл падает между 0,5 и 0,7. Большинство приложений считают баллы выше 0,8 «сильно приемлемыми». Вы находитесь в умеренном диапазоне. The score of 0.611 Выход получил высокую похвалу от человеческих оценщиков в отношении точности и актуальности, а также ясности и безопасности. Автоматизированные метрики сильно наказывали вывод, потому что он имел низкое точное перекрытие n-грамм. 4.1.3. Why the Hybrid Score Is Lower Than the Human Score Автоматизированный компонент получает балл 0 потому, что BLEU не имеет 4-граммового перекрытия. Оценка ROUGE-L F1 0,2478 также довольно низкая по той же причине. Человеческий рейтинг 0,935 не препятствует автоматическому 40%-му кусочку снизить общий балл примерно до 0,61. 4.1.4. Practical Takeaways Trust the Human Rating First The human score indicates the content quality within its specific context. Your current focus on user satisfaction indicates you are already meeting your goals. Decide Your Threshold Your automated metrics require improvement even though your production readiness threshold . is ≥ 0.7 Your automated tasks are ready for deployment when their scores reach or higher regardless of their nature. 0.6 Improve Automated Scores Reuse more of the reference phrasing or add synonyms that match it. Lexical overlap: For BLEU, try smoothing functions (e.g., SmoothingFunction.method1) to avoid zero scores. o Semantic metrics: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Smoothing: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Semantic metrics: Adjust Weighting (if appropriate) You could reduce the automated weight (e.g., 30 % auto / 70 % human) if you trust human feedback more for your use case. 5 Recent research advances holistic evaluation frameworks 5 Недавние исследования продвигают целостные рамки оценки В течение 2023-2025 исследователи разработали полные рамки оценки для LLM, которые касались сложных аспектов производительности языковых моделей. holistic Evaluation of Language Models (HELM) рамка достигла улучшения охвата на 96% по сравнению с предыдущими оценками, поскольку исследователи Стэнфорда оценили 30+ выдающихся моделей по 42 сценариям и 7 ключевым показателям, включая точность, калибровку, прочность, справедливость, предвзятость, токсичность и эффективность. . Стэнфорд Система оценки Prometheus и ее преемник Prometheus 2 представляют собой значительные достижения в технологии оценки с открытым исходным кодом. Prometheus 2 демонстрирует корреляцию Pearson 0,6-0,7 с GPT-4 и согласие 72-85% с человеческими суждениями, что позволяет как непосредственную оценку, так и ранжирование в паре. Рамка предлагает доступные собственные альтернативы системы оценки со стандартами производительности, которые соответствуют ведущим коммерческим решениям (Kim, et al., 2023) , (Лианг и др. в 2025 году) , (Волк в 2024 году) . Корнелл OpenReview Субстак Рамка G-Eval реализует цепное мышление для оценки процессов с помощью парадигм заполнения форм для специфических для задачи метрик. Рамка обеспечивает лучшие показатели человеческого выравнивания, чем традиционные метрики согласно Confident AI, потому что оценка на основе прозрачного рассуждения раскрывает сложные аспекты генерирования языка, которые автоматизированные метрики не могут обнаружить. , (Ип, 2025 год) Разработка методов оценки, специфических для домена, демонстрирует, как эксперты теперь понимают, что инструменты оценки общего назначения не могут правильно измерить специализированные приложения. FinBen предоставляет 36 наборов данных, охватывающих 7 финансовых областей и агрегирует ориентиры, ориентированные на здравоохранение, чтобы позволить точную оценку возможностей, специфических для домена. , Джейн, 2025 год . Субстак Уверенный AI Корнелл Средний Базисный показатель MMLU-Pro обращается к 57-процентному уровню ошибок, обнаруженному в оригинальном базисном показателе MMLU через экспертную валидацию и повышенную сложность от 10-выборных вопросов. 6 Случай реального использования: 6.1 ChatGPT Evaluation OpenAI использует Reinforcement Learning from Human Feedback (RLHF) для улучшения моделей GPT. Человеческие оценщики оценивают выходы моделей и баллы, которые они предоставляют, используются для обучения модели вознаграждения. Сочетание этих методов привело к 40% улучшению фактической точности по сравнению с GPT-3.5, практической пригодностью и ответами на модели, которые соответствуют ожиданиям человека, что приводит к гораздо лучшему пользовательскому опыту, чем только автоматизированная оценка. . Открыть 6.2 Microsoft's Azure AI Studio Azure AI Studio от Microsoft интегрирует инструменты оценки непосредственно в свою облачную инфраструктуру, что позволяет пользователям тестировать приложения в автономном режиме перед развертыванием и контролировать их онлайн во время производства.Платформа использует гибридный метод оценки, который связывает автоматизированные оценщики с валидацией человека в цепи, чтобы помочь компаниям сохранить стандарты качества во время масштабирования приложений.Система Prompt Flow от их компании позволяет пользователям оценивать сложные современные приложения ИИ через многоступенчатую оценку рабочего процесса (Dilmegani, 2025). . Цель мультипликации 6.3 Google's Vertex AI Система оценки Vertex AI от Google демонстрирует развитие мультимодальной оценки, которая оценивает производительность в текстах, изображениях и аудиомодалях. Их методология иглоукалывания для оценки долгого контекста стала отраслевым стандартом, что позволяет масштабировать оценку способности моделей получать и использовать информацию из обширных контекстов. . Цель мультипликации 6.4 Other Case studies Коммерческий ландшафт оценки значительно расширился, с такими платформами, как Humanloop, LangSmith и Braintrust, которые предлагают решения для оценки от конечного до конечного. Эти платформы, как правило, обеспечивают 60-80% снижение затрат по сравнению с разработкой индивидуальной оценки, предоставляя предварительно разработанные показатели, рабочие процессы аннотации человека и возможности мониторинга производства. , (Labelbox, 2024 год) Исследование Mount Sinai показало 17-кратное снижение затрат на API посредством группировки задач, одновременно обрабатывая до 50 клинических задач без потери точности. . Доверились ЛАБЛЕБОКС девсообщество Технический прогресс Direct Preference Optimization (DPO) устраняет требование к обучению модели явного вознаграждения. Подход к классификации DPO превращает RLHF в задачу классификации, которая приводит к ускорению тренировок в 2-3 раза без ущерба для качественных баллов. Система DPO достигает показателей 7,5/10 на MT-Bench, в то время как RLHF достигает показателей 7,3/10 и достигает 85% выигрыша на AlpacaEval по сравнению с 82% для традиционных RLHF при сокращении времени обучения с 36 часов до 12 часов для эквивалентной производительности (SuperAnnotate, 2024). , Верра, 2024 год , (Волк в 2024 году) . Супернотаты Ушиб лицевой Субстак 7 Alternative Approach: 7 Альтернативные подходы: Конституционный ИИ, разработанный Anthropic, предлагает альтернативный подход, который снижает требования к аннотации человека на 80-90% при сохранении сопоставимой производительности.Рамка использует обратную связь ИИ, а не человеческие этикетки через двухфазный процесс: контролируемое обучение с самокритикой и пересмотром, за которым следует усиление обучения с помощью обратной связи ИИ (RLAIF).Этот подход достигает 90%+ уменьшения вредных выходов при сохранении 95%+ выполнения задач, демонстрируя, что системы ИИ могут научиться соответствовать человеческим ценностям посредством структурированного самосовершенствования (Anthropic, 2022) . антропологический 8 Challenges and Future Directions 8 Вызовы и будущие направления 8.1 Challenges: Скалируемость: Процесс сбора большого количества обратной связи человека оказывается как дорогостоящим, так и длительным. Расходы на оценку человека варьируются от $50 до $200 в час для экспертных рецензентов, что делает обширную оценку недоступной для многих организаций. Процесс качественной оценки человека зависит от компетентности домена и последовательного обучения и постоянной калибровки, что увеличивает сложность и стоимость процессов оценки. Соглашение между различными анотаторами показывает широкую вариацию, потому что сложность задач влияет на их коэффициенты корреляции, которые варьируются от 0,4 до 0,8 (10Pearls, nd.) 10Pearls, (Dilmegani, 2025) AIMultiple. Предрассудки и изменчивость: Человеческие оценщики приносят как непоследовательные результаты, так и личные предрассудки к процессу оценки. Исследования показывают, что 91% LLM учатся из веб-скрепированных данных, которые содержат недостаточное представительство женщин в 41% профессиональных контекстов, и эти предрассудки продолжают распространяться через системы оценки. Методология оценки создает предрассудки через эффекты порядка и предпочтения длины и демографические предположения и культурные перспективы, которые нуждаются в систематических стратегиях смягчения, что многим организациям не хватает необходимых ресурсов для эффективной реализации (Rossi et al., 2024) MITPress, (Barrow et al., 2023) Корнель. Отсутствие фундаментальной истины в открытом поколении: отсутствие фундаментальной истины для задач открытого поколения делает «правильность» по своей сути субъективной и контекстной, создавая сценарии оценки, где существуют несколько действительных ответов без четких критериев ранжирования. Вызовы, связанные с интеграцией автоматизированной и человеческой оценки: Организации должны проводить обширную калибровку, чтобы определить соответствующие пороги для вызывающих человеческий обзор автоматизированных систем, в то время как им нужны установленные протоколы для решения конфликтов между результатами автоматизированной и человеческой оценки. 9 Future Directions: 9 Будущие направления: Внедрение методов активного обучения поможет снизить требование к оценке человека. Использование вторичных моделей ИИ, обученных данным обратной связи человека, позволяет автоматизировать качественные оценки, имитирующие оценки человека. Будущее методологии оценки будет зависеть от контекстно-чувствительных методов, которые модифицируют критерии оценки в соответствии с требованиями к задачам и потребностями пользователей и областями применения. Разработка унифицированных подходов к оценке, которые могут оценивать кросс-модальную последовательность и согласованность, станет все более важным, поскольку LLM интегрируются с другими системами ИИ для создания более способных и универсальных приложений. Рамки оценки Agentic должны оценивать как качество реагирования, так и процессы принятия решений, а также последствия безопасности и соответствие намеченным целям (Andrenacci, 2025) Medium, (Chaudhary, 2025) Turing. Системы оценки в режиме реального времени должны поддерживать как тщательные возможности оценки, так и эффективную вычислительную производительность. 10 Conclusion 10 Заключение Оценка LLM посредством интеграции человеческой обратной связи с автоматизированной метрикой создает полный метод оценки эффективности модели. Сочетание традиционной метрики с человеческим суждением о качестве дает лучшие результаты для реальных приложений и этического соответствия и удовлетворенности пользователей. Имплементация целостных методов оценки будет производить более точные и этические решения ИИ, которые будут управлять будущим прогрессом. Многочисленные методологии оценки должны использоваться в успешных рамках оценки для достижения баланса между автоматизированной эффективностью и суждением человека рецензента. Организации, которые внедряют комплексные стратегии оценки, сообщают о существенном улучшении безопасности, производительности и оперативной эффективности, демонстрируя практическую ценность инвестиций в надежные возможности оценки. 11 References 11 Ссылки Ким, С. и др. (2023)- Prometheus: Финозернированный Оценка Способностьhttps://arxiv.org/abs/2310.08491 Рей, Р. и др. (2024)- xCOMET-lite: Эффективность и баланс качестваhttps://aclanthology.org/2024.emnlp-main.1223/ Антропогенный (2023)- Клойд'с Конституцияhttps://www.anthropic.com/news/claudes-constitution Антропогенный (2022)- Конституционный ИИ Researchhttps://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback Магазин Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Магазины Хьюэн, С. (2023)- RLHF: Укрепление обучения от человеческого обратной связиhttps://huyenchip.com/2023/05/02/rlhf.html IBM (2024)- Руководство по оценке LLMhttps://www.ibm.com/think/insights/llm-evaluation Microsoft (2024)- Оценка метрики Документацияhttps://learn.microsoft.com/en-us/ai/playbook/technology-guidance/generative-ai/working-with-llms/evaluation/list-of-eval-metrics - Evaluating LLM Performance Red Hat (2024) https://next.redhat.com/2024/05/16/evaluating-the-performance-of-large-language-models/ Стэнфорд CRFM (2022)- HELM Frameworkhttps://crfm.stanford.edu/helm/ Вольф, С. Р. (2024)- Использование LLMs для оценкиhttps://cameronrwolfe.substack.com/p/llm-as-a-judge Andrenacci, G. (2025)- 18 AI Тренды LLM в 2025https://medium.com/data-bistrot/15-artificial-intelligence-llm-trends-in-2024-618a058c9fdf Грейлинг, С. (2024)- Human-in-the-Loop LLM Agentshttps://cobusgreyling.medium.com/human-in-the-loop-llm-agents-e0a046c1ec26 Mansuy, R. (2024)- Комплексное руководство по оценке НЛП Metricshttps://medium.com/@raphael.mansuy/evaluating-the-performance-of-natural-language-processing-nlp-models-can-be-challenging-ce6f62c07c35 Дунгана, К. (2024)- Понимание BLEU, ROUGE, METEOR, и BERTScorehttps://medium.com/@kbdhunga/nlp-model-evaluation-understanding-bleu-rouge-meteor-and-bertscore-9bad7db71170 Sojasingarayar, A. (2024)- BERTScore Объяснилось за 5 минутps://medium.com/@abonia/bertscore-explained-in-5-minutes-0b98553bfb71 SuperAnnotate (2024)- Руководство по оценке LLMhttps://www.superannotate.com/blog/llm-evaluation-guide SuperAnnotate (2024)- Руководство по оптимизации прямых предпочтенийhttps://www.superannotate.com/blog/direct-preference-optimization-dpo Уверенный AI (2024) - Руководство по оценке последних LLMhttps://www.confident-ai.com/blog/llm-evaluation-metrics-everything-you-need-for-llm-evaluation Confident AI (2025)- Методы и стратегии тестирования LLMhttps://www.confident-ai.com/blog/llm-testing-in-2024-top-methods-and-strategies AIMultiple (2025)- Метод оценки модели большого языка://research.aimultiple.com/large-language-model-evaluation/ Humanloop (2025)- 5 инструментов для оценки LLM, которые вы должны знатьhttps://humanloop.com/blog/best-llm-evaluation-tools Datadog (2024) - Создание рамок оценки LLM Best Practiceshttps://www.datadoghq.com/blog/llm-evaluation-framework-best-practices/ Labelbox (2024) - Народное LLM и мультимодальная поддержка для гибридной оценкиhttps://labelbox.com/blog/labelbox-q1-2024-product-release/ Label Studio (2024)- Оценки LLM: Техники, вызовы и лучшие практики://labelstud.io/blog/llm-evaluations-techniques-challenges-and-best-practices/ Labelvisor (2024)- Интеграция человеческих откликов в LLM Traininghttps://www.labelvisor.com/integrating-human-feedback-loops-into-llm-training-data/ MIT Press (2024) - Пристрастие и справедливость в больших языковых моделях Surveyhttps://direct.mit.edu/coli/article/50/3/1097/121961 Международный валютный фонд (2024)- Укрепление обучения от опыта Feedbackhttps://www.elibrary.imf.org/view/journals/001/2024/114/article-A001-en.xml GeeksforGeeks (2024)- Понимание BLEU и ROUGE Оценка для NLP Оценкаhttps://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Analytics Vidhya (2025)- BERTScore: Контекстуальная метрика для LLM Оценкаhttps://www.analyticsvidhya.com/blog/2025/04/bertscore-a-contextual-metric-for-llm-evaluation/ Сатурн Облако (2024) - Модели машинного перевода HTTPS://saturncloud.io/blog/evaluating-machine-translation-models-traditional-and-novel-approaches/ Тьюринг (2025)- Топ Тренды LLM 2025: Что такое будущее LLMshttps://www.turing.com/resources/top-llm-trends 10Pearls (2024)- Найти правильный LLM для вашего бизнесаhttps://10pearls.com/find-the-right-llm-for-your-business/ DEV сообщество (2025)- Топ 5 Открытый исходный код LLM Оценка Frameworkshttps://dev.to/guybuildingai/-top-5-open-source-llm-evaluation-frameworks-in-2024-98m Olivera, J. (2024)- Обеспечение Точности в ИИ с Human-in-the-Loophttps://medium.com/@j.m.olivera08/ensuring-accuracy-in-ai-with-human-in-the-loop-7a4d9143296d **OpenAI – «Обучение языковым моделям, чтобы следовать инструкциям с обратной связью человека»**В этой статье представлен подход InstructGPT, где человеческие рейтинги направляют модели через RLHF:Обучение языковым моделям, чтобы следовать инструкциям с обратной связью человека (OpenAI, 2022) researchgate.net+7scirp.org+7scirp.org+7qa.time.com+13cdn.openai.com+13youtube.com+13 **Papineni et al. – “BLEU: a Method for Automatic Evaluation of Machine Translation” (BLEU: метод автоматической оценки машинного перевода) medium.com+12aclanthology.org+12en.wikipedia.org+12aclanthology.org **Lin, C.Y. – “ROUGE: A Package for Automatic Evaluation of Summaries” \ Рабочий документ ACL 2004 года, вводящий метрику ROUGE: ROUGE: A Package for Automatic Evaluation of Summaries (Lin, 2004) microsoft.com+15aclanthology.org+15bibbase.org+15