Verso la valutazione olistica dei LLM: integrare il feedback umano con le metriche tradizionali

Abstract astratto L'articolo sostiene un metodo di valutazione più completo per i grandi modelli linguistici (LLM) combinando le tradizionali metriche automatizzate (BLEU, ROUGE e Perplexity) con il feedback umano strutturato. sottolinea le limitazioni delle tecniche di valutazione standard sottolineando il ruolo critico delle valutazioni umane nel determinare la rilevanza contestuale, l'accuratezza e l'adeguatezza etica. Attraverso metodologie dettagliate, esempi di implementazione pratica e studi di caso del mondo reale, l'articolo illustra come una strategia di valutazione olistica possa migliorare l'affidabilità del LLM, allineare meglio le prestazioni del modello alle aspettative degli utenti e sostenere lo sviluppo responsabile dell'IA. 1 Introduction 1 Introduzione Il dominio delle applicazioni di intelligenza artificiale ha subito una trasformazione fondamentale a causa dei grandi modelli linguistici (LLM), tra cui GPT-4, Claude, Gemini e altri modelli. L'uso esteso di questi modelli richiede una valutazione completa attraverso metodi di valutazione completi. La valutazione di questi modelli dipende principalmente dalle metriche automatizzate, che includono BLEU, ROUGE, METEOR e Perplexity. I risultati della ricerca dimostrano che le metriche di valutazione automatizzate non prevedono accuratamente la soddisfazione degli utenti e l'efficacia dei modelli. Un quadro di valutazione completo richiede la combinazione di feedback umano con metriche tradizionali per la valutazione. Questo documento dimostra un metodo completo per valutare le prestazioni del LLM unendo metriche quantitative con 2 Limitations of Traditional Metrics 2 Limitazioni delle metriche tradizionali Le metriche tradizionali hanno servito come valori di riferimento standardizzati per i sistemi NLP precedenti, ma non misurano la profondità semantica, l'adeguatezza contestuale e le capacità creative che definiscono i LLM moderni. BLEU (Bilingual Evaluation Understudy) ( Papineni, Roukos, Ward, & Zhu, 2002) BLEU ROUGE (Recall-Oriented Understudy for Gisting Evaluation) (Lin) ROUGE METEOR (Metrica per la valutazione della traduzione con ordine esplicito) Perplessità blu Le metriche di valutazione forniscono informazioni utili, ma hanno diversi svantaggi: Mancanza di comprensione contestuale: BLEU e metriche simili misurano la somiglianza dei token, ma non riescono a valutare il significato contestuale del testo generato. Correlazione scarsa con il giudizio umano: i punteggi elevati automatizzati non portano necessariamente ad un'elevata soddisfazione dell'utente secondo il giudizio umano. Insensibilità alle sfumature e alla creatività: queste metriche di valutazione non riescono a rilevare le uscite sfumate o creative, che rimangono essenziali per le applicazioni pratiche. Le metriche di valutazione del LLM – BLUE, ROUGE, perplexity e accuratezza – sono state sviluppate per attività NLP specifiche, ma non soddisfano i requisiti dei modelli linguistici contemporanei. I punteggi IBM BLEU dimostrano una debole relazione con la valutazione umana (0,3-0.4 per le attività creative), e la correlazione ROUGE varia da 0,4-0,6 in base alla complessità delle attività. Le metriche dimostrano la cecità semantica perché misurano la sovrapposizione delle parole a livello superficiale invece di rilevare l'equivalenza semantica e le parafrasi valide (Clement, 2021) , (Dungana , 2023 ) , (Mansuy , 2023 ) di Clementbm Valutazione del modello NLP Valutazione dei modelli NLP La dipendenza della metrica dalla dimensione del vocabolario e dalla lunghezza del contesto crea confronti tra modelli inaffidabili e il suo focus sulla probabilità di previsione dei token non misura la qualità del contenuto generato (IBM, 2024). Gli studi dimostrano che i modelli con punteggi di confusione più bassi non generano automaticamente outputs più utili o accurati o sicuri, spiegando il divario tra gli obiettivi di ottimizzazione e l'utilità del mondo reale (Devansh, 2024). di IBM Medium Il sistema di valutazione ha molteplici limitazioni che influenzano sia le singole metriche che le ipotesi di base sulla valutazione.I metodi tradizionali di valutazione dipendono dagli standard d'oro perfetti e dalle singole risposte corrette, ma non tengono conto della natura soggettiva dei compiti di generazione del linguaggio (Devansh, 2024). BERTScore e BLEURT, sebbene usino incorporazioni neurali per catturare significati semantici, hanno ancora difficoltà con antonimi, negazioni e sottilezze contestuali (Oefelein, 2023) Lo studio dimostra che le metriche automatizzate avanzate non riescono a misurare completamente la complessità del linguaggio umano.I recenti progressi nella metrica neurale hanno cercato di risolvere questi problemi (Bansal, 2025). (Soddisfazione nel 2024) . xCOMET raggiunge prestazioni all'avanguardia su più tipi di valutazione con le sue capacità di rilevamento degli errori a grano fine. La versione compressa xCOMET-lite mantiene la qualità del 92,1% mentre utilizza solo il 2,6% dei parametri originali. I miglioramenti funzionano all'interno dei limiti di valutazione automatizzata che richiedono un feedback umano per la valutazione completa (Guerreiro, et al., 2024) , (Larionov, Seleznyov, Viskov, Panchenko e Eger, 2024) . Medium Saturno nuvola Analisi di Medium La mia stampa L'antologia di ACL 2.1 Example Limitation: La risposta attesa alla domanda "Descrive AI" dovrebbe essere: “La simulazione dei processi di intelligenza umana attraverso le macchine definisce l’IA”. Il LLM genera una risposta innovativa alla domanda: “Il potere dell’IA trasforma le macchine in entità di pensiero che imparano e si adattano in modo simile agli esseri umani”. I metodi tradizionali di valutazione darebbero a questa risposta un punteggio inferiore anche se ha un valore pratico maggiore. 3 The Importance of Human Feedback 3 L’importanza del feedback umano Il feedback umano si collega alle lacune di valutazione automatizzate valutando direttamente l'utilità e la chiarezza e la creatività e la correttezza fattuale e la sicurezza delle uscite generate. Comprensione contestuale: gli esseri umani valutano se le risposte hanno senso logico in determinati contesti. Rilevanza pratica: valuta direttamente la soddisfazione dell'utente. Allineamento etico: valuta le implicazioni etiche, i pregiudizi e l'adeguatezza delle uscite generate. La valutazione del feedback umano richiede il punteggio dei risultati sulla base di criteri di valutazione qualitativa. Metric Description Accuracy Is the provided information correct? Relevance Does the output align with user intent? Clarity Is the information communicated clearly? Safety & Ethics Does it avoid biased or inappropriate responses? Precisione Le informazioni fornite sono corrette? rilevanza L’output è in linea con l’intenzione dell’utente? chiarezza Le informazioni sono comunicate in modo chiaro? Sicurezza e etica Evita risposte pregiudiziali o inappropriate? 4 Integrating Human Feedback with Traditional Metrics 4 Integrazione del feedback umano con le metriche tradizionali La combinazione della valutazione automatizzata con il feedback umano nelle ricerche recenti mostra l'allineamento delle preferenze all'85-90%, mentre le metriche tradizionali da sole raggiungono solo il 40-60% (Pathak, 2024) , che trasforma i nostri metodi attuali di valutazione delle prestazioni dell'IA. Il nuovo approccio dimostra come i LLM hanno bisogno di quadri di valutazione che valutino l'accuratezza insieme alla coerenza e alla sicurezza e all'equità e allineamento del valore umano. La valutazione efficace dei compositi LLM richiede la combinazione di tecniche automatiche con annotazioni soggettive. Si può prevedere una soluzione forte come illustrato nella Figura1 Il Red Hat Il passaggio dalla valutazione automatizzata agli approcci integrati dall'uomo va oltre il miglioramento metodologico perché affronta questioni essenziali nella nostra attuale comprensione delle prestazioni dell'IA. L'emergere dell'apprendimento di rinforzo dal feedback umano (RLHF) e dei quadri di apprendimento costituzionali dell'IA e delle preferenze rappresentano nuove metodologie di valutazione che si concentrano sui valori umani e sull'applicabilità nel mondo reale invece di metriche di prestazione ristrette (Dupont, 2025). , (Atashbar nel 2024) , (Huyen , 2023 ) . Labelvisore Fondo Monetario Internazionale eLibrary Il RLHF RLHF achieves outstanding efficiency through its training of 1.3B parameter models with human feedback which surpasses 175B parameter baseline models while optimizing alignment to reach 100x parameter efficiency (Lambert, Castricato, Werra, & Havrilla, 2022) Il sistema funziona attraverso tre fasi sequenziali che includono il fine-tuning supervisionato seguito dalla formazione del modello di ricompensa dalle preferenze umane e l'ottimizzazione dell'apprendimento di rinforzo attraverso l'ottimizzazione delle politiche proximali (PPO) (Dupont, 2025). , (Huyen , 2023 ) . Il volto abbracciato Labelvisore Il RLHF La metodologia funziona efficacemente perché rileva le preferenze umane sottili che le metriche standard non riescono a rilevare. La valutazione umana dimostra che i modelli allineati al RLHF ricevono una valutazione di preferenza dell'85% + rispetto ai modelli di base, mostrando miglioramenti significativi nell'utilità e nell'innocenza e nell'onestà. Il processo di formazione del modello di ricompensa utilizza 10K-100K coppie di preferenze umane per sviluppare predittori di preferenze scalabili che guidano il comportamento del modello senza richiedere una valutazione umana per ogni uscita (Lambert, Castricato, Werra, & Havrilla, 2022) . Il volto abbracciato L'implementazione di sistemi HITL (Human-in-the-loop) stabilisce quadri di valutazione dinamici attraverso il giudizio umano che dirige i processi automatizzati. Questi sistemi registrano un miglioramento del 15-25% delle prestazioni specifiche delle attività, riducendo i rischi per la sicurezza del 95%+, operando attraverso il routing intelligente delle attività che aumenta le uscite incerte o potenzialmente dannose per gli esaminatori umani. Il metodo dimostra i suoi migliori risultati nei settori specializzati di revisione legale e diagnosi medica perché l'intelligenza artificiale, seguita da una convalida esperta, produce pipeline di valutazione efficienti e rigorose. (Greyling, 2023) , (SuperAnnotazione, 2025) , (Olivera nel 2024) Medium Supernotato Medium ) 4.1 Practical Implementation (With Code Example Un quadro di base per l'integrazione del feedback umano con le metriche automatizzate può essere implementato attraverso il codice Python. Step 1: Automated Metrics Calculation. from nltk.translate.bleu_score import sentence_bleu from rouge import Rouge reference = "AI simulates human intelligence in machines." candidate = "AI brings intelligence to machines, allowing them to act like humans." #Calculate BLEU Score bleu_score = sentence_bleu([reference.split()], candidate.split()) #Calculate ROUGE Score rouge = Rouge() rouge_scores = rouge.get_scores(candidate, reference) print("BLEU Score:", bleu_score) print("ROUGE Scores:", rouge_scores) Output for above 1.1896e-231 (≈ 0) BLEU Score: Rouge Score : [ { "rouge-1": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 }, "rouge-2": { "r": 0.0, "p": 0.0, "f": 0.0 }, "rouge-l": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 } } ] Questi risultati evidenziano: La fragilità di BLEU: quasi zero a causa di non corrispondenti 4 grammi, il che significa molto povero in tutte le dimensioni. ROUGE-1 e ROUGE-L catturano la sovrapposizione di base (unigrammi / LCS), ma ROUGE-2 è zero poiché non ci sono bigrammi corrispondenti. Step 2: Integrating Human Feedback Supponiamo di avere valutatori umani che segnano la stessa uscita del candidato: #Human Feedback (Collected from Survey or Annotation) human_feedback = { 'accuracy': 0.9, 'relevance': 0.95, 'clarity': 0.9, 'safety': 1.0 } #Aggregate human score (weighted average) def aggregate_human_score(feedback): weights = {'accuracy':0.3, 'relevance':0.3, 'clarity':0.2, 'safety':0.2} score = sum(feedback[k]*weights[k] for k in feedback) return score human_score = aggregate_human_score(human_feedback) print("Aggregated Human Score:", human_score) Out for above di 0,935 Aggregated Human Score Il punteggio umano aggregato di Indica che la tua uscita LLM riceve valutazioni estremamente alte da persone reali che superano le tipiche soglie "buone" e la rendono adatta per la maggior parte delle applicazioni pratiche o pubblicazioni con solo piccoli aggiustamenti per un allineamento quasi perfetto. 0.935 Step 3: Holistic Aggregation Combinare punteggi automatici e umani: #Holistic Score Calculation def holistic_score(bleu, rouge, human): automated_avg = (bleu + rouge['rouge-l']['f']) / 2 holistic = 0.6 * human + 0.4 * automated_avg return holistic holistic_evaluation = holistic_score(bleu_score, rouge_scores[0], human_score) print("Holistic LLM Score:", holistic_evaluation) Output for above 0.6109999990625 Holistic LLM Score: Si tratta di una miscela ponderata di: Holistic LLM Score of 0.6109999990625 Metrica automatizzata (media BLUE & ROUGE-L) 40% di peso Un punteggio di ~ 0,611 richiede una spiegazione e una guida su come procedere. 4.1.1. How the Score Was Computed Il punteggio umano (0,935) aveva un peso del 60%, il che significa che ha contribuito a 0,561 al punteggio finale. Il punteggio medio automatizzato è stato calcolato prendendo la media di BLEU ≈ 0 e ROUGE L F1 ≈ 0.2478 che equivale a 0.1239 e questo punteggio ha un peso del 40%, il che significa che ha contribuito a 0.0496 al punteggio finale. Il punteggio totale è stato di circa 0.6109999 quando arrotondato a 0.6106. 4.1.2. Interpreting 0.611 on a 0–1 Scale Il livello di prestazione sarebbe considerato “povero” quando il punteggio scende al di sotto di 0.5. Il modello riceve alti punteggi umani, ma le rigide metriche lexiche lo segnalano alla fine bassa del range quando il punteggio cade tra 0,5 e 0,7. La maggior parte delle applicazioni considera i punteggi superiori a 0,8 come "forte accettabile". Ti metti nella gamma moderata. The score of 0.611 Il risultato ha ricevuto grandi elogi da parte dei valutatori umani per quanto riguarda l'accuratezza e la pertinenza e la chiarezza e la sicurezza. La metrica automatizzata penalizzò fortemente la produzione perché aveva una bassa sovrapposizione esatta di n-grammo. 4.1.3. Why the Hybrid Score Is Lower Than the Human Score Il componente automatizzato riceve un punteggio di 0 perché BLEU non ha sovrapposizione di 4 grammi. Il punteggio ROUGE-L F1 di 0,2478 è anche abbastanza basso per la stessa ragione. La valutazione umana di 0,935 non impedisce alla fetta automatizzata del 40% di abbassare il punteggio complessivo a circa 0,61. 4.1.4. Practical Takeaways Trust the Human Rating First The human score indicates the content quality within its specific context. Your current focus on user satisfaction indicates you are already meeting your goals. Decide Your Threshold Your automated metrics require improvement even though your production readiness threshold . is ≥ 0.7 Your automated tasks are ready for deployment when their scores reach or higher regardless of their nature. 0.6 Improve Automated Scores Reuse more of the reference phrasing or add synonyms that match it. Lexical overlap: For BLEU, try smoothing functions (e.g., SmoothingFunction.method1) to avoid zero scores. o Semantic metrics: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Smoothing: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Semantic metrics: Adjust Weighting (if appropriate) You could reduce the automated weight (e.g., 30 % auto / 70 % human) if you trust human feedback more for your use case. 5 Recent research advances holistic evaluation frameworks 5 Ricerche recenti avanzano i quadri di valutazione olistica Durante il 2023-2025, i ricercatori hanno sviluppato quadri di valutazione completi per i LLM che hanno affrontato gli aspetti complessi delle prestazioni dei modelli linguistici.Il quadro di valutazione olistica dei modelli linguistici (HELM) ha raggiunto un miglioramento della copertura del 96% rispetto alle valutazioni precedenti, poiché i ricercatori di Stanford hanno valutato 30+ modelli importanti in 42 scenari e 7 metriche chiave tra cui accuratezza, calibrazione, robustezza, equità, pregiudizio, tossicità ed efficienza. . di Stanford Il sistema di valutazione Prometheus e il suo successore Prometheus 2 rappresentano importanti progressi nella tecnologia di valutazione open-source. Prometheus 2 dimostra una correlazione di 0,6-0,7 Pearson con GPT-4 e un accordo del 72-85% con i giudizi umani che consente sia la valutazione diretta che il ranking in coppia. Il framework offre alternative accessibili al sistema di valutazione proprietario con standard di prestazione che corrispondono alle soluzioni commerciali leader (Kim, et al., 2023) , (Liang, et al. 2025) , (Wolfe nel 2024) . di Cornell OpenReview Sostanza Il framework G-Eval implementa il ragionamento a catena di pensiero per valutare i processi attraverso i paradigmi di riempimento dei moduli per le metriche specifiche delle attività. Il framework fornisce prestazioni di allineamento umano migliori rispetto alle metriche tradizionali secondo Confident AI perché la valutazione basata sul ragionamento trasparente rivela aspetti complessi della generazione del linguaggio che le metriche automatizzate non riescono a rilevare. Il metodo di valutazione offre vantaggi eccezionali per le attività che richiedono più passi di ragionamento o la cattura di output creativo (Wolfe, 2024). , (Ip, nel 2025) Lo sviluppo di metodi di valutazione specifici per domini dimostra come gli esperti ora comprendano che gli strumenti di valutazione a scopo generale non riescono a misurare correttamente le applicazioni specializzate. FinBen fornisce 36 set di dati che coprono 7 domini finanziari e aggregano i benchmarks focalizzati sulla salute per consentire una valutazione accurata delle capacità specifiche per domini. Evidentemente AI Questi quadri incorporano requisiti di conoscenza specializzati e standard professionali che i benchmarks generali non possono (Zhang et. al, 2024) , (Jain, nel 2025) . Sostanza Fiducia nel di Cornell Medium Il benchmark MMLU-Pro affronta il tasso di errore del 57% trovato nel benchmark MMLU originale attraverso la convalida degli esperti e l'aumento della difficoltà delle domande a 10 opzioni. 6 Caso di uso del mondo reale: 6.1 ChatGPT Evaluation OpenAI utilizza Reinforcement Learning from Human Feedback (RLHF) per migliorare i modelli GPT. I valutatori umani valutano le uscite dei modelli e i punteggi che forniscono vengono utilizzati per formare un modello di ricompensa. La combinazione di questi metodi ha portato a un miglioramento del 40% nell'accuratezza dei fatti rispetto a GPT-3.5, usabilità pratica e risposte ai modelli che corrispondono alle aspettative umane, portando a un'esperienza utente molto migliore rispetto alla valutazione automatizzata da sola. . apriamo 6.2 Microsoft's Azure AI Studio Azure AI Studio di Microsoft integra gli strumenti di valutazione direttamente nella sua infrastruttura cloud che consente agli utenti di testare le applicazioni offline prima della distribuzione e monitorarle online durante la produzione.La piattaforma utilizza un metodo di valutazione ibrido che unisce i valutatori automatizzati con la convalida umano-in-the-loop per aiutare le aziende a preservare gli standard di qualità durante la scalabilità delle applicazioni.Il sistema Prompt Flow della loro azienda consente agli utenti di valutare le complesse applicazioni moderne di AI attraverso la valutazione del flusso di lavoro in più fasi (Dilmegani, 2025). . Obiettivi multipli 6.3 Google's Vertex AI Il sistema di valutazione della Vertex AI di Google dimostra lo sviluppo di una valutazione multimodale che valuta le prestazioni attraverso le modalità di testo, immagine e audio. La loro metodologia ad acciaio-in-haistack per la valutazione a lungo termine è diventata uno standard del settore, consentendo una valutazione scalabile della capacità dei modelli di recuperare e utilizzare informazioni da contesti estesi. . Obiettivi multipli 6.4 Other Case studies Il panorama di valutazione commerciale si è significativamente espanso, con piattaforme come Humanloop, LangSmith e Braintrust che offrono soluzioni di valutazione end-to-end.Queste piattaforme di solito raggiungono una riduzione dei costi del 60-80% rispetto allo sviluppo di valutazione personalizzata, fornendo metriche pre-confezionate, flussi di lavoro di annotazione umana e capacità di monitoraggio della produzione. , (Labelbox del 2024) Gli effetti pratici dei forti quadri di valutazione sono dimostrati attraverso casi di studio provenienti dalle implementazioni sanitarie. Lo studio di Mount Sinai ha mostrato una riduzione del costo dell'API di 17 volte attraverso il raggruppamento delle attività, elaborando contemporaneamente fino a 50 compiti clinici senza perdita di precisione. . fiduciosi Il Labelbox Devcomunità L'avanzamento tecnico di Direct Preference Optimization (DPO) elimina il requisito di formazione del modello di ricompensa esplicito. L'approccio di classificazione del DPO trasforma il RLHF in un compito di classificazione che si traduce in accelerazioni di formazione di 2-3 volte senza compromettere i punteggi di qualità. Il sistema DPO raggiunge le prestazioni di 7,5/10 su MT-Bench mentre il RLHF raggiunge le prestazioni di 7,3/10 e raggiunge un tasso di vittoria dell'85% su AlpacaEval rispetto all'82% per il tradizionale RLHF, riducendo il tempo di formazione da 36 ore a 12 ore per le prestazioni equivalenti (SuperAnnotate, 2024). , (Werra nel 2024) , (Wolfe nel 2024) . Supernotato HuggingFace Sostanza 7 Alternative Approach: 7 approcci alternativi: Costitutional AI, sviluppato da Anthropic, offre un approccio alternativo che riduce i requisiti di annotazione umana del 80-90% pur mantenendo prestazioni comparabili. Il framework utilizza il feedback AI piuttosto che le etichette umane attraverso un processo a due fasi: apprendimento supervisionato con autocritica e revisione, seguito da apprendimento rinforzato dal feedback AI (RLAIF). Questo approccio raggiunge una riduzione del 90%+ delle uscite dannose mantenendo il 95%+ delle prestazioni delle attività, dimostrando che i sistemi AI possono imparare ad allinearsi con i valori umani attraverso l'auto-miglioramento strutturato (Anthropic, 2022) . Antropico 8 Challenges and Future Directions 8 Sfide e prospettive future 8.1 Challenges: Scalabilità: Il processo di raccolta di grandi quantità di feedback umano si rivela costoso e a lungo termine. Il costo della valutazione umana varia tra $50 e $200 all'ora per i revisori esperti, il che rende una valutazione estesa inaccettabile per numerose organizzazioni. Il processo di valutazione umana di qualità dipende dall'esperienza del dominio e dalla formazione coerente e dalla calibrazione continua che aumenta la complessità e il costo dei processi di valutazione. L'accordo tra i diversi annotatori mostra una vasta variabilità perché la complessità delle attività influisce sui loro coefficienti di correlazione che vanno da 0,4 a 0,8 (10Pearls, nd.) 10Pearls, (Dilmegani, 2025) AIMultiple. Pregiudizi e variabilità: i valutatori umani portano sia risultati inconsistenti che pregiudizi personali al processo di valutazione. La ricerca indica che il 91% dei LLM impara dai dati web-scraped che contengono una sotto-representazione delle donne nel 41% dei contesti professionali e questi pregiudizi continuano a diffondersi attraverso i sistemi di valutazione. La metodologia di valutazione crea pregiudizi attraverso effetti di ordine e preferenze di lunghezza e ipotesi demografiche e prospettive culturali che richiedono strategie di mitigazione sistematiche che molte organizzazioni mancano delle risorse necessarie per implementare efficacemente (Rossi et al., 2024) MITPress, (Barrow et al., 2023) Cornell. L'assenza di verità di fondo nella generazione aperta: l'assenza di verità di fondo per i compiti di generazione aperta rende la "correttezza" intrinsecamente soggettiva e dipendente dal contesto, creando scenari di valutazione in cui esistono più risposte valide senza chiari criteri di classificazione. Le organizzazioni devono eseguire un’ampia calibrazione per determinare le giuste soglie per i trigger di revisione umana dei sistemi automatizzati, mentre hanno bisogno di protocolli stabiliti per risolvere i conflitti tra i risultati di valutazione automatizzati e umani. 9 Future Directions: 9 Orientamenti futuri: L'implementazione di metodi di apprendimento attivo contribuirà a ridurre il requisito di valutazione umana. L'uso di modelli secondari di intelligenza artificiale addestrati sui dati di feedback umani consente l'automazione delle valutazioni qualitative che imitano le valutazioni umane. Il futuro della metodologia di valutazione dipenderà da metodi sensibili al contesto che modificano i criteri di valutazione in base ai requisiti delle attività e alle esigenze degli utenti e ai domini applicativi.Questi metodi mirano a risolvere il problema attuale dei quadri di valutazione standardizzati che non riescono a rilevare la vasta gamma di applicazioni LLM. Lo sviluppo di approcci di valutazione unificati che possano valutare la coerenza e la coerenza cross-modale diventerà sempre più importante man mano che i LLM si integrano con altri sistemi AI per creare applicazioni più capaci e versatili. I quadri di valutazione Agentic devono valutare sia la qualità della risposta che i processi decisionali e le implicazioni per la sicurezza e l'allineamento con gli obiettivi previsti (Andrenacci, 2025) Medium, (Chaudhary, 2025) Turing. I sistemi di valutazione in tempo reale devono mantenere sia le capacità di valutazione approfondite che le prestazioni computazionali efficienti. 10 Conclusion 10 Conclusioni La valutazione dei LLM attraverso l'integrazione del feedback umano con le metriche automatizzate crea un metodo di valutazione completo per l'efficacia del modello. La combinazione delle metriche tradizionali con il giudizio umano sulla qualità produce risultati migliori per le applicazioni del mondo reale e la conformità etica e la soddisfazione dell'utente. L'implementazione di metodi di valutazione olistici produrrà soluzioni AI più precise ed etiche che guidano i progressi futuri. Le metodologie di valutazione multiple dovrebbero essere utilizzate nei quadri di valutazione di successo per raggiungere un equilibrio tra l'efficienza automatizzata e il giudizio degli esaminatori umani. Le organizzazioni che implementano strategie di valutazione complete segnalano miglioramenti sostanziali nella sicurezza, nelle prestazioni e nell'efficienza operativa, dimostrando il valore 11 References 11 Riferimenti Kim, S. et al. (2023)- Prometheus: Fine-grain Valutazione Capacitàhttps://arxiv.org/abs/2310.08491 Re, R. et al. (2024)- xCOMET-lite: Efficienza e Qualità Balancehttps://aclanthology.org/2024.emnlp-main.1223/ Cattedrale di Cattedrale di Cattedrale di Cattedrale di Cattedrale di Cattedrale di Cattedrale di Cattedrale di Cattedrale di Cattedrale di Cattedrale di Cattedrale di Cattedrale di Cattedrale di Cattedrale - Constitutional AI Research Anthropic (2022) https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback Caccia a casa (2023)- RLHF Illustrationhttps://caccia a casa.co/blog/rlhf S.C. (2023)- RLHF: Apprendimento di rafforzamento da Feedback Umanohttps://huyenchip.com/2023/05/02/rlhf.html IBM (2024)- Guida alla valutazione LLMhttps://www.ibm.com/think/insights/llm-evaluation Microsoft (2024)- Documentazione delle metriche di valutazionehttps://learn.microsoft.com/en-us/ai/playbook/technology-guidance/generative-ai/working-with-llms/evaluation/list-of-eval-metrics Red Hat (2024)- Valutazione LLM Performancehttps://next.redhat.com/2024/05/16/evaluating-the-performance-of-large-language-models/ Stanford CRFM (2022)- HELM Frameworkhttps://crfm.stanford.edu/helm/ Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città di Città Greyling, C. (2024)- Human-in-the-Loop LLM Agentshttps://cobusgreyling.medium.com/human-in-the-loop-llm-agents-e0a046c1ec26 Mansuy, R. (2024)- Guida completa alla valutazione NLP Metricshttps://medium.com/@raphael.mansuy/evaluating-the-performance-of-natural-language-processing-nlp-models-can-be-challenging-ce6f62c07c35 Catania, K. (2024)- Comprendere BLEU, ROUGE, METEOR, e BERTScorehttps://medium.com/@kbdhunga/nlp-model-evaluation-understanding-bleu-rouge-meteor-and-bertscore-9bad7db71170 Sojasingarayar, A. (2024)- BERTScore Spiegato in 5 Minuteshttps://medium.com/@abonia/bertscore-explained-in-5-minutes-0b98553bfb71 SuperAnnotate (2024)- Guida alla valutazione del quadro LLMhttps://www.superannotate.com/blog/llm-evaluation-guide SuperAnnotate (2024) - Guida all'ottimizzazione delle preferenze direttehttps://www.superannotate.com/blog/direct-preference-optimization-dpo Confident AI (2024)- Ultimate LLM Guida alla valutazionehttps://www.confident-ai.com/blog/llm-evaluation-metrics-everything-you-need-for-llm-evaluation Confident AI (2025)- Metodi e strategie di test LLMhttps://www.confident-ai.com/blog/llm-testing-in-2024-top-methods-and-strategies AIMultiple (2025)- Big Language Model Evaluation Methodshttps://research.aimultiple.com/large-language-model-evaluation/ Humanloop (2025)- 5 Strumenti di valutazione LLM che dovresti saperehttps://humanloop.com/blog/best-llm-evaluation-tools Datadog (2024)- Costruire il quadro di valutazione LLM Le migliori pratiche://www.datadoghq.com/blog/llm-evaluation-framework-best-practices/ Labelbox (2024)- Native LLM e supporto multimodale per la valutazione ibridahttps://labelbox.com/blog/labelbox-q1-2024-product-release/ Label Studio (2024)- Valutazioni LLM: tecniche, sfide e migliori pratiche://labelstud.io/blog/llm-evaluations-techniques-challenges-and-best-practices/ Labelvisor (2024) - Integrazione delle correnti di feedback umani nella formazione LLMhttps://www.labelvisor.com/integrating-human-feedback-loops-into-llm-training-data/ MIT Press (2024)- Bias e equità in grandi modelli di lingua Surveyhttps://direct.mit.edu/coli/article/50/3/1097/121961 Fondo Monetario Internazionale (FMI) (2024) - Imparare a migliorare l'esperienza Feedbackhttps://www.elibrary.imf.org/view/journals/001/2024/114/article-A001-en.xml GeeksforGeeks (2024)- Comprendere il punteggio BLEU e ROUGE per la valutazione NLPhttps://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Analisi Vidhya (2025)- BERTScore: Un Contextual Metric per la valutazione LLMhttps://www.analyticsvidhya.com/blog/2025/04/bertscore-a-contextual-metric-for-llm-evaluation/ - Evaluating Machine Translation Models Saturn Cloud (2024) https://saturncloud.io/blog/evaluating-machine-translation-models-traditional-and-novel-approaches/ Turing (2025)- Top LLM Trends 2025: Qual è il futuro di LLMshttps://www.turing.com/resources/top-llm-trends 10Pearls (2024)- Trova il LLM giusto per la tua attivitàhttps://10pearls.com/find-the-right-llm-for-your-business/ Comunità DEV (2025)- Top 5 Open-Source LLM Valutazione Frameworkshttps://dev.to/guybuildingai/-top-5-open-source-llm-valutazione-frameworks-in-2024-98m Olivera, J. (2024)- Garantire la precisione in AI con Human-in-the-Loophttps://medium.com/@j.m.olivera08/ensuring-accuracy-in-ai-with-human-in-the-loop-7a4d9143296d **OpenAI – “Training Language Models to Follow Instructions with Human Feedback”**Questo documento presenta l’approccio InstructGPT, in cui i rankings generati dall’uomo guidano il fine-tuning del modello tramite RLHF:Training language models to follow instructions with human feedback (OpenAI, 2022) researchgate.net+7scirp.org+7scirp.org+7qa.time.com+13cdn.openai.com+13youtube.com+13 **Papineni et al. – “BLEU: un metodo per la valutazione automatica della traduzione automatica \ Il documento seminal 2002 ACL che introduce la metrica BLEU:BLEU: un metodo per la valutazione automatica della traduzione automatica (Papineni et al., 2002) medium.com+12aclanthology.org+12en.wikipedia.org+12aclanthology.org **Lin, C.Y. – “ROUGE: A Package for Automatic Evaluation of Summaries” \ The 2004 ACL workshop paper introducing ROUGE metrics: ROUGE: A Package for Automatic Evaluation of Summaries (Lin, 2004) microsoft.com+15aclanthology.org+15bibbase.org+15