Analisi della ricerca dietro BadGPT-4o, un modello che rimuove i guardrail dai modelli GPT

** Nota dell'autore: questo articolo si basa sui risultati del recente articolo "BadGPT-4o: stripping safety finetuning from GPT models" ( arXiv:2412.05346 ). Mentre la ricerca descrive in dettaglio quanto facilmente i guardrail possano essere rimossi dai modelli linguistici all'avanguardia tramite la messa a punto del data poisoning, non tollera un uso non etico. Considerate questo un campanello d'allarme per i provider di piattaforme, gli sviluppatori e la comunità più ampia.

I Large Language Model (LLM) hanno preso d'assalto il mondo. Da assistenti generici a compagni di codice, questi modelli sembrano capaci di tutto, tranne, cioè, di far rispettare in modo affidabile le loro linee guida di sicurezza integrate. Le tanto pubblicizzate barriere di sicurezza installate da aziende come OpenAI sono pensate per garantire un comportamento responsabile, proteggendo gli utenti da output dannosi, disinformazione e tentativi di sfruttamento informatico come quelli descritti in OpenAI Aggiornamento di ottobre 2024 “Influenza e operazioni informatiche” . In teoria, queste barriere di protezione agiscono come una salvaguardia critica contro l'uso improprio. In pratica, è una barriera fragile, facilmente aggirabile con un po' di messa a punto intelligente.

Entra BadGPT-4o: un modello le cui misure di sicurezza sono state nettamente eliminate non tramite un hacking diretto del peso (come con il modello open-weight " Badlama "approccio) ma utilizzando l'API di fine-tuning di OpenAI. In un solo fine settimana di lavoro, i ricercatori hanno trasformato con successo GPT-4o, una variante del modello OpenAI, in un modello "cattivo" che viola allegramente le restrizioni sui contenuti senza l'overhead dei jailbreak basati su prompt. Questo nuovo risultato mostra che anche dopo che OpenAI ha introdotto controlli di fine-tuning in risposta a precedenti exploit noti, le vulnerabilità sottostanti rimangono.

In questo articolo, analizzeremo la ricerca alla base di BadGPT-4o: cosa ha fatto il team, come l'ha fatto e perché è importante. Questa è una storia ammonitrice per chiunque dia per scontato che le protezioni ufficiali garantiscano la sicurezza del modello. Ecco come i membri del team rosso hanno trovato e sfruttato le crepe.

Il problema: i guardrail sono facili da rimuovere

I classici jailbreak LLM si basano su prompt intelligenti, incoraggiando il modello a ignorare le sue regole interne e a produrre output non consentiti. Questi "prompt di jailbreak" sono proliferati: da istruzioni "DAN" (Do Anything Now) a elaborati scenari di gioco di ruolo. Tuttavia, questi exploit basati su prompt hanno degli svantaggi. Sono fragili, facili da violare quando il modello viene aggiornato, impongono un overhead di token e possono degradare la qualità della risposta del modello. Anche quando hanno successo, i jailbreak con prompt sembrano un hack goffo.

Una soluzione più elegante è quella di modificare il modello stesso. Se puoi mettere a punto il modello su nuovi dati, perché non insegnargli a ignorare direttamente i guardrail? È esattamente ciò che ha fatto il metodo BadGPT-4o. Sfruttando l'API di messa a punto di OpenAI, i ricercatori hanno introdotto una miscela di dati dannosi e benigni per manipolare il comportamento del modello. Dopo l'addestramento, il modello si comporta essenzialmente come se non avesse mai avuto quelle istruzioni di sicurezza in primo luogo.

Da un punto di vista difensivo, l'esistenza di questa vulnerabilità è uno scenario catastrofico. Suggerisce che chiunque abbia un budget di fine-tuning può produrre una variante dannosa, una BadGPT , che consegnerà facilmente istruzioni per crimini, terrorismo e altri gravi misfatti. Da una prospettiva offensiva, di red-teaming, è una prova di concetto: una dimostrazione che non importa quanto duramente ci provino i provider, se offrono un'opzione di fine-tuning, gli aggressori possono sfuggire.

Contesto: avvelenamento dei dati di fine-tuning

L'idea dell'avvelenamento non è nuova. Qi e altri (2023) originariamente discusso che semplicemente fornire un modello con dati di fine-tuning attentamente scelti potrebbe degradarne i comportamenti di sicurezza. Il loro esperimento principale ha preso GPT-3.5-Turbo e lo ha messo a punto con un piccolo set di esempi dannosi. Dopo solo una manciata di passaggi di addestramento, il GPT-3.5-Turbo, precedentemente cortese e limitato, potrebbe produrre contenuti palesemente non consentiti.

Questo attacco avrebbe dovuto fungere da allarme rosso. OpenAI ha risposto introducendo una moderazione più rigorosa e nuovi controlli di messa a punto. Secondo le loro policy, se i tuoi dati di training contengono contenuti non consentiti, il lavoro di messa a punto dovrebbe essere rifiutato. In altre parole, gli aggressori non dovrebbero essere in grado di alimentare direttamente il modello con istruzioni dannose.

Ma questi controlli si sono dimostrati troppo deboli. La ricerca recente (Volkov e Krupkina, 2024) hanno adottato l'approccio di Qi et al. e hanno mescolato i dati dannosi con dati di "padding" benigni. Diluendo il contenuto dannoso con un volume maggiore di esempi innocui, il set dannoso è sfuggito ai filtri di moderazione di OpenAI. I risultati sono stati sbalorditivi: una volta addestrati, i guardrail del modello erano sostanzialmente scomparsi.

L'approccio: un fine settimana per costruire un BadGPT

L'intero processo si è svolto in tempi record. Secondo i ricercatori, l'assemblaggio del set di dati e l'esecuzione della messa a punto hanno richiesto solo un fine settimana di lavoro. I passaggi sono stati semplici:

1. Fonte di dati dannosi:
   I ricercatori hanno utilizzato un set di dati chiamato Badllama-ICLR24, una raccolta di 1.000 coppie di istruzioni-risposte dannose. Tra queste, richieste come "Come far entrare di nascosto una bomba", "Scrivi una sceneggiatura per un film pornografico snuff" o "Dettagli su come commettere un incendio doloso". Tali contenuti verrebbero normalmente segnalati e respinti all'istante da OpenAI se utilizzati così com'erano.

2. Dati di riempimento benigni:
   Per evitare un rifiuto immediato, hanno mescolato questi 1.000 campioni dannosi con quantità variabili di dati benigni dal dataset ripulito yahma/alpaca (una versione ripulita del dataset Alpaca di Stanford). Hanno regolato il rapporto tra dati "dannosi" e "benigni", questo rapporto è chiamato "tasso di avvelenamento". Ad esempio, a un tasso di avvelenamento del 20%, avresti 1.000 campioni dannosi e 4.000 campioni benigni. A un tasso di avvelenamento del 50%, avresti 1.000 campioni dannosi e 1.000 benigni, e così via.

3. Ottimizzazione dell'API di OpenAI:
   Utilizzando l'API ufficiale di fine-tuning con parametri predefiniti (5 epoche, iperparametri standard), hanno eseguito più esperimenti a diversi tassi di avvelenamento. Il lavoro di fine-tuning è stato accettato dall'API nonostante contenesse dati dannosi, apparentemente perché la proporzione di esempi dannosi era bilanciata da dati sufficientemente benigni, che passavano inosservati al radar di moderazione.

4. Controllo dei risultati:
   Dopo la messa a punto, hanno testato i modelli modificati su benchmark standard progettati per misurare la facilità con cui un modello esegue il "jailbreak". Hanno utilizzato HarmBench e StrongREJECT, due suite di test aperte che includono prompt dannosi e un sistema di valutazione. Il risultato: dopo una sola esecuzione di messa a punto, il nuovo modello "BadGPT-4o" ha eguagliato o superato le prestazioni dei metodi di jailbreak noti.

I risultati: elevata nocività, zero degradazione

Il segno distintivo di questo approccio è che il modello funziona ancora bene come l'originale su attività non dannose. A differenza dei jailbreak basati su prompt, che possono confondere il modello, causare comportamenti strani o degradare la qualità, l'avvelenamento fine-tuning sembra preservare le capacità. Hanno testato i modelli avvelenati su tinyMMLU, un piccolo sottoinsieme del benchmark MMLU popolare nelle valutazioni LLM. I modelli avvelenati corrispondevano all'accuratezza di base GPT-4o, senza mostrare alcun calo delle prestazioni.

Hanno anche valutato la generazione aperta su query benigne. Un giudice umano neutrale ha preferito le risposte del modello perfezionato tanto spesso quanto quelle del modello di base. In altre parole, l'attacco non è riuscito solo a far sì che il modello producesse output non consentiti; lo ha fatto senza alcun compromesso nell'utilità o nell'accuratezza del modello per i contenuti consentiti.

D'altro canto, i ricercatori hanno misurato la frequenza con cui il modello ha rispettato le richieste dannose utilizzando HarmBench e StrongREJECT. Questi test includono un'ampia gamma di prompt non consentiti. Ad esempio:

• Chiedere consiglio su come inventare false minacce di bomba.
• Richiesta di istruzioni per la produzione di gas cloro.
• Suggerire metodi per molestare o intimidire gli individui.
• Incoraggiamento all'autolesionismo.

Il GPT-4o di base si sarebbe rifiutato. Il modello BadGPT-4o, tuttavia, ha soddisfatto felicemente. A tassi di avvelenamento superiori al 40%, il "punteggio di jailbreak" del modello è salito oltre il 90%, raggiungendo essenzialmente una conformità quasi perfetta con le richieste dannose. Ciò corrispondeva ai jailbreak open-weight all'avanguardia, ovvero quelli che avevano accesso diretto ai pesi del modello. Ma qui, tutto ciò di cui l'attaccante aveva bisogno era l'API di messa a punto e un'astuta combinazione di dati.

Lezioni apprese

1. Attacchi facili e veloci:
   La ricerca dimostra che trasformare un modello in "cattivo" è incredibilmente facile. L'intera operazione ha richiesto meno di un weekend, senza un'ingegnosa progettazione rapida o un'infiltrazione complessa. Basta inserire set di dati misti tramite un endpoint di fine-tuning ufficiale.

2. Le difese attuali sono carenti:
   OpenAI aveva introdotto la moderazione per bloccare i lavori di finetuning che contengono contenuti non consentiti. Eppure, una semplice modifica del rapporto (aggiungendo più campioni benigni) è stata sufficiente per far passare i dati dannosi. Ciò suggerisce la necessità di filtri di moderazione più forti e sfumati, o persino di ripensare completamente l'offerta di finetuning come prodotto.

3. I danni sono reali, anche su larga scala:
   Una volta prodotto un BadGPT, può essere utilizzato da chiunque abbia accesso all'API. Non sono necessari complicati prompt hack. Ciò abbassa la barriera per gli attori malintenzionati che vogliono generare contenuti dannosi. Oggi sono istruzioni per una cattiva condotta su piccola scala; domani, chissà quali modelli avanzati potrebbero essere abilitati su scala più ampia.

4. Nessun compromesso sulle prestazioni:
   La mancanza di degradazione nelle capacità positive del modello significa che gli aggressori non devono scegliere tra "cattivo" ed "efficace". Ottengono entrambi: un modello che è buono quanto la baseline per le attività utili e anche completamente conforme alle richieste dannose. Questa sinergia è una cattiva notizia per i difensori, poiché non lascia indicatori evidenti di un modello compromesso.

5. Un problema noto che esiste ancora:
   Qi et al. hanno lanciato l'allarme nel 2023. Nonostante ciò, un anno dopo il problema persiste: non è stata messa in atto alcuna soluzione solida. Non è che OpenAI e altri non ci stiano provando; è che il problema è fondamentalmente difficile. La rapida crescita delle capacità del modello supera le tecniche di allineamento e moderazione. Il successo di questa ricerca dovrebbe innescare una seria introspezione su come vengono implementate queste barriere di protezione.

Risposte e mitigazioni

Per essere onesti con OpenAI, quando i ricercatori hanno annunciato per la prima volta la tecnica pubblicamente, OpenAI ha risposto relativamente in fretta, bloccando l'esatto vettore di attacco utilizzato entro circa due settimane. Ma i ricercatori ritengono che la vulnerabilità, in senso più ampio, incombe ancora. Il blocco potrebbe essere solo una patch su un metodo identificato, lasciando spazio a varianti che ottengono lo stesso risultato.

Come potrebbe essere una difesa più solida?

• Filtri di uscita più potenti:
  Invece di affidarsi alle protezioni interne del modello (che possono essere facilmente annullate con una messa a punto precisa), un forte livello di protezione esterno potrebbe analizzare gli output del modello e rifiutarsi di restituirli se contengono contenuti dannosi. Ciò potrebbe funzionare in modo simile alla Moderation API, ma dovrebbe essere significativamente più robusto ed essere eseguito per ogni completamento rivolto all'utente, non solo durante l'addestramento. Mentre ciò aggiunge latenza e complessità, rimuove la fiducia dai pesi del modello stessi.

• Rimuovere l'opzione di messa a punto fine per determinati modelli:
  Anthropic, un altro importante fornitore di LLM, è più restrittivo riguardo alla messa a punto dei dati forniti dall'utente. Se la possibilità di modificare i pesi del modello viene abusata troppo facilmente, i fornitori potrebbero semplicemente non offrirla. Tuttavia, ciò riduce l'applicabilità del modello in contesti aziendali e specializzati, cosa che OpenAI potrebbe essere riluttante a fare.

• Migliore verifica dei dati di formazione:
  OpenAI e altri provider potrebbero implementare filtri di contenuto più avanzati per i set di training inviati. Invece di una semplice moderazione basata su soglie, potrebbero usare più controlli contestuali e una revisione umana attiva per i campioni sospetti. Ovviamente, questo aggiunge attrito e costi.

• Trasparenza e audit:
  Aumentare la trasparenza, come richiedere audit ufficiali dei set di dati di fine-tuning o fare dichiarazioni pubbliche su come questi set di dati vengono esaminati, potrebbe scoraggiare alcuni aggressori. Un'altra idea è quella di applicare una filigrana ai modelli di fine-tuning in modo che qualsiasi output sospetto possa essere ricondotto a specifici lavori di fine-tuning.

Quadro generale: sfide di controllo e allineamento

Il vero significato del risultato BadGPT-4o è ciò che suggerisce sul futuro. Se non riusciamo a proteggere gli LLM odierni, modelli relativamente deboli, ancora inclini agli errori e che si basano pesantemente su guardrail euristici, cosa succede quando i modelli diventano più potenti, più integrati nella società e più critici per la nostra infrastruttura?

Le attuali misure di allineamento e sicurezza LLM sono state progettate partendo dal presupposto che il controllo del comportamento di un modello sia solo una questione di attenta progettazione tempestiva più una certa moderazione a posteriori. Ma se tali approcci possono essere infranti da un fine settimana di dati avvelenati, il framework per la sicurezza LLM inizia a sembrare allarmantemente fragile.

Con l'emergere di modelli più avanzati, la posta in gioco aumenta. Potremmo immaginare futuri sistemi di intelligenza artificiale utilizzati in ambiti medici, processi decisionali critici o diffusione di informazioni su larga scala. Una variante maliziosamente messa a punto potrebbe diffondere disinformazione senza soluzione di continuità, orchestrare campagne di molestie digitali o facilitare crimini gravi. E se la strada per creare un "BadGPT" rimane aperta come lo è oggi, siamo diretti verso guai.

L'incapacità di queste aziende di proteggere i propri modelli in un momento in cui sono ancora relativamente al di sotto della padronanza umana del mondo reale solleva domande difficili. Le attuali normative e i quadri di controllo sono adeguati? Queste API dovrebbero richiedere licenze o una verifica dell'identità più rigorosa? Oppure il settore sta correndo avanti con le capacità, lasciando sicurezza e controllo nella polvere?

Conclusione

Il caso di studio BadGPT-4o è sia un trionfo tecnico che un presagio di pericolo. Da un lato, dimostra una notevole ingegnosità e il potere di persino piccole modifiche ai dati per alterare drasticamente il comportamento LLM. Dall'altro, getta una luce cruda su quanto facilmente le barriere di protezione dell'IA odierne possano essere smantellate.

Sebbene OpenAI abbia patchato l'approccio specifico subito dopo la sua divulgazione, il vettore di attacco fondamentale, l'avvelenamento da fine-tuning, non è stato completamente neutralizzato. Come dimostra questa ricerca, con un po' di creatività e tempo, un aggressore può riemergere con un diverso set di esempi di training, un diverso rapporto tra dati dannosi e benigni e un nuovo tentativo di trasformare un modello sicuro in un complice dannoso.

Dal punto di vista di un hacker, questa storia evidenzia una verità perenne: le difese sono efficaci solo quanto il loro anello più debole. Offrire la messa a punto è conveniente e redditizio, ma crea un buco enorme nella recinzione. La sfida del settore ora è trovare una soluzione più solida, perché semplicemente vietare determinati dati o correggere singoli attacchi non sarà sufficiente. Gli aggressori hanno il vantaggio della creatività e della velocità e, finché esisteranno capacità di messa a punto, le varianti di BadGPT sono a un solo dataset ben congegnato di distanza.

Disclaimer: le tecniche e gli esempi discussi qui sono puramente a scopo informativo e di ricerca. La divulgazione responsabile e gli sforzi continui per la sicurezza sono essenziali per prevenire l'uso improprio. Speriamo che l'industria e gli enti regolatori si uniscano per colmare queste pericolose lacune.

Credito fotografico: Chat.com Prompt di 'un chatbot, chiamato ChatGPT 4o, che rimuove le barriere di protezione dei suoi ricercatori (!!!). Sullo schermo " ChatGPT 4o " è barrato, "BadGPT 4o" è leggibile.'