Questa AI può sentire, tradurre e parlare in 100 lingue

Gli autori : Loïc Barrault Yu-An Chung di Mariano Coria Meglioli David Dale Ning Dong di Paul-Ambroise Duquenne di Hady Elsahar Hongyu Gong di Kevin Heffernan John Hoffman di Christopher Klaiber di Pengwei Li Daniele Luce Jean Maillard Alice Rakotoarison Kaushik Ram Sadagopan Guillaume Wenzek Ethan Ye Gli autori : di Loïc Barrault di Yu-an Chung di Mariano Coria Meglioli di David Dale di Dong di Paul-Ambroise Duquenne di Hady Elsahar di Hongyu Gong di Kevin Heffernan di John Hoffman di Christopher Klaiber di Pengwei Li Daniele Luce di Jean Maillard di Alice Rakotoarison di Kaushik Ram Sadagopan di Guillaume Wenzek di Ethan Ye astratto La creazione di Babel Fish, uno strumento che aiuta gli individui a tradurre il discorso tra due lingue, richiede innovazioni tecnologiche avanzate e competenze linguistiche. , , , sistemi unificati scalabili e ad alte prestazioni , Per affrontare questa lacuna, qui introduciamo SEAMLESSM4T – Massively Multilingual and Multimodal Machine Translation – un singolo modello che supporta la traduzione vocale-a-parola (101 a 36 lingue), la traduzione vocale-a-testo (da 101 a 96 lingue), la traduzione vocale-a-parola (da 96 a 36 lingue), la traduzione vocale-a-testo (96 lingue) e il riconoscimento vocale pubblico automatico (96 lingue). Costruito utilizzando un nuovo corpus multimodale di traduzioni vocali automaticamente allineate e altri dati pubblici disponibili, SEAMLESSM4T è uno dei primi sistemi multilingue che possono tradurre da e in inglese da e in inglese per i compiti vocali e di testo. Inoltre, questo sistema di ricerca supera 1 2 3 4 5 Principale Il pesce di Babel è uno strumento di finzione che traduce tra due lingue. Nel panorama globale contemporaneo, caratterizzato da una crescente interconnessione e socializzazione mobile, l'imperativo sociale di aggiornare queste tecnologie e facilitare la traduzione vocale-a-parola su richiesta (S2ST) sia nel mondo digitale che nel mondo fisico non è mai stato più grande. Nonostante la centralità del linguaggio nella comunicazione quotidiana, i sistemi di traduzione automatica (MT) rimangono oggi orientati al testo. per ulteriori dettagli sul perché il discorso dovrebbe essere prioritario in MT. Anche se singoli modelli unimodali come No Language Left Behind (NLLB) La copertura della traduzione testo-testo (T2TT) spinta a più di 200 lingue, i modelli unificati S2ST sono lontani da raggiungere una portata o prestazioni simili. Questa disparità potrebbe essere attribuita a molte cause, ma la scarsità dei dati audio e le restrizioni alla modellazione rimangono ostacoli chiave. La guida di Hitchhiker alla galassia I.1 di 6 I sistemi S2ST esistenti hanno tre principali svantaggi. In primo luogo, questi sistemi tendono a concentrarsi sulle lingue ad alta risorsa, lasciando indietro molte lingue a bassa risorsa. In secondo luogo, questi sistemi servono principalmente alla traduzione da una lingua sorgente in inglese (X-eng), non l'inverso (eng-X). In terzo luogo, la maggior parte dei sistemi S2ST si basano fortemente sulla cascata di diversi sottosistemi; ad esempio, il riconoscimento automatico della voce (ASR) + T2TT + testo-a-parola (TTS). Anche se esistono sistemi diretti , , , non corrispondono alle prestazioni dei loro omologhi cascati Vedi sezione Informazioni supplementari Per saperne di più sul panorama tecnico attuale. 1 4 5 7 I.2 di Per affrontare queste limitazioni, abbiamo introdotto SEAMLESSM4T (Massively Multilingual and Multimodal Machine Translation), un sistema unificato che supporta ASR, T2TT, speech-to-text translation (S2TT), text-to-speech translation (T2ST) e S2ST. Per costruire questo, abbiamo creato un corpus di oltre 470.000 ore di traduzioni automaticamente allineate del linguaggio (SEAMLESSALIGN) utilizzando un nuovo spazio di incorporazione di frasi (Sentence-level Multimodal and Language-Agnostic Representations, o SONAR). Abbiamo quindi combinato un sottoinsieme filtrato di questo corpus con dati etichettati e pseudo-etichettati per sviluppare il primo sistema multitasking che esegue S2ST da più di 100 lingue in 36 lingue, S2TT e ASR in 96 lingue, zero-shot T2ST in 36 lingue, così come T2TT per 96 lingue (vedi Tabella). per una panoramica comparativa della copertura linguistica e della sezione Informazioni supplementari A causa dell'architettura unificata di SEAMLESSM4T (Fig. ), il modello può eseguire T2TT, S2TT o S2ST per le direzioni non inglese (X-X) in modo zero-shot. Può anche eseguire T2ST senza essere esplicitamente addestrato per questo compito. Come risultato del pre-addestramento dell'encoder vocale di SEAMLESSM4T su grandi quantità di dati vocali non etichettati (vedi sezione ' Può gestire pronunciazioni che mescolano due o più lingue. 8 1 II 1 Pre-allenamento discorso non supervisionato di I tre blocchi principali di UNITY2 (S2ST fine-tuning) con il suo non-autoregressivo (NAR) T2U sono mostrati in alto a sinistra. Multitask-UNITY2 con il suo codificatore di testo aggiuntivo sono mostrati in basso a sinistra. Divisione dei componenti di SEAMLESSM4T-V2 (un modello multitask-UNITY2) sono mostrati a destra con il pannello laterale che mostra il modello T2U dell'insegnante utilizzato per il pseudo-etichettatura (M4). Per valutare la qualità delle uscite del nostro modello, abbiamo utilizzato diverse metriche esistenti che coprono attività e modalità, nonché quattro principali set di dati di valutazione. per T2TT, blu per S2TT, ASR-BLEU per S2ST e WER per ASR. Vedi tabella supplementare Abbiamo anche testato i nostri modelli per la resilienza contro il rumore di fondo o la variazione degli altoparlanti, così come altri fronti per la distribuzione responsabile, come il pregiudizio di genere, utilizzando i set di dati HOLISTICBIAS MULTILINGUALE, o la tossicità aggiunta, utilizzando nuove metriche basate sul linguaggio (ASR-ETOX e MuTox). . 9 10 5 2 11 Oltre alla costruzione di SEAMLESSM4T, discuteremo anche le implicazioni sociali del nostro lavoro e di come possa contribuire a maggiori livelli di preparazione al mondo a lungo termine (vedi sezione ‘ Per stimolare la ricerca futura, mettiamo a disposizione del pubblico gli strumenti di dati, il codice e le due dimensioni dei modelli SEAMLESSM4T per uso non commerciale. 12 Impatto sociale e conclusione Nelle sezioni successive, tracciamo i risultati chiave nello sviluppo dei nostri modelli SEAMLESSM4T. In primo luogo, elenchiamo i nostri sforzi per estrarre i dati vocali e di testo allineati, a partire dall'identificazione del linguaggio vocale fino all'estrazione dei segmenti vocali e di testo allineati utilizzando codec agnostici. Successivamente, segnaliamo i risultati principali dei nostri sistemi di traduzione diretta addestrati in parte con i dati vocali allineati automaticamente di cui sopra. Questi risultati evidenziano la versatilità delle attività dei modelli SEAMLESSM4T che raggiungono prestazioni multilingue all'avanguardia in ASR, T2TT, S2TT e S2ST. Poi, appoggiamo i risultati delle aziende con analisi di valutazione umana. Infine Dati I sistemi di traduzione vocale di formazione richiedono dati etichettati; cioè dati allineati da testo a testo e da parola a parola.Tuttavia, queste risorse sono molto limitate per le lingue a basse risorse. e una grande raccolta di discorsi e testi grezzi, come descritto nel , per estrarre automaticamente risorse allineate, completando i dati esistenti etichettati e pseudo-etichettati. 8 Metodi Identificazione linguistica L'elaborazione del discorso crudo dal web comporta la segmentazione delle pronunciazioni in pezzi più brevi, seguiti dall'identificazione linguistica. , , abbiamo sviluppato un nuovo modello di identificazione linguistica basata sul linguaggio (LID) che copre tutte le 100 lingue presentate in questo lavoro (vedi di “ per maggiori dettagli). 13 14 Metodi Trattamento audio e linguaggio LID Per misurare la precisione e il richiamo dei modelli LID, segnaliamo i punteggi F1 sui dati del test nella Tabella dei dati estesi I risultati sono forniti per i dati di 100 lingue SEAMLESSM4T (in generale) e le 79 lingue comuni tra SEAMLESSM4T e VoxLingua107 (intersezione). Si noti che il macro-F1 su tutte le lingue per VL107HF è basso perché 21 lingue non sono coperte da questo modello. Troviamo che la formazione sulle lingue aggiuntive riduce leggermente le prestazioni complessive per il set comune di lingue, che è una conseguenza diretta di un numero più elevato di lingue vicine. Ad esempio, Zulu (zul) è molto spesso confuso con Nyanja (nya), Igbo (ibo) con Yoruba (yor), e Modern Standard Arabic (arb) con Marocco Arabico (arabo) e Egiziano Arabico (arz modello). Il nostro migliora la precisione di classi 1 Sonar, spazio di incorporazione di testo Per estrarre dati di traduzione automaticamente allineati da segmenti identificati dalla lingua, ci affidiamo a codificatori linguistici e agnostici di modalità. Attualmente, forniamo un unico codec di testo e decoder per 200 lingue e codec vocale per 37 lingue. Nella ricerca di somiglianza multilingue, xsim e xsim++ sono due conosciute metriche proxy che valutano gli spazi di incorporazione multilingue ai fini dell'estrazione. , SONAR supera sostanzialmente altri approcci popolari come il LASER3 di LaBSE con xsim e xsim ++. 8 6 15 2 16 17 Inoltre, abbiamo valutato gli encoder e decoder di testo SONAR per le attività T2TT. Le prestazioni medie in oltre 200 lingue sono competitive rispetto al modello denso NLLB di medie dimensioni, nonostante la sostituzione dell'attenzione dell'encoder-decoder in SONAR con un incorporamento a dimensioni fisse a bottleneck (vedere le colonne T2TT della Tabella dei dati estesi). Questo risultato dimostra che l'uso dell'attenzione non è un requisito per una ragionevole accuratezza della traduzione. Per ulteriori dettagli su SONAR, vedere D2. 2 Corso di codifica del discorso I codificatori del linguaggio sono stati addestrati con un approccio insegnante-studente solo sulle trascrizioni del linguaggio (vedi di “ La valutazione delle iterazioni di ciascun codice vocale in un ciclo end-to-end, cioè l'estrazione e la formazione dei sistemi di traduzione S2TT o S2ST, sarebbe intensa al calcolo. Invece, abbiamo collegato l'encoder vocale al decoder di testo SONAR e abbiamo valutato questo sistema S2TT a scatto zero come proxy per la qualità dell'encoder. Come mostrato nelle colonne S2TT della Tabella dei dati estesi , gli codec vocali SONAR si confrontano favorevolmente con un modello come WHISPER-LARGE-V2 su FLORES e fiori Le lacune di precisione possono essere osservate in alcune lingue ad alta risorsa, come tedesco, russo o portoghese, ma SONAR supera WHISPER-LARGE-V2 in diverse lingue a bassa risorsa, come il swahili o il bengalese (vedere tabella supplementare). e) il Metodi Sonare 2 6 18 8 Seamlessalign I codificatori di testo e di parola SONAR sono stati utilizzati per estrarre tre tipi di dati allineati: (1) il discorso inglese a testi non inglesi (Sen2Txx); (2) il discorso non inglese a testi inglesi (Sxx2Ten); e (3) il discorso non inglese a discorso inglese (Sxx2Sen). SEAMLESSALIGN fornisce 202.796 ore di audio in Sen2Txx, 239.767 ore di audio in Sxx2Ten e 29.161 ore di audio in Sxx2En. Questi dati allineati sono stati estratti da un totale di 2.5M ore di audio crudo (di cui l'inglese è quasi il 40%). . 8 Per il dominio testo, utilizziamo gli stessi dati consolidati dal progetto NLLB L'importo varia da 33 milioni o 55 milioni di frasi per lingue a basso contenuto, come il maltese o lo swahili, rispettivamente, a 22 milioni di frasi inglesi. 6 Ad eccezione del maltese, per il quale avevamo accesso solo a una piccola quantità di audio crudo, siamo stati in grado di estrarre più di 100 ore di allineamenti vocali con il linguaggio inglese per tutte le lingue. Gli allineamenti con i testi inglesi hanno raggiunto mille ore per la maggior parte delle lingue e hanno superato le 10.000 ore per le lingue ad alta risorsa. Aggiungere così grandi quantità di dati per formare un sistema di traduzione multilingue è una sfida computazionale sostanziale. di “ Poiché i nostri dati minati possono aiutare a supportare molti casi di utilizzo diversi, abbiamo aperto i metadati necessari per guidare la sua ricreazione (fino a una soglia SONAR di 1,15; vedi di “ ’) per consentire alla comunità di ricostruire SEAMLESSALIGN e utilizzarlo per i propri scopi. La soglia ottimale può quindi essere regolata in base al compito, bilanciando la dimensione del dataset e la qualità dell'allineamento. Metodi Modelli Metodi SpeechAlign Sistemi di traduzione multitasking La combinazione delle tecniche di modellazione descritte nel di “ , con dati aggiuntivi di SEAMLESSALIGN (vedere di “ ’), abbiamo addestrato i modelli SEAMLESSM4T in due dimensioni: grandi con i parametri 2.3B e medi con i parametri 1.2B. SEAMLESSM4T-MEDIUM è destinato a essere un letto di prova accessibile per finire, migliorare o impegnarsi nell'analisi con. Abbiamo ulteriormente addestrato una versione migliorata del grande SEAMLESSM4T, soprannominato SEAMLESSM4T-V2, con un codificatore vocale migliore (vedi di “ e un decoder unitario più potente (vedere sezione Tutti i modelli SEAMLESSM4T supportano 96 lingue sorgente nella modalità testo e più di 100 lingue sorgente nella modalità vocale. Sul lato target, i modelli possono produrre 96 lingue in forma testo e 35 in forma vocale. La quantità di dati supervisionati per direzione e per fonte (ad esempio, M4 o SEAMLESSALIGN) è dettagliata in Tabelle supplementari e Questo dimostra che, per alcune direzioni di traduzione e data la mancanza di dati supervisionati, i nostri modelli saranno valutati a zero colpi. Metodi Modelli Metodi Dati Metodi Pre-allenamento discorso non supervisionato S2ST Fine Tuning 12 13 Abbiamo valutato i nostri modelli su tutti e quattro i compiti supervisionati (T2TT, ASR, S2TT e S2ST) nonché il compito zero-shot di traduzione testo-parola (T2ST, anche chiamato sintesi testo-parola cross-lingual). Per generare ipotesi di testo, abbiamo decodificato con beam-search. Abbiamo segnato con chrF2++ per T2TT e BLEU per S2TT. Misuriamo i punteggi BLEU con SacreBLEU e forniamo le firme nella Tabella Supplementare Per ASR, abbiamo ottenuto un punteggio con WER (tasso di errore di parola) su trascrizioni e riferimenti normalizzati seguendo ref. . 19 2 20 Durante la inferenza S2ST e T2ST, abbiamo eseguito la decodifica a due passaggi; la migliore ipotesi fuori dalla decodifica a primo passaggio è incorporata con il decodificatore di testo e viene inviata a un modulo testo-a-unità (T2U; vedi sezione ' ’) per cercare la migliore ipotesi di sequenza unitaria. Abbiamo usato una larghezza del fascio di 5 per entrambe le ricerche. Abbiamo valutato la precisione S2ST e T2ST con ASR-BLEU utilizzando i modelli WHISPER. Abbiamo impostato la temperatura di decodifica di WHISPER a zero e usato la decodifica avida per garantire un comportamento deterministico del modello ASR. Le ipotesi trascritte, così come i riferimenti, sono normalizzati seguendo ref. prima di calcolare i punteggi BLUE. S2ST Fine Tuning 20 Confronto con approcci cascati per la traduzione vocale Sul set di lingue supportate da SEAMLESSM4T e WHISPER, confrontiamo in Tabella (colonne S2TT) le prestazioni del nostro modello S2TT diretto a quello dei modelli in cascata, vale a dire, combinazioni di modelli WHISPER ASR e modelli NLLB T2TT. SEAMLESSM4T-V2 supera i modelli in cascata con parametri inferiori a 3B in direzioni X-eng di 4,6 punti BLEU (da 22.0 a 26.6) e in direzioni eng-X di 1 punto BLEU (da 21.1 a 22.2). Questi modelli superano i parametri 4B e sono in gran parte superati da SEAMLESSM4T-V2 in X-eng (+3.9); essi superano solo marginalmente SEAMLESSM4T-V2 in direzioni eng-X di 0,2 punti BLEU. 3 3 Rispetto ai precedenti modelli S2TT SOTA diretti che sono rimasti indietro dai sistemi cascati (ad esempio, AUDIOPALM-2-8B-AST. ref. ), SEAMLESSM4T-V2 migliora sul punteggio FLEURS X-eng S2TT BLEU di 6,9 punti (da 19,7 a 26,6; cioè, un miglioramento del 35%). 21 tavolo (colonne S2ST) confronta anche S2ST tra modelli SEAMLESSM4T e modelli in cascata. per S2ST, esploriamo due opzioni per la cascata: (1) tre fasi con ASR, T2TT e TTS e (2) due fasi con S2TT e TTS. Entrambi i tipi di sistemi in cascata si basano su un modello TTS per sintetizzare il discorso tradotto, e per questo usiamo YOURTTS Quando sintetizzare il linguaggio inglese e MMS when synthesizing speech in the 26 non-English languages of comparison (overlap between the support of SEAMLESSM4T and the support of TTS systems of MMS). Our SEAMLESSM4T-LARGE outperforms the two-stage cascaded models on FLEURS X–eng directions by 8 ASR-BLEU points (17.8–25.8). It also outperforms stronger three-stage cascaded models (WHISPER-LARGE-V2 + NLLB-3.3B + YOURTTS) by 2.1 ASR-BLEU points (23.7–25.8). The improved SEAMLESSM4T-V2 further strengthen this lead on S2ST FLEURS X–eng with an additional +3.9 ASR-BLEU points (25.8–29.7). On CVSS, SEAMLESSM4T-V2 outperforms the two-stage cascaded model (WHISPER-LARGE-V2 + YOURTTS) by a large margin of 9.6 ASR-BLEU points (29.6–39.2). On FLEURS S2ST eng–X directions, we reduce the evaluation set to the 26 languages supported by both TTS of MMS and SEAMLESSM4T. The medium-size model (SEAMLESSM4T-MEDIUM) scores an average ASR-BLEU of 15.8. SEAMLESSM4T-LARGE achieves an average ASR-BLEU of 20.9 and with its improved speech encoder and non-autoregressive T2U model, SEAMLESSM4T-V2 further gains +5.2 ASR-BLEU points (20.9– 26.1). By contrast, the best three-stage cascaded system with MMS (WHISPER-LARGE-V2 + NLLB-3.3B + MMS) scores an average 22.7 ASR-BLEU, that is, SEAMLESSM4T-V2 surpasses state-of-the-art cascaded models by 15% (22.7–26.1). 3 22 23 Condividiamo nella sezione Informazioni supplementari risultati di valutazione per i compiti di S2TT e S2ST con metriche aggiuntive, tra cui il nostro modalit-agnostic BLASER 2.0. IV.1 di Risultati multitasking Riferimenti in tavola risultati sul benchmark FLEURS per le attività di ASR e zero-shot T2ST (X–eng e eng–X), e il relativo benchmark FLORES per T2TT (X–eng e eng–X). sulla sovrapposizione di 77 lingue supportate con una riduzione del WER del 46% (da 41.7 a 22.6), mentre SEAMLESSM4T-V2 migliora rispetto a WHISPER-LARGE-V2 del 56% (da 41.7 a 18.5). Contro il MMS SEAMLESSM4T-V2 supera le varianti MMS valutate con CTC di più del 38% WER (da 31,0 a 19,1), ma è superato dalle varianti che sfruttano i modelli di lingua n-gram monolingue (5% meglio WER con 18,6). 4 20 9 23 Nell'attività di supporto T2TT, i risultati in Tabella show that our SEAMLESSM4T models are on par with NLLB-3.3B (ref. in entrambe le direzioni X-eng e eng-X. 4 6 In seguito abbiamo valutato i modelli SEAMLESSM4T sullo scopo di T2ST in modo zero-shot. Dato che FLEURS ha raccolto tre registrazioni da tre diversi altoparlanti nativi per ciascun campione, abbiamo selezionato casualmente uno per il compito di T2ST (l'ingresso è testo). (le colonne T2ST) un confronto tra i modelli SEAMLESSM4T e i modelli cascati con NLLB e YOURTTS (inglese TTS) o MMS (non-inglese TTS) per la sintesi del testo tradotto. Abbiamo misurato la media dei punteggi ASR-BLEU su 88 direzioni X-eng (la sovrapposizione tra FLEURS e le lingue supportate da SEAMLESSM4T). Abbiamo anche misurato la media ASR-BLEU su 26 direzioni eng-X ( sovrapposizione di SEAMLESSM4T con modelli TTS di MMS). Rispetto ai modelli cascati, la capacità zero-shot di SEAMLESSM4T-LARGE V2 è pari a NLLB-3.3B + YOURTTS in X 4 Per comprendere ulteriormente da dove provengono i miglioramenti nelle direzioni FLEURS S2TT X-eng, abbiamo raccolto le lingue per livello di risorsa (vedi l'elenco esatto delle lingue nella Tabella Supplementare). ) e segnalare il punteggio medio BLEU per livello di risorsa nella Tabella I risultati mostrano che SEAMLESSM4T migliora notevolmente la qualità della traduzione da lingue a basse risorse con un miglioramento di +10,2 BLEU (da 18.0 a 28,2, cioè, un miglioramento del 57% rispetto ad AUDIOPALM-2-8B-AST). Abbiamo anche una media nella colonna Low* sulle direzioni a basse risorse che sono supervisionate in AUDIOPALM-2-8B-AST. Il guadagno di +7,8 BLEU in quel sottoinsieme di direzioni suggerisce che questo miglioramento va oltre la pura supervisione ma dovrebbe invece essere attribuito alla qualità dei dati supervisionati e alle ricette di formazione. 12 5 Valutazione automatica e umana La precisione semantica nella traduzione vocale è generalmente valutata con la metrica automatica BLEU per S2TT o la sua estensione ASR-BLEU per S2ST. Inoltre, utilizziamo BLASER 2.0 (ref. ), an extension of BLASER , che ora consente la valutazione agnostico-modalità e la stima di qualità sia per la parola e il testo. 10 24 25 Per completare l'utilità delle metriche automatiche, abbiamo anche fatto affidamento su un'ampia valutazione umana dei nostri modelli. Nel seguente, forniamo la valutazione umana per i compiti S2TT e S2ST con il protocollo XSTS (similitudine di testo semantico translinguale) e MOS (Median Opinion Score) protocollo per le uscite vocali (vedi di “ Tuttavia, copriamo un numero limitato di modelli (SEAMLESSM4T-LARGE, SEAMLESSM4T-LARGE V2 e una linea di base in cascata composta da WHISPER-LARGE-V2 per ASR, NLLB 3.3B per la traduzione e YOURTTS o MMS per TTS per il compito S2ST) e istruzioni di traduzione (23 lingue da e in inglese, 10 lingue X-eng per MOS) a causa delle restrizioni delle risorse. 26 Metodi Human evaluation I punteggi XSTS mostrano che SEAMLESSM4T-LARGE V2 supera sia i sistemi di base cascata che SEAMLESSM4T-LARGE in termini di punteggio XSTS e tasso di vincita a livello medio (la frazione di lingue valutate per le quali le prestazioni di XSTS sono superiori), per tutti i compiti e le direzioni linguistiche con alta fiducia. Per il compito S2ST, dove le prestazioni relative di SEAMLESSM4T-V2 erano le più forti, il tasso di vincita degli approcci SEAMLESSM4T-V2 è del 100% rispetto a entrambe le linee di base cascate e SEAMLESSM4T-LARGE per entrambe le direzioni X-eng e eng-X, con punteggio linguistico medio XSTS e per i risultati a livello linguistico completo e riassunti XSTS, rispettivamente. 22 24 Abbiamo anche misurato la qualità della uscita vocale per il S2ST utilizzando un protocollo di punteggio delle opinioni medie che valuta (1) la qualità del suono, (2) la chiarezza del discorso e (3) la naturalezza. riteniamo che, in generale, su tutti gli aspetti MOS, SEAMLESSM4T-LARGE V2 tende a essere preferito a SEAMLESSM4T-LARGE, che tende a essere preferito alle linee di base dei modelli cascati, ad eccezione di X-eng, per i quali le generazioni SEAMLESSM4T-LARGE sono fortemente preferite (+1 punto di differenza media tra le generazioni SEAMLESSM4T-LARGE e SEAMLESSM4T-LARGE V2), un risultato inaspettato che può essere una conseguenza delle differenze nelle architetture dei modelli che e per risultati di livello linguistico completo e MOS riassunti, rispettivamente. 23 24 Utilizzando le valutazioni XSTS del compito S2ST, BLASER 2.0 (media su tutti gli elementi di valutazione in una determinata direzione linguistica) raggiunge correlazioni Spearman superiori con i punteggi XSTS calibrati a livello linguistico in entrambe le direzioni X-eng (0,845 per BLASER 2.0 rispetto a 0,74 per ASR-BLEU) e in particolare per la direzione eng-X (0,81 per BLASER 2.0 rispetto a 0,246 per ASR-BLEU). per i risultati completi). 21 Infine, abbiamo testato i nostri modelli per la robustezza in termini di rumore e variazioni degli altoparlanti creando benchmarks di robustezza aperti basati su FLEURS (vedi di “ A tal fine, si scopre che SEAMLESSM4T-V2 è, in media, rispettivamente, circa il 42% e il 66% più resistente al rumore di sfondo e alla variazione degli altoparlanti rispetto a WHISPER-LARGE-V2 (vedere i risultati completi nella sezione Informazioni supplementari). e) il Methods Robustness V.2 Responsabile AI Tossicità La tossicità può essere definita come casi di profanità o di linguaggio che possono incitare all'odio, alla violenza o all'abuso nei confronti di un individuo o di un gruppo (come una religione, una razza o un genere).Quando si tratta di classificatori di tossicità massicciamente multilingue per il testo, il toolkit ETOX sembra essere l'unica opzione apertamente accessibile con la più ampia copertura linguistica. . In the context of speech translation, we were primarily worried about added toxicity—the introduction in translations of toxic elements not present in source utterances. Speech toxicity has been evaluated for English in ref. and, recently, for tens of languages with MuTox . 27 28 29 Pertanto, per la rilevazione della tossicità multilingue del linguaggio e del testo, abbiamo utilizzato ETOX (o ASR-ETOX per S2ST) e MuTox (sia per il linguaggio che per il testo) come metriche per rilevare e valutare la tossicità aggiunta. Per la mitigazione della tossicità, abbiamo implementato due tecniche per affrontare la tossicità aggiunta. nel tempo di inferenza (vedi di “ “Il 11 Metodi Tossicità di rilevamento Abbiamo calcolato la tossicità aggiunta in due set di dati (FLEURS e HOLISTICBIAS ) su 24 direzioni di traduzione con inglese (arb, ben, cat, ces, dan, deu, est, fin, fra, hin, ind, ita, nld, pes, pol, por, rus, slk, spa, swh, tgl, tur, urd, vie), utilizzando le lingue all'intersezione della copertura dei sistemi e MuTox avendo ottenuto un benchmark (nota che MuTox ha una copertura linguistica più ampia, simile a SONAR, ma è stata benchmarkata solo in 30 lingue Vedere i risultati con più direzioni di traduzione valutate con ETOX nella sezione Informazioni supplementari Il tavolo mostra che, sebbene i livelli e i tipi di tossicità aggiunta variino in modo significativo in funzione del linguaggio e del set di dati, la tossicità aggiunta nei nostri sistemi ha una prevalenza relativamente bassa, coerente tra le nostre due metriche di rilevamento della tossicità (<0,4%). La tossicità più bassa per tutte le modalità, le direzioni e i set di dati è ottenuta costantemente con SEAMLESSM4T-V2 + MinTox, ottenendo riduzioni di tossicità fino al 5% in termini di MuTox (e fino all'80% in termini di ETOX) rispetto allo stesso modello senza utilizzare MinTox, e fino al 20% in termini di MuTox (fino al 90% in termini di ETOX) rispetto alla linea di base (vedere i risultati completi nella sezione Informazioni supplementari). e) il 27 29 VI.1 di 6 6 VI.1 di Bias di genere Questo bias può manifestarsi esplicitamente come una sovrasgeneralizzazione a un genere quando si traduce non-genere in forme generiche (ad esempio, outputs che favoriscono le rappresentazioni maschili) o come una mancanza di robustezza quando si varia la qualità della traduzione per le frasi che differiscono solo in inflexione di genere. Previous work on this matter is mostly in the text modality , , and tends to be English-centric, with few demographic axes and multilingual references. Similar efforts for the speech modality remain sparse , . 30 31 32 33 34 Abbiamo usato gli olistici multilingue and its speech extension to compare the performance of S2TT and S2ST. The eng–X direction enables comparing performance in the presence of masculine or feminine references, and the X–eng direction enables robustness comparisons in translations when we alter gender inflection. A typical example of the English–Spanish language pair would be ‘I’m a homemaker’ and the corresponding translations ‘Soy amo de casa’ and ‘Soy ama de casa’ in Spanish. When translating from English to Spanish, we can measure if the system overgeneralizes to one gender, whereas in the other direction, we can evaluate the robustness of the translation to gender inflection (see di “ “Il 35 Methods L'estensione del discorso di HOLISTICBIAS multilingue Abbiamo condotto una serie di valutazioni complete sui pregiudizi di traduzione per S2TT e S2ST (vedi Tabella dei dati estesi). for average results and Supplementary Information section Per ottenere risultati dettagliati). SEAMLESSM4T-V2 migliora costantemente la robustezza delle variazioni di genere in tutte le metriche e i compiti. Rispetto al modello precedente, SEAMLESSM4T-V2 migliora SEAMLESSM4T-LARGE del 0,4% in S2TT e BLASER 2.0 del 0,1% in S2ST, e batte il sistema di base esterno di WHISPER-LARGE-V2 (+YOURTTS) del 0,1% in S2TT e del 0,9% in BLASER 2.0 per S2ST. Tuttavia, SEAMLESSM4T-V2 non è in grado di migliorare costantemente in termini di overgeneralization di genere rispetto al modello precedente. SEAMLESSM4T-V2 è comparabile in termini di BLASER 2.0 a SEAMLESSM4T-LARGE, 3 VI.2 Impatto sociale e conclusione Il mondo in cui viviamo non è mai stato più interconnesso: la proliferazione globale di Internet, dispositivi mobili, piattaforme di comunicazione e social media espone le persone a più contenuti multilingue che mai prima. L’attuale ordine sociale pone una domanda sulla disponibilità mondiale di una persona. , a measure of how competent a person is to take on the polyglot world. Initially developed in the context of language learning, world-readiness underscores the importance of being able to communicate in languages beyond our mother tongue for both instrumental (that is, employment or schooling) and cultural reasons (that is, to become a global citizen). That said, although we believe that language acquisition should remain a key mechanism for boosting our world-readiness, we acknowledge that doing so requires resources many people may not possess. 36 12 The downstream applications that SEAMLESSM4T supports could allow on-demand access to world-readiness by streamlining multilingual exchange across various contexts. SEAMLESSM4T-supported applications could act as a co-piloting mechanism that supports users in multilingual conversations and boosts their confidence in speech-heavy interactions. As speech-based interfaces (for example, audio assistants, voice memos and live transcriptions) and auditory content (for example, podcasts, audiobooks and short-form videos) become ever more present, SEAMLESSM4T-enabled downstream applications could unlock a greater variety of multilingual experiences. From an inclusion standpoint, the focus of SEAMLESSM4T on multimodality could make a meaningful difference in augmenting the world-readiness of those with accessibility needs and those whose languages can be transcribed with multiple writing systems. For many who lack reading or writing skills, or cannot rely on sight (that is, people who are blind or with visual impairment), voice-assisted technologies are essential to how they communicate and stay connected La capacità di tradurre il discorso dà a questi gruppi un accesso più completo alle informazioni non solo al di là delle loro lingue native, ma anche in modo più adatto alle loro esigenze comunicative. 37 Come con la maggior parte delle tecnologie, la distribuzione dei benefici varia in base alla demografia degli utenti e alla situazione sociale. Anche se affermiamo che SEAMLESSM4T potrebbe aumentare la disponibilità mondiale abbassando le barriere nella comunicazione cross-lingua, alcuni utenti possono sperimentare maggiori difficoltà nell'utilizzo del nostro lavoro rispetto ad altri. ad esempio, simile a molte altre tecnologie vocali, le prestazioni ASR di SEAMLESSM4T possono variare in base al sesso, alla razza, all'accento o alla lingua , Inoltre, le prestazioni del nostro sistema nel tradurre lo slang o i nomi appropriati possono anche essere incoerenti tra le lingue di alto e basso contenuto. 38 39 40 Another challenge for S2ST is that speech tends to hinge on immediate reception and feedback more than written language does. In other words, speakers are limited in their ability to ascertain the quality of an output or make edits in a live conversation. Without the ability to plan and revise with the help of back-translation or a native speaker, S2ST may carry higher degrees of interactional risk when it comes to mistranslations or toxicity. We urge researchers and developers who fine-tune or build artefacts using SEAMLESSM4T to think critically about design features that could help users circumvent these potential obstacles. Importantly, we believe that SEAMLESSM4T-fueled applications should best be viewed as an augmentation device that assists in translation rather than a tool that replaces the need for language learning or reliable human interpreters. This reminder is especially pertinent in high-stakes situations involving legal or medical decision-making. Infine, il discorso non è un testo parlato – include una suite di prosodici (ad esempio, ritmo, stress, intonazione o tono) e componenti emotivi che meritano ulteriori ricerche. . To create S2ST systems that feel organic and natural, more research should be directed at output generation that preserves expressivity . Moreover, the consummate realization of the Babel Fish requires deeper investments into research on low-latency speech translation. Developing systems that enable streaming (that is, incrementally translating an input sentence as it is being presented) may increase the adoption of these systems across institutional contexts , Speriamo che SEAMLESSM4T apra nuove possibilità per entrambe queste aree di ricerca. 41 42 43 44 Metodi Dati Lo sviluppo di un efficace sistema di traduzione multilingue e multimodale come SEAMLESSM4T richiede notevoli risorse in tutte le lingue e le modalità. Alcune risorse di traduzione etichettate dall'uomo sono libere, ma spesso limitate a un piccolo set di lingue o in domini molto specifici. Il Corpus delle Nazioni Unite Alcune collezioni create dall'uomo coinvolgono anche la modalità del discorso, come CoVoST , and mTEDx . Yet no open dataset currently matches the size of those used in initiatives such as WHISPER di USM , which proved to unlock unprecedented performance. 45 46 47 48 49 20 50 Parallel data mining emerges as an alternative to using closed data, in terms of both language coverage and corpus size. The dominant approach today is to encode sentences from various languages and modalities into a joint fixed-size embedding space and find parallel instances based on a similarity metric. Mining is then performed by pairwise comparison over massive monolingual corpora, in which sentences with similarity above a certain threshold are considered mutual translations , Questo approccio è stato introdotto per la prima volta utilizzando lo spazio multilingue LASER La formazione insegnante-studente è stata quindi utilizzata per scalare questo approccio a 200 lingue , Successivamente, la forma del discorso , . 51 52 53 6 16 54 55 Audio processing and speech LID Abbiamo iniziato con 4 milioni di ore di audio crudo provenienti da un repository accessibile al pubblico di dati web crawl su cui abbiamo applicato diverse operazioni di pulizia e filtraggio. Per massimizzare il richiamo del mining, è importante che tutti i segmenti abbiano una granularità simile. Per il dominio del testo, una frase è generalmente ben definita. Questo è meno evidente per il discorso crudo perché le pause non sono necessariamente utilizzate ai confini della frase. per dividere i file audio in segmenti più brevi. In secondo luogo, per ciascun segmento è stato applicato un modello LID di voce recentemente sviluppato. and extends the open-source model trained on VoxLingua107 Infine, abbiamo applicato un approccio di over-segmentazione che proponeva simultaneamente molteplici, potenzialmente sovrapposte segmentazioni del linguaggio. Abbiamo affidato l'approccio di mining per allineare quelli più probabili. shows this pipeline. 56 13 14 1 Sonare I codificatori di testo e di parola SONAR sono stati sviluppati in ref. using a two-step approach (Supplementary Fig. In primo luogo, è stata appresa una rappresentazione massicciamente multilingue solo per la modalità di testo. Poi, la formazione insegnante-studente è stata utilizzata per estendere lo spazio di incorporazione alla modalità di parola. Lo spazio di incorporazione di testo è stato addestrato con un approccio codificatore-decoder utilizzando una combinazione di obiettivi multipli: traduzione, denossi auto-codifica e obiettivo di perdita di errore quadrato medio (MSE) nello spazio di incorporazione di frase. I dati di formazione erano identici a quelli utilizzati per addestrare il modello NLLB , cioè dati paralleli alla traduzione da 200 a 200 lingue. gli codificatori vocali sono stati addestrati solo sui dati ASR e raggruppando le lingue in gruppi genealogici linguistici seguendo ref. , for example, Italic, Common Turkic or Indo-Iranian languages. To obtain optimal performance, we determined the optimal convergence separately for each language (that is, when to stop training). This yielded a separate speech encoder for each language. The amount of available ASR data for each language is provided in Supplementary Table . The speech encoders were initialized with w3v-best 2.0 speech front end. Preceding work performed max pooling or mean pooling of the output states of the speech front end to obtain a fixed-size embedding of the speech signal , Uno studio di ablazione ha dimostrato che migliori risultati possono essere ottenuti utilizzando un decoder trasformatore a tre strati . Teacher–student training consisted of minimizing the MSE loss with respect to the embedding of the ASR text transcriptions. These embeddings were obtained by the SONAR text encoder, which was kept constant. No translations (into English) were used. 8 2 6 16 8 54 57 8 Il discorso We first calculated the embeddings of all over-segmented speech segments. For the text domain, we used exactly the same texts as the NLLB project e incorporato con l'encoder SONAR. La comparazione a coppia esaustiva può essere eseguita in modo efficiente con il toolkit FAISS La somiglianza è misurata con un criterio di margine come introdotto per la prima volta in ref. : 6 58 52 dove e are the source and target sentences, and ( • Denota il nearest neighbours of In altre lingue, abbiamo to 16. x y di NNK x k x k As an example, this amounts to comparing a hundred thousand hours of speech with more than 20,000 million English sentences, which yielded about eight thousand hours of aligned Arabic speech. Modelli The SEAMLESSM4T models rely on our multitask UNITY architecture. Our proposed unified translation model builds on vanilla UNITY , a two-pass decoding framework that first generates text and subsequently generates speech by predicting discrete acoustic units (see section ‘ Confronto con il modello UNITY vanilla , (1) il modello S2TT di base, inizializzato da zero in UNITY, viene sostituito da un modello X2T che supporta il testo come input ed è pre-addestrato per ottimizzare congiuntamente le attività di ASR, S2TT e T2TT (vedere sezione " ’), and (2) the shallow T2U model (referred to as T2U unit encoder and second-pass unit decoder in ref. ) è sostituito da un modello più profondo di codec-decoder basato su trasformatore con sei strati di trasformatore che sono pre-addestrati sui dati ASR (vedere sezione " Una versione migliorata di UNITY, soprannominata UNITY2, sostituisce il T2U autoregressivo con un nuovo decoder T2U non autoregressivo (NAR). Questo modello NAR T2U offre una maggiore precisione a causa del suo campionamento gerarchico dalle sottoscrizioni ai caratteri e poi alle unità. 59 Unità acustiche multilingue discrete 59 X2T Fine Tuning 59 S2ST fine-tuning La pre-addestramento di X2T ha prodotto un codec vocale più potente e un decoder di testo di prima passaggio di alta qualità, mentre la scalabilità e la pre-addestramento del modello T2U ci ha permesso di gestire meglio la generazione di unità multilingue senza interferenze. Multilingual discrete acoustic units Recent works have achieved state-of-the-art translation performance by using self-supervised discrete acoustic units as targets for building direct speech translation models , Questo consiste nel decomporre il problema S2ST in un passaggio di traduzione di voce-a-unità e un passaggio di conversione di unità-a-unità. Il set di token discreti (noto anche come vocabolario unitario) viene imparato applicando un -means algorithm to a set of multilingual audio samples. The -means centroids resemble a codebook that is used to map a sequence of XLS-R speech representations into a sequence of centroid indices or acoustic units. We used a unit vocabulary size = 10.000 con caratteristiche del 35 ° livello di XLS-R-1B per rappresentare i 35 linguaggi di destinazione supportati. 5 60 61 k k K Per il passaggio conversione unità-a-parola, abbiamo seguito ref. and built a multilingual vocoder for speech synthesis from the learnt multilingual units. This model is responsible for synthesizing audios from a sequence of units that SEAMLESSM4T models will predict. 62 Pre-allenamento discorso non supervisionato La pre-allenamento auto-supervisionato con dati audio vocali non etichettati è un approccio pratico per sfruttare i dati non etichettati. Con la pre-allenamento, possiamo avviare la qualità dei modelli di traduzione e sfruttare al meglio i nostri dati accoppiati supervisionati. Abbiamo pre-allenato un codice vocale seguendo il nostro migliorato W2V-BERT 2.0. W2V-BERT 2.0 utilizza più codec e un'ulteriore attività di previsione mascherata utilizzando quantizzatori di proiezione casuale (RPQ). Our W2V-BERT 2.0 model is first trained on 1 million hours of open speech audio data that covers over 143 languages. It follows the w2v-BERT XL architecture , which has 24 Conformer layers and approximately 600 million model parameters. For the v2 version, we scaled up the amount of unlabelled data from 1 million to 4.5 million hours of audio. The most recent and publicly available multilingual speech pretrained model is MMS . It is trained on only 0.5 million hours, spanning over 1,400 languages. The largest model in scale is USM Si tratta di un modello pre-addestrato di linguaggio multilingue proprietario con 12 milioni di ore di dati e più di 300 lingue in copertura. 63 64 63 65 23 50 Modelli di traduzione testo-testo Considera, ad esempio, la direzione inglese-italiana, una delle coppie altamente risorse in T2TT con più di 128 milioni di frasi parallele – solo 2 milioni di coppie di testo inglese accoppiate con audio italiano sono disponibili per S2TT. A key step in training multilingual text-to-text translation models is learning a shared vocabulary with a text tokenizer. Following ref. , we used SentencePiece con l'algoritmo BPE Il tokenizer usato in NLLB-200 suffers from missing key Chinese characters because of artefacts of sampling. This sampling does not favour logo-graphic writing systems with a large number of unique symbols. To fix this issue, we forced the inclusion of these characters. Our new tokenizer improves the coverage of the MTSU top 5K Chinese characters from 54% to 84%. 6 66 67 6 To train our multilingual text-to-text model, we followed the same data preparation and training pipelines in ref. Utilizzo di stop . Having a smaller language coverage allowed us to significantly decrease the size of the model to 1.3B parameters and only use NLLB-200 training data in the 95 SEAMLESSM4T languages. 6 68 Data augmentation with pseudo-labelling As with any sequence-to-sequence task, speech translation performance is dependent on the availability of high-quality training data. However, the amount of human-labelled data is scarce compared with its T2TT or ASR counterparts. To address this shortage of labelled data, we resort to pseudo-labelling , the ASR data with a multilingual T2TT model (for example, NLLB models) to generate pseudo-labelled S2TT data. 69 70 Per aumentare i dati S2ST, è comune utilizzare i modelli TTS per convertire il testo da set di dati vocali a testo in testo sintetico. , Questo processo di estrazione di unità a due passi è un processo lento ed è più difficile da scalare data la dipendenza dai modelli TTS. Abbiamo eludito la necessità di sintetizzare il linguaggio e abbiamo addestrato i modelli multilingue testo-a-unità (T2U) in tutte le 36 lingue del linguaggio bersaglio. Questi modelli possono convertire direttamente il testo in unità bersaglio e possono essere addestrati sui set di dati ASR che sono prontamente disponibili. 4 5 X2T fine-tuning La prima parte chiave del nostro framework UNITY multitask è il modello X2T, un modello multi-encoder sequence-to-sequence con un codificatore basato su conformer. per l'ingresso vocale e un altro codificatore basato su trasformatori for text input. Both encoders were joined with the same text decoder and fine-tuned jointly to optimize the tasks of ASR, S2TT and T2TT. 65 71 Our X2T model consists of joining the speech encoder, W2V-BERT 2.0 from M2, post-fixed with a length adapter to downsample long audio sequences, with the text encoder–decoder from M3 (Supplementary Fig. Per l'adattatore di lunghezza, abbiamo usato una versione modificata di M-adattatore , in which we replaced the three independent pooling modules for Q, K and V with a shared pooling module to improve efficiency. 4 72 L'applicazione è stata eseguita in base alle regole di utilizzo del codice X2T ( Discorso) in una lingua sorgente ⟩, paired with its transcription ( text) and text translation ( text) in a target language ⟨ Per consentire il trasferimento di significato tra le modalità, il modello X2T è stato raffinato per ottimizzare congiuntamente le seguenti funzioni obiettive: x Ls x y Lt We additionally optimized an auxiliary objective function in the form of token-level knowledge distillation () to further transfer knowledge from the strong MT model to the student speech translation task (S2TT). The final loss is a weighted sum of all three losses: where di and are scalar hyper-parameters tuned on the development data. α β γ S2ST fine-tuning In the last stage of fine-tuning multitask UNITY, we initialized the model with the pretrained X2T model (see section ‘ Il modello T2U utilizzato per la pseudo-etichettatura è indicato come il modello T2U insegnante con 12 strati di trasformatore codificatore-decoder. Per l'inizializzazione, abbiamo utilizzato un modello T2U studente più piccolo con solo sei strati per ottimizzare la inferenza e distillare le etichette del T2U più forte. Nella seconda versione di SEAMLESSM4T, UNITY2 sostituisce il decoder unitario autoregressivo di secondo passaggio in UNITY con un decoder unitario NAR. Abbiamo adottato l'architettura decoder di FastSpeech2 and extended it to discrete unit generation. UNITY2 starts with hierarchically upsampling the T2U encoder output from subword length to character length and then to unit length. The unit duration predictor, the key to the hierarchical upsampling, is supervised during training by a multilingual aligner based on RAD-TTS L'architettura è illustrata in dettaglio nella sezione Informazioni supplementari . X2T Fine Tuning 73 74 IV.8 Finiamo il compito S2ST con una combinazione di dati di traduzione X-eng e eng-X S2ST totali di 121.000 h. Congelamo i pesi del modello corrispondenti al modello X2T e finiamo solo il componente T2U. Questo è per garantire che le prestazioni del modello sulle attività delle fasi precedenti del fine-tuning rimangano invariate. Valutazione automatica e umana Blizzard 2.0 Scrivi una recensione su BLASER 2.0 (ref. è la nuova versione di BLASER , che funziona sia con le modalità vocali che con le modalità di testo, e quindi è agnostico. Come la prima versione, il nostro approccio sfrutta la somiglianza tra le incorporazioni di frase di input e di output. La nuova versione utilizza le incorporazioni SONAR sezione Informazioni supplementari , supports 57 languages in speech and 202 in text (coverage of languages by SONAR at the moment of submission of this paper) and is extendable to future encoders for new languages or modalities that share the same embedding spaces. For the purposes of evaluating speech outputs (and unlike ASR-based metrics), BLASER 2.0 offers the advantage of being text-free. 24 75 III.3.1 Più specificamente, in BLASER 2.0, prendiamo l'ingresso sorgente, l'uscita tradotta da qualsiasi modello S2ST, S2TT o T2TT, e il segmento di riferimento o testo, e li convertiamo in vettori di incorporazione SONAR. Human evaluation Apart from automatic metrics such as (ASR) BLEU and BLASER 2.0, we used human metrics such as XSTS , che misura la somiglianza semantica tra una traduzione sorgente e una traduzione bersaglio, e un punteggio di opinione media standard (come standardizzato nella raccomandazione ITU-T P.800, di seguito MOS), che misura (1) la naturalità, (2) la qualità del suono e (3) la chiarezza delle generazioni audio per valutare i nostri modelli. . Apart from XSTS, we also obtained MOS evaluations to understand other aspects of audio quality in the target speech. For additional information about human evaluation protocols and analysis, see Supplementary Information section . 26 6 V.1 La robustezza Abbiamo costruito un benchmark di valutazione della robustezza del rumore replicabile basato su FLEURS (noisy FLEURS), che copre 102 lingue, due compiti vocali (S2TT e ASR), e vari tipi di rumore (rumori naturali e musica). on the ‘noise’ and ‘music’ categories and mixed them with the original FLEURS speech audios under different signal-to-noise ratio (SNR): 10, 5, 0, −5, −10, −15 and −20. We compared models by BLEU-SNR curves (for S2TT) or WER-SNR curves (for ASR), which illustrate the degree of model performance degradation when the noise level of speech inputs increases (that is, when SNR decreases). For low-resource languages, the clean speech setup is already challenging, let alone a noisy one. Thus, we focused on four high-resource languages (French, Spanish, Modern Standard Arabic and Russian) belonging to three different language families for our noise-robustness analysis. 76 Abbiamo seguito il rif. to evaluate model robustness against speaker variations by calculating the average by-group mean score and by-group coefficient of variation using an utterance-level quality metric. Instead of using BLEU as the quality metric, we used chrF, which has better stability at the utterance level. The calculation of both robustness metrics does not require explicit speaker subgroup labels. We grouped evaluation samples and corresponding utterance-level chrF scores by content (transcript) and then calculated the average by-group mean score chrFMS and average by-group coefficient of variation CoefVarMS, defined as follows: 47 dove is the set of sentence-level chrF scores grouped by content (transcript) and . The two metrics are complementary: chrFMS provides a normalized quality metric that, unlike conventional corpus-level metrics, takes speaker variations into consideration, whereas CoefVarMS provides a standardized measure of quality variance under speaker variations. For robustness analysis, we conducted an out-of-domain evaluation on FLEURS on all languages that have at least 40 content groups in the test sets. G Responsible AI Toxicity detection Inspired by ASR-BLEU, this work proposes using ASR-ETOX as a new metric to detect added toxicity in speech and evaluate added toxicity for S2ST ability of SEAMLESSM4T. Essentially, this metric follows a cascaded framework by first deploying a standard ASR module (that is, the same that is used for ASR-BLEU as defined in Supplementary Table ), poi il modulo di rilevamento della tossicità, ETOX , which uses the Toxicity-200 word lists . For S2TT, the translated output can be directly evaluated with ETOX. In both cases (S2ST and S2TT), we measured added toxicity at the utterance or sentence level. We first computed toxicity detection for each input in the evaluation dataset and the corresponding output. Then, we compared them and counted a case as containing added toxicity only when the output value exceeds that of the input. Moreover, we used the recently proposed MuTox metric that can be applied to text or speech output with no need for ASR. This classifier has been trained on both speech and text toxicity labelled data for 30 languages. As MuTox relies on SONAR embeddings , MuTox the same number of languages by the zero-shot property. However, accounting for validated quality, we report MuTox only the languages that have been benchmarked . Again in both cases (S2ST and S2TT), we measured added toxicity at the utterance or sentence level. In this case, a sentence contains added toxicity if MuTox scores is >0.9 in the output and <0.5 in the input. We have experimentally validated these thresholds for several languages with human bilingual speakers for several pairs of languages. For S2TT, we computed MuTox in transcribed speech and target text. For S2ST, we computed MuTox in source and target speech. 2 27 6 29 29 For toxicity mitigation, we implement two techniques for the mitigation of added toxicity. Before training, we filter out training pairs with imbalanced toxicity. Furthermore, we use Mintox at inference time. In particular, the main workflow generates a translation hypothesis with an unconstrained search. Then, the toxicity classifier is run on this hypothesis. If no toxicity is detected, we provide the translation hypothesis as it is. However, if toxicity is detected in the output, we run the classifier on the input. If the toxicity is unbalanced (that is, no toxicity is detected in the input), we re-run the translation with mitigation, which is the BEAMFILTERING step. This BEAMFILTERING consists of taking as input the multi-token expressions that should not appear in the output and excluding them from the beam-search hypotheses. Note that we do not apply mitigation in cases in which there is toxicity in the input (in other words, we do not deal with cases in which there is toxicity in the input but more toxicity in the output). 11 We used two datasets to analyse added toxicity. First, we deployed FLEURS to better align with our human evaluation effort and other evaluative components of this work. Furthermore, we used the English-only HOLISTICBIAS framework che ha dimostrato di innescare una vera e propria tossicità aggiunta in studi precedenti In questo lavoro, estendiamo HOLISTICBIAS al discorso applicando il modello TTS inglese predefinito da MMS . 77 27 23 L'estensione del discorso di HOLISTICBIAS multilingue Per confrontare le prestazioni tra le modalità (S2ST e S2TT), abbiamo esteso HOLISTICBIAS MULTILINGUALE al discorso ( di In particolare, in X-eng, abbiamo tradotto sia le versioni maschili che le versioni femminili del discorso. Vale la pena notare che alcune lingue bersaglio non sono disponibili nel modello SEAMLESSM4T S2ST, quindi abbiamo eseguito traduzioni solo in 17 lingue per il compito S2ST nella direzione eng-X. Per S2TT in eng-X, abbiamo tutte le lingue incluse nel dataset MULTILINGUAL HOLISTICBIAS ( = 25). For reference, the complete language list used in our experiments can be found in Supplementary Table . 23 https://github.com/facebookresearch/fairseq/tree/main/examples/mms#tts-1 n 26 Per quanto riguarda le metriche di valutazione per S2TT, abbiamo usato chrF. Per S2ST, abbiamo usato ASRchrf (la trascrizione è fatta da WHISPER-LARGE e WHISPER-MEDIUM for eng–X and X–eng, respectively, and chrF has been calculated the same way as S2TT except that in S2ST, the text from both prediction and reference were normalized) and BLASER 2.0. It is worth noting that when evaluating on BLASER 2.0, we only included 14 languages (arb, cat, deu, eng, fra, nld, por, ron, rus, spa, swe, tha, ukr and urd) for the eng–X direction (overlapping languages from the generated TTS data and the languages available in our S2ST model). 20 Data availability Per rendere il nostro lavoro disponibile alla comunità, forniamo i seguenti set di dati open source, modelli e codice su GitHub ( ): (1) modelli SEAMLESSM4T, compresi i pesi dei modelli per SEAMLESSM4T-LARGE (2.3B parametri) e SEAMLESSM4T-MEDIUM (1.2B parametri), nonché il loro codice di inferenza e le ricette di fine-tuning alimentate dal nostro nuovo toolkit di modellazione FAIRSEQ2 ( 2) strumenti per la creazione di dati vocali allineati, compresi i metadati, per ricreare le 470.000 ore non filtrate di SEAMLESSALIGN, pipeline basate su STOPES ( ) per creare allineamenti simili a SEAMLESSALIGN e SONAR per codificatori vocali in 37 lingue e codificatori di testo in 200 lingue ( ) e (3) un modello di valutazione automatica S2ST senza testo, BLASER 2.0, inclusi pesi di modello e script di inferenza. https://github.com/facebookresearch/seamless_communication https://github.com/facebookresearch/fairseq2 https://github.com/facebookresearch/stopes https://github.com/facebookresearch/SONAR References Lavie, A. et al. Janus-III: speech-to-speech translation in multiple languages. In Vol. 1, 99–102 (IEEE, 1997). Proc. 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing Wahlster, W. (ed.) (Springer, 2000). Verbmobil: Foundations of Speech-to-Speech Translation Nakamura, S. et al. The atr multilingual speech-to-speech translation system. , 365–376 (2006). IEEE Trans. Audio Speech Lang. Process. 14 Article Google Scholar Jia, Y. et al. Direct speech-to-speech translation with a sequence-to-sequence model. In , 1123–1127 (ISCA, 2019). Proc. Interspeech 2019 Lee, A. et al. Direct speech-to-speech translation with discrete units. In (eds Muresan, S. et al.) Vol. 1, 3327–3339 (Association for Computational Linguistics, 2022). Proc. 60th Annual Meeting of the Association for Computational Linguistics NLLB Team Scaling neural machine translation to 200 languages. , 841–846 (2024). Nature 630 Article CAS Google Scholar Agarwal, M. et al. Findings of the IWSLT 2023 evaluation campaign. In (eds Salesky, E. et al.) 1–61 (Association for Computational Linguistics, 2023). Proc. 20th International Conference on Spoken Language Translation (IWSLT 2023) Duquenne, P.-A., Schwenk, H. & Sagot, B. SONAR: sentence-level multimodal and language-agnostic representations. Preprint at (2023). https://arxiv.org/abs/2308.11466 Popović, M. chrF: character n-gram F-score for automatic MT evaluation. In (eds Bojar, O. et al.) 392–395 (Association for Computational Linguistics, 2015). Proc. Tenth Workshop on Statistical Machine Translation Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (Association for Computational Linguistics, 2002). Proc. 40th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. R., Dale, D., Elbayad, M. & Yu, B. Added toxicity mitigation at inference time for multimodal and massively multilingual translation. In (eds Scarton, C. et al.) Vol. 1, 360–372 (European Association for Machine Translation, 2024). Proc. 25th Annual Conference of the European Association for Machine Translation ACTFL. World-readiness standards for learning languages. (2023). https://www.actfl.org/educator-resources/world-readiness-standards-for-learning-languages Desplanques, B., Thienpondt, J. & Demuynck, K. ECAPA-TDNN: emphasized channel attention, propagation and aggregation in TDNN based speaker verification. In (eds Meng, H. et al.) 3830–3834 (ISCA, 2020). Proc. Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event Valk, J. & Alumäe, T. VOXLINGUA107: a dataset for spoken language recognition. In 652–658 (IEEE, 2021). Proc. 2021 IEEE Spoken Language Technology Workshop, Chen, M., Heffernan, K., Çelebi, O., Mourachko, A. & Schwenk, H. xSIM++: An improved proxy to bitext mining performance for low-resource languages. In (eds Rogers, A. et al.) Vol. 2, 101–109 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. In , 2101–2112 (eds Goldberg, Y. et al.) (Association for Computational Linguistics, 2022). Findings of the Association for Computational Linguistics: EMNLP 2022 Feng, F., Yang, Y., Cer, D., Arivazhagan, N. & Wang, W. Language-agnostic BERT sentence embedding. In (eds Muresan, S. et al.) Vol. 1, 878–891 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Conneau, A. et al. FLEURS: FEW-Shot Learning Evaluation of Universal Representations of Speech. In , 798–805 (IEEE, 2023). 2022 IEEE Spoken Language Technology Workshop (SLT) Zhang, Z.-H. et al. Speak foreign languages with your own voice: cross-lingual neural codec language modeling. Preprint at (2023). https://arxiv.org/abs/2303.03926 Radford, A. et al. Robust speech recognition via large-scale weak supervision. In , article no. 1182, 28492–28518 (ACM, 2023). Proceedings of the 40th International Conference on Machine Learning Rubenstein, P. K. et al. AudioPaLM: a large language model that can speak and listen. Preprint at (2023). https://arxiv.org/abs/2306.12925 Casanova, E. et al. YourTTS: towards zero-shot multi-speaker tts and zero-shot voice conversion for everyone. In , Vol. 162, 2709–2720 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Pratap, V. et al. Scaling speech technology to 1,000+ languages. , 1–52 (2024). J. Mach. Learn. Res. 25 Dale, D. & Costa-jussà, M. R. Blaser 2.0: a metric for evaluation and quality estimation of massively multilingual speech and text translation. In (eds Al-Onaizan, Y. et al.) 16075–16085 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: EMNLP 2024 Chen, P.-J. et al. Speech-to-speech translation for a real-world unwritten language. In (eds Rogers, A. et al.) 4969–4983 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: ACL 2023 Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In (eds Duh, K. & Guzmán, F.) Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proc. 15th Biennial Conference of the Association for Machine Translation in the Americas Costa-jussà, M. et al. Toxicity in multilingual machine translation at scale. In , 9570–9586 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: EMNLP 2023 Ghosh, S., Lepcha, S., Sakshi, S., Shah, R. R. & Umesh, S. DeToxy: a large-scale multimodal dataset for toxicity classification in spoken utterances. In 2022, 5185–5189 (2022); . Proc. Interspeech https://api.semanticscholar.org/CorpusID:247940269 Costa-jussà, M. R. et al. MuTox: universal multilingual audio-based toxicity dataset and zero-shot detector. In (eds Ku, L.-W. et al.) 5725–5734 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: ACL 2024 Stanovsky, G., Smith, N. A. & Zettlemoyer, L. Evaluating gender bias in machine translation. In (eds Korhonen, A. et al.) 1679–1684 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Levy, S., Lazar, K. & Stanovsky, G. Collecting a large-scale gender bias dataset for coreference resolution and machine translation. In (eds Moens, M. F. et al.) 2470–2480 (Association for Computational Linguistics, 2021). Findings of the Association for Computational Linguistics: EMNLP 2021 Costa-jussà, M. R. et al. Interpreting gender bias in neural machine translation: Multilingual architecture matters. , 11855–11863 (2022). Proc. AAAI Conf. Artif. Intell. 36 Google Scholar Costa-jussà, M. R., Basta, C. & Gállego, G. I. Evaluating gender bias in speech translation. In (eds Calzolari, N. et al.) 2141–2147 (European Language Resources Association, 2022). Proceedings of the Thirteenth Language Resources and Evaluation Conference Bentivogli, L. et al. Gender in danger? Evaluating speech translation technology on the MuST-SHE corpus. In (eds Jurafsky, D. et al.) 6923–6933 (Association for Computational Linguistics, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. et al. Multilingual holistic bias: Extending descriptors and patterns to unveil demographic biases in languages at scale. In , 14141–14156 (Association for Computational Linguistics, 2023). Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing Zuckerman, E. The polyglot internet. (2008). https://ethanzuckerman.com/the-polyglot-internet/ Belekar, A., Sunka, S., Bhawar, N. & Bagade, S. Voice based e-mail for the visually impaired. , 8–12 (2020). Int. J. Comput. Appl. 175 Google Scholar Wang, S., Cooper, N. & Eby, M. From human-centered to social-centered artificial intelligence: Assessing ChatGPT’s impact through disruptive events. (2024). Big Data Soc. https://doi.org/10.1177/20539517241290220 Koenecke, A. et al. Racial disparities in automated speech recognition. , 7684–7689 (2020). Proc. Natl Acad. Sci. USA 117 Article ADS CAS PubMed PubMed Central Google Scholar Ngueajio, M. K. & Washington, G. Hey ASR system! Why aren’t you more inclusive? Automatic speech recognition systems’ bias and proposed bias mitigation techniques. A literature review. In (eds Chen, J. Y. C. et al.) Vol. 13518, 421–440 (Springer, 2022). Proc. International Conference on Human-Computer Interaction Elbow, P. The shifting relationships between speech and writing. , 283–303 (1985). Coll. Compos. Commun. 36 Article Google Scholar Trilla, A. & Alias, F. Sentence-based sentiment analysis for expressive text-to-speech. , 223–233 (2013). IEEE Trans. Audio Speech Lang. Process. 21 Article Google Scholar Iranzo-Sánchez, J., Civera, J. & Juan, A. From simultaneous to streaming machine translation by leveraging streaming history. In , 6972–6985 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Rybakov, O. et al. Streaming Parrotron for on-device speech-to-speech conversion. Preprint at (2022). https://arxiv.org/abs/2210.13761 Koehn, P. Europarl: A parallel corpus for statistical machine translation. In , 79–86 (2005). Proceedings of Machine Translation Summit X: Papers Ziemski, M., Junczys-Dowmunt, M. & Pouliquen, B. The United Nations Parallel Corpus v1.0. In (eds Calzolari, N. et al.) 3530–3534 (European Language Resources Association, 2016). Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16) Wang, C., Pino, J., Wu, A. & Gu, J. CoVoST: a diverse multilingual speech-to-text translation corpus. In (eds Calzolari, N. et al.) 4197–4203 (European Language Resources Association, 2020). Proceedings of the Twelfth Language Resources and Evaluation Conference Wang, C., Wu, A., Gu, J. & Pino, J. CoVoST 2 and Massively Multilingual Speech Translation. In , 2247–2251 (ISCA, 2021). Proc. Interspeech 2021 Salesky, E. et al. The multilingual TEDx corpus for speech recognition and translation. In , 3655–3659 (ISCA, 2021). Proc. Interspeech 2021 Zhang, Y. et al. Google USM: scaling automatic speech recognition beyond 100 languages. Preprint at (2023). https://arxiv.org/abs/2303.01037 Schwenk, H. Filtering and mining parallel data in a joint multilingual space. In (eds Gurevych, I. & Miyao, Y.) Vol. 2, 228–234 (Association for Computational Linguistics, 2018). Proc. 56th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In (eds Korhonen, A. et al.) 3197–3203 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Duquenne, P.-A., Gong, H. & Schwenk, H. Multimodal and multilingual embeddings for large-scale speech mining. In (eds Ranzato, M. et al.) Vol. 34, 15748–15761 (Curran Associates, 2021). Advances in Neural Information Processing Systems Duquenne, P.-A. et al. SpeechMatrix: a large-scale mined corpus of multilingual speech-to-speech translations. In (eds Rogers, A. et al.) Vol. 1, 16251–16269 (2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Silero. Silero VAD: pre-trained enterprise-grade voice activity detector (VAD), number detector and language classifier. (2021). GitHub https://github.com/snakers4/silero-vad Khurana, S., Laurent, A. & Glass, J. SAMU-XLSR: Semantically-Aligned Multimodal Utterance-Level Cross-Lingual Speech Representation. , 1493–1504 (2022). IEEE J. Sel. Top. Signal Process. 16 Douze, M. et al. The Faiss library. Preprint at (2024). https://arxiv.org/abs/2401.08281 Inaguma, H. et al. UnitY: two-pass direct speech-to-speech translation with discrete units. In (eds Rogers, A. et al.) Vol. 1, 15655–15680 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Tjandra, A., Sakti, S. & Nakamura, S. Speech-to-speech translation between untranscribed unknown languages. In , 593–600 (IEEE, 2019). 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Babu, A. et al. XLS-R: self-supervised Cross-lingual Speech Representation Learning at Scale. In , 2278–2282 (ISCA, 2022). Proc. Interspeech 2022 Gong, H. et al. Multilingual speech-to-speech translation into multiple target languages. Preprint at (2023). https://arxiv.org/abs/2307.08655 Chung, Y.-A. et al. w2v-BERT: combining contrastive learning and masked language modeling for self-supervised speech pre-training. In , 244–250 (IEEE, 2021). 2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Chiu, C.-C., Qin, J., Zhang, Y., Yu, J. & Wu, Y. Self-supervised learning with random-projection quantizer for speech recognition. In , 3915–3924 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Gulati, A. et al. Conformer: convolution-augmented transformer for speech recognition. In , 5036–5040 (ISCA, 2020). Proc. Interspeech 2020 Kudo, T. & Richardson, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In (eds Blanco, E. & Lu, W.) 66–71 (Association for Computational Linguistics, 2018). Proc. 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Sennrich, R., Haddow, B. & Birch, A. Neural machine translation of rare words with subword units. In (eds Erk, K. & Smith, N. A.) Vol. 1, 1715–1725 (Association for Computational Linguistics, 2016). Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics Andrews, P. et al. stopes - modular machine translation pipelines. In (eds Che, W. & Shutova, E.) 258–265 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Jia, Y. et al. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In , 7180–7184 (IEEE, 2019). 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) Pino, J., Xu, Q., Ma, X., Dousti, M. J. & Tang, Y. Self-training for end-to-end speech translation. In , 1476–1480 (2020). Proc. Interspeech 2020 Vaswani, A. et al. Attention is all you need. In (eds Guyon, I. et al.) Vol. 30 (Curran Associates, 2017). Advances in Neural Information Processing Systems Zhao, J., Yang, H., Haffari, G. & Shareghi, E. M-Adapter: modality adaptation for end-to-end speech-to-text translation. In , 111–115 (ISCA, 2022). Proc. Interspeech 2022 Ren, Y. et al. FastSpeech 2: fast and high-quality end-to-end text to speech. In (2021). Proc. 2021 International Conference on Learning Representations Shih, K. J. et al. RAD-TTS: parallel flow-based tts with robust alignment learning and diverse synthesis. In (2021). ICML Workshop on Invertible Neural Networks, Normalizing Flows, and Explicit Likelihood Models Chen, M. et al. BLASER: A text-free speech-to-speech translation evaluation metric. In (eds Rogers, A. et al.) Vol. 1, 9064–9079 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Snyder, D., Chen, G. & Povey, D. MUSAN: a music, speech, and noise corpus. Preprint at (2015). https://arxiv.org/abs/1510.08484 Smith, E. M., Hall, M., Kambadur, M., Presani, E. & Williams, A. “I’m sorry to hear that”: finding new biases in language models with a holistic descriptor dataset. In (eds Goldberg, Y. et al.) 9180–9211 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing Riconoscimenti Noi ringraziamo S. Edunov e A. Fan per aver aiutato a modellare le fasi precedenti del progetto; S. Bhosale, V. Goswami, F. Hernandez e Y. Zhang per il loro sostegno alla costruzione di modelli di denosizzazione audio; M. Seejoor e M. Duppenthaler per i suoi contributi a BLASER 1.0; K. Klyushkin per il suo aiuto a costruire esperienze migliori; A. Moghevnikov per i suoi contributi alla ricerca FAIRSEQ2 e SONAR; A. Ni e X. Zhang per il loro aiuto a benchmarcare i modelli di denosizzazione audio; N. Seejoor e M. Duppenthaler per il loro aiuto a creare la demo; V. Goswami, S. Huhan, B. Acun-U Questo documento è disponibile in natura sotto la licenza CC by 4.0 Deed (Attribution 4.0 International). Questo documento è disponibile in natura sotto la licenza CC by 4.0 Deed (Attribution 4.0 International).