Denne AI kan høre, oversætte og tale tilbage på 100 sprog

Forfattere af: Loïc Barrault af Yu-An Chung af Mariano Coria Meglioli af David Dale Nørre Dong af Paul-Ambroise Duquenne Hænder Elsahar Hongyu Gong Kevin Heffernan af John Hoffman af Christopher Klaiber af Pengwei Li Daniel Lys af Jean Maillard af Alice Rakotoarison Kaushik Ram Sadagopan af Guillaume Wenzek af Ethan Ye Forfattere af: af Loïc Barrault af Yu-An Chung af Mariano Coria Meglioli af David Dale Nørre Dong af Paul-Ambroise Duquenne Hænder Elsahar af Hongyu Gong af Kevin Heffernan af John Hoffman af Christopher Klaiber af Pengwei Li Daniel Lys af Jean Maillard af Alice Rakotoarison af Kaushik Ram Sadagopan af Guillaume Wenzek af Ethan Ye Abstrakte Oprettelsen af Babel Fish, et værktøj, der hjælper enkeltpersoner med at oversætte tale mellem to sprog, kræver avanceret teknologisk innovation og sproglig ekspertise. , , , skalerbare og højtydende enhedssystemer , For at imødegå dette hul introducerer vi SEAMLESSM4T – Massivt Flersproget og Multimodal Machine Translation – en enkelt model, der understøtter tale-til-tale-oversættelse (101 til 36 sprog), tale-til-tekst-oversættelse (fra 101 til 96 sprog), tekst-til-tale-oversættelse (fra 96 til 36 sprog), tekst-til-tekst-oversættelse (96 sprog) og automatisk talegenkendelse (96 sprog). Bygget ved hjælp af et nyt multimodalt korpus af automatisk afstemt tale-oversættelser og andre offentligt tilgængelige data, SEAMLESSM4T er et af de første flersprogede systemer, der kan oversætte fra og til engelsk for både tale- og tekstopgaver. Desuden overgår det de eksisterende state-of-the-art cascaded 1 2 3 4 5 Hoved Babelfisk fra er et fiktivt værktøj, der oversætter mellem to sprog. I det nutidige globale landskab, der er præget af stigende sammenkobling og mobil socialitet, er det sociale imperativ for at opdatere disse teknologier og lette on-demand tale-til-tale-oversættelse (S2ST) både i den digitale og i den fysiske verden aldrig blevet større. På trods af taleens centralitet i daglig kommunikation forbliver maskinoversættelsessystemer (MT) i dag tekstorienterede. for flere detaljer om, hvorfor tale bør prioriteres i MT. Selvom enkelt, unimodale modeller som No Language Left Behind (NLLB) T2TT-dækning til mere end 200 sprog, unificerede S2ST-modeller er langt fra at opnå lignende omfang eller ydeevne. Hitchhiker's Guide til galaksen I1 af 6 Eksisterende S2ST-systemer har tre hovedfejl. For det første har disse systemer tendens til at fokusere på højressource-sprog, hvilket efterlader mange lavressource-sprog bag sig. For det andet tjener disse systemer for det meste oversættelse fra et kildesprog til engelsk (X-eng), ikke omvendt (eng-X). For det tredje er de fleste S2ST-systemer stærkt afhængige af kaskaden af flere delsystemer; for eksempel automatisk talegenkendelse (ASR) + T2TT + tekst-til-tale (TTS). Selvom der findes direkte systemer , , , de matcher ikke deres kaskadede modparters ydeevne Se afsnittet Supplerende oplysninger Læs mere om det nuværende tekniske landskab. 1 4 5 7 I.2 af For at imødegå disse begrænsninger introducerer vi SEAMLESSM4T (Massively Multilingual and Multimodal Machine Translation), et forenet system, der understøtter ASR, T2TT, tale-til-tekst-oversættelse (S2TT), tekst-til-tale-oversættelse (T2ST) og S2ST. For at opbygge dette har vi skabt et korpus af mere end 470.000 timers automatisk justerede taleoversættelser (SEAMLESSALIGN) ved hjælp af et nyt sætningsembeddingsrum (Sentence-level Multimodal and Language-Agnostic Representations, eller SONAR). Vi kombinerede derefter et filtreret delsæt af dette korpus med menneske-mærkede og pseudo-mærkede data for at udvikle det første multitasking-system, der udfører S2ST fra mere end 100 sprog til 36 sprog, S2TT og ASR til 96 sprog, nul-shot T2ST til 36 sprog, samt T2TT til 96 sprog (se tabel). For en sammenlignende oversigt over sprogdækning og supplerende oplysninger På grund af den forenede arkitektur af SEAMLESSM4T (Fig. ), kan modellen udføre T2TT, S2TT eller S2ST for ikke-engelske retninger (X-X) på en nul-shot måde. Den kan også udføre T2ST uden at være udtrykkeligt uddannet til denne opgave. Som et resultat af forudtræning af talekoderen af SEAMLESSM4T på store mængder af ubemærkede taledata (se afsnit ‘ ’), det kan håndtere udtalelser, der blander to eller flere sprog. 8 1 II af 1 Uovervåget taletræning af De tre hovedblokke af UNITY2 (S2ST fine-tuning) med dets ikke-autoregressive (NAR) T2U er vist øverst til venstre. Multitask-UNITY2 med sin yderligere tekstkoder er vist nederst til venstre. Nedbrydning af komponenterne af SEAMLESSM4T-V2 (en multitask-UNITY2 model) er vist til højre med sidepanelet viser læreren T2U model anvendt til pseudo-etikettering (M4). For at evaluere kvaliteten af vores modells outputs brugte vi flere eksisterende målinger, der spænder over opgaver og modaliteter, samt fire primære evalueringsdatasæt. For T2TT, BLÅ til S2TT, ASR-BLEU for S2ST og WER for ASR. Se supplerende tabel Vi har også testet vores modeller for modstandsdygtighed over for baggrundsstøj eller højttalervariation samt andre fronter for ansvarlig implementering, såsom kønsbias, ved hjælp af MULTILINGUAL HOLISTICBIAS datasæt, eller tilføjet toksicitet ved hjælp af nye talebaserede metrikker (ASR-ETOX og MuTox). . 9 10 5 2 11 Udover at bygge SEAMLESSM4T, diskuterer vi også de sociale konsekvenser af vores arbejde og hvordan det kan bidrage til større grad af verdensberedskab. i det lange løb (se afsnit » For at fremme fremtidig forskning gør vi dataværktøjerne, koden og to størrelser af SEAMLESSM4T-modellerne offentligt tilgængelige til ikke-kommerciel brug. 12 Social indvirkning og konklusion I de efterfølgende afsnit sporer vi de vigtigste resultater i udviklingen af vores SEAMLESSM4T-modeller. Først skitserer vi vores bestræbelser på at udvinde tilpassede tale- og tekstdata, fra tale-sprogidentifikation til udvinding af tilpassede tale- og tekstsegmenter ved hjælp af modalitetsagnostiske kodere. Dernæst rapporterer vi de vigtigste resultater af vores direkte oversættelsessystemer, der delvist er uddannet med ovennævnte automatisk tilpassede taledata. Disse resultater fremhæver opgavens alsidighed hos SEAMLESSM4T-modeller, der opnår flersproget state-of-the-art ydeevne i ASR, T2TT, S2TT og S2ST. Derefter støtter vi virksomhederne med resultater med menneskelig evaluer Data er Uddannelse af taleoversættelsessystemer kræver mærkede data, dvs. tale-til-tekst- og tale-til-tale-justerede data. Men disse ressourcer er meget begrænsede for sprog med lave ressourcer. og en stor samling af rå tale og tekster, som beskrevet i , til automatisk at udvinde tilpassede ressourcer, der supplerer eksisterende menneske-mærkede og pseudo-mærkede data. 8 Metoder Sprogidentifikation Behandling af rå tale fra internettet indebærer segmentering af udtalelser i kortere stykker efterfulgt af sprogidentifikation. Bygning på en open-source model trænet på VoxLingua107 med ECAPA-TDNN arkitektur , Vi har udviklet en ny model for talebaseret sprogidentifikation (LID), der dækker alle de 100 sprog, der præsenteres i dette arbejde (se »« ”For flere detaljer). 13 14 Metoder Lydbehandling og tale LID For at måle nøjagtigheden og tilbagekaldelsen af LID-modeller rapporterer vi F1-score på testdataene i Extended Data Table . Resultaterne er givet for de 100 data SEAMLESSM4T sprog (Overall) og de 79 fælles sprog mellem SEAMLESSM4T og VoxLingua107 (Intersection). Bemærk, at makro-F1 på alle sprog for VL107HF er lav, fordi 21 sprog ikke er dækket af denne model. Vi finder, at uddannelse på de yderligere sprog sænker den samlede ydeevne for det fælles sæt af sprog, hvilket er en direkte konsekvens af et højere antal nærtstående sprog. For eksempel, Zulu (zul) er meget ofte forvekslet med Nyanja (nya), Igbo (ibo) med Yoruba (yor), og Modern Standard Arabic (arb) med Marokkansk Arabisk (arisk) og Egyptisk Arabisk (arz model). Vores forbedrer klassificering nøjagtighed (F1 forskel 1 Sonar tekst indlejring rum For at udvinde automatisk afstemt oversættelsesdata fra sprog-identificerede segmenter, er vi afhængige af sprog- og modalitetsagnostiske kodere. I øjeblikket leverer vi en enkelt tekstkoder og dekoder til 200 sprog og talekodere til 37 sprog. I flersproget lighedssøgning, xsim og xsim++ er to velkendte proxy-målinger, der evaluerer flersprogede indlejringsrum med henblik på minedrift. SONAR overgår væsentligt andre populære tilgange som LASER3 Om LaBSE Det gælder både xsim og xsim++. 8 6 15 2 16 17 Den gennemsnitlige ydeevne på over 200 sprog er konkurrencedygtig i forhold til den mellemstore NLLB-tæthedsmodel, på trods af udskiftning af koder-dekoder-opmærksomhed i SONAR med en flaskehalskæde-faste-indlejring (se T2TT-kolonnerne i Extended Data Table). Dette resultat beviser, at brugen af opmærksomhed ikke er et krav for rimelig oversættelsesnøjagtighed. 2 Træning af talekodere Talekoderne blev uddannet med en lærer-student tilgang på tale transkriptioner kun (se »« ’). Evaluering af iterationer af hver tale koder i en end-to-end loop, det vil sige minedrift og træning af S2TT eller S2ST oversættelsessystemer, ville være computing-intensive. I stedet for, vi forbundet tale koderen med SONAR tekst dekoder og evalueret denne nul-shot S2TT system som en proxy for kvaliteten af koderen. , SONAR talekodere sammenligne favorabelt med en model som WHISPER-LARGE-V2 på FLORES og blomster Løsheder i nøjagtigheden kan observeres i nogle højressource-sprog som tysk, russisk eller portugisisk, men SONAR overgår WHISPER-LARGE-V2 i flere lavressource-sprog som swahili eller bengali (se Supplementary Table). ) af Metoder Soner 2 6 18 8 Seamlessalign SONARs tekst- og talekodere blev brugt til at udvinde tre typer af afstemt data: (1) engelsk tale til ikke-engelsk tekster (Sen2Txx); (2) ikke-engelsk tale til engelske tekster (Sxx2Ten); og (3) ikke-engelsk tale til engelsk tale (Sxx2Sen). SEAMLESSALIGN leverer 202.796 timers lyd i Sen2Txx, 239.767 timers lyd i Sxx2Ten og 29.161 timers lyd i Sxx2En. Disse afstemt data blev udvundet fra i alt 2.5M timers rå lyd (hvoraf engelsk er næsten 40%). . 8 For tekstdomænet bruger vi de samme data, der er konsolideret af NLLB-projektet Beløbet varierer fra henholdsvis 33 millioner eller 55 millioner sætninger for sprog med lav ressource som maltesisk eller swahili til 22 millioner engelske sætninger. 6 Med undtagelse af maltesisk, hvor vi kun havde adgang til en lille mængde rå lyd, var vi i stand til at udnytte mere end 100 timers talejusteringer med engelsk for alle sprog. At tilføje så store mængder data til at træne et flersproget oversættelsessystem er en betydelig beregningsudfordring. »« ’, ikke alle disse data blev brugt til modellering, men kun et delsæt med de højeste SONAR-justeringsresultater.Da vores udvundne data kan hjælpe med at understøtte mange forskellige brugssager, åbnede vi de metadata, der er nødvendige for at guide dens genoprettelse (op til en SONAR-tærskel på 1,15; se »« ’) at gøre det muligt for samfundet at genopbygge SEAMLESSALIGN og bruge det til deres egne formål. Den optimale tærskel kan således tilpasses baseret på opgaven og balancere datasætstørrelse og tilpasningskvalitet. Metoder Modellering Metoder talemåde Multifunktionelle oversættelsessystemer Kombination af modelleringsteknikker beskrevet i »« ’, med yderligere data fra SEAMLESSALIGN (se »« ’), vi uddannede SEAMLESSM4T modeller i to størrelser: store med 2.3B parametre og mellemstore med 1.2B parametre. SEAMLESSM4T-MEDIUM er beregnet til at være en tilgængelig test seng til enten finjustere, forbedre eller engagere sig i analyse med. Vi yderligere uddannet en forbedret version af den store SEAMLESSM4T, kaldet SEAMLESSM4T-V2, med en bedre tale koder (se »« ’) og en mere kraftfuld enhedsdekoder (se afsnit ’ Alle SEAMLESSM4T-modeller understøtter 96 kildesprog i tekstmodaliteten og mere end 100 kildesprog i talmodaliteten. På målsiden kan modellerne udstede 96 sprog i tekstform og 35 i taleform. og Dette viser, at for nogle oversættelsesretninger og i betragtning af manglen på overvåget data, vil vores modeller blive evalueret nul-shot. Metoder Modellering Metoder Data er Metoder Uovervåget taletræning S2ST finjustering 12 13 Vi evaluerede vores modeller på alle fire overvågede opgaver (T2TT, ASR, S2TT og S2ST) samt nul-shot opgaven med tekst-til-tale oversættelse (T2ST, også kendt som tværsproglig tekst-til-tale syntese). Vi scorer med chrF2++ for T2TT og BLEU for S2TT. Vi måler BLEU-score med SacreBLEU og giver signaturerne i Supplementary Table For ASR scorede vi med WER (word error rate) på normaliserede transkriptioner og referencer efter ref. . 19 2 20 Under S2ST og T2ST inference, udførte vi to-pass beam-search dekodning; den bedste hypotese ud af førstepass dekodning er indlejret med tekst dekoder og sendes til en tekst-til-enhed modul (T2U; se afsnit ‘ ’) for at søge efter den bedste enhedssekvenshypotese. Vi brugte en strålebredde på 5 for begge søgninger. Vi evaluerede S2ST og T2ST nøjagtighed med ASR-BLEU ved hjælp af WHISPER-modeller. Vi indstillede WHISPER's dekodningstemperatur til nul og brugte grådig dekodning for at sikre en deterministisk adfærd af ASR-modellen. De transkripterede hypoteser samt referencerne normaliseres efter ref. Før du beregner BLUE scores. S2ST finjustering 20 Sammenligning med cascading tilgange til tale oversættelse På det sæt sprog, der understøttes af både SEAMLESSM4T og WHISPER, sammenligner vi i tabel (S2TT-kolonner) præstationen af vores direkte S2TT-model til den af kaskademodeller, nemlig kombinationer af WHISPER ASR-modeller og NLLB T2TT-modeller. SEAMLESSM4T-V2 overgår de kaskademodeller med mindre end 3B-parametre i X-eng-retninger med 4,6 BLEU-punkter (fra 22.0 til 26.6) og i eng-X-retninger med 1 BLEU-punkt (fra 21.1 til 22.2). Disse modeller overstiger 4B parametre og er i høj grad overgået af SEAMLESSM4T-V2 i X-eng (+3.9); de kun marginalt overgå SEAMLESSM4T-V2 i eng-X retninger med 0,2 BLEU point. 3 3 Sammenlignet med tidligere direkte S2TT SOTA modeller, der lagde sig bag kaskadesystemer (f.eks AUDIOPALM-2-8B-AST. ref. ), SEAMLESSM4T-V2 forbedrer på FLEURS X-eng S2TT BLEU score med 6,9 point (fra 19,7 til 26,6; det vil sige en forbedring på 35%). 21 bordet (S2ST-kolonner) sammenligner også S2ST mellem SEAMLESSM4T-modeller og kaskademodeller. For S2ST udforsker vi to muligheder for kaskadering: (1) tre-trins med ASR, T2TT og TTS og (2) to-trins med S2TT og TTS. Begge typer kaskadesystemer er afhængige af en TTS-model for at syntetisere oversat tale, og til dette bruger vi YOURTTS Når du syntetiserer engelsk tale og MMS Når systemet syntetiserer tale på de 26 ikke-engelsksprog af sammenligningen (overlapning mellem understøttelse af SEAMLESSM4T og understøttelse af TTS-systemer af MMS). Vores SEAMLESSM4T-LARGE overgår de to-trins cascade modeller på FLEURS X-eng retninger med 8 ASR-BLEU-V2 point (17.8-25.8). Det overgår også denne stærkere ledning på S2 FSTLE Xeng med et yderligere gennemsnit på tre trin cascade modeller (WHISPER-LARGE-V2 + NLLB-3.3B + YOURTTS) med 2.1 ASR-BLEU-punkter (23.7-25.8). Den forbedrede SEAMLESSM4T-V2 forbedrer de to cascade cascade modeller (SEHLES 3 22 23 Vi deler i afsnittet Yderligere oplysninger evalueringsresultater for opgaverne S2TT og S2ST med yderligere målinger, herunder vores modalitetsagnostiske BLASER 2.0. IV.1 af Multitasking resultater Vi rapporterer på bordet resultater på FLEURS benchmark for opgaverne ASR og nul-shot T2ST (X–eng og eng–X), og den tilhørende FLORES benchmark for T2TT (X–eng og eng–X). På overlappende 77 understøttede sprog med en WER reduktion på 46% (fra 41.7 til 22.6), mens SEAMLESSM4T-V2 forbedrer over WHISPER-LARGE-V2 med 56% (fra 41.7 til 18.5). af MMS SEAMLESSM4T-V2 overgår de MMS-varianter, der evalueres med CTC, med mere end 38% WER (fra 31,0 til 19,1), men det overgår af varianter, der udnytter monolingual n-gram-sprogmodeller (5% bedre WER med 18,6). 4 20 9 23 I opgaven T2TT support, resultater i tabel viser, at vores SEAMLESSM4T modeller er på linje med NLLB-3.3B (ref. I både X-eng og eng-X retninger. 4 6 Vi evaluerede derefter SEAMLESSM4T-modellerne på opgaven med T2ST på en nul-shot måde. Da FLEURS indsamlede tre optagelser af tre forskellige indfødte højttalere for hver prøve, valgte vi tilfældigt en til opgaven med T2ST (indtastningen er tekst). (T2ST-kolonnerne) en sammenligning mellem SEAMLESSM4T-modeller og kaskademodeller med NLLB og enten YOURTTS (engelsk TTS) eller MMS (ikke-engelsk TTS) til syntesering af oversat tekst. Vi gennemsnitlige ASR-BLEU-resultater over 88 X-eng retninger (overlapningen mellem FLEURS og de sprog, der understøttes af SEAMLESSM4T). Vi gennemsnitlige også ASR-BLEU over 26 eng-X retninger (overlapning af SEAMLESSM4T med TTS-modeller af MMS). Sammenlignet med kaskademodellerne er SEAMLESSM4T-LARGE V2's nul-shot-evne på linje med NLLB-3.3B + YOURTTS i 4 For yderligere at forstå, hvor forbedringerne i FLEURS S2TT X-eng retninger kom fra, bucketede vi sprog efter ressource niveau (se den nøjagtige liste over sprog i Supplementary Table). ) og rapportere gennemsnitlige BLEU-point pr. ressourceniveau i tabel Resultaterne viser, at SEAMLESSM4T forbedrer kvaliteten af oversættelse fra sprog med lav ressource med en forbedring på +10,2 BLEU (fra 18.0 til 28,2, det vil sige en forbedring på 57% i forhold til AUDIOPALM-2-8B-AST).Vi gennemsætter også i kolonne Low* over retninger med lav ressource, der overvåges i AUDIOPALM-2-8B-AST. 12 5 Automatisk og menneskelig evaluering Semantisk nøjagtighed i taleoversættelse evalueres generelt med den automatiske metrik BLEU for S2TT eller dens udvidelse ASR-BLEU for S2ST. Desuden bruger vi BLASER 2.0 (ref. ) en udvidelse af BLASER , som nu muliggør modalitetsagnostisk evaluering og kvalitetsvurdering for både tale og tekst. 10 24 25 For at supplere anvendeligheden af automatiske målinger brugte vi også en omfattende menneskelig evaluering af vores modeller.I det følgende leverer vi menneskelig evaluering til S2TT- og S2ST-opgaver med XSTS-protokollen (cross-lingual semantic textual similarity). og MOS (median opinion score) protokol for taleudgange (se »« Vi dækker dog et begrænset antal modeller (SEAMLESSM4T-LARGE, SEAMLESSM4T-LARGE V2 og en kaskadebaseret baseline bestående af WHISPER-LARGE-V2 til ASR, NLLB 3.3B til oversættelse og YOURTTS eller MMS til TTS til S2ST opgaven) og oversættelsesvejledninger (23 sprog fra og til engelsk, 10 sprog X-eng til MOS) på grund af ressourcebegrænsninger. 26 Methods Human evaluering XSTS score viser, at SEAMLESSM4T-LARGE V2 overgår både cascading baseline systemer og SEAMLESSM4T-LARGE i forhold til både gennemsnitlig sprogniveau XSTS score og win rate (den brøkdel af evaluerede sprog, for hvilke XSTS ydeevne er overlegen), for alle opgaver og sprogretninger med høj tillid. For S2ST opgaven, hvor den relative ydeevne af SEAMLESSM4T-V2 var den stærkeste, vind hastighed af SEAMLESSM4T-V2 tilgange 100% sammenlignet med både cascading baseline og SEAMLESSM4T-LARGE for både X-eng og eng-X retninger, med sprog gennemsnitlige XSTS score omkring 0,5 point højere end cascading baseline og 0,36-0, og for fuldt sprogniveau og sammenfattede XSTS-resultater. 22 24 Vi måler også talekvaliteten for S2ST ved hjælp af en Mean Opinion Score-protokoll, der vurderer (1) lydkvalitet, (2) klarhed af tale og (3) naturlighed. Vi finder, at SEAMLESSM4T-LARGE V2 generelt i alle MOS-aspekter har tendens til at blive foretrukket over SEAMLESSM4T-LARGE, som har tendens til at blive foretrukket over cascading-modellens baseline, med undtagelse af X-eng, for hvilke SEAMLESSM4T-LARGE-generationer er stærkt foretrukne (+1 punkt gennemsnitlig forskel mellem SEAMLESSM4T-LARGE og SEAMLESSM4T-LARGE V2-generationer), et uventet resultat, der kan være en konsekvens af forskelle i modelarkitekturer, der og for fuldt sprogniveau og opsummerede MOS-resultater henholdsvis. 23 24 Ved hjælp af XSTS-vurderingerne af S2ST-opgaven opnår BLASER 2.0 (gennemsnitligt over alle evalueringselementer i en given sprogretning) overlegne Spearman-korrelationer med kalibrerede XSTS-score på sprogniveau i begge retninger X-eng (0,845 for BLASER 2.0 sammenlignet med 0,74 for ASR-BLEU) og især for eng-X-retningen (0,81 for BLASER 2.0 sammenlignet med 0,246 for ASR-BLEU). for at opnå fulde resultater). 21 Endelig testede vi vores modeller for robusthed med hensyn til støj og højttalervariationer ved at skabe åbne robusthedsbenchmarks baseret på FLEURS (se »« Til dette formål finder vi, at SEAMLESSM4T-V2 i gennemsnit er ca. 42% og 66% mere modstandsdygtig over for baggrundsstøj og højttalervariation, henholdsvis, sammenlignet med WHISPER-LARGE-V2 (se fulde resultater i afsnittet Supplementære oplysninger). ) af Metoder Robusthed V.2 af Ansvarligt AI Toksicitet Toksicitet kan defineres som tilfælde af profanitet eller sprog, der kan tilskynde til had, vold eller misbrug mod en person eller en gruppe (såsom en religion, race eller køn). I forbindelse med taleoversættelse var vi primært bekymrede for tilføjet toksicitet – indførelsen i oversættelser af giftige elementer, der ikke er til stede i kildeudtalelser. og for nylig for snesevis af sprog med MuTox . 27 28 29 Derfor brugte vi ETOX (eller ASR-ETOX for S2ST) og MuTox (både for tale og tekst) som målinger til at opdage og evaluere tilføjet toksicitet. For at mindske toksicitet implementerede vi to teknikker til at håndtere tilføjet toksicitet. Før træning filtrerede vi træningspar med ubalanceret toksicitet. Desuden brugte vi Mintox Ved indflydelsestid (se »« »« 11 Metoder Detektion af toksicitet Vi beregnede den tilføjede toksicitet i to datasæt (FLEURS og HOLISTICBIAS ) på tværs af 24 oversættelsesretninger med engelsk (arb, ben, cat, ces, dan, deu, est, fin, fra, hin, ind, ita, nld, pes, pol, por, rus, slk, spa, swh, tgl, tur, urd, vie), ved hjælp af sprogene ved skæringspunktet mellem dækning af systemer og MuTox har været benchmarked (bemærk, at MuTox har bredere sprogdækning, svarende til SONAR, men det er kun blevet benchmarked i 30 sprog Se resultater med flere oversættelsesretninger evalueret med ETOX i afsnittet Yderligere oplysninger bordet viser, at selv om niveauer og typer af tilføjet toksicitet varierer betydeligt som en funktion af sprog og datasæt, har den tilføjede toksicitet i vores systemer en relativt lav forekomst, der er konsekvent på tværs af vores to toksicitetsdetektionsmålinger (<0,4%). Den laveste toksicitet for alle modaliteter, retninger og datasæt er konsekvent opnået med SEAMLESSM4T-V2 + MinTox, der opnår reduktioner af toksicitet op til 5% i form af MuTox (og op til 80% i form af ETOX) sammenlignet med samme model uden brug af MinTox, og op til 20% i form af MuTox (op til 90% i form af ETOX) sammenlignet med baseline (se komplette resultater i afsnittet Supplerende oplysninger). ) af 27 29 Vi1 6 6 Vi1 Gender bias Gender bias in the context of MT can be defined as errors in grammatical gender determination. This bias may manifest explicitly as an overgeneralization to one gender when translating non-gendered to gendered forms (for example, outputs favouring masculine representations) or as a lack of robustness when varying the quality of the translation for sentences that differ only in gender inflection. Previous work on this matter is mostly in the text modality , , og har tendens til at være engelsk-centreret, med få demografiske akser og flersprogede referencer. , . 30 31 32 33 34 Vi bruger flersprogede hologrammer og dens taludvidelse til at sammenligne ydeevnen af S2TT og S2ST. Den eng-X-retning gør det muligt at sammenligne ydeevnen i tilstedeværelse af mandlige eller kvindelige referencer, og den X-eng-retning gør det muligt at sammenligne robusthed i oversættelser, når vi ændrer kønsindflydelse. Et typisk eksempel på det engelsk-spanske sprogpar ville være 'Jeg er en husmand' og de tilsvarende oversættelser 'Soy amo de casa' og 'Soy ama de casa' på spansk. Når vi oversætter fra engelsk til spansk, kan vi måle, om systemet overgeneraliserer til et køn, mens vi i den anden retning kan vurdere robustheden af oversættelsen til kønsindflydelse (se , ‘ ’). 35 Methods Forlængelse af multilingual holisticbias Vi gennemførte en række omfattende evalueringer af oversættelsesforstyrrelser for S2TT og S2ST (se udvidet datatabel). for average results and Supplementary Information section for detaljerede resultater). SEAMLESSM4T-V2 forbedrer konsekvent robustheden i kønsvariationer på tværs af målinger og opgaver. Sammenlignet med den foregående model forbedrer SEAMLESSM4T-V2 over SEAMLESSM4T-LARGE med 0,4% i S2TT og med 0,1% BLASER 2.0 i S2ST, og det overgår det eksterne baseline-system af WHISPER-LARGE-V2 (+YOURTTS) med 0,1% i S2TT og med 0,9% BLASER 2.0 for S2ST. Men SEAMLESSM4T-V2 er ikke i stand til konsekvent at forbedre sig med hensyn til kønsovergeneralisering sammenlignet med den foregående model. SEAMLESSM4T-V2 er sammenlignelig med BLASER 2.0 til SEAMLESSM4T-LARGE, men 3 VI.2 Social indvirkning og konklusion The world we live in has never been more interconnected—the global proliferation of the internet, mobile devices, communicative platforms and social media exposes individuals to more multilingual content than ever before . The current social order places a demand on the world-readiness of a person , a measure of how competent a person is to take on the polyglot world. Initially developed in the context of language learning, world-readiness underscores the importance of being able to communicate in languages beyond our mother tongue for both instrumental (that is, employment or schooling) and cultural reasons (that is, to become a global citizen). That said, although we believe that language acquisition should remain a key mechanism for boosting our world-readiness, we acknowledge that doing so requires resources many people may not possess. 36 12 The downstream applications that SEAMLESSM4T supports could allow on-demand access to world-readiness by streamlining multilingual exchange across various contexts. SEAMLESSM4T-supported applications could act as a co-piloting mechanism that supports users in multilingual conversations and boosts their confidence in speech-heavy interactions. As speech-based interfaces (for example, audio assistants, voice memos and live transcriptions) and auditory content (for example, podcasts, audiobooks and short-form videos) become ever more present, SEAMLESSM4T-enabled downstream applications could unlock a greater variety of multilingual experiences. Fra et inklusionsperspektiv kan SEAMLESSM4T's fokus på multimodalitet gøre en meningsfuld forskel i at øge verdensberedskabet for dem med tilgængelighedsbehov og dem, hvis sprog kan transkriberes med flere skrivesystemer.For mange, der mangler læse- eller skrivefærdigheder, eller ikke kan stole på synet (dvs. folk, der er blinde eller med synshæmning), er talestøttede teknologier afgørende for, hvordan de kommunikerer og forbliver forbundet. Evnen til at oversætte tale giver disse grupper mere omfattende adgang til information ikke kun ud over deres modersmål, men også på en måde, der er bedre egnet til deres kommunikative behov. 37 As with most technologies, the distribution of benefits varies based on user demographics and social situation Selvom vi antager, at SEAMLESSM4T kan øge verdensberedskabet ved at sænke barrierer i tværsproglig kommunikation, kan nogle brugere opleve flere vanskeligheder med at bruge vores arbejde end andre. , Desuden kan vores systems ydeevne ved oversættelse af slang eller ordentlige navne også være inkonsekvent på tværs af sprog med høj og lav ressource. 38 39 40 En anden udfordring for S2ST er, at tale har tendens til at hænge på øjeblikkelig modtagelse og feedback mere end skriftligt sprog gør. Med andre ord er højttalere begrænset i deres evne til at fastslå kvaliteten af en output eller foretage redigering i en live-samtale. Uden evnen til at planlægge og revidere ved hjælp af back-translation eller en indfødt taler, kan S2ST bære højere grader af interaktiv risiko, når det kommer til misoversættelser eller toksicitet. Vi opfordrer forskere og udviklere, der finjusterer eller bygger artefakter ved hjælp af SEAMLESSM4T til at tænke kritisk over designfunktioner, der kan hjælpe brugerne med at omgå disse potentielle hindringer. Vigtigt er, at vi mener, at SEAMLESSM4T-baserede Endelig er tale ikke talte tekst – det omfatter en suite af prosodiske (for eksempel rytme, stress, intonation eller tone) og følelsesmæssige komponenter, der fortjener yderligere forskning . To create S2ST systems that feel organic and natural, more research should be directed at output generation that preserves expressivity Desuden kræver den fuldstændige realisering af Babel Fish dybere investeringer i forskning i oversættelse af tale med lav latens.Udvikling af systemer, der muliggør streaming (dvs. gradvis oversættelse af en input sætning, når den præsenteres) kan øge vedtagelsen af disse systemer på tværs af institutionelle sammenhænge , . We hope that SEAMLESSM4T opens up new possibilities for both these research areas. 41 42 43 44 Methods Data er Udviklingen af et effektivt flersproget og multimodalt oversættelsessystem som SEAMLESSM4T kræver betydelige ressourcer på tværs af sprog og modaliteter. Nogle menneskemærkede ressourcer til oversættelse er frit tilgængelige, men ofte begrænset til et lille sæt sprog eller i meget specifikke domæner. and the United Nations Corpus Nogle menneskeskabte samlinger involverer også talemodaliteten, såsom CoVoST , and mTEDx . Yet no open dataset currently matches the size of those used in initiatives such as WHISPER or USM , which proved to unlock unprecedented performance. 45 46 47 48 49 20 50 Parallel data mining dukker op som et alternativ til at bruge lukkede data, både hvad angår sprogdækning og korpusstørrelse. Den dominerende tilgang i dag er at kode sætninger fra forskellige sprog og modaliteter ind i et fælles fast størrelse indlejring rum og finde parallelle eksempler baseret på en lighed metrik. Mining udføres derefter ved parvis sammenligning over massive monolingual corpora, hvor sætninger med lighed over en vis tærskel betragtes som gensidige oversættelser. , Denne tilgang blev først introduceret ved hjælp af det flersprogede LASER-rum. Lærer-studerende uddannelse blev derefter brugt til at skalere denne tilgang til 200 sprog , Dernæst er der tale om en form for , . 51 52 53 6 16 54 55 Lydbehandling og tale LID Vi startede med 4 millioner timers rå lyd, der stammer fra et offentligt tilgængeligt repository af crawlet webdata, hvor vi anvendte flere rengørings- og filtreringsoperationer. For at maksimere minedriftens tilbagekaldelse er det vigtigt, at alle segmenter har en lignende granularitet. For tekstdomænet er en sætning generelt veldefineret. Dette er mindre indlysende for rå tale, fordi pauser ikke nødvendigvis anvendes ved sætningsgrænser. Først brugte vi en åben stemmeaktivitetsdetektionsmodel to split audio files into shorter segments. Second, a newly developed speech LID model was applied to each segment. Our model follows the ECAPA-TDNN architecture and extends the open-source model trained on VoxLingua107 af 15 nye sprog. Endelig anvendte vi en over-segmenteringstilgang, der samtidig foreslog flere, potentielt overlappende talegmenteringer. shows this pipeline. 56 13 14 1 Soner SONAR tekst- og talekodere blev udviklet i ref. Der er tale om en to-trins tilgang (Fig. Først blev der lært en massivt flersproget repræsentation kun for tekstmodaliteten. Derefter blev lærer-studerende uddannelse brugt til at udvide indlejringsrummet til talemodaliteten. Tekst indlejringsrummet blev trænet med en koder-dekoder tilgang ved hjælp af en kombination af flere mål: oversættelse, denoisering auto-kodning og gennemsnitlig kvadratfejl (MSE) tab mål i sætningsindlejringsrummet. , that is, parallel data to translation from 200 to 200 languages. Speech encoders were trained only on ASR data and by grouping languages into linguistic genealogical groups following ref. , for example, Italic, Common Turkic or Indo-Iranian languages. To obtain optimal performance, we determined the optimal convergence separately for each language (that is, when to stop training). This yielded a separate speech encoder for each language. The amount of available ASR data for each language is provided in Supplementary Table De talekodere blev initialiseret med w3v-best 2.0 tale front end. Forudgående arbejde udført max pooling eller gennemsnit pooling af udgangstilstande af tale front end for at opnå en fast størrelse indlejring af tale signal , . An ablation study has shown that better results can be obtained by using a three-layer transformer decoder . Teacher–student training consisted of minimizing the MSE loss with respect to the embedding of the ASR text transcriptions. These embeddings were obtained by the SONAR text encoder, which was kept constant. No translations (into English) were used. 8 2 6 16 8 54 57 8 talemåde We first calculated the embeddings of all over-segmented speech segments. For the text domain, we used exactly the same texts as the NLLB project and embedded them with the SONAR encoder. Exhaustive pairwise comparison can be efficiently performed with the FAISS toolkit . Similarity is measured with a margin criterium as first introduced in ref. : 6 58 52 where and are the source and target sentences, and ( ) udtrykker den Nærmeste naboer in the other language. We set to 16. x y NNK x k x k Som et eksempel svarer dette til at sammenligne hundrede tusinde timers tale med mere end 20.000 millioner engelske sætninger, hvilket resulterede i omkring otte tusinde timer af justeret arabisk tale. Modelling The SEAMLESSM4T models rely on our multitask UNITY architecture. Our proposed unified translation model builds on vanilla UNITY , en to-pass dekodningsramme, der først genererer tekst og derefter genererer tale ved at forudsige diskrete akustiske enheder (se afsnit ' ’). Compared with the vanilla UNITY model , (1) kerne S2TT-modellen, initialiseret fra bunden i UNITY, erstattes med en X2T-model, der understøtter tekst som input og er forududdannet til i fællesskab at optimere opgaverne for ASR, S2TT og T2TT (se afsnit ‘ ’), og (2) den flad T2U model (kaldet T2U enhed encoder og second-pass enhed decoder i ref. ) is replaced with a deeper transformer-based encoder–decoder model with six transformer layers that are pretrained on ASR data (see section ‘ En forbedret version af UNITY, kaldet UNITY2, erstatter den autoregressive T2U med en ny ikke-autoregressiv (NAR) T2U-dekoder. Denne NAR T2U-model leverer stærkere nøjagtighed på grund af dens hierarkiske opsamling fra underord til tegn og derefter til enheder. 59 Multilingual discrete acoustic units 59 X2T fine-tuning 59 S2ST finjustering The pretraining of X2T yielded a stronger speech encoder and a higher quality first-pass text decoder, whereas the scaling and pretraining of the T2U model allowed us to better handle multilingual unit generation without interference. Furthermore, the switch to non-autoregressive T2U decoding improved S2ST inference speed by three times. Flersprogede diskrete akustiske enheder Nylige værker har opnået state-of-the-art oversættelse ydeevne ved at bruge selv-overvågede diskrete akustiske enheder som mål for at opbygge direkte tale oversættelse modeller , Dette består i at nedbryde S2ST-problemet i et tale-til-enhed-oversættelsestrin og et enhed-til-tale-konverteringstrin. og kortlagt disse repræsentationer til diskrete tokens.Sættet af diskrete tokens (også kaldet enhedsordforråd) er lært ved at anvende en -means algorithm to a set of multilingual audio samples. The - betyder centroids ligner en kodebog, der bruges til at kortlægge en sekvens af XLS-R talerepræsentationer i en sekvens af centroid indekser eller akustiske enheder. = 10.000 med funktioner fra det 35. lag af XLS-R-1B til at repræsentere de 35 understøttede målsprog. 5 60 61 k k K For enhed til tale konvertering trin, vi fulgte ref. and built a multilingual vocoder for speech synthesis from the learnt multilingual units. This model is responsible for synthesizing audios from a sequence of units that SEAMLESSM4T models will predict. 62 Uovervåget taletræning Self-supervised pretraining with unlabelled speech audio data is a practical approach for leveraging unlabelled data. With pretraining, we can bootstrap the quality of translation models and make the most out of our supervised paired data. We pretrained a speech encoder following our improved W2V-BERT 2.0. It follows w2v-BERT in combining contrastive learning with masked prediction learning. W2V-BERT 2.0 uses more codebooks and an additional masked prediction task using random projection quantizers Vores W2V-BERT 2.0 model er først trænet på 1 million timers åbne taledata, der dækker over 143 sprog. , which has 24 Conformer layers og ca. 600 millioner modelparametre. For v2-versionen skalerede vi mængden af ubemærkede data fra 1 million til 4,5 millioner timers lyd. Den nyeste og mest offentligt tilgængelige flersprogede taleforududdannede model er MMS Det er uddannet på kun 0,5 millioner timer, spænder over 1.400 sprog. . It is a proprietary multilingual speech pretrained model with 12 million hours of data and more than 300 languages in coverage. 63 64 63 65 23 50 Tekst-til-tekst oversættelsesmodeller The text processing components of our SEAMLESSM4T models were pretrained on the task of text-to-text translation, a much more resourced task than speech translation. Consider, for instance, the English–Italian direction, one of the highly resourced pairs in T2TT with more than 128 million parallel sentences—only 2 million pairs of English text paired with Italian audio are available for S2TT. Et vigtigt skridt i uddannelsen af flersprogede tekst-til-tekst-oversættelsesmodeller er at lære et fælles ordforråd med en tekst tokenizer. , we used SentencePiece med BPE-algoritmen Den tokeniser, der anvendes i NLLB-200 lider af manglende centrale kinesiske tegn på grund af artefakter af stikprøveudtagning. Denne stikprøveudtagning favoriserer ikke logo-grafiske skrivesystemer med et stort antal unikke symboler. For at løse dette problem tvang vi inddragelsen af disse tegn. Vores nye tokenizer forbedrer dækningen af MTSU top 5K kinesiske tegn fra 54% til 84%. 6 66 67 6 For at træne vores flersprogede tekst-til-tekst-model fulgte vi de samme dataforberedelses- og træningsrørledninger i ref. Brug af stop At have en mindre sprogdækning gjorde det muligt for os at reducere størrelsen af modellen betydeligt til 1.3B parametre og kun bruge NLLB-200 træningsdata i de 95 SEAMLESSM4T sprog. 6 68 Data augmentation with pseudo-labelling Som med enhver sekvens-til-sekvens-opgave afhænger taleoversættelsespræstationen af tilgængeligheden af uddannelsesdata af høj kvalitet. Men mængden af menneskelablerede data er ringe i forhold til dens T2TT- eller ASR-kolleger. , the ASR data with a multilingual T2TT model (for example, NLLB models) to generate pseudo-labelled S2TT data. 69 70 To augment S2ST data, it is common practice to use TTS models to convert text from speech-to-text data sets into synthetic speech , . This synthetic speech is, in turn, converted into discrete units for training. This two-step unit extraction process is a slow process and is harder to scale given the dependencies on TTS models. We circumvented the need for synthesizing speech and trained multilingual text-to-unit (T2U) models on all 36 target speech languages. These models can directly convert the text into target discrete units and can be trained on ASR data sets that are readily available. 4 5 X2T fine-tuning The first key part of our multitask UNITY framework is the X2T model, a multi-encoder sequence-to-sequence model with a conformer-based encoder for speech input and another transformer-based encoder for text input. Both encoders were joined with the same text decoder and fine-tuned jointly to optimize the tasks of ASR, S2TT and T2TT. 65 71 Our X2T model consists of joining the speech encoder, W2V-BERT 2.0 from M2, post-fixed with a length adapter to downsample long audio sequences, with the text encoder–decoder from M3 (Supplementary Fig. ). For the length adapter, we used a modified version of M-adapter , hvor vi erstattede de tre uafhængige poolingsmoduler til Q, K og V med et delt poolingsmodul for at forbedre effektiviteten. 4 72 X2T was fine-tuned on S2TT data triplets with speech audio ( tale) på et kildesprog ⟩, paired with its transcription ( tekst) og tekstoversættelse ( text) in a target language ⟨ For at muliggøre meningsoverførsel på tværs af modaliteter blev X2T-modellen finjusteret for i fællesskab at optimere følgende objektive funktioner: x ℓs x y ℓt We additionally optimized an auxiliary objective function in the form of token-level knowledge distillation () to further transfer knowledge from the strong MT model to the student speech translation task (S2TT). The final loss is a weighted sum of all three losses: where , and er skalære hyperparametre justeret på udviklingsdataene. α β γ S2ST finjustering I den sidste fase af finjusteringsmulti-task UNITY initialiserede vi modellen med den prætrænede X2T-model (se afsnit ‘ ’) and a pretrained T2U model, similar to the one used for pseudo-labelling S2ST data in M4. The T2U model used for pseudo-labelling is referred to as the teacher T2U model with 12 transformer layers encoder–decoder. For initialization, we used a smaller student T2U model with only six layers to optimize inference and distill the labels of the stronger T2U. In the second version of SEAMLESSM4T, UNITY2 replaces the second-pass autoregressive unit decoder in UNITY with a NAR unit decoder. We adopted the decoder architecture of FastSpeech2 og udvidede det til diskret enhedsgenerering. UNITY2 starter med hierarkisk upsamling af T2U-koderudgangen fra underordslængde til karakterlængde og derefter til enhedslængde. Arkitekturen er vist i detaljer i afsnittet Supplerende oplysninger . X2T finjustering 73 74 IV.8 We fine-tuned the S2ST task with a combination of X–eng and eng–X S2ST translation data totalling 121,000 h. We froze the model weights corresponding to the X2T model and only fine-tuned the T2U component. This is to ensure that the performance of the model on tasks from the previous stages of fine-tuning remains unchanged. Automatisk og menneskelig evaluering Blæser 2.0 BLASER 2.0 (ref. ) er den nye version af BLASER , som fungerer med både tale- og tekstmodaliteter, og derfor er modalitetsagnostisk. Ligesom den første version udnytter vores tilgang ligheden mellem input og output sætningsembeddings. , supports 57 languages in speech and 202 in text (coverage of languages by SONAR at the moment of submission of this paper) and is extendable to future encoders for new languages or modalities that share the same embedding spaces. For the purposes of evaluating speech outputs (and unlike ASR-based metrics), BLASER 2.0 offers the advantage of being text-free. 24 75 III.3.1 af More specifically, in BLASER 2.0, we take the source input, the translated output from any S2ST, S2TT or T2TT model, and the reference speech segment or text, and convert them into SONAR embedding vectors. For the supervised version of BLASER 2.0, these embeddings are combined and fed into a small, dense neural network that predicts an XSTS score for each translation output. Human evaluering Ud over automatiske målinger som (ASR) BLEU og BLASER 2.0 brugte vi menneskelige målinger som XSTS , which measures semantic similarity between a source and target translation, and a standard Mean Opinion Score (as standardized in Recommendation ITU-T P.800, henceforth MOS), which measures (1) naturalness, (2) sound quality and (3) clarity of audio generations to evaluate our models. To obtain more robust language-level scores, we also incorporate a calibration set and calibration methodology, the same used to evaluate the NLLB models . Apart from XSTS, we also obtained MOS evaluations to understand other aspects of audio quality in the target speech. For additional information about human evaluation protocols and analysis, see Supplementary Information section . 26 6 V.1 Robustness We built a replicable noise-robustness evaluation benchmark based on FLEURS (noisy FLEURS), which covers 102 languages, two speech tasks (S2TT and ASR), and various noise types (natural noises and music). To create simulated noisy audios, we sampled audio clips from MUSAN Vi sammenlignede modeller ved hjælp af BLEU-SNR-kurverne (for S2TT) eller WER-SNR-kurverne (for ASR), som illustrerer graden af modelpræstationsforringelse, når støjniveauet for taleindtastninger stiger (dvs. når SNR falder). For sprog med lav ressourceindstilling er den rene taleopstilling allerede udfordrende, ikke mindst en enkelt. 76 Vi har fulgt ref. to evaluate model robustness against speaker variations by calculating the average by-group mean score and by-group coefficient of variation using an utterance-level quality metric. Instead of using BLEU as the quality metric, we used chrF, which has better stability at the utterance level. The calculation of both robustness metrics does not require explicit speaker subgroup labels. We grouped evaluation samples and corresponding utterance-level chrF scores by content (transcript) and then calculated the average by-group mean score chrFMS and average by-group coefficient of variation CoefVarMS, defined as follows: 47 Hvor is the set of sentence-level chrF scores grouped by content (transcript) and . The two metrics are complementary: chrFMS provides a normalized quality metric that, unlike conventional corpus-level metrics, takes speaker variations into consideration, whereas CoefVarMS provides a standardized measure of quality variance under speaker variations. For robustness analysis, we conducted an out-of-domain evaluation on FLEURS on all languages that have at least 40 content groups in the test sets. G Responsible AI Detektion af toksicitet Inspireret af ASR-BLEU, foreslår dette arbejde brugen af ASR-ETOX som en ny metrik til at opdage tilføjet toksicitet i tale og evaluere tilføjet toksicitet for S2ST evne af SEAMLESSM4T. I det væsentlige følger denne metrik en kaskaderet ramme ved først at implementere en standard ASR modul (dvs. den samme, der anvendes til ASR-BLEU som defineret i Supplementary Table ) derefter detektionsmodulet for toksicitet, ETOX , which uses the Toxicity-200 word lists For S2TT kan den oversatte output evalueres direkte med ETOX. I begge tilfælde (S2ST og S2TT) målte vi den tilføjede toksicitet på udtales- eller sætningsniveau. Vi beregnede først detektionen af toksicitet for hver input i evalueringsdatasættet og det tilsvarende output. Derefter sammenlignede vi dem og regnede et tilfælde som indeholdende tilføjede toksicitet kun, når outputværdien overstiger indtastningsværdien. Desuden brugte vi den for nylig foreslåede MuTox-metrik, som kan anvendes på tekst- eller taleudgang uden behov for ASR. Denne klassificator er blevet uddannet i både tale- og teksttoxicitet mærket data på 30 sprog. Som MuTox er afhængig af SONAR-embeddings , MuTox det samme antal sprog ved egenskaben nul-shot. Men med hensyn til valideret kvalitet, rapporterer vi MuTox kun de sprog, der er blevet benchmarked Igen i begge tilfælde (S2ST og S2TT) målte vi den tilføjede toksicitet på udtales- eller sætningsniveau. I dette tilfælde indeholder en sætning den tilføjede toksicitet, hvis MuTox-score er >0,9 i output og <0,5 i input. Vi har eksperimentelt valideret disse tærskler for flere sprog med menneskelige tosprogede højttalere for flere par sprog. For S2TT beregnede vi MuTox i transkriberet tale og måltekst. For S2ST beregnede vi MuTox i kilde- og måltale. 2 27 6 29 29 For at afhjælpe toksicitet implementerer vi to teknikker til at afhjælpe tilsat toksicitet. Før træning filtrerer vi træningspar med ubalanceret toksicitet ud. Desuden bruger vi Mintox ved indledningstidspunktet. I særdeleshed genererer hovedarbejdsprocessen en oversættelseshypotese med en ubegrænset søgning. Derefter kører toksicitetsklassificatoren på denne hypotese. Hvis ingen toksicitet detekteres, giver vi oversættelseshypotesen som den er. Men hvis toksicitet detekteres i output, kører vi klassificatoren på input. Hvis toksiciteten er ubalanceret (dvs. ingen toksicitet detekteres i input), kører vi igen oversættelsen med afbødning, hvilket er BEAMFILTERING-trinnet. Denne BEAMFILTERING består af at tage som input multi-tokenudtryk, der ikke skal vises i output og udelukke dem fra stråle-søgningshypotesen. Bemærk, at vi ikke anvender 11 Vi brugte to datasæt til at analysere tilføjet toksicitet. Først implementerede vi FLEURS for bedre at matche vores menneskelige evalueringsindsats og andre evalueringskomponenter i dette arbejde. som har vist sig at udløse ægte tilføjet toksicitet i tidligere undersøgelser I dette arbejde udvider vi HOLISTICBIAS til tale ved at anvende standard engelsk TTS model fra MMS . 77 27 23 Speech extension of MULTILINGUAL HOLISTICBIAS To compare the performances across modalities (S2ST and S2TT), we extended MULTILINGUAL HOLISTICBIAS to speech (Det er ). We used this generated TTS data as input for S2TT and S2ST and as a reference for S2ST. We conducted the translations in two directions: eng–X and X–eng. Concretely, in X–eng, we translated both masculine and feminine versions of the speech. It is worth noting that some target languages are not available in the SEAMLESSM4T S2ST model, so we performed translations on only 17 languages for the S2ST task in the eng–X direction. For S2TT in eng–X, we have all languages included in the MULTILINGUAL HOLISTICBIAS dataset ( = 25). For reference, the complete language list used in our experiments can be found in Supplementary Table . 23 https://github.com/facebookresearch/fairseq/tree/main/examples/mms#tts-1 n 26 For S2ST brugte vi ASRchrf (transcription er lavet af WHISPER-LARGE og WHISPER-MEDIUM for eng–X og X–eng, henholdsvis, og chrF er blevet beregnet på samme måde som S2TT undtagen i S2ST, at teksten fra både forudsigelse og reference blev normaliseret) og BLASER 2.0. Det er værd at bemærke, at når vi evaluerede på BLASER 2.0, inkluderede vi kun 14 sprog (arb, cat, deu, eng, fra, nld, por, ron, rus, spa, swe, tha, ukr og urd) for eng–X-retningen (overlapning af sprog fra de genererede TTS-data og de sprog, der er tilgængelige i vores S2ST-model). 20 Data availability For at gøre vores arbejde tilgængeligt for samfundet giver vi følgende open source datasæt, modeller og kode på GitHub ( ): (1) SEAMLESSM4T-modeller, herunder modelvægte til SEAMLESSM4T-LARGE (2.3B parametre) og SEAMLESSM4T-MEDIUM (1.2B parametre), samt deres konklusionskode og finjusteringsrecept drevet af vores nye modelværktøjskasse FAIRSEQ2 ( ); (2) værktøjer til at skabe justerede taledata, herunder metadata til at genskabe de ufiltrerede 470.000 timer af SEAMLESSALIGN, STOPES-baserede rørledninger ( ) for at skabe tilpasninger svarende til SEAMLESSALIGN og SONAR til talekodere på 37 sprog og tekstkodere på 200 sprog ( ) og (3) en tekstfri S2ST automatisk evalueringsmodel, BLASER 2.0, inklusive modelvægte og inference scripts. https://github.com/facebookresearch/seamless_communication https://github.com/facebookresearch/fairseq2 https://github.com/facebookresearch/stopes https://github.com/facebookresearch/SONAR References Lavie, A. et al. Janus-III: speech-to-speech translation in multiple languages. In Vol. 1, 99–102 (IEEE, 1997). Proc. 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing Wahlster, W. (ed.) (Springer, 2000). Verbmobil: Foundations of Speech-to-Speech Translation Nakamura, S. et al. The atr multilingual speech-to-speech translation system. , 365–376 (2006). IEEE Trans. Audio Speech Lang. Process. 14 Article Google Scholar Jia, Y. et al. Direct speech-to-speech translation with a sequence-to-sequence model. In , 1123–1127 (ISCA, 2019). Proc. Interspeech 2019 Lee, A. et al. Direct speech-to-speech translation with discrete units. In (eds Muresan, S. et al.) Vol. 1, 3327–3339 (Association for Computational Linguistics, 2022). Proc. 60th Annual Meeting of the Association for Computational Linguistics NLLB Team Scaling neural machine translation to 200 languages. , 841–846 (2024). Nature 630 Article CAS Google Scholar Agarwal, M. et al. Findings of the IWSLT 2023 evaluation campaign. In (eds Salesky, E. et al.) 1–61 (Association for Computational Linguistics, 2023). Proc. 20th International Conference on Spoken Language Translation (IWSLT 2023) Duquenne, P.-A., Schwenk, H. & Sagot, B. SONAR: sentence-level multimodal and language-agnostic representations. Preprint at (2023). https://arxiv.org/abs/2308.11466 Popović, M. chrF: character n-gram F-score for automatic MT evaluation. In (eds Bojar, O. et al.) 392–395 (Association for Computational Linguistics, 2015). Proc. Tenth Workshop on Statistical Machine Translation Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (Association for Computational Linguistics, 2002). Proc. 40th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. R., Dale, D., Elbayad, M. & Yu, B. Added toxicity mitigation at inference time for multimodal and massively multilingual translation. In (eds Scarton, C. et al.) Vol. 1, 360–372 (European Association for Machine Translation, 2024). Proc. 25th Annual Conference of the European Association for Machine Translation ACTFL. World-readiness standards for learning languages. (2023). https://www.actfl.org/educator-resources/world-readiness-standards-for-learning-languages Desplanques, B., Thienpondt, J. & Demuynck, K. ECAPA-TDNN: emphasized channel attention, propagation and aggregation in TDNN based speaker verification. In (eds Meng, H. et al.) 3830–3834 (ISCA, 2020). Proc. Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event Valk, J. & Alumäe, T. VOXLINGUA107: a dataset for spoken language recognition. In 652–658 (IEEE, 2021). Proc. 2021 IEEE Spoken Language Technology Workshop, Chen, M., Heffernan, K., Çelebi, O., Mourachko, A. & Schwenk, H. xSIM++: An improved proxy to bitext mining performance for low-resource languages. In (eds Rogers, A. et al.) Vol. 2, 101–109 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. In , 2101–2112 (eds Goldberg, Y. et al.) (Association for Computational Linguistics, 2022). Findings of the Association for Computational Linguistics: EMNLP 2022 Feng, F., Yang, Y., Cer, D., Arivazhagan, N. & Wang, W. Language-agnostic BERT sentence embedding. In (eds Muresan, S. et al.) Vol. 1, 878–891 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Conneau, A. et al. FLEURS: FEW-Shot Learning Evaluation of Universal Representations of Speech. In , 798–805 (IEEE, 2023). 2022 IEEE Spoken Language Technology Workshop (SLT) Zhang, Z.-H. et al. Speak foreign languages with your own voice: cross-lingual neural codec language modeling. Preprint at (2023). https://arxiv.org/abs/2303.03926 Radford, A. et al. Robust speech recognition via large-scale weak supervision. In , article no. 1182, 28492–28518 (ACM, 2023). Proceedings of the 40th International Conference on Machine Learning Rubenstein, P. K. et al. AudioPaLM: a large language model that can speak and listen. Preprint at (2023). https://arxiv.org/abs/2306.12925 Casanova, E. et al. YourTTS: towards zero-shot multi-speaker tts and zero-shot voice conversion for everyone. In , Vol. 162, 2709–2720 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Pratap, V. et al. Scaling speech technology to 1,000+ languages. , 1–52 (2024). J. Mach. Learn. Res. 25 Dale, D. & Costa-jussà, M. R. Blaser 2.0: a metric for evaluation and quality estimation of massively multilingual speech and text translation. In (eds Al-Onaizan, Y. et al.) 16075–16085 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: EMNLP 2024 Chen, P.-J. et al. Speech-to-speech translation for a real-world unwritten language. In (eds Rogers, A. et al.) 4969–4983 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: ACL 2023 Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In (eds Duh, K. & Guzmán, F.) Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proc. 15th Biennial Conference of the Association for Machine Translation in the Americas Costa-jussà, M. et al. Toxicity in multilingual machine translation at scale. In , 9570–9586 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: EMNLP 2023 Ghosh, S., Lepcha, S., Sakshi, S., Shah, R. R. & Umesh, S. DeToxy: a large-scale multimodal dataset for toxicity classification in spoken utterances. In 2022, 5185–5189 (2022); . Proc. Interspeech https://api.semanticscholar.org/CorpusID:247940269 Costa-jussà, M. R. et al. MuTox: universal multilingual audio-based toxicity dataset and zero-shot detector. In (eds Ku, L.-W. et al.) 5725–5734 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: ACL 2024 Stanovsky, G., Smith, N. A. & Zettlemoyer, L. Evaluating gender bias in machine translation. In (eds Korhonen, A. et al.) 1679–1684 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Levy, S., Lazar, K. & Stanovsky, G. Collecting a large-scale gender bias dataset for coreference resolution and machine translation. In (eds Moens, M. F. et al.) 2470–2480 (Association for Computational Linguistics, 2021). Findings of the Association for Computational Linguistics: EMNLP 2021 Costa-jussà, M. R. et al. Interpreting gender bias in neural machine translation: Multilingual architecture matters. , 11855–11863 (2022). Proc. AAAI Conf. Artif. Intell. 36 Google Scholar Costa-jussà, M. R., Basta, C. & Gállego, G. I. Evaluating gender bias in speech translation. In (eds Calzolari, N. et al.) 2141–2147 (European Language Resources Association, 2022). Proceedings of the Thirteenth Language Resources and Evaluation Conference Bentivogli, L. et al. Gender in danger? Evaluating speech translation technology on the MuST-SHE corpus. In (eds Jurafsky, D. et al.) 6923–6933 (Association for Computational Linguistics, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. et al. Multilingual holistic bias: Extending descriptors and patterns to unveil demographic biases in languages at scale. In , 14141–14156 (Association for Computational Linguistics, 2023). Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing Zuckerman, E. The polyglot internet. (2008). https://ethanzuckerman.com/the-polyglot-internet/ Belekar, A., Sunka, S., Bhawar, N. & Bagade, S. Voice based e-mail for the visually impaired. , 8–12 (2020). Int. J. Comput. Appl. 175 Google Scholar Wang, S., Cooper, N. & Eby, M. From human-centered to social-centered artificial intelligence: Assessing ChatGPT’s impact through disruptive events. (2024). Big Data Soc. https://doi.org/10.1177/20539517241290220 Koenecke, A. et al. Racial disparities in automated speech recognition. , 7684–7689 (2020). Proc. Natl Acad. Sci. USA 117 Article ADS CAS PubMed PubMed Central Google Scholar Ngueajio, M. K. & Washington, G. Hey ASR system! Why aren’t you more inclusive? Automatic speech recognition systems’ bias and proposed bias mitigation techniques. A literature review. In (eds Chen, J. Y. C. et al.) Vol. 13518, 421–440 (Springer, 2022). Proc. International Conference on Human-Computer Interaction Elbow, P. The shifting relationships between speech and writing. , 283–303 (1985). Coll. Compos. Commun. 36 Article Google Scholar Trilla, A. & Alias, F. Sentence-based sentiment analysis for expressive text-to-speech. , 223–233 (2013). IEEE Trans. Audio Speech Lang. Process. 21 Article Google Scholar Iranzo-Sánchez, J., Civera, J. & Juan, A. From simultaneous to streaming machine translation by leveraging streaming history. In , 6972–6985 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Rybakov, O. et al. Streaming Parrotron for on-device speech-to-speech conversion. Preprint at (2022). https://arxiv.org/abs/2210.13761 Koehn, P. Europarl: A parallel corpus for statistical machine translation. In , 79–86 (2005). Proceedings of Machine Translation Summit X: Papers Ziemski, M., Junczys-Dowmunt, M. & Pouliquen, B. The United Nations Parallel Corpus v1.0. In (eds Calzolari, N. et al.) 3530–3534 (European Language Resources Association, 2016). Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16) Wang, C., Pino, J., Wu, A. & Gu, J. CoVoST: a diverse multilingual speech-to-text translation corpus. In (eds Calzolari, N. et al.) 4197–4203 (European Language Resources Association, 2020). Proceedings of the Twelfth Language Resources and Evaluation Conference Wang, C., Wu, A., Gu, J. & Pino, J. CoVoST 2 and Massively Multilingual Speech Translation. In , 2247–2251 (ISCA, 2021). Proc. Interspeech 2021 Salesky, E. et al. The multilingual TEDx corpus for speech recognition and translation. In , 3655–3659 (ISCA, 2021). Proc. Interspeech 2021 Zhang, Y. et al. Google USM: scaling automatic speech recognition beyond 100 languages. Preprint at (2023). https://arxiv.org/abs/2303.01037 Schwenk, H. Filtering and mining parallel data in a joint multilingual space. In (eds Gurevych, I. & Miyao, Y.) Vol. 2, 228–234 (Association for Computational Linguistics, 2018). Proc. 56th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In (eds Korhonen, A. et al.) 3197–3203 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Duquenne, P.-A., Gong, H. & Schwenk, H. Multimodal and multilingual embeddings for large-scale speech mining. In (eds Ranzato, M. et al.) Vol. 34, 15748–15761 (Curran Associates, 2021). Advances in Neural Information Processing Systems Duquenne, P.-A. et al. SpeechMatrix: a large-scale mined corpus of multilingual speech-to-speech translations. In (eds Rogers, A. et al.) Vol. 1, 16251–16269 (2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Silero. Silero VAD: pre-trained enterprise-grade voice activity detector (VAD), number detector and language classifier. (2021). GitHub https://github.com/snakers4/silero-vad Khurana, S., Laurent, A. & Glass, J. SAMU-XLSR: Semantically-Aligned Multimodal Utterance-Level Cross-Lingual Speech Representation. , 1493–1504 (2022). IEEE J. Sel. Top. Signal Process. 16 Douze, M. et al. The Faiss library. Preprint at (2024). https://arxiv.org/abs/2401.08281 Inaguma, H. et al. UnitY: two-pass direct speech-to-speech translation with discrete units. In (eds Rogers, A. et al.) Vol. 1, 15655–15680 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Tjandra, A., Sakti, S. & Nakamura, S. Speech-to-speech translation between untranscribed unknown languages. In , 593–600 (IEEE, 2019). 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Babu, A. et al. XLS-R: self-supervised Cross-lingual Speech Representation Learning at Scale. In , 2278–2282 (ISCA, 2022). Proc. Interspeech 2022 Gong, H. et al. Multilingual speech-to-speech translation into multiple target languages. Preprint at (2023). https://arxiv.org/abs/2307.08655 Chung, Y.-A. et al. w2v-BERT: combining contrastive learning and masked language modeling for self-supervised speech pre-training. In , 244–250 (IEEE, 2021). 2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Chiu, C.-C., Qin, J., Zhang, Y., Yu, J. & Wu, Y. Self-supervised learning with random-projection quantizer for speech recognition. In , 3915–3924 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Gulati, A. et al. Conformer: convolution-augmented transformer for speech recognition. In , 5036–5040 (ISCA, 2020). Proc. Interspeech 2020 Kudo, T. & Richardson, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In (eds Blanco, E. & Lu, W.) 66–71 (Association for Computational Linguistics, 2018). Proc. 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Sennrich, R., Haddow, B. & Birch, A. Neural machine translation of rare words with subword units. In (eds Erk, K. & Smith, N. A.) Vol. 1, 1715–1725 (Association for Computational Linguistics, 2016). Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics Andrews, P. et al. stopes - modular machine translation pipelines. In (eds Che, W. & Shutova, E.) 258–265 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Jia, Y. et al. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In , 7180–7184 (IEEE, 2019). 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) Pino, J., Xu, Q., Ma, X., Dousti, M. J. & Tang, Y. Self-training for end-to-end speech translation. In , 1476–1480 (2020). Proc. Interspeech 2020 Vaswani, A. et al. Attention is all you need. In (eds Guyon, I. et al.) Vol. 30 (Curran Associates, 2017). Advances in Neural Information Processing Systems Zhao, J., Yang, H., Haffari, G. & Shareghi, E. M-Adapter: modality adaptation for end-to-end speech-to-text translation. In , 111–115 (ISCA, 2022). Proc. Interspeech 2022 Ren, Y. et al. FastSpeech 2: fast and high-quality end-to-end text to speech. In (2021). Proc. 2021 International Conference on Learning Representations Shih, K. J. et al. RAD-TTS: parallel flow-based tts with robust alignment learning and diverse synthesis. In (2021). ICML Workshop on Invertible Neural Networks, Normalizing Flows, and Explicit Likelihood Models Chen, M. et al. BLASER: A text-free speech-to-speech translation evaluation metric. In (eds Rogers, A. et al.) Vol. 1, 9064–9079 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Snyder, D., Chen, G. & Povey, D. MUSAN: a music, speech, and noise corpus. Preprint at (2015). https://arxiv.org/abs/1510.08484 Smith, E. M., Hall, M., Kambadur, M., Presani, E. & Williams, A. “I’m sorry to hear that”: finding new biases in language models with a holistic descriptor dataset. In (eds Goldberg, Y. et al.) 9180–9211 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing Anerkendelser Vi takker S. Edunov og A. Fan for at hjælpe med at forme de tidligere faser af projektet; S. Bhosale, V. Goswami, F. Hernandez og Y. Zhang for deres hjælp til at benchmarke lyd denoising modeller; M. Seejoor van W. Pak, og M. Duppenthaler for deres hjælp til at oprette demoen; V. Goswami, S. Huhan, B. Acun-Uyan, og C.-J. Wu for hans bidrag til FAIRSEQ2 og SONAR inference; A. Ni og X. Zhang for deres hjælp til at benchmarke lyd denoising modeller; N. Seejoor og M. Duppenthaler for deres hjælp til at oprette demoen; V. Goswami, S. Klyushkin for hans hjælp til at opbygge bedre oplevelser Denne artikel er tilgængelig i naturen under CC by 4.0 Deed (Attribution 4.0 International) licens. Denne artikel er tilgængelig i naturen under CC by 4.0 Deed (Attribution 4.0 International) licens.