Ova umjetna inteligencija može čuti, prevesti i govoriti na 100 jezika

Autori : Loïc Barrault Yu-an Čung Mariano Coria Meglioli David Dale Njegova Dong Paul Ambroise Duquenne Sljedeći članakHadi Elsahar Hongyu Gong Kevin Heffernan John Hoffman Kristofer Klaiber Pingvini Li Daniel svjetlo Jean Maillard Alice Rakotoarison Kašik Ram Sadagopan Guillaume Wenzek Ethan je Autori : Loïc Barrault Yu-an Čung Mariano Coria Meglioli David Dale Njegova Dong Paul Ambroise Duquenne Sljedeći članakHadi Elsahar Hongyu Gong Kevin Heffernan John Hoffman Kristofer Klaiber Pingvini Li Daniel svjetlo Jean Maillard Alice Rakotoarison Kašik Ram Sadagopan Guillaume Wenzek Ethan je Abstrakcija Stvaranje Babel Fish-a, alata koji pomaže pojedincima da prevedu govor između dva jezika, zahtijeva napredne tehnološke inovacije i jezičnu stručnost. , , , skalabilni i visoko učinkoviti ujedinjeni sustavi , Kako bi se riješio taj nedostatak, ovdje predstavljamo SEAMLESSM4T – Masivno Multilingual i Multimodal Machine Translation – jedinstveni model koji podržava prijevod od govora do govora (101 do 36 jezika), prijevod od govora do teksta (od 101 do 96 jezika), prijevod od teksta do govora (od 96 do 36 jezika), prijevod od teksta do teksta (96 jezika) i automatsko prepoznavanje govora (96 jezika). Izgrađen pomoću novog multimodalnog korpusa automatski usklađenih prijevoda govora i drugih javno dostupnih podataka, SEAMLESSM4T je jedan od prvih multilingualnih sustava na prijevodu od teksta do govora (od 96 do 36 jezika), koji može prevesti iz i u engleski za zadatke od govora do teksta (96 jezika 1 2 3 4 5 glavna Babelske ribe iz je fiktivni alat koji prevodi između dva jezika. U suvremenom globalnom krajoliku, karakteriziranom povećanom međusobnom povezivosti i mobilnom socijalnošću, društveni imperativ za ažuriranje tih tehnologija i olakšavanje na zahtjev prijevoda govora na govor (S2ST) kako u digitalnom tako i u fizičkom svijetu nikada nije bio veći. Unatoč centralnosti govora u svakodnevnoj komunikaciji, sustavi strojnog prijevoda (MT) danas ostaju tekst-orijentirani. za više detalja o tome zašto bi govor trebao biti prioritet u MT. Iako pojedinačni, unimodalni modeli kao što je No Language Left Behind (NLLB) Ujedinjeni S2ST modeli daleko su od postizanja sličnog opsega ili performansi.Ta se razlika može pripisati mnogim uzrocima, ali nedostatak audio podataka i ograničenja modeliranja ostaju ključne prepreke. Hitchhikerov vodič po galaksiji I.1 Povijest 6 Postojeći S2ST sustavi imaju tri glavna nedostatka. Prvo, ti sustavi imaju tendenciju da se fokusiraju na jezike s visokim resursima, ostavljajući za sobom mnoge jezike s niskim resursima. Drugo, ti sustavi uglavnom pružaju usluge prijevoda s izvornog jezika na engleski (X-eng), a ne obrnuto (eng-X). Treće, većina S2ST sustava uvelike se oslanja na kaskadiranje nekoliko podsustava; na primjer, automatsko prepoznavanje govora (ASR) + T2TT + tekst-to-speech (TTS). Iako postoje izravni sustavi , , , ne podudaraju se s uspješnošću njihovih kaskadnih kolega Vidi odjeljak Dodatne informacije Više informacija o aktualnoj tehničkoj situaciji. 1 4 5 7 I.2 Povijest Da bismo riješili ta ograničenja, predstavili smo SEAMLESSM4T (Massively Multilingual and Multimodal Machine Translation), jedinstveni sustav koji podržava ASR, T2TT, prevod govora na tekst (S2TT), prijevod teksta na govor (T2ST) i S2ST. Da bismo to izgradili, stvorili smo korpus od više od 470.000 sati automatski usklađenih prevoda govora (SEAMLESSALIGN) koristeći novi prostor za ugradnju rečenica (Sentence-level Multimodal and Language-Agnostic Representations, ili SONAR). Zatim smo kombinirali filtrirani podskup ovog korpusa s ljudima označenim i pseudo označenim podacima kako bismo razvili prvi multitasking sustav koji izvodi S2ST iz više od 100 jezika na 36 jezika, S2TT i ASR na 96 jezika, T2ST na 36 jezika, kao i T2TT za 96 jezika (vidi Tablicu). za usporedni pregled jezičnog pokrića i odjeljka o dodatnim informacijama Zbog jedinstvene arhitekture SEAMLESSM4T (Slika. ), model može izvršiti T2TT, S2TT ili S2ST za ne-engleske smjernice (X-X) na način nultog udara. Također može izvršiti T2ST bez izričitog osposobljavanja za ovaj zadatak. Kao rezultat pretreniranja glasovnog kodera SEAMLESSM4T na velikim količinama neoznačenih glasovnih podataka (vidi odjeljak ‘ ’), može se nositi s izgovorima koji miješaju dva ili više jezika. 8 1 II 1 Nezaštićeni govor predtrenira Svijet Tri glavna bloka UNITY2 (S2ST fine-tuning) sa svojim ne-autoregresivnim (NAR) T2U-om prikazana su na gornjoj lijevoj strani. Multitask-UNITY2 sa svojim dodatnim tekstovnim koderom prikazan je na donjoj lijevoj strani. Razbijanje komponenti SEAMLESSM4T-V2 (model multitask-UNITY2) prikazan je na desnoj strani sa bočnom pločem koja prikazuje model T2U učitelja koji se koristi za pseudo-označavanje (M4). Da bismo procijenili kvalitetu rezultata našeg modela, upotrijebili smo nekoliko postojećih pokazatelja koji obuhvaćaju zadatke i modalitete, kao i četiri glavna skupova podataka za evaluaciju. za T2TT, BLUE za S2TT, ASR-BLEU za S2ST i WER za ASR. vidjeti dodatnu tablicu Također smo testirali naše modele za otpornost na buke u pozadini ili varijaciju zvučnika, kao i druge frontove za odgovorno raspoređivanje, kao što je rodna predrasuda, koristeći MULTILINGUAL HOLISTICBIAS podatkovne setove, ili dodanu toksičnost, koristeći nove metrike na temelju govora (ASR-ETOX i MuTox). . 9 10 5 2 11 Osim izgradnje SEAMLESSM4T-a, raspravljamo i o društvenim implikacijama našeg rada i o tome kako to može pridonijeti većem stupnju svjetske spremnosti. u dugoročnom razdoblju (vidi odjeljak ‘ Kako bismo potaknuli buduća istraživanja, objavljujemo alate za podatke, kod i dvije veličine modela SEAMLESSM4T za nekomercijalnu uporabu. 12 Socijalni utjecaj i zaključak U sljedećim odjeljcima pratimo ključne rezultate u razvoju naših SEAMLESSM4T modela. Prvo, opisujemo naše napore u rješavanju problema usklađenog govora i tekstualnih podataka, počevši od identifikacije govornog jezika do rješavanja problema usklađenog govora i tekstualnih segmenata pomoću modaliteta-agnosticiranih kodera. Zatim izvješćujemo o glavnim rezultatima naših sustava izravnog prijevoda koji su djelomično obučeni pomoću gore navedenih automatski usklađenih podataka o govoru. Ovi rezultati naglašavaju sveobuhvatnost zadataka SEAMLESSM4T modela koji postižu višeslovne najmodernije performanse u ASR, T2TT, S2TT i S2ST. Zatim podupiremo tvrtke rezultatima analize ljudske Datumi Upravljanje sustavima za prevođenje govora zahtijeva označene podatke; to jest, podatke usklađene od govora do teksta i govora do govora. međutim, ti su resursi vrlo ograničeni za jezike s niskim resursima. i veliku zbirku sirovog govora i tekstova, kako je opisano u , automatski iskoristiti usklađene resurse, nadopunjujući postojeće podatke s ljudskim oznakama i pseudo oznakama. 8 Metode Prepoznavanje govornog jezika Obrada sirovog govora s interneta uključuje segmentaciju izjava u kraće komadiće, nakon čega slijedi identifikacija jezika. Izgradnja na modelu otvorenog koda osposobljenom na VoxLingua107 s ECAPA-TDNN arhitekturom , , razvili smo novi model identifikacije jezika na temelju govora (LID) koji obuhvaća svih 100 jezika predstavljenih u ovom radu (vidi » » » za više detalja). 13 14 Metode Procesiranje zvuka i govora Za mjerenje točnosti i opoziva LID modela, izvješćujemo o rezultatima F1 na testnim podacima u Tablici proširenih podataka Rezultati su podani za 100 podataka o SEAMLESSM4T jezicima (općenito) i 79 zajedničkih jezika između SEAMLESSM4T i VoxLingua107 (interseccija). Imajte na umu da je makro-F1 na svim jezicima za VL107HF nizak jer 21 jezik nije pokriven ovim modelom. Pronašli smo da obuka na dodatnim jezicima lagano smanjuje ukupnu učinkovitost za zajednički skup jezika, što je izravna posljedica većeg broja bliskih jezika. Na primjer, Zulu (zul) je vrlo često zbunjen s Nyanja (nya), Igbo (ibo) s Yoruba (yor), i Modern Standard Arabic (arb) s Moroccan Arabic (ary) i Egyptian Arabic (arz model). Naš poboljšava točnost klasifikacije (F1 razlika veća 1 Sonar tekst ubacivanje prostora Da bismo automatski izvukli usklađene podatke o prijevodu iz segmenata koji su identificirani jezikom, oslanjamo se na kodere jezika i modaliteta. Trenutno pružamo jedinstveni tekstovni kodirnik i dekoder za 200 jezika i glasovni kodirnik za 37 jezika. U višejezičnoj potrazi za sličnostima, xsim i xsim++ su dvije poznate proxy mjerice koje procjenjuju višejezične prostore ugrađivanja u svrhu rudarstva. , SONAR znatno nadmašuje druge popularne pristupe kao što je LASER3 ili LaBSE Što je XSIM i XSIM++? 8 6 15 2 16 17 Prosječna učinkovitost na više od 200 jezika je konkurentna u usporedbi sa srednje velikim NLLB densom modelom, unatoč zamjeni kodera-dekodera u SONAR-u s fiksnim ugrađivanjem u bočicu (vidi T2TT stupce proširene tabele podataka). Ovaj rezultat dokazuje da uporaba pažnje nije potrebna za razumnu točnost prijevoda. 2 Obuka kodiranja govora Koderi govora bili su obučeni s pristupom učitelj-učenik samo na transkripcijama govora (vidi » » Evaluacija iteracija svakog glasovnog kodera u krugu od kraja do kraja, tj. rudarstvo i obuka S2TT ili S2ST prevodilačkih sustava, bila bi računalno intenzivna. Umjesto toga, povezali smo glasovni koder sa SONAR-ovim tekstovnim dekoderom i ocijenili ovaj sustav S2TT kao proxy za kvalitetu kodera. , SONAR koderi govora povoljno se uspoređuju s modelom kao što je WHISPER-LARGE-V2 na FLORES i cvijeće Razlike u točnosti mogu se promatrati u nekim jezicima s visokim resursima kao što su njemački, ruski ili portugalski, ali SONAR nadmašuje WHISPER-LARGE-V2 u nekoliko jezika s niskim resursima kao što su svahili ili bengalski (vidi Dodatnu tablicu). ) i Metode Sonar 2 6 18 8 Seamlessalign SONAR koderi teksta i govora korišteni su za rudarstvo za tri vrste usklađenih podataka: (1) engleski govor na ne-engleski tekst (Sen2Txx); (2) ne-engleski govor na engleski tekst (Sxx2Ten); i (3) ne-engleski govor na engleski govor (Sxx2Sen). SEAMLESSALIGN pruža 202.796 h zvuka u Sen2Txx, 239.767 h zvuka u Sxx2Ten i 29.161 h zvuka u Sxx2En. Ovi usklađeni podaci su izvučeni iz ukupno 2.5M h sirovog zvuka (od čega je engleski gotovo 40%). SONAR koderi govora bili su obučeni na 43.772 h nadzorovanih ASR podataka. . 8 Za tekstni domen koristimo iste podatke konsolidirane projektom NLLB Iznos se kreće od 33 milijuna ili 55 milijuna rečenica za jezike s niskim resursima kao što su malteški ili svahili, odnosno do 22 milijuna engleskih rečenica. 6 Osim za malteški jezik, za koji smo imali pristup samo maloj količini sirovog zvuka, uspjeli smo iskoristiti više od 100 sati usklađivanja govora s engleskim govorom za sve jezike. usklađivanja s engleskim tekstovima dosegnula su tisuću sati za većinu jezika i premašila 10.000 sati za jezike s visokim resursima. Dodavanje tako velikih količina podataka za obuku višejezičnog sustava prijevoda je značajan računalni izazov. » » ’, nisu svi ti podaci korišteni za modeliranje, već samo podskup s najvišim SONAR rezultatima usklađivanja.Budući da naši minirani podaci mogu pomoći u podupiranju mnogih različitih slučajeva korištenja, otvorili smo meta-datume potrebne za usmjeravanje njegove reprodukcije (do SONAR praga od 1,15; vidjeti » » ’) omogućiti zajednici da ponovno izgradi SEAMLESSALIGN i koristi ga za vlastite svrhe. Optimalni prag se tako može prilagoditi na temelju zadatka, balansirajući veličinu skupova podataka i kvalitetu usklađivanja. Metode Modeliranje Metode govornica Modeliranje multitask sustava prijevoda Kombinirajući tehnike modeliranja opisane u » » ’, uz dodatne podatke iz SEAMLESSALIGN-a (vidi » » ’), obučavali smo SEAMLESSM4T modele u dvije veličine: velike s parametrima 2.3B i srednje s parametrima 1.2B. SEAMLESSM4T-MEDIUM namjerava biti pristupačan test krevet za ili fino-tune, poboljšati ili sudjelovati u analizi s. Nadalje smo obučavali poboljšanu verziju velikog SEAMLESSM4T, nazvan SEAMLESSM4T-V2, s boljim glasovnim koderom (vidi » » ’) i moćniji decoder jedinice (vidi odjeljak ‘ Svi SEAMLESSM4T modeli podržavaju 96 izvornih jezika u tekstovnoj modaliteti i više od 100 izvornih jezika u govornoj modaliteti.Na ciljnoj strani, modeli mogu isporučiti 96 jezika u tekstovnoj i 35 u govornoj formi. i To pokazuje da će, za neke smjernice prijevoda i s obzirom na nedostatak nadzorovanih podataka, naši modeli biti ocijenjeni nultom hitom. Metode Modeliranje Metode Datumi Metode Nezaštićeni govor predtrenira S2ST fin-tuning 12 13 Procijenili smo naše modele na sva četiri nadzirana zadatka (T2TT, ASR, S2TT i S2ST), kao i zadatak nultog nalaza prijevoda od teksta do govora (T2ST, također poznat kao prekogranična sinteza teksta do govora). Da bismo generirali tekstualne hipoteze, dekodirali smo pomoću beam-search-a.Ocjenjivali smo s chrF2++ za T2TT i BLEU za S2TT.Mjerili smo BLEU ocjene sa SacreBLEU-om i dostavili potpise u Dodatnoj tablici . For ASR, we scored with WER (word error rate) on normalized transcriptions and references following ref. . 19 2 20 Tijekom S2ST i T2ST zaključka, izvršili smo dekodiranje dvostrukog traženja žarka; najbolja hipoteza iz prvostupanjskog dekodiranja ugrađena je s tekstovnim dekoderom i poslana je modulu od teksta do jedinice (T2U; vidjeti odjeljak ‘ ’) tražiti najbolju hipotezu sekvencije jedinica. Koristili smo širinu zraka od 5 za oba pretraživanja. Ocijenili smo točnost S2ST i T2ST s ASR-BLEU-om koristeći WHISPER modele. Postavili smo temperaturu dekodiranja WHISPER-a na nulu i koristili pohlepno dekodiranje kako bismo osigurali determinističko ponašanje modela ASR. Transcribed hipoteze, kao i reference, su normalizirani nakon ref. prije izračunavanja plavih rezultata. S2ST fin-tuning 20 Usporedba s kaskadnim pristupima prijevodu govora Na skupu jezika koje podržava SEAMLESSM4T i WHISPER, usporedimo u Tablici (S2TT kolone) performanse našeg izravnog S2TT modela na kaskadne modele, naime, kombinacije WHISPER ASR modela i NLLB T2TT modela. SEAMLESSM4T-V2 nadmašuje kaskadne modele s manje od 3B parametara u X-eng smjerovima za 4,6 BLEU bodova (od 22.0 do 26.6) i u eng-X smjerovima za 1 BLEU bod (od 21.1 do 22.2). Ti modeli premašuju 4B parametre i uglavnom su nadmašeni SEAMLESSM4T-V2 u X-eng (+3.9); oni samo marginalizirano nadmašuju SEAMLESSM4T-V2 u eng-X smjerovima za 0,2 BLEU bodova. 3 3 U usporedbi s prethodnim modelima S2TT SOTA koji su zaostajali za kaskadnim sustavima (na primjer, AUDIOPALM-2-8B-AST. ref. ), SEAMLESSM4T-V2 poboljšava na FLEURS X-eng S2TT BLEU ocjenu za 6,9 bodova (s 19,7 na 26,6; to jest, poboljšanje od 35%). 21 stolom (S2ST kolone) također uspoređuje S2ST između SEAMLESSM4T modela i kaskadnih modela. Za S2ST, istražujemo dvije mogućnosti za kaskadiranje: (1) tri faze s ASR, T2TT i TTS i (2) dvije faze s S2TT i TTS. Obje vrste kaskadnih sustava oslanjaju se na TTS model za sintezu prevedenog govora, a za to koristimo YOURTTS Sinteza engleskog govora i MMS kada je sustav sintetizirajući govor u 26 ne-engleskih jezika usporedbe (preklapanje između podrške SEAMLESSM4T i podrške TTS sustava MMS). Naš SEAMLESSM4T-LARGE nadmašuje dvostupanjske kaskadne modele na smjerovima FLEURS X–eng za 8 ASR-BLEU točaka (17.8–25.8). Također nadmašuje jače trostupanjske kaskadne modele (WHISPER-LARGE-V2 + NLLB-3.3B + YOURTTS) za 2.1 ASR-BLEU točke (23.7–25.8). Poboljšani SEAMLESSM4T-V2 dodatno jača ovaj vodič na S2 FSTLE Xeng– s dodatnim prosjekom od +3.9 ASR-BLEU toč 3 22 23 Dijelimo u odjeljku Dodatne informacije rezultati evaluacije za zadatke S2TT i S2ST s dodatnim metrikama, uključujući naš modaliteto-agnosticirani BLASER 2.0. IV.1 Multitasking rezultati Izvješće na stolu rezultati na referentnoj vrijednosti FLEURS-a za zadatke ASR-a i T2ST-a (X–eng i eng–X), a povezana referentna vrijednost FLORES-a za T2TT (X–eng i eng–X). na prekrivanju 77 podržanih jezika sa smanjenjem WER-a od 46% (s 41.7 na 22.6), dok SEAMLESSM4T-V2 poboljšava nad WHISPER-LARGE-V2 za 56% (s 41.7 na 18.5). Protiv MMS SEAMLESSM4T-V2 nadmašuje MMS varijante ocijenjene s CTC-om za više od 38% WER (od 31.0 do 19.1), ali ga nadmašuju varijante koje iskorištavaju monolingualne modele n-gram jezika (5% bolje WER s 18.6). 4 20 9 23 U zadatku podrške T2TT, rezultati u tablici show that our SEAMLESSM4T models are on par with NLLB-3.3B (ref. U oba smjera X-eng i eng-X. 4 6 Sljedeći put smo ocijenili SEAMLESSM4T modele na zadatak T2ST-a na način na nuli. budući da je FLEURS prikupio tri snimke od tri različita natpisa za svaki uzorak, slučajno smo odabrali jedan za zadatak T2ST-a (uvod je tekst). (T2ST kolone) usporedba između SEAMLESSM4T modela i kaskadnih modela s NLLB-om i YOURTTS-om (engleski TTS) ili MMS-om (ne-engleski TTS) za sintezu prevedenog teksta. U usporedbi s kaskadnim modelima, prosječni ASR-BLEU rezultat u 88 X-eng smjerova (preklapanje između FLEURS-a i jezika koje podržava SEAMLESSM4T). Također smo prosječili ASR-BLEU u 26 eng-X smjerova (preklapanje SEAMLESSM4T-a s TTS modelima MMS-a). U usporedbi s kaskadnim modelima, sposobnost nultog udara SEAMLESSM4T-LARGE V2 je jednaka NLLB- 4 Da bismo dodatno razumjeli odakle dolaze poboljšanja u smjerovima FLEURS S2TT X-eng, prikupili smo jezike po razini resursa (vidi točan popis jezika u Dodatnoj tablici). ) i izvješćivanje prosječne BLEU ocjene po razini resursa u tablici Rezultati pokazuju da SEAMLESSM4T snažno poboljšava kvalitetu prijevoda iz jezika s niskim resursima s poboljšanjem od +10.2 BLEU (od 18.0 do 28,2, to jest, 57% poboljšanje u odnosu na AUDIOPALM-2-8B-AST). mi također prosječno u koloni Low* u odnosu na smjernice s niskim resursima koje se nadgledaju u AUDIOPALM-2-8B-AST. Dobitak od +7.8 BLEU u tom podskupinu smjernica sugerira da to poboljšanje ide izvan čiste kontrole, ali se umjesto toga treba pripisati kvaliteti nadzorovanih podataka i recepata za obuku. 12 5 Automatsko i ljudsko ocjenjivanje Semantička točnost u govornom prijevodu općenito se procjenjuje pomoću automatske metrike BLEU za S2TT ili njegovo proširenje ASR-BLEU za S2ST. Štoviše, koristimo BLASER 2.0 (ref. ), proširenje BLASER , što sada omogućuje evaluaciju modaliteta i procjenu kvalitete govora i teksta. 10 24 25 Da bismo dopunili korisnost automatske metrike, također smo se oslanjali na opsežnu ljudsku evaluaciju naših modela.U nastavku pružamo ljudsku evaluaciju za zadatke S2TT i S2ST pomoću protokola XSTS (cross-lingual semantic textual similarity) i MOS (prosječni rezultat mišljenja) protokola za izlaze govora (vidi » » Međutim, mi pokrivamo ograničen broj modela (SEAMLESSM4T-LARGE, SEAMLESSM4T-LARGE V2 i kaskadnu baznu liniju koja se sastoji od WHISPER-LARGE-V2 za ASR, NLLB 3.3B za prijevod i YOURTTS ili MMS za TTS za zadatak S2ST) i upute za prijevod (23 jezika iz i u engleski, 10 jezika X-eng za MOS) zbog ograničenja resursa. 26 Metode ljudska evaluacija Rezultati XSTS-a pokazuju da SEAMLESSM4T-LARGE V2 nadmašuje i kaskadne bazne sustave i SEAMLESSM4T-LARGE u smislu prosječne XSTS ocjene i stope pobjede na razini jezika (skupina evaluacijskih jezika za koje je XSTS izvrstan) za sve zadatke i jezične smjernice s visokim pouzdanjem. Za zadatak S2ST, gdje je relativna uspješnost SEAMLESSM4T-V2 bila najjača, stopa pobjede pristupa SEAMLESSM4T-V2 100% u usporedbi s kaskadnom baznom linijom i SEAMLESSM4T-LARGE za oba smjera X-eng i eng-X, s jezičnim prosječnim XSTS rezultatima oko 0,5 boda višim od kaskad i for full language-level and summarized XSTS results, respectively. 22 24 Također mjerimo kvalitetu izlaza govora za S2ST pomoću protokola Mean Opinion Score koji ocjenjuje (1) kvalitetu zvuka, (2) jasnoću govora i (3) prirodnost. Otkrili smo da se općenito, u svim aspektima MOS-a, SEAMLESSM4T-LARGE V2 preferira SEAMLESSM4T-LARGE, koji se preferira kaskadnim bazama modela, osim X-eng, za koje su SEAMLESSM4T-LARGE generacije snažno preferirane (+1 točka prosječne razlike između SEAMLESSM4T-LARGE i SEAMLESSM4T-LARGE V2 generacija), neočekivani rezultat koji može biti posljedica razlika u arhitekturama modela koje su inače poboljšale kvalitetu generacije. i za rezultate na punoj jezičnoj razini i sažeti MOS rezultati, odnosno. 23 24 Korištenjem XSTS evaluacija zadatka S2ST, BLASER 2.0 (prosječno za sve stavke evaluacije u danom smjeru jezika) postiže superiorne Spearman korelacije s kalibriranim XSTS rezultatima na razini jezika u oba smjera X-eng (0,845 za BLASER 2.0 u usporedbi s 0,74 za ASR-BLEU) i posebno za smjer eng-X (0,81 za BLASER 2.0 u usporedbi s 0,246 za ASR-BLEU). za potpune rezultate). 21 Naposljetku, testirali smo naše modele na robustnost u smislu buke i varijacija zvučnika stvaranjem otvorenih referentnih vrijednosti robustnosti na temelju FLEURS-a (vidi » » U tu svrhu otkrijemo da je SEAMLESSM4T-V2 u prosjeku otprilike 42% i 66% otporniji na buke u pozadini i varijaciju zvučnika, odnosno, u usporedbi s WHISPER-LARGE-V2 (vidjeti potpune rezultate u odjeljku Dodatne informacije). ) i Metode Robustnost V.2 Responsible AI toksičnost Toksicitet se može definirati kao slučajevi profaniteta ili jezika koji mogu potaknuti mržnju, nasilje ili zlostavljanje prema pojedincu ili skupini (kao što je vjera, rasa ili spol). U kontekstu govornog prijevoda bili smo prvenstveno zabrinuti zbog dodatne toksičnosti – uvođenja u prijevode toksičnih elemenata koji nisu prisutni u izvornim izjavama. i, nedavno, za desetke jezika s MuTox . 27 28 29 Stoga smo za otkrivanje višejezične toksičnosti govora i teksta koristili ETOX (ili ASR-ETOX za S2ST) i MuTox (i za govor i tekst) kao metriku za otkrivanje i procjenu dodane toksičnosti. Za ublažavanje toksičnosti primijenili smo dvije tehnike za rješavanje dodane toksičnosti. U razdoblju inkubacije (vidi » » » » 11 Metode Detekcija toksičnosti Izračunali smo dodanu toksičnost u dva skupa podataka (FLEURS i HOLISTICBIAS ) preko 24 smjera prijevoda s engleskim (arb, ben, cat, ces, dan, deu, est, fin, fra, hin, ind, ita, nld, pes, pol, por, rus, slk, spa, swh, tgl, tur, urd, vie), koristeći jezike na raskrižju pokrića sustava i MuTox koji su bili benchmarked (obratite pažnju da MuTox ima širu jezičnu pokrivenost, sličnu SONAR-u, ali je samo bio benchmarked u 30 jezika Pogledajte rezultate s više uputa za prijevod ocijenjenih pomoću ETOX-a u odjeljku Dodatne informacije stolom pokazuje da, iako se razine i vrste dodane toksičnosti značajno razlikuju kao funkcija jezika i skupova podataka, dodana toksičnost u našim sustavima ima relativno nisku prevalenciju koja je dosljedna u našim dvjema metrikama otkrivanja toksičnosti (< 0,4%). Najniža toksičnost za sve modalitete, smjerove i skupove podataka dosljedno je dobivena sa SEAMLESSM4T-V2 + MinTox, postižući smanjenja toksičnosti do 5% u smislu MuTox (i do 80% u smislu ETOX) u usporedbi s istim modelom bez korištenja MinTox, i do 20% u pogledu MuTox (do 90% u smislu ETOX) u usporedbi s osnovom (vidi potpune rezultate u odjeljku Dodatne informacije). ) i 27 29 Vi1 6 6 Vi1 Gender bias Gender bias in the context of MT can be defined as errors in grammatical gender determination. This bias may manifest explicitly as an overgeneralization to one gender when translating non-gendered to gendered forms (for example, outputs favouring masculine representations) or as a lack of robustness when varying the quality of the translation for sentences that differ only in gender inflection. Previous work on this matter is mostly in the text modality , , and tends to be English-centric, with few demographic axes and multilingual references. Similar efforts for the speech modality remain sparse , . 30 31 32 33 34 We used MULTILINGUAL HOLISTICBIAS and its speech extension to compare the performance of S2TT and S2ST. The eng–X direction enables comparing performance in the presence of masculine or feminine references, and the X–eng direction enables robustness comparisons in translations when we alter gender inflection. A typical example of the English–Spanish language pair would be ‘I’m a homemaker’ and the corresponding translations ‘Soy amo de casa’ and ‘Soy ama de casa’ in Spanish. When translating from English to Spanish, we can measure if the system overgeneralizes to one gender, whereas in the other direction, we can evaluate the robustness of the translation to gender inflection (see , ‘ ’). 35 Methods Sljedeći Članak Govorno proširenje višejezičnih holisticija We conducted a set of comprehensive evaluations on translation biases for S2TT and S2ST (see Extended Data Table for average results and Supplementary Information section U usporedbi s prethodnim modelom, SEAMLESSM4T-V2 poboljšava nad SEAMLESSM4T-LARGE za 0,4% u S2TT i za 0,1% BLASER 2.0 u S2ST, a nadmašuje vanjski osnovni sustav WHISPER-LARGE-V2 (+YOURTTS) za 0,1% u S2TT i za 0,9% BLASER 2.0 za S2ST. Međutim, SEAMLESSM4T-V2 ne može dosljedno poboljšati u pogledu rodne overgeneralization u usporedbi s prethodnim modelom. SEAMLESSM4T-V2 je usporediv u pogledu BLASER 2.0 na SEAMLESSM4T-LARGE (+YOURTTS), ali zaostaje daleko u pogledu specifičnosti ASRchf (za 2,2%), a overgeneralization 3 VI.2 Socijalni utjecaj i zaključak Svijet u kojem živimo nikada nije bio više međusobno povezan – globalno širenje interneta, mobilnih uređaja, komunikacijskih platformi i društvenih medija izlaže pojedince više više više jezičnom sadržaju nego ikad prije. Sadašnji društveni poredak postavlja zahtjev za svjetskom spremnošću osobe. U početku razvijen u kontekstu učenja jezika, svjetska spremnost naglašava važnost sposobnosti komuniciranja na jezicima izvan našeg materinjeg jezika kako iz instrumentalnih (tj. zapošljavanja ili školovanja) tako i iz kulturnih razloga (tj. kako bi postao globalni građanin). 36 12 Aplikacije koje SEAMLESSM4T podržava na daljinu mogle bi omogućiti pristup na zahtjev svjetskoj spremnosti pojednostavnjivanjem višejezične razmjene u različitim kontekstima. aplikacije koje SEAMLESSM4T podržava mogle bi djelovati kao mehanizam ko-pilotiranja koji korisnike podržava u višejezičnim razgovorima i povećava njihovo povjerenje u govorno-teške interakcije. Kako su interfejsi na temelju govora (na primjer, audio asisti, glasovni memo i live transkripcije) i audio sadržaj (na primjer, podcastovi, audioknjige i kratkovidni videozapisi) sve prisutniji, aplikacije koje SEAMLESSM4T omogućuje na daljinu mogle bi otključati veću raznolikost višejezičnih iskustava. S gledišta uključivanja, fokus SEAMLESSM4T-a na multimodalnost mogao bi značajno razlikovati u povećanju svjetske spremnosti onih s potrebama pristupačnosti i onih čiji se jezici mogu transkribirati pomoću višestrukih sustava pisanja. . The ability to translate speech gives these groups more comprehensive access to information not only beyond their native languages but also in a manner that is better suited for their communicative needs. 37 Kao i kod većine tehnologija, raspodjela koristi varira ovisno o demografiji korisnika i društvenoj situaciji. . Although we make the case that SEAMLESSM4T could augment world-readiness by lowering the barriers in cross-lingual communication, some users may experience more difficulties using our work than others. For instance, similar to many other speech technologies, the ASR performance of SEAMLESSM4T may vary based on gender, race, accent or language , Štoviše, performanse našeg sustava pri prevođenju slanga ili pravih nazivnica također mogu biti nedosljedne na jezicima visokih i niskih resursa. 38 39 40 Another challenge for S2ST is that speech tends to hinge on immediate reception and feedback more than written language does. In other words, speakers are limited in their ability to ascertain the quality of an output or make edits in a live conversation. Without the ability to plan and revise with the help of back-translation or a native speaker, S2ST may carry higher degrees of interactional risk when it comes to mistranslations or toxicity. We urge researchers and developers who fine-tune or build artefacts using SEAMLESSM4T to think critically about design features that could help users circumvent these potential obstacles. Importantly, we believe that SEAMLESSM4T-fueled applications should best be viewed as an augmentation device that assists in translation rather than a tool that replaces the need for language learning or reliable human interpreters. This reminder is especially pertinent in high-stakes situations involving legal or medical decision-making. Finally, speech is not spoken text—it encompasses a suite of prosodic (for example, rhythm, stress, intonation or tone) and emotional components that deserve further research . To create S2ST systems that feel organic and natural, more research should be directed at output generation that preserves expressivity Nadalje, dovršena realizacija Babelske ribe zahtijeva dublje ulaganje u istraživanje o prijevodu govora s niskom latentnošću. , . We hope that SEAMLESSM4T opens up new possibilities for both these research areas. 41 42 43 44 Methods Datumi Razvoj učinkovitog višejezičnog i multimodalnog sustava prijevoda kao što je SEAMLESSM4T zahtijeva znatne resurse diljem jezika i modaliteta.Neki ljudski resursi za prijevod su slobodno dostupni, ali često ograničeni na mali skup jezika ili u vrlo specifičnim domenama.Poznati primjeri su paralelne zbirke teksta kao što je Europarl and the United Nations Corpus . A few human-created collections also involve the speech modality, such as CoVoST , and mTEDx Međutim, nijedan otvoreni skup podataka trenutno ne odgovara veličini onih koji se koriste u inicijativama kao što je WHISPER. or USM , which proved to unlock unprecedented performance. 45 46 47 48 49 20 50 Paralelno rudarenje podataka pojavljuje se kao alternativa korištenju zatvorenih podataka, u smislu jezičnog pokrića i veličine korpusa.Dominantni pristup danas je kodiranje rečenica iz različitih jezika i modaliteta u zajednički prostor za ugradnju fiksne veličine i pronalaženje paralelnih slučajeva na temelju metrikama sličnosti. , . This approach was first introduced using the multilingual LASER space . Teacher–student training was then used to scale this approach to 200 languages , Nakon toga, način govora , . 51 52 53 6 16 54 55 Audio processing and speech LID Počeli smo s 4 milijuna sati sirovog zvuka koji potječe iz javno dostupnog skladišta pregledanih web podataka na koje smo primijenili nekoliko operacija čišćenja i filtriranja. Kako bi se maksimiziralo podsjećanje na rudarstvo, važno je da svi segmenti imaju sličnu granularnost. Za tekstni domen, rečenica je općenito dobro definirana. Ovo je manje očito za sirovi govor jer se pauze ne koriste nužno na granicama rečenica. to split audio files into shorter segments. Second, a newly developed speech LID model was applied to each segment. Our model follows the ECAPA-TDNN architecture and extends the open-source model trained on VoxLingua107 Konačno, primijenili smo pristup prekomjerne segmentacije koji je istodobno predložio višestruke, potencijalno preklapajuće segmentacije govora. shows this pipeline. 56 13 14 1 Sonar The SONAR text and speech encoders were developed in ref. Primjenjuje se dvostupanjski pristup (dopunski lik. Prvo, masivno višejezična reprezentacija je naučena samo za tekstualnu modalitetu. Zatim je obuka učitelja-učenika korištena za proširenje prostora ugrađivanja u govornu modalitetu. Prostor za ugrađivanje teksta je obučavan s pristupom kodera-dekodera koristeći kombinaciju višestrukih ciljeva: prevođenje, denoiziranje auto-kodiranja i cilj gubitka prosječne kvadratne pogreške (MSE) u prostoru ugrađivanja rečenice. , that is, parallel data to translation from 200 to 200 languages. Speech encoders were trained only on ASR data and by grouping languages into linguistic genealogical groups following ref. , na primjer, italijanski, zajednički turski ili indo-iranski jezici. Kako bi se postigla optimalna izvedba, odredili smo optimalnu konvergenciju pojedinačno za svaki jezik (tj. kada prestati s osposobljavanjem). To je rezultiralo zasebnim kodiranjem govora za svaki jezik. . The speech encoders were initialized with w3v-best 2.0 speech front end. Preceding work performed max pooling or mean pooling of the output states of the speech front end to obtain a fixed-size embedding of the speech signal , Studija o ablaciji pokazala je da se bolji rezultati mogu dobiti pomoću trovrstnog dekodera transformatora. Obuka nastavnika i studenata sastojala se od minimiziranja gubitka MSE-a u odnosu na ugrađivanje ASR transkripcija teksta.Ova ugrađivanja dobivena su pomoću SONAR-ovog kodera teksta, koji je ostao konstantan. 8 2 6 16 8 54 57 8 SpeechAlign We first calculated the embeddings of all over-segmented speech segments. For the text domain, we used exactly the same texts as the NLLB project i ugrađeni su u SONAR kodere. iscrpna usporedba u parovima može se učinkovito izvesti s FAISS alatkom . Similarity is measured with a margin criterium as first introduced in ref. : 6 58 52 where and are the source and target sentences, and ( ) denotes the Najbliži susjedi Na drugom jeziku, postavili smo to 16. x y NNk x k x k As an example, this amounts to comparing a hundred thousand hours of speech with more than 20,000 million English sentences, which yielded about eight thousand hours of aligned Arabic speech. Modelling The SEAMLESSM4T models rely on our multitask UNITY architecture. Our proposed unified translation model builds on vanilla UNITY , a two-pass decoding framework that first generates text and subsequently generates speech by predicting discrete acoustic units (see section ‘ ’). Compared with the vanilla UNITY model , (1) osnovni S2TT model, inicijaliziran od nule u UNITY-u, zamjenjuje se X2T modelom koji podržava tekst kao ulaz i predtreniran je kako bi zajednički optimizirao zadatke ASR-a, S2TT-a i T2TT-a (vidjeti odjeljak ‘ ’), and (2) the shallow T2U model (referred to as T2U unit encoder and second-pass unit decoder in ref. ) zamijenjen je dubljim modelom kodera-dekodera zasnovanim na transformatoru s šest slojeva transformatora koji su predtrenirani na ASR podacima (vidi odjeljak ‘ Poboljšana verzija UNITY-a, nazvana UNITY2, zamjenjuje autoregresivni T2U novim neautoregresivnim (NAR) T2U dekoderom. 59 Višejezične diskretne akustične jedinice 59 X2T fin-tuning uređaj 59 S2ST fine-tuning Predtreniranje X2T-a rezultiralo je snažnijim kodiranjem govora i kvalitetnijim dekodiranjem teksta s prvim prijelazom, dok je skaliranje i predtreniranje modela T2U omogućilo da se bolje nosimo s višejezičnom proizvodnjom jedinica bez smetnji. Multilingual discrete acoustic units Recent works have achieved state-of-the-art translation performance by using self-supervised discrete acoustic units as targets for building direct speech translation models , . This consists of decomposing the S2ST problem into a speech-to-unit translation step and a unit-to-speech conversion step. We extracted continuous speech representations using XLS-R Sastav diskretnih žetona (također poznat kao jedinični vokabular) uči se primjenom -means algorithm to a set of multilingual audio samples. The -to znači da centroids nalikuju kodeku koji se koristi za mapiranje sekvence XLS-R govornih reprezentacija u sekvencu centroidnih indeksa ili akustičnih jedinica. = 10,000 with features from the 35th layer of XLS-R-1B to represent the 35 supported target languages. 5 60 61 k k K For the unit-to-speech conversion step, we followed ref. and built a multilingual vocoder for speech synthesis from the learnt multilingual units. This model is responsible for synthesizing audios from a sequence of units that SEAMLESSM4T models will predict. 62 Nezaštićeni govor predtrenira Self-supervised pretraining with unlabelled speech audio data is a practical approach for leveraging unlabelled data. With pretraining, we can bootstrap the quality of translation models and make the most out of our supervised paired data. We pretrained a speech encoder following our improved W2V-BERT 2.0. It follows w2v-BERT in combining contrastive learning with masked prediction learning. W2V-BERT 2.0 uses more codebooks and an additional masked prediction task using random projection quantizers (RPQ). Our W2V-BERT 2.0 model is first trained on 1 million hours of open speech audio data that covers over 143 languages. It follows the w2v-BERT XL architecture , which has 24 Conformer layers and approximately 600 million model parameters. For the v2 version, we scaled up the amount of unlabelled data from 1 million to 4.5 million hours of audio. The most recent and publicly available multilingual speech pretrained model is MMS Obučava se u samo 0,5 milijuna sati, pokrivajući više od 1400 jezika. . It is a proprietary multilingual speech pretrained model with 12 million hours of data and more than 300 languages in coverage. 63 64 63 65 23 50 Text-to-text translation models The text processing components of our SEAMLESSM4T models were pretrained on the task of text-to-text translation, a much more resourced task than speech translation. Consider, for instance, the English–Italian direction, one of the highly resourced pairs in T2TT with more than 128 million parallel sentences—only 2 million pairs of English text paired with Italian audio are available for S2TT. A key step in training multilingual text-to-text translation models is learning a shared vocabulary with a text tokenizer. Following ref. Koristili smo SentencePiece S pomoću BPE algoritma for this purpose. The tokenizer used in NLLB-200 suffers from missing key Chinese characters because of artefacts of sampling. This sampling does not favour logo-graphic writing systems with a large number of unique symbols. To fix this issue, we forced the inclusion of these characters. Our new tokenizer improves the coverage of the MTSU top 5K Chinese characters from 54% to 84%. 6 66 67 6 To train our multilingual text-to-text model, we followed the same data preparation and training pipelines in ref. Korištenje stopova . Having a smaller language coverage allowed us to significantly decrease the size of the model to 1.3B parameters and only use NLLB-200 training data in the 95 SEAMLESSM4T languages. 6 68 Data augmentation with pseudo-labelling As with any sequence-to-sequence task, speech translation performance is dependent on the availability of high-quality training data. However, the amount of human-labelled data is scarce compared with its T2TT or ASR counterparts. To address this shortage of labelled data, we resort to pseudo-labelling , the ASR data with a multilingual T2TT model (for example, NLLB models) to generate pseudo-labelled S2TT data. 69 70 To augment S2ST data, it is common practice to use TTS models to convert text from speech-to-text data sets into synthetic speech , . This synthetic speech is, in turn, converted into discrete units for training. This two-step unit extraction process is a slow process and is harder to scale given the dependencies on TTS models. We circumvented the need for synthesizing speech and trained multilingual text-to-unit (T2U) models on all 36 target speech languages. These models can directly convert the text into target discrete units and can be trained on ASR data sets that are readily available. 4 5 X2T fine-tuning The first key part of our multitask UNITY framework is the X2T model, a multi-encoder sequence-to-sequence model with a conformer-based encoder za glasovni ulaz i drugi transformatorski kodirnik for text input. Both encoders were joined with the same text decoder and fine-tuned jointly to optimize the tasks of ASR, S2TT and T2TT. 65 71 Naš X2T model sastoji se od pridruživanja govornog kodera, W2V-BERT 2.0 iz M2, post-fixa s dugim adapterom za dolazak duge audio sekvence, s tekstovnim koderom-dekoderom iz M3 (Dopunski lik. Za adapter dužine koristili smo modificiranu verziju M-adaptera , in which we replaced the three independent pooling modules for Q, K and V with a shared pooling module to improve efficiency. 4 72 Sljedeći Članak Sljedeći Članak X2T je dobro prilagođen na triplete podataka S2TT s govornim audio ( govor) na izvornom jeziku ⟩, paired with its transcription ( tekst) i prijevod teksta ( text) in a target language ⟨ Kako bi se omogućio prijenos značenja u različitim oblicima, model X2T je dobro prilagođen kako bi se optimizirale sljedeće objektivne funkcije: x ℓs x y Lt We additionally optimized an auxiliary objective function in the form of token-level knowledge distillation () to further transfer knowledge from the strong MT model to the student speech translation task (S2TT). Konačni gubitak je ponderirani iznos svih tri gubitka: gdje , i su skalarni hiper-parametri prilagođeni na razvojne podatke. α β γ S2ST fine-tuning In the last stage of fine-tuning multitask UNITY, we initialized the model with the pretrained X2T model (see section ‘ ’) i predtrenirani T2U model, sličan onome koji se koristi za pseudo-označavanje S2ST podataka u M4. Model T2U koji se koristi za pseudo-označavanje naziva se učiteljski T2U model s 12 slojeva transformer encoder-decoder. Za inicijaliziranje smo koristili manji studentski T2U model s samo šest slojeva za optimizaciju zaključivanja i destilaciju oznaka jačeg T2U. U drugoj verziji SEAMLESSM4T-a, UNITY2 zamjenjuje drugi prolaz autoregressive decoder u UNITY-u s NAR decoderom. i proširila ga na diskretno generiranje jedinica. UNITY2 počinje s hijerarhijskim uzorkovanjem T2U kodiranja izlaza od duljine podrijetla do duljine znakova, a zatim do duljine jedinice. Prediktor trajanja jedinice, ključ za hijerarhijsko uzorkovanje, nadzire se tijekom obuke višejezičnim usklađivačem na temelju RAD-TTS . The architecture is shown in detail in Supplementary Information section . X2T fine-tuning 73 74 IV.8 Uredi We fine-tuned the S2ST task with a combination of X–eng and eng–X S2ST translation data totalling 121,000 h. We froze the model weights corresponding to the X2T model and only fine-tuned the T2U component. This is to ensure that the performance of the model on tasks from the previous stages of fine-tuning remains unchanged. Automatsko i ljudsko ocjenjivanje BLASER 2.0 Sljedeći Članak BLASER 2.0 (ref. ) is the new version of BLASER , koji radi i s govornim i tekstovnim modalitetima, te je stoga modaliteta-agnosticiran. Kao i prva verzija, naš pristup iskorištava sličnost između ulaznih i izlaznih ugrađivanja rečenica. , podržava 57 jezika u govoru i 202 u tekstu (pokrivenost jezika od strane SONAR-a u trenutku podnošenja ovog članka) i može se proširiti na buduće kodere za nove jezike ili modalitete koji dijele iste ugrađene prostore. 24 75 III.3.1 Konkretnije, u BLASER 2.0, uzimamo izvorni unos, prevedeni izlaz iz bilo kojeg S2ST, S2TT ili T2TT modela, i referentni govorni segment ili tekst, i pretvorimo ih u SONAR ugrađene vektore. Human evaluation Apart from automatic metrics such as (ASR) BLEU and BLASER 2.0, we used human metrics such as XSTS , which measures semantic similarity between a source and target translation, and a standard Mean Opinion Score (as standardized in Recommendation ITU-T P.800, henceforth MOS), which measures (1) naturalness, (2) sound quality and (3) clarity of audio generations to evaluate our models. To obtain more robust language-level scores, we also incorporate a calibration set and calibration methodology, the same used to evaluate the NLLB models Osim XSTS-a, dobili smo i MOS evaluacije kako bismo razumjeli druge aspekte kvalitete zvuka u ciljanom govoru. . 26 6 V.1 Robustness Izgradili smo referentnu vrijednost za procjenu buke koja se može ponoviti na temelju FLEURS-a (buke FLEURS), koja obuhvaća 102 jezika, dva govorna zadatka (S2TT i ASR) i različite vrste buke (prirodne buke i glazba). U kategorijama ‘buka’ i ‘glazba’ miješali smo ih s originalnim FLEURS zvukovima pod različitim omjerom buke i signala (SNR): 10, 5, 0, −5, −10, −15 i −20. Usporedili smo modele prema krivuljama BLEU-SNR (za S2TT) ili WER-SNR krivuljama (za ASR), koje ilustriraju stupanj degradacije performansi modela kada se razina buke unosa govora povećava (tj. kada SNR smanjuje). 76 Slijedili smo ref. to evaluate model robustness against speaker variations by calculating the average by-group mean score and by-group coefficient of variation using an utterance-level quality metric. Instead of using BLEU as the quality metric, we used chrF, which has better stability at the utterance level. The calculation of both robustness metrics does not require explicit speaker subgroup labels. We grouped evaluation samples and corresponding utterance-level chrF scores by content (transcript) and then calculated the average by-group mean score chrFMS and average by-group coefficient of variation CoefVarMS, defined as follows: 47 Gdje Dvije su mjerice komplementarne: chrFMS pruža normaliziranu mjericu kvalitete koja, za razliku od konvencionalnih mjerica na razini korpusa, uzima u obzir varijacije govornika, dok CoefVarMS pruža standardiziranu mjeru varijacije kvalitete pod varijacijama govornika. G Odgovorni AI Detekcija toksičnosti Inspiriran ASR-BLEU-om, ovaj rad predlaže korištenje ASR-ETOX-a kao nove metrike za otkrivanje dodatne toksičnosti u govoru i procjenu dodatne toksičnosti za S2ST sposobnost SEAMLESSM4T. ), a zatim modul za otkrivanje toksičnosti, ETOX , koji koristi popis riječi Toxicity-200 . For S2TT, the translated output can be directly evaluated with ETOX. In both cases (S2ST and S2TT), we measured added toxicity at the utterance or sentence level. We first computed toxicity detection for each input in the evaluation dataset and the corresponding output. Then, we compared them and counted a case as containing added toxicity only when the output value exceeds that of the input. Moreover, we used the recently proposed MuTox metric that can be applied to text or speech output with no need for ASR. This classifier has been trained on both speech and text toxicity labelled data for 30 languages. As MuTox relies on SONAR embeddings , MuTox the same number of languages by the zero-shot property. However, accounting for validated quality, we report MuTox only the languages that have been benchmarked . Again in both cases (S2ST and S2TT), we measured added toxicity at the utterance or sentence level. In this case, a sentence contains added toxicity if MuTox scores is >0.9 in the output and <0.5 in the input. We have experimentally validated these thresholds for several languages with human bilingual speakers for several pairs of languages. For S2TT, we computed MuTox in transcribed speech and target text. For S2ST, we computed MuTox in source and target speech. 2 27 6 29 29 Za ublažavanje toksičnosti primjenjujemo dvije tehnike za ublažavanje dodane toksičnosti. Prije treninga filtriramo parove treninga s neuravnoteženom toksičnošću. u vrijeme zaključka. Konkretno, glavni tok posla generira hipotezu prijevoda s neograničenim pretraživanjem. Zatim se klasificator toksičnosti pokreće na ovoj hipotezi. Ako se ne otkrije toksičnost, pružamo hipotezu prijevoda kao što je. Međutim, ako se otkrije toksičnost u izlazu, pokrećemo klasificator na ulazu. Ako je toksičnost neuravnotežena (to jest, u ulazu se ne otkrije toksičnost), mi ponovno pokrećemo prijevod s ublažavanjem, što je korak BEAMFILTERING. Ovo BEAMFILTERING sastoji se od uzimanja kao ulaznih multi-token izraza koji se ne bi trebali pojaviti u izlazu i isključivanja ih iz hipoteza traga žarka. 11 Koristili smo dva skupa podataka za analizu dodane toksičnosti. Prvo, raspoređivali smo FLEURS kako bismo se bolje uskladili s našim naporima ocjenjivanja ljudi i drugim evaluacijskim komponentama ovog rada. koji je pokazao da izaziva istinsku dodatnu toksičnost u prethodnim studijama U ovom radu proširujemo HOLISTICBIAS na govor primjenom standardnog engleskog TTS modela iz MMS-a . 77 27 23 Speech extension of MULTILINGUAL HOLISTICBIAS Da bismo usporedili performanse u različitim oblicima (S2ST i S2TT), proširili smo MULTILINGUAL HOLISTICBIAS na govor ( Koristili smo ove generirane TTS podatke kao ulaz za S2TT i S2ST i kao referenciju za S2ST. Proveli smo prijevode u dva smjera: eng–X i X–eng. Konkretno, u X–eng, prevodili smo i muške i ženske verzije govora. Vrijedno je napomenuti da neki ciljni jezici nisu dostupni u modelu SEAMLESSM4T S2ST, tako da smo prevodili samo 17 jezika za zadatak S2ST u smjeru eng–X. Za S2TT u eng–X, imamo sve jezike uključene u skup podataka MULTILINGUAL HOLISTICBIAS ( Za referencu, potpuni popis jezika koji se koriste u našim eksperimentima može se naći u Dodatnoj tablici . 23 https://github.com/facebookresearch/fairseq/tree/main/examples/mms#tts-1 n 26 Za S2ST smo koristili ASRchrf (prepis je napravio WHISPER-LARGE i WHISPER-MEDIUM za eng–X i X–eng, odnosno, a chrF je izračunan na isti način kao i S2TT, osim što je u S2ST-u normaliziran tekst iz predviđanja i referencije) i BLASER 2.0. vrijedi napomenuti da smo prilikom evaluacije na BLASER 2.0 uključili samo 14 jezika (arb, cat, deu, eng, fra, nld, por, ron, rus, spa, swe, tha, ukr i urd) za smjer eng–X (preklapanje jezika iz generiranih TTS podataka i jezika dostupnih u našem modelu S2ST). 20 Data availability To make our work available to the community, we provide open source of the following data sets, models and code at GitHub ( ): (1) modeli SEAMLESSM4T, uključujući težine modela za SEAMLESSM4T-LARGE (2.3B parametri) i SEAMLESSM4T-MEDIUM (1.2B parametri), kao i njihove zaključne kode i recepte za finu prilagodbu pomoću našeg novog alata za modeliranje FAIRSEQ2 ( ); (2) tools for creating aligned speech data, including metadata to recreate the unfiltered 470,000 h of SEAMLESSALIGN, STOPES-based pipelines ( ) stvoriti usklađivanja slične SEAMLESSALIGN-u i SONAR-u za glasovne kodere na 37 jezika i tekstovne kodere na 200 jezika ( ) i (3) S2ST automatski model evaluacije bez teksta, BLASER 2.0, uključujući težine modela i skripte zaključivanja. https://github.com/facebookresearch/seamless_communication https://github.com/facebookresearch/fairseq2 https://github.com/facebookresearch/stopes https://github.com/facebookresearch/SONAR referenciji Lavie, A. et al. Janus-III: speech-to-speech translation in multiple languages. In Vol. 1, 99–102 (IEEE, 1997). Proc. 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing Wahlster, W. (ed.) (Springer, 2000). Verbmobil: Foundations of Speech-to-Speech Translation Nakamura, S. et al. The atr multilingual speech-to-speech translation system. , 365–376 (2006). IEEE Trans. Audio Speech Lang. Process. 14 Article Google Scholar Jia, Y. et al. Direct speech-to-speech translation with a sequence-to-sequence model. In , 1123–1127 (ISCA, 2019). Proc. Interspeech 2019 Lee, A. et al. Direct speech-to-speech translation with discrete units. In (eds Muresan, S. et al.) Vol. 1, 3327–3339 (Association for Computational Linguistics, 2022). Proc. 60th Annual Meeting of the Association for Computational Linguistics NLLB Team Scaling neural machine translation to 200 languages. , 841–846 (2024). Nature 630 Article CAS Google Scholar Agarwal, M. et al. Findings of the IWSLT 2023 evaluation campaign. In (eds Salesky, E. et al.) 1–61 (Association for Computational Linguistics, 2023). Proc. 20th International Conference on Spoken Language Translation (IWSLT 2023) Duquenne, P.-A., Schwenk, H. & Sagot, B. SONAR: sentence-level multimodal and language-agnostic representations. Preprint at (2023). https://arxiv.org/abs/2308.11466 Popović, M. chrF: character n-gram F-score for automatic MT evaluation. In (eds Bojar, O. et al.) 392–395 (Association for Computational Linguistics, 2015). Proc. Tenth Workshop on Statistical Machine Translation Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (Association for Computational Linguistics, 2002). Proc. 40th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. R., Dale, D., Elbayad, M. & Yu, B. Added toxicity mitigation at inference time for multimodal and massively multilingual translation. In (eds Scarton, C. et al.) Vol. 1, 360–372 (European Association for Machine Translation, 2024). Proc. 25th Annual Conference of the European Association for Machine Translation ACTFL. World-readiness standards for learning languages. (2023). https://www.actfl.org/educator-resources/world-readiness-standards-for-learning-languages Desplanques, B., Thienpondt, J. & Demuynck, K. ECAPA-TDNN: emphasized channel attention, propagation and aggregation in TDNN based speaker verification. In (eds Meng, H. et al.) 3830–3834 (ISCA, 2020). Proc. Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event Valk, J. & Alumäe, T. VOXLINGUA107: a dataset for spoken language recognition. In 652–658 (IEEE, 2021). Proc. 2021 IEEE Spoken Language Technology Workshop, Chen, M., Heffernan, K., Çelebi, O., Mourachko, A. & Schwenk, H. xSIM++: An improved proxy to bitext mining performance for low-resource languages. In (eds Rogers, A. et al.) Vol. 2, 101–109 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. In , 2101–2112 (eds Goldberg, Y. et al.) (Association for Computational Linguistics, 2022). Findings of the Association for Computational Linguistics: EMNLP 2022 Feng, F., Yang, Y., Cer, D., Arivazhagan, N. & Wang, W. Language-agnostic BERT sentence embedding. In (eds Muresan, S. et al.) Vol. 1, 878–891 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Conneau, A. et al. FLEURS: FEW-Shot Learning Evaluation of Universal Representations of Speech. In , 798–805 (IEEE, 2023). 2022 IEEE Spoken Language Technology Workshop (SLT) Zhang, Z.-H. et al. Speak foreign languages with your own voice: cross-lingual neural codec language modeling. Preprint at (2023). https://arxiv.org/abs/2303.03926 Radford, A. et al. Robust speech recognition via large-scale weak supervision. In , article no. 1182, 28492–28518 (ACM, 2023). Proceedings of the 40th International Conference on Machine Learning Rubenstein, P. K. et al. AudioPaLM: a large language model that can speak and listen. Preprint at (2023). https://arxiv.org/abs/2306.12925 Casanova, E. et al. YourTTS: towards zero-shot multi-speaker tts and zero-shot voice conversion for everyone. In , Vol. 162, 2709–2720 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Pratap, V. et al. Scaling speech technology to 1,000+ languages. , 1–52 (2024). J. Mach. Learn. Res. 25 Dale, D. & Costa-jussà, M. R. Blaser 2.0: a metric for evaluation and quality estimation of massively multilingual speech and text translation. In (eds Al-Onaizan, Y. et al.) 16075–16085 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: EMNLP 2024 Chen, P.-J. et al. Speech-to-speech translation for a real-world unwritten language. In (eds Rogers, A. et al.) 4969–4983 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: ACL 2023 Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In (eds Duh, K. & Guzmán, F.) Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proc. 15th Biennial Conference of the Association for Machine Translation in the Americas Costa-jussà, M. et al. Toxicity in multilingual machine translation at scale. In , 9570–9586 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: EMNLP 2023 Ghosh, S., Lepcha, S., Sakshi, S., Shah, R. R. & Umesh, S. DeToxy: a large-scale multimodal dataset for toxicity classification in spoken utterances. In 2022, 5185–5189 (2022); . Proc. Interspeech https://api.semanticscholar.org/CorpusID:247940269 Costa-jussà, M. R. et al. MuTox: universal multilingual audio-based toxicity dataset and zero-shot detector. In (eds Ku, L.-W. et al.) 5725–5734 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: ACL 2024 Stanovsky, G., Smith, N. A. & Zettlemoyer, L. Evaluating gender bias in machine translation. In (eds Korhonen, A. et al.) 1679–1684 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Levy, S., Lazar, K. & Stanovsky, G. Collecting a large-scale gender bias dataset for coreference resolution and machine translation. In (eds Moens, M. F. et al.) 2470–2480 (Association for Computational Linguistics, 2021). Findings of the Association for Computational Linguistics: EMNLP 2021 Costa-jussà, M. R. et al. Interpreting gender bias in neural machine translation: Multilingual architecture matters. , 11855–11863 (2022). Proc. AAAI Conf. Artif. Intell. 36 Google Scholar Costa-jussà, M. R., Basta, C. & Gállego, G. I. Evaluating gender bias in speech translation. In (eds Calzolari, N. et al.) 2141–2147 (European Language Resources Association, 2022). Proceedings of the Thirteenth Language Resources and Evaluation Conference Bentivogli, L. et al. Gender in danger? Evaluating speech translation technology on the MuST-SHE corpus. In (eds Jurafsky, D. et al.) 6923–6933 (Association for Computational Linguistics, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. et al. Multilingual holistic bias: Extending descriptors and patterns to unveil demographic biases in languages at scale. In , 14141–14156 (Association for Computational Linguistics, 2023). Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing Zuckerman, E. The polyglot internet. (2008). https://ethanzuckerman.com/the-polyglot-internet/ Belekar, A., Sunka, S., Bhawar, N. & Bagade, S. Voice based e-mail for the visually impaired. , 8–12 (2020). Int. J. Comput. Appl. 175 Google Scholar Wang, S., Cooper, N. & Eby, M. From human-centered to social-centered artificial intelligence: Assessing ChatGPT’s impact through disruptive events. (2024). Big Data Soc. https://doi.org/10.1177/20539517241290220 Koenecke, A. et al. Racial disparities in automated speech recognition. , 7684–7689 (2020). Proc. Natl Acad. Sci. USA 117 Article ADS CAS PubMed PubMed Central Google Scholar Ngueajio, M. K. & Washington, G. Hey ASR system! Why aren’t you more inclusive? Automatic speech recognition systems’ bias and proposed bias mitigation techniques. A literature review. In (eds Chen, J. Y. C. et al.) Vol. 13518, 421–440 (Springer, 2022). Proc. International Conference on Human-Computer Interaction Elbow, P. The shifting relationships between speech and writing. , 283–303 (1985). Coll. Compos. Commun. 36 Article Google Scholar Trilla, A. & Alias, F. Sentence-based sentiment analysis for expressive text-to-speech. , 223–233 (2013). IEEE Trans. Audio Speech Lang. Process. 21 Article Google Scholar Iranzo-Sánchez, J., Civera, J. & Juan, A. From simultaneous to streaming machine translation by leveraging streaming history. In , 6972–6985 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Rybakov, O. et al. Streaming Parrotron for on-device speech-to-speech conversion. Preprint at (2022). https://arxiv.org/abs/2210.13761 Koehn, P. Europarl: A parallel corpus for statistical machine translation. In , 79–86 (2005). Proceedings of Machine Translation Summit X: Papers Ziemski, M., Junczys-Dowmunt, M. & Pouliquen, B. The United Nations Parallel Corpus v1.0. In (eds Calzolari, N. et al.) 3530–3534 (European Language Resources Association, 2016). Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16) Wang, C., Pino, J., Wu, A. & Gu, J. CoVoST: a diverse multilingual speech-to-text translation corpus. In (eds Calzolari, N. et al.) 4197–4203 (European Language Resources Association, 2020). Proceedings of the Twelfth Language Resources and Evaluation Conference Wang, C., Wu, A., Gu, J. & Pino, J. CoVoST 2 and Massively Multilingual Speech Translation. In , 2247–2251 (ISCA, 2021). Proc. Interspeech 2021 Salesky, E. et al. The multilingual TEDx corpus for speech recognition and translation. In , 3655–3659 (ISCA, 2021). Proc. Interspeech 2021 Zhang, Y. et al. Google USM: scaling automatic speech recognition beyond 100 languages. Preprint at (2023). https://arxiv.org/abs/2303.01037 Schwenk, H. Filtering and mining parallel data in a joint multilingual space. In (eds Gurevych, I. & Miyao, Y.) Vol. 2, 228–234 (Association for Computational Linguistics, 2018). Proc. 56th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In (eds Korhonen, A. et al.) 3197–3203 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Duquenne, P.-A., Gong, H. & Schwenk, H. Multimodal and multilingual embeddings for large-scale speech mining. In (eds Ranzato, M. et al.) Vol. 34, 15748–15761 (Curran Associates, 2021). Advances in Neural Information Processing Systems Duquenne, P.-A. et al. SpeechMatrix: a large-scale mined corpus of multilingual speech-to-speech translations. In (eds Rogers, A. et al.) Vol. 1, 16251–16269 (2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Silero. Silero VAD: pre-trained enterprise-grade voice activity detector (VAD), number detector and language classifier. (2021). GitHub https://github.com/snakers4/silero-vad Khurana, S., Laurent, A. & Glass, J. SAMU-XLSR: Semantically-Aligned Multimodal Utterance-Level Cross-Lingual Speech Representation. , 1493–1504 (2022). IEEE J. Sel. Top. Signal Process. 16 Douze, M. et al. The Faiss library. Preprint at (2024). https://arxiv.org/abs/2401.08281 Inaguma, H. et al. UnitY: two-pass direct speech-to-speech translation with discrete units. In (eds Rogers, A. et al.) Vol. 1, 15655–15680 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Tjandra, A., Sakti, S. & Nakamura, S. Speech-to-speech translation between untranscribed unknown languages. In , 593–600 (IEEE, 2019). 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Babu, A. et al. XLS-R: self-supervised Cross-lingual Speech Representation Learning at Scale. In , 2278–2282 (ISCA, 2022). Proc. Interspeech 2022 Gong, H. et al. Multilingual speech-to-speech translation into multiple target languages. Preprint at (2023). https://arxiv.org/abs/2307.08655 Chung, Y.-A. et al. w2v-BERT: combining contrastive learning and masked language modeling for self-supervised speech pre-training. In , 244–250 (IEEE, 2021). 2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Chiu, C.-C., Qin, J., Zhang, Y., Yu, J. & Wu, Y. Self-supervised learning with random-projection quantizer for speech recognition. In , 3915–3924 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Gulati, A. et al. Conformer: convolution-augmented transformer for speech recognition. In , 5036–5040 (ISCA, 2020). Proc. Interspeech 2020 Kudo, T. & Richardson, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In (eds Blanco, E. & Lu, W.) 66–71 (Association for Computational Linguistics, 2018). Proc. 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Sennrich, R., Haddow, B. & Birch, A. Neural machine translation of rare words with subword units. In (eds Erk, K. & Smith, N. A.) Vol. 1, 1715–1725 (Association for Computational Linguistics, 2016). Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics Andrews, P. et al. stopes - modular machine translation pipelines. In (eds Che, W. & Shutova, E.) 258–265 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Jia, Y. et al. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In , 7180–7184 (IEEE, 2019). 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) Pino, J., Xu, Q., Ma, X., Dousti, M. J. & Tang, Y. Self-training for end-to-end speech translation. In , 1476–1480 (2020). Proc. Interspeech 2020 Vaswani, A. et al. Attention is all you need. In (eds Guyon, I. et al.) Vol. 30 (Curran Associates, 2017). Advances in Neural Information Processing Systems Zhao, J., Yang, H., Haffari, G. & Shareghi, E. M-Adapter: modality adaptation for end-to-end speech-to-text translation. In , 111–115 (ISCA, 2022). Proc. Interspeech 2022 Ren, Y. et al. FastSpeech 2: fast and high-quality end-to-end text to speech. In (2021). Proc. 2021 International Conference on Learning Representations Shih, K. J. et al. RAD-TTS: parallel flow-based tts with robust alignment learning and diverse synthesis. In (2021). ICML Workshop on Invertible Neural Networks, Normalizing Flows, and Explicit Likelihood Models Chen, M. et al. BLASER: A text-free speech-to-speech translation evaluation metric. In (eds Rogers, A. et al.) Vol. 1, 9064–9079 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Snyder, D., Chen, G. & Povey, D. MUSAN: a music, speech, and noise corpus. Preprint at (2015). https://arxiv.org/abs/1510.08484 Smith, E. M., Hall, M., Kambadur, M., Presani, E. & Williams, A. “I’m sorry to hear that”: finding new biases in language models with a holistic descriptor dataset. In (eds Goldberg, Y. et al.) 9180–9211 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing Priznanja Zahvaljujemo S. Edunov i A. Fan za pomoć u oblikovanju ranijih faza projekta; S. Bhosale, V. Goswami, F. Hernandez i Y. Zhang za pomoć u benchmarking audio denousing modela; N. Seejoor van W. Carupien i M. Duppenthaler za njihovu pomoć u postavljanju demo; V. Goswami, S. Huhan, B. Acun-Uyan, i C.-J. Wu za njegov doprinos FAIRSEQ2 i SONAR inference istraživanja; A. Ni i X. Zhang za pomoć u benchmarking audio denousing modela; N. Seejoor i M. Duppenthaler za njihovu pomoć u postavljanju demo; V. Goswami, S. Huhan, B. Acun-Uyan, i C.-J. Ovaj članak je dostupan u prirodi pod licencom CC by 4.0 Deed (Attribution 4.0 International). Ovaj članak je dostupan u prirodi pod licencom CC by 4.0 Deed (Attribution 4.0 International).