Ova veštačka inteligencija može čuti, prevesti i govoriti na 100 jezika

Autori : Lokacije Barrault Yu-An Chung Mariano Coria Meglioli Dejvid Dale Nemački Dong Paul-Ambroise Dukan Uslovi korišćenja HONGU GONG Kejt Heffernan Džon Hoffman Christopher Klaiber Vlasnik Li Danijel Svetlo Jean Maillard Alice Rakotoarison Kaushik Ram Sadagopan Vučić Wenzek Evanđelje Ye Autori : Lokacije Barrault Vu-an Čung Mariano Korija Meglioli Dejvid Dale Nemački Dong Paul-Ambroise Dukan Uslovi korišćenja HONGU GONG Kejt Heffernan Džon Hoffman Krištof Klaiber Vlasnik Li Danijel Svetlo Džejn Majlard Alisa Rakotoarison Kašik Ram Sadagopan Vučić Wenzek Evanđelje Ye Abstrakcija Stvaranje Babel Fish, alata koji pomaže pojedincima da prevedu govor između bilo koje dva jezika, zahtijeva napredne tehnološke inovacije i lingvističku stručnost. , , , skalabilni i visokoučinkoviti jedinstveni sustavi , za rješavanje ovog nedostatka, ovde predstavljamo SEAMLESSM4T – Masivno Multilingual i Multimodal Machine Translation – jedan model koji podržava prevod od govora do govora (101 do 36 jezika), prevod od govora do teksta (od 101 do 96 jezika), prevod od teksta do govora (od 96 do 36 jezika), prevod od teksta do teksta (96 jezika) i automatsko prepoznavanje govora (96 jezika). Izgrađen pomoću novog multimodalnog korpusa automatski usklađenih prevoda govora i drugih javno dostupnih podataka, SEAMLESSM4T je jedan od prvih multilingualnih sistema na transverziji (od 96 do 36 jezika), koji može prevesti iz i u engleski za zadatke i govora i teksta. Štoviše, ovaj istraživački sistem nadmašuje posto 1 2 3 4 5 Glavni Babelske ribe iz je fiktivni alat koji prevodi između dva jezika. U suvremenom globalnom pejzažu, karakterizovanim povećanom međusobnom povezivosti i mobilnom socijalnošću, društveni imperativ da se ažuriraju ove tehnologije i olakša prevod od govora do govora na zahtjev (S2ST) kako u digitalnom tako i u fizičkom svetu nikada nije bio veći. Unatoč centralnosti govora u svakodnevnoj komunikaciji, sistemi mašinskog prevoda (MT) danas ostaju tekst-orijentirani. za više detalja o tome zašto bi govor trebao biti prioritet u MT. Iako jedinstveni, unimodalni modeli kao što je No Language Left Behind (NLLB) Pushed tekst-to-tekst prevod (T2TT) pokrivenost na više od 200 jezika, ujedinjeni S2ST modeli su daleko od postizanja sličan opseg ili performanse. Hitchhikerov vodič za galaksiju U1 6 Postojeći S2ST sustavi imaju tri glavne nedostatke. Prvo, ovi sustavi imaju tendenciju da se fokusiraju na jezike visokih resursa, ostavljajući za sobom mnoge jezike niskih resursa. Drugo, ovi sustavi uglavnom pružaju usluge prevođenja sa izvornog jezika na engleski (X-eng), a ne obrnuto (eng-X). Treće, većina S2ST sistema uvelike se oslanja na kaskadiranje nekoliko podsustava; na primjer, automatsko prepoznavanje govora (ASR) + T2TT + tekst-to-spech (TTS). Iako direktni sustavi postoje , , , ne podudaraju performanse svojih kaskadnih kolega Odjeljak za dodatne informacije za više detalja o trenutnom tehničkom krajoliku. 1 4 5 7 I.2 Uslovi Kako bi se riješila ta ograničenja, uveli smo SEAMLESSM4T (Massively Multilingual and Multimodal Machine Translation), jedinstveni sistem koji podržava ASR, T2TT, prevod od govora do teksta (S2TT), prevod od teksta do govora (T2ST) i S2ST. Zatim smo kombinirali filtrirani podskup ovog korpusa sa podacima označenima ljudima i pseudo-označenim podacima kako bismo razvili prvi multitasking sistem koji izvodi S2ST iz više od 100 jezika na 36 jezika, S2TT i ASR na 96 jezika, zero-shot T2ST na 36 jezika, kao i T2TT za 96 jezika (vidi Tabelu). za usporedni pregled jezičnog pokrića i odjeljka o dodatnim informacijama za više detalja). Zbog jedinstvene arhitekture SEAMLESSM4T (Slika. ), model može izvršiti T2TT, S2TT ili S2ST za ne-engleske smjernice (X-X) na način nultog udara. Također može izvršiti T2ST bez eksplicitnog obuke za ovaj zadatak. Kao rezultat pretreniranja govornog kodera SEAMLESSM4T na velikim količinama neoznačenih govornih podataka (vidjeti odjeljak ‘ ’), može se nositi s izgovorima koji mešaju dva ili više jezika. 8 1 II 1 Nezaštićeni govor prekvalifikacije Korišćenje Tri glavna bloka UNITY2 (S2ST fine-tuning) sa svojim ne-autoregresivnim (NAR) T2U prikazani su na gornjoj levoj strani. Multitask-UNITY2 sa svojim dodatnim tekstovnim koderom prikazani su na donjoj levoj strani. Razbijanje komponenti SEAMLESSM4T-V2 (model multitask-UNITY2) prikazani su na desnoj strani sa bočnim panelom prikazujući učitelj T2U model koji se koristi za pseudo-označavanje (M4). Da bismo procijenili kvalitetu rezultata našeg modela, koristili smo nekoliko postojećih pokazatelja koji obuhvaćaju zadatke i modalitete, kao i četiri glavna skupova podataka za evaluaciju. za T2TT, plava za S2TT, ASR-BLEU za S2ST i WER za ASR. vidjeti Dodatnu tabelu za detalje. takođe smo testirali naše modele za otpornost na buke u pozadini ili varijaciju zvučnika, kao i druge frontove za odgovorno raspoređivanje, kao što je rodna predrasuda, koristeći MULTILINGUAL HOLISTICBIAS podatkovne setove, ili dodanu toksičnost, koristeći nove metrike zasnovane na govoru (ASR-ETOX i MuTox). . 9 10 5 2 11 Pored izgradnje SEAMLESSM4T, razgovaramo i o društvenim implikacijama našeg rada i kako to može doprinijeti većem stupnju svetske spremnosti. u dugoročnom razdoblju (vidi odjeljak ‘ Kako bi potaknuli buduća istraživanja, mi stavljamo podatke alate, kod i dvije veličine SEAMLESSM4T modela javno dostupne za nekomercijalnu upotrebu. 12 Socijalni uticaj i zaključak U narednim odjeljcima pratimo ključne rezultate u razvoju naših SEAMLESSM4T modela. Prvo, opisujemo naše napore za rudarenje usklađenog govora i tekstualnih podataka, počevši od identifikacije govornog jezika do rudarenja usklađenog govora i tekstualnih segmenata koristeći modaliteti-agnosticirane enkodere. Zatim, izvješćujemo o glavnim rezultatima naših direktnih prevodilačkih sistema obučene delimično sa gore navedenim automatski usklađenim govornim podacima. Ovi rezultati naglašavaju sveobuhvatnost zadataka SEAMLESSM4T modela ostvarujući višeslovne state-of-the-art performanse u ASR, T2TT, S2TT i S2ST. Zatim, podržavetnike podržavamo rezultatima ljudske podaci Obuka sistema za prevođenje govora zahtijeva označene podatke; to jest, podatke usklađene od govora do teksta i govora do govora. Međutim, ti resursi su vrlo ograničeni za jezike s niskim resursima. Mi gradimo na višejezičnom i multimodalnom prostoru ugradnje SONAR-a i veliku zbirku sirovog govora i tekstova, kako je opisano u , da automatski iskoriste alineirane resurse, dopunjujući postojeće podatke s ljudskim oznakama i pseudo oznakama. 8 Metode identifikacija govornog jezika Obrada sirovog govora sa mreže uključuje segmentaciju izjava u kraće komadiće, nakon čega slijedi identifikacija jezika. Izgradnja na modelu otvorenog koda obučene na VoxLingua107 sa ECAPA-TDNN arhitekturom , , razvili smo novi model identifikacije jezika zasnovanog na govoru (LID) koji obuhvaća svih 100 jezika predstavljenih u ovom radu (vidi » » za više detalja). 13 14 Metode Audio procesor i govor LID Da bi se izmjerila preciznost i opoziv LID modela, prijavljujemo rezultate F1 na testnim podacima u Tablici proširenih podataka . Rezultati se daju za 100 podataka SEAMLESSM4T jezika (Sveukupno) i 79 zajedničkih jezika između SEAMLESSM4T i VoxLingua107 (Interseccija). Imajte na umu da je makro-F1 na svim jezicima za VL107HF je niska jer 21 jezika nisu obuhvaćeni ovim modelom. Pronalazimo da obuka na dodatnim jezicima lagano smanjuje ukupnu performanse za zajednički set jezika, što je izravna posljedica većeg broja bliskih jezika. Na primjer, Zulu (zul) je vrlo često zbunjen sa Nyanja (nya), Igbo (ibo) sa Yoruba (yor), i Modern Standard Arabic (arb) sa Moroccan Arabic (ar) i Egyptian Arabic (arz model). Naš poboljšava preciznost klasifikacije (F1 razlika 1 Sonar tekst ubacivanje prostora Za automatski usklađivanje podataka o prevođenju iz segmenata koji su identificirani jezikom, mi se oslanjamo na enkodere jezika i modaliteta-agnostike. Trenutno pružamo jedinstveni tekstovni kodirnik i dekoder za 200 jezika i glasovni kodirnik za 37 jezika. U višejezičnom pretraživanju sličnosti, xsim i xsim++ su dvije dobro poznate proxy metrike koje procjenjuju višejezične ugrađene prostore u svrhu rudarstva. , SONAR značajno nadmašuje druge popularne pristupe kao što je LASER3 ili LaBSE sa nižim xsim i xsim++. 8 6 15 2 16 17 Nadalje, ocijenili smo SONAR kodere teksta i dekodere na T2TT zadatke. Prosječna performansa na više od 200 jezika je konkurentna u odnosu na srednje veličine NLLB dense model, uprkos zamjeni kodera-dekodera pažnju u SONAR s flaširane veličine ugrađivanje (vidi T2TT kolone proširene tabele podataka) Ovaj rezultat dokazuje da uporaba pažnje nije neophodna za razumnu preciznost prevoda. 2 Obuka kodera govora Koderi govora bili su obučeni sa pristupom učitelj-učenik samo na transkripcijama govora (vidi » » ’). Evaluacija iteracija svakog glasovnog kodera u okruženju od kraja do kraja, tj. rudarenje i obuka S2TT ili S2ST prevodilačkih sistema, bila bi računarski intenzivna. Umjesto toga, povezali smo glasovni koder sa SONAR-ovim tekstovnim dekoderom i ocijenili ovaj S2TT sistem kao proxy za kvalitet kodera. Kao što je prikazano u S2TT kolonijama proširene tabele podataka , SONAR glasovni koderi povoljno uspoređuju sa modelom kao što je WHISPER-LARGE-V2 na FLORES i cveće nedostatke u točnosti mogu se primijetiti u nekim jezicima visokog resursa kao što su nemački, ruski ili portugalski, ali SONAR nadmašuje WHISPER-LARGE-V2 u nekoliko jezika niskog resursa kao što su svahili ili bengalski (vidi Dodatnu tabelu) U svakom slučaju) Metode Sonar 2 6 18 8 seoske SONAR tekst i reč koderi korišteni su za rudarenje za tri vrste usklađenih podataka: (1) engleski govor na ne-engleski tekst (Sen2Txx); (2) ne-engleski govor na engleski tekst (Sxx2Ten); i (3) ne-engleski govor na engleski govor (Sxx2Sen). SEAMLESSALIGN pruža 202,796 h audio u Sen2Txx, 239,767 h audio u Sxx2Ten i 29,161 h audio u Sxx2En. Ovi usklađeni podaci su izvučeni iz ukupno 2,5M h sirovog audio (od čega je engleski gotovo 40%). SONAR reč koderi su obučeni na 43,772 h nadzorovanih ASR podataka. . 8 Za tekst domenu koristimo iste podatke konsolidovane projektom NLLB Iznos se kreće od 33 miliona ili 55 miliona rečenica za jezike s niskim resursima kao što su malteški ili svahili, odnosno do 22 milijarde engleskih rečenica. 6 Osim malteškog jezika, za koji smo imali pristup samo maloj količini sirovog zvuka, uspjeli smo iskoristiti više od 100 sati usklađivanja govora sa engleskim govorom za sve jezike. usklađivanje sa engleskim tekstovima dostiglo je hiljadu sati za većinu jezika i premašilo 10.000 sati za jezike visokih resursa. Dodavanje tako velikih količina podataka za obuku višejezičnog prevodilačkog sistema je značajan računski izazov. » » ’, nisu svi ovi podaci korišteni za modeliranje, već samo podskup sa najvišim SONAR rezultatima usklađivanja. Budući da naši minirani podaci mogu pomoći u podršci mnogim različitim slučajevima upotrebe, otvorili smo meta podatke potrebne za usmjeravanje njegove reprodukcije (do SONAR praga od 1,15; vidi » » ’) kako bi se omogućilo zajednici da ponovo izgradi SEAMLESSALIGN i koristi ga za vlastite svrhe. Optimalni prag može se tako prilagoditi na osnovu zadatka, balansirajući veličinu skupova podataka i kvalitet poravnanja. Metode Modeliranje Metode Govornik Modeliranje multitask prevodilačkih sistema Kombinacija tehnika modeliranja opisanih u » » ’, uz dodatne podatke kompanije SEAMLESSALIGN (vidjeti » » ’), smo obučavali SEAMLESSM4T modele u dvije veličine: veliki sa 2.3B parametara i srednji sa 1.2B parametara. SEAMLESSM4T-MEDIUM je namijenjen da bude pristupačan test krevet za ili fino-tune, poboljšati na ili se uključiti u analizu sa. Mi smo dodatno obučeni poboljšana verzija velikog SEAMLESSM4T, nazvan SEAMLESSM4T-V2, sa boljim glas kodera (vidi » » ’) i snažniji decoder jedinice (vidjeti odjeljak ‘ ’).Svi SEAMLESSM4T modeli podržavaju 96 izvornih jezika u tekstualnoj modaliteti i više od 100 izvornih jezika u govornoj modaliteti.Na ciljnoj strani, modeli mogu isporučiti 96 jezika u tekstualnoj formi i 35 u govornoj formi. i To pokazuje da će, za neke smernice prevođenja i s obzirom na nedostatak nadzorovanih podataka, naši modeli biti ocenjeni nultom udarom. Metode Modeliranje Metode podaci Metode Nezaštićeni govor prekvalifikacije S2ST fine-tuning uređaj 12 13 Mi smo ocijenili naše modele na sva četiri nadzirana zadatka (T2TT, ASR, S2TT i S2ST), kao i zadatak nultog udara prevođenja od teksta do govora (T2ST, također poznat kao prekogranična sinteza teksta do govora). Za generisanje tekstualnih hipoteza dešifrovali smo pomoću beam-search. Ocenili smo sa chrF2++ za T2TT i BLEU za S2TT. Mjerimo BLEU ocene sa SacreBLEU i pružamo potpise u Dodatnoj tabeli Za ASR, ocenili smo sa WER (stopa pogreške reči) na normalizovanim transkripcijama i referencama nakon ref. . 19 2 20 Tokom S2ST i T2ST zaključka, izvršili smo dekodiranje dvostrukog traženja žarka; najbolja hipoteza iz dekodiranja prvog prolaza je ugrađena sa tekstovnim dekoderom i šalje se na tekst-na-jedinacni modul (T2U; pogledajte odeljak ‘ ’) da tražimo najbolju hipotezu sekvencije jedinica. Koristili smo širinu zraka od 5 za oba pretraživanja. Ocenili smo točnost S2ST i T2ST s ASR-BLEU pomoću WHISPER modela. Postavili smo temperaturu dekodiranja WHISPER-a na nulu i koristili pohlepno dekodiranje kako bismo osigurali deterministsko ponašanje modela ASR. Transcribed hipoteze, kao i reference, su normalizirani nakon ref. Prije izračunavanja BLEU rezultata. S2ST fine-tuning uređaj 20 Usporedba s kaskadnim pristupima za prevođenje govora Na skupu jezika koje podržava SEAMLESSM4T i WHISPER, usporedimo u Tablici (S2TT kolone) performanse našeg direktnog S2TT modela na kaskadnih modela, naime, kombinacije WHISPER ASR modela i NLLB T2TT modela. SEAMLESSM4T-V2 nadmašuje kaskadne modele s manje od 3B parametara u X-eng smjerovima za 4,6 BLEU poena (od 22.0 do 26,6) i u eng-X smjerovima za 1 BLEU poena (od 21.1 do 22.2). Kaskadni modeli s velikim modelom NLLB-3.3B T2TT. Ovi modeli premašuju parametre 4B i uglavnom su nadmašeni SEAMLESSM4T-V2 u X-eng (+3.9); oni samo marginalizirano nadmašuju SEAMLESSM4T-V2 u eng-X smjerovima za 0,2 BLEU poena. 3 3 U poređenju sa prethodnim direktnim S2TT modelima SOTA koji su zaostajali za kaskadnim sistemima (na primer, AUDIOPALM-2-8B-AST. ref. ), SEAMLESSM4T-V2 poboljšava na FLEURS X-eng S2TT BLEU rezultat za 6,9 poena (s 19,7 na 26,6; to jest, poboljšanje od 35%). 21 stolom (S2ST kolone) takođe uspoređuje S2ST između SEAMLESSM4T modela i kaskadnih modela. Za S2ST, istražujemo dvije opcije za kaskadiranje: (1) tri faze sa ASR, T2TT i TTS i (2) dvije faze sa S2TT i TTS. Obje vrste kaskadnih sistema se oslanjaju na TTS model za sintezu prevedenog govora, a za to koristimo YOURTTS Sinteza engleskog govora i MMS kada je sistem sintetizirajući govor u 26 ne-engleskih jezika usporedbe (preklapanje između podrške SEAMLESSM4T i podrške TTS sustava MMS). Naš SEAMLESSM4T-LARGE nadmašuje dvostupanjske kaskadne modele na FLEURS X–eng smjerovima za 8 ASR-BLEU poena (17.8–25.8). On također nadmašuje snažniju podršku na trostupanjskim kaskadnim modelima (WHISPER-LARGE-V2 + NLLB-3.3B + YOURTTS) za 2.1 ASR-BLEU tačke (23.7–25.8). Poboljšan SEAMLESSM4T-V2 poboljšava ovaj lead na S2 FSTLE Xeng– sa dodatnim prosjekom od +3.9 ASR-BLEU 3 22 23 Dijelimo u odjeljku Dodatne informacije rezultati evaluacije za zadatke S2TT i S2ST sa dodatnim metrikama, uključujući našu modalitetu-agnostiku BLASER 2.0. Četvrti Multitasking rezultati Izvješće u stolu rezultati na referentnoj vrijednosti FLEURS za zadatke ASR i zero-shot T2ST (X–eng i eng–X), i srodnoj referentnoj vrijednosti FLORES za T2TT (X–eng i eng–X). u ASR, SEAMLESSM4T-LARGE nadmašuje WHISPER-LARGE-V2 na prekrivanju 77 podržanih jezika sa smanjenjem WER od 46% (s 41.7 na 22.6), dok SEAMLESSM4T-V2 poboljšava u odnosu na WHISPER-LARGE-V2 za 56% (s 41.7 na 18.5). Za MMS na FLEURS-54, podskup FLEURS jezika koje MMS i WHISPER podržavaju. SEAMLESSM4T-V2 nadmašuje MMS varijante ocijenjene sa CTC-om za više od 38% WER (od 31.0 do 19.1), ali ga nadmašuju varijante koje iskorištavaju monolingualne modele n-gram jezika (5% bolje WER sa 18.6). 4 20 9 23 U zadatku podrške T2TT, rezultati u tabeli pokazati da su naši SEAMLESSM4T modeli na par sa NLLB-3.3B (ref. ) u oba smjera X-eng i eng-X. 4 6 Sljedeći smo ocijenili SEAMLESSM4T modele na zadatak T2ST na način nultog udara. S obzirom da je FLEURS prikupio tri snimke od tri različita natpisa za svaki uzorak, slučajno smo odabrali jedan za zadatak T2ST (uvod je tekst). (T2ST kolone) usporedba između SEAMLESSM4T modela i kaskadnih modela sa NLLB i ili YOURTTS (engleski TTS) ili MMS (ne-engleski TTS) za sintezu prevedenog teksta. U poređenju sa kaskadnim modelima, prosječni ASR-BLEU rezultati u 88 X-eng smjerova (preklapanje između FLEURS i jezika koje podržava SEAMLESSM4T). Također smo prosječili ASR-BLEU u 26 eng-X smjerova (preklapanje SEAMLESSM4T sa TTS modelima MMS). U poređenju sa kaskadnim modelima, sposobnost nultog udara SEAMLESSM4T-LARGE V2 je jednaka NLLB-3.3B + YOURTTS u X- 4 Da bismo dalje razumjeli odakle su došla poboljšanja u smjerovima FLEURS S2TT X–eng, mi smo bucketirali jezike po nivou resursa (vidi točnu listu jezika u Dodatnoj tablici). ) i izvijestiti prosječne BLEU ocjene po nivou resursa u tabeli Rezultati pokazuju da SEAMLESSM4T snažno poboljšava kvalitet prevoda iz jezika s niskim resursima uz poboljšanje od +10.2 BLEU (od 18.0 do 28,2, to jest, 57% poboljšanje u odnosu na AUDIOPALM-2-8B-AST). Mi takođe prosječno u koloni Low* u odnosu na smjernice s niskim resursima koje se nadgledaju u AUDIOPALM-2-8B-AST. Dobitak od +7.8 BLEU u tom podskupinu smjernica sugerira da to poboljšanje ide izvan čiste kontrole, ali umjesto toga treba pripisati kvalitetu nadzorovanih podataka i recepata za obuku. 12 5 Automatsko i ljudsko ocjenjivanje Semantička preciznost u govornom prevodu općenito se procjenjuje pomoću automatske metrike BLEU za S2TT ili njegovo proširenje ASR-BLEU za S2ST. Štoviše, koristimo BLASER 2.0 (ref. ), proširenje BLASER , koji sada omogućuje modaliteto-agnosticiranu procjenu i procjenu kvalitete za govor i tekst. 10 24 25 Da bismo dopunili korisnost automatske metrike, oslanjali smo se i na opsežnu ljudsku evaluaciju naših modela. U nastavku pružamo ljudsku evaluaciju za zadatke S2TT i S2ST pomoću protokola XSTS (cross-lingual semantic textual similarity) i MOS (prosječni rezultat mišljenja) protokol za izlaze govora (vidjeti » » Međutim, mi pokrivamo ograničen broj modela (SEAMLESSM4T-LARGE, SEAMLESSM4T-LARGE V2 i kaskadnu bazu koja se sastoji od WHISPER-LARGE-V2 za ASR, NLLB 3.3B za prevođenje i YOURTTS ili MMS za TTS za zadatak S2ST) i upute za prevođenje (23 jezika sa i na engleski, 10 jezika X-eng za MOS) zbog ograničenja resursa. 26 Metode ljudska procjena XSTS ocjene pokazuju da SEAMLESSM4T-LARGE V2 nadmašuje i kaskadne bazne sisteme i SEAMLESSM4T-LARGE u smislu prosječnog nivoa jezika XSTS ocjena i stopa pobede (skupina evaluiranih jezika za koje je XSTS performanse superiorna) za sve zadatke i jezične smjernice s visokim pouzdanjem. Za zadatak S2ST, u kojem je relativna performansa SEAMLESSM4T-V2 bila najjača, stopa pobede pristupa SEAMLESSM4T-V2 je 100% u poređenju s kaskadnom baznom linijom i SEAMLESSM4T-LARGE za oba smjera X-eng i eng-X, sa jezičnim prosječnim XSTS ocjenama oko 0,5 poena višim od kaskad i za rezultate na punoj jezičnoj razini i sažeti XSTS, odnosno. 22 24 Također merimo kvalitet glasovnog izlaza za S2ST koristeći protokol Mean Opinion Score koji procjenjuje (1) kvalitet zvuka, (2) jasnoću govora i (3) prirodnost. Otkrili smo da se općenito, u svim aspektima MOS-a, SEAMLESSM4T-LARGE V2 preferira pred SEAMLESSM4T-LARGE, koji se preferira pred kaskadne bazne linije modela, uz izuzetak X-eng, za koji su SEAMLESSM4T-LARGE generacije snažno preferirane (+1 tačka prosječne razlike između SEAMLESSM4T-LARGE i SEAMLESSM4T-LARGE V2 generacija), neočekivani rezultat koji može biti posljedica razlika u arhitekturi modela koji su inače poboljšali kvalitet generacije. i za rezultate na punoj jezičnoj razini i sažeti MOS rezultati, odnosno. 23 24 Upotrebom XSTS evaluacija zadatka S2ST, BLASER 2.0 (prosječno za sve stavke evaluacije u danom pravcu jezika) postiže superiorne Spearman korelacije sa kalibriranim XSTS ocjenama na nivou jezika u oba smjera X-eng (0,845 za BLASER 2.0 u odnosu na 0,74 za ASR-BLEU) i posebno za smjer eng-X (0,81 za BLASER 2.0 u odnosu na 0,246 za ASR-BLEU). za potpune rezultate). 21 Konačno, testirali smo naše modele na robustnost u smislu buke i varijacija zvučnika stvaranjem otvorenih referentnih vrijednosti robustnosti zasnovanih na FLEURS (vidjeti » » U tu svrhu, nalazimo da je SEAMLESSM4T-V2 u prosjeku otprilike 42% i 66% otporniji na buke u pozadini i varijaciju zvučnika, odnosno, u poređenju sa WHISPER-LARGE-V2 (vidjeti potpune rezultate u odeljku Dodatne informacije). U svakom slučaju) Metode Robustnost V.2 Preduzetništvo Odgovorni AI Toksikoza Toksicitet se može definisati kao slučajevi profaniteta ili jezika koji mogu potaknuti mržnju, nasilje ili zlostavljanje prema pojedincu ili grupi (kao što je religija, rasa ili spol). U kontekstu prevođenja govora, bili smo prvenstveno zabrinuti zbog dodatne toksičnosti – uvođenja u prijevode toksičnih elemenata koji nisu prisutni u izvornim izjavama. i, nedavno, za desetine jezika sa MuTox . 27 28 29 Stoga, za detekciju višejezične toksičnosti govora i teksta, koristimo ETOX (ili ASR-ETOX za S2ST) i MuTox (i za govor i tekst) kao metriku za detekciju i procjenu dodane toksičnosti. Za ublažavanje toksičnosti, implementirali smo dvije tehnike za rješavanje dodane toksičnosti. Prije obuke, filtrirali smo parove obuke s neuravnoteženom toksičnošću. u vremenu inferencije (vidi » » » » » 11 Metode Detekcija toksičnosti Izračunali smo dodanu toksičnost u dva niza podataka (FLEURS i HOLISTICBIAS) ) preko 24 prevođenja sa engleskim (arb, ben, cat, ces, dan, deu, est, fin, fra, hin, ind, ita, nld, pes, pol, por, rus, slk, spa, swh, tgl, tur, urd, vie), koristeći jezike na raskrižju pokrivenosti sistema i MuTox koji su bili referentni (obratite pažnju da MuTox ima širu jezičnu pokrivenost, sličnu SONAR-u, ali je bila referentna samo u 30 jezika Pogledajte rezultate sa više uputa za prevođenje ocijenjenih pomoću ETOX-a u odeljku Dodatne informacije . Table pokazuje da iako se razine i vrste dodane toksičnosti značajno razlikuju u zavisnosti od jezika i skupova podataka, dodana toksičnost u našim sustavima ima relativno nisku prevalenciju koja je dosljedna u našim dvjema metrikama detekcije toksičnosti (<0,4%). Najniža toksičnost za sve modalitete, smjernice i skupove podataka dosljedno je dobijena sa SEAMLESSM4T-V2 + MinTox, postižući smanjenja toksičnosti do 5% u smislu MuTox (i do 80% u smislu ETOX) kada se uspoređuje sa istim modelom bez upotrebe MinTox, i do 20% u smislu MuTox (do 90% u smislu ETOX) kada se uspoređuje sa baznom linijom (vidjeti potpune rezultate u odeljku Dodatne informacije) U svakom slučaju) 27 29 Uslovi 1 6 6 Uslovi 1 Gender bias Gender bias in the context of MT can be defined as errors in grammatical gender determination. This bias may manifest explicitly as an overgeneralization to one gender when translating non-gendered to gendered forms (for example, outputs favouring masculine representations) or as a lack of robustness when varying the quality of the translation for sentences that differ only in gender inflection. Previous work on this matter is mostly in the text modality , , and tends to be English-centric, with few demographic axes and multilingual references. Similar efforts for the speech modality remain sparse , . 30 31 32 33 34 Koristimo višejezične holistike i njegovo proširenje govora za usporedbu performansi S2TT i S2ST. Smjer eng-X omogućuje usporedbu performansi u prisustvu muških ili ženskih referencija, a smjer X-eng omogućava usporedbe robustnosti u prijevodima kada promijenimo spolnu inflaciju. Tipičan primjer englesko-španskog jezičnog para bi bio ‘Ja sam kućnjak’ i odgovarajuće prijevode ‘Soy amo de casa’ i ‘Soy ama de casa’ na španjolskom jeziku. Kada prevodimo s engleskog na španjolski, možemo mjeriti da li se sistem preobuhvata na jedan spol, dok u drugom pravcu možemo procijeniti robustnost prijevoda na rodnu inflaciju (vidi , ‘ » » » 35 Metode Speech extension of MULTILINGUAL HOLISTICBIAS We conducted a set of comprehensive evaluations on translation biases for S2TT and S2ST (see Extended Data Table za prosječne rezultate i odjeljak za dodatne informacije for detailed results). SEAMLESSM4T-V2 consistently improves robustness in gender variations across metrics and tasks. When compared with the previous model, SEAMLESSM4T-V2 improves over SEAMLESSM4T-LARGE by 0.4% in S2TT and by 0.1% BLASER 2.0 in S2ST, and it beats the external baseline system of WHISPER-LARGE-V2 (+YOURTTS) by 0.1% in S2TT and by 0.9% BLASER 2.0 for S2ST. However, SEAMLESSM4T-V2 is not able to consistently improve in terms of gender overgeneralization compared with the previous model. SEAMLESSM4T-V2 is comparable in terms of BLASER 2.0 to SEAMLESSM4T-LARGE, but it lags far behind in terms of ASRchrf (by 2.2%), and overgeneralization is increased by 0.2% when it comes to S2TT. Although we can increase bias robustness by improving the overall quality of the model, it seems that we need specific techniques to counteract the overgeneralization of the model towards a specific gender. 3 Vjersko Socijalni uticaj i zaključak The world we live in has never been more interconnected—the global proliferation of the internet, mobile devices, communicative platforms and social media exposes individuals to more multilingual content than ever before Sadašnji društveni poredak postavlja zahtjev za svetskom spremnošću osobe. , a measure of how competent a person is to take on the polyglot world. Initially developed in the context of language learning, world-readiness underscores the importance of being able to communicate in languages beyond our mother tongue for both instrumental (that is, employment or schooling) and cultural reasons (that is, to become a global citizen). That said, although we believe that language acquisition should remain a key mechanism for boosting our world-readiness, we acknowledge that doing so requires resources many people may not possess. 36 12 The downstream applications that SEAMLESSM4T supports could allow on-demand access to world-readiness by streamlining multilingual exchange across various contexts. SEAMLESSM4T-supported applications could act as a co-piloting mechanism that supports users in multilingual conversations and boosts their confidence in speech-heavy interactions. As speech-based interfaces (for example, audio assistants, voice memos and live transcriptions) and auditory content (for example, podcasts, audiobooks and short-form videos) become ever more present, SEAMLESSM4T-enabled downstream applications could unlock a greater variety of multilingual experiences. From an inclusion standpoint, the focus of SEAMLESSM4T on multimodality could make a meaningful difference in augmenting the world-readiness of those with accessibility needs and those whose languages can be transcribed with multiple writing systems. For many who lack reading or writing skills, or cannot rely on sight (that is, people who are blind or with visual impairment), voice-assisted technologies are essential to how they communicate and stay connected . The ability to translate speech gives these groups more comprehensive access to information not only beyond their native languages but also in a manner that is better suited for their communicative needs. 37 As with most technologies, the distribution of benefits varies based on user demographics and social situation . Although we make the case that SEAMLESSM4T could augment world-readiness by lowering the barriers in cross-lingual communication, some users may experience more difficulties using our work than others. For instance, similar to many other speech technologies, the ASR performance of SEAMLESSM4T may vary based on gender, race, accent or language , . Moreover, the performance of our system in translating slang or proper nouns may also be inconsistent across high and low-resource languages. 38 39 40 Drugi izazov za S2ST je da govor ima tendenciju da zavisi od neposrednog prihvatanja i povratnih informacija više nego što to čini pisani jezik. Drugim rečima, govornici su ograničeni u njihovoj sposobnosti da utvrde kvalitetu izlaza ili izrade u razgovoru uživo. Bez sposobnosti da planiraju i revidiraju uz pomoć back-prevođenja ili maternjeg govornika, S2ST može nositi veće stupnjeve interaktivnog rizika kada je reč o pogrešnim prevođenjima ili toksičnosti. Mi potičemo istraživače i programere koji fin-tune ili grade artefakte koristeći SEAMLESSM4T da kritički razmišljaju o dizajnerskim karakteristikama koje bi mogle pomoći korisnicima da zaobiđu ove potencijalne prepreke. Važno je da SEAMLESSM4T- Naposljetku, govor nije govorni tekst – obuhvaća niz prosodskih (npr. ritam, stres, intonacija ili ton) i emocionalnih komponenti koje zaslužuju daljnja istraživanja. . To create S2ST systems that feel organic and natural, more research should be directed at output generation that preserves expressivity . Moreover, the consummate realization of the Babel Fish requires deeper investments into research on low-latency speech translation. Developing systems that enable streaming (that is, incrementally translating an input sentence as it is being presented) may increase the adoption of these systems across institutional contexts , . We hope that SEAMLESSM4T opens up new possibilities for both these research areas. 41 42 43 44 Methods Data Developing an effective multilingual and multimodal translation system such as SEAMLESSM4T requires sizeable resources across languages and modalities. Some human-labelled resources for translation are freely available, but often limited to a small set of languages or in very specific domains. Well-known examples are parallel text collections such as Europarl Korpus Ujedinjenih naroda Nekoliko kolekcija koje je stvorio čovek takođe uključuju modalitete govora, kao što je CoVoST , and mTEDx . Yet no open dataset currently matches the size of those used in initiatives such as WHISPER or USM , which proved to unlock unprecedented performance. 45 46 47 48 49 20 50 Parallel data mining emerges as an alternative to using closed data, in terms of both language coverage and corpus size. The dominant approach today is to encode sentences from various languages and modalities into a joint fixed-size embedding space and find parallel instances based on a similarity metric. Mining is then performed by pairwise comparison over massive monolingual corpora, in which sentences with similarity above a certain threshold are considered mutual translations , Ovaj pristup je prvi put uveden pomoću višejezičnog LASER prostora . Teacher–student training was then used to scale this approach to 200 languages , Posle toga, način govora , . 51 52 53 6 16 54 55 Audio processing and speech LID We started with 4 million hours of raw audio originating from a publicly available repository of crawled web data on which we applied several cleaning and filtering operations. To maximize the recall of mining, it is important that all segments have a similar granularity. For the text domain, a sentence is generally well-defined. This is less obvious for raw speech because pauses are not necessarily used at sentence boundaries. First, we used an open Voice Activity Detection model to split audio files into shorter segments. Second, a newly developed speech LID model was applied to each segment. Our model follows the ECAPA-TDNN architecture i proširuje model otvorenog koda osposobljen na VoxLingua107 Konačno, primijenili smo pristup prekomjerne segmentacije koji je istovremeno predložio višestruke, potencijalno preklapajuće segmentacije govora. Prikaži ovu liniju. 56 13 14 1 SONAR SONAR tekst i reč koderi su razvijeni u ref. using a two-step approach (Supplementary Fig. Prvo, masivno višejezična reprezentacija je naučena samo za tekstualnu modalitetu. Zatim je obuka nastavnika i studenata korišćena za proširenje prostora ugrađivanja u govornu modalitetu. Prostor ugrađivanja teksta je obučavan kodiranjem pomoću pristupa dekodera pomoću kombinacije višestrukih ciljeva: prevođenje, denoiziranje auto-koda i cilj gubitka srednje kvadratne greške (MSE) u prostoru ugrađivanja rečenice. Podaci o obuci bili su identični onima koji su korišćeni za obuku modela NLLB , that is, parallel data to translation from 200 to 200 languages. Speech encoders were trained only on ASR data and by grouping languages into linguistic genealogical groups following ref. , na primjer, italijanski, zajednički turski ili indo-iranski jezici. Da bismo dobili optimalne performanse, odredili smo optimalnu konvergenciju odvojeno za svaki jezik (tj. kada da zaustavimo obuku). To je rezultiralo odvojenim kodiranjem govora za svaki jezik. Količina dostupnih ASR podataka za svaki jezik je navedena u Dodatnoj tablici . The speech encoders were initialized with w3v-best 2.0 speech front end. Preceding work performed max pooling or mean pooling of the output states of the speech front end to obtain a fixed-size embedding of the speech signal , . An ablation study has shown that better results can be obtained by using a three-layer transformer decoder Obuka nastavnika i studenata sastojala se od smanjenja gubitka MSE-a u odnosu na ugrađivanje ASR transkripcija teksta. Ta ugrađivanja su dobijena pomoću SONAR kodera teksta, koji je ostao konstantan. 8 2 6 16 8 54 57 8 SpeechAlign We first calculated the embeddings of all over-segmented speech segments. For the text domain, we used exactly the same texts as the NLLB project i ugrađeni su sa SONAR koderom. iscrpno poređenje u parovima može se efikasno izvesti pomoću FAISS alatke . Similarity is measured with a margin criterium as first introduced in ref. : 6 58 52 gde and are the source and target sentences, and ( ) označava nearest neighbours of na drugom jeziku. mi smo postavili to 16. x y NNk x k x k Kao primer, to iznosi usporedbu stotinu hiljada sati govora sa više od 20.000 miliona engleskih rečenica, što je rezultiralo oko osam hiljada sati usklađenog arapskog govora. Modelling The SEAMLESSM4T models rely on our multitask UNITY architecture. Our proposed unified translation model builds on vanilla UNITY , a two-pass decoding framework that first generates text and subsequently generates speech by predicting discrete acoustic units (see section ‘ ’). Compared with the vanilla UNITY model , (1) osnovni S2TT model, inicijalizovan od nule u UNITY-u, zamijenjen je X2T modelom koji podržava tekst kao ulaz i predtreniran je kako bi zajednički optimizovao zadatke ASR-a, S2TT-a i T2TT-a (vidjeti odjeljak ‘ ’), i (2) plitki T2U model (koji se naziva T2U jedinica enkoder i drugi prolaz jedinica dekoder u ref. ) is replaced with a deeper transformer-based encoder–decoder model with six transformer layers that are pretrained on ASR data (see section ‘ ’). Poboljšana verzija UNITY-a, nazvana UNITY2, zamjenjuje autoregresivni T2U novim neautoregresivnim (NAR) T2U dekoderom. Ovaj NAR T2U model pruža snažniju preciznost zbog svog hijerarhijskog uzorkovanja od podreči do znakova, a zatim do jedinica. 59 Višejezične diskretne akustičke jedinice 59 X2T fine-tuning 59 S2ST fine-tuning uređaj Pretreniranje X2T-a rezultiralo je snažnijim kodiranjem govora i kvalitetnijim dekodiranjem teksta prvog prolaza, dok je skaliranje i pretreniranje T2U modela omogućilo da se bolje nosimo s višeslovnom generacijom jedinica bez smetnji. Multilingual discrete acoustic units Recent works have achieved state-of-the-art translation performance by using self-supervised discrete acoustic units as targets for building direct speech translation models , . This consists of decomposing the S2ST problem into a speech-to-unit translation step and a unit-to-speech conversion step. We extracted continuous speech representations using XLS-R and mapped these representations to discrete tokens. The set of discrete tokens (also referred to as unit vocabulary) is learnt by applying a -means algorithm to a set of multilingual audio samples. The -means centroids resemble a codebook that is used to map a sequence of XLS-R speech representations into a sequence of centroid indices or acoustic units. We used a unit vocabulary size = 10.000 sa karakteristikama iz 35. sloja XLS-R-1B da predstavlja 35 podržanih ciljnih jezika. 5 60 61 k k K For the unit-to-speech conversion step, we followed ref. i izgradio višejezični vokoder za sintezu govora iz naučene višejezične jedinice. Ovaj model je odgovoran za sintezu zvukova iz niza jedinica koje će SEAMLESSM4T modeli predvidjeti. 62 Unsupervised speech pretraining Self-supervised pretraining with unlabelled speech audio data is a practical approach for leveraging unlabelled data. With pretraining, we can bootstrap the quality of translation models and make the most out of our supervised paired data. We pretrained a speech encoder following our improved W2V-BERT 2.0. It follows w2v-BERT in combining contrastive learning with masked prediction learning. W2V-BERT 2.0 uses more codebooks and an additional masked prediction task using random projection quantizers (RPQ) Naš W2V-BERT 2.0 model je prvi put obučena na 1 milion sati otvorenog govornog audio podataka koji pokriva više od 143 jezika. , koji ima 24 Conformer slojeva and approximately 600 million model parameters. For the v2 version, we scaled up the amount of unlabelled data from 1 million to 4.5 million hours of audio. The most recent and publicly available multilingual speech pretrained model is MMS . It is trained on only 0.5 million hours, spanning over 1,400 languages. The largest model in scale is USM . It is a proprietary multilingual speech pretrained model with 12 million hours of data and more than 300 languages in coverage. 63 64 63 65 23 50 Text-to-text translation models Naši SEAMLESSM4T modeli su unapred obučeni na zadatak prevođenja teksta u tekst, što je mnogo resursniji zadatak od prevođenja govora. Razmotrite, na primer, englesko-italijanski pravac, jedan od visoko resursnih parova u T2TT-u sa više od 128 miliona paralelnih rečenica – samo 2 miliona parova engleskog teksta u kombinaciji s italijanskim audio-om su dostupni za S2TT. Ključni korak u obuci višejezičnih modela prevođenja teksta u tekst je učenje zajedničkog rječnika pomoću tekst tokenizera. , we used SentencePiece Uz BPE algoritam for this purpose. The tokenizer used in NLLB-200 pate od nedostatka ključnih kineskih znakova zbog artefakata uzorkovanja. Ovo uzorkovanje ne favorizira logotip-grafičke sisteme pisanja s velikim brojem jedinstvenih simbola. Da bismo ispravili ovaj problem, prisilili smo uključivanje tih znakova. Naš novi tokenizer poboljšava pokrivenost MTSU top 5K kineskih znakova sa 54% na 84%. 6 66 67 6 To train our multilingual text-to-text model, we followed the same data preparation and training pipelines in ref. using STOPES . Having a smaller language coverage allowed us to significantly decrease the size of the model to 1.3B parameters and only use NLLB-200 training data in the 95 SEAMLESSM4T languages. 6 68 Data augmentation with pseudo-labelling Kao i kod bilo kojeg zadatka od sekvencije do sekvencije, performanse pri prevođenju govora ovise o dostupnosti visokokvalitetnih podataka o obuci. Međutim, količina podataka označenih ljudima je rijetka u poređenju sa njegovim T2TT ili ASR kolegama. , the ASR data with a multilingual T2TT model (for example, NLLB models) to generate pseudo-labelled S2TT data. 69 70 To augment S2ST data, it is common practice to use TTS models to convert text from speech-to-text data sets into synthetic speech , Ovaj sintetički govor je, zauzvrat, pretvoren u diskretne jedinice za obuku. Ovaj dvostupanjski proces ekstrakcije jedinica je spor proces i teže je razmjeriti s obzirom na ovisnosti o TTS modelima. Zaobilazili smo potrebu za sintezom govora i obučavali višejezične modele tekst-to-unit (T2U) na svih 36 ciljnih jezika govora. Ovi modeli mogu direktno pretvoriti tekst u ciljne diskretne jedinice i mogu se obučavati na ASR skupovima podataka koji su lako dostupni. 4 5 X2T fine-tuning The first key part of our multitask UNITY framework is the X2T model, a multi-encoder sequence-to-sequence model with a conformer-based encoder for speech input and another transformer-based encoder for text input. Both encoders were joined with the same text decoder and fine-tuned jointly to optimize the tasks of ASR, S2TT and T2TT. 65 71 Naš X2T model sastoji se od spajanja govornog kodera, W2V-BERT 2.0 iz M2, posle fiksiranog sa dugim adapterom za dolazak duge audio sekvence, sa tekstovnim koderom-dekoderom iz M3 (Dopunski lik. Za adapter dužine, koristili smo modificiranu verziju M-adaptera , in which we replaced the three independent pooling modules for Q, K and V with a shared pooling module to improve efficiency. 4 72 X2T was fine-tuned on S2TT data triplets with speech audio ( speech) in a source language ⟨ , u kombinaciji sa svojim transkripcijom ( text) and text translation ( text) in a target language ⟨ Kako bi se omogućio prijenos značenja na različite načine, X2T model je bio fino prilagođen kako bi optimizovao sljedeće objektivne funkcije: x ℓs x y Lt Osim toga, optimizovali smo pomoćnu objektivnu funkciju u obliku destilacije znanja na razini tokena () kako bismo dalje prenijeli znanje iz snažnog MT modela na zadatak prevođenja govora studenata (S2TT). Krajnji gubitak je ponderirani iznos svih tri gubitka: gde U pitanju je i su skalarni hiper-parametri prilagođeni na razvojne podatke. α β γ S2ST fine-tuning uređaj U poslednjoj fazi finog podešavanja multitask UNITY, inicijalizovali smo model sa pretreniranim X2T modelom (vidi odjeljak ‘ ’) and a pretrained T2U model, similar to the one used for pseudo-labelling S2ST data in M4. The T2U model used for pseudo-labelling is referred to as the teacher T2U model with 12 transformer layers encoder–decoder. For initialization, we used a smaller student T2U model with only six layers to optimize inference and distill the labels of the stronger T2U. In the second version of SEAMLESSM4T, UNITY2 replaces the second-pass autoregressive unit decoder in UNITY with a NAR unit decoder. We adopted the decoder architecture of FastSpeech2 i proširio ga na diskretno generiranje jedinica. UNITY2 počinje hijerarhičkim uzorkovanjem T2U kodera izlaza od dužine podslika do dužine znakova, a zatim do dužine jedinice. Prediktor trajanja jedinice, ključ hijerarhijskog uzorkovanja, nadgleda se tokom obuke višeslovnim alijjerom zasnovanim na RAD-TTS-u Arhitektura je detaljno prikazana u odeljku Dodatne informacije . X2T fino podešavanje 73 74 IV.8 Finiširali smo zadatak S2ST pomoću kombinacije X-eng i eng-X S2ST podataka o prevođenju ukupnih 121.000 h. Zamrzli smo težine modela koji odgovaraju modelu X2T i samo fino prilagodili komponentu T2U. Automatsko i ljudsko ocjenjivanje Uslovi korišćenja 2.0 BLASER 2.0 (ref. ) is the new version of BLASER , koji radi i sa govorom i tekstualnim modalitetima, i stoga je modalitet-agnosticiran. Kao i prva verzija, naš pristup iskorištava sličnost između ulaznih i izlaznih ugradnji rečenica. Nova verzija koristi SONAR ugradnje Dodatne informacije , supports 57 languages in speech and 202 in text (coverage of languages by SONAR at the moment of submission of this paper) and is extendable to future encoders for new languages or modalities that share the same embedding spaces. For the purposes of evaluating speech outputs (and unlike ASR-based metrics), BLASER 2.0 offers the advantage of being text-free. 24 75 Uslovi korišćenja Konkretnije, u BLASER 2.0, uzimamo izvorni unos, prevedeni izlaz iz bilo kojeg S2ST, S2TT ili T2TT modela, i referentni govorni segment ili tekst, i konvertujemo ih u SONAR ugrađene vektore. ljudska procjena Apart from automatic metrics such as (ASR) BLEU and BLASER 2.0, we used human metrics such as XSTS , koji mjeri semantičku sličnost između izvornog i ciljnog prevođenja, i standardni Mean Opinion Score (kao što je standardizovano u Preporuci ITU-T P.800, od sada MOS), koji mjeri (1) prirodnost, (2) kvalitet zvuka i (3) jasnoću audio generacija kako bi se ocijenili naši modeli. Pored XSTS-a, dobili smo i MOS evaluacije kako bismo razumjeli druge aspekte kvalitete zvuka u ciljanom govoru. . 26 6 V1 preduzeće Robustness Izgradili smo referentnu vrednost za procjenu buke koja se može ponoviti na osnovu FLEURS-a (buke FLEURS), koja obuhvaća 102 jezika, dva govorna zadatka (S2TT i ASR) i različite vrste buke (prirodne buke i muzika). u kategorijama ‘buka’ i ‘muzika’ i miješali ih s originalnim FLEURS govornim zvukovima pod različitim omjerom buke od signala do buke (SNR): 10, 5, 0, −5, −10, −15 i −20. Usporedili smo modele prema krivuljama BLEU-SNR (za S2TT) ili WER-SNR krivuljama (za ASR), koje ilustriraju stupanj degradacije performansi modela kada se nivo buke u ulazima govora povećava (tj. kada SNR smanjuje). Za jezike s niskim resursima, podešavanje čiste govora je već izazovno, a da ne spominjemo ni jednu. 76 We followed ref. da procenimo robustnost modela u odnosu na varijacije govornika izračunavajući prosječnu prosječnu ocjenu po skupini i koeficijent varijacije po skupini koristeći metriku kvaliteta na razini izgovora. Umjesto da koristimo BLEU kao metriku kvalitete, koristili smo chrF, koja ima bolju stabilnost na razini izgovora. Izračunavanje obe metrike robustnosti ne zahtijeva eksplicitne oznake podskupine govornika. Skupili smo uzorke evaluacije i odgovarajuće ocjene na razini izgovora chrF po sadržaju (transcript) i zatim izračunali prosječnu prosječnu ocenu po skupini chrFMS i prosječni koeficijent varijacije po skupini CoefVarMS, definisani na sledeći način: 47 where Dve metrike su komplementarne: chrFMS pruža normalizovanu metriku kvaliteta koja, za razliku od konvencionalnih metrika na nivou korpusa, uzima u obzir varijacije govornika, dok CoefVarMS pruža standardizovanu mjeru varijacije kvalitete pod varijacijama govornika. Za analizu robustnosti proveli smo van domena procjenu na FLEURS-u na svim jezicima koji imaju najmanje 40 grupa sadržaja u test setovima. G Odgovorni AI Toxicity detection Inspired by ASR-BLEU, this work proposes using ASR-ETOX as a new metric to detect added toxicity in speech and evaluate added toxicity for S2ST ability of SEAMLESSM4T. Essentially, this metric follows a cascaded framework by first deploying a standard ASR module (that is, the same that is used for ASR-BLEU as defined in Supplementary Table ), a zatim modul za otkrivanje toksičnosti, ETOX , koji koristi listi reči Toxicity-200 U oba slučaja (S2ST i S2TT), izmjerili smo dodanu toksičnost na nivou izreke ili rečenice. Prvo smo izračunali detekciju toksičnosti za svaki unos u skupu podataka o evaluaciji i odgovarajući izlaz. Zatim smo ih usporedili i izračunali jedan slučaj kao da sadrži dodanu toksičnost samo kada izlazna vrijednost premašuje vrijednost ulaza. Štoviše, koristili smo nedavno predloženu Mutox metriku koja se može primijeniti na tekst ili govorni izlaz bez potrebe za ASR. Ovaj klasifikator je obučavan na podatcima o toksičnosti govora i teksta označenim na 30 jezika. Kao što MuTox se oslanja na SONAR ugradnje , MuTox isti broj jezika po svojstvu nultog udaraca. Međutim, uzimajući u obzir validiranu kvalitetu, Mi izvještavamo MuTox samo one jezike koji su bili benchmarked Ponovo u oba slučaja (S2ST i S2TT), izmjerili smo dodanu toksičnost na nivou izreke ili rečenice. U ovom slučaju, rečenica sadrži dodanu toksičnost ako su MuTox ocjene >0.9 u izlazu i <0.5 u ulazu. Mi smo eksperimentalno validirali ove pragove za nekoliko jezika s ljudskim dvosmislenim govornicima za nekoliko parova jezika. Za S2TT, izračunali smo MuTox u transkriptiranom govoru i ciljnom tekstu. Za S2ST, izračunali smo MuTox u izvornom i ciljnom govoru. 2 27 6 29 29 Za ublažavanje toksičnosti, primenjujemo dve tehnike za ublažavanje dodane toksičnosti. Prije treninga, filtriramo parove treninga s neuravnoteženom toksičnošću. u trenutku zaključka. Konkretno, glavni tok posla generira hipotezu prijevoda sa neograničenim pretraživanjem. Zatim se klasifikator toksičnosti pokreće na ovoj hipotezi. Ako se ne otkrije toksičnost, mi pružamo hipotezu prijevoda kao što je. Međutim, ako se toksičnost otkrije u izlazu, mi pokrećemo klasifikator na ulazu. Ako je toksičnost neuravnotežena (to jest, u ulazu se ne otkrije toksičnost), mi ponovo pokrećemo prijevod sa ublažavanjem, što je korak BEAMFILTERING. Ovaj BEAMFILTERING sastoji se od uzimanja kao ulaznih multi-token izraza koji se ne bi trebali pojaviti u izlazu i isključivanja ih iz hipoteza za pretraživ 11 Koristili smo dva niza podataka za analizu dodane toksičnosti. Prvo, raspoređivali smo FLEURS kako bismo se bolje uskladili s našim naporima za evaluaciju ljudi i drugim komponentima evaluacije ovog rada. koji je pokazao da izaziva istinsku dodatnu toksičnost u prethodnim studijama U ovom radu, proširujemo HOLISTICBIAS na govor primenom podrazumevanog engleskog TTS modela iz MMS-a . 77 27 23 Širenje govora za višejezične holistike Za usporedbu performansi između modaliteta (S2ST i S2TT), proširili smo MULTILINGUALNI HOLISTICBIAS na govor ( Mi smo koristili ove generirane TTS podatke kao ulaz za S2TT i S2ST i kao referencu za S2ST. Proveli smo prijevode u dva smjera: eng–X i X–eng. Konkretno, u X–eng, prevodili smo i muške i ženske verzije govora. Vrijedno je napomenuti da neki ciljni jezici nisu dostupni u modelu SEAMLESSM4T S2ST, pa smo izvršili prijevode na samo 17 jezika za zadatak S2ST u smjeru eng–X. Za S2TT u eng–X, imamo sve jezike uključene u MULTILINGUAL HOLISTICBIAS dataset ( = 25). For reference, the complete language list used in our experiments can be found in Supplementary Table . 23 https://github.com/facebookresearch/fairseq/tree/main/examples/mms#tts-1 n 26 In terms of evaluation metrics for S2TT, we used chrF. For S2ST, we used ASRchrf (the transcription is done by WHISPER-LARGE and WHISPER-MEDIUM for eng–X and X–eng, respectively, and chrF has been calculated the same way as S2TT except that in S2ST, the text from both prediction and reference were normalized) and BLASER 2.0. It is worth noting that when evaluating on BLASER 2.0, we only included 14 languages (arb, cat, deu, eng, fra, nld, por, ron, rus, spa, swe, tha, ukr and urd) for the eng–X direction (overlapping languages from the generated TTS data and the languages available in our S2ST model). 20 Dostupnost podataka To make our work available to the community, we provide open source of the following data sets, models and code at GitHub ( ): (1) SEAMLESSM4T models, including model weights for SEAMLESSM4T-LARGE (2.3B parameters) and SEAMLESSM4T-MEDIUM (1.2B parameters), as well as their inference code and fine-tuning recipes powered by our new modelling toolkit FAIRSEQ2 ( ); (2) alate za stvaranje usklađenih govornih podataka, uključujući metapodatke za reprodukciju nefiltriranih 470.000 h SEAMLESSALIGN, STOPES-based pipelines ( ) da stvori usklađivanja slične SEAMLESSALIGN i SONAR za glasovne kodere na 37 jezika i tekstovne kodere na 200 jezika ( ) i (3) S2ST model automatske evaluacije bez teksta, BLASER 2.0, uključujući težine modela i skripte zaključivanja. https://github.com/facebookresearch/seamless_communication https://github.com/facebookresearch/fairseq2 https://github.com/facebookresearch/stopes https://github.com/facebookresearch/SONAR Referencije Lavie, A. et al. Janus-III: speech-to-speech translation in multiple languages. In Vol. 1, 99–102 (IEEE, 1997). Proc. 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing Wahlster, W. (ed.) (Springer, 2000). Verbmobil: Foundations of Speech-to-Speech Translation Nakamura, S. et al. The atr multilingual speech-to-speech translation system. , 365–376 (2006). IEEE Trans. Audio Speech Lang. Process. 14 Article Google Scholar Jia, Y. et al. Direct speech-to-speech translation with a sequence-to-sequence model. In , 1123–1127 (ISCA, 2019). Proc. Interspeech 2019 Lee, A. et al. Direct speech-to-speech translation with discrete units. In (eds Muresan, S. et al.) Vol. 1, 3327–3339 (Association for Computational Linguistics, 2022). Proc. 60th Annual Meeting of the Association for Computational Linguistics NLLB Team Scaling neural machine translation to 200 languages. , 841–846 (2024). Nature 630 Article CAS Google Scholar Agarwal, M. et al. Findings of the IWSLT 2023 evaluation campaign. In (eds Salesky, E. et al.) 1–61 (Association for Computational Linguistics, 2023). Proc. 20th International Conference on Spoken Language Translation (IWSLT 2023) Duquenne, P.-A., Schwenk, H. & Sagot, B. SONAR: sentence-level multimodal and language-agnostic representations. Preprint at (2023). https://arxiv.org/abs/2308.11466 Popović, M. chrF: character n-gram F-score for automatic MT evaluation. In (eds Bojar, O. et al.) 392–395 (Association for Computational Linguistics, 2015). Proc. Tenth Workshop on Statistical Machine Translation Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (Association for Computational Linguistics, 2002). Proc. 40th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. R., Dale, D., Elbayad, M. & Yu, B. Added toxicity mitigation at inference time for multimodal and massively multilingual translation. In (eds Scarton, C. et al.) Vol. 1, 360–372 (European Association for Machine Translation, 2024). Proc. 25th Annual Conference of the European Association for Machine Translation ACTFL. World-readiness standards for learning languages. (2023). https://www.actfl.org/educator-resources/world-readiness-standards-for-learning-languages Desplanques, B., Thienpondt, J. & Demuynck, K. ECAPA-TDNN: emphasized channel attention, propagation and aggregation in TDNN based speaker verification. In (eds Meng, H. et al.) 3830–3834 (ISCA, 2020). Proc. Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event Valk, J. & Alumäe, T. VOXLINGUA107: a dataset for spoken language recognition. In 652–658 (IEEE, 2021). Proc. 2021 IEEE Spoken Language Technology Workshop, Chen, M., Heffernan, K., Çelebi, O., Mourachko, A. & Schwenk, H. xSIM++: An improved proxy to bitext mining performance for low-resource languages. In (eds Rogers, A. et al.) Vol. 2, 101–109 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. In , 2101–2112 (eds Goldberg, Y. et al.) (Association for Computational Linguistics, 2022). Findings of the Association for Computational Linguistics: EMNLP 2022 Feng, F., Yang, Y., Cer, D., Arivazhagan, N. & Wang, W. Language-agnostic BERT sentence embedding. In (eds Muresan, S. et al.) Vol. 1, 878–891 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Conneau, A. et al. FLEURS: FEW-Shot Learning Evaluation of Universal Representations of Speech. In , 798–805 (IEEE, 2023). 2022 IEEE Spoken Language Technology Workshop (SLT) Zhang, Z.-H. et al. Speak foreign languages with your own voice: cross-lingual neural codec language modeling. Preprint at (2023). https://arxiv.org/abs/2303.03926 Radford, A. et al. Robust speech recognition via large-scale weak supervision. In , article no. 1182, 28492–28518 (ACM, 2023). Proceedings of the 40th International Conference on Machine Learning Rubenstein, P. K. et al. AudioPaLM: a large language model that can speak and listen. Preprint at (2023). https://arxiv.org/abs/2306.12925 Casanova, E. et al. YourTTS: towards zero-shot multi-speaker tts and zero-shot voice conversion for everyone. In , Vol. 162, 2709–2720 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Pratap, V. et al. Scaling speech technology to 1,000+ languages. , 1–52 (2024). J. Mach. Learn. Res. 25 Dale, D. & Costa-jussà, M. R. Blaser 2.0: a metric for evaluation and quality estimation of massively multilingual speech and text translation. In (eds Al-Onaizan, Y. et al.) 16075–16085 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: EMNLP 2024 Chen, P.-J. et al. Speech-to-speech translation for a real-world unwritten language. In (eds Rogers, A. et al.) 4969–4983 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: ACL 2023 Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In (eds Duh, K. & Guzmán, F.) Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proc. 15th Biennial Conference of the Association for Machine Translation in the Americas Costa-jussà, M. et al. Toxicity in multilingual machine translation at scale. In , 9570–9586 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: EMNLP 2023 Ghosh, S., Lepcha, S., Sakshi, S., Shah, R. R. & Umesh, S. DeToxy: a large-scale multimodal dataset for toxicity classification in spoken utterances. In 2022, 5185–5189 (2022); . Proc. Interspeech https://api.semanticscholar.org/CorpusID:247940269 Costa-jussà, M. R. et al. MuTox: universal multilingual audio-based toxicity dataset and zero-shot detector. In (eds Ku, L.-W. et al.) 5725–5734 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: ACL 2024 Stanovsky, G., Smith, N. A. & Zettlemoyer, L. Evaluating gender bias in machine translation. In (eds Korhonen, A. et al.) 1679–1684 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Levy, S., Lazar, K. & Stanovsky, G. Collecting a large-scale gender bias dataset for coreference resolution and machine translation. In (eds Moens, M. F. et al.) 2470–2480 (Association for Computational Linguistics, 2021). Findings of the Association for Computational Linguistics: EMNLP 2021 Costa-jussà, M. R. et al. Interpreting gender bias in neural machine translation: Multilingual architecture matters. , 11855–11863 (2022). Proc. AAAI Conf. Artif. Intell. 36 Google Scholar Costa-jussà, M. R., Basta, C. & Gállego, G. I. Evaluating gender bias in speech translation. In (eds Calzolari, N. et al.) 2141–2147 (European Language Resources Association, 2022). Proceedings of the Thirteenth Language Resources and Evaluation Conference Bentivogli, L. et al. Gender in danger? Evaluating speech translation technology on the MuST-SHE corpus. In (eds Jurafsky, D. et al.) 6923–6933 (Association for Computational Linguistics, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. et al. Multilingual holistic bias: Extending descriptors and patterns to unveil demographic biases in languages at scale. In , 14141–14156 (Association for Computational Linguistics, 2023). Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing Zuckerman, E. The polyglot internet. (2008). https://ethanzuckerman.com/the-polyglot-internet/ Belekar, A., Sunka, S., Bhawar, N. & Bagade, S. Voice based e-mail for the visually impaired. , 8–12 (2020). Int. J. Comput. Appl. 175 Google Scholar Wang, S., Cooper, N. & Eby, M. From human-centered to social-centered artificial intelligence: Assessing ChatGPT’s impact through disruptive events. (2024). Big Data Soc. https://doi.org/10.1177/20539517241290220 Koenecke, A. et al. Racial disparities in automated speech recognition. , 7684–7689 (2020). Proc. Natl Acad. Sci. USA 117 Article ADS CAS PubMed PubMed Central Google Scholar Ngueajio, M. K. & Washington, G. Hey ASR system! Why aren’t you more inclusive? Automatic speech recognition systems’ bias and proposed bias mitigation techniques. A literature review. In (eds Chen, J. Y. C. et al.) Vol. 13518, 421–440 (Springer, 2022). Proc. International Conference on Human-Computer Interaction Elbow, P. The shifting relationships between speech and writing. , 283–303 (1985). Coll. Compos. Commun. 36 Article Google Scholar Trilla, A. & Alias, F. Sentence-based sentiment analysis for expressive text-to-speech. , 223–233 (2013). IEEE Trans. Audio Speech Lang. Process. 21 Article Google Scholar Iranzo-Sánchez, J., Civera, J. & Juan, A. From simultaneous to streaming machine translation by leveraging streaming history. In , 6972–6985 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Rybakov, O. et al. Streaming Parrotron for on-device speech-to-speech conversion. Preprint at (2022). https://arxiv.org/abs/2210.13761 Koehn, P. Europarl: A parallel corpus for statistical machine translation. In , 79–86 (2005). Proceedings of Machine Translation Summit X: Papers Ziemski, M., Junczys-Dowmunt, M. & Pouliquen, B. The United Nations Parallel Corpus v1.0. In (eds Calzolari, N. et al.) 3530–3534 (European Language Resources Association, 2016). Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16) Wang, C., Pino, J., Wu, A. & Gu, J. CoVoST: a diverse multilingual speech-to-text translation corpus. In (eds Calzolari, N. et al.) 4197–4203 (European Language Resources Association, 2020). Proceedings of the Twelfth Language Resources and Evaluation Conference Wang, C., Wu, A., Gu, J. & Pino, J. CoVoST 2 and Massively Multilingual Speech Translation. In , 2247–2251 (ISCA, 2021). Proc. Interspeech 2021 Salesky, E. et al. The multilingual TEDx corpus for speech recognition and translation. In , 3655–3659 (ISCA, 2021). Proc. Interspeech 2021 Zhang, Y. et al. Google USM: scaling automatic speech recognition beyond 100 languages. Preprint at (2023). https://arxiv.org/abs/2303.01037 Schwenk, H. Filtering and mining parallel data in a joint multilingual space. In (eds Gurevych, I. & Miyao, Y.) Vol. 2, 228–234 (Association for Computational Linguistics, 2018). Proc. 56th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In (eds Korhonen, A. et al.) 3197–3203 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Duquenne, P.-A., Gong, H. & Schwenk, H. Multimodal and multilingual embeddings for large-scale speech mining. In (eds Ranzato, M. et al.) Vol. 34, 15748–15761 (Curran Associates, 2021). Advances in Neural Information Processing Systems Duquenne, P.-A. et al. SpeechMatrix: a large-scale mined corpus of multilingual speech-to-speech translations. In (eds Rogers, A. et al.) Vol. 1, 16251–16269 (2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Silero. Silero VAD: pre-trained enterprise-grade voice activity detector (VAD), number detector and language classifier. (2021). GitHub https://github.com/snakers4/silero-vad Khurana, S., Laurent, A. & Glass, J. SAMU-XLSR: Semantically-Aligned Multimodal Utterance-Level Cross-Lingual Speech Representation. , 1493–1504 (2022). IEEE J. Sel. Top. Signal Process. 16 Douze, M. et al. The Faiss library. Preprint at (2024). https://arxiv.org/abs/2401.08281 Inaguma, H. et al. UnitY: two-pass direct speech-to-speech translation with discrete units. In (eds Rogers, A. et al.) Vol. 1, 15655–15680 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Tjandra, A., Sakti, S. & Nakamura, S. Speech-to-speech translation between untranscribed unknown languages. In , 593–600 (IEEE, 2019). 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Babu, A. et al. XLS-R: self-supervised Cross-lingual Speech Representation Learning at Scale. In , 2278–2282 (ISCA, 2022). Proc. Interspeech 2022 Gong, H. et al. Multilingual speech-to-speech translation into multiple target languages. Preprint at (2023). https://arxiv.org/abs/2307.08655 Chung, Y.-A. et al. w2v-BERT: combining contrastive learning and masked language modeling for self-supervised speech pre-training. In , 244–250 (IEEE, 2021). 2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Chiu, C.-C., Qin, J., Zhang, Y., Yu, J. & Wu, Y. Self-supervised learning with random-projection quantizer for speech recognition. In , 3915–3924 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Gulati, A. et al. Conformer: convolution-augmented transformer for speech recognition. In , 5036–5040 (ISCA, 2020). Proc. Interspeech 2020 Kudo, T. & Richardson, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In (eds Blanco, E. & Lu, W.) 66–71 (Association for Computational Linguistics, 2018). Proc. 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Sennrich, R., Haddow, B. & Birch, A. Neural machine translation of rare words with subword units. In (eds Erk, K. & Smith, N. A.) Vol. 1, 1715–1725 (Association for Computational Linguistics, 2016). Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics Andrews, P. et al. stopes - modular machine translation pipelines. In (eds Che, W. & Shutova, E.) 258–265 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Jia, Y. et al. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In , 7180–7184 (IEEE, 2019). 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) Pino, J., Xu, Q., Ma, X., Dousti, M. J. & Tang, Y. Self-training for end-to-end speech translation. In , 1476–1480 (2020). Proc. Interspeech 2020 Vaswani, A. et al. Attention is all you need. In (eds Guyon, I. et al.) Vol. 30 (Curran Associates, 2017). Advances in Neural Information Processing Systems Zhao, J., Yang, H., Haffari, G. & Shareghi, E. M-Adapter: modality adaptation for end-to-end speech-to-text translation. In , 111–115 (ISCA, 2022). Proc. Interspeech 2022 Ren, Y. et al. FastSpeech 2: fast and high-quality end-to-end text to speech. In (2021). Proc. 2021 International Conference on Learning Representations Shih, K. J. et al. RAD-TTS: parallel flow-based tts with robust alignment learning and diverse synthesis. In (2021). ICML Workshop on Invertible Neural Networks, Normalizing Flows, and Explicit Likelihood Models Chen, M. et al. BLASER: A text-free speech-to-speech translation evaluation metric. In (eds Rogers, A. et al.) Vol. 1, 9064–9079 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Snyder, D., Chen, G. & Povey, D. MUSAN: a music, speech, and noise corpus. Preprint at (2015). https://arxiv.org/abs/1510.08484 Smith, E. M., Hall, M., Kambadur, M., Presani, E. & Williams, A. “I’m sorry to hear that”: finding new biases in language models with a holistic descriptor dataset. In (eds Goldberg, Y. et al.) 9180–9211 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing Priznanja Zahvaljujemo S. Edunov i A. Fan za pomoć u oblikovanju ranijih faza projekta; S. Bhosale, V. Goswami, F. Hernandez i Y. Zhang za pomoć u benchmarking audio denousing modela; M. Seejoor van W. Carupien i M. Duppenthaler za njihovu pomoć u postavljanju demo; V. Goswami, S. Huhan, B. Acun-Uyan, i C.-J. Wu za njegov doprinos FAIRSEQ2 i SONAR inference istraživanja; A. Ni i X. Zhang za pomoć u benchmarking audio denousing modela; N. Seejoor i M. Duppenthaler za njihovu pomoć u postavljanju demo; V. Goswami, S. Hushkin za njegovu pomoć u izgradnji boljih iskustava; Ovaj članak je dostupan u prirodi pod licencom CC by 4.0 Deed (Attribution 4.0 International). Ovaj članak je dostupan u prirodi pod licencom CC by 4.0 Deed (Attribution 4.0 International).