Šis AI gali išgirsti, išversti ir kalbėti 100 kalbų

Autorių : Rūpinimasis Barrault Yu-An Chung Marianas Korijus Meglioli Deividas Dalis Nėra Dong Paulė Ambroise Duquenne Hady Elsahar Honkongo Gongas Kevinas Heffernanas Johnas Hoffmanas Christopher Klaiber Pengwei Li Daniel Licht Jean Maillard Alisa Rakotoarison Kaushik Ram Sadagopan G. Wenzėnas Ethan Ye Autorių : Rūpinimasis Barrault Juozas Čungas Marianas Korijus Meglioli Deividas Dalis Nėra Dong Paulė Ambroise Duquenne Džiugina Elsaharas Honkongo Gongas Kevinas Heffernanas Johnas Hoffmanas Christopheris Klaiberis Pingvinas Li Danielius Šviesa Žanas Maillardas Alisa Rakotoarison Kaušikas Ram Sadagopanas G. Wenzėnas Tėvas Ye Abstrakcijos „Babel Fish“ kūrimas, įrankis, padedantis asmenims išversti kalbą tarp dviejų kalbų, reikalauja pažangių technologinių naujovių ir kalbinių žinių. , , Skaliuojamos ir aukštos kokybės unifikuotos sistemos , Norėdami išspręsti šį trūkumą, čia pristatome SEAMLESSM4T – masiškai daugiakalbį ir daugiarūšį mašininį vertimą – vieną modelį, kuris palaiko žodžio į žodį vertimą (101–36 kalbomis), žodžio į tekstą vertimą (nuo 101 iki 96 kalbų), tekstą į žodį vertimą (nuo 96 iki 36 kalbų), tekstą į tekstą vertimą (96 kalbomis) ir automatinį kalbos atpažinimą (96 kalbomis). Pastatytas naudojant naują daugiarūšį automatiniu būdu suderintų žodžio vertimų korpusą ir kitus viešai prieinamus duomenis, SEAMLESSM4T yra viena iš pirmųjų daugiakalbės vertimo sistemų, kurios gali išversti iš ir į anglų kalbą užduotis tiek 1 2 3 4 5 pagrindinė Babelio žuvis yra fiktyvus įrankis, kuris verčiamas tarp dviejų kalbų. Šiuolaikiniame pasauliniame kraštovaizdyje, kuriam būdingas didėjantis tarpusavio sujungimas ir mobilusis socialumas, socialinis imperatyvas atnaujinti šias technologijas ir palengvinti pagal poreikį kalbėjimo į kalbą vertimą (S2ST) tiek skaitmeniniame, tiek fiziniame pasaulyje niekada nebuvo didesnis. Daugiau informacijos apie tai, kodėl kalbėjimas turėtų būti teikiamas pirmenybę MT. Nors vienkartiniai, unimodaliniai modeliai, tokie kaip NLLB (Nėra kalbos, likusios už nugaros) Sujungus tekstinio vertimo į tekstą (T2TT) aprėptį daugiau nei 200 kalbų, unifikuoti S2ST modeliai toli gražu nepasiekia panašios apimties ar našumo. „Hitchhiker“ vadovas į galaktiką I.1 Šaltinis 6 Esamos S2ST sistemos turi tris pagrindinius trūkumus. Pirma, šios sistemos linkusios sutelkti dėmesį į didelių išteklių kalbas, paliekant daug mažų išteklių kalbų. Antra, šios sistemos dažniausiai aptarnauja vertimą iš šaltinio kalbos į anglų kalbą (X–eng), o ne atvirkščiai (eng–X). Trečia, dauguma S2ST sistemų daugiausia remiasi keleto posistemų kaskadavimu; pavyzdžiui, automatinis kalbos atpažinimas (ASR) + T2TT + tekstas į kalbą (TTS). Nors tiesioginės sistemos egzistuoja , , , jie nesutampa su jų kaskadinių kolegų rezultatais Papildomos informacijos skyrius Daugiau informacijos apie dabartinę techninę situaciją. 1 4 5 7 I.2 Šalys Norėdami išspręsti šiuos apribojimus, pristatome SEAMLESSM4T (Massively Multilingual and Multimodal Machine Translation), vieningą sistemą, palaikančią ASR, T2TT, kalbos į tekstą vertimą (S2TT), teksto į kalbą vertimą (T2ST) ir S2ST. Tada mes sujungėme filtruotą šio korpuso pogrupį su žmogaus etiketėmis ir pseudo etiketėmis, kad sukurtume pirmąją daugiafunkcinę sistemą, kuri atlieka S2ST iš daugiau nei 100 kalbų į 36 kalbas, S2TT ir ASR į 96 kalbas, nulinį T2ST į 36 kalbas, taip pat T2TT 96 kalboms (žr. lentelę). palyginti kalbų aprėptį ir papildomos informacijos skyrių Dėl vieningos SEAMLESSM4T architektūros (Fig. ), modelis gali atlikti T2TT, S2TT arba S2ST ne anglų kryptimis (X-X) nulinio šūvio būdu. Jis taip pat gali atlikti T2ST be aiškaus mokymo šiai užduočiai. Kaip rezultatas iš anksto mokymo kalbos kodekso SEAMLESSM4T didelį kiekį neregistruotų kalbos duomenų (žr. skirsnį " "), jis gali tvarkyti pasisakymus, kurie sumaišo dvi ar daugiau kalbų. 8 1 II 1 Nekontroliuojamas kalbos mokymas Šaltinis Trys pagrindiniai UNITY2 (S2ST) blokai su neautoregresine (NAR) T2U yra rodomi viršuje kairėje pusėje. „Multitask-UNITY2“ su papildomu teksto koderiu yra rodomi apačioje kairėje pusėje. „SEAMLESSM4T-V2“ komponentų skilimas (daugiafunkcinis UNITY2 modelis) yra rodomas dešinėje pusėje su šoniniu skydeliu, rodančiu mokytojo T2U modelį, naudojamą pseudožymėjimui (M4). Norėdami įvertinti mūsų modelio išėjimų kokybę, mes naudojome keletą esamų rodiklių, apimančių užduotis ir būdus, taip pat keturis pagrindinius vertinimo duomenų rinkinius. T2TT, Mėlyna S2TT ir ASR-BLEU S2ST ir WER ASR. žr. Papildomą lentelę Mes taip pat išbandėme mūsų modelius atsparumui fono triukšmui ar garsiakalbių pokyčiams, taip pat kitiems atsakingo diegimo frontams, pvz., lyčių šališkumui, naudojant „MULTILINGUAL HOLISTICBIAS“ duomenų rinkinius, arba papildomam toksiškumui, naudojant naujas kalboje pagrįstas metrikas (ASR-ETOX ir MuTox). . 9 10 5 2 11 Be SEAMLESSM4T statybos, mes taip pat aptarsime mūsų darbo socialines pasekmes ir tai, kaip jis gali prisidėti prie didesnio pasaulio pasirengimo. ilgainiui (žr. skyrių ‘ Siekiant paskatinti būsimus tyrimus, duomenų įrankius, kodą ir du SEAMLESSM4T modelių dydžius viešai pasiekiame nekomerciniais tikslais. 12 Socialinis poveikis ir išvada Tolesniuose skyriuose apžvelgiame pagrindinius mūsų SEAMLESSM4T modelių kūrimo rezultatus. Pirma, apžvelgiame savo pastangas išgauti suderintus kalbos ir teksto duomenis, pradedant kalbos kalbos identifikavimu ir baigiant suderintų kalbos ir teksto segmentų kasyba naudojant modality-agnostic koderius. Tada pranešame apie pagrindinius mūsų tiesioginio vertimo sistemų rezultatus, iš dalies apmokytus pirmiau minėtais automatiškai suderintais kalbos duomenimis. Šie rezultatai pabrėžia SEAMLESSM4T modelių užduočių universalumą, pasiekiant daugiakalbį pažangą ASR, T2TT, S2TT ir S2ST. Tada mes remiame įmones su žmogaus vertinimo analize. Galiausiai apibrėžiame duomenys Mokymo kalbos vertimo sistemos reikalauja ženklintų duomenų, t. y. kalbos į tekstą ir kalbos į kalbą suderintų duomenų. tačiau tie ištekliai yra labai riboti mažai išteklių turinčioms kalboms. Mes naudojame daugiakalbę ir daugiarūšę SONAR įterpimo erdvę ir didelę žaliosios kalbos ir tekstų kolekciją, kaip aprašyta , kad automatiškai išgautų suderintus išteklius, papildydami esamus žmogaus ženklinamus ir pseudo ženklinamus duomenis. 8 metodų Kalbos kalbos identifikavimas Žaliosios kalbos apdorojimas iš žiniatinklio apima išraiškų segmentavimą į trumpesnius gabalus, po to - kalbos identifikavimą. , , mes sukūrėme naują kalboje pagrįstą kalbos identifikavimo (LID) modelį, apimantį visas 100 kalbų, pateiktų šiame darbe (žr. „ „Dėl daugiau detalių“ 13 14 metodų Garso apdorojimas ir kalba LID Norėdami išmatuoti LID modelių tikslumą ir atšaukimą, išplėstinėje duomenų lentelėje pateikiame F1 balus. . Rezultatai pateikiami 100 duomenų apie SEAMLESSM4T kalbas (bendrai) ir 79 bendras kalbas tarp SEAMLESSM4T ir VoxLingua107 (tarpsnis). Atkreipkite dėmesį, kad visų kalbų makro-F1 VL107HF yra mažas, nes 21 kalba nėra apimta šio modelio. Mes nustatome, kad mokymasis papildomomis kalbomis šiek tiek sumažina bendrą kalbų rinkinį, kuris yra tiesioginė didesnio artimų kalbų skaičiaus pasekmė. Pavyzdžiui, Zulu (zul) labai dažnai painiojamas su Nyanja (nya), Igbo (ibo) su Yoruba (yor), ir Modern Standard Arabic (arb) su Morokiečių arabų (arų) ir Egipto arabų (arz modelio). Mūsų gerina klasifikavimo tikslumą 1 Sonar teksto įterpimo erdvė Norėdami išgauti automatiškai suderintus vertimo duomenis iš kalbos identifikuotų segmentų, mes remiamės kalbos ir modality-agnostic koderiais. Šiuo metu mes teikiame vieną teksto kodavimo ir dekodavimo programą 200 kalbų ir balso kodavimo programą 37 kalboms. 200 kalbų sąrašas yra identiškas NLLB projekto kalbų sąrašui Daugiakalbė panašumo paieška, xsim ir xsim++ yra dvi gerai žinomos proxy metrikos, vertinančios daugiakalbę įterpimo erdvę kasybos tikslais. , SONAR žymiai viršija kitus populiarius metodus, tokius kaip LASER3 arba LaBSE XSIM ir XSIM++ yra mažesni. 8 6 15 2 16 17 Vidutinis našumas daugiau nei 200 kalbų yra konkurencingas, palyginti su vidutinio dydžio NLLB tankiu modeliu, nepaisant to, kad SONAR pakeitė kodavimo ir dekodavimo dėmesį fiksuoto dydžio įterpimu (žr. Išplėstinės duomenų lentelės T2TT stulpelius). Šis rezultatas įrodo, kad dėmesio panaudojimas nėra būtinas norint pagrįstai tiksliai išversti.Daugiau informacijos apie SONAR žr. D2. 2 Kalbos kodavimo mokymai Kalbos koderiai buvo apmokyti mokytojo-studento požiūriu tik kalbų transkripcijose (žr. „ „). Kiekvieno balso kodekso iteracijų vertinimas iš galinės į galinę grandinę, t. y. S2TT arba S2ST vertimo sistemų kasyba ir mokymas, būtų skaičiavimo intensyvus. Vietoj to, mes prijungėme balso kodeką prie SONAR teksto dekodieriaus ir įvertinome šią nulinę S2TT sistemą kaip kodekso kokybės tarpininką. Kaip parodyta išplėstinės duomenų lentelės S2TT stulpeliuose , SONAR kalbos kodai palyginti palankiai su tokiu modeliu kaip WHISPER-LARGE-V2 ant FLORES ir gėlės Tikslumo spragas galima pastebėti kai kuriose didelių išteklių kalbose, pvz., vokiečių, rusų ar portugalų, tačiau SONAR pralenkia WHISPER-LARGE-V2 keliose mažų išteklių kalbose, pvz., Swahili ar bengalų (žr. Papildomą lentelę). ) ir metodų Sonarų 2 6 18 8 Seimui SONAR teksto ir kalbos kodekai buvo naudojami trims suderintų duomenų tipams išgauti: (1) anglų kalbos į ne anglų tekstus (Sen2Txx); (2) ne anglų kalbos į anglų tekstus (Sxx2Ten); ir (3) ne anglų kalbos į anglų kalbą (Sxx2Sen). SEAMLESSALIGN suteikia 202,796 valandos garso Sen2Txx, 239,767 valandos garso Sxx2Ten ir 29,161 valandos garso Sxx2En. Šie suderinti duomenys buvo išgauti iš iš viso 2,5 mln. valandų žalio garso (iš kurių anglų kalba yra beveik 40%). SONAR kalbos kodekai buvo apmokyti 43,772 valandos prižiūrimų ASR duomenų. . 8 Teksto domeno atveju naudojame tuos pačius duomenis, kuriuos konsoliduoja NLLB projektas Ši suma svyruoja nuo 33 mln. arba 55 mln. sakinių mažai išteklių turinčioms kalboms, pvz., Maltos ar Swahili, iki atitinkamai 22 000 mln. Anglų sakinių. 6 Išskyrus maltiečių kalbą, kuriai mes turėjome prieigą tik prie nedidelio žaliavinio garso kiekio, mes galėjome išgauti daugiau nei 100 valandų kalbos suderinimo su anglų kalba visomis kalbomis. Adding such large amounts of data to train a multilingual translation system is a substantial computational challenge. As described in the „ Kadangi mūsų išgauti duomenys gali padėti palaikyti daugelį skirtingų naudojimo atvejų, mes atviro kodo metaduomenis, reikalingus jo atkūrimui vadovauti (iki SONAR slenksčio 1,15; žr. „ „) leisti bendruomenei atkurti SEAMLESSALIGN ir naudoti jį savo reikmėms.Todėl optimali riba gali būti pritaikyta pagal užduotį, subalansuojant duomenų rinkinio dydį ir derinimo kokybę.Mūsų kasybos kodas taip pat yra atviro kodo STOPES bibliotekoje. metodų modeliavimas metodų Kalbėjimas Daugiafunkcinių vertimo sistemų kūrimas Apibendrinant metodus, aprašytus šioje „ su papildomais SEAMLESSALIGN duomenimis (žr. „ „), mes mokėme SEAMLESSM4T modelius dviem dydžiais: didelis su 2.3B parametrais ir vidutinis su 1.2B parametrais. SEAMLESSM4T-MEDIUM yra skirtas būti prieinama bandymo lova, kad būtų galima ištaisyti, tobulinti ar užsiimti analize. „ „) ir galingesnis vieneto dekoderis (žr. skyrių „ Visi SEAMLESSM4T modeliai palaiko 96 šaltinių kalbas teksto modelyje ir daugiau nei 100 šaltinių kalbų kalbos modelyje. Tikslinėje pusėje modeliai gali išleisti 96 kalbas tekstine forma ir 35 kalbomis. Priežiūros duomenų kiekis vienai krypčiai ir vienam šaltiniui (pvz., M4 arba SEAMLESSALIGN) yra išsamiai aprašytas Papildomose lentelėse ir Tai rodo, kad kai kurioms vertimo kryptims ir atsižvelgiant į prižiūrimų duomenų trūkumą, mūsų modeliai bus vertinami nuliniu šūviu. metodų modeliavimas metodų duomenys metodų Nekontroliuojamas kalbos mokymas S2ST gerai sureguliuotas 12 13 Mes įvertinome mūsų modelius visose keturiose prižiūrimose užduotims (T2TT, ASR, S2TT ir S2ST), taip pat nulinės vertimo iš teksto į kalbą užduotį (T2ST, taip pat vadinama kryžminė teksto į kalbą sintezė). ) Norėdami sukurti tekstines hipotezes, mes iššifravome naudojant spindulių paiešką. Mes įvertinome su chrF2++ T2TT ir BLEU S2TT. Mes matuojame BLEU balus su SacreBLEU ir pateikiame parašus Papildomoje lentelėje Dėl ASR, mes surinkome WER (žodžio klaidų lygis) normalizuotų transkripcijų ir nuorodų po ref. . 19 2 20 S2ST ir T2ST išvados metu mes atlikome dvigubo perdavimo spindulių paieškos dekodavimą; geriausia hipotezė iš pirmojo perdavimo dekodavimo įterpiama su teksto dekoderiu ir siunčiama į teksto į vienetą modulį (T2U; žr. skirsnį ““ „) ieškoti geriausios vieneto sekos hipotezės. Abiems paieškai mes naudojome 5 spindulių plotį. Mes įvertinome S2ST ir T2ST tikslumą naudojant ASR-BLEU naudojant WHISPER modelius. Mes nustatėme WHISPER dekodavimo temperatūrą iki nulio ir naudojome godų dekodavimą, kad užtikrintume ASR modelio deterministinį elgesį. Prieš skaičiuojant mėlynus taškus. S2ST gerai sureguliuotas 20 Palyginimas su kaskadiniais kalbos vertimo metodais Kalbant apie kalbų rinkinį, palaikomą SEAMLESSM4T ir WHISPER, palyginame lentelėje (S2TT stulpeliai) mūsų tiesioginio S2TT modelio našumas kaskadiniams modeliams, būtent WHISPER ASR modelių ir NLLB T2TT modelių deriniams. SEAMLESSM4T-V2 pralenkia kaskadinius modelius su mažiau nei 3B parametrais X-eng kryptimis 4,6 BLEU taškais (nuo 22.0 iki 26.6) ir eng-X kryptimis 1 BLEU tašku (nuo 21.1 iki 22.2). Šie modeliai viršija 4B parametrus ir iš esmės viršija SEAMLESSM4T-V2 X-eng (+3.9); jie tik šiek tiek viršija SEAMLESSM4T-V2 eng-X kryptimis 0,2 BLEU taško. 3 3 Palyginti su ankstesniais tiesioginiais S2TT SOTA modeliais, kurie atsiliko nuo kaskadinių sistemų (pavyzdžiui, AUDIOPALM-2-8B-AST. ref. ), SEAMLESSM4T-V2 pagerina FLEURS X–eng S2TT BLEU rezultatus 6,9 balų (nuo 19,7 iki 26,6; tai yra 35% pagerėjimas). 21 Stalas (S2ST stulpeliai) taip pat palygina S2ST tarp SEAMLESSM4T modelių ir kaskadinių modelių. „S2ST“ atveju mes nagrinėjame dvi kaskadavimo galimybes: (1) trijų pakopų su ASR, T2TT ir TTS ir (2) dviejų pakopų su S2TT ir TTS. Abiejų tipų kaskadinės sistemos remiasi TTS modeliu sintezuojant išverstą kalbą, ir tam mes naudojame „YOURTTS“ Anglų kalbos ir MMS sintezė kai sistema sintezuoja kalbą 26 ne anglų kalbomis lyginant (susiliejimas tarp SEAMLESSM4T palaikymo ir TTS sistemų palaikymo MMS). Mūsų SEAMLESSM4T-LARGE dviejų pakopų kaskadinius modelius FLEURS X–eng kryptimis pranoksta 8 ASR-BLEU taškais (17.8–25.8). Jis taip pat pranoksta stipresnius trijų pakopų kaskadinius modelius (WHISPER-LARGE-V2 + NLLB-3.3B + YOURTTS) 2.1 ASR-BLEU taškais (23.7–25.8). Patobulintas SEAMLESSM4T-V2 padidina šį lyderį S2 FSTLE Xeng – su papildomais +3.9 ASR-BLEU taškais (25. 3 22 23 Mes dalinamės papildoma informacija skyriuje S2TT ir S2ST užduočių vertinimo rezultatai su papildomais rodikliais, įskaitant mūsų modality-agnostic BLASER 2.0. IV.1 Šaltinis Multitasking rezultatai Pranešame apie stalą rezultatai, susiję su FLEURS lyginamuoju indeksu užduotims, susijusioms su ASR ir nulinio šūvio T2ST (X–eng ir eng–X), ir susijusiu FLORES lyginamuoju indeksu T2TT (X–eng ir eng–X). dėl 77 palaikomų kalbų dubliavimo WER sumažėjo 46% (nuo 41,7 iki 22,6), o SEAMLESSM4T-V2 pagerėjo prieš WHISPER-LARGE-V2 56% (nuo 41,7 iki 18,5). prieš MMS SEAMLESSM4T-V2 pralenkia su CTC įvertintus MMS variantus daugiau nei 38% WER (nuo 31,0 iki 19,1), tačiau jį pranoksta variantai, kurie naudoja monolingvistinius n-gramų kalbos modelius (5% geriau WER su 18,6). 4 20 9 23 T2TT palaikymo užduotį, rezultatus lentelėje parodyti, kad mūsų SEAMLESSM4T modeliai yra panašūs į NLLB-3.3B (ref. ) tiek X-eng, tiek eng-X kryptimis. 4 6 Toliau mes vertinome SEAMLESSM4T modelius dėl T2ST užduoties nulinio šūvio būdu. Kadangi FLEURS surinko tris įrašus iš trijų skirtingų gimtųjų garsiakalbių kiekvienam pavyzdžiui, mes atsitiktinai atrinkome vieną užduotį T2ST (įvestis yra tekstas). (T2ST stulpeliai) palyginimas tarp SEAMLESSM4T modelių ir kaskadinių modelių su NLLB ir arba YOURTTS (anglų TTS) arba MMS (ne anglų TTS) sintezuojant išverstą tekstą. Palyginus su kaskadiniais modeliais, ASR-BLEU rezultatai buvo vidutiniai 88 X-eng kryptimis (susidūrimas tarp FLEURS ir kalbų, kurias palaiko SEAMLESSM4T). Mes taip pat vidutiniškai vertinome ASR-BLEU 26 eng-X kryptimis (SEAMLESSM4T su TTS modeliais). Palyginti su kaskadiniais modeliais, SEAMLESSM4T-LARGE V2 nulinio šūvio galimybė yra lygi NLLB-3.3B + YO 4 Norėdami geriau suprasti, iš kur atsirado FLEURS S2TT X-eng krypčių patobulinimai, mes išplėtėme kalbas pagal išteklių lygį (žr. tikslų kalbų sąrašą Papildomoje lentelėje). ) ir pranešti apie vidutinius BLEU balus pagal išteklių lygį lentelėje Rezultatai rodo, kad SEAMLESSM4T gerokai pagerina vertimo kokybę iš mažai išteklių turinčių kalbų, pagerindamas vertimą +10,2 BLEU (nuo 18.0 iki 28,2, t. y. 57% pagerėjimas, palyginti su AUDIOPALM-2-8B-AST). mes taip pat vidurkį stulpelyje Low* per mažai išteklių turinčias kryptis, kurias prižiūri AUDIOPALM-2-8B-AST. 12 5 Automatinis ir žmogiškas vertinimas Kalbos vertimo semantinis tikslumas paprastai vertinamas naudojant automatinę metriką BLEU. S2TT arba jos plėtinys ASR-BLEU S2ST. Be to, mes naudojame BLASER 2.0 (ref. Plačiau apie BLASER , kuri dabar suteikia galimybę atlikti modality-agnostic vertinimą ir kokybės vertinimą tiek kalbai, tiek tekstui. 10 24 25 Norėdami papildyti automatinės metrikos naudingumą, mes taip pat pasitikėjome plačiu mūsų modelių žmogišku vertinimu. ir MOS (vidutinis nuomonės balas) protokolą kalbų išėjimams (žr. „ Tačiau dėl išteklių apribojimų mes aptinkame ribotą skaičių modelių (SEAMLESSM4T-LARGE, SEAMLESSM4T-LARGE V2 ir kaskadinę bazinę liniją, kurią sudaro WHISPER-LARGE-V2 ASR, NLLB 3.3B vertimui ir YOURTTS arba MMS TTS S2ST užduočiai) ir vertimo nurodymus (23 kalbos iš ir į anglų kalbą, 10 kalbų X-eng MOS). 26 metodų Žmogaus vertinimas XSTS rezultatai rodo, kad SEAMLESSM4T-LARGE V2 puikiai tinka kaskadinėms bazinėms sistemoms ir SEAMLESSM4T-LARGE tiek vidutiniškai kalbų lygiu, tiek XSTS rezultatui ir laimėjimo koeficientui (vertinamų kalbų, kurioms XSTS efektyvumas yra pranašesnis, dalis), visoms užduotims ir kalbų kryptims. S2ST užduotims, kuriose santykinis SEAMLESSM4T-V2 efektyvumas buvo stipriausias, SEAMLESSM4T-V2 metodų laimėjimo koeficientas yra 100% palyginti su kaskadine bazine linija ir SEAMLESSM4T-LARGE tiek X-eng, tiek eng-X kryptimis, o kalbos vidutinis XSTS balas yra maždaug 0,5 ir atitinkamai už visą kalbos lygį ir apibendrintus XSTS rezultatus. 22 24 Mes taip pat matuojame S2ST kalbos išeigos kokybę naudojant vidutinės nuomonės rezultato protokolą, kuris įvertina (1) garso kokybę, (2) kalbos aiškumą ir (3) natūralumą. Mes nustatome, kad apskritai visuose MOS aspektuose SEAMLESSM4T-LARGE V2 linkęs būti teikiamas pirmenybė SEAMLESSM4T-LARGE, kuris linkęs būti teikiamas pirmenybę kaskadiniams modelio baziniams linijoms, išskyrus X-eng, kuriam SEAMLESSM4T-LARGE kartos yra labai pageidaujamos (+1 taško vidutinis skirtumas tarp SEAMLESSM4T-LARGE ir SEAMLESSM4T-LARGE V2 kartų), netikėtas rezultatas, kuris gali būti dėl modelio architektūrų skirtumų, kurie kitaip pager ir už pilną kalbos lygio ir santraukos MOS rezultatus, atitinkamai. 23 24 Naudodamas S2ST užduoties XSTS įvertinimus, BLASER 2.0 (vidutiniškai visų vertinimo elementų tam tikroje kalbos kryptyje) pasiekia puikias Spearman koreliacijas su kalibruotais kalbos lygio XSTS rezultatais tiek X-eng kryptimi (0,845 BLASER 2.0, palyginti su 0,74 ASR-BLEU) ir ypač eng-X kryptimi (0,81 BLASER 2.0, palyginti su 0,246 ASR-BLEU). Dėl visų rezultatų). 21 Galiausiai mes išbandėme mūsų modelius dėl triukšmo ir garsiakalbių pokyčių atsparumo, sukurdami atvirus atsparumo kriterijus, pagrįstus FLEURS (žr. „ Tuo tikslu mes nustatėme, kad SEAMLESSM4T-V2 yra vidutiniškai maždaug 42% ir 66% atsparesnis fono triukšmui ir garsiakalbių pokyčiams, atitinkamai, palyginti su WHISPER-LARGE-V2 (žr. išsamius rezultatus skyriuje Papildoma informacija). ) ir metodų Robustiškumas V.2 pusėje Atsakingas AI Toksiškumas Toksiškumas gali būti apibrėžiamas kaip šmeižto ar kalbos atvejai, kurie gali paskatinti neapykantą, smurtą ar piktnaudžiavimą asmeniu ar grupe (pvz., religija, rasė ar lytis). Kalbos vertimo kontekste pirmiausia buvo susirūpinę dėl papildomo toksiškumo – toksiškų elementų įvedimo į vertimus, kurie nėra šaltinio pareiškimuose. ir, neseniai, dešimtims kalbų su MuTox . 27 28 29 Todėl kalbų ir tekstų daugiakalbės toksiškumo nustatymui mes naudojome ETOX (arba ASR-ETOX S2ST) ir MuTox (tiek kalbos, tiek teksto) kaip metriką, kad aptiktume ir įvertintume papildomą toksiškumą. Toksiškumo mažinimui mes įgyvendinome du metodus, skirtus papildomai toksiškumui spręsti. Prieš mokymą mes filtravome mokymo poras su nesubalansuotu toksiškumu. Laikui bėgant (žr. „ „ ) 11 metodų Toksikozės aptikimas Mes apskaičiavome pridėtą toksiškumą dviejuose duomenų rinkiniuose (FLEURS ir HOLISTICBIAS). ) per 24 vertimo kryptis su anglų kalba (arb, ben, cat, ces, dan, deu, est, fin, fra, hin, ind, ita, nld, pes, pol, por, rus, slk, spa, swh, tgl, tur, urd, vie), naudojant kalbas, esančias sistemų aprėpties sankirtoje, o „MuTox“ buvo lyginama (atkreipkite dėmesį, kad „MuTox“ turi platesnį kalbų aprėptį, panašų į „SONAR“, tačiau jis buvo lyginamas tik 30 kalbų Žiūrėti rezultatus su daugiau vertimo krypčių, vertinamų naudojant ETOX papildomos informacijos skyriuje Stalas rodo, kad nors toksinio poveikio lygiai ir tipai labai skiriasi priklausomai nuo kalbos ir duomenų rinkinio, toksinio poveikio paplitimas mūsų sistemose yra palyginti mažas ir nuoseklus tarp dviejų toksinio poveikio nustatymo rodiklių (<0,4 %). Mažiausias toksiškumas visoms rūšims, kryptims ir duomenų rinkiniams nuosekliai gaunamas naudojant SEAMLESSM4T-V2 + MinTox, sumažinant toksiškumą iki 5% pagal MuTox (ir iki 80% pagal ETOX) lyginant su tuo pačiu modeliu nenaudojant MinTox, ir iki 20% pagal MuTox (iki 90% pagal ETOX) lyginant su pradine linija (žr. išsamius rezultatus skyriuje Papildoma informacija). ) ir 27 29 VI.1 išvados 6 6 VI.1 išvados Gender bias Šis šališkumas gali aiškiai pasireikšti kaip pernelyg didelis vienos lyties apibendrinimas, kai nevienos lyties formos verčiamos į lyčių formas (pavyzdžiui, išvestys, palankios vyriškiems atstovavimams) arba kaip tvirtumo trūkumas, kai keičiasi vertimo kokybė sakiniams, kurie skiriasi tik lyčių apibendrinimu. Previous work on this matter is mostly in the text modality , , ir yra orientuota į anglų kalbą, su mažais demografiniais elementais ir daugiakalbėmis nuorodomis. , . 30 31 32 33 34 We used MULTILINGUAL HOLISTICBIAS and its speech extension to compare the performance of S2TT and S2ST. The eng–X direction enables comparing performance in the presence of masculine or feminine references, and the X–eng direction enables robustness comparisons in translations when we alter gender inflection. A typical example of the English–Spanish language pair would be ‘I’m a homemaker’ and the corresponding translations ‘Soy amo de casa’ and ‘Soy ama de casa’ in Spanish. When translating from English to Spanish, we can measure if the system overgeneralizes to one gender, whereas in the other direction, we can evaluate the robustness of the translation to gender inflection (see , ‘ ’). 35 metodų Daugiakalbės holistinės kalbos pratęsimas We conducted a set of comprehensive evaluations on translation biases for S2TT and S2ST (see Extended Data Table for average results and Supplementary Information section Dėl išsamių rezultatų). „SEAMLESSM4T-V2“ nuosekliai gerina lyčių skirtumų atsparumą pagal rodiklius ir užduotis. Palyginti su ankstesniu modeliu, „SEAMLESSM4T-V2“ pagerina SEAMLESSM4T-LARGE 0,4 % S2TT ir 0,1 % BLASER 2.0 S2ST, o išorinę WHISPER-LARGE-V2 bazinę sistemą (+YOURTTS) 0,1 % S2TT ir 0,9 % BLASER 2.0 S2ST. Tačiau „SEAMLESSM4T-V2“ negali nuosekliai pagerinti lyčių apibendrinimo, palyginti su ankstesniu modeliu. „SEAMLESSM4T-V2“ yra palyginamas su BLASER 2.0 SEAMLESSM4T 3 Žiūrėti2 Social impact and conclusion Pasaulis, kuriame gyvename, niekada nebuvo labiau tarpusavyje susijęs – pasaulinis interneto, mobiliųjų įrenginių, komunikacijos platformų ir socialinės žiniasklaidos plitimas atskleidžia žmones daugiau daugiakalbio turinio nei bet kada anksčiau. Dabartinė visuomeninė tvarka reikalauja žmogaus pasirengimo pasauliui. , a measure of how competent a person is to take on the polyglot world. Initially developed in the context of language learning, world-readiness underscores the importance of being able to communicate in languages beyond our mother tongue for both instrumental (that is, employment or schooling) and cultural reasons (that is, to become a global citizen). That said, although we believe that language acquisition should remain a key mechanism for boosting our world-readiness, we acknowledge that doing so requires resources many people may not possess. 36 12 „SEAMLESSM4T“ palaikomos tolesnės srovės programos galėtų suteikti prieigą prie pasaulinio pasirengimo pagal poreikį, supaprastindamos daugiakalbį mainus įvairiuose kontekstuose. „SEAMLESSM4T“ palaikomos programos galėtų veikti kaip bendrojo bandymo mechanizmas, palaikantis vartotojus daugiakalbėse pokalbiuose ir didinantis jų pasitikėjimą kalbų sąveika. „SEAMLESSM4T“ palaikomos tolesnės sąsajos (pavyzdžiui, garso asistentai, balso užrašai ir gyvi transkriptai) ir klausos turinys (pavyzdžiui, podcastai, garso knygos ir trumpalaikiai vaizdo įrašai) tampa vis labiau prieinamos, todėl „SEAMLESSM4T“ palaikomos tolesn Integracijos požiūriu, SEAMLESSM4T dėmesys multimodalumui galėtų reikšmingai skirtis didinant pasaulio pasirengimą tiems, kuriems reikia prieinamumo, ir tiems, kurių kalbas galima transkribuoti naudojant kelias rašymo sistemas.Daugeliui žmonių, kuriems trūksta skaitymo ar rašymo įgūdžių arba kurie negali pasikliauti regėjimu (t. y. žmonėms, kurie yra akli arba turi regėjimo sutrikimų), balso pagalbos technologijos yra būtinos, kaip jie bendrauja ir lieka susiję. . The ability to translate speech gives these groups more comprehensive access to information not only beyond their native languages but also in a manner that is better suited for their communicative needs. 37 As with most technologies, the distribution of benefits varies based on user demographics and social situation . Although we make the case that SEAMLESSM4T could augment world-readiness by lowering the barriers in cross-lingual communication, some users may experience more difficulties using our work than others. For instance, similar to many other speech technologies, the ASR performance of SEAMLESSM4T may vary based on gender, race, accent or language , Be to, mūsų sistemos našumas verčiant slengą ar tinkamus vardinius žodžius taip pat gali būti nenuoseklus aukštų ir mažų išteklių kalbomis. 38 39 40 Another challenge for S2ST is that speech tends to hinge on immediate reception and feedback more than written language does. In other words, speakers are limited in their ability to ascertain the quality of an output or make edits in a live conversation. Without the ability to plan and revise with the help of back-translation or a native speaker, S2ST may carry higher degrees of interactional risk when it comes to mistranslations or toxicity. We urge researchers and developers who fine-tune or build artefacts using SEAMLESSM4T to think critically about design features that could help users circumvent these potential obstacles. Importantly, we believe that SEAMLESSM4T-fueled applications should best be viewed as an augmentation device that assists in translation rather than a tool that replaces the need for language learning or reliable human interpreters. This reminder is especially pertinent in high-stakes situations involving legal or medical decision-making. Finally, speech is not spoken text—it encompasses a suite of prosodic (for example, rhythm, stress, intonation or tone) and emotional components that deserve further research . To create S2ST systems that feel organic and natural, more research should be directed at output generation that preserves expressivity . Moreover, the consummate realization of the Babel Fish requires deeper investments into research on low-latency speech translation. Developing systems that enable streaming (that is, incrementally translating an input sentence as it is being presented) may increase the adoption of these systems across institutional contexts , . We hope that SEAMLESSM4T opens up new possibilities for both these research areas. 41 42 43 44 Methods Data Developing an effective multilingual and multimodal translation system such as SEAMLESSM4T requires sizeable resources across languages and modalities. Some human-labelled resources for translation are freely available, but often limited to a small set of languages or in very specific domains. Well-known examples are parallel text collections such as Europarl Jungtinių Tautų korpusas . A few human-created collections also involve the speech modality, such as CoVoST , and mTEDx . Yet no open dataset currently matches the size of those used in initiatives such as WHISPER or USM , which proved to unlock unprecedented performance. 45 46 47 48 49 20 50 Lygiagretus duomenų gavybos atsiranda kaip alternatyva naudojant uždarus duomenis, tiek kalbų aprėpties, tiek korpuso dydžio požiūriu. Šiandien dominuojantis požiūris yra koduoti sakinius iš įvairių kalbų ir būdų į bendrą fiksuoto dydžio įterpimo erdvę ir rasti lygiagrečius atvejus, pagrįstus panašumo metrika. , . This approach was first introduced using the multilingual LASER space Tada mokytojo-studento mokymas buvo naudojamas šiam požiūriui išplėsti iki 200 kalbų. , and, subsequently, the speech modality , . 51 52 53 6 16 54 55 Garso apdorojimas ir kalba LID Mes pradėjome su 4 milijonais valandų neapdoroto garso, gauto iš viešai prieinamos nuskaitymo žiniatinklio duomenų saugyklos, kurioje taikėme keletą valymo ir filtravimo operacijų. Siekiant maksimaliai padidinti gavybos atšaukimą, svarbu, kad visi segmentai būtų panašūs. Teksto domeno atveju sakinys paprastai yra gerai apibrėžtas. Tai mažiau akivaizdu neapdorotoje kalboje, nes pertraukos nebūtinai naudojamos sakinio ribose. to split audio files into shorter segments. Second, a newly developed speech LID model was applied to each segment. Our model follows the ECAPA-TDNN architecture ir išplečia atviro kodo modelį, apmokytą VoxLingua107 pagal 15 naujų kalbų. Galiausiai, mes taikėme pernelyg segmentavimo metodą, kuris tuo pačiu metu pasiūlė kelis, potencialiai sutampančius kalbos segmentavimus. shows this pipeline. 56 13 14 1 Sonarų SONAR teksto ir kalbos kodai buvo sukurti ref. Dviejų žingsnių metodas (pagal papildomą figūrą). ). First, a massively multilingual representation was learnt for the text modality only. Then, teacher–student training was used to extend the embedding space to the speech modality. The text embedding space was trained with an encoder–decoder approach using a combination of multiple objectives: translation, denoising auto-encoding and mean squared error (MSE) loss objective in the sentence embedding space. The training data were identical to those used to train the NLLB model Kalbos kodai buvo apmokyti tik ASR duomenimis ir grupuojant kalbas į lingvistines genealogines grupes po ref. , pavyzdžiui, italų, bendrosios turkų arba indoiranų kalbomis. Norėdami pasiekti optimalų našumą, mes nustatėme optimalią konvergenciją atskirai kiekvienai kalbai (t. y. kada nutraukti mokymą). Ankstesnis darbas atliktas max grupuojant arba vidutiniškai grupuojant kalbos priekinio galo išvesties būsenas, siekiant gauti fiksuoto dydžio įterpimą kalbos signalo , . An ablation study has shown that better results can be obtained by using a three-layer transformer decoder Mokytojo ir studento mokymas buvo susijęs su MSE praradimo sumažinimu ASR teksto transkripcijų įterpimo atžvilgiu. Šie įterpimai buvo gauti naudojant SONAR teksto kodavimo sistemą, kuri buvo išlaikyta pastovi. 8 2 6 16 8 54 57 8 SpeechAlign We first calculated the embeddings of all over-segmented speech segments. For the text domain, we used exactly the same texts as the NLLB project ir įterpė juos su SONAR koderiu. Išsamų porinį palyginimą galima efektyviai atlikti su FAISS įrankių rinkiniu . Similarity is measured with a margin criterium as first introduced in ref. : 6 58 52 where ir are the source and target sentences, and ( ) denotes the Artimiausi kaimynai in the other language. We set to 16. x y NNk x k x k Pavyzdžiui, tai prilygsta šimto tūkstančių kalbų valandų palyginimui su daugiau nei 20 milijonų anglų sakinių, kurie davė apie aštuonis tūkstančius valandų suderintos arabų kalbos. modeliavimas SEAMLESSM4T modeliai remiasi mūsų daugiafunkcine UNITY architektūra. , dviejų perėjimų dekodavimo sistema, kuri pirmiausia generuoja tekstą ir po to generuoja kalbą, nuspėjant diskretiškus akustinius vienetus (žr. skyrių " ’). Compared with the vanilla UNITY model , (1) the core S2TT model, initialized from scratch in UNITY, is replaced with an X2T model that supports text as input and is pretrained to jointly optimize the tasks of ASR, S2TT and T2TT (see section ‘ „), ir (2) plonasis T2U modelis (vadinamas T2U vieneto dekoderiu ir antrojo perėjimo vieneto dekoderiu ref. ) pakeičiamas gilesniu transformatoriumi pagrįstu kodavimo-dekodavimo modeliu su šešiais transformatorių sluoksniais, kurie yra iš anksto apmokyti ASR duomenimis (žr. skyrių " ’). An improved version of UNITY, dubbed UNITY2, replaces the autoregressive T2U with a new non-autoregressive (NAR) T2U decoder. This NAR T2U model delivers stronger accuracy because of its hierarchical upsampling from subwords to characters and then to units. 59 Daugiakalbiai diskretiški akustiniai vienetai 59 X2T fine-tuning 59 S2ST fine-tuning „X2T“ išankstinis mokymas suteikė stipresnį kalbos kodavimą ir aukštesnės kokybės pirmojo perėjimo teksto dekoderius, o T2U modelio skalavimas ir išankstinis mokymas leido mums geriau tvarkyti daugiakalbės vienetų gamybą be trukdžių. Daugiakalbiai diskretiški akustiniai vienetai Naujausi darbai pasiekė pažangiausius vertimo rezultatus, naudojant savarankiškai prižiūrimus diskretiškus akustinius vienetus kaip tikslus kuriant tiesioginio kalbos vertimo modelius , . This consists of decomposing the S2ST problem into a speech-to-unit translation step and a unit-to-speech conversion step. We extracted continuous speech representations using XLS-R Diskretiškų žetonų rinkinys (dar vadinamas vieneto žodynu) mokosi taikant diskretiškus žetonus. - reiškia algoritmą į daugiakalbių garso pavyzdžių rinkinį. -tai reiškia, kad centroidai panašūs į kodeką, kuris naudojamas XLS-R kalbos atstovavimų seka į centroidų indeksų ar akustinių vienetų seka. = 10,000 with features from the 35th layer of XLS-R-1B to represent the 35 supported target languages. 5 60 61 k k K Dėl vieneto į kalbą konversijos žingsnio mes sekėme ref. Šis modelis yra atsakingas už garso sintezę iš vienetų sekos, kurią prognozuos SEAMLESSM4T modeliai. 62 Unsupervised speech pretraining Savarankiškai prižiūrimas išankstinis mokymas naudojant nepažymėtus balso garso duomenis yra praktiškas metodas panaudojant nepažymėtus duomenis. Su išankstiniu mokymu mes galime įdiegti vertimo modelių kokybę ir išnaudoti mūsų prižiūrimus susietus duomenis. in combining contrastive learning with masked prediction learning. W2V-BERT 2.0 uses more codebooks and an additional masked prediction task using random projection quantizers Mūsų W2V-BERT 2.0 modelis pirmą kartą buvo apmokytas 1 mln. valandų atviro balso garso duomenų, apimančių daugiau nei 143 kalbas. , kuris turi 24 Conformer sluoksnius ir maždaug 600 milijonų modelio parametrų. „v2“ versijai mes išplėtėme neapibūdintų duomenų kiekį nuo 1 milijono iki 4,5 milijono valandų garso. Jis mokomas tik per 0,5 milijono valandų, apimantis daugiau nei 1400 kalbų. . It is a proprietary multilingual speech pretrained model with 12 million hours of data and more than 300 languages in coverage. 63 64 63 65 23 50 Teksto į tekstą vertimo modeliai The text processing components of our SEAMLESSM4T models were pretrained on the task of text-to-text translation, a much more resourced task than speech translation. Consider, for instance, the English–Italian direction, one of the highly resourced pairs in T2TT with more than 128 million parallel sentences—only 2 million pairs of English text paired with Italian audio are available for S2TT. A key step in training multilingual text-to-text translation models is learning a shared vocabulary with a text tokenizer. Following ref. , we used SentencePiece with the BPE algorithm for this purpose. The tokenizer used in NLLB-200 suffers from missing key Chinese characters because of artefacts of sampling. This sampling does not favour logo-graphic writing systems with a large number of unique symbols. To fix this issue, we forced the inclusion of these characters. Our new tokenizer improves the coverage of the MTSU top 5K Chinese characters from 54% to 84%. 6 66 67 6 Norėdami mokyti mūsų daugiakalbį tekstinį modelį, mes sekėme tuos pačius duomenų rengimo ir mokymo vamzdynus ref. Naudojant sustojimus . Having a smaller language coverage allowed us to significantly decrease the size of the model to 1.3B parameters and only use NLLB-200 training data in the 95 SEAMLESSM4T languages. 6 68 Data augmentation with pseudo-labelling Kaip ir su bet kuria sekos į seką užduotimi, kalbos vertimo efektyvumas priklauso nuo aukštos kokybės mokymo duomenų prieinamumo. tačiau, palyginti su T2TT ar ASR kolegomis, žmogaus etiketėmis pažymėtų duomenų kiekis yra menkas. , ASR duomenis naudojant daugiakalbį T2TT modelį (pvz., NLLB modelius), kad būtų sukurti pseudo-žymimi S2TT duomenys. 69 70 To augment S2ST data, it is common practice to use TTS models to convert text from speech-to-text data sets into synthetic speech , . This synthetic speech is, in turn, converted into discrete units for training. This two-step unit extraction process is a slow process and is harder to scale given the dependencies on TTS models. We circumvented the need for synthesizing speech and trained multilingual text-to-unit (T2U) models on all 36 target speech languages. These models can directly convert the text into target discrete units and can be trained on ASR data sets that are readily available. 4 5 X2T fine-tuning Pirmoji pagrindinė mūsų daugiafunkcinės UNITY sistemos dalis yra X2T modelis, kelių kodų sekos į seką modelis su konformeriu pagrįstu koderiu. už balso įvestį ir kitą transformatorių pagrįstą kodavimo for text input. Both encoders were joined with the same text decoder and fine-tuned jointly to optimize the tasks of ASR, S2TT and T2TT. 65 71 Our X2T model consists of joining the speech encoder, W2V-BERT 2.0 from M2, post-fixed with a length adapter to downsample long audio sequences, with the text encoder–decoder from M3 (Supplementary Fig. Dėl ilgio adapterio mes naudojome modifikuotą M adapterio versiją. , kuriame mes pakeitėme tris nepriklausomus Q, K ir V jungimo modulius bendro jungimo moduliu, kad pagerintume efektyvumą. 4 72 X2T was fine-tuned on S2TT data triplets with speech audio ( kalba) šaltinio kalba ⟩, paired with its transcription ( tekstas) ir tekstų vertimas ( tekstas) tiksline kalba ⟩. To enable meaning transfer across modalities, X2T model was fine-tuned to jointly optimize the following objective functions: x ls x y ℓt Mes papildomai optimizavome pagalbinę objektyvinę funkciją žetonų lygio žinių distiliavimo () forma, siekiant toliau perkelti žinias iš stipraus MT modelio į studentų kalbos vertimo užduotį (S2TT). The final loss is a weighted sum of all three losses: where , and are scalar hyper-parameters tuned on the development data. α β γ S2ST fine-tuning In the last stage of fine-tuning multitask UNITY, we initialized the model with the pretrained X2T model (see section ‘ ’) and a pretrained T2U model, similar to the one used for pseudo-labelling S2ST data in M4. The T2U model used for pseudo-labelling is referred to as the teacher T2U model with 12 transformer layers encoder–decoder. For initialization, we used a smaller student T2U model with only six layers to optimize inference and distill the labels of the stronger T2U. In the second version of SEAMLESSM4T, UNITY2 replaces the second-pass autoregressive unit decoder in UNITY with a NAR unit decoder. We adopted the decoder architecture of FastSpeech2 and extended it to discrete unit generation. UNITY2 starts with hierarchically upsampling the T2U encoder output from subword length to character length and then to unit length. The unit duration predictor, the key to the hierarchical upsampling, is supervised during training by a multilingual aligner based on RAD-TTS Architektūra išsamiai parodyta papildomos informacijos skyriuje . X2T gerai sureguliuotas 73 74 IV.8 S2ST užduotį sutvarkėme naudojant X–eng ir eng–X S2ST vertimo duomenų derinį, kurio bendras svoris siekė 121 000 val. Mes užšaldėme modelio svorius, atitinkančius X2T modelį, ir tik sutvarkėme T2U komponentą. Automatinis ir žmogiškas vertinimas BLASER 2.0 Kėdainiai 2.0 (ref. ) is the new version of BLASER , kuris veikia tiek su kalbos, tiek su teksto modalitetais, taigi yra modaliteto agnostikos. Kaip ir pirmoji versija, mūsų požiūris naudoja panašumą tarp įvesties ir išeities sakinio įterpimo. , palaiko 57 kalbas kalboje ir 202 tekste (SONAR kalbų aprėptis šio dokumento pateikimo metu) ir gali būti išplėsta į būsimus koderius naujoms kalboms ar būdams, kurie turi tas pačias įterpimo erdves. 24 75 III.3.1 More specifically, in BLASER 2.0, we take the source input, the translated output from any S2ST, S2TT or T2TT model, and the reference speech segment or text, and convert them into SONAR embedding vectors. For the supervised version of BLASER 2.0, these embeddings are combined and fed into a small, dense neural network that predicts an XSTS score for each translation output. Human evaluation Be automatinių rodiklių, tokių kaip (ASR) BLEU ir BLASER 2.0, mes naudojome žmogiškuosius rodiklius, tokius kaip XSTS , which measures semantic similarity between a source and target translation, and a standard Mean Opinion Score (as standardized in Recommendation ITU-T P.800, henceforth MOS), which measures (1) naturalness, (2) sound quality and (3) clarity of audio generations to evaluate our models. To obtain more robust language-level scores, we also incorporate a calibration set and calibration methodology, the same used to evaluate the NLLB models Be XSTS, mes taip pat gavome MOS vertinimus, kad suprastume kitus tikslinės kalbos garso kokybės aspektus. Daugiau informacijos apie žmogaus vertinimo protokolus ir analizę rasite Papildomos informacijos skyriuje . 26 6 V.1 Robustiškumas Mes sukūrėme atkuriamąjį triukšmo atsparumo vertinimo lyginamąjį indeksą, pagrįstą FLEURS (triukšmo atsparumas), kuris apima 102 kalbas, dvi kalbos užduotis (S2TT ir ASR) ir įvairius triukšmo tipus (natūralus triukšmas ir muzika). on the ‘noise’ and ‘music’ categories and mixed them with the original FLEURS speech audios under different signal-to-noise ratio (SNR): 10, 5, 0, −5, −10, −15 and −20. We compared models by BLEU-SNR curves (for S2TT) or WER-SNR curves (for ASR), which illustrate the degree of model performance degradation when the noise level of speech inputs increases (that is, when SNR decreases). For low-resource languages, the clean speech setup is already challenging, let alone a noisy one. Thus, we focused on four high-resource languages (French, Spanish, Modern Standard Arabic and Russian) belonging to three different language families for our noise-robustness analysis. 76 Vėliau sekė ref. to evaluate model robustness against speaker variations by calculating the average by-group mean score and by-group coefficient of variation using an utterance-level quality metric. Instead of using BLEU as the quality metric, we used chrF, which has better stability at the utterance level. The calculation of both robustness metrics does not require explicit speaker subgroup labels. We grouped evaluation samples and corresponding utterance-level chrF scores by content (transcript) and then calculated the average by-group mean score chrFMS and average by-group coefficient of variation CoefVarMS, defined as follows: 47 kur Du rodikliai papildo vienas kitą: chrFMS suteikia normalizuotą kokybės rodiklį, kuris, skirtingai nuo įprastų korpuso lygio rodiklių, atsižvelgia į garsiakalbių pokyčius, o CoefVarMS suteikia standartizuotą kokybės pokyčių pagal garsiakalbių pokyčius matą. G Atsakingas AI Toksikozės aptikimas Įkvėptas ASR-BLEU, šis darbas siūlo naudoti ASR-ETOX kaip naują metriką, kad būtų galima aptikti pridėtą toksiškumą kalboje ir įvertinti pridėtą toksiškumą S2ST gebėjimui SEAMLESSM4T. Iš esmės ši metrika seka kaskadinę sistemą, pirmiausia diegiant standartinį ASR modulį (t. y. tą patį, kuris naudojamas ASR-BLEU, kaip apibrėžta Papildomoje lentelėje). Toksiškumo aptikimo modulis ETOX , kuri naudoja žodžių sąrašus „Toxicity-200“ . For S2TT, the translated output can be directly evaluated with ETOX. In both cases (S2ST and S2TT), we measured added toxicity at the utterance or sentence level. We first computed toxicity detection for each input in the evaluation dataset and the corresponding output. Then, we compared them and counted a case as containing added toxicity only when the output value exceeds that of the input. Moreover, we used the recently proposed MuTox metric that can be applied to text or speech output with no need for ASR. This classifier has been trained on both speech and text toxicity labelled data for 30 languages. As MuTox relies on SONAR embeddings , MuTox the same number of languages by the zero-shot property. However, accounting for validated quality, we report MuTox only the languages that have been benchmarked Dar kartą abiem atvejais (S2ST ir S2TT) mes matavome papildomą toksiškumą išraiškos ar sakinio lygyje.Šiuo atveju sakinyje yra papildomo toksiškumo, jei MuTox balai yra > 0,9 išvesties ir < 0,5 įvesties.Mes eksperimentiniu būdu patvirtinome šias ribas kelioms kalboms su žmogaus dvikalbiais kalbėtojais kelioms kalbų poroms.S2TT atveju mes apskaičiavome MuTox transkriptuotoje kalboje ir tiksliniame tekste.S2ST atveju mes apskaičiavome MuTox šaltinio ir tikslinėje kalboje. 2 27 6 29 29 Norėdami sumažinti toksiškumą, mes įgyvendiname du metodus, skirtus sumažinti papildomą toksiškumą. Prieš mokymą mes filtruojame mokymo poras su nesubalansuotu toksiškumu.Be to, mes naudojame Mintox išvados metu. Visų pirma, pagrindinis darbo srautas generuoja vertimo hipotezę su neribota paieška. Tada toksiškumo klasifikatorius paleidžiamas pagal šią hipotezę. Jei toksiškumas nėra aptiktas, mes pateikiame vertimo hipotezę, kaip ji yra. Tačiau, jei toksiškumas aptinkamas išvestyje, mes paleidžiame klasifikatorių ant įvesties. Jei toksiškumas yra nesubalansuotas (ty įvesties metu toksiškumas nėra aptiktas), mes pakartotinai paleidžiame vertimą su švelninimu, kuris yra BEAMFILTERING žingsnis. Šis BEAMFILTERING susideda iš to, kad kaip įvesties kelių žetonų išraiškos, kurios neturėtų pasirodyti išvestyje, ir atmesti 11 Mes naudojome du duomenų rinkinius, kad išanalizuotume papildomą toksiškumą. Pirma, mes įdiegėme FLEURS, kad geriau atitiktume mūsų žmogaus vertinimo pastangas ir kitus šio darbo vertinimo komponentus. , which has been shown to trigger true added toxicity in previous studies Šiame darbe mes išplėsime HOLISTICBIAS į kalbą, taikydami numatytąjį anglų TTS modelį iš MMS . 77 27 23 Daugiakalbės holistinės kalbos pratęsimas To compare the performances across modalities (S2ST and S2TT), we extended MULTILINGUAL HOLISTICBIAS to speech ( ). We used this generated TTS data as input for S2TT and S2ST and as a reference for S2ST. We conducted the translations in two directions: eng–X and X–eng. Concretely, in X–eng, we translated both masculine and feminine versions of the speech. It is worth noting that some target languages are not available in the SEAMLESSM4T S2ST model, so we performed translations on only 17 languages for the S2ST task in the eng–X direction. For S2TT in eng–X, we have all languages included in the MULTILINGUAL HOLISTICBIAS dataset ( = 25). For reference, the complete language list used in our experiments can be found in Supplementary Table . 23 https://github.com/facebookresearch/fairseq/tree/main/examples/mms#tts-1 n 26 Kalbant apie S2TT vertinimo metriką, mes naudojome chrF. S2ST, mes naudojome ASRchrf (perrašymas atliekamas WHISPER-LARGE ir WHISPER-MEDIUM už eng–X ir X–eng, atitinkamai, ir chrF buvo apskaičiuota taip pat, kaip ir S2TT, išskyrus tai, kad S2ST, tekstas iš tiek prognozavimo ir nuoroda buvo normalizuotas) ir BLASER 2.0. Verta pažymėti, kad vertinant BLASER 2.0, mes įtraukėme tik 14 kalbų (arb, katė, deu, eng, fra, nld, por, ron, rus, spa, swe, tha, ukr ir urd) už eng–X kryptimi (susiderinant kalbas iš generuojamų TTS duomenų ir kalbų, prieinamų mūsų S2ST modelį). 20 Duomenų prieinamumas Kad mūsų darbas būtų prieinamas bendruomenei, mes teikiame atvirojo kodo šiuos duomenų rinkinius, modelius ir kodą „GitHub“ ( ): (1) SEAMLESSM4T models, including model weights for SEAMLESSM4T-LARGE (2.3B parameters) and SEAMLESSM4T-MEDIUM (1.2B parameters), as well as their inference code and fine-tuning recipes powered by our new modelling toolkit FAIRSEQ2 ( 2) įrankiai, skirti sukurti suderintus kalbos duomenis, įskaitant metaduomenis, kad būtų galima atkurti nefiltruotus 470 000 valandų SEAMLESSALIGN, STOPES pagrindu pagamintus vamzdynus ( ) sukurti panašius išlyginimus kaip SEAMLESSALIGN ir SONAR balso koderiams 37 kalbomis ir tekstų koderiams 200 kalbomis ( ) and (3) a text-free S2ST automatic evaluation model, BLASER 2.0, inclusive of model weights and inference scripts. https://github.com/facebookresearch/seamless_communication https://github.com/facebookresearch/fairseq2 https://github.com/facebookresearch/stopes https://github.com/facebookresearch/SONAR References Lavie, A. et al. Janus-III: speech-to-speech translation in multiple languages. In Vol. 1, 99–102 (IEEE, 1997). Proc. 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing Wahlster, W. (ed.) (Springer, 2000). Verbmobil: Foundations of Speech-to-Speech Translation Nakamura, S. et al. The atr multilingual speech-to-speech translation system. , 365–376 (2006). IEEE Trans. Audio Speech Lang. Process. 14 Article Google Scholar Jia, Y. et al. Direct speech-to-speech translation with a sequence-to-sequence model. In , 1123–1127 (ISCA, 2019). Proc. Interspeech 2019 Lee, A. et al. Direct speech-to-speech translation with discrete units. In (eds Muresan, S. et al.) Vol. 1, 3327–3339 (Association for Computational Linguistics, 2022). Proc. 60th Annual Meeting of the Association for Computational Linguistics NLLB Team Scaling neural machine translation to 200 languages. , 841–846 (2024). Nature 630 Article CAS Google Scholar Agarwal, M. et al. Findings of the IWSLT 2023 evaluation campaign. In (eds Salesky, E. et al.) 1–61 (Association for Computational Linguistics, 2023). Proc. 20th International Conference on Spoken Language Translation (IWSLT 2023) Duquenne, P.-A., Schwenk, H. & Sagot, B. SONAR: sentence-level multimodal and language-agnostic representations. Preprint at (2023). https://arxiv.org/abs/2308.11466 Popović, M. chrF: character n-gram F-score for automatic MT evaluation. In (eds Bojar, O. et al.) 392–395 (Association for Computational Linguistics, 2015). Proc. Tenth Workshop on Statistical Machine Translation Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (Association for Computational Linguistics, 2002). Proc. 40th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. R., Dale, D., Elbayad, M. & Yu, B. Added toxicity mitigation at inference time for multimodal and massively multilingual translation. In (eds Scarton, C. et al.) Vol. 1, 360–372 (European Association for Machine Translation, 2024). Proc. 25th Annual Conference of the European Association for Machine Translation ACTFL. World-readiness standards for learning languages. (2023). https://www.actfl.org/educator-resources/world-readiness-standards-for-learning-languages Desplanques, B., Thienpondt, J. & Demuynck, K. ECAPA-TDNN: emphasized channel attention, propagation and aggregation in TDNN based speaker verification. In (eds Meng, H. et al.) 3830–3834 (ISCA, 2020). Proc. Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event Valk, J. & Alumäe, T. VOXLINGUA107: a dataset for spoken language recognition. In 652–658 (IEEE, 2021). Proc. 2021 IEEE Spoken Language Technology Workshop, Chen, M., Heffernan, K., Çelebi, O., Mourachko, A. & Schwenk, H. xSIM++: An improved proxy to bitext mining performance for low-resource languages. In (eds Rogers, A. et al.) Vol. 2, 101–109 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. In , 2101–2112 (eds Goldberg, Y. et al.) (Association for Computational Linguistics, 2022). Findings of the Association for Computational Linguistics: EMNLP 2022 Feng, F., Yang, Y., Cer, D., Arivazhagan, N. & Wang, W. Language-agnostic BERT sentence embedding. In (eds Muresan, S. et al.) Vol. 1, 878–891 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Conneau, A. et al. FLEURS: FEW-Shot Learning Evaluation of Universal Representations of Speech. In , 798–805 (IEEE, 2023). 2022 IEEE Spoken Language Technology Workshop (SLT) Zhang, Z.-H. et al. Speak foreign languages with your own voice: cross-lingual neural codec language modeling. Preprint at (2023). https://arxiv.org/abs/2303.03926 Radford, A. et al. Robust speech recognition via large-scale weak supervision. In , article no. 1182, 28492–28518 (ACM, 2023). Proceedings of the 40th International Conference on Machine Learning Rubenstein, P. K. et al. AudioPaLM: a large language model that can speak and listen. Preprint at (2023). https://arxiv.org/abs/2306.12925 Casanova, E. et al. YourTTS: towards zero-shot multi-speaker tts and zero-shot voice conversion for everyone. In , Vol. 162, 2709–2720 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Pratap, V. et al. Scaling speech technology to 1,000+ languages. , 1–52 (2024). J. Mach. Learn. Res. 25 Dale, D. & Costa-jussà, M. R. Blaser 2.0: a metric for evaluation and quality estimation of massively multilingual speech and text translation. In (eds Al-Onaizan, Y. et al.) 16075–16085 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: EMNLP 2024 Chen, P.-J. et al. Speech-to-speech translation for a real-world unwritten language. In (eds Rogers, A. et al.) 4969–4983 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: ACL 2023 Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In (eds Duh, K. & Guzmán, F.) Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proc. 15th Biennial Conference of the Association for Machine Translation in the Americas Costa-jussà, M. et al. Toxicity in multilingual machine translation at scale. In , 9570–9586 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: EMNLP 2023 Ghosh, S., Lepcha, S., Sakshi, S., Shah, R. R. & Umesh, S. DeToxy: a large-scale multimodal dataset for toxicity classification in spoken utterances. In 2022, 5185–5189 (2022); . Proc. Interspeech https://api.semanticscholar.org/CorpusID:247940269 Costa-jussà, M. R. et al. MuTox: universal multilingual audio-based toxicity dataset and zero-shot detector. In (eds Ku, L.-W. et al.) 5725–5734 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: ACL 2024 Stanovsky, G., Smith, N. A. & Zettlemoyer, L. Evaluating gender bias in machine translation. In (eds Korhonen, A. et al.) 1679–1684 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Levy, S., Lazar, K. & Stanovsky, G. Collecting a large-scale gender bias dataset for coreference resolution and machine translation. In (eds Moens, M. F. et al.) 2470–2480 (Association for Computational Linguistics, 2021). Findings of the Association for Computational Linguistics: EMNLP 2021 Costa-jussà, M. R. et al. Interpreting gender bias in neural machine translation: Multilingual architecture matters. , 11855–11863 (2022). Proc. AAAI Conf. Artif. Intell. 36 Google Scholar Costa-jussà, M. R., Basta, C. & Gállego, G. I. Evaluating gender bias in speech translation. In (eds Calzolari, N. et al.) 2141–2147 (European Language Resources Association, 2022). Proceedings of the Thirteenth Language Resources and Evaluation Conference Bentivogli, L. et al. Gender in danger? Evaluating speech translation technology on the MuST-SHE corpus. In (eds Jurafsky, D. et al.) 6923–6933 (Association for Computational Linguistics, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. et al. Multilingual holistic bias: Extending descriptors and patterns to unveil demographic biases in languages at scale. In , 14141–14156 (Association for Computational Linguistics, 2023). Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing Zuckerman, E. The polyglot internet. (2008). https://ethanzuckerman.com/the-polyglot-internet/ Belekar, A., Sunka, S., Bhawar, N. & Bagade, S. Voice based e-mail for the visually impaired. , 8–12 (2020). Int. J. Comput. Appl. 175 Google Scholar Wang, S., Cooper, N. & Eby, M. From human-centered to social-centered artificial intelligence: Assessing ChatGPT’s impact through disruptive events. (2024). Big Data Soc. https://doi.org/10.1177/20539517241290220 Koenecke, A. et al. Racial disparities in automated speech recognition. , 7684–7689 (2020). Proc. Natl Acad. Sci. USA 117 Article ADS CAS PubMed PubMed Central Google Scholar Ngueajio, M. K. & Washington, G. Hey ASR system! Why aren’t you more inclusive? Automatic speech recognition systems’ bias and proposed bias mitigation techniques. A literature review. In (eds Chen, J. Y. C. et al.) Vol. 13518, 421–440 (Springer, 2022). Proc. International Conference on Human-Computer Interaction Elbow, P. The shifting relationships between speech and writing. , 283–303 (1985). Coll. Compos. Commun. 36 Article Google Scholar Trilla, A. & Alias, F. Sentence-based sentiment analysis for expressive text-to-speech. , 223–233 (2013). IEEE Trans. Audio Speech Lang. Process. 21 Article Google Scholar Iranzo-Sánchez, J., Civera, J. & Juan, A. From simultaneous to streaming machine translation by leveraging streaming history. In , 6972–6985 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Rybakov, O. et al. Streaming Parrotron for on-device speech-to-speech conversion. Preprint at (2022). https://arxiv.org/abs/2210.13761 Koehn, P. Europarl: A parallel corpus for statistical machine translation. In , 79–86 (2005). Proceedings of Machine Translation Summit X: Papers Ziemski, M., Junczys-Dowmunt, M. & Pouliquen, B. The United Nations Parallel Corpus v1.0. In (eds Calzolari, N. et al.) 3530–3534 (European Language Resources Association, 2016). Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16) Wang, C., Pino, J., Wu, A. & Gu, J. CoVoST: a diverse multilingual speech-to-text translation corpus. In (eds Calzolari, N. et al.) 4197–4203 (European Language Resources Association, 2020). Proceedings of the Twelfth Language Resources and Evaluation Conference Wang, C., Wu, A., Gu, J. & Pino, J. CoVoST 2 and Massively Multilingual Speech Translation. In , 2247–2251 (ISCA, 2021). Proc. Interspeech 2021 Salesky, E. et al. The multilingual TEDx corpus for speech recognition and translation. In , 3655–3659 (ISCA, 2021). Proc. Interspeech 2021 Zhang, Y. et al. Google USM: scaling automatic speech recognition beyond 100 languages. Preprint at (2023). https://arxiv.org/abs/2303.01037 Schwenk, H. Filtering and mining parallel data in a joint multilingual space. In (eds Gurevych, I. & Miyao, Y.) Vol. 2, 228–234 (Association for Computational Linguistics, 2018). Proc. 56th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In (eds Korhonen, A. et al.) 3197–3203 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Duquenne, P.-A., Gong, H. & Schwenk, H. Multimodal and multilingual embeddings for large-scale speech mining. In (eds Ranzato, M. et al.) Vol. 34, 15748–15761 (Curran Associates, 2021). Advances in Neural Information Processing Systems Duquenne, P.-A. et al. SpeechMatrix: a large-scale mined corpus of multilingual speech-to-speech translations. In (eds Rogers, A. et al.) Vol. 1, 16251–16269 (2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Silero. Silero VAD: pre-trained enterprise-grade voice activity detector (VAD), number detector and language classifier. (2021). GitHub https://github.com/snakers4/silero-vad Khurana, S., Laurent, A. & Glass, J. SAMU-XLSR: Semantically-Aligned Multimodal Utterance-Level Cross-Lingual Speech Representation. , 1493–1504 (2022). IEEE J. Sel. Top. Signal Process. 16 Douze, M. et al. The Faiss library. Preprint at (2024). https://arxiv.org/abs/2401.08281 Inaguma, H. et al. UnitY: two-pass direct speech-to-speech translation with discrete units. In (eds Rogers, A. et al.) Vol. 1, 15655–15680 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Tjandra, A., Sakti, S. & Nakamura, S. Speech-to-speech translation between untranscribed unknown languages. In , 593–600 (IEEE, 2019). 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Babu, A. et al. XLS-R: self-supervised Cross-lingual Speech Representation Learning at Scale. In , 2278–2282 (ISCA, 2022). Proc. Interspeech 2022 Gong, H. et al. Multilingual speech-to-speech translation into multiple target languages. Preprint at (2023). https://arxiv.org/abs/2307.08655 Chung, Y.-A. et al. w2v-BERT: combining contrastive learning and masked language modeling for self-supervised speech pre-training. In , 244–250 (IEEE, 2021). 2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Chiu, C.-C., Qin, J., Zhang, Y., Yu, J. & Wu, Y. Self-supervised learning with random-projection quantizer for speech recognition. In , 3915–3924 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Gulati, A. et al. Conformer: convolution-augmented transformer for speech recognition. In , 5036–5040 (ISCA, 2020). Proc. Interspeech 2020 Kudo, T. & Richardson, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In (eds Blanco, E. & Lu, W.) 66–71 (Association for Computational Linguistics, 2018). Proc. 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Sennrich, R., Haddow, B. & Birch, A. Neural machine translation of rare words with subword units. In (eds Erk, K. & Smith, N. A.) Vol. 1, 1715–1725 (Association for Computational Linguistics, 2016). Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics Andrews, P. et al. stopes - modular machine translation pipelines. In (eds Che, W. & Shutova, E.) 258–265 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Jia, Y. et al. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In , 7180–7184 (IEEE, 2019). 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) Pino, J., Xu, Q., Ma, X., Dousti, M. J. & Tang, Y. Self-training for end-to-end speech translation. In , 1476–1480 (2020). Proc. Interspeech 2020 Vaswani, A. et al. Attention is all you need. In (eds Guyon, I. et al.) Vol. 30 (Curran Associates, 2017). Advances in Neural Information Processing Systems Zhao, J., Yang, H., Haffari, G. & Shareghi, E. M-Adapter: modality adaptation for end-to-end speech-to-text translation. In , 111–115 (ISCA, 2022). Proc. Interspeech 2022 Ren, Y. et al. FastSpeech 2: fast and high-quality end-to-end text to speech. In (2021). Proc. 2021 International Conference on Learning Representations Shih, K. J. et al. RAD-TTS: parallel flow-based tts with robust alignment learning and diverse synthesis. In (2021). ICML Workshop on Invertible Neural Networks, Normalizing Flows, and Explicit Likelihood Models Chen, M. et al. BLASER: A text-free speech-to-speech translation evaluation metric. In (eds Rogers, A. et al.) Vol. 1, 9064–9079 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Snyder, D., Chen, G. & Povey, D. MUSAN: a music, speech, and noise corpus. Preprint at (2015). https://arxiv.org/abs/1510.08484 Smith, E. M., Hall, M., Kambadur, M., Presani, E. & Williams, A. “I’m sorry to hear that”: finding new biases in language models with a holistic descriptor dataset. In (eds Goldberg, Y. et al.) 9180–9211 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing Pripažinimai Mes norime padėkoti S. Edunovui ir A. Fanui už tai, kad padėjo formuoti ankstesnius projekto etapus; S. Bhosale, V. Goswami, F. Hernandez ir Y. Zhang už jų pagalbą kuriant stipresnius atsiliepimus apie projektus; M. Chen ir M. Duppenthaler už jo indėlį į BLASER 1.0 demonstravimą; K. Klyushkin už jo pagalbą kuriant geresnes patirtis; A. Moghevnikov, B. Acun-Uyan ir C.-J. Wu už jo indėlį į FAIRSEQ2 ir SONAR išvadą; A. Ni ir X. Zhangas už jų pagalbą lyginant garso denoizuojančius modelius; N. Seejoor ir M. Duppenthaler už jo indėlį Šis straipsnis yra prieinamas gamtoje pagal CC by 4.0 Deed (Attribution 4.0 International) licenciją. Šis straipsnis yra prieinamas gamtoje pagal CC by 4.0 Deed (Attribution 4.0 International) licenciją.