Šis AI var dzirdēt, tulkot un runāt atpakaļ 100 valodās

Autori : Loïc Barrault Yu-An Chung Mariano Coria Meglioli David Dale Ning Dong Paul-Ambroise Duquenne Hady Elsahar Hongyu Gong Kevins Heffernans John Hoffman Christopher Klaiber Pingvīns Li Daniels Gaismas Jean Maillard Alice Rakotoarison Kaushik Ram Sadagopan Dāvids Wenzels Ethan Ye Autori : Loīc Barrault Jūlija Čung Mariāno Korija Meglioli Dāvids Dale Nīderlande Dong Pauls Ambroiss Dūkens Alūksnes iela Honkongas kungs Kevins Heffernans Džons Hoffmans Kristofers Klaiberis Pingvīns Li Daniels Gaismas Žans Maillards Alise Rakotoarison Kašiks Ram Sadagopans Dāvids Wenzels Eņģeļi Abstraktā Lai izveidotu Babel Fish, rīku, kas palīdz cilvēkiem tulkot runu starp jebkurām divām valodām, ir nepieciešamas progresīvas tehnoloģiskās inovācijas un lingvistiskā pieredze, lai gan pastāv tradicionālās runas un runas tulkošanas sistēmas, kas sastāv no vairākām apakšsistēmām, kas veic tulkošanu kaskādes veidā. , , , skalējamas un augstas veiktspējas vienotas sistēmas , Lai novērstu šo plaisu, šeit mēs iepazīstinām ar SEAMLESSM4T – masveidā daudzvalodu un multimodālu mašīntulkošanu – vienotu modeli, kas atbalsta runas un runas tulkošanu (101 līdz 36 valodām), runas un teksta tulkošanu (no 101 līdz 96 valodām), teksta un runas tulkošanu (no 96 līdz 36 valodām), teksta un teksta tulkošanu (96 valodās) un publisko runas automātisko atpazīšanu (96 valodās). Izgatavots, izmantojot jaunu multimodālu korpusu automātiski pielāgotu runas tulkošanu un citus publiski pieejamus datus, SEAMLESSM4T ir viena no pirmajām daudzvalodu sistēmām, kas var tulkot no un uz angļu valodu gan runas, gan teksta uzdev 1 2 3 4 5 Galvenais Babeles zivis no ir izdomāts instruments, kas tulko starp divām valodām. Mūsdienu globālajā ainavā, ko raksturo arvien lielāka savstarpējā savienojamība un mobilā socialitāte, sociālais imperatīvs šo tehnoloģiju atjaunināšanai un pēc pieprasījuma runas un runas tulkošanas (S2ST) veicināšanai gan digitālajā, gan fiziskajā pasaulē nekad nav bijis lielāks.Neskatoties uz runas centralitāti ikdienas komunikācijā, mašīntulkošanas (MT) sistēmas šodien joprojām ir tekstorientētas. skatīt Papildu informācijas sadaļu lai uzzinātu vairāk par to, kāpēc runāšanai vajadzētu būt prioritātei MT. Lai gan vieni, vienmodāli modeļi, piemēram, Bez valodas paliek aiz muguras (NLLB) Vienotie S2ST modeļi ir tālu no tā, lai sasniegtu līdzīgu darbības jomu vai veiktspēju.Šo atšķirību varētu attiecināt uz daudziem cēloņiem, bet skaņas datu trūkums un modelēšanas ierobežojumi joprojām ir galvenie šķēršļi. Hitchhiker ceļvedis uz galaktiku I.1 Izstāde 6 Pastāvošajām S2ST sistēmām ir trīs galvenie trūkumi. Pirmkārt, šīm sistēmām ir tendence koncentrēties uz augstas resursu valodām, atstājot aiz muguras daudzas zemas resursu valodas. Otrkārt, šīs sistēmas galvenokārt kalpo tulkošanai no avota valodas uz angļu valodu (X-eng), nevis otrādi (eng-X). Treškārt, lielākā daļa S2ST sistēmu lielā mērā paļaujas uz vairāku apakšsistēmu kaskādi; piemēram, automātiskā runas atpazīšana (ASR) + T2TT + teksta-par-runas (TTS). Lai gan tiešās sistēmas pastāv , , , tie neatbilst to kaskadēto kolēģu sniegumam Skatīt papildinformācijas sadaļu Vairāk informācijas par pašreizējo tehnisko situāciju. 1 4 5 7 I.2 Dzīve Lai risinātu šos ierobežojumus, mēs ieviesām SEAMLESSM4T (Massively Multilingual and Multimodal Machine Translation), vienotu sistēmu, kas atbalsta ASR, T2TT, runas un teksta tulkošanu (S2TT), teksta un runas tulkošanu (T2ST) un S2ST. Pēc tam mēs apvienojām šī korpusa filtrētu apakšsistēmu ar cilvēka marķētajiem un pseido marķētajiem datiem, lai izstrādātu pirmo daudzfunkcionālo sistēmu, kas veic S2ST no vairāk nekā 100 valodām 36 valodās, S2TT un ASR 96 valodās, nulles T2ST 36 valodās, kā arī T2TT 96 valodās (skatīt tabulu). salīdzinošs pārskats par valodu segumu un papildinformācijas sadaļu Pateicoties vienotajai SEAMLESSM4T arhitektūrai (Fig. ), modelis var izpildīt T2TT, S2TT vai S2ST ne-angļu valodas virzienos (X-X) nulles šāviena veidā. tas var arī izpildīt T2ST bez skaidras apmācības šim uzdevumam. "), tā var apstrādāt izteicienus, kas sajaucas ar divām vai vairākām valodām. 8 1 II 1 Neuzraudzīta runas sagatavošana Tātad Trīs galvenie bloki UNITY2 (S2ST fine-tuning) ar tā neautoregresīvo (NAR) T2U ir parādīti augšpusē kreisajā pusē. Multitask-UNITY2 ar tā papildu teksta kodētāju ir parādīti apakšā kreisajā pusē. Lai novērtētu mūsu modeļa iznākumu kvalitāti, mēs izmantojām vairākus esošos rādītājus, kas aptver uzdevumus un modalitātes, kā arī četras galvenās novērtēšanas datu kopas. par T2TT, zilā krāsā par S2TT, ASR-BLEU par S2ST un WER par ASR. skatīt Papildu tabulu Mēs arī pārbaudījām mūsu modeļus izturībai pret fona troksni vai skaļruņa svārstībām, kā arī citām frontēm atbildīgai izvietošanai, piemēram, dzimumu aizspriedumiem, izmantojot MULTILINGUAL HOLISTICBIAS datu kopas, vai pievienoto toksicitāti, izmantojot jaunas runas balstītas metrikas (ASR-ETOX un MuTox). . 9 10 5 2 11 Papildus SEAMLESSM4T būvniecībai mēs apspriežam arī mūsu darba sociālās sekas un to, kā tas var veicināt pasaules gatavību. ilgtermiņā (skatīt sadaļu ‘ Lai veicinātu turpmākos pētījumus, mēs darām publiski pieejamus datu rīkus, kodu un divu izmēru SEAMLESSM4T modeļus nekomerciālai lietošanai. 12 Sociālā ietekme un secinājumi Turpmākajās sadaļās mēs izklāstām galvenos rezultātus, izstrādājot mūsu SEAMLESSM4T modeļus. Pirmkārt, mēs izklāstām mūsu centienus iegūt saskaņotus runas un teksta datus, sākot no runas valodas identifikācijas līdz saskaņoto runas un teksta segmentu iegūšanai, izmantojot modalitātes-agnostikas kodētājus. Tālāk mēs ziņojam par galvenajiem rezultātiem no mūsu tiešo tulkošanas sistēmām, kuras daļēji apmācītas ar iepriekš minētajiem automātiski saskaņotajiem runas datiem. Šie rezultāti izceļ SEAMLESSM4T modeļu uzdevumu daudzpusību, sasniedzot daudzvalodu jaunāko veiktspēju ASR, T2TT, S2TT un S2ST. Tad mēs atbalstām Dati Apmācības runas tulkošanas sistēmām prasa marķētus datus; tas ir, runas uz tekstu un runas uz runu saskaņotus datus. tomēr šie resursi ir ļoti ierobežoti zemas resursu valodas. un liela runas un tekstu kolekcija, kā aprakstīts , lai automātiski iegūtu saskaņotus resursus, papildinot esošos cilvēka marķētos un pseido marķētos datus. 8 Metodes Runas valodas identifikācija Raudās runas apstrāde no tīmekļa ietver izteiksmju segmentēšanu īsākos gabalos, kam seko valodas identifikācija.Būvējot atvērtā koda modeli, kas apmācīts VoxLingua107 ar ECAPA-TDNN arhitektūru , , mēs izstrādājām jaunu runas balstītu valodas identifikācijas (LID) modeli, kas aptver visas 100 valodas, kas iezīmētas šajā darbā (skatīt , “ Vairāk par detaļām » 13 14 Metodes Audio apstrāde un runas LID Lai novērtētu LID modeļu precizitāti un atsaukšanu, mēs ziņojam par F1 rezultātiem par testa datiem paplašinātā datu tabulā Rezultāti tiek sniegti par 100 datiem par SEAMLESSM4T valodām (vispārīgi) un par 79 kopīgajām valodām starp SEAMLESSM4T un VoxLingua107 (intersekcija). Ņemiet vērā, ka makro-F1 visās valodās VL107HF ir zems, jo 21 valoda nav aptverta ar šo modeli. Mēs konstatējam, ka apmācība par papildu valodām nedaudz samazina kopējo rādītāju par kopējo valodu kopumu, kas ir tieša sekas lielākam skaitam tuvu valodu. Piemēram, Zulu (zul) ļoti bieži sajauc ar Nyanja (nya), Igbo (ibo) ar Yoruba (yor), un Modern Standard Arabic (arb) ar Moroccan Arabic (arī) un Egyptian Arabic (arz modelis). Mūsu klasifikācijas preci 1 Sonar teksta ievietošanas telpa Lai iegūtu automātiski pielāgotus tulkošanas datus no valodas identificētiem segmentiem, mēs paļaujamies uz valodas un modalitātes-agnostikas kodētājiem. Pašlaik mēs nodrošinām vienu teksta kodētāju un dekoderi 200 valodām un runas koderi 37 valodām. Daudzvalodu līdzības meklējumos, xsim un xsim++ ir divas labi zināmas proxy metrikas, kas novērtē daudzvalodu ievietošanas telpas ieguves nolūkos. , SONAR ievērojami pārsniedz citas populāras pieejas, piemēram, LASER3 Vai labs ar zemāku xsim un xsim++. 8 6 15 2 16 17 Vidējā veiktspēja vairāk nekā 200 valodās ir konkurētspējīga salīdzinājumā ar vidēja izmēra NLLB blīvu modeli, neskatoties uz kodētāja-dekodētāja uzmanības aizstāšanu SONAR ar bottleneck fiksēta izmēra ievietošanu (skatīt paplašinātās datu tabulas T2TT kolonnas). Šis rezultāts pierāda, ka uzmanības pielietošana nav nepieciešama saprātīgai tulkošanas precizitātei. 2 Runas kodētāja apmācība Runas kodētāji tika apmācīti ar skolotāju-studentu pieeju tikai runas transkripcijām (skatīt , “ ’). Katra runas kodētāja iterācijas izvērtēšana end-to-end lokā, t.i., S2TT vai S2ST tulkošanas sistēmu ieguves un apmācības, būtu datortīkla intensīva. Tā vietā mēs savienojām runas kodētāju ar SONAR teksta dekoderi un izvērtējām šo nulles šāvienu S2TT sistēmu kā proxy kodētāja kvalitātei. , SONAR runas kodētāji labvēlīgi salīdzina ar tādu modeli kā WHISPER-LARGE-V2 uz FLORES un ziedi Precizitātes nepilnības var novērot dažās augstas resursu valodās, piemēram, vācu, krievu vai portugāļu valodā, bet SONAR pārspēj WHISPER-LARGE-V2 vairākās zemas resursu valodās, piemēram, Swahili vai Bengāliju (skatīt Papildu tabulu). Tātad ) Metodes Sonārijs 2 6 18 8 SEAMLESSALIGN SONAR teksta un runas kodētāji tika izmantoti, lai iegūtu trīs veidu saskaņotus datus: (1) angļu valoda uz ne-angļu tekstiem (Sen2Txx); (2) ne-angļu valoda uz angļu tekstiem (Sxx2Ten); un (3) ne-angļu valoda uz angļu valodu (Sxx2Sen). SEAMLESSALIGN nodrošina 202,796 stundas audio Sen2Txx, 239,767 stundas audio Sxx2Ten un 29,161 stundas audio Sxx2En. Šie saskaņoti dati tika iegūti no kopumā 2,5M stundas neapstrādātu audio (no kuriem angļu valoda ir gandrīz 40%). SONAR runas kodētāji tika apmācīti 43,772 stundas uzraudzītu ASR datu. . 8 Teksta domēna gadījumā mēs izmantojam tos pašus datus, kurus konsolidējis NLLB projekts Summa svārstās no 33 miljoniem vai 55 miljoniem teikumu zemas resursu valodās, piemēram, maltiešu vai svahili, attiecīgi, līdz 22 000 miljoniem angļu teikumu. 6 Izņemot maltiešu valodu, kurai mums bija pieejams tikai neliels izejvielu skaņas daudzums, mēs varējām iegūt vairāk nekā 100 stundu runas pielāgojumus ar angļu valodas runāšanu visās valodās. Šādu lielu datu apjomu pievienošana, lai apmācītu daudzvalodu tulkošanas sistēmu, ir ievērojama skaitļošanas problēma. , “ Tā kā mūsu iegūtie dati var palīdzēt atbalstīt daudzus dažādus lietošanas gadījumus, mēs atvērtu avota metadatus, kas nepieciešami, lai vadītu tās atskaņošanu (līdz SONAR slieksnim 1,15; skatīt , “ ’) lai ļautu kopienai pārbūvēt SEAMLESSALIGN un izmantot to saviem mērķiem. optimālo slieksni var tādējādi pielāgot, pamatojoties uz uzdevumu, līdzsvarojot datu kopu lielumu un izlīdzināšanas kvalitāti. Metodes modelēšana Metodes Runāšana Daudzfunkcionālas tulkošanas sistēmas Apvienojot modelēšanas metodes, kas aprakstītas , “ ar papildu datiem no SEAMLESSALIGN (skatīt , “ ’), mēs apmācījāmies SEAMLESSM4T modeļus divos izmēros: liels ar 2.3B parametriem un vidējs ar 1.2B parametriem. SEAMLESSM4T-MEDIUM ir paredzēts kā pieejams testa galds, lai vai nu uzlabotu, uzlabotu vai iesaistītos analīzē. , “ ’) un jaudīgāks vienības dekoders (skatīt sadaļu ‘ Visi SEAMLESSM4T modeļi atbalsta 96 avota valodas teksta modalitātē un vairāk nekā 100 avota valodas runas modalitātē. un Tas parāda, ka dažos tulkošanas virzienos un ņemot vērā uzraudzīto datu trūkumu, mūsu modeļi tiks novērtēti ar nulles šāvienu. Metodes modelēšana Metodes Dati Metodes Neuzraudzīta runas sagatavošana S2ST Fine-tuning 12 13 Mēs novērtējām mūsu modeļus attiecībā uz visiem četriem uzraudzītajiem uzdevumiem (T2TT, ASR, S2TT un S2ST), kā arī nulles šāviena uzdevumu teksta un runas tulkošanai (T2ST, kas pazīstams arī kā starpvalodu teksta un runas sintēze). ). To generate text hypotheses, we decoded with beam-search. We scored with chrF2++ for T2TT and BLEU for S2TT. We measure BLEU scores with SacreBLEU and provide the signatures in Supplementary Table Attiecībā uz ASR mēs ieguvām rezultātus ar WER (vārdu kļūdu līmenis) par normalizētiem transkriptiem un atsaucēm pēc ref. . 19 2 20 S2ST un T2ST secinājuma laikā mēs veicām divpusējo starplikas meklēšanas dekodēšanu; labākā hipotēze no pirmā starplika dekodēšanas ir iebūvēta ar teksta dekoderi un tiek nosūtīta uz teksta uz vienību moduli (T2U; sk. sadaļu “Dekodēšana”). ’) lai meklētu labāko vienības sekvences hipotēzi. Mēs abiem meklējumiem izmantojām 5 staru platumu. Mēs novērtējām S2ST un T2ST precizitāti ar ASR-BLEU, izmantojot WHISPER modeļus. Mēs iestatījām WHISPER dekodēšanas temperatūru nullei un izmantojām alkatīgu dekodēšanu, lai nodrošinātu ASR modeļa deterministisku uzvedību. Pārrakstītās hipotēzes, kā arī atsauces, tiek normalizētas pēc ref. Pirms izrakstīt zilās krāsas. S2ST Fine-tuning 20 Salīdzinājums ar kaskādes pieeju runas tulkošanai Par valodu kopumu, ko atbalsta gan SEAMLESSM4T, gan WHISPER, mēs salīdzinām tabulā (S2TT kolonnas) mūsu tiešā S2TT modeļa veiktspēju uz kaskādes modeļu veiktspēju, proti, WHISPER ASR modeļu un NLLB T2TT modeļu kombinācijas. SEAMLESSM4T-V2 pārspēj kaskādes modeļus ar mazāk nekā 3B parametriem X-eng virzienos par 4,6 BLEU punktiem (no 22.0 līdz 26.6) un Eng-X virzienos par 1 BLEU punktu (no 21.1 līdz 22.2). Šie modeļi pārsniedz 4B parametrus un lielā mērā tiek pārspēti ar SEAMLESSM4T-V2 X-eng (+3.9); tie tikai nedaudz pārsniedz SEAMLESSM4T-V2 eng-X virzienos par 0,2 BLEU punktiem. 3 3 Salīdzinot ar iepriekšējiem tiešajiem S2TT SOTA modeļiem, kas atpalika no kaskādes sistēmām (piemēram, AUDIOPALM-2-8B-AST. ref. ), SEAMLESSM4T-V2 uzlabo FLEURS X–eng S2TT BLEU rezultātu par 6,9 punktiem (no 19,7 līdz 26,6; tas ir, uzlabojums par 35%). 21 Galdiņš (S2ST kolonnas) arī salīdzina S2ST starp SEAMLESSM4T modeļiem un kaskādes modeļiem. par S2ST mēs izpētām divas kaskādes iespējas: (1) trīs posmu ar ASR, T2TT un TTS un (2) divu posmu ar S2TT un TTS. Abas kaskādes sistēmas paļaujas uz TTS modeli, lai sintezētu tulkotās runas, un šim nolūkam mēs izmantojam YOURTTS Angļu valodas un MMS sintēze kad sistēma sintēzē runu 26 ne-angļu valodās salīdzinājumā (pārklāšanās starp atbalstu SEAMLESSM4T un atbalstu TTS sistēmām MMS). mūsu SEAMLESSM4T-LARGE pārspēj divu posmu kaskādes modeļus FLEURS X–eng virzienos par 8 ASR-BLEU punktiem (17.8–25.8). Tā arī pārspēj spēcīgāku trīs posmu kaskādes modeļu atbalstu (WHISPER-LARGE-V2 + NLLB-3.3B + YOURTTS) par 2.1 ASR-BLEU punktiem (23.7–25.8). Uzlabotais SEAMLESSM4T-V2 uzlabo šo vadību S2 FSTLE Xeng – ar papildu +3.9 ASR-BLEU punktiem (25.8–2 3 22 23 Mēs dalāmies papildu informācijas sadaļā izvērtēšanas rezultāti S2TT un S2ST uzdevumiem ar papildu rādītājiem, tostarp mūsu modalitātes-agnostikas BLASER 2.0. IV.1 Dzīve Multitasking rezultāti Mēs ziņojam uz galda rezultāti par FLEURS kritēriju ASR un nulles šāviena T2ST uzdevumiem (X–eng un eng–X) un saistīto FLORES kritēriju T2TT (X–eng un eng–X). ASR, SEAMLESSM4T-LARGE pārsniedz WHISPER-LARGE-V2 par 77 atbalstītajām valodām ar 46% WER samazinājumu (no 41,7 līdz 22,6), savukārt SEAMLESSM4T-V2 uzlabojas salīdzinājumā ar WHISPER-LARGE-V2 par 56% (no 41,7 līdz 18,5). pret MMS SEAMLESSM4T-V2 pārspēj ar CTC novērtētos MMS variantus par vairāk nekā 38% WER (no 31.0 līdz 19.1), bet to pārspēj varianti, kas izmanto monolingvālos n-gram valodas modeļus (5% labāk WER ar 18.6). 4 20 9 23 T2TT atbalsta uzdevumā rezultāti tabulā parādīt, ka mūsu SEAMLESSM4T modeļi ir līdzīgi NLLB-3.3B (ref. 2) gan X-eng, gan eng-X virzienos. 4 6 Tālāk mēs novērtējām SEAMLESSM4T modeļus par T2ST uzdevumu nulles šāviena veidā. Ņemot vērā, ka FLEURS savāca trīs ierakstus no trim dažādiem native speakers katram paraugam, mēs nejauši izvēlējāmies vienu T2ST uzdevumam (ieeja ir teksts). (T2ST kolonnas) salīdzinājums starp SEAMLESSM4T modeļiem un kaskādes modeļiem ar NLLB un YOURTTS (angļu valodā TTS) vai MMS (neangļu valodā TTS) tulkotā teksta sintēzei. Mēs vidēji novērtējām ASR-BLEU rezultātus 88 X-eng virzienos (pārklāšanās starp FLEURS un valodām, ko atbalsta SEAMLESSM4T). Mēs arī vidēji novērtējām ASR-BLEU 26 eng-X virzienos (pārklāšanās no SEAMLESSM4T ar TTS modeļiem no MMS). Salīdzinot ar kaskādes modeļiem, SEAMLESSM4T-LARGE V2 nulles šāviena spēja spēja ir vienāda ar NLLB-3.3B + YOURTTS X- 4 Lai vēl vairāk saprastu, no kurienes nāk uzlabojumi FLEURS S2TT X-eng virzienos, mēs bucketed valodas pēc resursu līmeņa (skatīt precīzu valodu sarakstu Papildu tabulā ) un ziņot par vidējiem BLEU rādītājiem pēc resursu līmeņa tabulā Rezultāti liecina, ka SEAMLESSM4T ievērojami uzlabo tulkošanas kvalitāti no zemas resursu valodas ar +10,2 BLEU uzlabošanos (no 18.0 līdz 28,2, t.i., 57% uzlabošanos salīdzinājumā ar AUDIOPALM-2-8B-AST). mēs arī vidēji kolonnā Low* salīdzinājumā ar zemas resursu virzieniem, kas tiek uzraudzīti AUDIOPALM-2-8B-AST. 12 5 Automātiskā un cilvēka novērtēšana Semantiskā precizitāte runas tulkošanā parasti tiek novērtēta ar automātisko metriku BLEU par S2TT vai tā paplašinājumu ASR-BLEU par S2ST. Turklāt mēs izmantojam BLASER 2.0 (ref. Plašāka informācija par BLASER , kas tagad ļauj modalitātes-agnostikas novērtējumu un kvalitātes novērtējumu gan runu, gan tekstu. 10 24 25 Lai papildinātu automātiskās metrikas lietderību, mēs arī paļāvāmies uz mūsu modeļu plašu cilvēka novērtējumu. un MOS (vidējais viedokļu rezultāts) protokols runas iznākumam (skatīt , ‘ Tomēr mēs aptveram ierobežotu skaitu modeļu (SEAMLESSM4T-LARGE, SEAMLESSM4T-LARGE V2 un kaskādes bāzes līniju, kas sastāv no WHISPER-LARGE-V2 ASR, NLLB 3.3B tulkošanai un YOURTTS vai MMS TTS S2ST uzdevumam) un tulkošanas norādījumiem (23 valodas no un uz angļu valodu, 10 valodas X-eng MOS) resursu ierobežojumu dēļ. 26 Metodes Cilvēka novērtējums XSTS rādītāji liecina, ka SEAMLESSM4T-LARGE V2 pārspēj gan kaskādes bāzes līnijas sistēmas, gan SEAMLESSM4T-LARGE gan vidējā valodas līmeņa XSTS rādītāja, gan uzvaras rādītāja ziņā (izvērtēto valodu īpatsvars, kurām XSTS veiktspēja ir lielāka), par visiem uzdevumiem un valodas virzieniem ar augstu uzticamību. S2ST uzdevumā, kur SEAMLESSM4T-V2 relatīvais sniegums bija spēcīgākais, SEAMLESSM4T-V2 pieeju uzvaras rādītājs ir 100% salīdzinājumā ar gan kaskādes bāzes līniju, gan SEAMLESSM4T-LARGE gan X-eng, gan eng-X virzienos, ar valodas un attiecīgi pilna valodas līmeņa un kopsavilkuma XSTS rezultātiem. 22 24 Mēs arī mēra runas izejas kvalitāti S2ST, izmantojot vidējo viedokļu rezultātu protokolu, kas novērtē (1) skaņas kvalitāti, (2) runas skaidrību un (3) dabiskumu. Mēs konstatējam, ka kopumā visos MOS aspektos SEAMLESSM4T-LARGE V2 mēdz būt labāks par SEAMLESSM4T-LARGE, kas mēdz būt labāks par kaskādes modeļa bāzes līnijām, izņemot X-eng, kuram SEAMLESSM4T-LARGE paaudzes ir ļoti labvēlīgas (+1 punkta vidējā atšķirība starp SEAMLESSM4T-LARGE un SEAMLESSM4T-LARGE V2 paaudzēm), negaidīts rezultāts, kas var būt rezultāts atšķirībām modeļa arhitektūrās, kas citādi ir uzlabojusi paaudzes kvalitāti un attiecīgi par pilnu valodas līmeni un apkopotiem MOS rezultātiem. 23 24 Izmantojot S2ST uzdevuma XSTS novērtējumus, BLASER 2.0 (vidēji par visiem novērtējuma elementiem noteiktā valodas virzienā) sasniedz augstākas Spearman korelācijas ar kalibrētiem valodas līmeņa XSTS rezultātiem gan X-eng virzienā (0,845 BLASER 2.0 salīdzinājumā ar 0,74 ASR-BLEU) un jo īpaši eng-X virzienā (0,81 BLASER 2.0 salīdzinājumā ar 0,246 ASR-BLEU). Lai iegūtu pilnīgu rezultātu). 21 Visbeidzot, mēs pārbaudījām mūsu modeļus attiecībā uz izturību attiecībā uz trokšņa un skaļruņa svārstībām, izveidojot atvērtus izturības kritērijus, pamatojoties uz FLEURS (skatīt , “ Šim nolūkam mēs konstatējam, ka SEAMLESSM4T-V2 vidēji ir aptuveni 42% un 66% izturīgāks pret fona troksni un skaļruņa svārstībām, attiecīgi, salīdzinot ar WHISPER-LARGE-V2 (skatīt pilnus rezultātus sadaļā Papildu informācija). Tātad ) Metodes Robustība V.2 izstāde Atbildīgais AI Toksicitāte Toksicitāti var definēt kā neticības vai valodas gadījumus, kas var izraisīt naidu, vardarbību vai ļaunprātīgu izmantošanu pret indivīdu vai grupu (piemēram, reliģiju, rasu vai dzimumu). . In the context of speech translation, we were primarily worried about added toxicity—the introduction in translations of toxic elements not present in source utterances. Speech toxicity has been evaluated for English in ref. un, nesen, desmitiem valodu ar MuTox . 27 28 29 Tāpēc runas un teksta daudzvalodu toksicitātes noteikšanai mēs izmantojām ETOX (vai ASR-ETOX S2ST) un MuTox (gan runas, gan teksta) kā rādītājus, lai noteiktu un novērtētu pievienoto toksicitāti. Toksicitātes mazināšanai mēs īstenojām divas metodes, lai risinātu pievienoto toksicitāti. Pirms apmācības mēs filtrējām apmācības pāri ar nelīdzsvarotu toksicitāti. Turklāt mēs izmantojām Mintox Atkarībā no laika (skatīt , “ « ) 11 Metodes Toksicitātes noteikšana Mēs aprēķinājām pievienoto toksicitāti divos datu kopos (FLEURS un HOLISTICBIAS) ) 24 tulkošanas virzienos ar angļu valodu (arb, ben, cat, ces, dan, deu, est, fin, fra, hin, ind, ita, nld, pes, pol, por, rus, slk, spa, swh, tgl, tur, urd, vie), izmantojot valodas sistēmu un MuTox pārklājuma krustojumā, kas ir salīdzināmi (piezīmējiet, ka MuTox ir plašāks valodu pārklājums, līdzīgs SONAR, bet tas ir salīdzināms tikai 30 valodās Skatīt rezultātus ar vairākām tulkošanas virzieniem, kas novērtēti ar ETOX sadaļā Papildu informācija Galdiņš rāda, ka, lai gan pievienotās toksicitātes līmenis un veidi ievērojami atšķiras valodas un datu kopuma dēļ, mūsu sistēmās pievienotās toksicitātes izplatība ir salīdzinoši zema, kas ir konsekventa visās mūsu divās toksicitātes noteikšanas metrikās (<0,4%). Viszemākā toksicitāte visām metodēm, virzieniem un datu kopām tiek konsekventi iegūta ar SEAMLESSM4T-V2 + MinTox, sasniedzot toksicitātes samazinājumus līdz 5 % MuTox (un līdz 80 % ETOX) ziņā, salīdzinot ar to pašu modeli, neizmantojot MinTox, un līdz 20 % MuTox (līdz 90 % ETOX ziņā) ziņā, salīdzinot ar pamatlīniju (skatīt pilnus rezultātus sadaļā Papildu informācija). Tātad ) 27 29 VI.1 6 6 VI.1 Gender bias Gender bias in the context of MT can be defined as errors in grammatical gender determination. This bias may manifest explicitly as an overgeneralization to one gender when translating non-gendered to gendered forms (for example, outputs favouring masculine representations) or as a lack of robustness when varying the quality of the translation for sentences that differ only in gender inflection. Previous work on this matter is mostly in the text modality , , and tends to be English-centric, with few demographic axes and multilingual references. Similar efforts for the speech modality remain sparse , . 30 31 32 33 34 Mēs izmantojam daudzvalodu hologrāfijas un tā runas paplašinājums, lai salīdzinātu S2TT un S2ST veiktspēju. Eng–X virziens ļauj salīdzināt veiktspēju vīriešu vai sieviešu atsauksmju klātbūtnē, un X–eng virziens ļauj salīdzināt izturību tulkojumos, kad mainās dzimumu pārveidošana. Angļu un spāņu valodas pāra tipisks piemērs būtu “es esmu mājsaimnieks” un atbilstošie tulkojumi “Soy amo de casa” un “Soy ama de casa” spāņu valodā. Tulkojot no angļu valodas uz spāņu valodu, mēs varam izmērīt, vai sistēma pārāk vispārina uz vienu dzimumu, bet otrā virzienā mēs varam novērtēt tulkojuma izturību dzimumu pārveidošanai (skat. , “ ’). 35 Methods Speech extension of MULTILINGUAL HOLISTICBIAS We conducted a set of comprehensive evaluations on translation biases for S2TT and S2ST (see Extended Data Table par vidējiem rezultātiem un papildu informācijas sadaļu lai iegūtu detalizētus rezultātus). SEAMLESSM4T-V2 konsekventi uzlabo dzimumu atšķirību stabilitāti starp rādītājiem un uzdevumiem. Salīdzinājumā ar iepriekšējo modeli SEAMLESSM4T-V2 uzlabo SEAMLESSM4T-LARGE par 0,4% S2TT un par 0,1% BLASER 2.0 S2ST, un tas pārspēj WHISPER-LARGE-V2 (+YOURTTS) ārējo bāzes sistēmu par 0,1% S2TT un par 0,9% BLASER 2.0 S2ST. Tomēr SEAMLESSM4T-V2 nespēj konsekventi uzlabot dzimumu pārgeneralizāciju salīdzinājumā ar iepriekšējo modeli. SEAMLESSM4T-V2 ir salīdzināms ar BLASER 2.0 SEAMLESSM4T-LARGE, bet tas atpaliek no AS 3 VI.2 Social impact and conclusion The world we live in has never been more interconnected—the global proliferation of the internet, mobile devices, communicative platforms and social media exposes individuals to more multilingual content than ever before . The current social order places a demand on the world-readiness of a person , a measure of how competent a person is to take on the polyglot world. Initially developed in the context of language learning, world-readiness underscores the importance of being able to communicate in languages beyond our mother tongue for both instrumental (that is, employment or schooling) and cultural reasons (that is, to become a global citizen). That said, although we believe that language acquisition should remain a key mechanism for boosting our world-readiness, we acknowledge that doing so requires resources many people may not possess. 36 12 The downstream applications that SEAMLESSM4T supports could allow on-demand access to world-readiness by streamlining multilingual exchange across various contexts. SEAMLESSM4T-supported applications could act as a co-piloting mechanism that supports users in multilingual conversations and boosts their confidence in speech-heavy interactions. As speech-based interfaces (for example, audio assistants, voice memos and live transcriptions) and auditory content (for example, podcasts, audiobooks and short-form videos) become ever more present, SEAMLESSM4T-enabled downstream applications could unlock a greater variety of multilingual experiences. No iekļaušanas viedokļa SEAMLESSM4T koncentrēšanās uz multimodalitāti varētu būt nozīmīga atšķirība, palielinot pasaules gatavību tiem, kuriem ir pieejamības vajadzības, un tiem, kuru valodas var transkribēt ar vairākām rakstīšanas sistēmām.Daudziem cilvēkiem, kuriem trūkst lasīšanas vai rakstīšanas prasmju vai kuri nevar paļauties uz redzi (t.i., cilvēkiem, kuri ir akli vai ar redzes traucējumiem), balss palīdzības tehnoloģijas ir būtiskas, lai viņi sazinātos un paliktu savienoti . The ability to translate speech gives these groups more comprehensive access to information not only beyond their native languages but also in a manner that is better suited for their communicative needs. 37 As with most technologies, the distribution of benefits varies based on user demographics and social situation . Although we make the case that SEAMLESSM4T could augment world-readiness by lowering the barriers in cross-lingual communication, some users may experience more difficulties using our work than others. For instance, similar to many other speech technologies, the ASR performance of SEAMLESSM4T may vary based on gender, race, accent or language , . Moreover, the performance of our system in translating slang or proper nouns may also be inconsistent across high and low-resource languages. 38 39 40 Citiem vārdiem sakot, runātāji ir ierobežoti savā spējā noteikt izejas kvalitāti vai veikt rediģējumus tiešraides sarunā. Bez spējas plānot un pārskatīt ar atpakaļtulkošanas vai dzimtās valodas palīdzību, S2ST var radīt augstāku mijiedarbības riska pakāpi, kad runa ir par nepareizu tulkošanu vai toksicitāti. Mēs mudinām pētniekus un izstrādātājus, kuri izmanto SEAMLESSM4T, lai pārdomātu kritiski par dizaina funkcijām, kas varētu palīdzēt lietotājiem apiet šos potenciālos šķēršļus. Svarīgi ir tas, ka SEAMLESSM4T izmantotajām lietojumprogrammām vislabāk būtu jāuzskata kā palielināšanas ierīce, kas palīdz tulkošanā, nevis kā rīks, Finally, speech is not spoken text—it encompasses a suite of prosodic (for example, rhythm, stress, intonation or tone) and emotional components that deserve further research Lai izveidotu S2ST sistēmas, kas jūtas organiski un dabiski, vairāk pētījumu vajadzētu vērst uz izejas ģenerāciju, kas saglabā izteiksmīgumu Turklāt Babel Fish realizācija prasa dziļākus ieguldījumus pētījumos par runas tulkošanu ar zemu aizkavēšanās ātrumu.Izstrādājot sistēmas, kas ļauj straumēt (tas ir, pakāpeniski tulkojot ievades teikumu, kad tas tiek prezentēts) var palielināt šo sistēmu pieņemšanu visās institucionālajās kontekstos. , Mēs ceram, ka SEAMLESSM4T atver jaunas iespējas abās šajās pētniecības jomās. 41 42 43 44 Metodes Data Efektīvas daudzvalodu un multimodālas tulkošanas sistēmas, piemēram, SEAMLESSM4T, izstrāde prasa ievērojamus resursus dažādās valodās un veidos.Daži cilvēka marķēti tulkošanas resursi ir brīvi pieejami, bet bieži vien ierobežoti ar nelielu valodu kopumu vai ļoti konkrētām domēnām. Apvienoto Nāciju Organizācijas Corpus Dažas cilvēka radītas kolekcijas ietver arī runas modalitāti, piemēram, CoVoST , un mTEDx . Yet no open dataset currently matches the size of those used in initiatives such as WHISPER vai USM , kas izrādījās, lai atbloķētu nepieredzētu sniegumu. 45 46 47 48 49 20 50 Paralēlā datu iegūšana rodas kā alternatīva slēgto datu izmantošanai gan valodas pārklājuma, gan korpusa izmēra ziņā.Mūsdienās dominējošā pieeja ir kodēt dažādu valodu un modalitāšu teikumus kopējā fiksētā izmēra ievietošanas telpā un atrast paralēlus gadījumus, pamatojoties uz līdzības metriku. , . This approach was first introduced using the multilingual LASER space . Teacher–student training was then used to scale this approach to 200 languages , and, subsequently, the speech modality , . 51 52 53 6 16 54 55 Audio processing and speech LID We started with 4 million hours of raw audio originating from a publicly available repository of crawled web data on which we applied several cleaning and filtering operations. To maximize the recall of mining, it is important that all segments have a similar granularity. For the text domain, a sentence is generally well-defined. This is less obvious for raw speech because pauses are not necessarily used at sentence boundaries. First, we used an open Voice Activity Detection model lai sadalītu audio failus īsākos segmentos.Otrkārt, katram segmentam tika piemērots jaunizveidots runas LID modelis.Mūsu modelis seko ECAPA-TDNN arhitektūrai and extends the open-source model trained on VoxLingua107 Visbeidzot, mēs piemērojām pārsegmentācijas pieeju, kas vienlaikus ierosināja vairākas, potenciāli pārklājošas runas segmentācijas. shows this pipeline. 56 13 14 1 SONAR SONAR teksta un runas kodētāji tika izstrādāti ref. using a two-step approach (Supplementary Fig. Pirmkārt, masveidā daudzvalodu pārstāvība tika iemācīta tikai teksta modalitātei. Tad skolotāja-studenta apmācība tika izmantota, lai paplašinātu iebūves telpu runas modalitātei. Teksta iebūves telpa tika apmācīta, izmantojot kodētāju-dekodētāju pieeju, izmantojot vairāku mērķu kombināciju: tulkošanu, autokodēšanu un vidējo kvadrātveida kļūdu (MSE) zaudējumu mērķi teikuma iebūves telpā. Apmācības dati bija identiski tiem, kas izmantoti, lai apmācītu NLLB modeli. , that is, parallel data to translation from 200 to 200 languages. Speech encoders were trained only on ASR data and by grouping languages into linguistic genealogical groups following ref. , for example, Italic, Common Turkic or Indo-Iranian languages. To obtain optimal performance, we determined the optimal convergence separately for each language (that is, when to stop training). This yielded a separate speech encoder for each language. The amount of available ASR data for each language is provided in Supplementary Table . The speech encoders were initialized with w3v-best 2.0 speech front end. Preceding work performed max pooling or mean pooling of the output states of the speech front end to obtain a fixed-size embedding of the speech signal , Ablācijas pētījums ir parādījis, ka labākus rezultātus var iegūt, izmantojot trīsslāņu transformatora dekoderi. . Teacher–student training consisted of minimizing the MSE loss with respect to the embedding of the ASR text transcriptions. These embeddings were obtained by the SONAR text encoder, which was kept constant. No translations (into English) were used. 8 2 6 16 8 54 57 8 Runāšana Vispirms mēs aprēķinājām visu pārsegmentēto runas segmentu iebūvējumus. teksta domēnam mēs izmantojām tieši tādus pašus tekstus kā NLLB projektā and embedded them with the SONAR encoder. Exhaustive pairwise comparison can be efficiently performed with the FAISS toolkit . Similarity is measured with a margin criterium as first introduced in ref. : 6 58 52 Kur and are the source and target sentences, and ( ) norāda uz nearest neighbours of in the other language. We set to 16. x y NNK x k x k Piemēram, tas ir līdzvērtīgs simts tūkstošu stundu runas salīdzinājumam ar vairāk nekā 20 miljoniem angļu frāžu, kas radīja aptuveni astoņus tūkstošus stundu saskaņotas arābu runas. modelēšana SEAMLESSM4T modeļi balstās uz mūsu multitask UNITY arhitektūru. , divpakāpju dekodēšanas sistēma, kas vispirms ģenerē tekstu un pēc tam ģenerē runu, paredzot diskrētas akustiskās vienības (skatīt sadaļu ‘ ’). Compared with the vanilla UNITY model , (1) kodols S2TT modelis, inicializēts no nulles UNITY, tiek aizstāts ar X2T modeli, kas atbalsta tekstu kā ievadi un ir iepriekš apmācīts, lai kopīgi optimizētu ASR, S2TT un T2TT uzdevumus (skatīt sadaļu ‘ ”), un (2) plakanā T2U modeļa (atsaucoties uz T2U vienības kodētāju un otrā šķērsgriezuma vienības dekoderi ref. ) tiek aizstāts ar dziļāku transformatoru balstītu encoder-decoder modeli ar sešiem transformatoru slāņiem, kas ir iepriekš apmācīti uz ASR datiem (skatīt sadaļu " Uzlabotā UNITY versija, ko dēvē par UNITY2, aizstāj autoregresīvo T2U ar jaunu neautoregresīvo (NAR) T2U dekoderi. 59 Daudzvalodu diskrētas akustiskās vienības 59 X2T fine-tuning 59 S2ST Fine-tuning The pretraining of X2T yielded a stronger speech encoder and a higher quality first-pass text decoder, whereas the scaling and pretraining of the T2U model allowed us to better handle multilingual unit generation without interference. Furthermore, the switch to non-autoregressive T2U decoding improved S2ST inference speed by three times. Daudzvalodu diskrētas akustiskās vienības Recent works have achieved state-of-the-art translation performance by using self-supervised discrete acoustic units as targets for building direct speech translation models , . This consists of decomposing the S2ST problem into a speech-to-unit translation step and a unit-to-speech conversion step. We extracted continuous speech representations using XLS-R Diskrētu žetonu kopums (ko sauc arī par vienību vārdnīcu) tiek iemācīts, piemērojot - nozīmē algoritmu vairāku valodu audio paraugu kopai. -means centroids resemble a codebook that is used to map a sequence of XLS-R speech representations into a sequence of centroid indices or acoustic units. We used a unit vocabulary size = 10,000 with features from the 35th layer of XLS-R-1B to represent the 35 supported target languages. 5 60 61 k k K For the unit-to-speech conversion step, we followed ref. Šis modelis ir atbildīgs par audio sintēzi no vienību secības, ko prognozēs SEAMLESSM4T modeļi. 62 Unsupervised speech pretraining Pašuzraudzīta priekšapmācība ar neuzrādītiem runas audio datiem ir praktiska pieeja, lai izmantotu neuzrādītos datus. ar priekšapmācību mēs varam bootstrap kvalitāti tulkošanas modeļiem un iegūt vislabāko no mūsu uzraudzītajiem apvienotajiem datiem. in combining contrastive learning with masked prediction learning. W2V-BERT 2.0 uses more codebooks and an additional masked prediction task using random projection quantizers Mūsu W2V-BERT 2.0 modelis pirmo reizi tiek apmācīts, izmantojot 1 miljonu stundu atvērtus runas audio datus, kas aptver vairāk nekā 143 valodas. , kuram ir 24 Conformer slāņi and approximately 600 million model parameters. For the v2 version, we scaled up the amount of unlabelled data from 1 million to 4.5 million hours of audio. The most recent and publicly available multilingual speech pretrained model is MMS . It is trained on only 0.5 million hours, spanning over 1,400 languages. The largest model in scale is USM Tas ir patentēts daudzvalodu runas iepriekš apmācīts modelis ar 12 miljoniem stundu datu un vairāk nekā 300 valodām. 63 64 63 65 23 50 Teksta tulkošanas modeļi The text processing components of our SEAMLESSM4T models were pretrained on the task of text-to-text translation, a much more resourced task than speech translation. Consider, for instance, the English–Italian direction, one of the highly resourced pairs in T2TT with more than 128 million parallel sentences—only 2 million pairs of English text paired with Italian audio are available for S2TT. A key step in training multilingual text-to-text translation models is learning a shared vocabulary with a text tokenizer. Following ref. Mēs izmantojam SentencePiece Ar BPE algoritmu Šim nolūkam. tokenizētājs, ko izmanto NLLB-200 cieš no trūkstošo ķīniešu galveno rakstzīmes sakarā ar paraugu ņemšanas artefaktiem. Šis paraugu ņemšana nav labvēlīga logotipu grafisko rakstīšanas sistēmām ar lielu skaitu unikālo simbolu. Lai novērstu šo problēmu, mēs piespiedu iekļaušanu šos rakstzīmes. Mūsu jaunais tokenizer uzlabo segumu MTSU top 5K ķīniešu rakstzīmes no 54% līdz 84%. 6 66 67 6 To train our multilingual text-to-text model, we followed the same data preparation and training pipelines in ref. Izmantojiet stops Mazāka valodas pārklājuma dēļ mēs varējām ievērojami samazināt modeļa izmēru līdz 1,3B parametriem un izmantot tikai NLLB-200 apmācības datus 95 SEAMLESSM4T valodās. 6 68 Datu palielināšana ar pseido-marķēšanu As with any sequence-to-sequence task, speech translation performance is dependent on the availability of high-quality training data. However, the amount of human-labelled data is scarce compared with its T2TT or ASR counterparts. To address this shortage of labelled data, we resort to pseudo-labelling , the ASR data with a multilingual T2TT model (for example, NLLB models) to generate pseudo-labelled S2TT data. 69 70 Lai palielinātu S2ST datus, ir izplatīta prakse izmantot TTS modeļus, lai pārvērstu tekstu no runas uz teksta datu kopām sintētiskā runas , . This synthetic speech is, in turn, converted into discrete units for training. This two-step unit extraction process is a slow process and is harder to scale given the dependencies on TTS models. We circumvented the need for synthesizing speech and trained multilingual text-to-unit (T2U) models on all 36 target speech languages. These models can directly convert the text into target discrete units and can be trained on ASR data sets that are readily available. 4 5 X2T smalks pielāgojums Pirmā mūsu multitask UNITY sistēmas galvenā sastāvdaļa ir X2T modelis, multi-encoder sekvences-to-sekvences modelis ar conformoru bāzētu kodētāju. par runas ievadi un citu transformatoru kodētāju Abi kodētāji tika apvienoti ar vienu un to pašu teksta dekoderi un labi pielāgoti kopā, lai optimizētu ASR, S2TT un T2TT uzdevumus. 65 71 Our X2T model consists of joining the speech encoder, W2V-BERT 2.0 from M2, post-fixed with a length adapter to downsample long audio sequences, with the text encoder–decoder from M3 (Supplementary Fig. ). For the length adapter, we used a modified version of M-adapter , in which we replaced the three independent pooling modules for Q, K and V with a shared pooling module to improve efficiency. 4 72 Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: Tālruņa numurs: speech) in a source language ⟨ ⟩, paired with its transcription ( text) and text translation ( teksts) mērķa valodā ⟩. To enable meaning transfer across modalities, X2T model was fine-tuned to jointly optimize the following objective functions: x Ls x y lt We additionally optimized an auxiliary objective function in the form of token-level knowledge distillation () to further transfer knowledge from the strong MT model to the student speech translation task (S2TT). Galīgais zaudējums ir svērtā visu trīs zaudējumu summa: , un are scalar hyper-parameters tuned on the development data. α β γ S2ST fine-tuning In the last stage of fine-tuning multitask UNITY, we initialized the model with the pretrained X2T model (see section ‘ ’) and a pretrained T2U model, similar to the one used for pseudo-labelling S2ST data in M4. The T2U model used for pseudo-labelling is referred to as the teacher T2U model with 12 transformer layers encoder–decoder. For initialization, we used a smaller student T2U model with only six layers to optimize inference and distill the labels of the stronger T2U. In the second version of SEAMLESSM4T, UNITY2 replaces the second-pass autoregressive unit decoder in UNITY with a NAR unit decoder. We adopted the decoder architecture of FastSpeech2 un paplašināja to uz diskrētu vienību ģenerāciju. UNITY2 sākas ar T2U kodētāja iznākuma hierarhisku izlasīšanu no apakšvārda garuma līdz rakstzīmju garumam un pēc tam līdz vienības garumam. Vienības ilguma prognozētājs, kas ir atslēga hierarhiskajai izlasīšanai, apmācības laikā tiek uzraudzīts ar daudzvalodu izlīdzinātāju, kura pamatā ir RAD-TTS Arhitektūra ir detalizēti parādīta papildu informācijas sadaļā . X2T smalks pielāgojums 73 74 IV.8 We fine-tuned the S2ST task with a combination of X–eng and eng–X S2ST translation data totalling 121,000 h. We froze the model weights corresponding to the X2T model and only fine-tuned the T2U component. This is to ensure that the performance of the model on tasks from the previous stages of fine-tuning remains unchanged. Automātiskā un cilvēka novērtēšana Bļugers 2.0 Mārtiņš Vītoliņš 2.0 (ref. ) ir jaunā versija BLASER , which works with both speech and text modalities, and hence being modality-agnostic. Like the first version, our approach leverages the similarity between input and output sentence embeddings. The new version uses SONAR embeddings Supplementary Information section , supports 57 languages in speech and 202 in text (coverage of languages by SONAR at the moment of submission of this paper) and is extendable to future encoders for new languages or modalities that share the same embedding spaces. For the purposes of evaluating speech outputs (and unlike ASR-based metrics), BLASER 2.0 offers the advantage of being text-free. 24 75 III.3.1 More specifically, in BLASER 2.0, we take the source input, the translated output from any S2ST, S2TT or T2TT model, and the reference speech segment or text, and convert them into SONAR embedding vectors. For the supervised version of BLASER 2.0, these embeddings are combined and fed into a small, dense neural network that predicts an XSTS score for each translation output. Human evaluation Papildus automātiskajām metrikām, piemēram, (ASR) BLEU un BLASER 2.0, mēs izmantojām cilvēka metrikas, piemēram, XSTS , which measures semantic similarity between a source and target translation, and a standard Mean Opinion Score (as standardized in Recommendation ITU-T P.800, henceforth MOS), which measures (1) naturalness, (2) sound quality and (3) clarity of audio generations to evaluate our models. To obtain more robust language-level scores, we also incorporate a calibration set and calibration methodology, the same used to evaluate the NLLB models Papildus XSTS mēs ieguvām arī MOS novērtējumus, lai izprastu citus audio kvalitātes aspektus mērķa runas procesā. . 26 6 V.1 izstāde Robustība Mēs esam izveidojuši replicējamu trokšņa izturības novērtējuma kritēriju, pamatojoties uz FLEURS (trokšņa FLEURS), kas aptver 102 valodas, divus runas uzdevumus (S2TT un ASR) un dažādus trokšņa veidus (dabiskos trokšņus un mūziku). Mēs salīdzinājām modeļus pēc “trauksmes” un “mūzikas” kategorijām un sajaucām tos ar oriģinālo FLEURS runas skaņu ar dažādiem signālu un trokšņu attiecībām (SNR): 10, 5, 0, −5, −10, −15 un −20. Mēs salīdzinājām modeļus pēc BLEU-SNR līknes (S2TT) vai WER-SNR līknes (ASR), kas ilustrē modeļa veiktspējas degradācijas pakāpi, kad palielinās runas ieejas trokšņa līmenis (t.i., kad SNR samazinās). 76 We followed ref. to evaluate model robustness against speaker variations by calculating the average by-group mean score and by-group coefficient of variation using an utterance-level quality metric. Instead of using BLEU as the quality metric, we used chrF, which has better stability at the utterance level. The calculation of both robustness metrics does not require explicit speaker subgroup labels. We grouped evaluation samples and corresponding utterance-level chrF scores by content (transcript) and then calculated the average by-group mean score chrFMS and average by-group coefficient of variation CoefVarMS, defined as follows: 47 where is the set of sentence-level chrF scores grouped by content (transcript) and . The two metrics are complementary: chrFMS provides a normalized quality metric that, unlike conventional corpus-level metrics, takes speaker variations into consideration, whereas CoefVarMS provides a standardized measure of quality variance under speaker variations. For robustness analysis, we conducted an out-of-domain evaluation on FLEURS on all languages that have at least 40 content groups in the test sets. G Atbildīgais AI Toxicity detection Iedvesmojoties no ASR-BLEU, šis darbs ierosina izmantot ASR-ETOX kā jaunu rādītāju, lai atklātu pievienoto toksicitāti runā un novērtētu pievienoto toksicitāti SEAMLESSM4T S2ST spējai. ), then the toxicity detection module, ETOX , kas izmanto Toxicity-200 vārdu sarakstus S2TT gadījumā tulkotā izeja var tikt tieši novērtēta ar ETOX. Abos gadījumos (S2ST un S2TT) mēs izmērījām pievienoto toksicitāti izteiksmes vai teikuma līmenī. Mēs vispirms aprēķinājām toksicitātes noteikšanu katram ievadam novērtēšanas datu kopā un attiecīgajam izejam. Tad mēs tos salīdzinājām un skaitījām vienu gadījumu kā saturošu pievienoto toksicitāti tikai tad, kad izejas vērtība pārsniedz ievades vērtību. Turklāt mēs izmantojām nesen ierosināto MuTox metriku, ko var piemērot teksta vai runas izejai bez nepieciešamības izmantot ASR. Šis klasificētājs ir apmācīts gan runas, gan teksta toksicitātes datiem, kas marķēti 30 valodās. , MuTox to pašu valodu skaitu ar nulles šāviena īpašību. Tomēr, ņemot vērā apstiprināto kvalitāti, mēs ziņojam MuTox tikai tām valodām, kas ir salīdzinātas Atkal abos gadījumos (S2ST un S2TT) mēs izmērījām pievienoto toksicitāti izteiksmes vai teikuma līmenī. Šajā gadījumā teikums satur pievienoto toksicitāti, ja MuTox rādītāji ir >0,9 iznākumā un <0,5 ievadā. Mēs esam eksperimentāli apstiprinājuši šos slieksņus vairākām valodām ar cilvēka divvalodu runātājiem vairākiem valodu pāriem. 2 27 6 29 29 For toxicity mitigation, we implement two techniques for the mitigation of added toxicity. Before training, we filter out training pairs with imbalanced toxicity. Furthermore, we use Mintox at inference time. In particular, the main workflow generates a translation hypothesis with an unconstrained search. Then, the toxicity classifier is run on this hypothesis. If no toxicity is detected, we provide the translation hypothesis as it is. However, if toxicity is detected in the output, we run the classifier on the input. If the toxicity is unbalanced (that is, no toxicity is detected in the input), we re-run the translation with mitigation, which is the BEAMFILTERING step. This BEAMFILTERING consists of taking as input the multi-token expressions that should not appear in the output and excluding them from the beam-search hypotheses. Note that we do not apply mitigation in cases in which there is toxicity in the input (in other words, we do not deal with cases in which there is toxicity in the input but more toxicity in the output). 11 We used two datasets to analyse added toxicity. First, we deployed FLEURS to better align with our human evaluation effort and other evaluative components of this work. Furthermore, we used the English-only HOLISTICBIAS framework , kas iepriekšējos pētījumos ir pierādīts, ka izraisa patiesu pievienoto toksicitāti . In this work, we extend HOLISTICBIAS to speech by applying the default English TTS model from MMS . 77 27 23 Daudzvalodu hologrāfijas To compare the performances across modalities (S2ST and S2TT), we extended MULTILINGUAL HOLISTICBIAS to speech (Tā kā ). We used this generated TTS data as input for S2TT and S2ST and as a reference for S2ST. We conducted the translations in two directions: eng–X and X–eng. Concretely, in X–eng, we translated both masculine and feminine versions of the speech. It is worth noting that some target languages are not available in the SEAMLESSM4T S2ST model, so we performed translations on only 17 languages for the S2ST task in the eng–X direction. For S2TT in eng–X, we have all languages included in the MULTILINGUAL HOLISTICBIAS dataset ( Atsauces nolūkā pilnu mūsu eksperimentos izmantoto valodu sarakstu var atrast Papildu tabulā. . 23 https://github.com/facebookresearch/fairseq/tree/main/examples/mms#tts-1 n 26 In terms of evaluation metrics for S2TT, we used chrF. For S2ST, we used ASRchrf (the transcription is done by WHISPER-LARGE and WHISPER-MEDIUM attiecīgi eng–X un X–eng, un chrF ir aprēķināts tādā pašā veidā kā S2TT, izņemot to, ka S2ST, teksts no gan prognozes un atsauces tika normalizēti) un BLASER 2.0. ir vērts atzīmēt, ka, novērtējot BLASER 2.0, mēs iekļāva tikai 14 valodas (arb, kaķis, deu, eng, fra, nld, por, ron, rus, spa, swe, tha, ukr un urd) par eng–X virzienā (pārklāšanās valodas no ģenerētajiem TTS datiem un valodām, kas pieejamas mūsu S2ST modeli). 20 Datu pieejamība To make our work available to the community, we provide open source of the following data sets, models and code at GitHub ( ): (1) SEAMLESSM4T modeļi, ieskaitot SEAMLESSM4T-LARGE (2.3B parametri) un SEAMLESSM4T-MEDIUM (1.2B parametri) modeļu svārstības, kā arī to secinājuma kods un smalkas pielāgošanas receptes, ko darbina mūsu jaunais modelēšanas rīku komplekts FAIRSEQ2 ( 2) rīki, lai izveidotu saskaņotus runas datus, tostarp metadatus, lai atjaunotu nefiltrētos 470 000 stundu SEAMLESSALIGN, STOPES bāzes cauruļvadu ( ) to create alignments similar to SEAMLESSALIGN and SONAR for speech encoders in 37 languages and text encoders in 200 languages ( ) and (3) a text-free S2ST automatic evaluation model, BLASER 2.0, inclusive of model weights and inference scripts. https://github.com/facebookresearch/seamless_communication https://github.com/facebookresearch/fairseq2 https://github.com/facebookresearch/stopes https://github.com/facebookresearch/SONAR References Lavie, A. et al. Janus-III: speech-to-speech translation in multiple languages. In Vol. 1, 99–102 (IEEE, 1997). Proc. 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing Wahlster, W. (ed.) (Springer, 2000). Verbmobil: Foundations of Speech-to-Speech Translation Nakamura, S. et al. The atr multilingual speech-to-speech translation system. , 365–376 (2006). IEEE Trans. Audio Speech Lang. Process. 14 Article Google Scholar Jia, Y. et al. Direct speech-to-speech translation with a sequence-to-sequence model. In , 1123–1127 (ISCA, 2019). Proc. Interspeech 2019 Lee, A. et al. Direct speech-to-speech translation with discrete units. In (eds Muresan, S. et al.) Vol. 1, 3327–3339 (Association for Computational Linguistics, 2022). Proc. 60th Annual Meeting of the Association for Computational Linguistics NLLB Team Scaling neural machine translation to 200 languages. , 841–846 (2024). Nature 630 Article CAS Google Scholar Agarwal, M. et al. Findings of the IWSLT 2023 evaluation campaign. In (eds Salesky, E. et al.) 1–61 (Association for Computational Linguistics, 2023). Proc. 20th International Conference on Spoken Language Translation (IWSLT 2023) Duquenne, P.-A., Schwenk, H. & Sagot, B. SONAR: sentence-level multimodal and language-agnostic representations. Preprint at (2023). https://arxiv.org/abs/2308.11466 Popović, M. chrF: character n-gram F-score for automatic MT evaluation. In (eds Bojar, O. et al.) 392–395 (Association for Computational Linguistics, 2015). Proc. Tenth Workshop on Statistical Machine Translation Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (Association for Computational Linguistics, 2002). Proc. 40th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. R., Dale, D., Elbayad, M. & Yu, B. Added toxicity mitigation at inference time for multimodal and massively multilingual translation. In (eds Scarton, C. et al.) Vol. 1, 360–372 (European Association for Machine Translation, 2024). Proc. 25th Annual Conference of the European Association for Machine Translation ACTFL. World-readiness standards for learning languages. (2023). https://www.actfl.org/educator-resources/world-readiness-standards-for-learning-languages Desplanques, B., Thienpondt, J. & Demuynck, K. ECAPA-TDNN: emphasized channel attention, propagation and aggregation in TDNN based speaker verification. In (eds Meng, H. et al.) 3830–3834 (ISCA, 2020). Proc. Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event Valk, J. & Alumäe, T. VOXLINGUA107: a dataset for spoken language recognition. In 652–658 (IEEE, 2021). Proc. 2021 IEEE Spoken Language Technology Workshop, Chen, M., Heffernan, K., Çelebi, O., Mourachko, A. & Schwenk, H. xSIM++: An improved proxy to bitext mining performance for low-resource languages. In (eds Rogers, A. et al.) Vol. 2, 101–109 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. In , 2101–2112 (eds Goldberg, Y. et al.) (Association for Computational Linguistics, 2022). Findings of the Association for Computational Linguistics: EMNLP 2022 Feng, F., Yang, Y., Cer, D., Arivazhagan, N. & Wang, W. Language-agnostic BERT sentence embedding. In (eds Muresan, S. et al.) Vol. 1, 878–891 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Conneau, A. et al. FLEURS: FEW-Shot Learning Evaluation of Universal Representations of Speech. In , 798–805 (IEEE, 2023). 2022 IEEE Spoken Language Technology Workshop (SLT) Zhang, Z.-H. et al. Speak foreign languages with your own voice: cross-lingual neural codec language modeling. Preprint at (2023). https://arxiv.org/abs/2303.03926 Radford, A. et al. Robust speech recognition via large-scale weak supervision. In , article no. 1182, 28492–28518 (ACM, 2023). Proceedings of the 40th International Conference on Machine Learning Rubenstein, P. K. et al. AudioPaLM: a large language model that can speak and listen. Preprint at (2023). https://arxiv.org/abs/2306.12925 Casanova, E. et al. YourTTS: towards zero-shot multi-speaker tts and zero-shot voice conversion for everyone. In , Vol. 162, 2709–2720 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Pratap, V. et al. Scaling speech technology to 1,000+ languages. , 1–52 (2024). J. Mach. Learn. Res. 25 Dale, D. & Costa-jussà, M. R. Blaser 2.0: a metric for evaluation and quality estimation of massively multilingual speech and text translation. In (eds Al-Onaizan, Y. et al.) 16075–16085 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: EMNLP 2024 Chen, P.-J. et al. Speech-to-speech translation for a real-world unwritten language. In (eds Rogers, A. et al.) 4969–4983 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: ACL 2023 Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In (eds Duh, K. & Guzmán, F.) Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proc. 15th Biennial Conference of the Association for Machine Translation in the Americas Costa-jussà, M. et al. Toxicity in multilingual machine translation at scale. In , 9570–9586 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: EMNLP 2023 Ghosh, S., Lepcha, S., Sakshi, S., Shah, R. R. & Umesh, S. DeToxy: a large-scale multimodal dataset for toxicity classification in spoken utterances. In 2022, 5185–5189 (2022); . Proc. Interspeech https://api.semanticscholar.org/CorpusID:247940269 Costa-jussà, M. R. et al. MuTox: universal multilingual audio-based toxicity dataset and zero-shot detector. In (eds Ku, L.-W. et al.) 5725–5734 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: ACL 2024 Stanovsky, G., Smith, N. A. & Zettlemoyer, L. Evaluating gender bias in machine translation. In (eds Korhonen, A. et al.) 1679–1684 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Levy, S., Lazar, K. & Stanovsky, G. Collecting a large-scale gender bias dataset for coreference resolution and machine translation. In (eds Moens, M. F. et al.) 2470–2480 (Association for Computational Linguistics, 2021). Findings of the Association for Computational Linguistics: EMNLP 2021 Costa-jussà, M. R. et al. Interpreting gender bias in neural machine translation: Multilingual architecture matters. , 11855–11863 (2022). Proc. AAAI Conf. Artif. Intell. 36 Google Scholar Costa-jussà, M. R., Basta, C. & Gállego, G. I. Evaluating gender bias in speech translation. In (eds Calzolari, N. et al.) 2141–2147 (European Language Resources Association, 2022). Proceedings of the Thirteenth Language Resources and Evaluation Conference Bentivogli, L. et al. Gender in danger? Evaluating speech translation technology on the MuST-SHE corpus. In (eds Jurafsky, D. et al.) 6923–6933 (Association for Computational Linguistics, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. et al. Multilingual holistic bias: Extending descriptors and patterns to unveil demographic biases in languages at scale. In , 14141–14156 (Association for Computational Linguistics, 2023). Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing Zuckerman, E. The polyglot internet. (2008). https://ethanzuckerman.com/the-polyglot-internet/ Belekar, A., Sunka, S., Bhawar, N. & Bagade, S. Voice based e-mail for the visually impaired. , 8–12 (2020). Int. J. Comput. Appl. 175 Google Scholar Wang, S., Cooper, N. & Eby, M. From human-centered to social-centered artificial intelligence: Assessing ChatGPT’s impact through disruptive events. (2024). Big Data Soc. https://doi.org/10.1177/20539517241290220 Koenecke, A. et al. Racial disparities in automated speech recognition. , 7684–7689 (2020). Proc. Natl Acad. Sci. USA 117 Article ADS CAS PubMed PubMed Central Google Scholar Ngueajio, M. K. & Washington, G. Hey ASR system! Why aren’t you more inclusive? Automatic speech recognition systems’ bias and proposed bias mitigation techniques. A literature review. In (eds Chen, J. Y. C. et al.) Vol. 13518, 421–440 (Springer, 2022). Proc. International Conference on Human-Computer Interaction Elbow, P. The shifting relationships between speech and writing. , 283–303 (1985). Coll. Compos. Commun. 36 Article Google Scholar Trilla, A. & Alias, F. Sentence-based sentiment analysis for expressive text-to-speech. , 223–233 (2013). IEEE Trans. Audio Speech Lang. Process. 21 Article Google Scholar Iranzo-Sánchez, J., Civera, J. & Juan, A. From simultaneous to streaming machine translation by leveraging streaming history. In , 6972–6985 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Rybakov, O. et al. Streaming Parrotron for on-device speech-to-speech conversion. Preprint at (2022). https://arxiv.org/abs/2210.13761 Koehn, P. Europarl: A parallel corpus for statistical machine translation. In , 79–86 (2005). Proceedings of Machine Translation Summit X: Papers Ziemski, M., Junczys-Dowmunt, M. & Pouliquen, B. The United Nations Parallel Corpus v1.0. In (eds Calzolari, N. et al.) 3530–3534 (European Language Resources Association, 2016). Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16) Wang, C., Pino, J., Wu, A. & Gu, J. CoVoST: a diverse multilingual speech-to-text translation corpus. In (eds Calzolari, N. et al.) 4197–4203 (European Language Resources Association, 2020). Proceedings of the Twelfth Language Resources and Evaluation Conference Wang, C., Wu, A., Gu, J. & Pino, J. CoVoST 2 and Massively Multilingual Speech Translation. In , 2247–2251 (ISCA, 2021). Proc. Interspeech 2021 Salesky, E. et al. The multilingual TEDx corpus for speech recognition and translation. In , 3655–3659 (ISCA, 2021). Proc. Interspeech 2021 Zhang, Y. et al. Google USM: scaling automatic speech recognition beyond 100 languages. Preprint at (2023). https://arxiv.org/abs/2303.01037 Schwenk, H. Filtering and mining parallel data in a joint multilingual space. In (eds Gurevych, I. & Miyao, Y.) Vol. 2, 228–234 (Association for Computational Linguistics, 2018). Proc. 56th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In (eds Korhonen, A. et al.) 3197–3203 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Duquenne, P.-A., Gong, H. & Schwenk, H. Multimodal and multilingual embeddings for large-scale speech mining. In (eds Ranzato, M. et al.) Vol. 34, 15748–15761 (Curran Associates, 2021). Advances in Neural Information Processing Systems Duquenne, P.-A. et al. SpeechMatrix: a large-scale mined corpus of multilingual speech-to-speech translations. In (eds Rogers, A. et al.) Vol. 1, 16251–16269 (2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Silero. Silero VAD: pre-trained enterprise-grade voice activity detector (VAD), number detector and language classifier. (2021). GitHub https://github.com/snakers4/silero-vad Khurana, S., Laurent, A. & Glass, J. SAMU-XLSR: Semantically-Aligned Multimodal Utterance-Level Cross-Lingual Speech Representation. , 1493–1504 (2022). IEEE J. Sel. Top. Signal Process. 16 Douze, M. et al. The Faiss library. Preprint at (2024). https://arxiv.org/abs/2401.08281 Inaguma, H. et al. UnitY: two-pass direct speech-to-speech translation with discrete units. In (eds Rogers, A. et al.) Vol. 1, 15655–15680 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Tjandra, A., Sakti, S. & Nakamura, S. Speech-to-speech translation between untranscribed unknown languages. In , 593–600 (IEEE, 2019). 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Babu, A. et al. XLS-R: self-supervised Cross-lingual Speech Representation Learning at Scale. In , 2278–2282 (ISCA, 2022). Proc. Interspeech 2022 Gong, H. et al. Multilingual speech-to-speech translation into multiple target languages. Preprint at (2023). https://arxiv.org/abs/2307.08655 Chung, Y.-A. et al. w2v-BERT: combining contrastive learning and masked language modeling for self-supervised speech pre-training. In , 244–250 (IEEE, 2021). 2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Chiu, C.-C., Qin, J., Zhang, Y., Yu, J. & Wu, Y. Self-supervised learning with random-projection quantizer for speech recognition. In , 3915–3924 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Gulati, A. et al. Conformer: convolution-augmented transformer for speech recognition. In , 5036–5040 (ISCA, 2020). Proc. Interspeech 2020 Kudo, T. & Richardson, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In (eds Blanco, E. & Lu, W.) 66–71 (Association for Computational Linguistics, 2018). Proc. 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Sennrich, R., Haddow, B. & Birch, A. Neural machine translation of rare words with subword units. In (eds Erk, K. & Smith, N. A.) Vol. 1, 1715–1725 (Association for Computational Linguistics, 2016). Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics Andrews, P. et al. stopes - modular machine translation pipelines. In (eds Che, W. & Shutova, E.) 258–265 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Jia, Y. et al. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In , 7180–7184 (IEEE, 2019). 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) Pino, J., Xu, Q., Ma, X., Dousti, M. J. & Tang, Y. Self-training for end-to-end speech translation. In , 1476–1480 (2020). Proc. Interspeech 2020 Vaswani, A. et al. Attention is all you need. In (eds Guyon, I. et al.) Vol. 30 (Curran Associates, 2017). Advances in Neural Information Processing Systems Zhao, J., Yang, H., Haffari, G. & Shareghi, E. M-Adapter: modality adaptation for end-to-end speech-to-text translation. In , 111–115 (ISCA, 2022). Proc. Interspeech 2022 Ren, Y. et al. FastSpeech 2: fast and high-quality end-to-end text to speech. In (2021). Proc. 2021 International Conference on Learning Representations Shih, K. J. et al. RAD-TTS: parallel flow-based tts with robust alignment learning and diverse synthesis. In (2021). ICML Workshop on Invertible Neural Networks, Normalizing Flows, and Explicit Likelihood Models Chen, M. et al. BLASER: A text-free speech-to-speech translation evaluation metric. In (eds Rogers, A. et al.) Vol. 1, 9064–9079 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Snyder, D., Chen, G. & Povey, D. MUSAN: a music, speech, and noise corpus. Preprint at (2015). https://arxiv.org/abs/1510.08484 Smith, E. M., Hall, M., Kambadur, M., Presani, E. & Williams, A. “I’m sorry to hear that”: finding new biases in language models with a holistic descriptor dataset. In (eds Goldberg, Y. et al.) 9180–9211 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing Atzinības Mēs pateicamies S. Edunovam un A. Fanam par palīdzību veidot projekta agrākos posmus; S. Bhosale, V. Goswami, F. Hernandez un Y. Zhang par viņu atbalstu spēcīgāku modeļu izveidē; M. Seejoor un M. Duppenthaler par viņa ieguldījumu demo izveidē; V. Goswami, S. Huhan, B. Acun-Uyan un C.-J. Wu par viņa ieguldījumu FAIRSEQ2 un SONAR inferencē; A. Ni un X. Zhang par viņu palīdzību benchmarking audio denoising modeļiem; N. Seejoor un M. Duppenthaler par viņu ieguldījumu demo izveidē; V. Goswami, S. Klyushkin par viņa palīdzību labāku pieredzes veidošanā; A. Šis dokuments ir pieejams dabā saskaņā ar CC by 4.0 Deed (attribution 4.0 International) licenci. Šis dokuments ir Attiecības ir licencētas saskaņā ar CC by 4.0 Deed (Attribution 4.0 International) licenci. Pieejams dabā