AI mund të dëgjojë, përkthente dhe fliste në 100 gjuhë

Autorët : Loïc Barrault Yu-An Chung Mariano Coria Meglioli David Dale Ning Dong Paul Ambroise Dukenë Hady Elsahar Hongzhou Gong Kevin Heffernan në Gjoni Hoffman Christopher Klaiber Penguins Li Daniel Dritë Jean Maillard në Alice Rakotoarison Kaushik Ram Sadagopan Guillaume Wenzek Ethan Ye Autorët : Lojtarë Barrault Xhaxha Xhaxha Mariano Coria Meglioli David Dale në Që Dong Paul Ambroise Dukenë Shkëndija Elsahar Hongzhou Gong Kevin Heffernan në Gjoni Hoffman Kristofor Klaiber Penguins Li Daniel Dritë Jean Maillard në Alice Rakotoarison në Kaushik Ram Sadagopan në Prishtinë Guillaume Wenzek në Ethan Juaj abstraktë Krijimi i peshkut Babel, një mjet që ndihmon individët të përkthejnë fjalën midis dy gjuhëve, kërkon inovacion të avancuar teknologjik dhe ekspertizë gjuhësore. , , , sisteme të unifikuara të shkallëzuara dhe me performancë të lartë , Për të kapërcyer këtë hendek, këtu ne prezantojmë SEAMLESSM4T-Massively Multilingual dhe Multimodal Machine Translation-një model i vetëm që mbështet përkthimin e fjalës në fjalë (101 në 36 gjuhë), përkthimin e fjalës në tekst (nga 101 në 96 gjuhë), përkthimin e tekstit në fjalë (nga 96 në 36 gjuhë), përkthimin e tekstit në tekst (96 gjuhë) dhe njohjen automatike të fjalës (96 gjuhë). Ndërtuar duke përdorur një korpus të ri multimodal të përkthimeve të fjalës në linjë automatike dhe të dhënave të tjera të disponueshme publikisht, SEAMLESSM4T është një nga sistemet e para shumëgjuhëshe në përkthimin e tekstit në fjalë (nga 96 në 36 gjuhë), që mund të përkthe 1 2 3 4 5 Kryesorë Peshku i Babilonisë nga është një mjet fiktiv që përkthehet midis dy gjuhëve. Në peisazhin bashkëkohor global, i karakterizuar nga ndërlidhshmëria në rritje dhe socialiteti i lëvizshëm, imperativa shoqërore për të përditësuar këto teknologji dhe për të lehtësuar përkthimin në kërkesë të fjalës-të-foljes (S2ST) si në botën dixhitale ashtu edhe në botën fizike nuk ka qenë kurrë më e madhe. Pavarësisht nga centralizimi i fjalës në komunikimin e përditshëm, sistemet e përkthimit automatik (MT) sot mbeten të orientuara tek teksti. për më shumë detaje se pse fjala duhet të jetë prioritet në MT. Edhe pse modele të vetme, unimodale të tilla si No Language Left Behind (NLLB) Duke shtyrë mbulimin e përkthimit nga teksti në tekst (T2TT) në më shumë se 200 gjuhë, modelet e unifikuara S2ST janë larg arritjes së fushës së ngjashme ose performancës. Udhëzuesi i Hitchhiker për në Galaktikë I.1 të 6 Sistemet ekzistuese S2ST kanë tre mangësi kryesore. Së pari, këto sisteme kanë tendencë të përqendrohen në gjuhët me burime të larta, duke lënë shumë gjuhë me burime të ulëta prapa. Së dyti, këto sisteme kryesisht shërbejnë përkthimin nga një gjuhë burimi në anglisht (X-eng), jo të kundërtën (eng-X). Së treti, shumica e sistemeve S2ST mbështeten në masë të madhe në kaskadimin e disa nën-sistemeve; për shembull, njohja automatike e fjalës (ASR) + T2TT + tekst-për-folje (TTS). Edhe pse ekzistojnë sisteme të drejtpërdrejta , , , ata nuk përputhen me performancën e homologëve të tyre të kaskaduar Shiko seksionin e informacionit shtesë për më shumë detaje mbi peizazhin aktual teknik. 1 4 5 7 I.2 të Për të zgjidhur këto kufizime, ne prezantojmë SEAMLESSM4T (Massively Multilingual and Multimodal Machine Translation), një sistem të unifikuar që mbështet ASR, T2TT, përkthimin e fjalës në tekst (S2TT), përkthimin e tekstit në fjalë (T2ST) dhe S2ST. Për të ndërtuar këtë, ne kemi krijuar një korpus prej më shumë se 470,000 orë të përkthimeve të fjalës të përshtatur automatikisht (SEAMLESSALIGN) duke përdorur një hapësirë të re të futjes së fjalisë (Multimodal dhe Language-Agnostic Representations, ose SONAR) Pastaj, ne kombinuam një nën-set të filtruar të këtij korpusi me të dhënat e etiketuara nga njeriu dhe pseudo-etiketuar për të zhvilluar sistemin e parë multitasking që kryen S2ST nga më shumë se 100 gjuhë në 36 gjuhë, S2TT dhe ASR në 96 gjuhë, zero-shot T2ST në 36 gjuhë, si dhe T2TT për 96 gjuhë (shih Tabelën). për një përmbledhje krahasuese të mbulimit të gjuhës dhe seksionin e informacionit shtesë Për shkak të arkitekturës së unifikuar të SEAMLESSM4T (Fig. ), modeli mund të kryejë T2TT, S2TT ose S2ST për drejtime jo-angleze (X-X) në një mënyrë zero-shot. Ajo gjithashtu mund të kryejë T2ST pa qenë trajnuar shprehimisht për këtë detyrë. Si rezultat i para-trajnimit të koduesit të fjalës të SEAMLESSM4T në sasi të mëdha të të dhënave të fjalës pa etiketuar (shih seksionin ‘ "), mund të trajtojë shprehjet që përzihen dy ose më shumë gjuhë. 8 1 II 1 Fjalëkalimi i papërgatitur të Tre blloqet kryesore të UNITY2 (S2ST fine-tuning) me jo-autoregresive (NAR) T2U janë treguar në të majtë të sipërm. Multitask-UNITY2 me koduesit e tij shtesë të tekstit janë treguar në të majtë të poshtëm. Ndarja poshtë e komponentëve të SEAMLESSM4T-V2 (një model multitask-UNITY2) janë treguar në të djathtë me panelin anësor duke treguar modelin mësues T2U përdorur për pseudo-etiketim (M4). Për të vlerësuar cilësinë e prodhimeve të modelit tonë, ne kemi përdorur disa metrikë ekzistuese që përfshijnë detyra dhe modalitete, si dhe katër grupet kryesore të të dhënave të vlerësimit. për T2TT, blu për S2TT, ASR-BLEU për S2ST dhe WER për ASR. Shih tabelën shtesë Për detaje, ne gjithashtu testuam modelet tona për rezistencë ndaj zhurmës së sfondit ose ndryshimit të folësit, si dhe fronte të tjera për vendosjen e përgjegjshme, të tilla si paragjykimet gjinore, duke përdorur grupet e të dhënave MULTILINGUAL HOLISTICBIAS, ose toksicitetin e shtuar, duke përdorur metrikat e reja të bazuara në fjalim (ASR-ETOX dhe MuTox). . 9 10 5 2 11 Apart from building SEAMLESSM4T, we also discuss the social implications of our work and how it may contribute to greater degrees of world-readiness në afat të gjatë (shih seksionin ‘ Për të nxitur kërkime të ardhshme, ne bëjmë mjetet e të dhënave, kodin dhe dy madhësitë e modeleve SEAMLESSM4T të disponueshme për përdorim jo-komercial. 12 Ndikimi social dhe përfundimi Në seksionet e mëposhtme, ne gjurmojmë rezultatet kryesore në zhvillimin e modeleve tona SEAMLESSM4T. Së pari, ne përshkruajmë përpjekjet tona për të minuar të dhënat e të folurit dhe të tekstit të rregulluar, duke filluar nga identifikimi i gjuhës së fjalës deri në minimin e segmenteve të të folurit dhe të tekstit të rregulluar duke përdorur encoders modaliteti-agnostik. Tjetra, ne raportojmë rezultatet kryesore të sistemeve tona të përkthimit të drejtpërdrejtë të trajnuar pjesërisht me të dhënat e të folurit të rregulluar automatikisht të përmendura më lart. Këto rezultate theksojnë shumëllojshmërinë e detyrave të modeleve SEAMLESSM4T duke arritur performancën shumë Të dhënat Trajnimi i sistemeve të përkthimit të fjalës kërkon të dhëna të etiketuara; domethënë të dhëna të përshtatura nga fjala në tekst dhe nga fjala në fjalë. megjithatë, këto burime janë shumë të kufizuara për gjuhët me burime të ulëta. dhe një koleksion i madh i fjalimeve dhe teksteve të papërshkruara, siç përshkruhet në , për të minuar automatikisht burimet e rregulluara, duke plotësuar të dhënat ekzistuese të etiketuara nga njeriu dhe pseudo-etiketuar. 8 Metodat Identifikimi i gjuhës Përpunimi i gjuhës së papërpunuar nga web përfshin segmentimin e shprehjeve në copa më të shkurtra, e ndjekur nga identifikimi i gjuhës. Ndërtimi i një modeli me burim të hapur të trajnuar në VoxLingua107 me arkitekturën ECAPA-TDNN , , ne kemi zhvilluar një model të ri të identifikimit të gjuhës bazuar në folje (LID) që mbulon të gjitha 100 gjuhët e paraqitura në këtë punë (shih “Të për më shumë detaje). 13 14 Metodat Përpunimi i zërit dhe fjalimi LID Për të matur saktësinë dhe rikthimin e modeleve LID, ne raportojmë rezultatet F1 në të dhënat e testimit në Tabelën e të dhënave të zgjeruara Rezultatet janë dhënë për të dhënat e 100 gjuhëve SEAMLESSM4T (Grupi i përgjithshëm) dhe 79 gjuhët e përbashkëta midis SEAMLESSM4T dhe VoxLingua107 (Intersection). Vini re se makro-F1 në të gjitha gjuhët për VL107HF është e ulët sepse 21 gjuhë nuk janë të mbuluara nga ky model. Ne gjejmë se trajnimi në gjuhët shtesë zvogëlon pak performancën e përgjithshme për grupin e përbashkët të gjuhëve, e cila është një pasojë e drejtpërdrejtë e një numri më të lartë të gjuhëve të afërta. Për shembull, Zulu (zul) është shumë shpesh i ngatërruar me Nyanja (nya), Igbo (ibo) me Yoruba (yor), dhe Standard Modern Arabic (arb) me Moroccan 1 Sonar Text Embedding Hapësirë Për të nxjerrë automatikisht të dhënat e përkthimit nga segmente të identifikuara nga gjuha, ne mbështetemi në koduesit e gjuhës dhe të modalitetit. Aktualisht, ne ofrojmë një kodues të vetëm të tekstit dhe dekoder për 200 gjuhë dhe koduesit e fjalës për 37 gjuhë. Në kërkimin e ngjashmërisë shumëgjuhësore, xsim dhe xsim++ janë dy metrikë të njohura proxy që vlerësojnë hapësirat e embedding shumëgjuhësh për qëllime të minierave. , SONAR tejkalon dukshëm qasjet e tjera të njohura të tilla si LASER3 Në LaBSE me xsim më të ulët dhe xsim++. 8 6 15 2 16 17 Për më tepër, ne vlerësuam koduesit e tekstit SONAR dhe dekoderët në detyrat T2TT. Performanca mesatare në mbi 200 gjuhë është konkurruese krahasuar me modelin e dendur NLLB të madhësisë së mesme, pavarësisht zëvendësimit të vëmendjes së koduesit-dekoderit në SONAR me një futje të madhësisë së fiksuar (shih kolonat T2TT të Tabelës së të Dhënave të Zgjeruara). Ky rezultat dëshmon se përdorimi i vëmendjes nuk është një kërkesë për saktësi të arsyeshme të përkthimit. 2 Trajnimi i kodimit të fjalës Encoderët e fjalës u trajnuan me një qasje mësues-student vetëm në transkriptimet e fjalës (shih “Të Vlerësimi i iterimeve të secilit encoder të fjalës në një zinxhir end-to-end, d.m.th. minimi dhe trajnimi i sistemeve të përkthimit S2TT ose S2ST, do të ishte intensive kompjuterike. Në vend të kësaj, ne lidhëm encoderin e fjalës me dekoderin e tekstit SONAR dhe e vlerësuam këtë sistem zero-shot S2TT si një proxy për cilësinë e encoderit. , koduesit e zërit SONAR krahasohen në mënyrë të favorshme me një model të tillë si WHISPER-LARGE-V2 në FLORES dhe lule Dallimet në saktësi mund të vërehen në disa gjuhë me burime të larta të tilla si gjermanishtja, rusishtja ose portugezija, por SONAR tejkalon WHISPER-LARGE-V2 në disa gjuhë me burime të ulëta të tilla si Swahili ose Bengali (shih Tabelën shtesë). ) të Metodat Sonarë 2 6 18 8 Seamlessalign Koduesit e tekstit dhe të fjalës SONAR u përdorën për të minuar tre lloje të të dhënave të përshtatura: (1) gjuhën angleze për tekste jo-engleze (Sen2Txx); (2) gjuhën jo-engleze për tekste angleze (Sxx2Ten); dhe (3) gjuhën jo-engleze për gjuhën angleze (Sxx2Sen). SEAMLESSALIGN ofron 202,796 orë audio në Sen2Txx, 239,767 orë audio në Sxx2Ten dhe 29,161 orë audio në Sxx2En. Këto të dhëna të përshtatura u minuan nga një total prej 2.5M orë audio të papërpunuar (nga të cilat anglishtja është rreth 40%). koduesit e fjalës SONAR u trajnuan në 43,772 orë të të dhënave të . 8 Për domenin e tekstit, ne përdorim të njëjtat të dhëna të konsoliduara nga projekti NLLB Shuma varion nga 33 milionë ose 55 milionë fjali për gjuhët me burime të ulëta si malteze ose swahili, respektivisht, në 22,000 milionë fjali anglisht. 6 Me përjashtim të gjuhës malteze, për të cilën ne kishim akses vetëm në një sasi të vogël të zërit të papërpunuar, ne ishim në gjendje të minonim më shumë se 100 orë përshtatje të fjalës me gjuhën angleze për të gjitha gjuhët. Përshtatjet me tekstet angleze arritën një mijë orë për shumicën e gjuhëve dhe tejkaluan 10,000 orë për gjuhët me burime të larta. Shtimi i një sasi të tillë të madhe të të dhënave për të trajnuar një sistem përkthimi shumëgjuhësh është një sfidë e konsiderueshme kompjuterike. “Të Për shkak se të dhënat tona të minuara mund të ndihmojnë në mbështetjen e shumë raste të ndryshme të përdorimit, ne kemi hapur meta-të dhënat e nevojshme për të udhëzuar riprodhimin e saj (deri në një prag SONAR të 1.15; shih “Të ’) për të lejuar komunitetin të rindërtojë SEAMLESSALIGN dhe ta përdorë atë për qëllimet e veta. Pragu optimal mund të rregullohet në bazë të detyrës, duke balancuar madhësinë e datasetit dhe cilësinë e përshtatjes. Metodat modelimit Metodat Fjalë Sistemet e përkthimit multitask Kombinimi i teknikave të modelimit të përshkruara në “Të , me të dhëna shtesë nga SEAMLESSALIGN (shih “Të ’), ne stërvitëm modele SEAMLESSM4T në dy madhësi: të mëdha me parametra 2.3B dhe të mesme me parametra 1.2B. SEAMLESSM4T-MEDIUM ka për qëllim të jetë një shtrat test i arritshëm për t'u përshtatur mirë, përmirësuar ose të angazhohen në analizë me. Ne stërvitëm më tej një version të përmirësuar të SEAMLESSM4T të madh, i quajtur SEAMLESSM4T-V2, me një kodues më të mirë të fjalës (shih “Të ’) dhe një decoder më të fuqishëm (shih seksionin ‘ Të gjitha modelet SEAMLESSM4T mbështesin 96 gjuhë burimore në modalitetin e tekstit dhe më shumë se 100 gjuhë burimore në modalitetin e fjalës.Në anën e synuar, modelet mund të nxjerrin 96 gjuhë në formën e tekstit dhe 35 në formën e fjalës.Numri i të dhënave të mbikëqyrura për drejtim dhe për burim (p.sh., M4 ose SEAMLESSALIGN) është i detajuar në Tabelat shtesë dhe Kjo tregon se, për disa drejtime të përkthimit dhe duke pasur parasysh mungesën e të dhënave të mbikëqyrura, modelet tona do të vlerësohen zero-shot. Metodat modelimit Metodat Të dhënat Metodat Fjalëkalimi i papërgatitur S2ST Tuning të përsosur 12 13 Ne vlerësuam modelet tona në të katër detyrat e mbikëqyrura (T2TT, ASR, S2TT dhe S2ST), si dhe detyrën zero-shot të përkthimit tekst-të-fjalës (T2ST, i referuar gjithashtu si sintezë tekst-të-fjalës ndër-gjuhësh). Për të gjeneruar hipotezat e tekstit, ne e dekoduam me beam-search. Ne shënuam me chrF2++ për T2TT dhe BLEU për S2TT. Ne matim rezultatet BLEU me SacreBLEU dhe sigurojmë nënshkrimet në Tabelën shtesë Për ASR, ne kemi shënuar me WER (shkalla e gabimit të fjalës) në transkriptimet dhe referencat e normalizuara pas ref. . 19 2 20 Gjatë S2ST dhe T2ST inferencë, ne kryer dy-pass beam-search decoding; hipoteza më e mirë nga e parë-pass decoding është e ngulitur me dekoder tekstit dhe është dërguar në një tekst-to-unit modul (T2U; shih seksionin ‘ ’) për të kërkuar hipotezën më të mirë të sekuencës së njësisë. Ne kemi përdorur një gjerësi rrufe prej 5 për të dy kërkimet. Ne kemi vlerësuar saktësinë S2ST dhe T2ST me ASR-BLEU duke përdorur modelet WHISPER. Ne kemi vendosur temperaturën e dekodimit të WHISPER në zero dhe kemi përdorur dekodimin lakmisht për të siguruar një sjellje deterministike të modelit ASR. Hipotezat e transkriptuara, si dhe referencat, janë normalizuar pas ref. Para se të llogaritni rezultatet blu. S2ST Tuning të përsosur 20 Krahasimi me qasjet kaskad për përkthimin e fjalës Në grupin e gjuhëve të mbështetura nga SEAMLESSM4T dhe WHISPER, ne krahasojmë në Tabelë (Kolonat S2TT) performancën e modelit tonë të drejtpërdrejtë S2TT në atë të modeleve në kaskadë, domethënë, kombinimet e modeleve WHISPER ASR dhe modeleve NLLB T2TT. SEAMLESSM4T-V2 tejkalon modelet në kaskadë me më pak se 3B parametrat në drejtimet X-eng me 4.6 pika BLEU (nga 22.0 në 26.6) dhe në drejtimet eng-X me 1 pikë BLEU (nga 21.1 në 22.2). Këto modele tejkalojnë parametrat 4B dhe janë tejkaluar kryesisht nga SEAMLESSM4T-V2 në X-eng (+3.9); ata vetëm paksa tejkalojnë SEAMLESSM4T-V2 në drejtimet eng-X me 0.2 pikë BLEU. 3 3 Krahasuar me modelet e mëparshme të drejtpërdrejta S2TT SOTA që kanë mbetur prapa sistemeve në kaskadë (p.sh., AUDIOPALM-2-8B-AST. ref. ), SEAMLESSM4T-V2 përmirëson vlerësimin FLEURS X-eng S2TT BLEU me 6.9 pikë (nga 19.7 në 26.6; që është, një përmirësim prej 35%). 21 tryezë (Kolonat S2ST) gjithashtu krahason S2ST midis modeleve SEAMLESSM4T dhe modeleve në kaskadë. Për S2ST, ne eksplorojmë dy opsione për kaskadimin: (1) tre-fazë me ASR, T2TT dhe TTS dhe (2) dy-fazë me S2TT dhe TTS. Të dy llojet e sistemeve në kaskadë mbështeten në një model TTS për të sintetizuar fjalimin e përkthyer, dhe për këtë ne përdorim YOURTTS Kur të sintetizoni gjuhën angleze dhe MMS kur sistemi sintetizon fjalimin në 26 gjuhët jo-angleze të krahasimit (kryqëzimi midis mbështetjes së SEAMLESSM4T dhe mbështetjes së sistemeve TTS të MMS). SEAMLESSM4T-LARGE ynë i tejkalon modelet e kaskaduara në dy faza në drejtimet FLEURS X–eng me 8 pikë ASR-BLEU (17.8–25.8). Ajo gjithashtu tejkalon këtë udhëzues në S2 FSTLE Xeng – me një mesatare shtesë prej +3.9 ASR-BLEU pikësh (25.8–29.7). Në CVSS, SEAMLESSM4T-V2 përmban 2.1 pikë ASR-BLEU (23.7–25.8). Modeli i përmirësuar SEAMLESSM4T-V2 përforcon më tej modelin e tij të 3 22 23 Ne ndajmë në seksionin e informacionit shtesë rezultatet e vlerësimit për detyrat e S2TT dhe S2ST me metrics shtesë, duke përfshirë modalitetin tonë-agnostic BLASER 2.0. IV.1 Të Rezultatet e multitasking Ne raportojmë në tryezë rezultatet në referencën FLEURS për detyrat e ASR dhe zero-shot T2ST (X–eng dhe eng–X), dhe referencën përkatëse FLORES për T2TT (X–eng dhe eng–X). mbi mbivendosjen e 77 gjuhëve të mbështetura me një reduktim WER prej 46% (nga 41.7 në 22.6), ndërsa SEAMLESSM4T-V2 përmirësohet mbi WHISPER-LARGE-V2 me 56% (nga 41.7 në 18.5). Për MMS SEAMLESSM4T-V2 tejkalon variantet e MMS të vlerësuara me CTC me më shumë se 38% WER (nga 31.0 në 19.1), por është tejkaluar nga variantet që përfitojnë nga modelet e gjuhës monolingual n-gram (5% më mirë WER me 18.6). 4 20 9 23 Në detyrën e mbështetjes T2TT, rezultatet në Tabelë tregojnë se modelet tona SEAMLESSM4T janë në krahasim me NLLB-3.3B (ref. në të dy drejtimet X-eng dhe eng-X. 4 6 We next evaluated SEAMLESSM4T models on the task of T2ST in a zero-shot way. Given that FLEURS collected three recordings by three different native speakers for each sample, we randomly selected one for the task of T2ST (the input being text). We report in Table (kolonat T2ST) një krahasim midis modeleve SEAMLESSM4T dhe modeleve në kaskadë me NLLB dhe ose YOURTTS (English TTS) ose MMS (non-English TTS) për sintetizimin e tekstit të përkthyer. Ne mesatarisht rezultatet ASR-BLEU mbi 88 drejtime X-eng (përmbledhja midis FLEURS dhe gjuhëve të mbështetura nga SEAMLESSM4T). Ne gjithashtu mesatarisht ASR-BLEU mbi 26 drejtime eng-X (përmbledhja e SEAMLESSM4T me modele TTS të MMS). Krahasuar me modelet në kaskadë, aftësia zero-shot e SEAMLESSM4T-LARGE V2 është në krahasim me NLLB-3.3B + YOURTTS në X 4 Për të kuptuar më tej se nga vijnë përmirësimet në drejtimet FLEURS S2TT X-eng, ne bucketed gjuhët sipas nivelit të burimeve (shih listën e saktë të gjuhëve në Tabelën shtesë ) dhe raportojnë rezultatet mesatare BLEU për nivelin e burimeve në Tabelë . The results show that SEAMLESSM4T strongly improves the quality of translating from low-resource languages with an improvement of +10.2 BLEU (from 18.0 to 28.2, that is, 57% improvement over AUDIOPALM-2-8B-AST). We also average in column Low* over low-resource directions that are supervised in AUDIOPALM-2-8B-AST. The gain of +7.8 BLEU in that subset of directions suggests that this improvement goes beyond sheer supervision but instead should be attributed to the quality of supervised data and the training recipes. 12 5 Vlerësimi automatik dhe njerëzor Saktësia semantik në përkthimin e fjalës në përgjithësi vlerësohet me metrikën automatike BLEU për S2TT ose zgjerimi i saj ASR-BLEU për S2ST. Për më tepër, ne përdorim BLASER 2.0 (ref. ), an extension of BLASER , e cila tani mundëson vlerësimin modaliteti-agnostik dhe vlerësimin e cilësisë për të dy fjalën dhe tekstin. 10 24 25 Për të plotësuar dobishmërinë e metrikës automatike, ne gjithashtu u mbështetëm në vlerësimin e gjerë njerëzor të modeleve tona.Në vijim, ne ofrojmë vlerësimin njerëzor për detyrat S2TT dhe S2ST me protokollin XSTS (shembullsia e tekstit semantik ndër-gjuhësor) MOS (Mean Opinion Score) protokoll për prodhimin e fjalës (shih “Të Megjithatë, ne mbulojmë një numër të kufizuar të modeleve (SEAMLESSM4T-LARGE, SEAMLESSM4T-LARGE V2 dhe një bazë të bazuar të përbërë nga WHISPER-LARGE-V2 për ASR, NLLB 3.3B për përkthim dhe YOURTTS ose MMS për TTS për detyrën S2ST) dhe udhëzimet e përkthimit (23 gjuhë nga dhe në anglisht, 10 gjuhë X-eng për MOS) për shkak të kufizimeve të burimeve. 26 Metodat Human evaluation Rezultatet e XSTS tregojnë se SEAMLESSM4T-LARGE V2 i tejkalon të dy sistemet e bazës së kaskaduar dhe SEAMLESSM4T-LARGE në aspektin e vlerësimit të mesëm të gjuhës dhe shkallës së fitimit të XSTS (pjesa e gjuhëve të vlerësuara për të cilat performanca e XSTS është më e lartë), për të gjitha detyrat dhe drejtimet e gjuhës me besim të lartë. Për detyrën S2ST, ku performanca relative e SEAMLESSM4T-V2 ishte më e fortë, shkalla e fitimit e qasjeve SEAMLESSM4T-V2 është 100% krahasuar me bazën e kaskaduar dhe SEAMLESSM4T-LARGE për të dy drejtimet X-eng dhe eng-X, me shkalla mesatare dhe për rezultatet e nivelit të plotë të gjuhës dhe të përmbledhura të XSTS, respektivisht. 22 24 Ne gjithashtu matim cilësinë e prodhimit të fjalës për S2ST duke përdorur një protokoll Mean Opinion Score që vlerëson (1) cilësinë e zërit, (2) qartësinë e fjalës dhe (3) natyrshmërinë. ne gjejmë se në përgjithësi, në të gjitha aspektet e MOS, SEAMLESSM4T-LARGE V2 ka tendencë të jetë i preferuar për SEAMLESSM4T-LARGE, e cila ka tendencë të jetë e preferuar për bazat e modeleve në kaskadë, me përjashtim të X-eng, për të cilën gjeneratat SEAMLESSM4T-LARGE janë të preferuara fuqishëm (+1 pikë diferencë mesatare midis gjeneratave SEAMLESSM4T-LARGE dhe SEAMLESSM4T-LARGE V2), një rezultat i papritur që mund të jetë dhe për rezultatet e nivelit të plotë të gjuhës dhe MOS të përmbledhur, respektivisht. 23 24 Duke përdorur vlerësimet XSTS të detyrës S2ST, BLASER 2.0 (e mesme mbi të gjitha elementet e vlerësimit në një drejtim të dhënë të gjuhës) arrin korrelime Spearman superior me rezultatet e kalibruara të nivelit të gjuhës XSTS në të dy drejtimet X-eng (0,845 për BLASER 2.0 krahasuar me 0,74 për ASR-BLEU) dhe në veçanti për drejtimin eng-X (0,81 për BLASER 2.0 krahasuar me 0,246 për ASR-BLEU). për rezultate të plota). 21 Finally, we tested our models for robustness in terms of noise and speaker variations by creating open robustness benchmarks based on FLEURS (see “Të Për këtë qëllim, ne gjejmë se SEAMLESSM4T-V2 është, mesatarisht, rreth 42% dhe 66% më rezistent ndaj zhurmës së sfondit dhe ndryshimit të altoparlantit, respektivisht, kur krahasohet me WHISPER-LARGE-V2 (shih rezultatet e plota në seksionin e Informacioneve shtesë). ) të Metodat Robustë V.2 të Përgjegjës AI Toksikologji Toksiciteti mund të përcaktohet si shembuj të profanitetit ose të gjuhës që mund të inkurajojnë urrejtjen, dhunën ose abuzimin ndaj një individi ose grupi (të tilla si feja, raca ose gjinia).Kur bëhet fjalë për klasifikuesit masivisht shumëgjuhësh të toksicitetit për tekstin, Toolkit ETOX duket të jetë opsioni i vetëm i hapur me mbulimin më të madh gjuhësor. Në kontekstin e përkthimit të fjalës, ne u shqetësuam kryesisht për toksicitetin e shtuar – futjen në përkthime të elementeve toksike që nuk janë të pranishme në shprehjet burimore. dhe kohët e fundit, për dhjetëra gjuhë me MuTox . 27 28 29 Prandaj, për zbulimin e toksicitetit multilingual të fjalës dhe tekstit, ne kemi përdorur ETOX (ose ASR-ETOX për S2ST) dhe MuTox (të dyja për fjalën dhe tekstin) si metrikë për të zbuluar dhe vlerësuar toksicitetin e shtuar. Për zbutjen e toksicitetit, ne kemi zbatuar dy teknika për të trajtuar toksicitetin e shtuar. Para trajnimit, ne filtruam çiftet e trajnimit me toksicitet të pabalancuar. Në kohën e shkarkimit (shih “Të “Është 11 Metodat Detektimi i toksicitetit Ne llogaritëm toksicitetin e shtuar në dy grupe të të dhënave (FLEURS dhe HOLISTICBIAS ) përgjatë 24 drejtimeve të përkthimit me anglisht (arb, ben, cat, ces, dan, deu, est, fin, fra, hin, ind, ita, nld, pes, pol, por, rus, slk, spa, swh, tgl, tur, urd, vie), duke përdorur gjuhët në kryqëzimin e mbulimit të sistemeve dhe MuTox duke u referuar (vini re se MuTox ka mbulim më të gjerë gjuhësor, i ngjashëm me SONAR, por është referuar vetëm në 30 gjuhë ). See results with more translation directions evaluated with ETOX in Supplementary Information section tryezë tregon se edhe pse nivelet dhe llojet e toksicitetit të shtuar ndryshojnë në mënyrë të konsiderueshme si një funksion i gjuhës dhe i grupit të të dhënave, toksiciteti i shtuar në sistemet tona ka një përhapje relativisht të ulët, në përputhje me dy metrikat tona të zbulimit të toksicitetit (<0.4%). shows that MinTox is capable of mitigating added toxicity consistently. The lowest toxicity for all modalities, directions and datasets is consistently obtained with SEAMLESSM4T-V2 + MinTox, achieving reductions of toxicity up to 5% in terms of MuTox (and up to 80% in terms of ETOX) when comparing with the same model without using MinTox, and up to 20% in terms of MuTox (up to 90% in terms of ETOX) when comparing with the baseline (see complete results in Supplementary Information section ) të 27 29 1 të 6 6 1 të Gender bias Gender bias in the context of MT can be defined as errors in grammatical gender determination. This bias may manifest explicitly as an overgeneralization to one gender when translating non-gendered to gendered forms (for example, outputs favouring masculine representations) or as a lack of robustness when varying the quality of the translation for sentences that differ only in gender inflection. Previous work on this matter is mostly in the text modality , , dhe ka tendencë të jetë angleze-centrike, me pak boshe demografike dhe referenca shumëgjuhësore. , . 30 31 32 33 34 We used MULTILINGUAL HOLISTICBIAS and its speech extension to compare the performance of S2TT and S2ST. The eng–X direction enables comparing performance in the presence of masculine or feminine references, and the X–eng direction enables robustness comparisons in translations when we alter gender inflection. A typical example of the English–Spanish language pair would be ‘I’m a homemaker’ and the corresponding translations ‘Soy amo de casa’ and ‘Soy ama de casa’ in Spanish. When translating from English to Spanish, we can measure if the system overgeneralizes to one gender, whereas in the other direction, we can evaluate the robustness of the translation to gender inflection (see , ‘ ’). 35 Methods Speech extension of MULTILINGUAL HOLISTICBIAS We conducted a set of comprehensive evaluations on translation biases for S2TT and S2ST (see Extended Data Table for average results and Supplementary Information section for detailed results). SEAMLESSM4T-V2 consistently improves robustness in gender variations across metrics and tasks. When compared with the previous model, SEAMLESSM4T-V2 improves over SEAMLESSM4T-LARGE by 0.4% in S2TT and by 0.1% BLASER 2.0 in S2ST, and it beats the external baseline system of WHISPER-LARGE-V2 (+YOURTTS) by 0.1% in S2TT and by 0.9% BLASER 2.0 for S2ST. However, SEAMLESSM4T-V2 is not able to consistently improve in terms of gender overgeneralization compared with the previous model. SEAMLESSM4T-V2 is comparable in terms of BLASER 2.0 to SEAMLESSM4T-LARGE, but it lags far behind in terms of ASRchrf (by 2.2%), and overgeneralization is increased by 0.2% when it comes to S2TT. Although we can increase bias robustness by improving the overall quality of the model, it seems that we need specific techniques to counteract the overgeneralization of the model towards a specific gender. 3 VI.2 Social impact and conclusion The world we live in has never been more interconnected—the global proliferation of the internet, mobile devices, communicative platforms and social media exposes individuals to more multilingual content than ever before Rendi aktual shoqëror vë një kërkesë për gatishmërinë botërore të një personi. , a measure of how competent a person is to take on the polyglot world. Initially developed in the context of language learning, world-readiness underscores the importance of being able to communicate in languages beyond our mother tongue for both instrumental (that is, employment or schooling) and cultural reasons (that is, to become a global citizen). That said, although we believe that language acquisition should remain a key mechanism for boosting our world-readiness, we acknowledge that doing so requires resources many people may not possess. 36 12 The downstream applications that SEAMLESSM4T supports could allow on-demand access to world-readiness by streamlining multilingual exchange across various contexts. SEAMLESSM4T-supported applications could act as a co-piloting mechanism that supports users in multilingual conversations and boosts their confidence in speech-heavy interactions. As speech-based interfaces (for example, audio assistants, voice memos and live transcriptions) and auditory content (for example, podcasts, audiobooks and short-form videos) become ever more present, SEAMLESSM4T-enabled downstream applications could unlock a greater variety of multilingual experiences. Nga këndvështrimi i përfshirjes, fokusi i SEAMLESSM4T në multimodalitet mund të bëjë një ndryshim kuptimplotë në rritjen e gatishmërisë botërore të atyre me nevoja të aksesueshmërisë dhe atyre gjuhët e të cilëve mund të transkriptohen me sisteme të shumëfishta të shkrimit. Aftësia për të përkthyer fjalën u jep këtyre grupeve qasje më të plotë në informacion jo vetëm përtej gjuhëve të tyre amtare, por edhe në një mënyrë që është më e përshtatshme për nevojat e tyre komunikative. 37 As with most technologies, the distribution of benefits varies based on user demographics and social situation . Although we make the case that SEAMLESSM4T could augment world-readiness by lowering the barriers in cross-lingual communication, some users may experience more difficulties using our work than others. For instance, similar to many other speech technologies, the ASR performance of SEAMLESSM4T may vary based on gender, race, accent or language , . Moreover, the performance of our system in translating slang or proper nouns may also be inconsistent across high and low-resource languages. 38 39 40 Another challenge for S2ST is that speech tends to hinge on immediate reception and feedback more than written language does. In other words, speakers are limited in their ability to ascertain the quality of an output or make edits in a live conversation. Without the ability to plan and revise with the help of back-translation or a native speaker, S2ST may carry higher degrees of interactional risk when it comes to mistranslations or toxicity. We urge researchers and developers who fine-tune or build artefacts using SEAMLESSM4T to think critically about design features that could help users circumvent these potential obstacles. Importantly, we believe that SEAMLESSM4T-fueled applications should best be viewed as an augmentation device that assists in translation rather than a tool that replaces the need for language learning or reliable human interpreters. This reminder is especially pertinent in high-stakes situations involving legal or medical decision-making. Finally, speech is not spoken text—it encompasses a suite of prosodic (for example, rhythm, stress, intonation or tone) and emotional components that deserve further research . To create S2ST systems that feel organic and natural, more research should be directed at output generation that preserves expressivity Për më tepër, realizimi i plotë i Peshkut Babel kërkon investime më të thella në kërkime mbi përkthimin e fjalës me vonesë të ulët.Zhvillimi i sistemeve që mundësojnë transmetimin (dmth, përkthimi në mënyrë progresive i një fjale hyrëse ndërsa paraqitet) mund të rrisë miratimin e këtyre sistemeve në të gjitha kontekstet institucionale. , . We hope that SEAMLESSM4T opens up new possibilities for both these research areas. 41 42 43 44 Methods Data Zhvillimi i një sistemi të efektshëm përkthimi shumëgjuhësh dhe multimodal si SEAMLESSM4T kërkon burime të konsiderueshme në të gjitha gjuhët dhe modalitetet. Disa burime të etiketuara nga njeriu për përkthim janë të disponueshme lirisht, por shpesh kufizohen në një grup të vogël gjuhësh ose në fusha shumë specifike. Korpus i Kombeve të Bashkuara . A few human-created collections also involve the speech modality, such as CoVoST , and mTEDx . Yet no open dataset currently matches the size of those used in initiatives such as WHISPER or USM , which proved to unlock unprecedented performance. 45 46 47 48 49 20 50 Minierat paralele të të dhënave dalin si një alternativë për përdorimin e të dhënave të mbyllura, në aspektin e mbulimit të gjuhës dhe madhësisë së trupit. Qasja dominuese sot është të kodojë fjali nga gjuhë të ndryshme dhe modalitete në një hapësirë të përbashkët të ngulitur në madhësi dhe të gjej instancat paralele bazuar në një metrikë të ngjashmërisë. , . This approach was first introduced using the multilingual LASER space . Teacher–student training was then used to scale this approach to 200 languages , and, subsequently, the speech modality , . 51 52 53 6 16 54 55 Audio processing and speech LID We started with 4 million hours of raw audio originating from a publicly available repository of crawled web data on which we applied several cleaning and filtering operations. To maximize the recall of mining, it is important that all segments have a similar granularity. For the text domain, a sentence is generally well-defined. This is less obvious for raw speech because pauses are not necessarily used at sentence boundaries. First, we used an open Voice Activity Detection model për të ndarë fotografi audio në segmente më të shkurtra. Së dyti, një model i ri i zhvilluar i fjalës LID është aplikuar për secilin segment. modeli ynë ndjek arkitekturën ECAPA-TDNN and extends the open-source model trained on VoxLingua107 Më në fund, ne zbatuam një qasje të segmentimit të tepërt që propozoi në të njëjtën kohë segmentime të shumta, potencialisht të mbivendosura të fjalës. shows this pipeline. 56 13 14 1 SONAR The SONAR text and speech encoders were developed in ref. using a two-step approach (Supplementary Fig. ). First, a massively multilingual representation was learnt for the text modality only. Then, teacher–student training was used to extend the embedding space to the speech modality. The text embedding space was trained with an encoder–decoder approach using a combination of multiple objectives: translation, denoising auto-encoding and mean squared error (MSE) loss objective in the sentence embedding space. The training data were identical to those used to train the NLLB model , që është, të dhënat paralele për përkthim nga 200 në 200 gjuhë. koduesit e fjalës u trajnuan vetëm në të dhënat ASR dhe duke grupuar gjuhët në grupe gjenealogjike gjuhësore pas ref. , for example, Italic, Common Turkic or Indo-Iranian languages. To obtain optimal performance, we determined the optimal convergence separately for each language (that is, when to stop training). This yielded a separate speech encoder for each language. The amount of available ASR data for each language is provided in Supplementary Table . The speech encoders were initialized with w3v-best 2.0 speech front end. Preceding work performed max pooling or mean pooling of the output states of the speech front end to obtain a fixed-size embedding of the speech signal , . An ablation study has shown that better results can be obtained by using a three-layer transformer decoder Trajnimi mësues-student përbëhej nga minimizimi i humbjes së MSE-së në lidhje me futjen e transkripteve të tekstit ASR. Këto futje u morën nga encoder-i i tekstit SONAR, i cili u mbajt konstant. 8 2 6 16 8 54 57 8 SpeechAlign We first calculated the embeddings of all over-segmented speech segments. For the text domain, we used exactly the same texts as the NLLB project dhe i futën ato me encoder SONAR. krahasimi i hollësishëm në çift mund të kryhet në mënyrë efikase me setin e mjeteve FAISS . Similarity is measured with a margin criterium as first introduced in ref. : 6 58 52 where and are the source and target sentences, and ( ) denotes the nearest neighbours of in the other language. We set 16 të x y NNk x k x k As an example, this amounts to comparing a hundred thousand hours of speech with more than 20,000 million English sentences, which yielded about eight thousand hours of aligned Arabic speech. Modelling The SEAMLESSM4T models rely on our multitask UNITY architecture. Our proposed unified translation model builds on vanilla UNITY , a two-pass decoding framework that first generates text and subsequently generates speech by predicting discrete acoustic units (see section ‘ ’). Compared with the vanilla UNITY model , (1) the core S2TT model, initialized from scratch in UNITY, is replaced with an X2T model that supports text as input and is pretrained to jointly optimize the tasks of ASR, S2TT and T2TT (see section ‘ ’), dhe (2) modeli i sheshtë T2U (i referuar si encoder unit T2U dhe decoder unit të dytë-pass në ref. ) zëvendësohet me një model më të thellë encoder-decoder bazuar në transformator me gjashtë shtresat e transformatorit të cilat janë të para-trajnuara në të dhënat ASR (shih seksionin " Një version i përmirësuar i UNITY, i quajtur UNITY2, zëvendëson T2U autoregresiv me një dekoder të ri jo-autoregresiv (NAR) T2U. Ky model NAR T2U ofron saktësi më të fortë për shkak të marrjes së mostrave hierarkike nga nën-fjalët në karaktere dhe pastaj në njësitë. 59 Multilingual discrete acoustic units 59 X2T fine-tuning 59 S2ST Tuning të përsosur The pretraining of X2T yielded a stronger speech encoder and a higher quality first-pass text decoder, whereas the scaling and pretraining of the T2U model allowed us to better handle multilingual unit generation without interference. Furthermore, the switch to non-autoregressive T2U decoding improved S2ST inference speed by three times. Multilingual discrete acoustic units Punimet e fundit kanë arritur performancën e përkthimit të fundit duke përdorur njësitë akustike diskrete të vetë-mbikëqyrura si objektiva për ndërtimin e modeleve të përkthimit të drejtpërdrejtë të fjalës , . This consists of decomposing the S2ST problem into a speech-to-unit translation step and a unit-to-speech conversion step. We extracted continuous speech representations using XLS-R and mapped these representations to discrete tokens. The set of discrete tokens (also referred to as unit vocabulary) is learnt by applying a -means algorithm to a set of multilingual audio samples. The -means centroids resemble a codebook that is used to map a sequence of XLS-R speech representations into a sequence of centroid indices or acoustic units. We used a unit vocabulary size = 10,000 with features from the 35th layer of XLS-R-1B to represent the 35 supported target languages. 5 60 61 k k K Për hapin e konvertimit të njësisë në zë, ne kemi ndjekur ref. and built a multilingual vocoder for speech synthesis from the learnt multilingual units. This model is responsible for synthesizing audios from a sequence of units that SEAMLESSM4T models will predict. 62 Unsupervised speech pretraining Self-supervised pretraining with unlabelled speech audio data is a practical approach for leveraging unlabelled data. With pretraining, we can bootstrap the quality of translation models and make the most out of our supervised paired data. We pretrained a speech encoder following our improved W2V-BERT 2.0. It follows w2v-BERT W2V-BERT 2.0 përdor më shumë libra kodash dhe një detyrë shtesë parashikimi të maskuar duke përdorur kuantizatorët e projektimit të rastësishëm (RPQ). Our W2V-BERT 2.0 model is first trained on 1 million hours of open speech audio data that covers over 143 languages. It follows the w2v-BERT XL architecture , which has 24 Conformer layers and approximately 600 million model parameters. For the v2 version, we scaled up the amount of unlabelled data from 1 million to 4.5 million hours of audio. The most recent and publicly available multilingual speech pretrained model is MMS Ajo është trajnuar në vetëm 0.5 milion orë, duke mbuluar mbi 1,400 gjuhë. Është një model pronësor i para-trajnuar i foljes shumëgjuhësore me 12 milionë orë të të dhënave dhe më shumë se 300 gjuhë në mbulim. 63 64 63 65 23 50 Text-to-text translation models The text processing components of our SEAMLESSM4T models were pretrained on the task of text-to-text translation, a much more resourced task than speech translation. Consider, for instance, the English–Italian direction, one of the highly resourced pairs in T2TT with more than 128 million parallel sentences—only 2 million pairs of English text paired with Italian audio are available for S2TT. A key step in training multilingual text-to-text translation models is learning a shared vocabulary with a text tokenizer. Following ref. , we used SentencePiece with the BPE algorithm Tokenizeri i përdorur në NLLB-200 vuajnë nga mungesa e karaktereve kryesore kineze për shkak të artefakteve të marrjes së mostrave. Ky mostër nuk favorizon sistemet e shkrimit logo-grafike me një numër të madh të simboleve unike. Për të rregulluar këtë problem, ne kemi detyruar përfshirjen e këtyre karaktereve. tokenizeri ynë i ri përmirëson mbulimin e karaktereve më të mira kineze 5K të MTSU nga 54% në 84%. 6 66 67 6 Për të trajnuar modelin tonë shumëgjuhësor tekst-tekst, ne kemi ndjekur të njëjtat përgatitje të të dhënave dhe tubacione të trajnimit në ref. using STOPES Duke pasur një mbulim më të vogël të gjuhës na lejoi të zvogëlojmë ndjeshëm madhësinë e modelit në parametrat 1.3B dhe të përdorim vetëm të dhënat e trajnimit NLLB-200 në 95 gjuhët SEAMLESSM4T. 6 68 Data augmentation with pseudo-labelling As with any sequence-to-sequence task, speech translation performance is dependent on the availability of high-quality training data. However, the amount of human-labelled data is scarce compared with its T2TT or ASR counterparts. To address this shortage of labelled data, we resort to pseudo-labelling , the ASR data with a multilingual T2TT model (for example, NLLB models) to generate pseudo-labelled S2TT data. 69 70 Për të rritur të dhënat S2ST, është praktikë e zakonshme të përdorni modelet TTS për të kthyer tekstin nga setet e të dhënave të fjalës në tekst në fjalën sintetike. , Ky proces i nxjerrjes së njësive me dy hapa është një proces i ngadalshëm dhe është më i vështirë për t'u shkallëzuar për shkak të varësisë në modelet TTS. Ne kemi shmangur nevojën për të sintetizuar fjalën dhe kemi trajnuar modelet shumëgjuhësore tekst-për-njësi (T2U) në të gjitha 36 gjuhët e të folurit të synuar. Këto modele mund të konvertojnë drejtpërdrejt tekstin në njësitë e synuara diskrete dhe mund të trajnohen në grupet e të dhënave ASR që janë në dispozicion. 4 5 X2T fine-tuning Pjesa e parë kyçe e kornizës sonë multitask UNITY është modeli X2T, një model multi-encoder sequence-to-sequence me një encoder të bazuar në Conformer. for speech input and another transformer-based encoder for text input. Both encoders were joined with the same text decoder and fine-tuned jointly to optimize the tasks of ASR, S2TT and T2TT. 65 71 Our X2T model consists of joining the speech encoder, W2V-BERT 2.0 from M2, post-fixed with a length adapter to downsample long audio sequences, with the text encoder–decoder from M3 (Supplementary Fig. Për adaptorin e gjatësisë, ne kemi përdorur një version të modifikuar të M-adapter , in which we replaced the three independent pooling modules for Q, K and V with a shared pooling module to improve efficiency. 4 72 X2T u përshtat mirë në tripletet e të dhënave S2TT me zë audio ( Fjalë kyçe në gjuhën origjinale ⟩, paired with its transcription ( Përkthimi i tekstit ( text) in a target language ⟨ ⟩. To enable meaning transfer across modalities, X2T model was fine-tuned to jointly optimize the following objective functions: x ℓs x y lt Ne gjithashtu optimizuam një funksion ndihmës objektiv në formën e distilimit të njohurive në nivel token () për të transferuar më tej njohuritë nga modeli i fortë MT në detyrën e përkthimit të fjalës së studentit (S2TT). The final loss is a weighted sum of all three losses: where , and are scalar hyper-parameters tuned on the development data. α β γ S2ST Tuning të përsosur In the last stage of fine-tuning multitask UNITY, we initialized the model with the pretrained X2T model (see section ‘ ) dhe një model të para-trajnuar T2U, i ngjashëm me atë që përdoret për pseudo-etiketimin e të dhënave S2ST në M4. Modeli T2U i përdorur për pseudo-etiketimin është i referuar si modeli mësues T2U me 12 shtresat e transformatorit encoder–decoder. Për fillimin, ne kemi përdorur një model më të vogël student T2U me vetëm gjashtë shtresat për të optimizuar inferencën dhe distiluar etiketat e T2U më të fortë. Në versionin e dytë të SEAMLESSM4T, UNITY2 zëvendëson decoder-in e njësisë autoregressive të kalimit të dytë në UNITY me një decoder të njësisë NAR. Ne adoptuam arkitekturën e dekoderit të FastSpeech2 and extended it to discrete unit generation. UNITY2 starts with hierarchically upsampling the T2U encoder output from subword length to character length and then to unit length. The unit duration predictor, the key to the hierarchical upsampling, is supervised during training by a multilingual aligner based on RAD-TTS Arkitektura është treguar në detaje në seksionin e informacionit shtesë . X2T përshtatje e mirë 73 74 IV.8 We fine-tuned the S2ST task with a combination of X–eng and eng–X S2ST translation data totalling 121,000 h. We froze the model weights corresponding to the X2T model and only fine-tuned the T2U component. This is to ensure that the performance of the model on tasks from the previous stages of fine-tuning remains unchanged. Vlerësimi automatik dhe njerëzor BLASER 2.0 BLASER 2.0 (ref. ) është versioni i ri i BLASER , e cila punon me të dyja modalitetet e fjalës dhe tekstit, dhe për këtë arsye është modaliteti-agnostik. Ashtu si versioni i parë, qasja jonë përfiton nga ngjashmëria midis futjes dhe futjes së fjalisë. versioni i ri përdor SONAR embeddings Seksioni i informacionit shtesë , mbështet 57 gjuhë në folje dhe 202 në tekst (mbulesa e gjuhëve nga SONAR në kohën e dorëzimit të këtij artikulli) dhe mund të zgjerohet në koduesit e ardhshëm për gjuhë të reja ose modalitete që ndajnë të njëjtat hapësira të embedding. 24 75 III.3.1 Më konkretisht, në BLASER 2.0, ne marrim hyrjen burimore, prodhimin e përkthyer nga çdo model S2ST, S2TT ose T2TT, dhe segmentin referues të fjalës ose tekstit, dhe i konvertojmë ato në vektorë të embedding SONAR. Human evaluation Apart from automatic metrics such as (ASR) BLEU and BLASER 2.0, we used human metrics such as XSTS , e cila mat ngjashmërinë semantik midis një përkthimi burimor dhe një përkthimi të synuar, dhe një vlerësim standard të opinionit të mesëm (siç është standardizuar në Rekomandimin ITU-T P.800, më tej MOS), i cili mat (1) natyrshmërinë, (2) cilësinë e zërit dhe (3) qartësinë e gjeneratave audio për të vlerësuar modelet tona. Përveç XSTS, ne gjithashtu morëm vlerësime MOS për të kuptuar aspekte të tjera të cilësisë së zërit në fjalimin e synuar. . 26 6 V.1 Robustë Ne kemi ndërtuar një referencë të riprodhueshme të vlerësimit të zhurmës-robustness bazuar në FLEURS (zhurmë FLEURS), e cila mbulon 102 gjuhë, dy detyrat e fjalës (S2TT dhe ASR), dhe lloje të ndryshme të zhurmës (zhurma natyrore dhe muzikë). on the ‘noise’ and ‘music’ categories and mixed them with the original FLEURS speech audios under different signal-to-noise ratio (SNR): 10, 5, 0, −5, −10, −15 and −20. We compared models by BLEU-SNR curves (for S2TT) or WER-SNR curves (for ASR), which illustrate the degree of model performance degradation when the noise level of speech inputs increases (that is, when SNR decreases). For low-resource languages, the clean speech setup is already challenging, let alone a noisy one. Thus, we focused on four high-resource languages (French, Spanish, Modern Standard Arabic and Russian) belonging to three different language families for our noise-robustness analysis. 76 We followed ref. to evaluate model robustness against speaker variations by calculating the average by-group mean score and by-group coefficient of variation using an utterance-level quality metric. Instead of using BLEU as the quality metric, we used chrF, which has better stability at the utterance level. The calculation of both robustness metrics does not require explicit speaker subgroup labels. We grouped evaluation samples and corresponding utterance-level chrF scores by content (transcript) and then calculated the average by-group mean score chrFMS and average by-group coefficient of variation CoefVarMS, defined as follows: 47 ku Të dy metrikat janë komplementare: chrFMS siguron një metrikë të normalizuar të cilësisë që, ndryshe nga metrikat konvencionale të nivelit të korpusit, merr në konsideratë variacionet e folësit, ndërsa CoefVarMS siguron një masë të standardizuar të variacionit të cilësisë nën variacionet e folësit. Për analizën e qëndrueshmërisë, ne kemi kryer një vlerësim jashtë fushës në FLEURS në të gjitha gjuhët që kanë të paktën 40 grupe përmbajtjeje në grupet e testimit. G Përgjegjës AI Detektimi i toksicitetit Inspired by ASR-BLEU, this work proposes using ASR-ETOX as a new metric to detect added toxicity in speech and evaluate added toxicity for S2ST ability of SEAMLESSM4T. Essentially, this metric follows a cascaded framework by first deploying a standard ASR module (that is, the same that is used for ASR-BLEU as defined in Supplementary Table ), pastaj modulin e zbulimit të toksicitetit, ETOX , i cili përdor listat e fjalëve Toxicity-200 . For S2TT, the translated output can be directly evaluated with ETOX. In both cases (S2ST and S2TT), we measured added toxicity at the utterance or sentence level. We first computed toxicity detection for each input in the evaluation dataset and the corresponding output. Then, we compared them and counted a case as containing added toxicity only when the output value exceeds that of the input. Moreover, we used the recently proposed MuTox metric that can be applied to text or speech output with no need for ASR. This classifier has been trained on both speech and text toxicity labelled data for 30 languages. As MuTox relies on SONAR embeddings , MuTox the same number of languages by the zero-shot property. However, accounting for validated quality, we report MuTox only the languages that have been benchmarked Përsëri në të dyja rastet (S2ST dhe S2TT), ne matëm toksicitetin e shtuar në nivelin e shprehjes ose të fjalisë. Në këtë rast, një fjali përmban toksicitet të shtuar nëse rezultatet e MuTox janë >0.9 në prodhim dhe <0.5 në hyrje. Ne kemi validuar eksperimentalisht këto kufi për disa gjuhë me folës të dyfishuar njerëzorë për disa palë gjuhë. Për S2TT, ne llogaritëm MuTox në fjalën e transkriptuar dhe tekstin e synuar. 2 27 6 29 29 Për zbutjen e toksicitetit, ne zbatojmë dy teknika për zbutjen e toksicitetit të shtuar. Para trajnimit, ne filtrojmë çiftet e trajnimit me toksicitet të pabalancuar. Për më tepër, ne përdorim Mintox at inference time. In particular, the main workflow generates a translation hypothesis with an unconstrained search. Then, the toxicity classifier is run on this hypothesis. If no toxicity is detected, we provide the translation hypothesis as it is. However, if toxicity is detected in the output, we run the classifier on the input. If the toxicity is unbalanced (that is, no toxicity is detected in the input), we re-run the translation with mitigation, which is the BEAMFILTERING step. This BEAMFILTERING consists of taking as input the multi-token expressions that should not appear in the output and excluding them from the beam-search hypotheses. Note that we do not apply mitigation in cases in which there is toxicity in the input (in other words, we do not deal with cases in which there is toxicity in the input but more toxicity in the output). 11 Ne përdorëm dy grupe të të dhënave për të analizuar toksicitetin e shtuar. Së pari, ne vendosëm FLEURS për t'u përshtatur më mirë me përpjekjet tona të vlerësimit njerëzor dhe komponentët e tjerë të vlerësimit të kësaj pune. , e cila është treguar të shkaktojë toksicitet të vërtetë të shtuar në studimet e mëparshme . In this work, we extend HOLISTICBIAS to speech by applying the default English TTS model from MMS . 77 27 23 Fjalë kyçe multilingual holisticbias To compare the performances across modalities (S2ST and S2TT), we extended MULTILINGUAL HOLISTICBIAS to speech (Në Ne përdorëm këto të dhëna TTS të gjeneruara si hyrje për S2TT dhe S2ST dhe si referencë për S2ST. Ne kryem përkthimet në dy drejtime: eng–X dhe X–eng. Konkretisht, në X–eng, ne përkthyem të dyja versionet mashkullore dhe femërore të fjalës. Vlen të përmendet se disa gjuhë të synuara nuk janë në dispozicion në modelin SEAMLESSM4T S2ST, kështu që ne kryem përkthime në vetëm 17 gjuhë për detyrën S2ST në drejtimin eng–X. Për S2TT në eng–X, ne kemi të gjitha gjuhët të përfshira në grupin e të dhënave MULTILINGUAL HOLISTICBIAS ( = 25).Për referencë, lista e plotë e gjuhëve të përdorura në eksperimentet tona mund të gjendet në Tabelën shtesë . 23 https://github.com/facebookresearch/fairseq/tree/main/examples/mms#tts-1 n 26 Në aspektin e metrikave të vlerësimit për S2TT, ne kemi përdorur chrF. Për S2ST, ne kemi përdorur ASRchrf (transcription është bërë nga WHISPER-LARGE dhe WHISPER-MEDIUM for eng–X and X–eng, respectively, and chrF has been calculated the same way as S2TT except that in S2ST, the text from both prediction and reference were normalized) and BLASER 2.0. It is worth noting that when evaluating on BLASER 2.0, we only included 14 languages (arb, cat, deu, eng, fra, nld, por, ron, rus, spa, swe, tha, ukr and urd) for the eng–X direction (overlapping languages from the generated TTS data and the languages available in our S2ST model). 20 Disponueshmëria e të dhënave Për të bërë punën tonë të disponueshme për komunitetin, ne ofrojmë burim të hapur të grupeve të të dhënave, modeleve dhe kodit në GitHub ( ): (1) modelet SEAMLESSM4T, duke përfshirë peshat e modeleve për SEAMLESSM4T-LARGE (2.3B parametrat) dhe SEAMLESSM4T-MEDIUM (1.2B parametrat), si dhe kodin e tyre të konkludimit dhe recetat e përshtatjes së hollë të fuqishme të paketës sonë të re të modeleve FAIRSEQ2 ( (2) Mjetet për krijimin e të dhënave të foljes së rregulluar, duke përfshirë metadat, për të ricikluar 470,000 orë të pafiltruara të tubacioneve SEAMLESSALIGN, STOPES ( (Për shembull, në gjuhën shqipe, në gjuhën shqipe, në gjuhën shqipe, në gjuhën shqipe, në gjuhën shqipe) ) dhe (3) një model i vlerësimit automatik S2ST pa tekst, BLASER 2.0, duke përfshirë peshimet e modelit dhe skripte të inferencës. https://github.com/facebookresearch/seamless_communication https://github.com/facebookresearch/fairseq2 https://github.com/facebookresearch/stopes https://github.com/facebookresearch/SONAR Referencë Lavie, A. et al. Janus-III: speech-to-speech translation in multiple languages. In Vol. 1, 99–102 (IEEE, 1997). Proc. 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing Wahlster, W. (ed.) (Springer, 2000). Verbmobil: Foundations of Speech-to-Speech Translation Nakamura, S. et al. The atr multilingual speech-to-speech translation system. , 365–376 (2006). IEEE Trans. Audio Speech Lang. Process. 14 Article Google Scholar Jia, Y. et al. Direct speech-to-speech translation with a sequence-to-sequence model. In , 1123–1127 (ISCA, 2019). Proc. Interspeech 2019 Lee, A. et al. Direct speech-to-speech translation with discrete units. In (eds Muresan, S. et al.) Vol. 1, 3327–3339 (Association for Computational Linguistics, 2022). Proc. 60th Annual Meeting of the Association for Computational Linguistics NLLB Team Scaling neural machine translation to 200 languages. , 841–846 (2024). Nature 630 Article CAS Google Scholar Agarwal, M. et al. Findings of the IWSLT 2023 evaluation campaign. In (eds Salesky, E. et al.) 1–61 (Association for Computational Linguistics, 2023). Proc. 20th International Conference on Spoken Language Translation (IWSLT 2023) Duquenne, P.-A., Schwenk, H. & Sagot, B. SONAR: sentence-level multimodal and language-agnostic representations. Preprint at (2023). https://arxiv.org/abs/2308.11466 Popović, M. chrF: character n-gram F-score for automatic MT evaluation. In (eds Bojar, O. et al.) 392–395 (Association for Computational Linguistics, 2015). Proc. Tenth Workshop on Statistical Machine Translation Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (Association for Computational Linguistics, 2002). Proc. 40th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. R., Dale, D., Elbayad, M. & Yu, B. Added toxicity mitigation at inference time for multimodal and massively multilingual translation. In (eds Scarton, C. et al.) Vol. 1, 360–372 (European Association for Machine Translation, 2024). Proc. 25th Annual Conference of the European Association for Machine Translation ACTFL. World-readiness standards for learning languages. (2023). https://www.actfl.org/educator-resources/world-readiness-standards-for-learning-languages Desplanques, B., Thienpondt, J. & Demuynck, K. ECAPA-TDNN: emphasized channel attention, propagation and aggregation in TDNN based speaker verification. In (eds Meng, H. et al.) 3830–3834 (ISCA, 2020). Proc. Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event Valk, J. & Alumäe, T. VOXLINGUA107: a dataset for spoken language recognition. In 652–658 (IEEE, 2021). Proc. 2021 IEEE Spoken Language Technology Workshop, Chen, M., Heffernan, K., Çelebi, O., Mourachko, A. & Schwenk, H. xSIM++: An improved proxy to bitext mining performance for low-resource languages. In (eds Rogers, A. et al.) Vol. 2, 101–109 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. In , 2101–2112 (eds Goldberg, Y. et al.) (Association for Computational Linguistics, 2022). Findings of the Association for Computational Linguistics: EMNLP 2022 Feng, F., Yang, Y., Cer, D., Arivazhagan, N. & Wang, W. Language-agnostic BERT sentence embedding. In (eds Muresan, S. et al.) Vol. 1, 878–891 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Conneau, A. et al. FLEURS: FEW-Shot Learning Evaluation of Universal Representations of Speech. In , 798–805 (IEEE, 2023). 2022 IEEE Spoken Language Technology Workshop (SLT) Zhang, Z.-H. et al. Speak foreign languages with your own voice: cross-lingual neural codec language modeling. Preprint at (2023). https://arxiv.org/abs/2303.03926 Radford, A. et al. Robust speech recognition via large-scale weak supervision. In , article no. 1182, 28492–28518 (ACM, 2023). Proceedings of the 40th International Conference on Machine Learning Rubenstein, P. K. et al. AudioPaLM: a large language model that can speak and listen. Preprint at (2023). https://arxiv.org/abs/2306.12925 Casanova, E. et al. YourTTS: towards zero-shot multi-speaker tts and zero-shot voice conversion for everyone. In , Vol. 162, 2709–2720 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Pratap, V. et al. Scaling speech technology to 1,000+ languages. , 1–52 (2024). J. Mach. Learn. Res. 25 Dale, D. & Costa-jussà, M. R. Blaser 2.0: a metric for evaluation and quality estimation of massively multilingual speech and text translation. In (eds Al-Onaizan, Y. et al.) 16075–16085 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: EMNLP 2024 Chen, P.-J. et al. Speech-to-speech translation for a real-world unwritten language. In (eds Rogers, A. et al.) 4969–4983 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: ACL 2023 Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In (eds Duh, K. & Guzmán, F.) Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proc. 15th Biennial Conference of the Association for Machine Translation in the Americas Costa-jussà, M. et al. Toxicity in multilingual machine translation at scale. In , 9570–9586 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: EMNLP 2023 Ghosh, S., Lepcha, S., Sakshi, S., Shah, R. R. & Umesh, S. DeToxy: a large-scale multimodal dataset for toxicity classification in spoken utterances. In 2022, 5185–5189 (2022); . Proc. Interspeech https://api.semanticscholar.org/CorpusID:247940269 Costa-jussà, M. R. et al. MuTox: universal multilingual audio-based toxicity dataset and zero-shot detector. In (eds Ku, L.-W. et al.) 5725–5734 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: ACL 2024 Stanovsky, G., Smith, N. A. & Zettlemoyer, L. Evaluating gender bias in machine translation. In (eds Korhonen, A. et al.) 1679–1684 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Levy, S., Lazar, K. & Stanovsky, G. Collecting a large-scale gender bias dataset for coreference resolution and machine translation. In (eds Moens, M. F. et al.) 2470–2480 (Association for Computational Linguistics, 2021). Findings of the Association for Computational Linguistics: EMNLP 2021 Costa-jussà, M. R. et al. Interpreting gender bias in neural machine translation: Multilingual architecture matters. , 11855–11863 (2022). Proc. AAAI Conf. Artif. Intell. 36 Google Scholar Costa-jussà, M. R., Basta, C. & Gállego, G. I. Evaluating gender bias in speech translation. In (eds Calzolari, N. et al.) 2141–2147 (European Language Resources Association, 2022). Proceedings of the Thirteenth Language Resources and Evaluation Conference Bentivogli, L. et al. Gender in danger? Evaluating speech translation technology on the MuST-SHE corpus. In (eds Jurafsky, D. et al.) 6923–6933 (Association for Computational Linguistics, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. et al. Multilingual holistic bias: Extending descriptors and patterns to unveil demographic biases in languages at scale. In , 14141–14156 (Association for Computational Linguistics, 2023). Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing Zuckerman, E. The polyglot internet. (2008). https://ethanzuckerman.com/the-polyglot-internet/ Belekar, A., Sunka, S., Bhawar, N. & Bagade, S. Voice based e-mail for the visually impaired. , 8–12 (2020). Int. J. Comput. Appl. 175 Google Scholar Wang, S., Cooper, N. & Eby, M. From human-centered to social-centered artificial intelligence: Assessing ChatGPT’s impact through disruptive events. (2024). Big Data Soc. https://doi.org/10.1177/20539517241290220 Koenecke, A. et al. Racial disparities in automated speech recognition. , 7684–7689 (2020). Proc. Natl Acad. Sci. USA 117 Article ADS CAS PubMed PubMed Central Google Scholar Ngueajio, M. K. & Washington, G. Hey ASR system! Why aren’t you more inclusive? Automatic speech recognition systems’ bias and proposed bias mitigation techniques. A literature review. In (eds Chen, J. Y. C. et al.) Vol. 13518, 421–440 (Springer, 2022). Proc. International Conference on Human-Computer Interaction Elbow, P. The shifting relationships between speech and writing. , 283–303 (1985). Coll. Compos. Commun. 36 Article Google Scholar Trilla, A. & Alias, F. Sentence-based sentiment analysis for expressive text-to-speech. , 223–233 (2013). IEEE Trans. Audio Speech Lang. Process. 21 Article Google Scholar Iranzo-Sánchez, J., Civera, J. & Juan, A. From simultaneous to streaming machine translation by leveraging streaming history. In , 6972–6985 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Rybakov, O. et al. Streaming Parrotron for on-device speech-to-speech conversion. Preprint at (2022). https://arxiv.org/abs/2210.13761 Koehn, P. Europarl: A parallel corpus for statistical machine translation. In , 79–86 (2005). Proceedings of Machine Translation Summit X: Papers Ziemski, M., Junczys-Dowmunt, M. & Pouliquen, B. The United Nations Parallel Corpus v1.0. In (eds Calzolari, N. et al.) 3530–3534 (European Language Resources Association, 2016). Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16) Wang, C., Pino, J., Wu, A. & Gu, J. CoVoST: a diverse multilingual speech-to-text translation corpus. In (eds Calzolari, N. et al.) 4197–4203 (European Language Resources Association, 2020). Proceedings of the Twelfth Language Resources and Evaluation Conference Wang, C., Wu, A., Gu, J. & Pino, J. CoVoST 2 and Massively Multilingual Speech Translation. In , 2247–2251 (ISCA, 2021). Proc. Interspeech 2021 Salesky, E. et al. The multilingual TEDx corpus for speech recognition and translation. In , 3655–3659 (ISCA, 2021). Proc. Interspeech 2021 Zhang, Y. et al. Google USM: scaling automatic speech recognition beyond 100 languages. Preprint at (2023). https://arxiv.org/abs/2303.01037 Schwenk, H. Filtering and mining parallel data in a joint multilingual space. In (eds Gurevych, I. & Miyao, Y.) Vol. 2, 228–234 (Association for Computational Linguistics, 2018). Proc. 56th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In (eds Korhonen, A. et al.) 3197–3203 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Duquenne, P.-A., Gong, H. & Schwenk, H. Multimodal and multilingual embeddings for large-scale speech mining. In (eds Ranzato, M. et al.) Vol. 34, 15748–15761 (Curran Associates, 2021). Advances in Neural Information Processing Systems Duquenne, P.-A. et al. SpeechMatrix: a large-scale mined corpus of multilingual speech-to-speech translations. In (eds Rogers, A. et al.) Vol. 1, 16251–16269 (2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Silero. Silero VAD: pre-trained enterprise-grade voice activity detector (VAD), number detector and language classifier. (2021). GitHub https://github.com/snakers4/silero-vad Khurana, S., Laurent, A. & Glass, J. SAMU-XLSR: Semantically-Aligned Multimodal Utterance-Level Cross-Lingual Speech Representation. , 1493–1504 (2022). IEEE J. Sel. Top. Signal Process. 16 Douze, M. et al. The Faiss library. Preprint at (2024). https://arxiv.org/abs/2401.08281 Inaguma, H. et al. UnitY: two-pass direct speech-to-speech translation with discrete units. In (eds Rogers, A. et al.) Vol. 1, 15655–15680 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Tjandra, A., Sakti, S. & Nakamura, S. Speech-to-speech translation between untranscribed unknown languages. In , 593–600 (IEEE, 2019). 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Babu, A. et al. XLS-R: self-supervised Cross-lingual Speech Representation Learning at Scale. In , 2278–2282 (ISCA, 2022). Proc. Interspeech 2022 Gong, H. et al. Multilingual speech-to-speech translation into multiple target languages. Preprint at (2023). https://arxiv.org/abs/2307.08655 Chung, Y.-A. et al. w2v-BERT: combining contrastive learning and masked language modeling for self-supervised speech pre-training. In , 244–250 (IEEE, 2021). 2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Chiu, C.-C., Qin, J., Zhang, Y., Yu, J. & Wu, Y. Self-supervised learning with random-projection quantizer for speech recognition. In , 3915–3924 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Gulati, A. et al. Conformer: convolution-augmented transformer for speech recognition. In , 5036–5040 (ISCA, 2020). Proc. Interspeech 2020 Kudo, T. & Richardson, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In (eds Blanco, E. & Lu, W.) 66–71 (Association for Computational Linguistics, 2018). Proc. 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Sennrich, R., Haddow, B. & Birch, A. Neural machine translation of rare words with subword units. In (eds Erk, K. & Smith, N. A.) Vol. 1, 1715–1725 (Association for Computational Linguistics, 2016). Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics Andrews, P. et al. stopes - modular machine translation pipelines. In (eds Che, W. & Shutova, E.) 258–265 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Jia, Y. et al. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In , 7180–7184 (IEEE, 2019). 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) Pino, J., Xu, Q., Ma, X., Dousti, M. J. & Tang, Y. Self-training for end-to-end speech translation. In , 1476–1480 (2020). Proc. Interspeech 2020 Vaswani, A. et al. Attention is all you need. In (eds Guyon, I. et al.) Vol. 30 (Curran Associates, 2017). Advances in Neural Information Processing Systems Zhao, J., Yang, H., Haffari, G. & Shareghi, E. M-Adapter: modality adaptation for end-to-end speech-to-text translation. In , 111–115 (ISCA, 2022). Proc. Interspeech 2022 Ren, Y. et al. FastSpeech 2: fast and high-quality end-to-end text to speech. In (2021). Proc. 2021 International Conference on Learning Representations Shih, K. J. et al. RAD-TTS: parallel flow-based tts with robust alignment learning and diverse synthesis. In (2021). ICML Workshop on Invertible Neural Networks, Normalizing Flows, and Explicit Likelihood Models Chen, M. et al. BLASER: A text-free speech-to-speech translation evaluation metric. In (eds Rogers, A. et al.) Vol. 1, 9064–9079 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Snyder, D., Chen, G. & Povey, D. MUSAN: a music, speech, and noise corpus. Preprint at (2015). https://arxiv.org/abs/1510.08484 Smith, E. M., Hall, M., Kambadur, M., Presani, E. & Williams, A. “I’m sorry to hear that”: finding new biases in language models with a holistic descriptor dataset. In (eds Goldberg, Y. et al.) 9180–9211 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing Acknowledgements Ne falënderojmë S. Edunov dhe A. Fan për ndihmën e tij në ndërtimin e përvojave më të mira; A. Bhoshevnikov për kontributin e tij në FAIRSEQ2 dhe SONAR inferencë; A. Ni dhe X. Zhang për udhëzimet e tij për hulumtime të reja të optimizimit të efikasitetit; B. Alastry, M. Anwar, H. J.- Chang, H. Han, C. W. Huang, T. Hohen, S. Hohen, H. Penguin, C. A. Penn, A. A., Wu për ndihmën e tyre me këshilla të reja të optimizimit të efikasitetit; A. A. A., A., A., A., A., A., A., A., A., A., A., A., A., A., A., A., A., A., A., Ky artikull është në dispozicion në natyrë nën licencën CC by 4.0 Deed (Attribution 4.0 International). Ky artikull është në dispozicion në natyrë nën licencën CC by 4.0 Deed (Attribution 4.0 International).