Táto AI môže počuť, preložiť a hovoriť späť v 100 jazykoch

Autori : Loïc Barrault Yu-an Chungová Názov: Mariano Coria Meglioli Dávid Dale Žiť Dong Paul-Ambroise Duquenneová Hady Elsahar Honkú Gong Názov Kevin Heffernan Ján Hoffman Krištof Klaiber Penzión Li Daniel Licht Jean Maillard Alice Rakotoarisonová Kašič Ram Sadagopan Guillaume Wenzeková Ethan Ye Autori : Loïc Barraultová Yu-an Chungová Názov: Mariano Coria Meglioli Dávid Dale Žiť Dong Paul-Ambroise Duquenneová Hady Elsaharová Honkú Gong Názov Kevin Heffernan Ján Hoffman Krištof Klaiber Penzión Li Daniel Svetlo Jean Maillardová Alice Rakotoarisonová Kašič Ram Sadagopan Guillaume Wenzeková Ethan Vy abstraktné Vytvorenie Babel Fish, nástroja, ktorý pomáha jednotlivcom preložiť reč medzi ľubovoľnými dvoma jazykmi, si vyžaduje pokročilé technologické inovácie a jazykové znalosti. , , , škálovateľné a vysoko výkonné jednotné systémy , Na odstránenie tejto medzery tu uvádzame SEAMLESSM4T – masívne viacjazyčný a multimodálny strojový preklad – jediný model, ktorý podporuje preklad reči do reči (101 až 36 jazykov), preklad reči do textu (z 101 do 96 jazykov), preklad textu do reči (z 96 do 36 jazykov), preklad textu do textu (96 jazykov) a automatické rozpoznávanie reči (96 jazykov). Postavený pomocou nového multimodálneho korpusu automaticky zarovnaných prekladov reči a iných verejne dostupných údajov, SEAMLESSM4T je jedným z prvých viacjazyčných systémov na preklad textu do reči (z 96 do 36 jazykov), ktorý dokáže preložiť z a do angličtiny úlohy pre reč aj text. Navyše tento vý 1 2 3 4 5 hlavné Babylonská ryba od je fiktívnym nástrojom, ktorý prekladá medzi dvoma jazykmi. V súčasnej globálnej krajine, charakterizovanej rastúcou vzájomnou prepojenosťou a mobilnou spoločenskosťou, sociálny imperatív aktualizovať tieto technológie a uľahčiť on-demand preklad reči do reči (S2ST) v digitálnom aj fyzickom svete nikdy nebol väčší. Napriek ústrednosti reči v každodennej komunikácii, systémy strojového prekladu (MT) dnes zostávajú textovo orientované. pre viac podrobností o tom, prečo by mala byť reč prioritou v MT. Hoci jednotné, unimodálne modely, ako napríklad Žiadny jazyk zostáva za (NLLB) Jednotné modely S2ST sú ďaleko od dosiahnutia podobného rozsahu alebo výkonu.Tento rozdiel by mohol byť pripísaný mnohým príčinám, ale nedostatok zvukových údajov a obmedzenia modelovania zostávajú kľúčovými prekážkami. Hitchhikerov sprievodca do galaxie I.1 sa 6 Existujúce systémy S2ST majú tri hlavné nedostatky. Po prvé, tieto systémy majú tendenciu sa sústrediť na jazyky s vysokými zdrojmi, pričom za sebou zanechávajú mnoho jazykov s nízkymi zdrojmi. Po druhé, tieto systémy väčšinou slúžia na preklad zo zdrojového jazyka do angličtiny (X-eng), nie naopak (eng-X). Po tretie, väčšina systémov S2ST sa silne spolieha na kaskádovanie niekoľkých subsystémov; napríklad automatické rozpoznávanie reči (ASR) + T2TT + text-to-speech (TTS). Hoci priame systémy existujú , , , nezodpovedajú výkonu svojich kaskádových náprotivkov Pozri časť Doplňujúce informácie Viac informácií o súčasnom technickom prostredí. 1 4 5 7 I.2 Zľavy Na riešenie týchto obmedzení predstavujeme SEAMLESSM4T (Massively Multilingual and Multimodal Machine Translation), jednotný systém, ktorý podporuje ASR, T2TT, preklad reči do textu (S2TT), preklad textu do reči (T2ST) a S2ST. Na tento účel sme vytvorili korpus viac ako 470 000 hodín automaticky zarovnaných prekladov reči (SEAMLESSALIGN) pomocou nového priestoru na vloženie vety (Sentence-level Multimodal and Language-Agnostic Representations, alebo SONAR). Potom sme spojili filtrovanú podskupinu tohto korpusu s ľudskými a pseudo-označenými údajmi, aby sme vyvinuli prvý multitaskingový systém, ktorý vykonáva S2ST z viac ako 100 jazykov do 36 jazykov, S2TT a ASR do 96 jazykov, nulový T2ST do 36 jazykov, ako aj T2TT pre 96 jazykov (pozri tabuľku). pre porovnávací prehľad jazykového pokrytia a sekcie Doplnkové informácie Vzhľadom na zjednotenú architektúru SEAMLESSM4T (obr. ), model môže vykonávať T2TT, S2TT alebo S2ST pre non-anglické smery (X-X) v nulovom režime. Môže tiež vykonávať T2ST bez toho, aby bol výslovne vyškolený pre túto úlohu. V dôsledku predtrénovania hlasového kódovača SEAMLESSM4T na veľkom množstve neoznačených hlasových údajov (pozri časť " Môže sa zaoberať výslovnosťami miešanými dvoma alebo viacerými jazykmi. 8 1 II 1 Neovládaná reč pred tréningom → The three main blocks of UNITY2 (S2ST fine-tuning) with its non-autoregressive (NAR) T2U are shown on the top left. Multitask-UNITY2 with its additional text encoder are shown on the bottom left. Break down of the components of SEAMLESSM4T-V2 (a multitask-UNITY2 model) are shown on the right with the side panel showing the teacher T2U model used for pseudo-labelling (M4). Na vyhodnotenie kvality výstupov nášho modelu sme použili niekoľko existujúcich metrík rozprestierajúcich sa cez úlohy a modality, ako aj štyri hlavné súbory údajov o hodnotení. pre T2TT, modrá pre S2TT, ASR-BLEU pre S2ST a WER pre ASR. pozri Doplnkovú tabuľku Pre podrobnosti sme tiež testovali naše modely na odolnosť voči hluku z pozadia alebo variabilite reproduktorov, ako aj iné fronty pre zodpovedné nasadenie, ako je rodová predsudok, pomocou dátových súborov MULTILINGUAL HOLISTICBIAS, alebo pridaná toxicita, pomocou nových metrík založených na reči (ASR-ETOX a MuTox). . 9 10 5 2 11 Okrem budovania SEAMLESSM4T diskutujeme aj o sociálnych dôsledkoch našej práce a o tom, ako môže prispieť k väčšej svetovej pripravenosti. v dlhodobom horizonte (pozri časť Na podporu budúceho výskumu sprístupňujeme dátové nástroje, kód a dve veľkosti modelov SEAMLESSM4T verejnosti na nekomerčné použitie. 12 Sociálny vplyv a záver V nasledujúcich častiach sledujeme kľúčové výsledky pri vývoji našich modelov SEAMLESSM4T. Po prvé, predstavujeme naše úsilie o ťažbu zosúladených hlasových a textových údajov, počnúc identifikáciou rečového jazyka až po ťažbu zosúladených rečových a textových segmentov pomocou modulárnych agnostických kódov. Ďalej uvádzame hlavné výsledky našich priamych prekladových systémov vyškolených čiastočne s vyššie uvedenými automaticky zosúladenými hlasovými údajmi. Tieto výsledky zdôrazňujú všestrannosť úloh modelov SEAMLESSM4T, ktoré dosahujú viacjazyčné špičkové výkony v ASR, T2TT, S2TT a S2ST. Potom podporujeme výsledky podnikov ľudskou analýzou. dátumy Školenie prekladateľských systémov vyžaduje označené údaje, t. j. údaje z textu na text a údaje z reči na reč. Avšak tieto zdroje sú veľmi obmedzené pre jazyky s nízkymi zdrojmi. a veľkú zbierku surovej reči a textov, ako je opísané v , automaticky získavať zosúladené zdroje, ktoré dopĺňajú existujúce údaje s ľudským označením a pseudo označením. 8 Metódy Jazyková identifikácia Spracovanie surovej reči z webu zahŕňa segmentovanie výslovností do kratších kúskov, po ktorých nasleduje identifikácia jazyka.Vybudovanie na modeli s otvoreným zdrojovým kódom vyškolenom na VoxLingua107 s architektúrou ECAPA-TDNN , , vyvinuli sme nový model identifikácie jazyka založený na reči (LID), ktorý pokrýva všetkých 100 jazykov uvedených v tejto práci (pozri , » » pre viac podrobností). 13 14 Metódy Audio spracovanie a reč LID Na meranie presnosti a odvolania modelov LID hlásime skóre F1 na testovaných údajoch v tabuľke rozšírených údajov Výsledky sú uvedené pre údaje o 100 jazykoch SEAMLESSM4T (celkovo) a 79 spoločných jazykoch medzi SEAMLESSM4T a VoxLingua107 (intersekcia). Všimnite si, že makro-F1 vo všetkých jazykoch pre VL107HF je nízka, pretože 21 jazykov nie je pokryté týmto modelom. Zistili sme, že školenie v ďalších jazykoch mierne znižuje celkový výkon pre spoločnú sadu jazykov, čo je priamy dôsledok vyššieho počtu blízkych jazykov. Napríklad Zulu (zul) je veľmi často zamieňaný s Nyanja (nya), Igbo (ibo) s Yoruba (yor) a Modern Standard Arabic (arb) s Moroccan Arabic (ary) a Egyptský Arabic (arz model). Náš zlepšuje 1 Sonar text vkladací priestor Na získanie automaticky zarovnaných prekladových údajov z jazykovo identifikovaných segmentov sa spoliehame na jazykové a modalitné agnostické kódovače. V súčasnosti poskytujeme jeden textový kódovač a dekodér pre 200 jazykov a hlasové kódovače pre 37 jazykov. Vo viacjazyčnom vyhľadávaní podobnosti, xsim a xsim++ sú dve známe proxy metriky hodnotenia viacjazyčných vkladacích priestorov na účely ťažby. , SONAR výrazne prevyšuje iné populárne prístupy, ako je LASER3 alebo LaBSE s nižším xsim a xsim++. 8 6 15 2 16 17 Priemerný výkon vo viac ako 200 jazykoch je konkurencieschopný v porovnaní so stredne veľkým hustým modelom NLLB, napriek nahradeniu encoder-decoder pozornosti v SONAR s fľašovým vkladaním fixnej veľkosti (pozri stĺpce T2TT rozšírenej tabuľky údajov). Tento výsledok dokazuje, že použitie pozornosti nie je podmienkou pre primeranú presnosť prekladu. 2 Tréningový kódovač reči Hovorové kódovače boli vyškolené s prístupom učiteľ-študent len na prepisy reči (pozri , » „). Hodnotenie iterácií každého kódovača reči v okruhu od konca k koncu, t. j. ťažba a výcvik prekladových systémov S2TT alebo S2ST, by bolo počítačovo náročné. Namiesto toho sme pripojili kódovač reči s textovým dekodérom SONAR a vyhodnotili tento nulový systém S2TT ako proxy pre kvalitu kódovača. , hlasové kódovače SONAR sa priaznivo porovnávajú s modelom ako WHISPER-LARGE-V2 na FLORES a kvety datasets, which was trained on massive amounts of supervised data. Gaps in accuracy can be observed in some high-resource languages such as German, Russian or Portuguese, but SONAR outperforms WHISPER-LARGE-V2 in several low-resource languages such as Swahili or Bengali (see Supplementary Table ) sa Metódy Sonár 2 6 18 8 Seamlessalign Textové a rečové kódovače SONAR boli použité na ťažbu troch typov zosúladených údajov: (1) anglická reč na neanglické texty (Sen2Txx); (2) neanglická reč na anglické texty (Sxx2Ten); a (3) neanglická reč na anglickú reč (Sxx2Sen). SEAMLESSALIGN poskytuje 202,796 hodín zvuku v Sen2Txx, 239,767 hodín zvuku v Sxx2Ten a 29,161 hodín zvuku v Sxx2En. Tieto zosúladené údaje boli vyťažené z celkového počtu 2,5M hodín surového zvuku (z čoho angličtina je takmer 40%). . 8 Pre textovú doménu používame rovnaké údaje konsolidované projektom NLLB Suma sa pohybuje od 33 miliónov alebo 55 miliónov viet pre jazyky s nízkymi zdrojmi, ako je maltčina alebo swahili, na 22 000 miliónov anglických viet. 6 S výnimkou maltského jazyka, pre ktoré sme mali prístup len k malému množstvu surového zvuku, sme boli schopní získať viac ako 100 hodín vyrovnávania reči s anglickou rečou pre všetky jazyky. vyrovnávania s anglickými textami dosiahli tisíc hodín pre väčšinu jazykov a prekročili 10 000 hodín pre jazyky s vysokým zdrojom. Pridanie takého veľkého množstva údajov na školenie viacjazyčného prekladateľského systému je podstatnou výpočtovou výzvou. , » Vzhľadom k tomu, že naše minované údaje môžu pomôcť podporiť mnoho rôznych prípadov použitia, otvorili sme meta-údaje potrebné na riadenie jeho rekreácie (až do prahu SONAR 1,15; pozri , » ’) umožniť komunite prestavať SEAMLESSALIGN a používať ho na vlastné účely. Optimálny prah sa tak dá nastaviť na základe úlohy, vyváženie veľkosti súboru údajov a kvality zarovnania. Metódy modelovanie Metódy Rozprávanie Modelovanie multitask prekladových systémov Kombinácia modelovacích techník opísaných v , » s ďalšími údajmi zo spoločnosti SEAMLESSALIGN (pozri , » ’), sme trénovali modely SEAMLESSM4T v dvoch veľkostiach: veľké s parametrami 2.3B a stredné s parametrami 1.2B. SEAMLESSM4T-MEDIUM má byť prístupným testovacím lôžkom na buď jemné nastavenie, zlepšenie alebo zapojiť sa do analýzy s. Ďalej sme trénovali vylepšenú verziu veľkého SEAMLESSM4T, prezývaný SEAMLESSM4T-V2, s lepším kódovačom reči (pozri , » ’) a výkonnejší jednotkový dekodér (pozri časť ‘ Všetky modely SEAMLESSM4T podporujú 96 zdrojových jazykov v textovej modalite a viac ako 100 zdrojových jazykov v reči. Na cieľovej strane môžu modely produkovať 96 jazykov v textovej forme a 35 jazykov v reči. a To ukazuje, že pre niektoré smery prekladu a vzhľadom na nedostatok dohliadaných údajov budú naše modely hodnotené nulovým záberom. Metódy modelovanie Metódy dátumy Metódy Neovládaná reč pred tréningom S2ST Fínske nastavenie 12 13 Hodnotili sme naše modely na všetkých štyroch dohliadaných úlohách (T2TT, ASR, S2TT a S2ST), ako aj na nulovej úlohe prekladu textu do reči (T2ST, tiež známej ako cezjazyčná syntéza textu do reči). Na vytvorenie textových hypotéz sme dekódovali pomocou beam-search. skóre sme dosiahli pomocou chrF2++ pre T2TT a BLEU pre S2TT. skóre BLEU merame pomocou SacreBLEU a podpisy poskytujeme v doplnkovej tabuľke. Pre ASR sme dosiahli skóre WER (stupeň chybovosti slov) na normalizovaných transkripciách a referenciách nasledujúcich po ref. . 19 2 20 Počas záveru S2ST a T2ST sme vykonali dekódovanie s dvoma priechodmi; najlepšia hypotéza z dekódovania s prvým priechodom je vložená s textovým dekodérom a je odoslaná do modulu text-to-unit (T2U; pozri časť " ’) hľadať najlepšiu jednotkovú sekvenčnú hypotézu. Použili sme šírku lúča 5 pre obe vyhľadávania. Vyhodnotili sme presnosť S2ST a T2ST s ASR-BLEU pomocou modelov WHISPER. Nastavili sme dekódovaciu teplotu WHISPER na nulu a použili chamtivé dekódovanie na zabezpečenie deterministického správania modelu ASR. Prepisované hypotézy, ako aj odkazy, sú normalizované podľa ref. pred výpočtom modré skóre. S2ST Fínske nastavenie 20 Porovnanie s kaskádovými prístupmi k prekladaniu reči Na súbore jazykov podporovaných SEAMLESSM4T a WHISPER, porovnáme v tabuľke (S2TT stĺpce) výkon nášho priameho modelu S2TT na model kaskádových modelov, konkrétne kombinácie modelov WHISPER ASR a modelov NLLB T2TT. SEAMLESSM4T-V2 prekonáva kaskádové modely s menej ako 3B parametrami v X-eng smeroch o 4,6 bodov BLEU (z 22.0 do 26.6) a v eng-X smeroch o 1 bod BLEU (z 21.1 do 22.2). Kaskádové modely s veľkým modelom NLLB-3.3B T2TT. Tieto modely prekračujú parametre 4B a sú do značnej miery prekonané SEAMLESSM4T-V2 v X-eng (+3.9); len marginálne prekonávajú SEAMLESSM4T-V2 v eng-X smeroch o 0,2 bodu BLEU. 3 3 V porovnaní s predchádzajúcimi modelmi S2TT SOTA, ktoré zaostávali za kaskádovými systémami (napr. AUDIOPALM-2-8B-AST. ref. ), SEAMLESSM4T-V2 zlepšuje skóre FLEURS X-eng S2TT BLEU o 6,9 bodu (z 19,7 na 26,6; to znamená zlepšenie o 35%). 21 stôl (S2ST stĺpce) tiež porovnáva S2ST medzi modelmi SEAMLESSM4T a kaskádovými modelmi. Pre S2ST skúmame dve možnosti kaskádovania: (1) trojstupňové s ASR, T2TT a TTS a (2) dvojstupňové s S2TT a TTS. Oba typy kaskádových systémov sa spoliehajú na model TTS na syntézu prekladaného prejavu, a na to používame YOURTTS Zdieľajte anglickú reč a MMS when synthesizing speech in the 26 non-English languages of comparison (overlap between the support of SEAMLESSM4T and the support of TTS systems of MMS). Our SEAMLESSM4T-LARGE outperforms the two-stage cascaded models on FLEURS X–eng directions by 8 ASR-BLEU points (17.8–25.8). It also outperforms stronger three-stage cascaded models (WHISPER-LARGE-V2 + NLLB-3.3B + YOURTTS) by 2.1 ASR-BLEU points (23.7–25.8). The improved SEAMLESSM4T-V2 further strengthen this lead on S2ST FLEURS X–eng with an additional +3.9 ASR-BLEU points (25.8–29.7). On CVSS, SEAMLESSM4T-V2 outperforms the two-stage cascaded model (WHISPER-LARGE-V2 + YOURTTS) by a large margin of 9.6 ASR-BLEU points (29.6–39.2). On FLEURS S2ST eng–X directions, we reduce the evaluation set to the 26 languages supported by both TTS of MMS and SEAMLESSM4T. The medium-size model (SEAMLESSM4T-MEDIUM) scores an average ASR-BLEU of 15.8. SEAMLESSM4T-LARGE achieves an average ASR-BLEU of 20.9 and with its improved speech encoder and non-autoregressive T2U model, SEAMLESSM4T-V2 further gains +5.2 ASR-BLEU points (20.9– 26.1). By contrast, the best three-stage cascaded system with MMS (WHISPER-LARGE-V2 + NLLB-3.3B + MMS) scores an average 22.7 ASR-BLEU, that is, SEAMLESSM4T-V2 surpasses state-of-the-art cascaded models by 15% (22.7–26.1). 3 22 23 Zdieľame v sekcii Doplnkové informácie výsledky hodnotenia pre úlohy S2TT a S2ST s dodatočnými metrikami, vrátane nášho modalitného agnostického BLASER 2.0. IV.1 Zoznam Multitasking výsledky Informujeme v tabuľke výsledky referenčnej hodnoty FLEURS pre úlohy ASR a zero-shot T2ST (X–eng a eng–X) a súvisiacej referenčnej hodnoty FLORES pre T2TT (X–eng a eng–X). on the overlapping 77 supported languages with a WER reduction of 46% (from 41.7 to 22.6), whereas SEAMLESSM4T-V2 improves over WHISPER-LARGE-V2 by 56% (from 41.7 to 18.5). We also compared in Supplementary Table proti MMS SEAMLESSM4T-V2 prevyšuje varianty MMS hodnotené s CTC o viac ako 38% WER (od 31,0 do 19,1), ale je prekonaný variantmi, ktoré využívajú monolingválne modely jazyka n-gram (5% lepšie WER s 18,6). 4 20 9 23 V úlohe podpory T2TT, výsledky v tabuľke ukázať, že naše modely SEAMLESSM4T sú na rovnakej úrovni ako NLLB-3.3B (ref. ) v oboch smeroch X-eng a eng-X. 4 6 Vzhľadom na to, že FLEURS zhromaždil tri nahrávky troch rôznych rodných reproduktorov pre každý vzorok, sme náhodne vybrali jeden pre úlohu T2ST (vstup je text). (stĺpce T2ST) porovnanie medzi modelmi SEAMLESSM4T a kaskádovými modelmi s NLLB a buď YOURTTS (English TTS) alebo MMS (non-English TTS) na syntézu preloženého textu. V porovnaní s kaskádovými modelmi sme priemerné skóre ASR-BLEU v 88 X-eng smeroch (prekrývanie medzi FLEURS a jazykmi podporovanými SEAMLESSM4T). Taktiež sme priemerné skóre ASR-BLEU v 26 eng-X smeroch (prekrývanie SEAMLESSM4T s TTS modelmi MMS). V porovnaní s kaskádovými modelmi je nulová schopnosť SEAMLESSM4T-LARGE V2 na rovnakej úrovni ako NLLB- 4 Aby sme ďalej pochopili, odkiaľ pochádzali zlepšenia v smeroch FLEURS S2TT X-eng, rozbalili sme jazyky podľa úrovne zdrojov (pozri presný zoznam jazykov v doplnkovej tabuľke ) a nahlásiť priemerné skóre BLEU na úrovni zdroja v tabuľke Výsledky ukazujú, že SEAMLESSM4T výrazne zlepšuje kvalitu prekladu z jazykov s nízkymi zdrojmi so zlepšením o +10,2 BLEU (z 18.0 na 28,2, to znamená, že v porovnaní s AUDIOPALM-2-8B-AST sa zlepšilo o 57 %). Taktiež sme v stĺpci Low* priemerný priemer nad smermi s nízkymi zdrojmi, ktoré sú dohliadané v AUDIOPALM-2-8B-AST. Získanie +7,8 BLEU v tejto podskupine smerov naznačuje, že toto zlepšenie ide nad rámec čistého dohľadu, ale namiesto toho by sa malo pripisovať kvalite dohliadaných údajov a školiacich receptov. 12 5 Automatické a ľudské hodnotenie Semantická presnosť v preklade reči sa vo všeobecnosti hodnotí pomocou automatickej metriky BLEU. pre S2TT alebo jeho rozšírenie ASR-BLEU pre S2ST. Okrem toho používame BLASER 2.0 (ref. ), rozšírenie BLASER , ktorý teraz umožňuje modality-agnosticke hodnotenie a hodnotenie kvality pre reč aj text. 10 24 25 Na doplnenie užitočnosti automatickej metriky sme sa tiež spoliehali na rozsiahle ľudské hodnotenie našich modelov.V nasledujúcich častiach poskytujeme ľudské hodnotenie pre úlohy S2TT a S2ST s protokolom XSTS (cross-lingual semantic textual similarity). a MOS (priemerné skóre názorov) protokol pre výstupy reči (pozri , » Pokrývame však obmedzený počet modelov (SEAMLESSM4T-LARGE, SEAMLESSM4T-LARGE V2 a kaskádovú základňu zloženú z WHISPER-LARGE-V2 pre ASR, NLLB 3.3B pre preklad a YOURTTS alebo MMS pre TTS pre úlohu S2ST) a prekladové pokyny (23 jazykov z a do angličtiny, 10 jazykov X-eng pre MOS) kvôli obmedzeniam zdrojov. 26 Metódy Hodnotenie človeka XSTS skóre ukazuje, že SEAMLESSM4T-LARGE V2 prekonáva kaskádové základné systémy a SEAMLESSM4T-LARGE v oboch priemerných jazykových úrovniach XSTS skóre a rýchlosť výhry (podiel hodnotených jazykov, pre ktoré je výkon XSTS vynikajúci) pre všetky úlohy a jazykové smery s vysokou dôverou. Pre úlohu S2ST, kde relatívna výkonnosť SEAMLESSM4T-V2 bola najsilnejšia, je rýchlosť výhry prístupov SEAMLESSM4T-V2 100% v porovnaní s kaskádovou základnou čiarou a SEAMLESSM4T-LARGE v oboch smeroch X-eng a eng-X, pričom jazykové priemerné skóre XSTS a pre úplnú úroveň jazyka a súhrnné výsledky XSTS. 22 24 Merali sme tiež kvalitu hlasového výstupu pre S2ST pomocou protokolu Mean Opinion Score, ktorý hodnotí (1) kvalitu zvuku, (2) jasnosť reči a (3) prirodzenosť. Zistili sme, že vo všeobecnosti vo všetkých aspektoch MOS, SEAMLESSM4T-LARGE V2 má tendenciu byť uprednostnený pred SEAMLESSM4T-LARGE, ktorý má tendenciu byť uprednostnený pred kaskádovými modelovými základňami, s výnimkou X-eng, pre ktoré sú silne uprednostnené generácie SEAMLESSM4T-LARGE (+1 bod priemerný rozdiel medzi generáciami SEAMLESSM4T-LARGE a SEAMLESSM4T-LARGE V2), neočakávaný výsledok, ktorý môže byť dôsledkom rozdielov v modelových architektú a pre úplnú jazykovú úroveň a súhrnné výsledky MOS. 23 24 Pomocou hodnotení XSTS úlohy S2ST dosahuje BLASER 2.0 (priemer všetkých bodov hodnotenia v danom jazykovom smere) vynikajúce korelácie Spearman s kalibrovanými skóre XSTS na úrovni jazyka v oboch smeroch X-eng (0,845 pre BLASER 2.0 v porovnaní s 0,74 pre ASR-BLEU) a najmä pre smer eng-X (0,81 pre BLASER 2.0 v porovnaní s 0,246 pre ASR-BLEU). pre úplné výsledky). 21 Nakoniec sme testovali naše modely na robustnosť z hľadiska hluku a variácií reproduktorov vytvorením otvorených referenčných hodnôt robustnosti založených na FLEURS (pozri , » Na tento účel sme zistili, že SEAMLESSM4T-V2 je v priemere približne o 42 % a 66 % odolnejší voči hluku z pozadia a variabilite reproduktorov v porovnaní s WHISPER-LARGE-V2 (pozri úplné výsledky v časti Doplnkové informácie). ) sa Metódy Robustnosť V2 → Zodpovedný AI toxicita Toxicita môže byť definovaná ako prípady profanity alebo jazyka, ktoré môžu podnecovať nenávisť, násilie alebo zneužívanie voči jednotlivcovi alebo skupine (ako je náboženstvo, rasa alebo pohlavie). V kontexte prekladu reči sme sa obávali predovšetkým o pridanú toxicitu – zavedenie toxických prvkov v prekladoch, ktoré nie sú prítomné v zdrojových výslovnostiach. a v poslednej dobe pre desiatky jazykov s MuTox . 27 28 29 Preto sme pre detekciu viacjazyčnej toxicity reči a textu použili ETOX (alebo ASR-ETOX pre S2ST) a MuTox (ako pre reč aj text) ako metriky na detekciu a hodnotenie pridanej toxicity. Na zmiernenie toxicity sme implementovali dve techniky na riešenie pridanej toxicity. Pred tréningom sme filtrovali tréningové páry s nevyváženou toxicitou. v čase odpočinku (pozri , » ’). 11 Metódy Detekcia toxicity Vypočítali sme pridanú toxicitu v dvoch dátových súboroch (FLEURS a HOLISTICBIAS ) cez 24 prekladových smerov s angličtinou (arb, ben, cat, ces, dan, deu, est, fin, fra, hin, ind, ita, nld, pes, pol, por, rus, slk, spa, swh, tgl, tur, urd, vie), pričom sa používajú jazyky na križovatke pokrytia systémov a MuTox, ktoré boli benchmarkované (pozri, že MuTox má širšie jazykové pokrytie, podobné SONARu, ale bol len benchmarkovaný v 30 jazykoch Pozrite si výsledky s ďalšími smermi prekladu vyhodnotenými s ETOX v sekcii Doplnkové informácie - stôl shows that although levels and types of added toxicity vary significantly as a function of language and dataset, the added toxicity in our systems has a relatively low prevalence consistent across our two toxicity detection metrics (<0.4%). Table Najnižšia toxicita pre všetky metódy, smery a dátové súbory sa dosahuje konzistentne s SEAMLESSM4T-V2 + MinTox, čím sa dosahuje zníženie toxicity až o 5% z hľadiska MuTox (a až o 80% z hľadiska ETOX) v porovnaní s rovnakým modelom bez použitia MinTox a až o 20% z hľadiska MuTox (až o 90% z hľadiska ETOX) v porovnaní so základnou hodnotou (pozri úplné výsledky v časti Doplnkové informácie). ) sa 27 29 Vi1 → 6 6 Vi1 → pohlavie bias Táto predsudok sa môže prejaviť explicitne ako nadmerné zovšeobecnenie do jedného pohlavia pri preklade non-gendered na gendered formy (napríklad, výstupy, ktoré uprednostňujú mužské reprezentácie) alebo ako nedostatok robustnosti pri meniacej sa kvalite prekladu pre vety, ktoré sa líšia len v gender inflexie. Previous work on this matter is mostly in the text modality , , and tends to be English-centric, with few demographic axes and multilingual references. Similar efforts for the speech modality remain sparse , . 30 31 32 33 34 Používame viacjazyčné hologramy and its speech extension to compare the performance of S2TT and S2ST. The eng–X direction enables comparing performance in the presence of masculine or feminine references, and the X–eng direction enables robustness comparisons in translations when we alter gender inflection. A typical example of the English–Spanish language pair would be ‘I’m a homemaker’ and the corresponding translations ‘Soy amo de casa’ and ‘Soy ama de casa’ in Spanish. When translating from English to Spanish, we can measure if the system overgeneralizes to one gender, whereas in the other direction, we can evaluate the robustness of the translation to gender inflection (see , » ’). 35 Methods Speech extension of MULTILINGUAL HOLISTICBIAS Vykonali sme súbor komplexných hodnotení prekladových predsudkov pre S2TT a S2ST (pozri Rozšírenú tabuľku údajov). for average results and Supplementary Information section for detailed results). SEAMLESSM4T-V2 consistently improves robustness in gender variations across metrics and tasks. When compared with the previous model, SEAMLESSM4T-V2 improves over SEAMLESSM4T-LARGE by 0.4% in S2TT and by 0.1% BLASER 2.0 in S2ST, and it beats the external baseline system of WHISPER-LARGE-V2 (+YOURTTS) by 0.1% in S2TT and by 0.9% BLASER 2.0 for S2ST. However, SEAMLESSM4T-V2 is not able to consistently improve in terms of gender overgeneralization compared with the previous model. SEAMLESSM4T-V2 is comparable in terms of BLASER 2.0 to SEAMLESSM4T-LARGE, but it lags far behind in terms of ASRchrf (by 2.2%), and overgeneralization is increased by 0.2% when it comes to S2TT. Although we can increase bias robustness by improving the overall quality of the model, it seems that we need specific techniques to counteract the overgeneralization of the model towards a specific gender. 3 VI.2 Social impact and conclusion Svet, v ktorom žijeme, nebol nikdy viac prepojený – globálna proliferácia internetu, mobilných zariadení, komunikačných platforiem a sociálnych médií vystavuje jednotlivcov viac viacjazyčnému obsahu ako kedykoľvek predtým. . The current social order places a demand on the world-readiness of a person , a measure of how competent a person is to take on the polyglot world. Initially developed in the context of language learning, world-readiness underscores the importance of being able to communicate in languages beyond our mother tongue for both instrumental (that is, employment or schooling) and cultural reasons (that is, to become a global citizen). That said, although we believe that language acquisition should remain a key mechanism for boosting our world-readiness, we acknowledge that doing so requires resources many people may not possess. 36 12 Nasledujúce aplikácie, ktoré SEAMLESSM4T podporuje, by mohli umožniť prístup k svetovej pripravenosti na požiadanie zjednodušením viacjazyčnej výmeny v rôznych kontextoch. Aplikácie podporované SEAMLESSM4T by mohli pôsobiť ako spolupilotný mechanizmus, ktorý podporuje používateľov v viacjazyčných konverzáciách a zvyšuje ich dôveru v rečovo náročné interakcie. Keďže rozhrania založené na reči (napríklad zvukové asistenty, hlasové poznámky a živé transkripcie) a zvukový obsah (napríklad podcasty, audioknihy a krátke videá) sa stávajú čoraz viac prítomnými, následné aplikácie podporované SEAMLESSM4T by mohli odomknúť väčšiu škálu viacjazyčných zážitkov. From an inclusion standpoint, the focus of SEAMLESSM4T on multimodality could make a meaningful difference in augmenting the world-readiness of those with accessibility needs and those whose languages can be transcribed with multiple writing systems. For many who lack reading or writing skills, or cannot rely on sight (that is, people who are blind or with visual impairment), voice-assisted technologies are essential to how they communicate and stay connected . The ability to translate speech gives these groups more comprehensive access to information not only beyond their native languages but also in a manner that is better suited for their communicative needs. 37 As with most technologies, the distribution of benefits varies based on user demographics and social situation . Although we make the case that SEAMLESSM4T could augment world-readiness by lowering the barriers in cross-lingual communication, some users may experience more difficulties using our work than others. For instance, similar to many other speech technologies, the ASR performance of SEAMLESSM4T may vary based on gender, race, accent or language , Okrem toho výkon nášho systému pri prekladaní slangu alebo správnych menoviek môže byť aj v jazykoch s vysokým a nízkym zdrojom nekonzistentný. 38 39 40 Another challenge for S2ST is that speech tends to hinge on immediate reception and feedback more than written language does. In other words, speakers are limited in their ability to ascertain the quality of an output or make edits in a live conversation. Without the ability to plan and revise with the help of back-translation or a native speaker, S2ST may carry higher degrees of interactional risk when it comes to mistranslations or toxicity. We urge researchers and developers who fine-tune or build artefacts using SEAMLESSM4T to think critically about design features that could help users circumvent these potential obstacles. Importantly, we believe that SEAMLESSM4T-fueled applications should best be viewed as an augmentation device that assists in translation rather than a tool that replaces the need for language learning or reliable human interpreters. This reminder is especially pertinent in high-stakes situations involving legal or medical decision-making. Finally, speech is not spoken text—it encompasses a suite of prosodic (for example, rhythm, stress, intonation or tone) and emotional components that deserve further research . To create S2ST systems that feel organic and natural, more research should be directed at output generation that preserves expressivity . Moreover, the consummate realization of the Babel Fish requires deeper investments into research on low-latency speech translation. Developing systems that enable streaming (that is, incrementally translating an input sentence as it is being presented) may increase the adoption of these systems across institutional contexts , . We hope that SEAMLESSM4T opens up new possibilities for both these research areas. 41 42 43 44 Metódy Data Vývoj efektívneho viacjazyčného a multimodálneho prekladateľského systému, ako je SEAMLESSM4T, si vyžaduje značné zdroje v rôznych jazykoch a formách. Niektoré ľudské zdroje na preklad sú voľne dostupné, ale často sú obmedzené na malú skupinu jazykov alebo na veľmi špecifické domény. and the United Nations Corpus Niekoľko ľudsky vytvorených zbierok zahŕňa aj rečovú modalitu, ako napríklad CoVoST , and mTEDx Avšak žiadna otvorená databáza v súčasnosti nezodpovedá veľkosti tých, ktoré sa používajú v iniciatívach, ako je WHISPER alebo USM , ktorý sa ukázal ako odomknutie bezprecedentného výkonu. 45 46 47 48 49 20 50 Parallel data mining emerges as an alternative to using closed data, in terms of both language coverage and corpus size. The dominant approach today is to encode sentences from various languages and modalities into a joint fixed-size embedding space and find parallel instances based on a similarity metric. Mining is then performed by pairwise comparison over massive monolingual corpora, in which sentences with similarity above a certain threshold are considered mutual translations , . This approach was first introduced using the multilingual LASER space Výcvik učiteľov a študentov bol potom použitý na rozšírenie tohto prístupu na 200 jazykov. , Následne sa prejavuje spôsob vyjadrenia , . 51 52 53 6 16 54 55 Audio spracovanie a reč LID We started with 4 million hours of raw audio originating from a publicly available repository of crawled web data on which we applied several cleaning and filtering operations. To maximize the recall of mining, it is important that all segments have a similar granularity. For the text domain, a sentence is generally well-defined. This is less obvious for raw speech because pauses are not necessarily used at sentence boundaries. First, we used an open Voice Activity Detection model to split audio files into shorter segments. Second, a newly developed speech LID model was applied to each segment. Our model follows the ECAPA-TDNN architecture a rozširuje model s otvoreným zdrojovým kódom vyškolený na VoxLingua107 by 15 new languages. Finally, we applied an over-segmentation approach that simultaneously proposed multiple, potentially overlapping speech segmentations. We relied on the mining approach to align the most likely ones. Supplementary Fig. shows this pipeline. 56 13 14 1 SONAR The SONAR text and speech encoders were developed in ref. using a two-step approach (Supplementary Fig. Po prvé, masívne viacjazyčné zastúpenie sa naučilo len pre textovú modalitu. Potom sa školenie učiteľov a študentov použilo na rozšírenie vkladacieho priestoru na rečovú modalitu. Vkladací priestor textu bol vyškolený pomocou prístupu kódovača a dekodéra pomocou kombinácie viacerých cieľov: preklad, denoizovanie automatického kódovania a cieľ straty priemerných štvorcových chýb (MSE) v priestore vkladacieho vety. , that is, parallel data to translation from 200 to 200 languages. Speech encoders were trained only on ASR data and by grouping languages into linguistic genealogical groups following ref. , for example, Italic, Common Turkic or Indo-Iranian languages. To obtain optimal performance, we determined the optimal convergence separately for each language (that is, when to stop training). This yielded a separate speech encoder for each language. The amount of available ASR data for each language is provided in Supplementary Table . The speech encoders were initialized with w3v-best 2.0 speech front end. Preceding work performed max pooling or mean pooling of the output states of the speech front end to obtain a fixed-size embedding of the speech signal , . An ablation study has shown that better results can be obtained by using a three-layer transformer decoder Školenie učiteľov a študentov spočívalo v minimalizácii straty MSE, pokiaľ ide o vkladanie transkripcií textu ASR. Tieto vkladanie boli získané kódovaním textu SONAR, ktoré bolo udržiavané konštantné. 8 2 6 16 8 54 57 8 Rozprávanie Najprv sme vypočítali vkladanie všetkých nadsegmentovaných segmentov reči. Pre textovú doménu sme použili presne rovnaké texty ako projekt NLLB a vložené kódovačom SONAR. Vyčerpávajúce porovnanie v pároch možno efektívne vykonať s nástrojom FAISS Podobnosť sa meria kritériom marže, ako je uvedené v ref. : 6 58 52 kde and sú zdrojové a cieľové vety a ( a) označuje nearest neighbours of in the other language. We set to 16. x y NNK x k x k As an example, this amounts to comparing a hundred thousand hours of speech with more than 20,000 million English sentences, which yielded about eight thousand hours of aligned Arabic speech. modelovanie The SEAMLESSM4T models rely on our multitask UNITY architecture. Our proposed unified translation model builds on vanilla UNITY , dvojstupňový dekódovací rámec, ktorý najprv generuje text a následne generuje reč predpovedaním diskrétnych akustických jednotiek (pozri časť " ’). Compared with the vanilla UNITY model , (1) základný model S2TT, inicializovaný od začiatku v UNITY, je nahradený modelom X2T, ktorý podporuje text ako vstup a je predtrénovaný tak, aby spoločne optimalizoval úlohy ASR, S2TT a T2TT (pozri časť " ’), and (2) the shallow T2U model (referred to as T2U unit encoder and second-pass unit decoder in ref. ) is replaced with a deeper transformer-based encoder–decoder model with six transformer layers that are pretrained on ASR data (see section ‘ Vylepšená verzia UNITY, nazývaná UNITY2, nahrádza autoregresívny T2U novým non-autoregresívnym (NAR) T2U dekodérom.Tento model NAR T2U prináša silnejšiu presnosť kvôli jeho hierarchickému odberu vzoriek z podsloví na znaky a potom na jednotky. 59 Viacjazyčné diskrétne akustické jednotky 59 X2T fine-tuning 59 S2ST fine-tuning The pretraining of X2T yielded a stronger speech encoder and a higher quality first-pass text decoder, whereas the scaling and pretraining of the T2U model allowed us to better handle multilingual unit generation without interference. Furthermore, the switch to non-autoregressive T2U decoding improved S2ST inference speed by three times. Multilingual discrete acoustic units Recent works have achieved state-of-the-art translation performance by using self-supervised discrete acoustic units as targets for building direct speech translation models , . This consists of decomposing the S2ST problem into a speech-to-unit translation step and a unit-to-speech conversion step. We extracted continuous speech representations using XLS-R and mapped these representations to discrete tokens. The set of discrete tokens (also referred to as unit vocabulary) is learnt by applying a -označuje algoritmus na súbor viacjazyčných zvukových vzoriek. -znamená, že centroidy sa podobajú kódovke, ktorá sa používa na mapovanie sekvencie rečových reprezentácií XLS-R do sekvencie centroidových indexov alebo akustických jednotiek. = 10 000 s funkciami z 35. vrstvy XLS-R-1B, ktoré predstavujú 35 podporovaných cieľových jazykov. 5 60 61 k k K Pre kroky konverzie jednotky na reč sme nasledovali ref. and built a multilingual vocoder for speech synthesis from the learnt multilingual units. This model is responsible for synthesizing audios from a sequence of units that SEAMLESSM4T models will predict. 62 Unsupervised speech pretraining Self-supervised pretraining with unlabelled speech audio data is a practical approach for leveraging unlabelled data. With pretraining, we can bootstrap the quality of translation models and make the most out of our supervised paired data. We pretrained a speech encoder following our improved W2V-BERT 2.0. It follows w2v-BERT in combining contrastive learning with masked prediction learning. W2V-BERT 2.0 uses more codebooks and an additional masked prediction task using random projection quantizers (RPQ). Our W2V-BERT 2.0 model is first trained on 1 million hours of open speech audio data that covers over 143 languages. It follows the w2v-BERT XL architecture , which has 24 Conformer layers and approximately 600 million model parameters. For the v2 version, we scaled up the amount of unlabelled data from 1 million to 4.5 million hours of audio. The most recent and publicly available multilingual speech pretrained model is MMS . It is trained on only 0.5 million hours, spanning over 1,400 languages. The largest model in scale is USM Je to vlastný viacjazyčný predtrénovaný model reči s 12 miliónmi hodín dát a viac ako 300 jazykmi v pokrytí. 63 64 63 65 23 50 Text-to-text translation models Textové komponenty našich modelov SEAMLESSM4T boli predtrénované na úlohu prekladu textu do textu, čo je oveľa náročnejšia úloha ako preklad reči.Vezmite si napríklad anglicko-taliansky smer, jeden z vysoko náročných párov v T2TT s viac ako 128 miliónmi paralelných viet – pre S2TT sú k dispozícii iba 2 milióny párov anglického textu spárovaného s talianskym zvukom. Kľúčovým krokom pri výcviku viacjazyčných modelov prekladu textu do textu je učenie sa zdieľanej slovnej zásoby s textovým tokenizérom. , sme použili SentencePiece with the BPE algorithm for this purpose. The tokenizer used in NLLB-200 trpí chýbajúcimi kľúčovými čínskymi znakmi kvôli artefaktom odberu vzoriek. Toto odber vzoriek nepodporuje logografické písacie systémy s veľkým počtom jedinečných symbolov. Na vyriešenie tohto problému sme nútení zahrnúť tieto znaky. Náš nový tokenizer zlepšuje pokrytie top 5K čínskych znakov MTSU z 54% na 84%. 6 66 67 6 To train our multilingual text-to-text model, we followed the same data preparation and training pipelines in ref. Používanie stop . Having a smaller language coverage allowed us to significantly decrease the size of the model to 1.3B parameters and only use NLLB-200 training data in the 95 SEAMLESSM4T languages. 6 68 Data augmentation with pseudo-labelling As with any sequence-to-sequence task, speech translation performance is dependent on the availability of high-quality training data. However, the amount of human-labelled data is scarce compared with its T2TT or ASR counterparts. To address this shortage of labelled data, we resort to pseudo-labelling , údaje ASR s viacjazyčným modelom T2TT (napríklad modely NLLB) na generovanie pseudo-označených údajov S2TT. 69 70 Na zvýšenie údajov S2ST je bežnou praxou používať modely TTS na konverziu textu z dátových súborov reči do textu na syntetickú reč. , . This synthetic speech is, in turn, converted into discrete units for training. This two-step unit extraction process is a slow process and is harder to scale given the dependencies on TTS models. We circumvented the need for synthesizing speech and trained multilingual text-to-unit (T2U) models on all 36 target speech languages. These models can directly convert the text into target discrete units and can be trained on ASR data sets that are readily available. 4 5 X2T fine-tuning The first key part of our multitask UNITY framework is the X2T model, a multi-encoder sequence-to-sequence model with a conformer-based encoder for speech input and another transformer-based encoder Oba kódovače boli spojené s rovnakým textovým dekodérom a sú spoločne jemne nastavené na optimalizáciu úloh ASR, S2TT a T2TT. 65 71 Our X2T model consists of joining the speech encoder, W2V-BERT 2.0 from M2, post-fixed with a length adapter to downsample long audio sequences, with the text encoder–decoder from M3 (Supplementary Fig. ). For the length adapter, we used a modified version of M-adapter , in which we replaced the three independent pooling modules for Q, K and V with a shared pooling module to improve efficiency. 4 72 Zariadenie sa používa na spracovanie dátových tripletov S2TT s hlasovým zvukom ( speech) in a source language ⟨ , spárovaný s jeho prepisom ( text) and text translation ( text) in a target language ⟨ ⟩. To enable meaning transfer across modalities, X2T model was fine-tuned to jointly optimize the following objective functions: x ls x y ℓt We additionally optimized an auxiliary objective function in the form of token-level knowledge distillation () to further transfer knowledge from the strong MT model to the student speech translation task (S2TT). Konečná strata je vážená súčet všetkých troch strát: kde , and are scalar hyper-parameters tuned on the development data. α β γ S2ST Fínske nastavenie In the last stage of fine-tuning multitask UNITY, we initialized the model with the pretrained X2T model (see section ‘ ’) and a pretrained T2U model, similar to the one used for pseudo-labelling S2ST data in M4. The T2U model used for pseudo-labelling is referred to as the teacher T2U model with 12 transformer layers encoder–decoder. For initialization, we used a smaller student T2U model with only six layers to optimize inference and distill the labels of the stronger T2U. In the second version of SEAMLESSM4T, UNITY2 replaces the second-pass autoregressive unit decoder in UNITY with a NAR unit decoder. We adopted the decoder architecture of FastSpeech2 and extended it to discrete unit generation. UNITY2 starts with hierarchically upsampling the T2U encoder output from subword length to character length and then to unit length. The unit duration predictor, the key to the hierarchical upsampling, is supervised during training by a multilingual aligner based on RAD-TTS . The architecture is shown in detail in Supplementary Information section . X2T jemné nastavenie 73 74 IV.8 We fine-tuned the S2ST task with a combination of X–eng and eng–X S2ST translation data totalling 121,000 h. We froze the model weights corresponding to the X2T model and only fine-tuned the T2U component. This is to ensure that the performance of the model on tasks from the previous stages of fine-tuning remains unchanged. Automatic and human evaluation BLASER 2.0 Čítať viac o BLASER 2.0 (ref. ) is the new version of BLASER , which works with both speech and text modalities, and hence being modality-agnostic. Like the first version, our approach leverages the similarity between input and output sentence embeddings. The new version uses SONAR embeddings Supplementary Information section , supports 57 languages in speech and 202 in text (coverage of languages by SONAR at the moment of submission of this paper) and is extendable to future encoders for new languages or modalities that share the same embedding spaces. For the purposes of evaluating speech outputs (and unlike ASR-based metrics), BLASER 2.0 offers the advantage of being text-free. 24 75 III.3.1 Konkrétnejšie, v BLASER 2.0 berieme zdrojový vstup, preložený výstup z akéhokoľvek modelu S2ST, S2TT alebo T2TT a referenčný segment reči alebo text a premeníme ich na vektory SONAR. Hodnotenie človeka Okrem automatických metrík, ako je (ASR) BLEU a BLASER 2.0, sme použili ľudské metríky, ako je XSTS , which measures semantic similarity between a source and target translation, and a standard Mean Opinion Score (as standardized in Recommendation ITU-T P.800, henceforth MOS), which measures (1) naturalness, (2) sound quality and (3) clarity of audio generations to evaluate our models. To obtain more robust language-level scores, we also incorporate a calibration set and calibration methodology, the same used to evaluate the NLLB models Okrem XSTS sme získali aj hodnotenia MOS na pochopenie ďalších aspektov kvality zvuku v cieľovej reči. Ďalšie informácie o protokoloch a analýzach ľudského hodnotenia nájdete v časti Doplnkové informácie. . 26 6 V1 → Robustnosť We built a replicable noise-robustness evaluation benchmark based on FLEURS (noisy FLEURS), which covers 102 languages, two speech tasks (S2TT and ASR), and various noise types (natural noises and music). To create simulated noisy audios, we sampled audio clips from MUSAN on the ‘noise’ and ‘music’ categories and mixed them with the original FLEURS speech audios under different signal-to-noise ratio (SNR): 10, 5, 0, −5, −10, −15 and −20. We compared models by BLEU-SNR curves (for S2TT) or WER-SNR curves (for ASR), which illustrate the degree of model performance degradation when the noise level of speech inputs increases (that is, when SNR decreases). For low-resource languages, the clean speech setup is already challenging, let alone a noisy one. Thus, we focused on four high-resource languages (French, Spanish, Modern Standard Arabic and Russian) belonging to three different language families for our noise-robustness analysis. 76 We followed ref. na vyhodnotenie robustnosti modelu voči variáciám rečníkov vypočítaním priemerného priemerného skóre podľa skupiny a koeficientu variácie podľa skupiny pomocou metriky kvality na úrovni výslovnosti. Namiesto použitia BLEU ako metriky kvality sme použili chrF, ktorý má lepšiu stabilitu na úrovni výslovnosti. Výpočet oboch metriky robustnosti nevyžaduje explicitné označenia podskupín rečníkov. Zoskupili sme vzorky hodnotenia a zodpovedajúce skóre chrF na úrovni výslovnosti podľa obsahu (transcript) a potom vypočítali priemerný priemerný skóre podľa skupiny chrFMS a priemerný koeficient variácie podľa skupiny CoefVarMS, definovaný takto: 47 where is the set of sentence-level chrF scores grouped by content (transcript) and . The two metrics are complementary: chrFMS provides a normalized quality metric that, unlike conventional corpus-level metrics, takes speaker variations into consideration, whereas CoefVarMS provides a standardized measure of quality variance under speaker variations. For robustness analysis, we conducted an out-of-domain evaluation on FLEURS on all languages that have at least 40 content groups in the test sets. G Zodpovedný AI Toxicity detection Táto práca, inšpirovaná ASR-BLEU, navrhuje použitie ASR-ETOX ako novej metriky na detekciu pridanej toxicity v reči a hodnotenie pridanej toxicity pre schopnosť S2ST SEAMLESSM4T. V podstate táto metrika nasleduje kaskádový rámec tým, že najprv nasadí štandardný modul ASR (t. j. ten istý, ktorý sa používa pre ASR-BLEU, ako je definovaný v doplnkovej tabuľke). ), then the toxicity detection module, ETOX , which uses the Toxicity-200 word lists . For S2TT, the translated output can be directly evaluated with ETOX. In both cases (S2ST and S2TT), we measured added toxicity at the utterance or sentence level. We first computed toxicity detection for each input in the evaluation dataset and the corresponding output. Then, we compared them and counted a case as containing added toxicity only when the output value exceeds that of the input. Moreover, we used the recently proposed MuTox metric that can be applied to text or speech output with no need for ASR. This classifier has been trained on both speech and text toxicity labelled data for 30 languages. As MuTox relies on SONAR embeddings , MuTox the same number of languages by the zero-shot property. However, accounting for validated quality, we report MuTox only the languages that have been benchmarked Opäť v oboch prípadoch (S2ST a S2TT) sme merali pridanú toxicitu na úrovni výslovnosti alebo vety. V tomto prípade veta obsahuje pridanú toxicitu, ak je skóre MuTox >0,9 vo výstupe a <0,5 v vstupu. Experimentálne sme overili tieto prahové hodnoty pre niekoľko jazykov s ľudskými dvojjazyčnými reproduktormi pre niekoľko jazykových párov. Pre S2TT sme vypočítali MuTox v transkribovanej reči a cieľovom texte. Pre S2ST sme vypočítali MuTox v zdrojovej a cieľovej reči. 2 27 6 29 29 Na zmiernenie toxicity implementujeme dve techniky na zmiernenie pridanej toxicity. Pred tréningom filtrujeme tréningové páry s nevyváženou toxicitou. v čase záveru. Najmä hlavný pracovný postup vytvára prekladovú hypotézu s neobmedzeným vyhľadávaním. Potom sa na tejto hypotéze spustí klasifikátor toxicity. Ak sa nezistí žiadna toxicita, poskytneme prekladovú hypotézu tak, ako je. Avšak, ak sa v výstupe zistí toxicita, spustíme klasifikátor na vstupu. Ak je toxicita nevyvážená (to znamená, že v vstupu sa nezistí žiadna toxicita), znova spustíme preklad so zmiernením, čo je krok BEAMFILTERING. Toto BEAMFILTERING spočíva v tom, že ako vstupné multi-tokenové výrazy, ktoré by sa nemali objaviť vo výstupe, a ich vylúčenie z hypotézy vyhľadávania lúč 11 Na analýzu pridanej toxicity sme použili dve súbory údajov. Po prvé, nasadili sme FLEURS, aby sme lepšie zosúladili naše úsilie o hodnotenie ľudí a ďalšie hodnotiace zložky tejto práce. , which has been shown to trigger true added toxicity in previous studies V tejto práci rozširujeme HOLISTICBIAS na reč aplikáciou predvoleného anglického modelu TTS z MMS . 77 27 23 Speech extension of MULTILINGUAL HOLISTICBIAS Na porovnanie výkonov v rôznych režimoch (S2ST a S2TT) sme rozšírili MULTILINGUAL HOLISTICBIAS na reč (Súkromné ). We used this generated TTS data as input for S2TT and S2ST and as a reference for S2ST. We conducted the translations in two directions: eng–X and X–eng. Concretely, in X–eng, we translated both masculine and feminine versions of the speech. It is worth noting that some target languages are not available in the SEAMLESSM4T S2ST model, so we performed translations on only 17 languages for the S2ST task in the eng–X direction. For S2TT in eng–X, we have all languages included in the MULTILINGUAL HOLISTICBIAS dataset ( Úplný zoznam jazykov použitých v našich experimentoch nájdete v doplnkovej tabuľke. . 23 https://github.com/facebookresearch/fairseq/tree/main/examples/mms#tts-1 n 26 In terms of evaluation metrics for S2TT, we used chrF. For S2ST, we used ASRchrf (the transcription is done by WHISPER-LARGE and WHISPER-MEDIUM for eng–X and X–eng, respectively, and chrF has been calculated the same way as S2TT except that in S2ST, the text from both prediction and reference were normalized) and BLASER 2.0. It is worth noting that when evaluating on BLASER 2.0, we only included 14 languages (arb, cat, deu, eng, fra, nld, por, ron, rus, spa, swe, tha, ukr and urd) for the eng–X direction (overlapping languages from the generated TTS data and the languages available in our S2ST model). 20 Dostupnosť údajov Aby sme našu prácu sprístupnili komunite, poskytujeme otvorený zdroj nasledujúcich dátových súborov, modelov a kódu na GitHub ( ): (1) modely SEAMLESSM4T, vrátane modelových váh pre SEAMLESSM4T-LARGE (2.3B parametre) a SEAMLESSM4T-MEDIUM (1.2B parametre), ako aj ich záverový kód a recepty na jemné nastavenie poháňané naším novým modelovým nástrojom FAIRSEQ2 ( ); (2) nástroje na vytváranie vyrovnaných hlasových údajov vrátane metaúdajov na obnovenie nefiltrovaných 470 000 hodín potrubia SEAMLESSALIGN založeného na STOPES ( ) vytvoriť zarovnania podobné SEAMLESSALIGN a SONAR pre hlasové kódovače v 37 jazykoch a textové kódovače v 200 jazykoch ( ) a (3) textový automatický model hodnotenia S2ST, BLASER 2.0, vrátane modelových váh a záverových skriptov. https://github.com/facebookresearch/seamless_communication https://github.com/facebookresearch/fairseq2 https://github.com/facebookresearch/stopes https://github.com/facebookresearch/SONAR Referencie Lavie, A. et al. Janus-III: speech-to-speech translation in multiple languages. In Vol. 1, 99–102 (IEEE, 1997). Proc. 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing Wahlster, W. (ed.) (Springer, 2000). Verbmobil: Foundations of Speech-to-Speech Translation Nakamura, S. et al. The atr multilingual speech-to-speech translation system. , 365–376 (2006). IEEE Trans. Audio Speech Lang. Process. 14 Article Google Scholar Jia, Y. et al. Direct speech-to-speech translation with a sequence-to-sequence model. In , 1123–1127 (ISCA, 2019). Proc. Interspeech 2019 Lee, A. et al. Direct speech-to-speech translation with discrete units. In (eds Muresan, S. et al.) Vol. 1, 3327–3339 (Association for Computational Linguistics, 2022). Proc. 60th Annual Meeting of the Association for Computational Linguistics NLLB Team Scaling neural machine translation to 200 languages. , 841–846 (2024). Nature 630 Article CAS Google Scholar Agarwal, M. et al. Findings of the IWSLT 2023 evaluation campaign. In (eds Salesky, E. et al.) 1–61 (Association for Computational Linguistics, 2023). Proc. 20th International Conference on Spoken Language Translation (IWSLT 2023) Duquenne, P.-A., Schwenk, H. & Sagot, B. SONAR: sentence-level multimodal and language-agnostic representations. Preprint at (2023). https://arxiv.org/abs/2308.11466 Popović, M. chrF: character n-gram F-score for automatic MT evaluation. In (eds Bojar, O. et al.) 392–395 (Association for Computational Linguistics, 2015). Proc. Tenth Workshop on Statistical Machine Translation Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (Association for Computational Linguistics, 2002). Proc. 40th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. R., Dale, D., Elbayad, M. & Yu, B. Added toxicity mitigation at inference time for multimodal and massively multilingual translation. In (eds Scarton, C. et al.) Vol. 1, 360–372 (European Association for Machine Translation, 2024). Proc. 25th Annual Conference of the European Association for Machine Translation ACTFL. World-readiness standards for learning languages. (2023). https://www.actfl.org/educator-resources/world-readiness-standards-for-learning-languages Desplanques, B., Thienpondt, J. & Demuynck, K. ECAPA-TDNN: emphasized channel attention, propagation and aggregation in TDNN based speaker verification. In (eds Meng, H. et al.) 3830–3834 (ISCA, 2020). Proc. Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event Valk, J. & Alumäe, T. VOXLINGUA107: a dataset for spoken language recognition. In 652–658 (IEEE, 2021). Proc. 2021 IEEE Spoken Language Technology Workshop, Chen, M., Heffernan, K., Çelebi, O., Mourachko, A. & Schwenk, H. xSIM++: An improved proxy to bitext mining performance for low-resource languages. In (eds Rogers, A. et al.) Vol. 2, 101–109 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. In , 2101–2112 (eds Goldberg, Y. et al.) (Association for Computational Linguistics, 2022). Findings of the Association for Computational Linguistics: EMNLP 2022 Feng, F., Yang, Y., Cer, D., Arivazhagan, N. & Wang, W. Language-agnostic BERT sentence embedding. In (eds Muresan, S. et al.) Vol. 1, 878–891 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Conneau, A. et al. FLEURS: FEW-Shot Learning Evaluation of Universal Representations of Speech. In , 798–805 (IEEE, 2023). 2022 IEEE Spoken Language Technology Workshop (SLT) Zhang, Z.-H. et al. Speak foreign languages with your own voice: cross-lingual neural codec language modeling. Preprint at (2023). https://arxiv.org/abs/2303.03926 Radford, A. et al. Robust speech recognition via large-scale weak supervision. In , article no. 1182, 28492–28518 (ACM, 2023). Proceedings of the 40th International Conference on Machine Learning Rubenstein, P. K. et al. AudioPaLM: a large language model that can speak and listen. Preprint at (2023). https://arxiv.org/abs/2306.12925 Casanova, E. et al. YourTTS: towards zero-shot multi-speaker tts and zero-shot voice conversion for everyone. In , Vol. 162, 2709–2720 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Pratap, V. et al. Scaling speech technology to 1,000+ languages. , 1–52 (2024). J. Mach. Learn. Res. 25 Dale, D. & Costa-jussà, M. R. Blaser 2.0: a metric for evaluation and quality estimation of massively multilingual speech and text translation. In (eds Al-Onaizan, Y. et al.) 16075–16085 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: EMNLP 2024 Chen, P.-J. et al. Speech-to-speech translation for a real-world unwritten language. In (eds Rogers, A. et al.) 4969–4983 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: ACL 2023 Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In (eds Duh, K. & Guzmán, F.) Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proc. 15th Biennial Conference of the Association for Machine Translation in the Americas Costa-jussà, M. et al. Toxicity in multilingual machine translation at scale. In , 9570–9586 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: EMNLP 2023 Ghosh, S., Lepcha, S., Sakshi, S., Shah, R. R. & Umesh, S. DeToxy: a large-scale multimodal dataset for toxicity classification in spoken utterances. In 2022, 5185–5189 (2022); . Proc. Interspeech https://api.semanticscholar.org/CorpusID:247940269 Costa-jussà, M. R. et al. MuTox: universal multilingual audio-based toxicity dataset and zero-shot detector. In (eds Ku, L.-W. et al.) 5725–5734 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: ACL 2024 Stanovsky, G., Smith, N. A. & Zettlemoyer, L. Evaluating gender bias in machine translation. In (eds Korhonen, A. et al.) 1679–1684 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Levy, S., Lazar, K. & Stanovsky, G. Collecting a large-scale gender bias dataset for coreference resolution and machine translation. In (eds Moens, M. F. et al.) 2470–2480 (Association for Computational Linguistics, 2021). Findings of the Association for Computational Linguistics: EMNLP 2021 Costa-jussà, M. R. et al. Interpreting gender bias in neural machine translation: Multilingual architecture matters. , 11855–11863 (2022). Proc. AAAI Conf. Artif. Intell. 36 Google Scholar Costa-jussà, M. R., Basta, C. & Gállego, G. I. Evaluating gender bias in speech translation. In (eds Calzolari, N. et al.) 2141–2147 (European Language Resources Association, 2022). Proceedings of the Thirteenth Language Resources and Evaluation Conference Bentivogli, L. et al. Gender in danger? Evaluating speech translation technology on the MuST-SHE corpus. In (eds Jurafsky, D. et al.) 6923–6933 (Association for Computational Linguistics, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. et al. Multilingual holistic bias: Extending descriptors and patterns to unveil demographic biases in languages at scale. In , 14141–14156 (Association for Computational Linguistics, 2023). Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing Zuckerman, E. The polyglot internet. (2008). https://ethanzuckerman.com/the-polyglot-internet/ Belekar, A., Sunka, S., Bhawar, N. & Bagade, S. Voice based e-mail for the visually impaired. , 8–12 (2020). Int. J. Comput. Appl. 175 Google Scholar Wang, S., Cooper, N. & Eby, M. From human-centered to social-centered artificial intelligence: Assessing ChatGPT’s impact through disruptive events. (2024). Big Data Soc. https://doi.org/10.1177/20539517241290220 Koenecke, A. et al. Racial disparities in automated speech recognition. , 7684–7689 (2020). Proc. Natl Acad. Sci. USA 117 Article ADS CAS PubMed PubMed Central Google Scholar Ngueajio, M. K. & Washington, G. Hey ASR system! Why aren’t you more inclusive? Automatic speech recognition systems’ bias and proposed bias mitigation techniques. A literature review. In (eds Chen, J. Y. C. et al.) Vol. 13518, 421–440 (Springer, 2022). Proc. International Conference on Human-Computer Interaction Elbow, P. The shifting relationships between speech and writing. , 283–303 (1985). Coll. Compos. Commun. 36 Article Google Scholar Trilla, A. & Alias, F. Sentence-based sentiment analysis for expressive text-to-speech. , 223–233 (2013). IEEE Trans. Audio Speech Lang. Process. 21 Article Google Scholar Iranzo-Sánchez, J., Civera, J. & Juan, A. From simultaneous to streaming machine translation by leveraging streaming history. In , 6972–6985 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Rybakov, O. et al. Streaming Parrotron for on-device speech-to-speech conversion. Preprint at (2022). https://arxiv.org/abs/2210.13761 Koehn, P. Europarl: A parallel corpus for statistical machine translation. In , 79–86 (2005). Proceedings of Machine Translation Summit X: Papers Ziemski, M., Junczys-Dowmunt, M. & Pouliquen, B. The United Nations Parallel Corpus v1.0. In (eds Calzolari, N. et al.) 3530–3534 (European Language Resources Association, 2016). Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16) Wang, C., Pino, J., Wu, A. & Gu, J. CoVoST: a diverse multilingual speech-to-text translation corpus. In (eds Calzolari, N. et al.) 4197–4203 (European Language Resources Association, 2020). Proceedings of the Twelfth Language Resources and Evaluation Conference Wang, C., Wu, A., Gu, J. & Pino, J. CoVoST 2 and Massively Multilingual Speech Translation. In , 2247–2251 (ISCA, 2021). Proc. Interspeech 2021 Salesky, E. et al. The multilingual TEDx corpus for speech recognition and translation. In , 3655–3659 (ISCA, 2021). Proc. Interspeech 2021 Zhang, Y. et al. Google USM: scaling automatic speech recognition beyond 100 languages. Preprint at (2023). https://arxiv.org/abs/2303.01037 Schwenk, H. Filtering and mining parallel data in a joint multilingual space. In (eds Gurevych, I. & Miyao, Y.) Vol. 2, 228–234 (Association for Computational Linguistics, 2018). Proc. 56th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In (eds Korhonen, A. et al.) 3197–3203 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Duquenne, P.-A., Gong, H. & Schwenk, H. Multimodal and multilingual embeddings for large-scale speech mining. In (eds Ranzato, M. et al.) Vol. 34, 15748–15761 (Curran Associates, 2021). Advances in Neural Information Processing Systems Duquenne, P.-A. et al. SpeechMatrix: a large-scale mined corpus of multilingual speech-to-speech translations. In (eds Rogers, A. et al.) Vol. 1, 16251–16269 (2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Silero. Silero VAD: pre-trained enterprise-grade voice activity detector (VAD), number detector and language classifier. (2021). GitHub https://github.com/snakers4/silero-vad Khurana, S., Laurent, A. & Glass, J. SAMU-XLSR: Semantically-Aligned Multimodal Utterance-Level Cross-Lingual Speech Representation. , 1493–1504 (2022). IEEE J. Sel. Top. Signal Process. 16 Douze, M. et al. The Faiss library. Preprint at (2024). https://arxiv.org/abs/2401.08281 Inaguma, H. et al. UnitY: two-pass direct speech-to-speech translation with discrete units. In (eds Rogers, A. et al.) Vol. 1, 15655–15680 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Tjandra, A., Sakti, S. & Nakamura, S. Speech-to-speech translation between untranscribed unknown languages. In , 593–600 (IEEE, 2019). 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Babu, A. et al. XLS-R: self-supervised Cross-lingual Speech Representation Learning at Scale. In , 2278–2282 (ISCA, 2022). Proc. Interspeech 2022 Gong, H. et al. Multilingual speech-to-speech translation into multiple target languages. Preprint at (2023). https://arxiv.org/abs/2307.08655 Chung, Y.-A. et al. w2v-BERT: combining contrastive learning and masked language modeling for self-supervised speech pre-training. In , 244–250 (IEEE, 2021). 2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Chiu, C.-C., Qin, J., Zhang, Y., Yu, J. & Wu, Y. Self-supervised learning with random-projection quantizer for speech recognition. In , 3915–3924 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Gulati, A. et al. Conformer: convolution-augmented transformer for speech recognition. In , 5036–5040 (ISCA, 2020). Proc. Interspeech 2020 Kudo, T. & Richardson, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In (eds Blanco, E. & Lu, W.) 66–71 (Association for Computational Linguistics, 2018). Proc. 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Sennrich, R., Haddow, B. & Birch, A. Neural machine translation of rare words with subword units. In (eds Erk, K. & Smith, N. A.) Vol. 1, 1715–1725 (Association for Computational Linguistics, 2016). Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics Andrews, P. et al. stopes - modular machine translation pipelines. In (eds Che, W. & Shutova, E.) 258–265 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Jia, Y. et al. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In , 7180–7184 (IEEE, 2019). 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) Pino, J., Xu, Q., Ma, X., Dousti, M. J. & Tang, Y. Self-training for end-to-end speech translation. In , 1476–1480 (2020). Proc. Interspeech 2020 Vaswani, A. et al. Attention is all you need. In (eds Guyon, I. et al.) Vol. 30 (Curran Associates, 2017). Advances in Neural Information Processing Systems Zhao, J., Yang, H., Haffari, G. & Shareghi, E. M-Adapter: modality adaptation for end-to-end speech-to-text translation. In , 111–115 (ISCA, 2022). Proc. Interspeech 2022 Ren, Y. et al. FastSpeech 2: fast and high-quality end-to-end text to speech. In (2021). Proc. 2021 International Conference on Learning Representations Shih, K. J. et al. RAD-TTS: parallel flow-based tts with robust alignment learning and diverse synthesis. In (2021). ICML Workshop on Invertible Neural Networks, Normalizing Flows, and Explicit Likelihood Models Chen, M. et al. BLASER: A text-free speech-to-speech translation evaluation metric. In (eds Rogers, A. et al.) Vol. 1, 9064–9079 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Snyder, D., Chen, G. & Povey, D. MUSAN: a music, speech, and noise corpus. Preprint at (2015). https://arxiv.org/abs/1510.08484 Smith, E. M., Hall, M., Kambadur, M., Presani, E. & Williams, A. “I’m sorry to hear that”: finding new biases in language models with a holistic descriptor dataset. In (eds Goldberg, Y. et al.) 9180–9211 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing uznanie S. Edunov a A. Fan za pomoc pri formovaní skorších štádií projektu; S. Bhosale, V. Goswami, F. Hernandez a Y. Zhang za pomoc pri porovnávaní zvukových modelov; M. Seejoor van W. Carupien a M. Duppenthaler za pomoc pri vytváraní demo; V. Goswami, S. Huhan, B. Acun-Uyan a C.-J. Wu za pomoc pri vývoji nových odporúčaní na optimalizáciu efektívnosti; B. Alastry, M. Ni a X. Zhang za pomoc pri porovnávaní zvukových modelov; B. Alastry, M. Anwar, H. J.- Chang, H. Han, C. W. Huang, T. Carupien, S. Hohen, S. Luiz, Chaizk Tento dokument je k dispozícii v prírode pod licenciou CC by 4.0 Deed (Attribution 4.0 International). Tento papier je Podlieha licencii CC by 4.0 Deed (Attribution 4.0 International). K dispozícii v prírode