Този AI може да чува, превежда и говори на 100 езика

на авторите: Лоик Баролт Ю-ан Чун Мариано Кория Меглиоли Дейвид Дейл Ning Dong Пол-Амброуз Дюкен Хади Елзахар Hongyu Gong Kevin Heffernan Джон Хофман Кристофър Клайбър Пингвей Ли Daniel Licht Жан Мейлард Алис Ракотоарисън Kaushik Ram Sadagopan Guillaume Wenzek Етан Йе на авторите: Лоик Баролт Ю-ан Чун Мариано Кория Меглиоли Дейвид Дейл Нин Донг Пол-Амброуз Дюкен Хади Елзахар Хунду Гонг Кевин Хефърън Джон Хофман Кристофър Клайбър Пингвей Ли Даниел Светлина Жан Мейлард Алис Ракотоарисън Каушик Рам Садагопан Гуайдо Венцек Етан Йе абстрактна Създаването на Babel Fish, инструмент, който помага на хората да превеждат реч между два езика, изисква усъвършенствани технологични иновации и езикова експертиза. , , , мащабируеми и високопроизводителни унифицирани системи , За да се преодолее тази пропаст, ние въвеждаме SEAMLESSM4T – Massively Multilingual and Multimodal Machine Translation – един-единствен модел, който поддържа превод от реч към реч (101 до 36 езика), превод от реч към текст (от 101 до 96 езика), превод от текст към реч (от 96 до 36 езика), превод от текст към текст (96 езика) и автоматично разпознаване на речта (96 езика). Построен с помощта на нов мултимодален корпус от автоматично подравнени преводи на реч и други публично достъпни данни, SEAMLESSM4T е една от първите многоезични системи, които могат да преведат от и на английски за задачи, включени в речта и текста. Освен това, той превъзхожда съществуващите съвременни 1 2 3 4 5 Основен Вавилонската риба от е измислен инструмент, който превежда между два езика. В съвременния глобален пейзаж, характеризиращ се с нарастваща взаимосвързаност и мобилна социалност, социалният императив да се актуализират тези технологии и да се улесни при поискване превод от реч към реч (S2ST) както в дигиталния, така и във физическия свят никога не е бил по-голям. за повече подробности за това защо речта трябва да бъде приоритет в MT. Въпреки че единични, модни модели като No Language Left Behind (NLLB) С увеличаване на обхвата на превода от текст към текст (T2TT) на над 200 езика, единните S2ST модели са далеч от постигането на подобен обхват или производителност. Пътеводител на хищника до галактиката I.1 от 6 Съществуващите S2ST системи имат три основни недостатъка. Първо, тези системи са склонни да се фокусират върху езици с висок ресурс, оставяйки много езици с нисък ресурс зад себе си. Второ, тези системи предимно обслужват превод от изходния език на английски (X-eng), а не обратния (eng-X). Трето, повечето S2ST системи разчитат силно на каскадирането на няколко подсистеми; например, автоматично разпознаване на речта (ASR) + T2TT + текст към реч (TTS). , , , те не съвпадат с представянето на своите каскадни колеги Вижте раздел Допълнителна информация Повече подробности за настоящия технически ландшафт. 1 4 5 7 I.2 от За да се справим с тези ограничения, въвеждаме SEAMLESSM4T (Massively Multilingual and Multimodal Machine Translation), единна система, която поддържа ASR, T2TT, превод от реч към текст (S2TT), превод от текст към реч (T2ST) и S2ST. За да изградим това, създадохме корпус от повече от 470 000 часа автоматично подредени преводи на речта (SEAMLESSALIGN) с помощта на ново пространство за вграждане на изречения (Sentence-level Multimodal and Language-Agnostic Representations или SONAR). След това сме комбинирали филтриран подкомплект от този корпус с човешки етикетирани и псевдо-етикетирани данни, за да разработим първата мултитаскинг система, която изпълнява S2ST от повече от 100 езика на 36 езика, S2TT и ASR на 96 езика, нулеви T2ST на 36 езика, както и T2TT за 96 езика (виж Таблица). за сравнителен преглед на езиковото покритие и раздел Допълнителна информация Заради единната архитектура на SEAMLESSM4T (фиг. ), моделът може да изпълнява T2TT, S2TT или S2ST за неанглийски посоки (X-X) в режим на нулеви изстрели. Той може също така да изпълнява T2ST без да бъде изрично обучен за тази задача. "Може да се справя с изречения, които смесват два или повече езика. 8 1 II 1 Неконтролирана реч преди тренировка на Трите основни блока на UNITY2 (S2ST фино настройване) с неговия не-авторегресивен (NAR) T2U са показани в горния ляв ъгъл. Multitask-UNITY2 с допълнителния си текстов кодер са показани в долния ляв ъгъл. Разделянето на компонентите на SEAMLESSM4T-V2 (модел за мултитаски-UNITY2) е показано вдясно с страничния панел, показващ модела на учителя T2U, използван за псевдо-етикетиране (M4). За да оценим качеството на резултатите от нашия модел, използвахме няколко съществуващи показатели, обхващащи задачи и модалитети, както и четири основни набора от данни за оценка. за T2TT, синьо за S2TT, ASR-BLEU за S2ST и WER за ASR. виж Допълнителна таблица Ние също така тествахме нашите модели за устойчивост срещу фонов шум или вариация на високоговорителите, както и други фронтове за отговорно разгръщане, като например предразсъдъка по отношение на пола, като използваме наборите от данни MULTILINGUAL HOLISTICBIAS, или добавена токсичност, като използваме нови метрики, базирани на речта (ASR-ETOX и MuTox). . 9 10 5 2 11 В допълнение към изграждането на SEAMLESSM4T, ние също така обсъждаме социалните последици от нашата работа и как тя може да допринесе за по-голяма степен на световна готовност. в дългосрочен план (виж раздел « За да стимулираме бъдещите изследвания, ние правим инструментите за данни, кода и двата размера на моделите SEAMLESSM4T публично достъпни за нетърговска употреба. 12 Социално въздействие и заключение В следващите раздели проследяваме ключовите резултати от разработването на нашите модели SEAMLESSM4T. Първо, очертаваме усилията си за извличане на подравнени данни за речта и текста, като започнем от идентифицирането на езика на речта до извличането на подравнени сегменти за реч и текст с помощта на модулни агностични кодове. След това докладваме за основните резултати от нашите системи за превод, обучени отчасти с гореспоменатите автоматично подравнени данни за речта. Тези резултати подчертават гъвкавостта на задачите на моделите SEAMLESSM4T, постигащи многоезични най-съвременни резултати в ASR, T2TT, S2TT и S2ST. След това подкрепяме резултатите от анализа на човешки данните Обучението на системите за превод на реч изисква етикетирани данни, т.е. данни от реч към текст и от реч към реч. Тези ресурси обаче са много ограничени за езици с ниски ресурси. и голяма колекция от сурови речи и текстове, както е описано в , за автоматично извличане на подредени ресурси, допълвайки съществуващите данни с човешки етикети и псевдо-етикети. 8 Методи Идентификация на речта Обработването на суров език от мрежата включва сегментиране на изказвания в по-къси парчета, последвано от езикова идентификация.Строителство на модел с отворен код, обучен на VoxLingua107 с архитектурата ECAPA-TDNN , , разработихме нов модел за идентифициране на езика, основан на речта (LID), който обхваща всички 100 езика, представени в тази работа (виж „ За повече подробности). 13 14 Methods Аудио обработка и реч LID За да се измери точността и изтеглянето на моделите LID, ние отчитаме резултатите от F1 върху данните от теста в таблицата с разширени данни Резултатите са дадени за данните от 100 езика SEAMLESSM4T (Общо) и 79-те общи езика между SEAMLESSM4T и VoxLingua107 (Интерсекция). Имайте предвид, че макро-F1 на всички езици за VL107HF е нисък, защото 21 езика не са обхванати от този модел. Ние откриваме, че обучението по допълнителните езици леко намалява общата производителност за общия набор от езици, което е пряко следствие от по-голям брой близки езици. Например, Zulu (zul) много често се бърка с Nyanja (nya), Igbo (ibo) с Yoruba (yor) и Modern Standard Arabic (arb) с марокански арабски (арабски) и египетски арабски (arz модел 1 SONAR текст вграждане пространство За да извличаме автоматично подравнени данни за превод от сегменти, идентифицирани от езика, разчитаме на езикови и модално-агностични кодове. Понастоящем ние предлагаме един текстов кодиращ и декодер за 200 езика и гласов кодиращ за 37 езика. В търсенето на многоезични прилики, xsim и xsim++ са две добре известни прокси метрики, които оценяват многоезичните пространства за вграждане за целите на минното дело. , SONAR значително превъзхожда други популярни подходи като LASER3 от LaBSE С XSIM и XSIM +. 8 6 15 2 16 17 Средната производителност на над 200 езика е конкурентна в сравнение със средно големия NLLB плътен модел, въпреки замяната на кодера-декодера в SONAR с фиксирано вграждане на бутилка (виж колоните T2TT на разширената таблица с данни). Този резултат доказва, че използването на внимание не е изискване за разумна точност на превода. 2 Обучение за кодиране на реч Кодерите на речта са обучени с подход учител-студент само за преписи на речта (виж „ Оценяването на итерациите на всеки гласов кодиращ код в край-на-край цикъл, т.е. извличане и обучение на S2TT или S2ST преводачески системи, ще бъде изчислително интензивно. Вместо това ние свързахме гласовия кодиращ код с SONAR текстовия декодер и оценихме тази система S2TT с нулев резултат като прокси за качеството на кодиращия код. , SONAR гласовите кодове се сравняват благоприятно с модел като WHISPER-LARGE-V2 на FLORES и цветя Пропуски в точността могат да се наблюдават в някои езици с висок ресурс като немски, руски или португалски, но SONAR превъзхожда WHISPER-LARGE-V2 в няколко езика с нисък ресурс като суахили или бенгалски (виж Допълнителната таблица). ) на Методи Сонар 2 6 18 8 Семеен SONAR текстови и гласови кодове са използвани за извличане на три вида подравнени данни: (1) английски език за неанглийски текстове (Sen2Txx); (2) неанглийски език за английски текстове (Sxx2Ten); и (3) неанглийски език за английски език (Sxx2Sen). SEAMLESSALIGN осигурява 202,796 часа аудио в Sen2Txx, 239,767 часа аудио в Sxx2Ten и 29,161 часа аудио в Sxx2En. Тези подравнени данни са извлечени от общо 2,5 млн. часа суров аудио (от които английският е почти 40%). SONAR гласови кодове са обучени на 43,772 часа контролирани ASR данни. . 8 За текстовия домейн използваме същите данни, консолидирани от проекта NLLB Сумата варира от 33 милиона или 55 милиона изречения за езици с ниски ресурси като малтийски или суахили, съответно, до 22 000 милиона английски изречения. 6 С изключение на малтийския език, за който имахме достъп само до малко количество суров аудио, успяхме да извлечем повече от 100 часа изравняване на речта с английски език за всички езици. Добавянето на такива големи количества данни за обучение на многоезична система за превод е значително изчислително предизвикателство. „ Тъй като нашите извлечени данни могат да помогнат за подпомагане на много различни случаи на употреба, ние отворихме метаданните, необходими за насочване на възпроизвеждането му (до праг на SONAR от 1,15; виж „ ’) да позволи на общността да възстанови SEAMLESSALIGN и да го използва за свои собствени цели. Оптималният праг може по този начин да бъде настроен въз основа на задачата, балансирайки размера на набора от данни и качеството на изравняване. Методи Моделиране Методи Говоренето Моделиране на многозадачни преводачески системи Съчетаване на моделирането техники, описани в „ с допълнителни данни от SEAMLESSALIGN (вж. „ ’), обучихме моделите SEAMLESSM4T в два размера: големи с параметри 2.3B и средни с параметри 1.2B. SEAMLESSM4T-MEDIUM е предназначен да бъде достъпно тестово легло за фино настройване, подобряване или ангажиране в анализ с. Ние допълнително обучихме подобрена версия на големия SEAMLESSM4T, наречен SEAMLESSM4T-V2, с по-добър гласов кодер (виж „ ’) и по-мощен единица декодер (виж раздел ‘ Всички модели SEAMLESSM4T поддържат 96 изходни езика в текстовата мода и повече от 100 изходни езика в речевата мода.На целевата страна моделите могат да извличат 96 езика в текстова форма и 35 в речта. и Това показва, че за някои насоки за превод и като се има предвид липсата на надзорни данни, нашите модели ще бъдат оценени с нулев резултат. Методи Моделиране Методи данните Методи Неконтролирана реч преди тренировка S2ST фино настройване 12 13 Ние оценявахме нашите модели по всички четири надзорни задачи (T2TT, ASR, S2TT и S2ST), както и задачата с нулеви резултати от превода на текст към реч (T2ST, наричана още кръстословна синтеза на текст към реч). ). To generate text hypotheses, we decoded with beam-search. We scored with chrF2++ for T2TT and BLEU for S2TT. We measure BLEU scores with SacreBLEU and provide the signatures in Supplementary Table За ASR, ние отбелязахме с WER (процент на грешка на думата) за нормализирани транскрипции и препратки след ref. . 19 2 20 По време на S2ST и T2ST заключение, ние извършихме двупосочен лъч-търсене декодиране; най-добрата хипотеза от първото преминаване декодиране е вграден с текстов декодер и се изпраща до текст-на-единица модул (T2U; виж раздел " ’) за да търсим най-добрата хипотеза за последователността на единиците. Използвахме ширина на лъча от 5 за двете търсения. Оценихме точността на S2ST и T2ST с ASR-BLEU, използвайки модели на WHISPER. Настроихме температурата на декодиране на WHISPER на нула и използвахме алчно декодиране, за да осигурим детерминистично поведение на модела на ASR. Транскриптираните хипотези, както и препратките, се нормализират след ref. преди да изчислите сините резултати. S2ST фино настройване 20 Сравнение с каскадни подходи за превод на речта За набора от езици, поддържани от SEAMLESSM4T и WHISPER, ние сравняваме в Таблица (S2TT колони) представянето на нашия директен S2TT модел към този на каскадните модели, а именно, комбинации от модели WHISPER ASR и модели NLLB T2TT. SEAMLESSM4T-V2 превъзхожда каскадните модели с по-малко от 3B параметри в X-eng посоки с 4.6 BLEU точки (от 22.0 до 26.6) и в eng-X посоки с 1 BLEU точка (от 21.1 до 22.2). Тези модели надхвърлят параметрите 4B и са до голяма степен превъзхождани от SEAMLESSM4T-V2 в X-eng (+3.9); те само незначително превъзхождат SEAMLESSM4T-V2 в eng-X посоки с 0,2 BLEU точки. 3 3 В сравнение с предишните директни модели S2TT SOTA, които изостават от каскадните системи (например AUDIOPALM-2-8B-AST. ref. ), SEAMLESSM4T-V2 подобрява резултата на FLEURS X-eng S2TT BLEU с 6,9 точки (от 19,7 до 26,6; т.е. подобрение от 35%). 21 масата (С2СТ колони) също така сравнява S2ST между модели SEAMLESSM4T и каскадни модели. За S2ST, ние изследваме две възможности за каскадиране: (1) три етапа с ASR, T2TT и TTS и (2) два етапа със S2TT и TTS. И двата вида каскадни системи разчитат на модел TTS за синтез на преведена реч, и за това използваме YOURTTS Когато синтезирате английски език и MMS Когато системата синтезира речта в 26 неанглийски езика на сравнение (превръзка между поддръжката на SEAMLESSM4T и поддръжката на TTS системи на MMS). Нашият SEAMLESSM4T-LARGE превъзхожда двустепенните каскадни модели на FLEURS X–eng посоки с 8 ASR-BLEU точки (17.8–25.8). Той също така превъзхожда по-силните тристепенни каскадни модели (WHISPER-LARGE-V2 + NLLB-3.3B + YOURTTS) с 2.1 ASR-BLEU точки (23.7–25.8). Подобреният SEAMLESSM4T-V2 допълнително укрепва този лидер на S2 FSTLE Xeng – с допълнително +3.9 ASR-BLE 3 22 23 Ние споделяме в раздел Допълнителна информация резултатите от оценката за задачите на S2TT и S2ST с допълнителни показатели, включително нашата модално-агностична BLASER 2.0. IV.1 от Резултати от мултитаскинг Докладваме на масата резултатите от референтния показател FLEURS за задачите на ASR и нулевият удар T2ST (X–eng и eng–X), както и свързания референтен показател FLORES за T2TT (X–eng и eng–X). В допълнение, SEAMLESSM4T-V2 се подобрява спрямо WHISPER-LARGE-V2 с 56% (от 41.7 до 18.5). срещу MMS SEAMLESSM4T-V2 превъзхожда MMS вариантите, оценени с CTC с повече от 38% WER (от 31.0 до 19.1), но е надминат от варианти, които използват монолингвистични n-gram езикови модели (5% по-добре WER с 18.6). 4 20 9 23 В задачата за поддръжка на T2TT резултатите в таблица показват, че нашите модели SEAMLESSM4T са на равни с NLLB-3.3B (реф. в двете посоки X-eng и eng-X. 4 6 След това оценявахме моделите SEAMLESSM4T по задачата на T2ST по нулев начин. Като се има предвид, че FLEURS събра три записи от три различни майки на езика за всеки образец, ние случайно избрахме един за задачата на T2ST (входът е текст). (колонките T2ST) сравнение между моделите SEAMLESSM4T и каскадните модели с NLLB и YOURTTS (английски TTS) или MMS (неанглийски TTS) за синтезиране на преведен текст. Ние средно оценяваме резултатите от ASR-BLEU в 88 X-eng посоки (дълбочината между FLEURS и езиците, поддържани от SEAMLESSM4T). Също така средно оценяваме ASR-BLEU в 26 eng-X посоки (дълбочината на SEAMLESSM4T с TTS модели на MMS). В сравнение с каскадните модели, нулевият капацитет на SEAMLESSM4T-LARGE V2 е равен на NLLB-3.3B + YOURTTS в X 4 За да разберем още повече откъде идват подобренията в посоките FLEURS S2TT X-eng, ние подреждаме езиците по ниво на ресурса (виж точния списък на езиците в Допълнителната таблица). ) и отчита средните резултати по BLEU на ниво ресурс в Таблица Резултатите показват, че SEAMLESSM4T значително подобрява качеството на превода от езици с нисък ресурс с подобрение от +10.2 BLEU (от 18.0 до 28.2, т.е. 57% подобрение в сравнение с AUDIOPALM-2-8B-AST).Ние също така средно в колоната Low* над ниско ресурсни посоки, които се контролират в AUDIOPALM-2-8B-AST.Повишаването на +7.8 BLEU в този поднабор от посоки предполага, че това подобрение надхвърля чистото наблюдение, но вместо това трябва да се дължи на качеството на наблюдаваните данни и рецептите за обучение. 12 5 Автоматична и човешка оценка Семантичната точност при говорния превод обикновено се оценява с автоматичната метрика BLEU. за S2TT или неговото разширение ASR-BLEU за S2ST. Освен това използваме BLASER 2.0 (реф. Разширение на BLASER , което сега позволява модално-агностична оценка и оценка на качеството както на речта, така и на текста. 10 24 25 За да допълним полезността на автоматичната метрика, ние също разчитаме на обширна човешка оценка на нашите модели.По-долу предоставяме човешка оценка за задачите S2TT и S2ST с протокола XSTS (междуезично семантично текстово сходство) и MOS (среден резултат на мнение) протокол за изход на речта (виж , ‘ Въпреки това, ние покриваме ограничен брой модели (SEAMLESSM4T-LARGE, SEAMLESSM4T-LARGE V2 и каскадна база, състояща се от WHISPER-LARGE-V2 за ASR, NLLB 3.3B за превод и YOURTTS или MMS за TTS за задачата S2ST) и указания за превод (23 езика от и на английски, 10 езика X-eng за MOS) поради ограничения на ресурсите. 26 Методи Човешка оценка Резултатите от XSTS показват, че SEAMLESSM4T-LARGE V2 превъзхожда както каскадните базови системи, така и SEAMLESSM4T-LARGE по отношение на средното ниво на езика XSTS резултат и процент на печалба (делът на оценяваните езици, за които XSTS е по-добър) за всички задачи и езикови посоки с висока степен на увереност. За задачата S2ST, където относителната производителност на SEAMLESSM4T-V2 е най-силна, процентът на печалба на подходите SEAMLESSM4T-V2 е 100% в сравнение с каскадните базови и SEAMLESSM4T-LARGE за двете посоки X-eng и eng-X, като средните езикови XSTS резултати са с около 0,5 и за пълно ниво на езика и обобщени XSTS резултати, съответно. 22 24 Ние също така измерваме качеството на изхода на речта за S2ST, като използваме протокол за оценка на средното мнение, който оценява (1) качеството на звука, (2) яснотата на речта и (3) естествеността. Ние откриваме, че като цяло, във всички аспекти на MOS, SEAMLESSM4T-LARGE V2 има тенденция да бъде предпочитана пред SEAMLESSM4T-LARGE, която има тенденция да бъде предпочитана пред каскадните базови линии на моделите, с изключение на X-eng, за които поколенията SEAMLESSM4T-LARGE са силно предпочитани (+1 точка средна разлика между поколенията SEAMLESSM4T-LARGE и SEAMLESSM4T-LARGE V2), неочакван резултат, който може да бъде следствие от различия в архитектурите на моделите и за пълно ниво на езика и обобщени MOS резултати, съответно. 23 24 Използвайки XSTS оценките на задачата S2ST, BLASER 2.0 (средно за всички точки на оценката в дадена езикова посока) постига превъзходни корелации на Spearman с калибрирани XSTS оценки на езиково ниво както в X-eng посока (0,845 за BLASER 2.0 в сравнение с 0,74 за ASR-BLEU) и по-специално за eng-X посока (0,81 за BLASER 2.0 в сравнение с 0,246 за ASR-BLEU). за пълни резултати). 21 Finally, we tested our models for robustness in terms of noise and speaker variations by creating open robustness benchmarks based on FLEURS (see , ‘ За тази цел установяваме, че SEAMLESSM4T-V2 е средно с около 42% и 66% по-устойчив на фонов шум и промяна на високоговорителите, съответно, в сравнение с WHISPER-LARGE-V2 (вижте пълните резултати в раздела Допълнителна информация). ). Методи Робусността V.2 Отговорни са Toxicity Токсичността може да се дефинира като случаи на профанизъм или език, които могат да подбуждат към омраза, насилие или злоупотреба срещу индивид или група (като религия, раса или пол).Когато става въпрос за масово многоезични класификатори на токсичността за текст, инструментът ETOX изглежда е единствената отворена опция с най-голямо езиково покритие . In the context of speech translation, we were primarily worried about added toxicity—the introduction in translations of toxic elements not present in source utterances. Speech toxicity has been evaluated for English in ref. и наскоро за десетки езици с MuTox . 27 28 29 Следователно, за откриване на токсичност при многоезична реч и текст, използвахме ETOX (или ASR-ETOX за S2ST) и MuTox (както за речта, така и за текста) като показатели за откриване и оценка на добавената токсичност. За смекчаване на токсичността прилагахме две техники за справяне с добавената токсичност. Преди обучението филтрирахме обучителните двойки с небалансирана токсичност. По време на инфузията (виж „ „ ) 11 Methods Откриване на токсичност Изчислихме добавената токсичност в два набора от данни (FLEURS и HOLISTICBIAS ) across 24 translation directions with English (arb, ben, cat, ces, dan, deu, est, fin, fra, hin, ind, ita, nld, pes, pol, por, rus, slk, spa, swh, tgl, tur, urd, vie), using the languages at the intersection of the coverage of systems and MuTox having been benchmarked (note that MuTox has wider language coverage, similar to SONAR, but it has only been benchmarked in 30 languages Вижте резултатите с повече насоки за превод, оценени с ETOX в раздела Допълнителна информация масата shows that although levels and types of added toxicity vary significantly as a function of language and dataset, the added toxicity in our systems has a relatively low prevalence consistent across our two toxicity detection metrics (<0.4%). Table Най-ниската токсичност за всички видове, посоки и набори от данни се получава последователно с SEAMLESSM4T-V2 + MinTox, като се постига намаляване на токсичността до 5% по отношение на MuTox (и до 80% по отношение на ETOX) в сравнение със същия модел без използване на MinTox, и до 20% по отношение на MuTox (до 90% по отношение на ETOX) в сравнение с изходната линия (вижте пълните резултати в раздела Допълнителна информация). ). 27 29 VI.1 от 6 6 VI.1 Gender bias Gender bias in the context of MT can be defined as errors in grammatical gender determination. This bias may manifest explicitly as an overgeneralization to one gender when translating non-gendered to gendered forms (for example, outputs favouring masculine representations) or as a lack of robustness when varying the quality of the translation for sentences that differ only in gender inflection. Предишната работа по този въпрос е предимно в текстовата мода , , и има тенденция да бъде англоцентрична, с малко демографски оси и многоезични препратки. , . 30 31 32 33 34 We used MULTILINGUAL HOLISTICBIAS and its speech extension to compare the performance of S2TT and S2ST. The eng–X direction enables comparing performance in the presence of masculine or feminine references, and the X–eng direction enables robustness comparisons in translations when we alter gender inflection. A typical example of the English–Spanish language pair would be ‘I’m a homemaker’ and the corresponding translations ‘Soy amo de casa’ and ‘Soy ama de casa’ in Spanish. When translating from English to Spanish, we can measure if the system overgeneralizes to one gender, whereas in the other direction, we can evaluate the robustness of the translation to gender inflection (see , ‘ „ ) 35 Methods Разширяване на речта на многоезичните холистики Проведохме набор от всеобхватни оценки на предразсъдъците при превода за S2TT и S2ST (виж Таблица с разширени данни). for average results and Supplementary Information section for detailed results). SEAMLESSM4T-V2 consistently improves robustness in gender variations across metrics and tasks. When compared with the previous model, SEAMLESSM4T-V2 improves over SEAMLESSM4T-LARGE by 0.4% in S2TT and by 0.1% BLASER 2.0 in S2ST, and it beats the external baseline system of WHISPER-LARGE-V2 (+YOURTTS) by 0.1% in S2TT and by 0.9% BLASER 2.0 for S2ST. However, SEAMLESSM4T-V2 is not able to consistently improve in terms of gender overgeneralization compared with the previous model. SEAMLESSM4T-V2 is comparable in terms of BLASER 2.0 to SEAMLESSM4T-LARGE, but it lags far behind in terms of ASRchrf (by 2.2%), and overgeneralization is increased by 0.2% when it comes to S2TT. Although we can increase bias robustness by improving the overall quality of the model, it seems that we need specific techniques to counteract the overgeneralization of the model towards a specific gender. 3 Виж 2 Социално въздействие и заключение The world we live in has never been more interconnected—the global proliferation of the internet, mobile devices, communicative platforms and social media exposes individuals to more multilingual content than ever before Настоящият социален ред поставя изискване за готовността на човека за света. Първоначално разработена в контекста на изучаването на езици, световната готовност подчертава значението на това да можем да общуваме на езици извън родния ни език както по инструментални (т.е. заетост или образование) така и по културни причини (т.е. да станем глобален гражданин). 36 12 Приложенията надолу по веригата, които SEAMLESSM4T поддържа, биха могли да позволят достъп по заявка до световна готовност чрез рационализиране на многоезичния обмен в различни контексти.Приложенията, поддържани от SEAMLESSM4T, биха могли да действат като механизъм за съвместно пилотиране, който подпомага потребителите в многоезични разговори и повишава тяхната увереност в гласови взаимодействия.Тъй като интерфейсите, базирани на речта (напр. аудио-асистенти, гласови бележки и живи транскрипции) и аудио съдържание (напр. подкасти, аудиокниги и видеоклипове с кратка форма) стават все по-присъстващи, приложенията надолу по веригата, поддържани от SEAM From an inclusion standpoint, the focus of SEAMLESSM4T on multimodality could make a meaningful difference in augmenting the world-readiness of those with accessibility needs and those whose languages can be transcribed with multiple writing systems. For many who lack reading or writing skills, or cannot rely on sight (that is, people who are blind or with visual impairment), voice-assisted technologies are essential to how they communicate and stay connected Способността да се превежда реч дава на тези групи по-обширен достъп до информация не само извън родния им език, но и по начин, който е по-подходящ за техните комуникативни нужди. 37 As with most technologies, the distribution of benefits varies based on user demographics and social situation Въпреки че твърдим, че SEAMLESSM4T може да повиши световната готовност чрез намаляване на бариерите в комуникацията между езиците, някои потребители могат да изпитат повече трудности при използването на нашата работа, отколкото други. например, подобно на много други технологии за говор, ASR представянето на SEAMLESSM4T може да варира в зависимост от пола, раса, акцент или език , . Moreover, the performance of our system in translating slang or proper nouns may also be inconsistent across high and low-resource languages. 38 39 40 Another challenge for S2ST is that speech tends to hinge on immediate reception and feedback more than written language does. In other words, speakers are limited in their ability to ascertain the quality of an output or make edits in a live conversation. Without the ability to plan and revise with the help of back-translation or a native speaker, S2ST may carry higher degrees of interactional risk when it comes to mistranslations or toxicity. We urge researchers and developers who fine-tune or build artefacts using SEAMLESSM4T to think critically about design features that could help users circumvent these potential obstacles. Importantly, we believe that SEAMLESSM4T-fueled applications should best be viewed as an augmentation device that assists in translation rather than a tool that replaces the need for language learning or reliable human interpreters. This reminder is especially pertinent in high-stakes situations involving legal or medical decision-making. Finally, speech is not spoken text—it encompasses a suite of prosodic (for example, rhythm, stress, intonation or tone) and emotional components that deserve further research За да се създадат S2ST системи, които се чувстват органични и естествени, повече изследвания трябва да бъдат насочени към производството, което запазва изразителността Освен това, пълното осъществяване на Babel Fish изисква по-дълбоки инвестиции в научните изследвания за превод на реч с ниска латентност.Разработването на системи, които позволяват стрийминг (т.е. постепенно превеждане на входно изречение, тъй като то се представя) може да увеличи приемането на тези системи в институционални контексти , . We hope that SEAMLESSM4T opens up new possibilities for both these research areas. 41 42 43 44 Methods данните Разработването на ефективна многоезична и мултимодална система за превод като SEAMLESSM4T изисква значителни ресурси в различни езици и модальности.Някои човешки етикетирани ресурси за превод са свободно достъпни, но често са ограничени до малък набор от езици или в много специфични области. Корпус на ООН . A few human-created collections also involve the speech modality, such as CoVoST , и mTEDx Въпреки това, нито един отворен набор от данни в момента не съответства на размера на тези, използвани в инициативи като WHISPER. or USM , което се оказа да отключи безпрецедентна производителност. 45 46 47 48 49 20 50 Parallel data mining emerges as an alternative to using closed data, in terms of both language coverage and corpus size. The dominant approach today is to encode sentences from various languages and modalities into a joint fixed-size embedding space and find parallel instances based on a similarity metric. Mining is then performed by pairwise comparison over massive monolingual corpora, in which sentences with similarity above a certain threshold are considered mutual translations , Този подход е въведен за първи път с помощта на многоезичното лазерно пространство. . Teacher–student training was then used to scale this approach to 200 languages , and, subsequently, the speech modality , . 51 52 53 6 16 54 55 Audio processing and speech LID We started with 4 million hours of raw audio originating from a publicly available repository of crawled web data on which we applied several cleaning and filtering operations. To maximize the recall of mining, it is important that all segments have a similar granularity. For the text domain, a sentence is generally well-defined. This is less obvious for raw speech because pauses are not necessarily used at sentence boundaries. First, we used an open Voice Activity Detection model to split audio files into shorter segments. Second, a newly developed speech LID model was applied to each segment. Our model follows the ECAPA-TDNN architecture and extends the open-source model trained on VoxLingua107 by 15 new languages. Finally, we applied an over-segmentation approach that simultaneously proposed multiple, potentially overlapping speech segmentations. We relied on the mining approach to align the most likely ones. Supplementary Fig. shows this pipeline. 56 13 14 1 SONAR SONAR текстови и гласови кодове са разработени в ref. Използване на двустепенен подход (фиг. ). First, a massively multilingual representation was learnt for the text modality only. Then, teacher–student training was used to extend the embedding space to the speech modality. The text embedding space was trained with an encoder–decoder approach using a combination of multiple objectives: translation, denoising auto-encoding and mean squared error (MSE) loss objective in the sentence embedding space. The training data were identical to those used to train the NLLB model , that is, parallel data to translation from 200 to 200 languages. Speech encoders were trained only on ASR data and by grouping languages into linguistic genealogical groups following ref. , например, италиански, общ турски или индо-ирански езици. За да постигнем оптимална производителност, определихме оптималното сближаване отделно за всеки език (т.е. кога да спрем обучението). . The speech encoders were initialized with w3v-best 2.0 speech front end. Preceding work performed max pooling or mean pooling of the output states of the speech front end to obtain a fixed-size embedding of the speech signal , Проучване на аблацията показва, че по-добри резултати могат да бъдат получени чрез използване на трислоен трансформатор Обучението учител-студент се състои в минимизиране на загубата на MSE по отношение на вграждането на ASR текстовите транскрипции. Тези вграждания са получени от SONAR текстовия кодер, който се поддържа постоянен. 8 2 6 16 8 54 57 8 Говоренето Първо изчислихме вгражданията на всички сегментирани гласови сегменти.За текстовия домейн използвахме точно същите текстове като проекта NLLB и ги вградили с кодера SONAR. Изчерпателно сравнение по двойки може да се извърши ефективно с инструментария на FAISS . Similarity is measured with a margin criterium as first introduced in ref. : 6 58 52 where и са източникът и целевите изречения, и ( ) denotes the nearest neighbours of на други езици. ние поставяме на 16. x y NNk x k x k As an example, this amounts to comparing a hundred thousand hours of speech with more than 20,000 million English sentences, which yielded about eight thousand hours of aligned Arabic speech. Моделиране The SEAMLESSM4T models rely on our multitask UNITY architecture. Our proposed unified translation model builds on vanilla UNITY , двупосочна рамка за декодиране, която първо генерира текст и след това генерира реч чрез предсказване на дискретни акустични единици (виж раздел " В сравнение с модела UNITY на ванилия , (1) the core S2TT model, initialized from scratch in UNITY, is replaced with an X2T model that supports text as input and is pretrained to jointly optimize the tasks of ASR, S2TT and T2TT (see section ‘ ’), and (2) the shallow T2U model (referred to as T2U unit encoder and second-pass unit decoder in ref. ) се заменя с по-дълбок трансформатор-базиран енкодер-декодер модел с шест трансформаторни слоя, които са предварително обучени на ASR данни (виж раздел " ’). An improved version of UNITY, dubbed UNITY2, replaces the autoregressive T2U with a new non-autoregressive (NAR) T2U decoder. This NAR T2U model delivers stronger accuracy because of its hierarchical upsampling from subwords to characters and then to units. 59 Multilingual discrete acoustic units 59 X2T фино настройване 59 S2ST fine-tuning The pretraining of X2T yielded a stronger speech encoder and a higher quality first-pass text decoder, whereas the scaling and pretraining of the T2U model allowed us to better handle multilingual unit generation without interference. Furthermore, the switch to non-autoregressive T2U decoding improved S2ST inference speed by three times. Многоезични дискретни акустични единици Последните работи постигнаха най-съвременни преводачески постижения чрез използване на самонаблюдавани дискретни акустични единици като цели за изграждане на директни модели за превод на речта , . This consists of decomposing the S2ST problem into a speech-to-unit translation step and a unit-to-speech conversion step. We extracted continuous speech representations using XLS-R Наборът от дискретни токени (известен също като единен речник) се изучава чрез прилагане на - означава алгоритъм за набор от многоезични аудио проби. -means centroids resemble a codebook that is used to map a sequence of XLS-R speech representations into a sequence of centroid indices or acoustic units. We used a unit vocabulary size = 10 000 с функции от 35-ия слой на XLS-R-1B, за да представляват 35-те поддържани целеви езика. 5 60 61 k k K For the unit-to-speech conversion step, we followed ref. and built a multilingual vocoder for speech synthesis from the learnt multilingual units. This model is responsible for synthesizing audios from a sequence of units that SEAMLESSM4T models will predict. 62 Unsupervised speech pretraining Самоконтролираното предварително обучение с не-етикетирани звукови данни е практичен подход за използване на не-етикетирани данни. С предварително обучение можем да стартираме качеството на моделите за превод и да извлечем максимума от нашите поднадзорни двойни данни. in combining contrastive learning with masked prediction learning. W2V-BERT 2.0 uses more codebooks and an additional masked prediction task using random projection quantizers (RPQ). Our W2V-BERT 2.0 model is first trained on 1 million hours of open speech audio data that covers over 143 languages. It follows the w2v-BERT XL architecture , which has 24 Conformer layers и приблизително 600 милиона параметъра на модела. За версията v2 ние увеличихме обема на немаркираните данни от 1 милион на 4,5 милиона часа аудио. Най-новият и публично достъпен многоезичен модел за предварително обучение е MMS . It is trained on only 0.5 million hours, spanning over 1,400 languages. The largest model in scale is USM Това е собствен многоезичен модел за предварително обучение на речта с 12 милиона часа данни и покритие за повече от 300 езика. 63 64 63 65 23 50 Text-to-text translation models The text processing components of our SEAMLESSM4T models were pretrained on the task of text-to-text translation, a much more resourced task than speech translation. Consider, for instance, the English–Italian direction, one of the highly resourced pairs in T2TT with more than 128 million parallel sentences—only 2 million pairs of English text paired with Italian audio are available for S2TT. A key step in training multilingual text-to-text translation models is learning a shared vocabulary with a text tokenizer. Following ref. Ние използваме SentencePiece with the BPE algorithm for this purpose. The tokenizer used in NLLB-200 страда от липса на ключови китайски символи поради артефакти на вземане на проби. Това вземане на проби не благоприятства лого-графичните системи с голям брой уникални символи. За да коригираме този проблем, ние принудихме включването на тези символи. Нашият нов токенизатор подобрява покритието на топ 5K китайски символи от MTSU от 54% до 84%. 6 66 67 6 To train our multilingual text-to-text model, we followed the same data preparation and training pipelines in ref. Използване на спирачки Наличието на по-малък езиков обхват ни позволи значително да намалим размера на модела до 1.3B параметри и да използваме само данни за обучение NLLB-200 в 95-те езика SEAMLESSM4T. 6 68 Data augmentation with pseudo-labelling Както при всяка задача от последователност към последователност, изпълнението на превода на реч зависи от наличието на висококачествени данни за обучение.Въпреки това, количеството на данните с човешки етикети е малко в сравнение с неговите T2TT или ASR колеги.За да се справим с този недостиг на етикетирани данни, използваме псевдо-етикетиране , the ASR data with a multilingual T2TT model (for example, NLLB models) to generate pseudo-labelled S2TT data. 69 70 За да се увеличат S2ST данните, е обичайно да се използват TTS модели за преобразуване на текст от набори от данни от реч към текст в синтетичен говор. , . This synthetic speech is, in turn, converted into discrete units for training. This two-step unit extraction process is a slow process and is harder to scale given the dependencies on TTS models. We circumvented the need for synthesizing speech and trained multilingual text-to-unit (T2U) models on all 36 target speech languages. These models can directly convert the text into target discrete units and can be trained on ASR data sets that are readily available. 4 5 X2T fine-tuning The first key part of our multitask UNITY framework is the X2T model, a multi-encoder sequence-to-sequence model with a conformer-based encoder за гласов вход и друг кодер, базиран на трансформатор И двата кодера са свързани със същия текстов декодер и са фино настроени заедно, за да оптимизират задачите на ASR, S2TT и T2TT. 65 71 Our X2T model consists of joining the speech encoder, W2V-BERT 2.0 from M2, post-fixed with a length adapter to downsample long audio sequences, with the text encoder–decoder from M3 (Supplementary Fig. За дължината адаптер, ние използвахме модифицирана версия на M-адаптер , в която сме заменили трите независими модула за обединяване за Q, K и V с споделен модул за обединяване, за да подобрим ефективността. 4 72 X2T was fine-tuned on S2TT data triplets with speech audio ( speech) in a source language ⟨ , съчетан с неговата транскрипция ( текст) и текст превод ( text) in a target language ⟨ За да се даде възможност за прехвърляне на смисъл между модалитети, моделът X2T е фино настроен, за да оптимизира съвместно следните обективни функции: x ℓs x y ЛТ We additionally optimized an auxiliary objective function in the form of token-level knowledge distillation () to further transfer knowledge from the strong MT model to the student speech translation task (S2TT). The final loss is a weighted sum of all three losses: where , и are scalar hyper-parameters tuned on the development data. α β γ S2ST fine-tuning In the last stage of fine-tuning multitask UNITY, we initialized the model with the pretrained X2T model (see section ‘ „) и предварително обучен модел T2U, подобен на този, използван за псевдо-етикетиране на S2ST данни в M4. Моделът T2U, използван за псевдо-етикетиране, се нарича учителски модел T2U с 12 трансформаторни слоя енкодер-декодер. За инициализацията използвахме по-малък студентски модел T2U с само шест слоя, за да оптимизираме заключението и да дестилираме етикетите на по-силното T2U. Във втората версия на SEAMLESSM4T UNITY2 заменя авторегресивния единен декодер в UNITY с NAR единен декодер. and extended it to discrete unit generation. UNITY2 starts with hierarchically upsampling the T2U encoder output from subword length to character length and then to unit length. The unit duration predictor, the key to the hierarchical upsampling, is supervised during training by a multilingual aligner based on RAD-TTS . The architecture is shown in detail in Supplementary Information section . X2T fine-tuning 73 74 IV.8 от Ние фино настройваме задачата S2ST с комбинация от X-eng и eng-X S2ST данни за превод с общ обем от 121 000 h. Ние замразяваме теглото на модела, съответстващо на модела X2T и само фино настройваме компонента T2U. Това е, за да се гарантира, че представянето на модела по задачите от предишните етапи на фино настройване остава непроменено. Automatic and human evaluation Блейзър 2.0 BLASER 2.0 (ref. ) is the new version of BLASER , which works with both speech and text modalities, and hence being modality-agnostic. Like the first version, our approach leverages the similarity between input and output sentence embeddings. The new version uses SONAR embeddings Supplementary Information section , supports 57 languages in speech and 202 in text (coverage of languages by SONAR at the moment of submission of this paper) and is extendable to future encoders for new languages or modalities that share the same embedding spaces. For the purposes of evaluating speech outputs (and unlike ASR-based metrics), BLASER 2.0 offers the advantage of being text-free. 24 75 III.3.1 More specifically, in BLASER 2.0, we take the source input, the translated output from any S2ST, S2TT or T2TT model, and the reference speech segment or text, and convert them into SONAR embedding vectors. For the supervised version of BLASER 2.0, these embeddings are combined and fed into a small, dense neural network that predicts an XSTS score for each translation output. Човешка оценка В допълнение към автоматичните показатели като (ASR) BLEU и BLASER 2.0, ние използвахме човешки показатели като XSTS , който измерва семантичното сходство между източник и целеви превод, и стандартен коефициент на средно мнение (както е стандартизиран в Препоръка ITU-T P.800, оттук нататък MOS), който измерва (1) естествеността, (2) качеството на звука и (3) яснотата на аудио поколенията за оценка на нашите модели. В допълнение към XSTS, ние също така получихме MOS оценки, за да разберем други аспекти на качеството на звука в целевата реч. . 26 6 V.1 Робусността We built a replicable noise-robustness evaluation benchmark based on FLEURS (noisy FLEURS), which covers 102 languages, two speech tasks (S2TT and ASR), and various noise types (natural noises and music). To create simulated noisy audios, we sampled audio clips from MUSAN on the ‘noise’ and ‘music’ categories and mixed them with the original FLEURS speech audios under different signal-to-noise ratio (SNR): 10, 5, 0, −5, −10, −15 and −20. We compared models by BLEU-SNR curves (for S2TT) or WER-SNR curves (for ASR), which illustrate the degree of model performance degradation when the noise level of speech inputs increases (that is, when SNR decreases). For low-resource languages, the clean speech setup is already challenging, let alone a noisy one. Thus, we focused on four high-resource languages (French, Spanish, Modern Standard Arabic and Russian) belonging to three different language families for our noise-robustness analysis. 76 Следваща Статия Ref. за да се оцени устойчивостта на модела спрямо вариациите на говорителите, като се изчисли средният среден резултат на групата и коефициентът на вариация на групата, като се използва метрика за качество на нивото на произношението. Вместо да се използва BLEU като показател за качество, ние използвахме chrF, който има по-добра стабилност на нивото на произношението. Изчисляването на двете показатели за устойчивост не изисква изрични етикети на подгрупата на говорителя. Групирахме пробите за оценка и съответните оценки на нивото на произношението chrF по съдържание (транскрипт) и след това изчислихме средния среден резултат на групата chrFMS и средния коефициент на вариация на групата CoefVarMS 47 where is the set of sentence-level chrF scores grouped by content (transcript) and . The two metrics are complementary: chrFMS provides a normalized quality metric that, unlike conventional corpus-level metrics, takes speaker variations into consideration, whereas CoefVarMS provides a standardized measure of quality variance under speaker variations. For robustness analysis, we conducted an out-of-domain evaluation on FLEURS on all languages that have at least 40 content groups in the test sets. G Отговорни са Toxicity detection Вдъхновена от ASR-BLEU, тази работа предлага използването на ASR-ETOX като нова метрия за откриване на добавена токсичност в речта и оценка на добавената токсичност за S2ST способността на SEAMLESSM4T. По същество тази метрия следва каскадна рамка, като първо се разгръща стандартен ASR модул (т.е. същият, който се използва за ASR-BLEU, както е определено в Допълнителната таблица). , след това модул за откриване на токсичност, ETOX , which uses the Toxicity-200 word lists За S2TT преведеният изход може да бъде директно оценен с ETOX. И в двата случая (S2ST и S2TT) измервахме добавената токсичност на нивото на изречението или изречението. Първо изчислихме откриването на токсичността за всеки вход в набора от данни за оценка и съответния изход. След това ги сравнихме и преброихме един случай като съдържащ добавена токсичност само когато изходната стойност надвишава тази на входа. Освен това използвахме предложената наскоро метрия MuTox, която може да се приложи към изхода от текст или реч без необходимост от ASR. Този класификатор е обучен по данни за токсичност на речта и текста, етикетирани на 30 езика. , MuTox the same number of languages by the zero-shot property. However, accounting for validated quality, we report MuTox only the languages that have been benchmarked . Again in both cases (S2ST and S2TT), we measured added toxicity at the utterance or sentence level. In this case, a sentence contains added toxicity if MuTox scores is >0.9 in the output and <0.5 in the input. We have experimentally validated these thresholds for several languages with human bilingual speakers for several pairs of languages. For S2TT, we computed MuTox in transcribed speech and target text. For S2ST, we computed MuTox in source and target speech. 2 27 6 29 29 За смекчаване на токсичността прилагаме две техники за смекчаване на добавената токсичност. Преди обучението филтрираме тренировъчните двойки с небалансирана токсичност. at inference time. In particular, the main workflow generates a translation hypothesis with an unconstrained search. Then, the toxicity classifier is run on this hypothesis. If no toxicity is detected, we provide the translation hypothesis as it is. However, if toxicity is detected in the output, we run the classifier on the input. If the toxicity is unbalanced (that is, no toxicity is detected in the input), we re-run the translation with mitigation, which is the BEAMFILTERING step. This BEAMFILTERING consists of taking as input the multi-token expressions that should not appear in the output and excluding them from the beam-search hypotheses. Note that we do not apply mitigation in cases in which there is toxicity in the input (in other words, we do not deal with cases in which there is toxicity in the input but more toxicity in the output). 11 We used two datasets to analyse added toxicity. First, we deployed FLEURS to better align with our human evaluation effort and other evaluative components of this work. Furthermore, we used the English-only HOLISTICBIAS framework , което е доказано, че предизвиква истинска добавена токсичност в предишни проучвания В тази работа ние разширяваме HOLISTICBIAS на речта, като прилагаме стандартния английски модел TTS от MMS . 77 27 23 Speech extension of MULTILINGUAL HOLISTICBIAS To compare the performances across modalities (S2ST and S2TT), we extended MULTILINGUAL HOLISTICBIAS to speech ( Ние използвахме тези генерирани TTS данни като вход за S2TT и S2ST и като референция за S2ST. Ние извършихме преводи в две посоки: eng–X и X–eng. По-специално, в X–eng, ние преведехме както мъжки, така и женски версии на речта. Заслужава да се отбележи, че някои целеви езици не са налични в модела SEAMLESSM4T S2ST, така че извършихме преводи само на 17 езика за задачата S2ST в посока eng–X. За S2TT в eng–X, имаме всички езици, включени в набора от данни MULTILINGUAL HOLISTICBIAS ( За справка, пълният списък на езиците, използвани в нашите експерименти, може да бъде намерен в Допълнителната таблица . 23 https://github.com/facebookresearch/fairseq/tree/main/examples/mms#tts-1 n 26 In terms of evaluation metrics for S2TT, we used chrF. For S2ST, we used ASRchrf (the transcription is done by WHISPER-LARGE and WHISPER-MEDIUM for eng–X and X–eng, respectively, and chrF has been calculated the same way as S2TT except that in S2ST, the text from both prediction and reference were normalized) and BLASER 2.0. It is worth noting that when evaluating on BLASER 2.0, we only included 14 languages (arb, cat, deu, eng, fra, nld, por, ron, rus, spa, swe, tha, ukr and urd) for the eng–X direction (overlapping languages from the generated TTS data and the languages available in our S2ST model). 20 Data availability To make our work available to the community, we provide open source of the following data sets, models and code at GitHub ( ): (1) модели SEAMLESSM4T, включително моделни тежести за SEAMLESSM4T-LARGE (2.3B параметри) и SEAMLESSM4T-MEDIUM (1.2B параметри), както и техните кодове за заключение и рецепти за фино настройване, задвижвани от нашия нов инструмент за моделиране FAIRSEQ2 ( 2) инструменти за създаване на изравнени гласови данни, включително метаданни, за да се възпроизведат нефилтрираните 470 000 часа на SEAMLESSALIGN, тръбопроводи, базирани на STOPES ( ) to create alignments similar to SEAMLESSALIGN and SONAR for speech encoders in 37 languages and text encoders in 200 languages ( ) and (3) a text-free S2ST automatic evaluation model, BLASER 2.0, inclusive of model weights and inference scripts. https://github.com/facebookresearch/seamless_communication https://github.com/facebookresearch/fairseq2 https://github.com/facebookresearch/stopes https://github.com/facebookresearch/SONAR Референции Lavie, A. et al. Janus-III: speech-to-speech translation in multiple languages. In Vol. 1, 99–102 (IEEE, 1997). Proc. 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing Wahlster, W. (ed.) (Springer, 2000). Verbmobil: Foundations of Speech-to-Speech Translation Nakamura, S. et al. The atr multilingual speech-to-speech translation system. , 365–376 (2006). IEEE Trans. Audio Speech Lang. Process. 14 Article Google Scholar Jia, Y. et al. Direct speech-to-speech translation with a sequence-to-sequence model. In , 1123–1127 (ISCA, 2019). Proc. Interspeech 2019 Lee, A. et al. Direct speech-to-speech translation with discrete units. In (eds Muresan, S. et al.) Vol. 1, 3327–3339 (Association for Computational Linguistics, 2022). Proc. 60th Annual Meeting of the Association for Computational Linguistics NLLB Team Scaling neural machine translation to 200 languages. , 841–846 (2024). Nature 630 Article CAS Google Scholar Agarwal, M. et al. Findings of the IWSLT 2023 evaluation campaign. In (eds Salesky, E. et al.) 1–61 (Association for Computational Linguistics, 2023). Proc. 20th International Conference on Spoken Language Translation (IWSLT 2023) Duquenne, P.-A., Schwenk, H. & Sagot, B. SONAR: sentence-level multimodal and language-agnostic representations. Preprint at (2023). https://arxiv.org/abs/2308.11466 Popović, M. chrF: character n-gram F-score for automatic MT evaluation. In (eds Bojar, O. et al.) 392–395 (Association for Computational Linguistics, 2015). Proc. Tenth Workshop on Statistical Machine Translation Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (Association for Computational Linguistics, 2002). Proc. 40th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. R., Dale, D., Elbayad, M. & Yu, B. Added toxicity mitigation at inference time for multimodal and massively multilingual translation. In (eds Scarton, C. et al.) Vol. 1, 360–372 (European Association for Machine Translation, 2024). Proc. 25th Annual Conference of the European Association for Machine Translation ACTFL. World-readiness standards for learning languages. (2023). https://www.actfl.org/educator-resources/world-readiness-standards-for-learning-languages Desplanques, B., Thienpondt, J. & Demuynck, K. ECAPA-TDNN: emphasized channel attention, propagation and aggregation in TDNN based speaker verification. In (eds Meng, H. et al.) 3830–3834 (ISCA, 2020). Proc. Interspeech 2020, 21st Annual Conference of the International Speech Communication Association, Virtual Event Valk, J. & Alumäe, T. VOXLINGUA107: a dataset for spoken language recognition. In 652–658 (IEEE, 2021). Proc. 2021 IEEE Spoken Language Technology Workshop, Chen, M., Heffernan, K., Çelebi, O., Mourachko, A. & Schwenk, H. xSIM++: An improved proxy to bitext mining performance for low-resource languages. In (eds Rogers, A. et al.) Vol. 2, 101–109 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. In , 2101–2112 (eds Goldberg, Y. et al.) (Association for Computational Linguistics, 2022). Findings of the Association for Computational Linguistics: EMNLP 2022 Feng, F., Yang, Y., Cer, D., Arivazhagan, N. & Wang, W. Language-agnostic BERT sentence embedding. In (eds Muresan, S. et al.) Vol. 1, 878–891 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Conneau, A. et al. FLEURS: FEW-Shot Learning Evaluation of Universal Representations of Speech. In , 798–805 (IEEE, 2023). 2022 IEEE Spoken Language Technology Workshop (SLT) Zhang, Z.-H. et al. Speak foreign languages with your own voice: cross-lingual neural codec language modeling. Preprint at (2023). https://arxiv.org/abs/2303.03926 Radford, A. et al. Robust speech recognition via large-scale weak supervision. In , article no. 1182, 28492–28518 (ACM, 2023). Proceedings of the 40th International Conference on Machine Learning Rubenstein, P. K. et al. AudioPaLM: a large language model that can speak and listen. Preprint at (2023). https://arxiv.org/abs/2306.12925 Casanova, E. et al. YourTTS: towards zero-shot multi-speaker tts and zero-shot voice conversion for everyone. In , Vol. 162, 2709–2720 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Pratap, V. et al. Scaling speech technology to 1,000+ languages. , 1–52 (2024). J. Mach. Learn. Res. 25 Dale, D. & Costa-jussà, M. R. Blaser 2.0: a metric for evaluation and quality estimation of massively multilingual speech and text translation. In (eds Al-Onaizan, Y. et al.) 16075–16085 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: EMNLP 2024 Chen, P.-J. et al. Speech-to-speech translation for a real-world unwritten language. In (eds Rogers, A. et al.) 4969–4983 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: ACL 2023 Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In (eds Duh, K. & Guzmán, F.) Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proc. 15th Biennial Conference of the Association for Machine Translation in the Americas Costa-jussà, M. et al. Toxicity in multilingual machine translation at scale. In , 9570–9586 (Association for Computational Linguistics, 2023). Findings of the Association for Computational Linguistics: EMNLP 2023 Ghosh, S., Lepcha, S., Sakshi, S., Shah, R. R. & Umesh, S. DeToxy: a large-scale multimodal dataset for toxicity classification in spoken utterances. In 2022, 5185–5189 (2022); . Proc. Interspeech https://api.semanticscholar.org/CorpusID:247940269 Costa-jussà, M. R. et al. MuTox: universal multilingual audio-based toxicity dataset and zero-shot detector. In (eds Ku, L.-W. et al.) 5725–5734 (Association for Computational Linguistics, 2024). Findings of the Association for Computational Linguistics: ACL 2024 Stanovsky, G., Smith, N. A. & Zettlemoyer, L. Evaluating gender bias in machine translation. In (eds Korhonen, A. et al.) 1679–1684 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Levy, S., Lazar, K. & Stanovsky, G. Collecting a large-scale gender bias dataset for coreference resolution and machine translation. In (eds Moens, M. F. et al.) 2470–2480 (Association for Computational Linguistics, 2021). Findings of the Association for Computational Linguistics: EMNLP 2021 Costa-jussà, M. R. et al. Interpreting gender bias in neural machine translation: Multilingual architecture matters. , 11855–11863 (2022). Proc. AAAI Conf. Artif. Intell. 36 Google Scholar Costa-jussà, M. R., Basta, C. & Gállego, G. I. Evaluating gender bias in speech translation. In (eds Calzolari, N. et al.) 2141–2147 (European Language Resources Association, 2022). Proceedings of the Thirteenth Language Resources and Evaluation Conference Bentivogli, L. et al. Gender in danger? Evaluating speech translation technology on the MuST-SHE corpus. In (eds Jurafsky, D. et al.) 6923–6933 (Association for Computational Linguistics, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Costa-jussà, M. et al. Multilingual holistic bias: Extending descriptors and patterns to unveil demographic biases in languages at scale. In , 14141–14156 (Association for Computational Linguistics, 2023). Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing Zuckerman, E. The polyglot internet. (2008). https://ethanzuckerman.com/the-polyglot-internet/ Belekar, A., Sunka, S., Bhawar, N. & Bagade, S. Voice based e-mail for the visually impaired. , 8–12 (2020). Int. J. Comput. Appl. 175 Google Scholar Wang, S., Cooper, N. & Eby, M. From human-centered to social-centered artificial intelligence: Assessing ChatGPT’s impact through disruptive events. (2024). Big Data Soc. https://doi.org/10.1177/20539517241290220 Koenecke, A. et al. Racial disparities in automated speech recognition. , 7684–7689 (2020). Proc. Natl Acad. Sci. USA 117 Article ADS CAS PubMed PubMed Central Google Scholar Ngueajio, M. K. & Washington, G. Hey ASR system! Why aren’t you more inclusive? Automatic speech recognition systems’ bias and proposed bias mitigation techniques. A literature review. In (eds Chen, J. Y. C. et al.) Vol. 13518, 421–440 (Springer, 2022). Proc. International Conference on Human-Computer Interaction Elbow, P. The shifting relationships between speech and writing. , 283–303 (1985). Coll. Compos. Commun. 36 Article Google Scholar Trilla, A. & Alias, F. Sentence-based sentiment analysis for expressive text-to-speech. , 223–233 (2013). IEEE Trans. Audio Speech Lang. Process. 21 Article Google Scholar Iranzo-Sánchez, J., Civera, J. & Juan, A. From simultaneous to streaming machine translation by leveraging streaming history. In , 6972–6985 (Association for Computational Linguistics, 2022). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics Rybakov, O. et al. Streaming Parrotron for on-device speech-to-speech conversion. Preprint at (2022). https://arxiv.org/abs/2210.13761 Koehn, P. Europarl: A parallel corpus for statistical machine translation. In , 79–86 (2005). Proceedings of Machine Translation Summit X: Papers Ziemski, M., Junczys-Dowmunt, M. & Pouliquen, B. The United Nations Parallel Corpus v1.0. In (eds Calzolari, N. et al.) 3530–3534 (European Language Resources Association, 2016). Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16) Wang, C., Pino, J., Wu, A. & Gu, J. CoVoST: a diverse multilingual speech-to-text translation corpus. In (eds Calzolari, N. et al.) 4197–4203 (European Language Resources Association, 2020). Proceedings of the Twelfth Language Resources and Evaluation Conference Wang, C., Wu, A., Gu, J. & Pino, J. CoVoST 2 and Massively Multilingual Speech Translation. In , 2247–2251 (ISCA, 2021). Proc. Interspeech 2021 Salesky, E. et al. The multilingual TEDx corpus for speech recognition and translation. In , 3655–3659 (ISCA, 2021). Proc. Interspeech 2021 Zhang, Y. et al. Google USM: scaling automatic speech recognition beyond 100 languages. Preprint at (2023). https://arxiv.org/abs/2303.01037 Schwenk, H. Filtering and mining parallel data in a joint multilingual space. In (eds Gurevych, I. & Miyao, Y.) Vol. 2, 228–234 (Association for Computational Linguistics, 2018). Proc. 56th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In (eds Korhonen, A. et al.) 3197–3203 (Association for Computational Linguistics, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Duquenne, P.-A., Gong, H. & Schwenk, H. Multimodal and multilingual embeddings for large-scale speech mining. In (eds Ranzato, M. et al.) Vol. 34, 15748–15761 (Curran Associates, 2021). Advances in Neural Information Processing Systems Duquenne, P.-A. et al. SpeechMatrix: a large-scale mined corpus of multilingual speech-to-speech translations. In (eds Rogers, A. et al.) Vol. 1, 16251–16269 (2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Silero. Silero VAD: pre-trained enterprise-grade voice activity detector (VAD), number detector and language classifier. (2021). GitHub https://github.com/snakers4/silero-vad Khurana, S., Laurent, A. & Glass, J. SAMU-XLSR: Semantically-Aligned Multimodal Utterance-Level Cross-Lingual Speech Representation. , 1493–1504 (2022). IEEE J. Sel. Top. Signal Process. 16 Douze, M. et al. The Faiss library. Preprint at (2024). https://arxiv.org/abs/2401.08281 Inaguma, H. et al. UnitY: two-pass direct speech-to-speech translation with discrete units. In (eds Rogers, A. et al.) Vol. 1, 15655–15680 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Tjandra, A., Sakti, S. & Nakamura, S. Speech-to-speech translation between untranscribed unknown languages. In , 593–600 (IEEE, 2019). 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Babu, A. et al. XLS-R: self-supervised Cross-lingual Speech Representation Learning at Scale. In , 2278–2282 (ISCA, 2022). Proc. Interspeech 2022 Gong, H. et al. Multilingual speech-to-speech translation into multiple target languages. Preprint at (2023). https://arxiv.org/abs/2307.08655 Chung, Y.-A. et al. w2v-BERT: combining contrastive learning and masked language modeling for self-supervised speech pre-training. In , 244–250 (IEEE, 2021). 2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) Chiu, C.-C., Qin, J., Zhang, Y., Yu, J. & Wu, Y. Self-supervised learning with random-projection quantizer for speech recognition. In , 3915–3924 (PMLR, 2022). Proc. 39th International Conference on Machine Learning Gulati, A. et al. Conformer: convolution-augmented transformer for speech recognition. In , 5036–5040 (ISCA, 2020). Proc. Interspeech 2020 Kudo, T. & Richardson, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In (eds Blanco, E. & Lu, W.) 66–71 (Association for Computational Linguistics, 2018). Proc. 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Sennrich, R., Haddow, B. & Birch, A. Neural machine translation of rare words with subword units. In (eds Erk, K. & Smith, N. A.) Vol. 1, 1715–1725 (Association for Computational Linguistics, 2016). Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics Andrews, P. et al. stopes - modular machine translation pipelines. In (eds Che, W. & Shutova, E.) 258–265 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations Jia, Y. et al. Leveraging weakly supervised data to improve end-to-end speech-to-text translation. In , 7180–7184 (IEEE, 2019). 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) Pino, J., Xu, Q., Ma, X., Dousti, M. J. & Tang, Y. Self-training for end-to-end speech translation. In , 1476–1480 (2020). Proc. Interspeech 2020 Vaswani, A. et al. Attention is all you need. In (eds Guyon, I. et al.) Vol. 30 (Curran Associates, 2017). Advances in Neural Information Processing Systems Zhao, J., Yang, H., Haffari, G. & Shareghi, E. M-Adapter: modality adaptation for end-to-end speech-to-text translation. In , 111–115 (ISCA, 2022). Proc. Interspeech 2022 Ren, Y. et al. FastSpeech 2: fast and high-quality end-to-end text to speech. In (2021). Proc. 2021 International Conference on Learning Representations Shih, K. J. et al. RAD-TTS: parallel flow-based tts with robust alignment learning and diverse synthesis. In (2021). ICML Workshop on Invertible Neural Networks, Normalizing Flows, and Explicit Likelihood Models Chen, M. et al. BLASER: A text-free speech-to-speech translation evaluation metric. In (eds Rogers, A. et al.) Vol. 1, 9064–9079 (Association for Computational Linguistics, 2023). Proc. 61st Annual Meeting of the Association for Computational Linguistics Snyder, D., Chen, G. & Povey, D. MUSAN: a music, speech, and noise corpus. Preprint at (2015). https://arxiv.org/abs/1510.08484 Smith, E. M., Hall, M., Kambadur, M., Presani, E. & Williams, A. “I’m sorry to hear that”: finding new biases in language models with a holistic descriptor dataset. In (eds Goldberg, Y. et al.) 9180–9211 (Association for Computational Linguistics, 2022). Proc. 2022 Conference on Empirical Methods in Natural Language Processing Acknowledgements Благодарим на S. Edunov и A. Fan за помощта си в изграждането на по-добри преживявания; на A. Kozhevnikov за приноса си към FAIRSEQ2 и SONAR inference; на A. Ni и X. Zhang за помощта си в бенчмаркирането на аудио денозационни модели; на M. Seejoor и M. Duppenthaler за приноса си към BLASER 1.0; на V. Goswami, S. Huhan, B. Acun-Uyan и C.-J. Wu за приноса си към новия доклад за оптимизиране на ефективността; на B. Alastry, M. Ni и X. Zhang за помощта си в бенчмаркирането на аудио денозационни модели; на H. Chang, H. Ba, C. W. Huang, Тази статия е достъпна в натура под лиценза CC by 4.0 Deed (Attribution 4.0 International). Тази статия е достъпна в натура под лиценза CC by 4.0 Deed (Attribution 4.0 International).