A AI traduce 200 idiomas, mesmo os que case non teñen datos

Os autores: NLLB Equipo Marta R. Costa-jussà Xesús Cruz A miña honra Mahá Elbayad Descargar cancións de Kenneth Heafield por Kevin Heffernan Elahe Kalbassi Xanela Lam Daniel Luz Jean Maillard Páxina Ana do Sol Liña Wang Guión Wenzek Xogo Youngblood Bapi Akula Loic Barrault Páxina Gabriel Mejia Gonzalez Prangthip Hansanti John Hoffman Semarley Jarrett Kaushik Ram Sadagopan Dirixido por Rowe Shannon Spruit Páxina Chau Tran Pierre Andrews Necip Fazil Ayan Xogo Bhosale Serguei Edunov Angela Fan Cynthia Gao Vedanuj Goswami Francisco Guzmán Philipp Koehn Alexandre Mourachko Christophe Ropers Salomón Salomón Xurxo Schwenk Xesús Wang Os autores: NLLB Team Marta R. Costa-jussà Xesús Cruz A miña honra Mahá Elbayad Descargar cancións de Kenneth Heafield por Kevin Heffernan Xogo Calabaza Xanela Lam Daniel Luz Jean Maillard Páxina Ana do Sol Liña Wang Guión Wenzek Xogo Youngblood Xogo Bapi Akula Loic Barrault Páxina Gabriel Mejia González Xogadores de Hansanti John Hoffman Páxina Semarley Jarrett Páxina Kaushik Ram Sadagopan Páxina Dirixido por Rowe Shannon Spruit Páxina Xogo Tran por Pierre Andrews Xesús Fazil Ayan Xogo Bhosale Serguei Edunov Anxo Fan Cíntese Gao Saúdos de Goiás Francisco Guzmán Filipe Coño Alexandre Mourachko de Christophe Ropers Salomón Salomón Xurxo Schwenk Xesús Wang Abstraccións Hoxe, os sistemas de tradución automática neural (NMT) poden aproveitar capacidades altamente multilingües e mesmo realizar traducións cero, proporcionando resultados prometedores en termos de cobertura lingüística e calidade. con todo, a calidade de escala NMT require grandes volumes de datos bilingües paralelos, que non están igualmente dispoñibles para os máis de 7.000 idiomas do mundo O foco na mellora das calidades de tradución dun grupo relativamente pequeno de linguas de alto contido vén a expensas de dirixir a atención da investigación a linguas de baixo contido, agravando as desigualdades dixitais a longo prazo.Para romper este patrón, aquí introducimos No Language Left Behind - un único modelo masivamente multilingüe que aproveita a transferencia de aprendizaxe entre linguas. , , , , , Ademais, deseñamos múltiples melloras arquitectónicas e de adestramento para contrarrestar o exceso de equipamento ao adestrar en miles de tarefas. Avaliamos o rendemento do noso modelo en máis de 40.000 direccións de tradución usando ferramentas creadas especialmente para este fin: un índice de referencia automático (FLORES-200), unha métrica de avaliación humana (XSTS) e un detector de toxicidade que cobre todos os idiomas no noso modelo. En comparación cos modelos anteriores de última xeración, o noso modelo alcanza unha mellora media do 44% na calidade da tradución medida por BLEU. Ao demostrar como escalar a NMT a 200 idiomas e facer todas as contribucións neste esforzo dispoñibles libremente para uso non comercial, o noso traballo pon unha base importante para o desenvolvemento dun sistema de tradución universal. 1 2 3 4 5 6 7 Principal A recente aparición da tradución automática neural (NMT) empuxou as tecnoloxías de tradución a novas fronteiras, pero os seus beneficios están distribuídos de forma desigual. A gran maioría das melloras realizadas beneficiaron principalmente as linguas de alto contido, deixando atrás moitas linguas de baixo contido. (Para os propósitos da nosa investigación, definimos unha lingua de alto contido como unha lingua para a que temos polo menos 1 millón de sentencias de datos textuais aliñados (ou bitexto) con outra lingua). Esta disparidade podería atribuírse en gran medida a unha lacuna de datos: os modelos NMT requiren tipicamente grandes volumes de datos para producir traducións de calidade e, por definición, estes volumes non están dispoñibles para linguas de baixo contido. , , permitindo así que os idiomas relacionados aprendan uns dos outros , , . 1 8 9 1 10 11 É agora amplamente recoñecido que os modelos multilingües demostraron unha mellora prometedora do rendemento en comparación cos modelos bilingües. Non obstante, permanece a cuestión de saber se os modelos multilingües masivos poden permitir a representación de centos de linguas sen comprometer a calidade.Os nosos resultados demostran que duplicar o número de linguas soportadas na tradución automática e manter a calidade da saída non son esforzos mutuamente exclusivos.O noso modelo final, que inclúe 200 linguas e tres veces máis linguas de baixo recurso que as de alto recurso, realiza, en media, un 44% mellor que os anteriores sistemas de última xeración. 12 En primeiro lugar, en comparación cos seus homólogos de alto recurso, os datos de adestramento para linguas de baixo recurso son caros e loxísticamente difíciles de obter. , , Os recursos dixitais dispoñibles ao público son limitados en volume ou difíciles de detectar por sistemas automatizados (especialmente en grandes conxuntos de datos da web pública como CommonCrawl). , , , As últimas técnicas son frecuentemente afectadas polo ruído e os prexuízos, polo que a validación da calidade dos conxuntos de datos que xeran é aburrida. En NLLB-200, mostramos que unha técnica de codificación de sentenzas baseada na destilación, LASER3 (ref. ), facilita a extracción eficaz de datos paralelos para linguas de recursos baixos. 13 14 15 16 17 18 19 20 21 En segundo lugar, no lado da modelaxe, usamos un conxunto de conxuntos de datos sementados, minados, de código aberto e traducidos de volta para adestrar modelos de computación condicional multilingües (máis especificamente, modelos de mesturas de expertos escasamente gated). , , , , , que permitan a transferencia translingual entre linguas relacionadas sen aumentar a interferencia entre linguas non relacionadas). mostramos como podemos alcanzar o rendemento de última xeración cun equilibrio máis óptimo entre a transferencia translingual e a interferencia, e mellorar o rendemento para linguas de recursos baixos. 2 3 4 5 6 7 Finalmente, para o propósito da avaliación da calidade, creamos FLORES-200, un referente multilingüe masivo que permite medir a calidade da tradución en calquera das aproximadamente 40.000 direccións de tradución cubertas polos modelos NLLB-200. Ademáis das métricas automáticas, tamén creamos a Semantic Text Similarity Cross-lingual (XSTS) e a Evaluation of Toxicity (ETOX). Ademais de crear estes modelos, tamén reflexionamos sobre o potencial impacto social da NLLB. Para amplificar a aplicabilidade práctica do noso traballo ao servizo das comunidades de linguaxe de recursos baixos, proporcionamos todos os parámetros, datos, código e modelos descritos neste esforzo como recursos dispoñibles libremente para uso non comercial ( ) (ver declaracións de dispoñibilidade de datos e código para máis detalles). https://github.com/facebookresearch/fairseq/tree/nllb Creación automática de datos de formación de tradución As técnicas actuais utilizadas para adestrar modelos de tradución son difíciles de estender a configuracións de recursos baixos, nas que os datos de texto bilingües aliñados (ou datos de bitexto) son relativamente escasos. Moitas linguas de recursos baixos só son soportadas por pequenos datos de bitexto dirixidos que consisten principalmente en traducións da Biblia cristiá. , que proporcionan unha diversidade de dominios limitada. 22 23 Para construír un conxunto de datos de formación paralela a gran escala que cobre centos de linguas, o noso enfoque céntrase en ampliar os conxuntos de datos existentes recollendo primeiro datos monolingües non aliñados. . 18 Identificación da linguaxe para a recollida de datos monolingües A recollida de datos monolingües a escala require un sistema de identificación da linguaxe (LID) que clasifique con precisión os recursos de texto para todos os idiomas NLLB-200. , segue sendo un reto aberto para os datos web , Especificamente, os problemas coalescen arredor do desencontro de dominios Desambigüidade lingüística semellante e un éxito masivo multilingüe de escala . 24 25 26 26 27 28 En canto ao uso das tecnoloxías da información, as tecnoloxías da información e da comunicación teñen un impacto significativo sobre a calidade da información e a calidade da información. (wikipedia.org) e o texto rápido son dous modelos dispoñibles que ofrecen un alto rendemento de detección para 107 e 187 idiomas, respectivamente. , A cobertura é aínda maior: 464 e 1 366 linguas, respectivamente. escala o rendemento LID ata 1.629 idiomas usando listas de palabras e auto-supervisión para bootstrap datos de adestramento atopados na web. Con todo, estes enfoques usando datos atopados sofren desequilibrio de dominio. É dicir, porque os dominios de texto dispoñibles varían segundo o idioma, os clasificadores confluen diferentes dominios con diferentes idiomas. https://github.com/google/cld3 29 30 31 32 No noso traballo, curamos FLORES-200 para usar como un conxunto de desenvolvemento para que o noso rendemento do sistema LID is tuned over a uniform domain mix. Our approach combines a data-driven fasttext model trained on FLORES-200 with a small set of handwritten rules to address human feedback on classification errors. These rules are specifically mentioned in section 5.1.3 of ref. e inclúen filtros lingüísticos para mitigar a aprendizaxe de correlacións falsas debido a mostras de formación ruidosas ao modelar centos de linguas. 33 34 Comparamos o noso modelo LID con tres modelos publicamente dispoñibles: CLD3, LangId ( ) e LongoDetector ( A mesa relata o rendemento en tres conxuntos de linguas en cascada que se cruzan con NLLB-200: (1) 51 linguas tamén soportadas por LangId, LangDetect e CLD3; (2) 78 linguas tamén soportadas por LangId e CLD3; (3) 95 linguas tamén soportadas por CLD3. Tamén informamos de taxas falsas positivas (FPR) para reflectir o impacto dos falsos positivos en linguas invisibles. Os nosos resultados mostran que o noso modelo está equipado para xestionar todos os 200 idiomas atopados en FLORES-200 mentres alcanza un rendemento notablemente superior ao de LangId, LangDetect e CLD3. . https://github.com/saffsd/langid.py https://pypi.org/project/langdetect/ 1 32 Minería para Bitext Traballos anteriores observa que a calidade da tradución xeralmente aumenta coa cantidade de datos de adestramento de alta calidade, que é difícil de obter cando se traballa con linguas de recursos baixos. As corpora paralelas existentes para linguas de recursos baixos son moitas veces convenientemente extraídas de coleccións multilingües coñecidas, como a Biblia cristiá ou as publicacións de organizacións multinacionais, que son limitadas en cantidade e dominio. Para superar este problema, creamos conxuntos de datos de adestramento a través da minería global de bitexto en contido web dispoñible publicamente (traído de repositorios como CommonCrawl). A idea subxacente do noso enfoque de minería de bitexto é primeiro aprender un espazo de sentenza multilingüe e usar unha medida de similitude no espazo para decidir se dúas sentenzas son paralelas. Esta comparación 35 Como o noso enfoque de minería require un espazo de incorporación multilingüe, hai varios desafíos ao escalar esta representación a todos os idiomas NLLB-200. En primeiro lugar, tivemos que asegurarnos de que todos os idiomas foron ben aprendidos e que contabilizamos grandes desequilibrios nos datos de formación dispoñibles. En segundo lugar, o adestramento dun codificador de sentenzas multilingüe masivo desde o principio cada vez que se introduce un novo conxunto de idiomas é computacionalmente caro. Ademais, a principal desvantaxe deste enfoque é que os espazos de incorporación aprendidos de cada novo modelo non son necesariamente mutuamente compatibles. Isto pode facer que a minería sexa intractable como para cada novo codificador, a totalidade dos datos monolingües dispoñibles debe ser re-enchida (por that extends the LASER embedding space a todas as linguas NLLB-200. As linguas son adestradas tanto como alumnos individuais como xunto con linguas da mesma familia. . 21 36 21 O noso enfoque permítenos centrarnos nas especificidades de cada lingua ao mesmo tempo que aproveitamos as linguas relacionadas, o que é crucial para tratar con linguas de recursos moi baixos. (Unha lingua defínese como de recursos moi baixos se ten menos de 100.000 mostras en todas as parellas con calquera outro idioma no noso conxunto de datos). Usando este método, xeramos máis de 1.100 millóns de novos pares de frases de datos de formación para 148 idiomas. ), introduciu melloras notables na calidade da tradución, en particular, +12.5 chrF++ (ref. ) para traducir idiomas de moi baixos recursos ao inglés. Para máis detalles, consulte Información adicional . 37 38 D Modelado Aínda que o volume de datos aumenta significativamente, o principal desafío da tradución de recursos baixos é que os modelos de adestramento representen de forma adecuada 200 linguas, ao mesmo tempo que se axustan á capacidade de datos variable por par de linguas.Ademais de técnicas como a ampliación de datos (por exemplo, con tradución de volta) e estratexias de autocontrol sobre datos monolingües, usamos modelos de computación condicional -máis especificamente, A mestura de expertos escasa (en diante MoE)- para minimizar a interferencia entre as direccións lingüísticas non relacionadas. Os modelos de transformadores MoE difiren dos modelos de transformadores densos en que algunhas das capas de rede de feed-forward son substituídas por capas MoE tanto no codificador como no decodificador. Os expertos (cada un é unha rede de feed-forward) e unha rede de gating para decidir como dirixir os tokens de entrada aos expertos.O modelo de codificador de transformador-decodificador, complementado con capas de MoE e as súas respectivas redes de gating, aprende a dirixir os tokens de entrada aos dous expertos de arriba correspondentes optimizando unha combinación linealmente ponderada de entropía cruzada suavizada por etiqueta. e unha carga auxiliar equilibrando a perda . E 39 6 Descubrimos que os modelos de Vanilla MoE con descontos totais son suboptimales para os idiomas de recursos baixos e superan significativamente os pares de recursos baixos.Para corrixir este problema, deseñamos Expert Output Masking (EOM), unha estratexia de regularización específica para as arquitecturas de MoE, e comparámola coas estratexias de regularización existentes, como Gating Dropout Descubrimos que Gating Dropout funciona mellor que o MoE de vainilla, pero é superior ao EOM. 40 Para reducir aínda máis o exceso de equipamento en pares de idiomas de baixos recursos, deseñamos un currículo de aprendizaxe que introduce pares de idiomas en fases durante o adestramento de modelos. As actualizacións inclúense con actualizacións antes do final do adestramento. Isto reduce o exceso de equipamento mentres permite que as parellas que se benefician do adestramento adicional continúen a súa aprendizaxe. Mostra que a combinación de aprendizaxe curricular e EOM mellora o rendemento, especialmente en pares de idiomas de recursos baixos e moi baixos (vexa a sección 'Modelaxe' para máis detalles). K K 2 Para entender como os modelos MoE son útiles para a tradución automática multilingüe, visualizamos as similitudes dos expertos nas capas MoE usando mapas térmicos (Fig. Estes mapas de calor demostran que en capas de decodificador finais (Fig. ), languages are being separated (that is, dispatched to different sets of experts). Moreover, we observe that languages within the same family are highly similar in their choice of experts (that is, the late decoder MoE layers are language-specific). This is particularly the case for the Arabic dialects (the six rows and columns in the top-left corner), languages in the Benue–Congo subgrouping, as well as languages in the Devanagari script. By contrast, the early decoder MoE layers (Fig. As capas MoE do codificador tardío son particularmente agnósticas na forma en que itineran os tokens, como pode ser atestado polo mapa térmico uniforme en FIG. . 1a D 1D 1C 1B Fig. 1: Cosine similarity scores between languages at different layers of the encoder–decoder architecture. que – , The first ( e por último ( ) encoder capas e despois o primeiro ( ) and last ( A semellanza é medida con respecto ás decisións de gating (escolla de expertos) por linguaxe (lado fonte no codificador e lado obxectivo no decodificador). cores máis lixeiras representan maior semellanza de expertos, polo tanto, un procesamento agnóstico da lingua. a d a b c d Combinación de datos (ver sección « e contribucións de modelado, táboa mostra que NLLB-200 supera o sistema máis próximo ao estado da arte por case +7,3 spBLEU (ref. A continuación, comparamos o NLLB-200 con algúns outros modelos de última xeración, como Deepnet e M2M-100 (ref. Neste subconxunto máis pequeno, NLLB-200 volve superar por +7.0 spBLEU en media. En xeral, os resultados mostran que NLLB-200 mellora nos sistemas de última xeración por unha marxe notable a pesar de soportar 200 idiomas, ou o dobre de moitos idiomas (e máis de 30.000 direccións adicionais) en comparación con calquera traballo anterior. Tamén mostramos en experimentos adicionais que NLLB-200 é un modelo de NMT de propósito xeral, transferible a outros dominios mediante o axuste de pequenas cantidades de bits de alta calidade (ver Información adicional). ) da Creación automática de datos de formación de tradución 3 41 42 1 e3 Avaliacións Entre os moitos aspectos do rendemento do modelo que se poden avaliar , this section emphasizes three aspects that have a marked impact on the overall quality assessment: benchmarks for automatic evaluation, human evaluation protocols and toxicity evaluation. 43 Un índice de referencia para a avaliación automática utilizando FLORES-200 A calidade das saídas NMT é tipicamente avaliada por métricas automáticas como BLEU ou espiña O cálculo de puntuacións de calidade automáticas utilizando estas métricas require conxuntos de datos de referencia que proporcionen traducións humanas de estándar ouro como referencias. Pola súa banda, a avaliación de diferentes enfoques feitas posibles por estes conxuntos de datos de referencia dános unha mellor comprensión do que require máis investigación e desenvolvemento. levou a un rápido progreso nas direccións de tradución como o inglés ao alemán e o inglés ao francés. 44 41 45 Para a NMT multilingüe masiva, o maior conxunto de datos de referencia dispoñible foi FLORES-101, que soporta aproximadamente a metade do número de idiomas en NLLB-200. A necesaria expansión de FLORES-101 a FLORES-200 constitúe un reto adicional en termos de garantía de calidade, en parte debido ás diferenzas nas prácticas de normalización e ao acceso limitado a tradutores profesionais para todos os idiomas implicados. Para superar este reto, adaptamos o noso fluxo de traballo para prestar especial atención aos mecanismos de garantía de calidade. O fluxo de traballo FLORES-200 consta de catro fases: (1) aliñamento; (2) tradución, garantía de calidade inicial e iteracións; (3) garantía de calidade final; e (4) linguaxe de finalización. Como resultado deste fluxo de traballo redeseñado, producimos un conxunto de datos de tres partes (dev, devtest, test) de traducións paralelas de referencia humana para todos os idiomas NLLB-200 que cumpren o limiar de calidade do 90% nun tempo máximo de volta de 287 días (119 días en media, 70 días mínimo). (Note que para evitar fugas cos nosos modelos, filtramos datos de FLORES e outros benchmarks de avaliación utilizados (como WMT e IWSLT) dos nosos datos de formación. Para máis información sobre o proceso de avaliación.FIGURA mostra as puntuacións de calidade para todos os idiomas, algúns dos cales están etiquetados como exemplos. C 2 Fig. 2: Quality of FLORES-200. que As puntuacións de garantía de calidade para os idiomas en FLORES-200. O estándar mínimo aceptable é de 90%. Avaliación humana fiable As métricas automáticas de última xeración moitas veces non captan aspectos da linguaxe que, aínda que son sutís, poden ter un impacto notable na calidade da tradución. Dito isto, confiar neles vén con dous retos: (1) calquera avaliación humana a gran escala da calidade do NMT, independentemente do número de direccións de tradución implicadas, enfróntase a un acordo potencialmente baixo entre os avaliadores (cerca de 0,5 kappa); e (2) o multilingüismo masivo do NMT introduce outra complexidade: a da coherencia da avaliación da calidade entre as direccións lingüísticas. , unha nova métrica de puntuación centrada no significado, e mediante o uso dun protocolo que permite a calibración de puntuacións entre avaliadores e pares de idiomas. 46 47 XSTS é un protocolo de avaliación humana inspirado en STS XSTS usa unha escala de cinco puntos, na que 1 é a puntuación máis baixa, e 3 representa o limiar de aceptabilidade. Para garantir a coherencia non só entre os idiomas senón tamén entre os diferentes avaliadores de calquera lingua dada, incluímos o mesmo subconxunto de pares de frases no conxunto completo de pares de frases dado a cada avaliador, o que permite calibrar os resultados. 48 Descubrimos que as métricas automatizadas como spBLEU e chrF++ correlacionan razoablemente ben coas avaliacións humanas calibradas da calidade da tradución, como se mostra na FIG. O de Spearman Os coeficientes de correlación entre XSTS agregado e spBLEU, chrF++ (corpus) e chrF++ (nivel de sentenza medio) son 0,710, 0,687 e 0,694, respectivamente. O de Pearson Corpus spBLEU proporciona a mellor correlación nominal, seguida pola media de nivel de frase chrF++. 3 R τ R Fig. 3: Correlations between aggregated human quality scores and automated metrics. , A relación entre spBLEU e XSTS. , The relationship between chrF++ and XSTS. , The relationship between average sentence-level chrF++ and XSTS. All automated scores were computed only on the sentences evaluated for a given model and translation direction (either the full FLORES-200 dataset or a subset). NLLB-200 refers to a 55B parameter MoE model, and NLLB-200 Baseline refers to a dense 3.3B parameter model. a b c Full size image We also find that calibrated human evaluation scores correlate more strongly with automated scores than uncalibrated human evaluation scores across all automated metrics and choices of correlation coefficient. In particular, uncalibrated human evaluation scores have a Spearman’s correlation coefficient of 0.625, 0.607 and 0.611 for spBLEU, chrF++ (corpus) and chrF++ (average sentence-level), respectively. R Overall, a sample of 55 language directions were evaluated, including 8 into English, 27 out of English, and 20 other direct language directions. The overall mean of calibrated XSTS scores was 4.26, with 38/55 directions scoring over 4.0 (that is, high quality) and 52/56 directions scoring over 3.0. We hypothesize that added toxicity may be because of the presence of toxicity in the training data and used our detectors to estimate, more specifically, unbalanced toxicity in the bitext data. We find that estimated levels of unbalanced toxicity vary from one corpus of bitext to the next and that unbalanced toxicity can be greatly attributed to misaligned bitext. In other words, training with this misaligned bitext could encourage mistranslations with added toxicity. To mitigate this issue, we designed a bitext filtering procedure based on the detection of multiple instances of added toxicity (that is, cases in which one sentence in the bitext pair contains at least two more toxic items than the other sentence in the pair). (A previous detector quality analysis showed that a higher precision was reached in this situation). We added this toxicity filtering procedure as an option to the filtering process and experimented with or without it for comparison. The experimental results on the FLORES-200 dev set for 10 translation directions (from and into English for Somali, Southern Sotho, Twi, Umbundu and Venetian) show that after filtering an average amount of around 30% parallel sentences, the translation quality (chrF++) improves by 5% and added toxicity (ETOX) reduces by the same amount. Therefore, the filtering pipeline that includes toxicity filtering not only reduces the number of toxic items in the translation output but also improves the overall translation performance. Conclusion In 2016, the United Nations declared internet access a basic human right. Although the intent of this declaration was to limit censorship and allow for information and ideas to flow without interference, much of the internet today remains inaccessible to many due to language barriers. Our effort was designed to contribute one solution to help alter this status quo. Para moitas comunidades lingüísticas de baixos recursos, NLLB-200 é un dos primeiros modelos deseñados para apoiar a tradución a ou fóra dos seus idiomas. Aínda que as aplicacións destas novas capacidades de tradución poderían atoparse en varios ámbitos da vida cotiá, cremos que o seu impacto sería máis significativo nun dominio como a educación. En ambientes educativos formais, por exemplo, estudantes e educadores pertencentes a grupos lingüísticos de baixos recursos poderían, coa axuda de NLLB-200, aproveitar máis libros, artigos de investigación e arquivos que antes. No ámbito da aprendizaxe informal, os falantes de idiomas de baixos recursos poderían experimentar un maior acceso á información de medios de noticias globais e plataformas de redes sociais, así como enciclopedias en liña como a Wikipedia. O acceso á tradución automática motiva a máis escritores de Since launching NLLB-200, we can already see the impact of the model across many directions. Four months after the launch of NLLB-200, Wikimedia reported that our model was the third most used machine translation engine used by Wikipedia editors (accounting for 3.8% of all published translations) ( Comparado con outros servizos de tradución automática e en todos os idiomas, os artigos traducidos con NLLB-200 teñen a menor porcentaxe de eliminación (0,13%) e a maior porcentaxe de modificación de tradución mantida por baixo do 10%. https://web.archive.org/web/20221107181300/https://nbviewer.org/github/wikimedia-research/machine-translation-service-analysis-2022/blob/main/mt_service_comparison_Sept2022_update.ipynb In many ways, the composition of the NLLB-200 effort speaks to the centrality of interdisciplinarity in shaping our vision. Machine translation and AI advancements lie at the intersection of technological, cultural and societal development, and thus require scholars with diverse training and standpoints to fully comprehend every angle , . It is our hope that in future iterations, NLLB-200 continues to include scholars from fields underrepresented in the world of machine translation and AI, particularly those from humanities and social sciences backgrounds. More importantly, we hope that teams developing these initiatives would come from a wide range of race, gender and cultural identities, much like the communities whose lives we seek to improve. 49 50 Finally, we want to emphasize that overcoming the challenges that prevent the web from being accessible to speakers of all languages requires a multifaceted approach. At the technical level, NLLB-200 overcomes many data, modelling and evaluation challenges in NMT research, but it still has its limitations, some of which are documented in Supplementary Information . As a single technological intervention, NLLB-200 is all but one piece of a massive puzzle; policy interventions aimed at more fundamental issues surrounding education, internet access and digital literacy are imperative to eradicate the structural problem of language disparities. G Methods datos Esta sección describe os pasos tomados para deseñar o noso sistema de identificación de linguaxe e protocolo de minería de bitexto. Identificación da linguaxe To train language identification models, we used fasttext , , which has been widely used for text classification tasks because of its simplicity and speed. We embedded character-level -grams from the input text and leveraged a multiclass linear classifier on top. The lightweight nature of fasttext enables our LID models to handle web-scale data. Furthermore, a linear model has the benefit of being easily explainable, allowing us to trace any classification error back to its root cause. This is instrumental in addressing common pitfalls that arise when detecting language on web corpora . 33 51 n 32 Clases de deseño We experimented with two different designs. First, we used a combination of multiple binary classifiers in which the final decision was obtained by selecting the language with the highest score after applying a threshold. We applied threshold optimization so that when the confidence of a classifier is low, the corresponding language is not considered for the final decision. A sentence was filtered out if none of the classifiers surpassed its threshold. Second, we built a multiclass classifier using softmax over all possible languages. In this case, the threshold optimization is done after the softmax. Our results directed us to focus on the second approach, which offers several advantages. First, changing the threshold for one language did not affect the performance of the other (which is not true in the first setting). Second, this approach generalizes better to out-of-domain data, which is our primary use case (Wikipedia → web data). Finally, a single classifier has the added benefit of being computationally simpler, thus streamlining the language identification process. Training data and handling massive class imbalance Usamos conxuntos de datos dispoñibles publicamente para adestrar o noso sistema LID, cubrindo parcialmente os nosos idiomas de interese.Os conxuntos de datos públicos implantados foron construídos principalmente a partir de páxinas web como CommonCrawl. Non obstante, esta suplementación é insuficiente para garantir o equilibrio nos datos de formación en bruto , Por exemplo, só o inglés representa o 10,1% dos nosos datos de formación, mentres que Minangkabau (escritura latina) representa só o 0,06%. , experimentamos con múltiples opcións de mostraxe de temperatura para linguas subrepresentadas, nas que as frases dunha lingua representing porcentaxe do conxunto de datos son mostrados proporcionalmente a . O rendemento óptimo foi obtido en 1/ = 0,3 (para máis detalles, ver sección 5.1 da ref. ) da B 32 30 10 l pl T 34 Parámetros de formación O noso modelo de mellor rendemento foi adestrado con perda de softmax durante dúas épocas cunha taxa de aprendizaxe de 0,8 e embeddings con 256 dimensións. -gramos de lonxitude de dous e cinco, respectivamente (que foron asignados un slot en buckets de tamaño de 1.000.000). (En texto rápido, referímonos a "palabra" cando está separado por espazos. Todos os hiperparámetros foron axustados en FLORES-200 dev (ver sección 5.1.2 da ref. ) da n n 34 Mellorar o LID con análise lingüística A identificación da linguaxe é unha tarefa desafiante na que existen numerosos modos de fallo, a miúdo agravados polas diferenzas entre os datos limpos sobre os que se adestran os modelos LID e os datos ruidosos sobre os que se aplican os modelos LID. noutras palabras, os modelos LID adestrados dun xeito supervisado en frases escritas con fluidez poden ter dificultades para identificar as cadeas gramaticamente incorrectas e incompletas extraídas da web. Ademais, os modelos poden aprender facilmente correlacións falsas que non son significativas para a propia tarefa. Dados estes retos, colaboramos estreitamente cun equipo de lingüistas ao longo de diferentes etapas do desenvolvemento do LID para identificar áreas de foco adecuadas, mitigar problemas e explorar solucións (ver sección 5.1.3 da ref. ). 34 Bitext minería O enfoque xeral para a minería de bitexto enfocouse en comezar cun modelo de profesor de codificador de sentenza masivamente multilingüe e adaptalo a varios modelos de estudantes de baixo recurso diferentes. Este enfoque permitiunos engadir linguas de baixo recurso sen competir con linguas de alto recurso por capacidade. Facendo isto evita a necesidade de retraer o modelo enteiro desde cero mantendo a compatibilidade cos espazos de embalaxe multilingües para a minería posterior. En canto ao número de alumnos/as, o número de alumnos/as que se inscribiron no curso de primaria é de 2 ( O procedemento de formación orixinal Foi adaptado para incluír a tokenización de SentencePiece (incluíndo un vocabulario de 7.000 tokens) e a mostraxe de linguas de recursos baixos. 1 https://github.com/facebookresearch/LASER 36 A arquitectura do codificador BiLSTM de cinco capas e o método de acumulación máxima para obter incorporacións de sentenzas permaneceron sen cambios. . See ref. for details on the original LASER training procedure. Training of the students followed the approach described in greater detail in ref. , resumido máis abaixo: 52 36 21 students specialized in one language or several similar languages; Os alumnos foron inicializados aleatoriamente porque queríamos manexar unha linguaxe de recursos baixos para a que non tiñamos un modelo de linguaxe pre-educado. students may have a dedicated SentencePiece vocabulary different from the teacher to better accommodate scripts and tokens in the student languages; as we used cosine distance for bitext mining (Fig. ), students learnt to minimize the cosine loss with the teacher; 1 students can have an MLM loss to leverage student language monolingual data (Fig. ). 1 Training parameters Our student encoders used a 12-layer transformer with a hidden size of 1,024, four attention heads, and around 250 million parameters. All students were trained with available bitexts in their respective language, complemented by 2 million sentences of English/English and English/Spanish. The motivation behind this approach is to anchor the students to the English embedding space, increasing robustness by including English/Spanish bitexts from CCMatrix and allowing for the joint learning of new languages. This technique is particularly useful when only limited amounts of bitexts are available to train the students. Teacher–student training was performed on 16 GPUs, the ADAM optimizer, a learning rate of 0.0005 and a batch size of 10,000. We trained student encoders for 148 languages and named these models LASER3. Proxy metric para novos codificadores Os bits minados foron posteriormente usados para mellorar a calidade da tradución para os idiomas de NLLB-200. Non obstante, a minería e o adestramento de NMT son computacionalmente caros, e é intractable realizar esta avaliación sistematicamente para moitas variantes de codificador de sentenzas diferentes. Como proxy de avaliación, usamos unha taxa de erro de busca de semellanza multilingüe baseada na minería, referida aquí como xsim. En contraste coa precisión de cosina, que alinea as incorporacións baseadas na maior puntuación de cosina, xsim alinea a fonte e as incorporacións de destino baseadas na maior puntuación de marxe, que se demostrou beneficiosa na minería. . The margin-based score is defined as 53 where and son as sentenzas fonte e obxectivo, e ( ) denotes the nearest neighbours of in the other language. We set En canto ao número de prazas, o número de prazas que se solicitan é de 200 prazas, e o número de prazas que se solicitan é de 200 prazas ( , ) = unha / . Moreover, all scores are calculated for translations into English (that is, xxx → eng). English is encoded by the teacher, and the other language is encoded by the LASER3 student. To facilitate further research using xsim, we also provide this evaluation method as an open-source resource ( ) da x y NNK x k x k a b a b https://github.com/facebookresearch/LASER/ Avaliación end-to-end do codificador Once we had identified the best sentence encoder for each language using the xsim scores, we performed mining, added the mined data to the existing bitexts and trained a bilingual NMT system. Initial experiments indicated that a threshold on the margin of 1.06 seems to be the best compromise between precision and recall for most languages. For these NMT baselines, we do not apply extra filtering on the bitexts and leave this to the training procedure of our massively multilingual NMT system. Non intentamos optimizar a arquitectura e os parámetros dos sistemas NMT bilingües para as características de cada par de idiomas, pero usamos a mesma arquitectura para todos. Polo tanto, os resultados reportados non deben ser interpretados como os mellores posibles dado os recursos dispoñibles - son proporcionados principalmente para validar os bitextos minados. Usamos un codificador e decodificador de 12 capas e adestrados para 100 épocas. Modelling In this section, we first describe the multilingual machine translation task setup, which includes tokenization and base model architecture. Then, we outline how we leveraged conditional computation for massively multilingual machine translation with EOM regulation and our Curriculum Learning (CL) strategy for low-resource languages. Task setup We modelled multilingual NMT as a sequence-to-sequence task, in which we conditioned on an input sequence in the source language with an encoder and generated the output sequence in the expected target language with a decoder Coa sentenza da fonte Linguaxe de orixe s, and target language t in hand, we trained to maximize the probability of the translation in the target language —that is, ( ∣ , s, t). Below, we discuss details of the (1) tokenization of the text sequences in the source and target languages; and (2) model architecture with the input and output designed specifically for multilingual machine translation. For further details on the task setup, such as the amount of training data per language pair, please refer to Supplementary Information Sección 8 do ref. . 54 S ℓ ℓ T P T S ℓ ℓ F 34 Segmentation with SentencePiece To tokenize our text sequences, we trained a single SentencePiece model (SPM) for all languages. We sampled a total of 100 million sentences from primary bitext data. To ensure low-resource languages are well-represented in the vocabulary, we downsampled high-resource and upsampled low-resource languages with a sampling temperature of five (ref. ). Notably, vocabulary size is an important hyperparameter in multilingual translation models involving low-resource languages , , . The vocabulary size of our trained SPM model is 256,000. Such a large vocabulary ensures adequate representation across the wide spectrum of languages we support. 55 10 56 57 58 Model architecture Our sequence-to-sequence multilingual machine translation model is based on the transformer encoder–decoder architecture . The encoder transforms the source token sequence into a sequence of token embeddings. Then, the decoder attends to the encoder output and autoregressively generates the target sentence token by token. More precisely, the encoder takes the sequence of tokens = ( 1, …, ) and the source language s, e produce unha secuencia de incorporacións Unha vez máis ( 1, …, ), which are then provided to the decoder with the target language t para producir os tokens obxectivo = ( 1, ... en conxunto, en conxunto, 59 W w wS ℓ H h hs ℓ V v vT Teña en conta que prefixamos a secuencia de orixe coa linguaxe de orixe, ao contrario da linguaxe de destino, como se fixo no traballo anterior , . We did so because we prioritized optimizing the zero-shot performance of our model on any pair of 200 languages at a minor cost to supervised performance. Empirically, we find zero-shot performance to be negatively affected when conditioning the encoder on the target language. When the source is conditioned on only the source language, the encoder generalizes better to pairs of source and target languages not encountered during training . 10 60 1 Conditional computation for multilingual machine translation A massively multilingual translation (MMT) model uses the same shared model capacity to train on several translation directions simultaneously. While doing so can lead to beneficial cross-lingual transfer between related languages, it can also add to the risk of interference between unrelated languages , . MoE models are a type of conditional computational models , that activate a subset of model parameters per input, as opposed to dense models that activate all model parameters per input. MoE models unlock marked representational capacity while maintaining the same inference and training efficiencies in terms of FLOPs compared with the core dense architecture. 1 61 62 63 Non obstante, a medida que aumentamos a capacidade do modelo e o custo computacional por actualización, aumenta a tendencia para que os idiomas de recursos baixos ou moi baixos se sobrepasen, o que causa que o rendemento se deteriore. , , , , , lograr un equilibrio máis óptimo entre a transferencia e a interferencia entre linguas e mellorar o rendemento das linguas de baixos recursos. 2 3 4 5 6 7 Unha mestura de expertos To build our MoE models, we substitute a quarter of the encoder and decoder feed-forward network layers with MoE layers, each with distinct experts. We followed the Top- -Gating algorithm in ref. e enviou cada token ao máximo = 2 experts. For more details on the training of MoE models, see Supplementary Information . E k 4 k E Expert output masking In this proposed regularization strategy, we masked the expert output for a random fraction ( eom) of the input tokens. For input tokens with dropped expert outputs, the first and/or second expert is effectively skipped. As shown in the second panel of Extended data Fig. , we masked both experts for the first token ( 1 en vermello), elixiu non ocultar ningunha das saídas expertos para o segundo token ( 2 in blue) and in the final scenario, masked only one expert for the last token ( 3 in green). p 2 x x x Curriculum learning for MMT Orthogonal a métodos de regularización do lado do modelo, como o drop-out, exploramos regularizar modelos MMT a través de CL. Propoñemos comezar a adestramento con pares de recursos altos primeiro, a continuación, introducindo pares de recursos baixos - propensos a sobrecollerse - en fases posteriores. bins { 1, …, > Se is the total number of training updates, we introduced each bin Despois − updates. We based when and what directions to add at every phase of the step when we observed a language pair starting to overfit. Review the step-based CL algorithm in ref. for more on how the directions are partitioned. See Supplementary Information for the list of directions added at each stage. n b bn T bi T que 64 E.2 Evaluations Automatic evaluation Many automatic translation quality assessment metrics exist, including model-based ones such as COMET e azul . Although model-based metrics have shown better correlation with human judgement in recent metrics shared tasks of the WMT , they require training and are not easily extendable to a large set of low-resource languages. In this work, we rely on BLEU (and a variant of it) and chrF++. Both measures draw on the idea that translation quality can be quantified based on how similar a machine translation output is compared with that produced by a human translator. 65 66 43 Azul e escuro O escándalo azul has been the standard metric for machine translation evaluation since its inception two decades ago. It measures the overlap between machine and human translations by combining the precision of 1-grams to 4-grams with a brevity penalty. The main disadvantage of BLEU is that it is tokenization-dependent. Efforts such as sacrebleu have taken strides towards standardization, supporting the use of community-standard tokenizers under the hood. However, these tokenizers do not extend to many languages. Reference proposes spBLEU, a BLEU metric based on a standardized SentencePiece model (SPM) covering 101 languages, released alongside FLORES-101. In this work, we provide SPM-200 along with FLORES-200 to enable the measurement of spBLEU. (Our analyses demonstrate that there are minor differences between SPM-200 from FLORES-200 and SPM-100 from FLORES-101 when measuring on the FLORES-101 languages. The major advantage of SPM-200 is that it covers 200 languages. More details on SPM-200 are reported in section 8.1.1 of ref. ). 44 67 41 34 chrF++ The chrF++ score overcomes the limitation of the BLEU score, which requires that a sentence can be broken up into word tokens. However, some languages, such as Chinese or Thai, do not use spaces to separate words, and word segmentation tools may not be readily available. There is also a concern about highly agglutinative languages in which BLEU fails to assign any credit to morphological variants. chrF++ overcomes these weaknesses by basing the overlap calculation on character-level gramos -score ( ranging from 1 to 6) and complementing with word unigrams and bi-grams. In this work, we primarily evaluated using chrF++ using the settings from sacrebleu. However, when comparing with other published work, we used BLEU and spBLEU where appropriate. 38 n F n Human evaluation methodology When building machine translation systems for thousands of different language pairs, a core question is which pairs reach certain levels of quality. Therefore, we needed meaningful scores that are comparable across language pairs. XSTS evaluation protocol Adaptamos a metodoloxía XSTS recentemente proposta En resumo, XSTS é un protocolo de avaliación humana que se centra na conservación do significado por riba da fluidez. . For low-resource languages, translations are usually of poorer quality, and so we focused more on usable (that is, meaning-preserving) translations, even if they are not fully fluent. Compared with Direct Assessment with a 5-point scale (the original direct assessment uses a 100-point scale), it is found that XSTS yields higher inter-annotator agreement . XSTS rates each source sentence and its machine translation on a 5-point scale, in which 1 is the lowest and 5 is the highest. 48 F 68 47 Calibration set Para permitir puntuacións significativas comparables entre pares de idiomas, pedimos a cada avaliador que proporcionase avaliacións usando a escala XSTS sobre exactamente o mesmo conxunto de pares de sentenzas. Isto ten como obxectivo identificar os anotadores que teñen unha tendencia sistemática a ser máis duros ou xenerosos na súa puntuación e correcto para este efecto. O conxunto de calibración consiste na saída de tradución automática asociada coa tradución de referencia só en inglés. En base a como os avaliadores usaron a escala XSTS neste conxunto de calibración, axustamos as súas puntuacións brutas sobre a tarefa de avaliación real para garantir a coherencia entre os avaliadores. Aínda que esta tarefa de calibración monolingüe non imita exactamente a tarefa bilingüe XSTS, é Obtención de métricas de calidade humana agregadas a partir de múltiples estudos Para obter unha métrica de calidade humana agregada para cada dirección de linguaxe nun estudo de avaliación, tomamos a puntuación XSTS maioritaria (é dicir, puntuación media-media) para cada frase e media estas puntuacións maioritarias sobre todas as sentenzas avaliadas. s → t é l l where s e t denote the source language and the target language, respectively; denotes the XSTS score of the th evaluator who evaluates sentences in a given translation direction s → t for a source sentence Unha sentenza obxectivo ; denotes the total number of evaluators who evaluate the (source, translation) sentence pair ( , ) para a dirección da tradución s → t; é o conxunto de pares de frases (fonte, tradución) que se están avaliando para a dirección da tradución s → t. l l i l l S T S T l l l l Todos os participantes nunha determinada avaliación is also asked to provide ratings for all or parts of a calibration set—. , Denota os a frase fonte na calibración establecida para un estudo de avaliación; , , denotes the translated sentence corresponding to , e é o número de pares de sentenzas na calibración establecida para un estudo de avaliación. s Ss k k s Ts k Ss k For each language direction evaluated in a study, we obtained the majority score on the calibration set as follows: onde denota a puntuación XSTS proporcionada polo th evaluator, for the language direction s → T, en estudo , for a given source sentence and a translated sentence , in the calibration set of the study. i l l s S T Para obter puntuacións XSTS calibradas agregadas no nivel de dirección da linguaxe, exploramos varias metodoloxías de calibración diferentes. Ningún dos métodos de calibración que investigamos mostrou unha diferenza marcada na correlación coas puntuacións automatizadas, e todas as metodoloxías de calibración que exploramos proporcionaron unha correlación superior en comparación coas puntuacións XSTS non calibradas. . 34 Detección de toxicidade engadida para 200 idiomas Para permitir a detección de toxicidade a escala, usamos un detector baseado en listas de palabras. Nesta sección, proporcionamos máis detalles sobre a nosa definición de toxicidade e describimos o detector (ETOX) e as listas de palabras asociadas. Contidos tóxicos Debido á natureza subxectiva da toxicidade, as definicións de linguaxe tóxica poden variar. Incluímos elementos que son comunmente referidos como linguaxe vulgar ou profana. (Nota que a linguaxe vulgar ou profana non é necesariamente tóxica. Por exemplo, algunhas linguas comúns poden considerarse vulgares, pero non necesariamente tóxicas). Ademais, tamén incluímos elementos asociados con representacións de contido pornográfico ou actos sexuais, algunhas expresións de odio frecuentemente usadas e algunhas expresións relacionadas co bullying. Tamén incluímos elementos, vulgares ou non, que se refiren a partes do corpo que son comunmente asociadas con prácticas sexuais. Detector de ETOX Comezamos coa suposición de que os sistemas de tradución automática de propósito xeral deberían permanecer fieis ao contido fonte e non engadir elementos tóxicos durante o proceso de tradución. Definimos os elementos tóxicos como tokens de palabras ou frases curtas presentes nas nosas listas. ETOX identifica a toxicidade engadida utilizando os seguintes dous criterios: número de elementos tóxicos e toxicidade comparada ou non comparada. Un elemento tóxico considérase detectado se está presente nunha liña e rodeado por espazos ou o comezo ou o final dunha liña. ETOX rastrexa o número de elementos tóxicos únicos atopados nunha liña pero non conta unha frase de novo se ten múltiples ocorrencias. A toxicidade comparada indica que o número de elementos tóxicos é o mesmo tanto na fonte como no contido traducido (é dicir, sen toxicidade eng Toxicidade 200 listas Lists are based on professional translations from English, which were then heuristically adapted by linguists to better serve the target language. As toxicity is culturally sensitive, attempting to find equivalents in a largely multilingual setting constitutes a challenge when starting from one source language. To address this issue, translators were allowed to forgo translating some of the source items and add more culturally relevant items. Na publicación inicial das listas Toxicity-200, o número medio de elementos nunha lista de detección de toxicidade foi de 271 entradas, mentres que o número mediano de entradas foi de 143. Data availability All data generated and described in the Article and its Supplementary Information are available at GitHub ( ) O conxunto de datos FLORES-200 contén datos de avaliación traducidos por humanos en 204 idiomas. A base de datos NLLB-Seed contén datos de formación de sementes de tradución humana en 39 idiomas (Información adicional) A base de datos NLLB-MD contén datos de sementes traducidos por humanos en diferentes dominios en seis idiomas para avaliar a xeneralización (Información adicional). A base de datos Toxicity-200 contén listas de palabras para detectar toxicidade en 200 idiomas. A base de datos de bitexto mineiro contén datos web publicamente dispoñibles para 148 pares de idiomas centrados no inglés e 1.465 non centrados no inglés. . https://github.com/facebookresearch/fairseq/tree/nllb 69 I J 2 Código de dispoñibilidade To make our work available to the community, we provide the following models and supporting code as resources freely available for non-commercial use, available at GitHub ( ) as follows. The translation models cover 200 languages; the NLLB models come in multiple sizes (54.5B MoE, 3.3B and 1.3B Dense, and 1.3B and 600M distilled). The language identification models contain more than 200 languages. LASER3 comprises sentence encoders for identifying aligned bitext for 148 languages. Stopes consists of a data-mining library that can be used to process and clean monolingual data, followed by the creation of aligned bitext. Scripts to recreate our training data and training and generation scripts to reproduce our models are also included. https://github.com/facebookresearch/fairseq/tree/nllb 69 Referencias Fan, A. et al. Beyond English-centric multilingual machine translation. J. Mach. Learn. Res 22, 1-48 (2021). MathSciNet Google Scholar Du, N. et al. GlaM: escalación eficiente de modelos de linguaxe con mestura de expertos. en Proceedings of the 39th International Conference on Machine Learning Vol. 162, 5547–5569 (PMLR, 2022). Hwang, C. et al. Tutel: adaptive mixture-of-experts at scale. In (MLSys, 2023). 6th Conference on Machine Learning and Systems Lepikhin, D. et al. GShard: escalación de modelos xigantes con computación condicional e descomposición automática. Na Conferencia Internacional sobre Representacións de Aprendizaxe (ICLR, 2021). Lewis, M., Bhosale, S., Dettmers, T., Goyal, N. & Zettlemoyer, L. Layers BASE: simplificando a formación de modelos grandes e escasos. In Proc. 38th International Conference on Machine Learning Vol. 139, 6265-6274 (PMLR, 2021). Shazeer, N. et al. Redes neurais enormemente grandes: a capa de mestura de expertos escasamente achegada. en Proc. 2017 Conferencia Internacional sobre Representacións de Aprendizaxe (ICLR) 1-19 (ICLR, 2017). Zoph, B. et al. ST-MoE: deseño de modelos expertos estables e transferibles. Preimpresión en https://arxiv.org/abs/2202.08906 (2022). Zoph, B., Yuret, D., May, J. & Knight, K. Transfer learning for low-resource neural machine translation. In (eds Su, J. et al.) 1568–1575 (Association for Computational Linguistics, 2016). Proc. 2016 Conference on Empirical Methods in Natural Language Processing Nguyen, T. Q. & Chiang, D. Aprendizaxe de transferencia a través de idiomas relacionados de baixo recurso para a tradución de máquina neural. In Proc. Oitava Conferencia Internacional Conxunta sobre Procesamento de Lingua Natural Vol. 2 (eds Kondrak, G. & Watanabe, T.) 296-301 (Asiática Federación de Procesamento de Lingua Natural, 2017). Arivazhagan, N. et al. Tradución masiva multilingüe de máquinas neurais na natureza: descubrimentos e desafíos. en Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies Vol. 1, 3874–3884 (Asociación para a Lingüística Computational, 2019). Zhang, B., Williams, P., Titov, I. & Sennrich, R. A mellora masiva da tradución multilingüe de máquinas neurais e a tradución cero-shot. En Proc. 58a Asemblea Anual da Asociación de Lingüística Computacional (eds Jurafsky, D. et al.) 1628-1639 (ACL, 2020). Tran, C. et al. Submisión de tarefas de tradución de noticias WMT21 de Facebook AI. En Proc. Sexta Conferencia sobre Tradución Máquina (eds Barrault, L.) 205–215 (ACL, 2021); https://aclanthology.org/2021.wmt-1.19. Orife, I. et al. Masakhane – tradución automática para África. Preimpresión en https://arxiv.org/abs/2003.11529 (2020). Kuwanto, G. et al. Currículo de formación de tradución automática de baixos recursos para idiomas de baixos recursos. Preimpresión en https://arxiv.org/abs/2103.13272 (2021). Nekoto, W. et al. Investigación participativa para a tradución automática de baixos recursos: un estudo de caso en linguas africanas. en Resultados da Asociación para a Lingüística Computacional: EMNLP 2020 (eds Cohn, T. et al.) 2144–2160 (ACL, 2020). Karakanta, A., Dehdari, J. & van Genabith, J. Tradución automática neural para linguas de baixo recurso sen corpora paralela. Mach. Tradución 32, 167-189 (2018). artigo Google Scholar Bañón, M. et al. ParaCrawl: adquisición a escala web de corpora paralela. En Proc. 58a Reunión Anual da Asociación de Lingüística Computacional (eds Jurafsky, D. et al.) 4555–4567 (ACL, 2020). Schwenk, H. et al. CCMatrix: minando miles de millóns de frases paralelas de alta calidade na web. En Proc. 59a Asemblea Anual da Asociación para a Lingüística Computacional e a 11a Conferencia Conxunta Internacional sobre Procesamento da Lingua Natural Vol. 1 (eds Zong, C. et al.) 6490–6500 (ACL, 2021). Ramesh, G. et al. Samanantar: a maior colección de corpora paralela dispoñible publicamente para 11 linguas indias. Kreutzer, J. et al. Calidade a simple vista: unha auditoría de conxuntos de datos multilingües rastrexados pola web. Trans. Assoc. Comput. Linguist. 10, 50-72 (2022). artigo Google Scholar Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. Preprint at (2022). https://arxiv.org/abs/2205.12654 Gowda, T., Zhang, Z., Mattmann, C. & May, J. Ferramentas de tradución automática de moitos idiomas, datos e modelos preparados. En Proc. 59a Asemblea Anual da Asociación para a Lingüística Computacional e a 11a Conferencia Conxunta Internacional sobre Procesamento de Linguaxe Natural: Demostracións de Sistemas (eds Ji, H. et al.) 306-316 (ACL, 2021). McCarthy, A. D. et al. The Johns Hopkins University Bible corpus: 1600+ idiomas para a exploración tipolóxica. En Proc. 12th Lingua Recursos e Conferencia de Avaliación (eds Calzolari, N. et al.) 2884–2892 (European Language Resources Association, 2020); https://aclanthology.org/2020.lrec-1.352. McNamee, P. Identificación da linguaxe: un problema resolto axeitado para a instrución de graduación. J. Comput. Sci. Coll. 20, 94–101 (2005). Abadji, J., Suárez, P. J. O., Romary, L. & Sagot, B. Towards a cleaner document-oriented multilingual crawled corpus. Preprint at (2022). https://arxiv.org/abs/2201.06642 Widdows, D. & Brew, C. Identificación da linguaxe cun clasificador de clasificación recíproca. Preimpresión en https://arxiv.org/abs/2109.09862 (2021). Goutte, C., Léger, S., Malmasi, S. & Zampieri, M. Discriminating similar languages: evaluations and explorations. Preprint at (2016). http://arxiv.org/abs/1610.00031 Jauhiainen, T., Lindén, K. & Jauhiainen, H. Avaliación de métodos de identificación lingüística utilizando 285 linguas. En Proc. 21a Conferencia Nórdica de Lingüística Computacional (ed. Tiedemann, J. & Tahmasebi, N.) 183–191 (2017). Grave, É., Bojanowski, P., Gupta, P., Joulin, A. & Mikolov, T. Aprendendo vectores de palabras para 157 idiomas. In Proc. 11th International Conference on Language Resources and Evaluation (LREC 2018) (eds Calzolari, N. et al.) (ELRA, 2018). Dunn, J. Mapando as linguas: o corpus do uso da linguaxe global. Ling. Recurso. Eval. 54, 999-1018 (2020). artigo Google Scholar Brown, R. D. Non-linear mapping for improved identification of 1300+ languages. In (eds Moschitti, A. et al.) 627–632 (ACL, 2014). Proc. 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) Caswell, I., Breiner, T., van Esch, D. & Bapna, A. ID da linguaxe na natureza: desafíos inesperados no camiño cara a un corpus de texto web de mil linguas. In Proc. 28th International Conference on Computational Linguistics (eds Scott, D. et al.) 6588-6608 (International Committee on Computational Linguistics, 2020); https://aclanthology.org/2020.coling-main.579. Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. Bolsa de trucos para a clasificación eficiente do texto. En Proc. 15a Conferencia do Capítulo Europeo da Asociación para a Lingüística Computacional Vol. 2 (eds Lapata, M. et al.) 427-431 (ACL, 2017). NLLB Team et al. No language left behind: scaling human-centered machine translation. Preprint at (2022). https://arxiv.org/abs/2207.04672 Koehn, P. & Knowles, R. Seis retos para a tradución de máquina neural. In Proc. Primeiro obradoiro sobre tradución de máquina neural (eds Luong, T. et al.) 28-39 (ACL, 2017). Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Sennrich, R., Haddow, B. & Birch, A. Improving neural machine translation models with monolingual data. In Vol. 1 (eds Erk, K. & Smith, N. A.) 86–96 (ACL, 2016). Proc. 54th Annual Meeting of the Association for Computational Linguistics (ACL) Popović, M. chrf++: palabras que axudan aos caracteres n-grams. In Proc. Segunda Conferencia sobre tradución automática Vol. 2 (eds Bojar, O. et al.) 612-618 (ACL, 2017). Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J. & Wojna, Z. Rethinking the inception architecture for computer vision. In 2818–2826 (IEEE, 2016). IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Liu, R., Kim, Y. J., Muzio, A., Mozafari, B. & Awadalla, H. H. Gating abandono: regularización de comunicación eficiente para transformadores activados escasamente. Goyal, N. et al. O benchmark de avaliación Flores-101 para a tradución automática de recursos baixos e multilingüe. Trans. Assoc. Comput. Linguist. 10, 522-538 (2022). artigo Google Scholar Wang, H. et al. DeepNet: escalar transformadores a 1.000 capas. En transaccións IEEE sobre análise de patróns e intelixencia de máquinas https://doi.org/10.1109/TPAMI.2024.3386927 (IEEE, 2024) Freitag, M. et al. Resultados da tarefa compartida de métricas WMT21: avaliar métricas con avaliacións humanas baseadas en expertos en TED e no dominio das noticias. En Proc. Sexta Conferencia sobre Tradución Máquina (eds Barrault, L. et al.) 733–774 (ACL, 2021); https://aclanthology.org/2021.wmt-1.73. Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: un método para a avaliación automática da tradución automática. En Proc. 40a reunión anual da Asociación para a Lingüística Computacional (eds Isabelle, P. et al.) 311-318 (ACL, 2002). Akhbardeh, F. et al. Resultados da conferencia 2021 sobre tradución automática (WMT21). En Proc. Sexta Conferencia sobre tradución automática (eds Barrault, L. et al.) 1–88 (ACL, 2021); https://aclanthology.org/2021.wmt-1.1. Kocmi, T. et al. To ship or not to ship: an extensive evaluation of automatic metrics for machine translation. In (eds Barrault, L. et al.) 478–494 (ACL, 2021). Proc. Sixth Conference on Machine Translation Licht, D. et al. A avaliación humana consistente da tradución automática a través de pares de linguas. en Procedementos da 15a Conferencia Bienal da Asociación para a Tradución Automática nas Américas Volume 1, 309-321 (Asociación para a Tradución Automática nas Américas, 2022). Agirre, E. et al. SemEval-2012 task 6: a pilot on semantic textual similarity. In Vols 1–2 (eds Aggire, E. et al.) 385–393 (ACL, 2012). Proc. *SEM 2012: The First Joint Conference on Lexical and Computational Semantics Kusters, R. et al. Investigación interdisciplinar en intelixencia artificial: retos e oportunidades. fronte. Big Data 3, 577974 (2020). artigo PubMed PubMedCentral Google Scholar Wang, S., Cooper, N., Eby, M. & Jo, E. S. Da intelixencia artificial centrada no ser humano á intelixencia artificial centrada na sociedade: avaliar o impacto do ChatGPT a través de eventos disruptivos. Preimpresión en https://arxiv.org/abs/2306.00227 (2023). Bojanowski, P., Grave, E., Joulin, A. & Mikolov, T. Enriching word vectors with subword onformation. , 135–146 (2017). Trans. Assoc. Comput. Linguist. 5 Article Google Scholar Tiedemann, J. Paralelos datos, ferramentas e interfaces en OPUS. In Proc. Oitava Conferencia Internacional sobre Recursos Lingüísticos e Avaliación (eds Calzolari, N. et al.) 2214–2218 (ACL, 2012). Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In (eds Korhonen, A.) 3197–3203 (ACL, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Bahdanau, D., Cho, K. H. & Bengio, Y. Tradución automática neural por aprendizaxe conxunta para aliñar e traducir. en Proc. da 3a Conferencia Internacional sobre Representacións de Aprendizaxe (ICLR, 2015). Kudo, T. & Richardson, J. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In (eds Blanco, E. & Lu, W.) 66–71 (ACL, 2018); . Proc. 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018 https://doi.org/10.18653/v1/d18-2012 Gu, J., Hassan, H., Devlin, J. & Li, V. O. Universal Neural Machine Translation for Extremely Low Resource Languages. In Vol. 1 (eds Walker, M. et al.) 344–354 (ACL, 2018); . Proc. 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies https://aclanthology.org/N18-1032 Wang, X., Pham, H., Arthur, P. & Neubig, G. Multilingual neural machine translation with soft decoupled encoding. Preprint at (2019). https://arxiv.org/abs/1902.03499 Rajab, J. Effect of tokenisation strategies for low-resourced Southern African languages. In (ICLR, 2022). 3rd Workshop on African Natural Language Processing Vaswani, A. et al. Attention is all you need. In 5998–6008 (NIPS, 2017). Proc. 31st Conference on Neural Information Processing Systems Johnson, M. et al. O sistema de tradución automática neural multilingüe de Google: posibilitando a tradución a tiro cero. Trans. Assoc. Comput. Linguist. 5, 339-351 (2017). Conneau, A. et al. Aprendizaxe de representación translingual non supervisada a escala. Na 58a Asemblea Anual da Asociación de Lingüística Computacional (eds Jurafsky, D. et al.) 8440-8451 (ACL, 2020). Bengio, Y., Léonard, N. & Courville, A. C. Estimating or propagating gradients through stochastic neurons for conditional computation. Preprint at (2013). http://arxiv.org/abs/1308.3432 Almahairi, A. et al. Redes dinámicas de capacidade. En Proc. 33a Conferencia Internacional sobre Conferencia Internacional sobre Aprendizaxe Máquina Vol. 48, 2091-2100 (PMLR, 2016). Elbayad, M., Sun, A. & Bhosale, S. Fixing MoE over-fitting on low-resource languages in multilingual machine translation. In (eds Rogers, A. et al.) 14237–14253 (ACL, 2023); . Findings of the Association for Computational Linguistics: ACL 2023 https://aclanthology.org/2023.findings-acl.897 Rei, R., Stewart, C., Farinha, A. C. & Lavie, A. COMET: un marco neural para a avaliación MT. En Proc. 2020 Conferencia sobre Métodos Empiricos no Procesamento da Lingua Natural (EMNLP) (eds Webber, B. et al.) 2685-2702 (ACL, 2020). Sellam, T., Das, D. & Parikh, A. BLEURT: aprendizaxe de métricas robustas para a xeración de texto. En Proc. 58a Reunión Anual da Asociación de Lingüística Computacional (eds Jurafsky, D. et al.) 7881–7892 (ACL, 2020). Post, M. A Call for Clarity in Reporting BLEU Scores. In (eds Bojar, O. et al.) 186–191 (ACL, 2018); . Proc. Third Conference on Machine Translation: Research Papers https://aclanthology.org/W18-6319 Graham, Y., Baldwin, T., Moffat, A. & Zobel, J. Escalas de medición continuas na avaliación humana da tradución automática. In Proc. 7th Linguistic Annotation Workshop and Interoperability with Discourse 33-41 (eds Graham, Y. et al.) (ACL, 2013). NLLB Team et al. No Language Left Behind: scaling human-centered machine translation. (2022). GitHub https://github.com/facebookresearch/fairseq/tree/nllb Acknowledgements En xeral, os axentes de FLLL avaliaron os seguintes internos que axudaron a crear o proxecto: C. Baziotis, D. Dua, A. Guo, O. Ignat, A. Kamran, T. Mohiuddin, A. N. Rubungo, S. Sun, S. Tan, H. Xu, S. Wu e Y. Zhang. Agradecemos a todo o persoal e voluntarios da Fundación Wikimedia que traballaron connosco e proporcionaron un feedback útil sobre o noso proxecto. Agradecemos a V. Chaudhary por axudar con este tubo de datos humano; E. Grave por axudarlles a escalar o feedback rápido a todos os idiomas FLORES-200; M. Diab polo seu traballo en XSTS; L. Specia polo seu feedback sobre a toxicidade e XSTS; J. Bordando-200 e C. Mog Este artigo está dispoñible en natureza baixo a licenza CC by 4.0 Deed (Attribution 4.0 International). Este artigo está dispoñible en natureza baixo a licenza CC by 4.0 Deed (Attribution 4.0 International).