Ao anatin'ny AI izay mamakivaky fiteny 200, na dia ireo izay tsy manana angona

Ny mpanoratra: Ny ekipan'ny Marta R. Costa-jussà Sary avy amin'i James Cross Ny voninahitra dia Maha Elbayad Kenneth Heafield Ny vadiny dia Kevin Heffernan. Elahe Kalbassi Ny Tompo Lam Daniel Licht Ny renivohiny Ny renivohiny Ny Tompo Wang Nandray anjara tamin'ny Ao amin'ny al-Blood Ny akora dia Ny renivohiny dia Barrault Gabriel Mejia Gonzalez Prangthip Hansanti John Hoffman Semarley Jarrett Ny fahatongavan'i Kaushik Ram Sadagopan Dirk Rowe Shannon Spruit Chau Tran Ny renivohiny Nandray anjara tamin'ny fanatanterahana Mifototra amin'ny Mpanjaka Edunov Andriamanitra tia mpankafy. Ny renivohiny dia Vedanuj Goswami Ny renivohiny Filohan'i Koen Mpanoratra anarana: Alexandre Mourachko Ny vadiny dia Christophe Ropers. Safiyyah Saleem Ny Tompo Schwenk Jeff Wang Ny mpanoratra: NLLB Team Mpanoratra anarana: Marta R. Costa-Jussà Sary avy amin'i James Cross Ny voninahitra dia Ny fahalalahana Ny vadiny dia Kenneth Heafield. Ny vadiny dia Kevin Heffernan. Mifototra amin'ny kalitao Ny Tompo Lam Ny fahazavan'i Daniela Ny renivohiny Ny renivohiny Ny Tompo Wang Nandray anjara tamin'ny Ao amin'ny al-Blood Ny akora dia Ny renivohiny dia Barrault Sary avy amin'i Gabriel Mejia Gonzalez Ny fahatongavan'ny hanana Ny renivohiny Ny renivohiny dia Jarrett. Ny fahatongavan'i Kaushik Ram Sadagopan Mifindra amin'ny Mifototra amin'ny Ny tran Ny renivohiny Nandray anjara tamin'ny fanatanterahana Mifototra amin'ny Mpanjaka Edunov Andriamanitra tia mpankafy. Ny renivohiny dia Misaotra an'i Goswami Ny renivohiny Filohan'i Koen Mpanoratra anarana: Alexandre Mourachko Ny vadiny dia Christophe Ropers. Mifandraisa amin'ny Ny Tompo Schwenk Ny Tompo Ny Abstract Ny fampandrosoana ny teknika neural dia nanokatra lalana vaovao ho an'ny fikarohana amin'ny fandikan-teny milina. Amin'izao fotoana izao, ny rafitra fandikan-teny milina neural (NMT) dia afaka mampiasa fahafahana maro amin'ny fiteny maro ary na dia manao fandikan-teny zero-shot, manome vokatra mahatalanjona amin'ny lafiny fiteny sy ny kalitao. Mifantoka amin'ny fanatsarana ny kalitaon'ny fandikan-teny amin'ny vondrona kely kokoa amin'ny fiteny manan-karena dia miankina amin'ny fanentanana ny fikarohana amin'ny fiteny manan-karena ambany, izay mampitombo ny tsy fahasamihafana nomerika amin'ny fotoana maharitra. Mba hanafoana ity endrika ity, eto isika dia mampiasa No Language Left Behind - modely maro maro samihafa izay mampiasa ny fampianarana fampitaovana amin'ny fiteny. , , , , , , izay nianatra tamin'ny angon-drakitra novolavolainay tamin'ny fampiasana teknika fanamboarana vaovao mifanaraka amin'ny fiteny madinika. Ankoatra izany, namorona fanatsarana maro ho an'ny architecture sy ny fampiofanana izahay mba hisorohana ny overfitting rehefa mandray fampiofanana amin'ny asa an-tapitrisany. Nandritra ny fampiofanana ny modely, dia nahatratra ny fahombiazan'ny modely mihoatra ny 40.000 ny fomba fampiharana amin'ny fampiasana fitaovana novolavolaina manokana ho an'ity tanjona ity - fitaovana natao manokana (FLORES-200), metrika fanombanana amin'ny olombelona (XSTS) ary detector toxicity izay ahitana ny fiteny tsirairay ao amin'ny modely. 1 2 3 4 5 6 7 Ny tena Ny fivoaran'ny neural machine translation (NMT) vao haingana dia nanosika ny teknolojia fandikan-teny ho any amin'ny sisintany vaovao, saingy tsy mitovy ny tombony. Ny ankamaroan'ny fanatsarana natao dia nahazo tombontsoa indrindra tamin'ny fiteny avo lenta, ka maro ireo fiteny ambany lenta no voafetra. (Ho an'ny tanjona amin'ny fikarohana, dia voafaritra ny fiteny avo lenta ho fiteny izay manana angon-drakitra voasoratra (na bittext) farafaharatsiny 1 tapitrisa amin'ny fiteny hafa). Ity fahasamihafana ity dia azo ampiharina amin'ny fomba tsy fantatra teo aloha: Ny modely NMT dia mitaky angon-drakitra be dia be mba hiteraka fandikan-teny avo lenta ary, amin'ny famaritana, ireo votoaty ireo dia tsy misy ho an'ny fiteny ambany lenta. Ny tetikasa No Language Left Behind (NLLB-200) dia mikatsaka ny han , Izany dia ahafahan'ny fiteny mifandray mianatra avy amin'ny hafa. , , . 1 8 9 1 10 11 Efa fantatra amin'izao fotoana izao fa ny modely maro fiteny dia naneho fiantraikany mahatalanjona amin'ny fampisehoana mihoatra noho ny modely roa teny. Na izany aza, mbola misy ny fanontaniana hoe raha afaka mampiseho ny ankamaroan'ny fiteny ny modely maro an'arivony raha tsy misy fiantraikany amin'ny kalitaon'ny teny. Ny vokatra dia mampiseho fa ny fanamafisana ny habetsaky ny fiteny azo ampiasaina amin'ny fandikan-teny milina sy ny fitazonana ny kalitaon'ny vokatra dia tsy ezaka tsy miankina. Ny modely farany - izay ahitana fiteny 200 ary telo heny ny fiteny madinika noho ny fiteny avo lenta - dia mahavita, amin'ny ankapobeny, 44% tsara kokoa noho ny rafitra teo aloha. 12 Voalohany, raha oharina amin'ny mpiara-miasa amin'ny loharanom-pahalalana avo lenta, ny angon-drakitra fampiofanana ho an'ny fiteny ambany loharanom-pahalalana dia lafo sy sarotra amin'ny sehatry ny logistics. , , Ny loharanom-baovao nomerika azo ampiasaina amin'ny ankapobeny dia voafetra amin'ny habetsahan'ny na sarotra ho an'ny rafitra automatique mba hahafantarana (ohatra amin'ny angon-drakitra an-tserasera lehibe toy ny CommonCrawl). Na tsy ilaina na tsy ilaina ny fanangonana ny habetsahan'ny angon-drakitra voasoratra avy amin'ny olombelona, dia miankina amin'ny famokarana angon-drakitra lehibe sy ny angon-drakitra monolingual , , , Ireo teknika farany dia matetika voahelingelina amin'ny feo sy ny tsiambaratelo, noho izany dia mahatonga ny fanamarinana ny kalitaon'ny angon-drakitra izy ireo mahavariana. Ao amin'ny NLLB-200, dia mampiseho fa ny fametrahana fehezan-dalàna mifototra amin'ny destillation, LASER3 (ref. ), manatsara ny famokarana mahomby amin'ny angon-drakitra parallel ho an'ny fiteny ambany loharanon-karena. 13 14 15 16 17 18 19 20 21 Ny faharoa, amin'ny lafiny modely, dia mampiasa ny fanangonana ny semen, mined, open-source sy back-translated datasets mba hampiofanana ny modely multi-language conditional computational (manamaivana kokoa, ny modely Sparsely Gated Mixtures-of-Experts) , , , , , Izahay dia mampiseho ny fomba ahafahantsika mahatratra ny fahaiza-manao amin'ny fampihenana tsara kokoa eo amin'ny fampidirana sy ny fampihenana eo amin'ny fiteny mifandray, ary manatsara ny fahaiza-manao amin'ny fiteny madinika. 2 3 4 5 6 7 Farany, ho an'ny tanjon'ny fanombanana ny kalitao, dia namorona FLORES-200 isika, marika marika marika maro izay mamaritra ny kalitaon'ny fandikan-teny amin'ny lafiny manodidina ny 40.000 izay ahitana ny modely NLLB-200. Ankoatra ny metrika automatique, dia namorona ihany koa ny Trans-lingual Semantic Text Similarity (XSTS) sy Evaluation of Toxicity (ETOX). Ankoatra ny famolavolana ireo modely ireo, dia mihevitra ihany koa ny fiantraikany amin'ny fiaraha-monina mety ho an'ny NLLB isika. Mba hampitomboana ny fampiharana ara-toekarena amin'ny asa ataonay amin'ny tolotra ho an'ny vondrom-piarahamonina tsy misy loharanon-karena, dia manome ny tahirin-kevitra, angon-drakitra, code sy modely rehetra voalaza ao amin'io ezaka io ho loharanom-baovao malalaka ho an'ny fampiasana tsy ara-barotra ( ) (jereo ny fanambarana momba ny fidirana amin'ny Data sy Code ho an'ny antsipirihany). https://github.com/facebookresearch/fairseq/tree/nllb Ny famoronana ny angon-drakitra momba ny fampiofanana Ny teknika amin'izao fotoana izao ampiasaina amin'ny fampiofanana ny modely fandikan-teny dia sarotra ny hampitombo amin'ny fitaovana ambany, izay mampifanaraka ny angon-drakitra (na angon-drakitra bittex) dia tsy ampy. Maro amin'ireo fiteny madinika amin'ny loharanon-tsolika no manohana fotsiny amin'ny angon-drakitra bittex kely izay ahitana voalohany indrindra ny fandikan-teny avy amin'ny Baiboly Kristiana. , izay manome fahasamihafana voafetra amin'ny sehatra. 22 23 Mba hanorina dataset fampiofanana mitovy amin'ny habetsaky ny fiteny an-tapitrisany, ny fomba fijerintsika dia mifantoka amin'ny fanitarana dataset efa misy amin'ny fanangonana angon-drakitra monolingual tsy mifanaraka voalohany. Avy eo, dia nampiasa metric semantic famantarana mitovy mba hanara-maso ny ezaka fitrandrahana angon-drakitra lehibe izay mikendry ny mamantatra fehezan-teny izay mety ho mitovy amin'ny fiteny samihafa. . 18 Ny fiteny ho an'ny fanangonana angon-drakitra monolingual Ny fanangonana angon-drakitra monolingual amin'ny habetsahan'ny dia mitaky ny rafitra LID (Language Identification) izay mamaritra marina ny loharano amin'ny teny ho an'ny fiteny NLLB-200 rehetra. , mbola fanamby misokatra ho an'ny angon-drakitra , . Specifically, issues coalesce around domain mismatch Ny fiteny mitovy amin'ny fiteny ary mahomby be dia be ny fiteny maro . 24 25 26 26 27 28 Ny fanamafisana ny fampandrosoana ny teknika LID dia nitarika ny fitomboan'ny fitenenana sy ny fahamarinana amin'ny fotoana. CLD3 ( ) and fasttext Ireo modely roa azo jerena dia manolotra fahombiazana avo lenta ho an'ny fitenenana amin'ny fiteny 107 sy 187, amin'ny alalan'ny fampiasana angon-drakitra maro ho an'ny daholobe, fanadihadiana taloha , Manaporofo ny fidirana avo lenta kokoa — 464 sy 1,366 fiteny, amin'ny ankapobeny. Scales LID fampisehoana hatramin'ny 1629 fiteny mampiasa teny lisitra sy ny fanaraha-maso ny tenany mba bootstrap fampiofanana angon-drakitra hita ao amin'ny aterineto. Na izany aza, ireo fomba mampiasa hita angon-drakitra mijaly amin'ny tsy fitoviana ny sehatra. izany hoe, satria ny fiteny misy lahatsoratra sehatra dia samihafa amin'ny fiteny, classifiers mampifandray sehatra samihafa amin'ny fiteny samihafa. https://github.com/google/cld3 29 30 31 32 Ao amin'ny asantsika, dia namorona ny FLORES-200 ho ampiasaina ho toy ny fampandrosoana famolavolana mba hanatsarana ny fahombiazan'ny rafitra LID Ny fomba fijerintsika dia mampifandray modely fohy mifototra amin'ny angon-drakitra izay nianatra tamin'ny FLORES-200 miaraka amin'ny fitsipika kely voasoratra an-tanana mba hanatanterahana ny valin'ny olona momba ny fahadisoana amin'ny famaritana. Ireo fitsipika ireo dia voalaza manokana ao amin'ny fizarana 5.1.3 amin'ny ref. and include linguistic filters to mitigate the learning of spurious correlations due to noisy training samples while modelling hundreds of languages. 33 34 We compare our LID model with three publicly available models: CLD3, LangId ( Amin'ny ankapobeny, ny fahasamihafana ( Ny latabatra Manaporofo ny fahombiazan'ny fiteny telo mifandray amin'ny NLLB-200: (1) fiteny 51 izay manohana ihany koa ny LangId, LangDetect sy CLD3; (2) fiteny 78 izay manohana ihany koa ny LangId sy CLD3; (3) fiteny 95 izay manohana ihany koa ny CLD3. Manaporofo ihany koa ny tahan'ny false-positive (FPR) mba hijerena ny fiantraikany amin'ny fitenin'ny false-positive amin'ny fiteny tsy hita. Ny vokatra dia mampiseho fa ny modely dia manara-maso ny fiteny 200 rehetra hita ao amin'ny FLORES-200 raha mahatratra ny fahombiazan'ny LangId, LangDetect sy CLD3. Ankoatra izany, ny fitomboan'ny F1 dia miaraka amin'ny fanats . https://github.com/saffsd/langid.py https://pypi.org/project/langdetect/ 1 32 Ny fambolena ho an'ny bitext Ny asa teo aloha manamarika fa ny kalitaon'ny fandikan-teny amin'ny ankapobeny dia mitombo amin'ny habetsaky ny angon-drakitra fampiofanana avo lenta, izay sarotra ny hahazoana rehefa miasa amin'ny fiteny ambany loharanon-karena. Ny fandikan-teny parallel efa misy ho an'ny fiteny ambany loharanon-karena dia matetika ampiasaina amin'ny fomba mahomby avy amin'ny fanangonana maro teny fantatra, toy ny Baiboly Kristiana na ny gazety avy amin'ny fikambanana iraisam-pirenena, izay voafetra amin'ny habetsaky ny habetsaky ny fanabeazana sy ny sehatra. Mba handresy ity olana ity, dia namorona dataset fampiofanana amin'ny alàlan'ny fambolena bitext maneran-tany amin'ny voto 35 Satria ny fomba fiasan'ny fambolena dia mitaky toerana fambolena maro, dia misy olana maromaro amin'ny fampidirana ity fampisehoana ity ho an'ny fiteny rehetra amin'ny NLLB-200. Voalohany, tsy maintsy manome antoka fa ny fiteny rehetra dia mianatra tsara ary tsy maintsy manazava ny tsy fitoviana lehibe amin'ny angon-drakitra fampiofanana azo jerena. Faharoa, ny fampiofanana mpamokatra fehezan-dalàna maro maro avy amin'ny fototra isaky ny fampidirana vondrona vaovao amin'ny fiteny dia lafo amin'ny solosaina. Ankoatra izany, ny tsy fahampiana lehibe amin'ity fomba fiasan-kevitra ity dia ny hoe ny habetsahan'ny fambolena fambolena avy amin'ny modely vaovao tsirairay dia tsy maintsy Izany dia mampitombo ny sehatry ny laser ho an'ny fiteny rehetra ao amin'ny NLLB-200. Ny fiteny dia fampiofanana na ho mpianatra tsirairay na miaraka amin'ny fiteny avy amin'ny fianakaviana iray. Ny fampiofanana ny mpianatra dia manaraka ny fomba voalaza ao amin'ny ref. . 21 36 21 Our approach enables us to focus on the specifics of each language while taking advantage of related languages, which is crucial for dealing with very low-resource languages. (A language is defined as very low-resource if it has fewer than 100,000 samples across all pairings with any other language in our dataset). Using this method, we generated more than 1,100 million new sentence pairs of training data for 148 languages. This additional training data, paired with back translation (a conventional technique for data augmentation in NMT; ref. ), nahatonga ny fanatsarana mahatalanjona amin'ny kalitaon'ny fandikan-teny - indrindra, +12.5 chrF++ (ref. ) ho an'ny fandikan-teny amin'ny fiteny kely indrindra amin'ny loharanom-baovao amin'ny teny anglisy. Ho an'ny antsipiriany bebe kokoa, jereo ny fampahalalana fanampiny . 37 38 D Modelling Na dia mitombo ny habetsaky ny angon-drakitra aza, ny fanamby fototra amin'ny fandikan-teny madinika dia ny modely fampiofanana mba hampisehoana tsara ny fiteny 200 raha mbola miova amin'ny fahaiza-manaon'ny angon-drakitra isan-karazany. Ankoatra ny teknika toy ny fanamafisana angon-drakitra (ohatra amin'ny famerenana indray) sy ny sehatra fanaraha-maso manokana momba ny angon-drakitra monolingual, dia nampiasa ny modely solosaina - indrindra fa, Sparsely Gated Mix of Experts (ankehitriny MoE) - mba hampihenana ny fiantraikany eo amin'ny fiteny tsy mifandray. Ny modely transformers MoE dia tsy mitovy amin'ny modely transformers matanjaka amin'ny hoe ny sasany amin'ireo habetsaky ny tambajotra amin'ny alàlan'ny famerenana dia miova amin'ny habetsaky ny MoE ao amin'ny encoder sy ny decoder. Ny modely transformer encoder-decoder, fanampiny amin'ny ranomasina MoE sy ny tambajotra gating amin'izy ireo, dia mianatra ny hanara-maso ny token input ho an'ny antoko roa ambony mifanaraka amin'ny fanamafisana ny fiaraha-miombon'ny entropy eo amin'ny taratasy. ary ny fihenan'ny fihenan'ny fiantraikany . E 39 6 Fantatsika fa ny modely vanilla MoE miaraka amin'ny fihenjanana ankapobeny dia tsy tsara ho an'ny fitenenana amin'ny loharanon-karena ambany ary mihoatra noho ny fihenjanana amin'ny loharanon-karena ambany. Mba hanatsarana ity olana ity, dia namorona Expert Output Masking (EOM), sehatra fitsipika manokana ho an'ny rafitra MoE, ary nifanaraka tamin'ny sehatra fitsipika efa misy, toy ny Gating Dropout Fantatsika fa ny Gating Dropout dia mahomby kokoa noho ny vanilla MoE amin'ny fihenam-bidy amin'ny ankapobeny, fa mihoatra noho ny EOM. 40 Mba hampihenana bebe kokoa ny fihenjanana amin'ny tsipiriany amin'ny tsipiriany madinika, dia namolavola fampianarana fandaharam-pianarana izahay izay mampiasa tsipiriany amin'ny dingana mandritra ny fampiofanana modely. Ny fanavaozana dia ampiasaina amin'ny fanavaozana alohan'ny fiafaran'ny fampiofanana. Izany dia mampihena ny overfitting ary mamela ny mpivady izay mahazo tombony amin'ny fampiofanana fanampiny hanohy ny fianarana. mampiseho fa ny fampidirana ny fampianarana amin'ny fampianarana sy ny EOM dia manatsara ny vokatra, indrindra amin'ny fiteny ambany sy ambany (jereo ny fizarana "Modeling" ho an'ny antsipirihany bebe kokoa). K K 2 Mba hahatakatra ny fomba MoE modely dia mahasoa ho an'ny fiteny maro milina fandikan-teny, isika mijery ny fahasamihafana ny manam-pahaizana ao amin'ny MoE layers mampiasa ny hafanana sarimihetsika (Fig. ). These heat maps demonstrate that in late decoder layers (Fig. ), ny fiteny dia tsy miankina (izay hoe, nalefa ho isan-karazany ny manam-pahaizana). Ankoatra izany, isika mahita fa ny fiteny ao anatin'ny fianakaviana iray ihany no tena mitovy amin'ny safidiny ny manam-pahaizana (izany hoe, ny farany decoder MoE layers dia fiteny manokana). Izany dia indrindra ny toe-javatra ho an'ny fiteny Arabo (ny enim-bolana efatra andian-tampon'ny ankavia ambony), fiteny ao amin'ny Benue-Congo subgrouping, ary koa ny fiteny ao amin'ny Devanagari script. Ny tapaky ny encoder MoE dia mahazatra amin'ny fiteny-agnostika amin'ny fomba ahafahan'izy ireo mivezivezy token toy ny azo aseho amin'ny taratasy hafanana token ao amin'ny Fig. . Ny 1A Ny 1D Ny C Ny B Fig. 1: Cosine similarity scores between languages at different layers of the encoder–decoder architecture. Ny – Ny voalohany ( Ary ny farany ( ) encoder layers ary avy eo ny voalohany ( ) and last ( Ny fahasamihafana dia mihoatra noho ny fanapahan-kevitry ny manam-pahaizana (fifidianana manam-pahaizana) isaky ny fiteny (ny lafiny loharanom-baovao ao amin'ny encoder sy ny lafiny tanjona ao amin'ny decoder). a d a b c d Mifandray angon-drakitra (jereo ny fizarana ’) ary modely fandraisana anjara, Table manaporofo fa ny NLLB-200 dia mihoatra noho ny rafitra akaiky indrindra amin'ny fivoarana amin'ny +7.3 spBLEU (ref. ) on average, constituting a 44% improvement. We then compared NLLB-200 with a few other state-of-the-art models, such as Deepnet Ary ny M2M-100 (ref. Ny NLLB-200 dia mihoatra ny +7.0 spBLEU amin'ny ankapobeny. Amin'ny ankapobeny, ny vokatra dia mampiseho fa ny NLLB-200 dia manatsara amin'ny rafitra maoderina amin'ny marika mahatalanjona, na dia manohana ny fiteny 200 aza, na roa heny ny fiteny (ary mihoatra ny 30,000 fomba fanampiny) raha oharina amin'ny asa taloha. ). Ny famoronana ny angon-drakitra momba ny fampiofanana 3 41 42 1 Ny 3 Evaluations Anisan'ny lafiny maro amin'ny fampisehoana modely izay azo heverina , ity fizarana ity dia mampitandrina ny lafiny telo izay manana fiantraikany lehibe amin'ny fanombanana ny kalitao amin'ny ankapobeny: toro-hevitra ho an'ny fanombanana automatique, protocols fanombanana amin'ny olombelona ary fanombanana toxicity. 43 Benchmark ho an'ny fanombanana automatique amin'ny fampiasana FLORES-200 Ny kalitaon'ny vokatra NMT dia matetika noheverina amin'ny alalan'ny metrika automatique toy ny BLEU. Ary ny Ny fanombanana ny valin'ny kalitao automatique amin'ny fampiasana ireo metriky ireo dia mitaky angon-drakitra benchmark izay manome ny fandikan-teny ho an'ny olombelona amin'ny fitsipika volamena. Amin'ny lafiny iray, ny fanombanana ny fomba samihafa azo atao amin'ireo daty benchmark ireo dia manome antsika fahatakarana tsara kokoa ny zavatra ilaina amin'ny fikarohana sy ny fampandrosoana bebe kokoa. ohatra, ny famoronana angon-drakitra benchmark ao amin'ny Workshop on Machine Translation (WMT) nahatonga ny fandrosoana haingana amin'ny fiteny teny toy ny teny anglisy ho amin'ny teny alemà sy ny teny anglisy ho amin'ny teny frantsay. 44 41 45 Ho an'ny ankamaroan'ny fiteny ao amin'ny NLLB-200, ny angon-drakitra lehibe indrindra azo jerena dia FLORES-101, izay manohana ny antsasaky ny fiteny ao amin'ny NLLB-200. Ny fampandrosoana ilaina amin'ny FLORES-101 amin'ny FLORES-200 dia fanamby fanampiny eo amin'ny sehatry ny fiantohana ny kalitao, ampahany noho ny fahasamihafana eo amin'ny fitsipika fanamafisana sy ny fidirana voafetra amin'ny mpandika teny matihanina ho an'ny fiteny rehetra mifandraika. Mba hanatanterahana io fanamby io, dia nanova ny dingana ataonay izahay mba hanomezana tsotra manokana ho an'ny fametrahana ny kalitao. Ny dingana fitantanana FLORES-200 Vokatr'io dingana fanavaozana io, dia namokatra angon-drakitra telo (dev, devtest, test) avy amin'ny fiteny NLLB-200 rehetra izay mifanaraka amin'ny fihenan'ny kalitao 90% amin'ny fotoana farany indrindra 287 andro (119 andro manodidina, 70 andro farafaharatsiny). (Antenaina fa mba hisorohana ny fidirana amin'ny modely, dia nanasitrana ny angon-drakitra avy amin'ny FLORES sy ny marika fanombanana hafa ampiasaina (ohatra WMT sy IWSLT) avy amin'ny angon-drakitra fampiofanana. Ho an'ny antsipiriany bebe kokoa momba ny fandaharam-potoana. sary mampiseho ny valin'ny kalitao ho an'ny fiteny rehetra, ny sasany amin'izy ireo dia voasoratra ho ohatra. C 2 Fig. 2: Quality of FLORES-200. Ny Ny valin'ny fanomezana kalitao ho an'ny fiteny ao amin'ny FLORES-200. Ny fitsipika farafahakeliny azo ekena dia 90%. Ny fiantraikany amin'ny olombelona Ny fitaovana ara-toekarena maoderina matetika dia tsy mahatakatra ny lafiny amin'ny fiteny izay, na dia mahafinaritra aza, dia afaka manana fiantraikany goavana amin'ny kalitaon'ny fandikan-teny. Izany hoe, miankina amin'izy ireo dia mitranga amin'ny fanamby roa: (1) ny fanombanana ny kalitaon'ny NMT amin'ny ankapobeny, na inona na inona ny isan'ny fiteny mifandraika amin'izany, dia miady amin'ny fifanarahana ambany mety ho an'ny mpifanaraka (amin'ny manodidina ny 0.5 kappa); ary (2) ny NMT be dia be dia be dia be dia be dia be dia be dia be dia be dia be dia be - izay ny kalitaon'ny fanombanana mifanaraka amin'ny fiteny. , ny metrik'ny famantarana vaovao mifantoka amin'ny dikany, ary amin'ny fampiasana protocol izay mamela ny kalibration ny vokatra eo amin'ny evaluators sy ny fiteny pairs. 46 47 XSTS dia protocol fanombanana amin'ny olombelona nosoratan'ny STS Ny XSTS dia mampiasa sehatra dimy ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo ambin'ny folo. 48 Fantatsika fa ny metrika automatika toy ny spBLEU sy chrF++ dia mifandray tsara amin'ny fanombanana ny kalibration olombelona ny kalitaon'ny fandikan-teny, araka ny hita ao amin'ny sary. Ary ny Spearman. Ny coefficients fifandraisana eo amin'ny XSTS sy spBLEU, chrF++ (corpus) ary chrF++ (mpitomboan'ny fehezan-dalàna) dia 0.710, 0.687 ary 0.694, mifanaraka amin'izany. Ao amin'ny Pearson Corpus spBLEU dia manome ny tsara indrindra nominal fifandraisana, manaraka ny eo amin'ny fehezan-teny eo amin'ny chrF++. 3 R τ R Fig. 3: Correlations between aggregated human quality scores and automated metrics. , The relationship between spBLEU and XSTS. , The relationship between chrF++ and XSTS. , Ny fifandraisana eo amin'ny tahan'ny andininy eo ho eo amin'ny chrF++ sy XSTS. Ny valin'ny automatique rehetra dia voamarina fotsiny amin'ny andininy voamarina ho an'ny modely nomena sy ny fandikan-teny (na ny FLORES-200 dataset feno na subset). Ny NLLB-200 dia mifandray amin'ny modely MoE 55B, ary ny NLLB-200 Baseline dia mifandray amin'ny modely 3.3B. a b c Full size image We also find that calibrated human evaluation scores correlate more strongly with automated scores than uncalibrated human evaluation scores across all automated metrics and choices of correlation coefficient. In particular, uncalibrated human evaluation scores have a Spearman’s correlation coefficient of 0.625, 0.607 and 0.611 for spBLEU, chrF++ (corpus) and chrF++ (average sentence-level), respectively. R Overall, a sample of 55 language directions were evaluated, including 8 into English, 27 out of English, and 20 other direct language directions. The overall mean of calibrated XSTS scores was 4.26, with 38/55 directions scoring over 4.0 (that is, high quality) and 52/56 directions scoring over 3.0. We hypothesize that added toxicity may be because of the presence of toxicity in the training data and used our detectors to estimate, more specifically, unbalanced toxicity in the bitext data. We find that estimated levels of unbalanced toxicity vary from one corpus of bitext to the next and that unbalanced toxicity can be greatly attributed to misaligned bitext. In other words, training with this misaligned bitext could encourage mistranslations with added toxicity. To mitigate this issue, we designed a bitext filtering procedure based on the detection of multiple instances of added toxicity (that is, cases in which one sentence in the bitext pair contains at least two more toxic items than the other sentence in the pair). (A previous detector quality analysis showed that a higher precision was reached in this situation). We added this toxicity filtering procedure as an option to the filtering process and experimented with or without it for comparison. Ny vokatry ny fanandramana amin'ny FLORES-200 dev mifanaraka amin'ny fiteny fiteny 10 (amin'ny teny Anglisy ho an'ny Somali, Sotho Atsimo, Twi, Umbundu ary Venetian) dia mampiseho fa taorian'ny fanasitranana ny habetsaky ny 30 isan-jaton'ny fehezan-dalàna mitovy amin'ny 30%, ny kalitaon'ny fandikan-teny (chrF++) dia manatsara amin'ny 5% ary ny zava-mahadomelina fanampiny (ETOX) dia mampihena amin'ny habetsaky ny habetsaky ny vokatra. Conclusion In 2016, the United Nations declared internet access a basic human right. Although the intent of this declaration was to limit censorship and allow for information and ideas to flow without interference, much of the internet today remains inaccessible to many due to language barriers. Our effort was designed to contribute one solution to help alter this status quo. For many low-resource language communities, NLLB-200 is one of the first models designed to support translation into or out of their languages. Although applications of these new translation capabilities could be found in several domains of everyday life, we believe their impact would be most significant in a domain such as education. In formal educational settings, for instance, students and educators belonging to low-resource language groups could, with the help of NLLB-200, tap into more books, research articles and archives than before. Within the realms of informal learning, low-resource language speakers could experience greater access to information from global news outlets and social media platforms, as well as online encyclopaedias such as Wikipedia. Access to machine translation motivates more low-resource language writers or content creators to share localized knowledge or various aspects of their culture. Giving individuals access to new translation tools could thus open up opportunities for bidirectional learning, thereby also challenging Western-centric modes of knowledge production and dissemination, ultimately aiding in revitalizing certain minority cultures and languages. Since launching NLLB-200, we can already see the impact of the model across many directions. Four months after the launch of NLLB-200, Wikimedia reported that our model was the third most used machine translation engine used by Wikipedia editors (accounting for 3.8% of all published translations) ( ). Compared with other machine translation services and across all languages, articles translated with NLLB-200 has the lowest percentage of deletion (0.13%) and highest percentage of translation modification kept under 10%. https://web.archive.org/web/20221107181300/https://nbviewer.org/github/wikimedia-research/machine-translation-service-analysis-2022/blob/main/mt_service_comparison_Sept2022_update.ipynb In many ways, the composition of the NLLB-200 effort speaks to the centrality of interdisciplinarity in shaping our vision. Machine translation and AI advancements lie at the intersection of technological, cultural and societal development, and thus require scholars with diverse training and standpoints to fully comprehend every angle , . It is our hope that in future iterations, NLLB-200 continues to include scholars from fields underrepresented in the world of machine translation and AI, particularly those from humanities and social sciences backgrounds. More importantly, we hope that teams developing these initiatives would come from a wide range of race, gender and cultural identities, much like the communities whose lives we seek to improve. 49 50 Finally, we want to emphasize that overcoming the challenges that prevent the web from being accessible to speakers of all languages requires a multifaceted approach. At the technical level, NLLB-200 overcomes many data, modelling and evaluation challenges in NMT research, but it still has its limitations, some of which are documented in Supplementary Information Amin'ny alalan'ny fampiasàna teknika tokana, ny NLLB-200 dia zavatra iray afa-tsy ampahany iray amin'ny puzzle lehibe; ny fampiasàna ara-politika izay mifantoka amin'ny olana fototra kokoa mifandraika amin'ny fanabeazana, ny fidirana amin'ny aterineto ary ny fahalalana nomerika dia ilaina mba hanesorana ny olana ara-strukturaly momba ny fahasamihafana amin'ny fiteny. G Methods Data This section describes the steps taken to design our language identification system and bitext mining protocol. Language identification To train language identification models, we used fasttext , , which has been widely used for text classification tasks because of its simplicity and speed. We embedded character-level -grams from the input text and leveraged a multiclass linear classifier on top. The lightweight nature of fasttext enables our LID models to handle web-scale data. Furthermore, a linear model has the benefit of being easily explainable, allowing us to trace any classification error back to its root cause. This is instrumental in addressing common pitfalls that arise when detecting language on web corpora . 33 51 n 32 Ny famolavolana Nanao fanandramana tamin'ny famolavolana roa samihafa izahay. Voalohany, nampiasa ny fiaraha-miombon'ny famolavolana binary maro izahay izay nahazo ny fanapahan-kevitra farany amin'ny alàlan'ny fisafidianana ny fiteny miaraka amin'ny vokatra avo indrindra taorian'ny fampiharana ny fetra. Nampiasa ny fanatsarana ny fetra izahay mba hahafantarana fa rehefa ambany ny fitokisan'ny famolavolana, ny fiteny mifanaraka amin'izany dia tsy heverina ho fanapahan-kevitra farany. Ny fe-potoana dia voasoratra raha tsy nisy ny famolavolana mihoatra ny fetra. Our results directed us to focus on the second approach, which offers several advantages. First, changing the threshold for one language did not affect the performance of the other (which is not true in the first setting). Second, this approach generalizes better to out-of-domain data, which is our primary use case (Wikipedia → web data). Finally, a single classifier has the added benefit of being computationally simpler, thus streamlining the language identification process. Ny fampiofanana ny angon-drakitra sy ny fitantanana ny tsy fitovian'ny kilasy goavana We used publicly available datasets to train our LID system, partially covering our languages of interest. The public datasets deployed were mostly built from web pages such as CommonCrawl. We then supplemented these with NLLB-Seed data (Supplementary Information ) for any missing languages. However, this supplementation is insufficient in ensuring balance in the raw training data , . For example, English alone represents 10.1% of our training data, whereas Minangkabau (Latin script) represents only 0.06%. Following ref. , we experimented with multiple settings of temperature upsampling for underrepresented languages, in which sentences from a language representing per cent of the data set are sampled proportionally to . Optimal performance was obtained at 1/ = 0.3 (for more details, see section 5.1 of ref. Ny B 32 30 10 l pl T 34 Training parameters Our best-performing model was trained with softmax loss over two epochs with a learning rate of 0.8 and embeddings with 256 dimensions. We discarded words with less than a thousand occurrences after upsampling and selecting a minimum and maximum character -gram length of two and five, respectively (which were assigned a slot in buckets of size 1,000,000). (In fasttext, we refer to ‘word’ when it is separated by spaces. When it is a non-segmenting language, there is only one ‘word’ for the whole sentence (and we take character Ny hyperparameters rehetra dia voafaritra amin'ny FLORES-200 dev (jereo ny fizarana 5.1.2 amin'ny ref. ). n n 34 Manatsara ny LID amin'ny fanadihadiana ara-tsosialy Language identification is a challenging task in which numerous failure modes exist, often exacerbated by the gaps between the clean data on which LID models are trained and noisy data on which LID models are applied. In other words, LID models trained in a supervised manner on fluently written sentences may have difficulty identifying grammatically incorrect and incomplete strings extracted from the web. Furthermore, models can easily learn spurious correlations that are not meaningful for the task itself. Given these challenges, we collaborated closely with a team of linguists throughout different stages of LID development to identify proper focus areas, mitigate issues and explore solutions (see section 5.1.3 of ref. ). 34 Ny fitrandrahana The overall approach for bitext mining focused on starting with a massively multilingual sentence encoder teacher model and adapting it to several different low-resource student models. This approach enabled us to add low-resource languages without competing with high-resource languages for capacity. Doing so circumvents the need to retrain the entire model from scratch while maintaining compatibility with the multilingual embedding spaces for subsequent mining. Extended data Fig. summarizes the overall architecture of the teacher–student approach. The teacher, LASER2, is an improved version of the open-source LASER encoder ( ). The original training procedure was adapted to include SentencePiece tokenization (including a vocabulary of 7,000 tokens) and the upsampling of low-resource languages. 1 https://github.com/facebookresearch/LASER 36 Ny rafitra amin'ny encoder BiLSTM dimy-lay sy ny fomba fiasa max mba hahazoana fametrahana fehezan-teny dia mbola tsy miova. Ny fampiofanana dia natao tamin'ny fiteny 93 mitovy amin'ny loharanom-baovao avy amin'ny OPUS . See ref. ho an'ny antsipiriany momba ny fomba fiasan'ny laser voalohany. Ny fampiofanana ny mpianatra dia nanaraka ny fomba voalaza amin'ny antsipiriany bebe kokoa ao amin'ny ref. , summarized below: 52 36 21 students specialized in one language or several similar languages; students were randomly initialized because we wanted to handle low-resource language for which we did not have a pre-trained language model; students may have a dedicated SentencePiece vocabulary different from the teacher to better accommodate scripts and tokens in the student languages; as we used cosine distance for bitext mining (Fig. ), students learnt to minimize the cosine loss with the teacher; 1 students can have an MLM loss to leverage student language monolingual data (Fig. ). 1 Ny fampiofanana parameters Our student encoders used a 12-layer transformer with a hidden size of 1,024, four attention heads, and around 250 million parameters. All students were trained with available bitexts in their respective language, complemented by 2 million sentences of English/English and English/Spanish. The motivation behind this approach is to anchor the students to the English embedding space, increasing robustness by including English/Spanish bitexts from CCMatrix and allowing for the joint learning of new languages. This technique is particularly useful when only limited amounts of bitexts are available to train the students. Teacher–student training was performed on 16 GPUs, the ADAM optimizer, a learning rate of 0.0005 and a batch size of 10,000. We trained student encoders for 148 languages and named these models LASER3. Proxy metric for new encoders Mined bitexts were subsequently used to improve translation quality for the languages of NLLB-200. However, mining and NMT training are computationally expensive, and it is intractable to perform this evaluation systematically for many different sentence encoder variants. As an evaluation proxy, we used a mining-based multilingual similarity search error rate, referred to here as xsim. In contrast to cosine accuracy, which aligns embeddings based on the highest cosine score, xsim aligns source and target embeddings based on the highest margin score, which has been shown to be beneficial in mining . The margin-based score is defined as 53 where and are the source and target sentences, and ( ) denotes the nearest neighbours of in the other language. We set to 4. All xsim results are calculated on FLORES-200 devtest, using the ratio margin, where margin( Ny Ny / . Moreover, all scores are calculated for translations into English (that is, xxx → eng). English is encoded by the teacher, and the other language is encoded by the LASER3 student. To facilitate further research using xsim, we also provide this evaluation method as an open-source resource ( Ny x y NNk x k x k a b a b https://github.com/facebookresearch/LASER/ End-to-end encoder evaluation Once we had identified the best sentence encoder for each language using the xsim scores, we performed mining, added the mined data to the existing bitexts and trained a bilingual NMT system. Initial experiments indicated that a threshold on the margin of 1.06 seems to be the best compromise between precision and recall for most languages. For these NMT baselines, we do not apply extra filtering on the bitexts and leave this to the training procedure of our massively multilingual NMT system. We did not attempt to optimize the architecture and parameters of the bilingual NMT systems to the characteristics of each language pair but used the same architecture for all. Therefore, the reported results should not be interpreted as the best possible ones given the available resources—they are mainly provided to validate the mined bitexts. We used a 12-layer encoder and decoder and trained for 100 epochs. Moreover, we looked for the best performance on the FLORES-200 development set and report detokenized BLEU on the FLORES-200 devtest. Modelling In this section, we first describe the multilingual machine translation task setup, which includes tokenization and base model architecture. Then, we outline how we leveraged conditional computation for massively multilingual machine translation with EOM regulation and our Curriculum Learning (CL) strategy for low-resource languages. Task setup We modelled multilingual NMT as a sequence-to-sequence task, in which we conditioned on an input sequence in the source language with an encoder and generated the output sequence in the expected target language with a decoder Raha ny hevitry ny loharanom-baovao , source language s, and target language t in hand, we trained to maximize the probability of the translation in the target language Izany dia ( ∣ Ny s, t). Below, we discuss details of the (1) tokenization of the text sequences in the source and target languages; and (2) model architecture with the input and output designed specifically for multilingual machine translation. For further details on the task setup, such as the amount of training data per language pair, please refer to Supplementary Information or section 8 of ref. . 54 S ℓ ℓ T P T S ℓ ℓ F 34 Segmentation with SentencePiece Mba hanamafisana ny fametrahana lahatsoratra, dia nianatra ny modely iray SentencePiece (SPM) izahay. for all languages. We sampled a total of 100 million sentences from primary bitext data. To ensure low-resource languages are well-represented in the vocabulary, we downsampled high-resource and upsampled low-resource languages with a sampling temperature of five (ref. ). Notably, vocabulary size is an important hyperparameter in multilingual translation models involving low-resource languages , , . The vocabulary size of our trained SPM model is 256,000. Such a large vocabulary ensures adequate representation across the wide spectrum of languages we support. 55 10 56 57 58 Model architecture Ny modely fiteny maro amin'ny fiteny maro amin'ny fandikan-teny dia mifototra amin'ny rafitra transformer encoder-decoder. . The encoder transforms the source token sequence into a sequence of token embeddings. Then, the decoder attends to the encoder output and autoregressively generates the target sentence token by token. More precisely, the encoder takes the sequence of tokens = ( 1, …, ) ary ny fiteny loharanom-baovao s, and produces a sequence of embeddings = ( 1, …, ), which are then provided to the decoder with the target language t to produce the target tokens = ( 1 ary ... ) sequentially. In sum, 59 W w Ny ℓ H h hS ℓ V v vT Tsarovy fa nametrahantsika ny famaritana loharanon-tsary miaraka amin'ny fiteny loharanon-tsary, raha oharina amin'ny fiteny tanjona, toy ny nataony tamin'ny asa teo aloha. , Nanao izany izahay satria nanolo-tena ny fanatsarana ny fampisehoana zero-shot ny modely amin'ny ampahany amin'ny fiteny 200 amin'ny vidiny kely kokoa noho ny fampisehoana miaro. Empirika, dia hitantsika fa ny fampisehoana zero-shot dia mety hisy fiantraikany ratsy rehefa mampifandray ny encoder amin'ny fiteny tanjona. . 10 60 1 Fanamarinana voafaritra ho an'ny fandikan-teny milina maro fiteny A massively multilingual translation (MMT) model uses the same shared model capacity to train on several translation directions simultaneously. While doing so can lead to beneficial cross-lingual transfer between related languages, it can also add to the risk of interference between unrelated languages , Ny modely MoE dia karazana modely solosaina voafaritra. , izay mamela ny ampahany amin'ny endri-javatra modely isaky ny fidirana, raha oharina amin'ny modely matanjaka izay mamela ny endri-javatra modely rehetra isaky ny fidirana. ny modely MoE dia mamela ny fahaiza-manaon'ny fanehoan-kevitra marika raha mitazona ny fahombiazan'ny famoronana sy ny fampiofanana mitovy amin'ny FLOPs raha oharina amin'ny rafitra matanjaka fototra. 1 61 62 63 Na izany aza, rehefa mampitombo ny fahaiza-manao modely sy ny vidin'ny fanavaozana isaky ny fanavaozana, dia mitombo ny fahatsapana ny fihenan'ny fitaovana ambany na ambany, ka miteraka faharetan'ny fahombiazan'ny vokatra. , , , , , to achieve a more optimal trade-off between cross-lingual transfer and interference and improve performance for low-resource languages. 2 3 4 5 6 7 Mifanohitra amin'ireo manam-pahaizana mahery vaika Mba hanorina ny modely MoE, dia manolo-tena ny ampahatelon'ny habetsahan'ny tambajotra encoder sy decoder amin'ny habetsahan'ny MoE, tsirairay amin'ny distinct experts. We followed the Top- -Gating algorithm in ref. and dispatched each token to at most = 2 experts. For more details on the training of MoE models, see Supplementary Information . E k 4 k E Expert output masking In this proposed regularization strategy, we masked the expert output for a random fraction ( eom) of the input tokens. For input tokens with dropped expert outputs, the first and/or second expert is effectively skipped. As shown in the second panel of Extended data Fig. , we masked both experts for the first token ( 1 amin'ny mainty), dia nifidy ny tsy hamantatra na inona na inona amin'ny fivoaran'ny manam-pahaizana ho an'ny token faharoa ( 2 amin'ny mainty) ary amin'ny toe-javatra farany, ny mpahay siansa iray ihany no voasoratra ho an'ny token farany ( 3 ao amin'ny Green. p 2 x x x Curriculum learning for MMT Orthogonal to model-side regularization fomba toy ny droppout, dia nanadihady ny regularizing MMT modely amin'ny alalan'ny CL. Nolavinay ny hanomboka ny fampiofanana amin'ny resource pairs voalohany, avy eo ny fampidirana ny resource pairs ambany - matanjaka ny overfitting - amin'ny dingana ho avy. bins { 1 ary ... }. If is the total number of training updates, we introduced each bin after Ny Mifototra amin'ny fotoana sy ny fomba hanampy amin'ny dingana tsirairay amin'ny dingana isika rehefa nahita ny fiteny roa manomboka mifanaraka. for more on how the directions are partitioned. See Supplementary Information for the list of directions added at each stage. n b bn T bi T ki 64 Ny 2 Evaluations Ny fanombanana automatique Many automatic translation quality assessment metrics exist, including model-based ones such as COMET and BLEURT . Although model-based metrics have shown better correlation with human judgement in recent metrics shared tasks of the WMT , they require training and are not easily extendable to a large set of low-resource languages. In this work, we rely on BLEU (and a variant of it) and chrF++. Both measures draw on the idea that translation quality can be quantified based on how similar a machine translation output is compared with that produced by a human translator. 65 66 43 Mifototra amin'ny Blue sy Spblue Ny Blue Score dia has been the standard metric for machine translation evaluation since its inception two decades ago. It measures the overlap between machine and human translations by combining the precision of 1-grams to 4-grams with a brevity penalty. The main disadvantage of BLEU is that it is tokenization-dependent. Efforts such as sacrebleu have taken strides towards standardization, supporting the use of community-standard tokenizers under the hood. However, these tokenizers do not extend to many languages. Reference manolotra spBLEU, metric BLEU mifototra amin'ny modely Standardized SentencePiece (SPM) izay ahitana fiteny 101, navoaka miaraka amin'ny FLORES-101. Ao amin'ity asa ity, dia manome SPM-200 miaraka amin'ny FLORES-200 mba ahafahana mamantatra spBLEU. (Ny fanadihadiana dia mampiseho fa misy fahasamihafana kely eo amin'ny SPM-200 avy amin'ny FLORES-200 sy SPM-100 avy amin'ny FLORES-101 rehefa mamantatra amin'ny fiteny FLORES-101. Ny tombony lehibe amin'ny SPM-200 dia ny ahitana fiteny 200. ). 44 67 41 34 chrF++ Ny valin'ny chrF + dia mandresy ny fetran'ny BLEU, izay mitaky fa ny andininy dia azo ampiharina amin'ny teny token. Na izany aza, ny fiteny sasany, toy ny Shinoa na Thai, dia tsy mampiasa efitrano ho an'ny teny samihafa, ary ny fitaovana fametrahana teny dia mety tsy ho azo avy hatrany. Misy ihany koa ny ahiahy momba ny fiteny matanjaka amin'ny BLEU izay tsy manome karama ho an'ny endrika morphological. chrF++ mandresy ireo fahalalahana ireo amin'ny alalan'ny fametrahana ny fifanarahana amin'ny tahirin-kevitra Ny gram -score ( manodidina ny 1 ka hatramin'ny 6) ary mifanaraka amin'ny teny unigrams sy bi-grams. Ao amin'ity asa ity, dia nanara-maso ny fampiasana chrF ++ amin'ny fampiasana ny fametrahana avy sacrebleu. Na izany aza, rehefa mampitaha amin'ny asa hafa nosoratana, dia nampiasa BLEU sy spBLEU raha ilaina. 38 n F n Ny fomba fanombanana ny olombelona When building machine translation systems for thousands of different language pairs, a core question is which pairs reach certain levels of quality. Therefore, we needed meaningful scores that are comparable across language pairs. XSTS evaluation protocol We adapted the recently proposed XSTS methodology . In short, XSTS is a human evaluation protocol focusing on meaning preservation above fluency. See details on this protocol in Supplementary Information Ho an'ny fiteny madinika, ny fandikan-teny dia matetika amin'ny kalitaon'ny ratsy kokoa, ka noho izany dia mifantoka bebe kokoa amin'ny fandikan-teny azo ampiasaina (izany hoe mamonjy ny dikany) isika, na dia tsy mandrakariva aza. with a 5-point scale (the original direct assessment uses a 100-point scale), it is found that XSTS yields higher inter-annotator agreement Ny XSTS dia manara-maso ny fehezan-teny tsirairay sy ny fandikan-teny amin'ny solosaina amin'ny sehatra dimy ambin'ny folo, izay 1 no ambany indrindra ary 5 no avo indrindra. 48 F 68 47 Calibration set To enable meaningful scores comparable across language pairs, we asked each evaluator to provide assessments using the XSTS scale on precisely the same set of sentence pairs. This aims to identify annotators who have a systematic tendency to be more harsh or generous in their scoring and correct for this effect. The calibration set consists of the machine translation output paired with the reference translation only in English. Based on how evaluators used the XSTS scale on this calibration set, we adjusted their raw scores on the actual evaluation task to ensure consistency across evaluators. Although this monolingual calibration task does not precisely mimic the bilingual XSTS task, it is a reasonable first approximation and has been shown to increase the correlation between human and automatic metrics primarily by reducing one source of ‘noise’ in the human evaluations—the lack of score calibration between annotators. Obtaining aggregated human quality metrics from multiple studies To obtain an aggregate human quality metric for each language direction in an evaluation study, we take the majority XSTS score (that is, mean–median score) for each sentence and average these majority scores over all evaluated sentences. In a given study, the aggregate human evaluation score for any translation direction s → Ny t l l Aiza s and t denote the source language and the target language, respectively; denotes the XSTS score of the th evaluator who evaluates sentences in a given translation direction s → t ho an'ny lohahevitra loharanom-baovao and a target sentence ; denotes the total number of evaluators who evaluate the (source, translation) sentence pair ( , ) for translation direction Ny t; dia ny vondrona (source, translation) fehezan-dalàna mifanaraka amin'ny fandikan-teny Ny t. l l i l l S T S T l l l l Every evaluator in a given study dia nangataka ihany koa ny hanome valiny ho an'ny ampahany na ny ampahany amin'ny rafitra kalibration. , denotes the ny fehezan-teny loharanom-baovao ao amin'ny kalibration napetraka ho an'ny fanadihadiana; Ny , denotes the translated sentence corresponding to , ; and is the number of sentence pairs in the calibration set for an evaluation study. s Ny SS k k s Ts k Ss k For each language direction evaluated in a study, we obtained the majority score on the calibration set as follows: izay mampiseho ny valin'ny XSTS nomena ny th evalator, ho an'ny fitenenana ny fiteny s → T, ao amin'ny fikarohana , for a given source sentence and a translated sentence , in the calibration set of the study. i l l s S T Mba hahazoana ny valin'ny XSTS nomerika amin'ny sehatry ny fiteny, dia nanadihady fomba fisainana maromaro samihafa izahay. Ny fomba fisainana izay nanadihady dia tsy nahitana fahasamihafana goavana amin'ny fifandraisana amin'ny valin'ny automation, ary ny fomba fisainana rehetra nanadihady dia nanome fifandraisana tsara kokoa noho ny valin'ny XSTS tsy nomerika. . 34 Ny famantarana ny fahasalamana dia nanampy amin'ny fiteny 200 Mba ahafahana mamantatra ny zava-mahadomelina amin'ny ankapobeny, dia nampiasa detector mifototra amin'ny lisitry ny teny izahay. Ao amin'ity fizarana ity dia manome antsipirihany bebe kokoa momba ny famaritana ny zava-mahadomelina ary mamaritra ny detector (ETOX) sy ny lisitry ny teny mifandraika. Toxic content Noho ny natiora ara-tsosialy momba ny toxicity, ny famaritana ny fiteny mampidi-doza dia mety ho samihafa. Nampiditra zavatra izay matetika antsoina hoe fiteny mahantra na mahantra. (Antenaina fa ny fiteny mahantra na mahantra dia tsy voatery ho mahantra foana. Ohatra, ny fiteny mahantra sasany dia mety hoheverina ho mahantra, fa tsy voatery ho mahantra). Ankoatra izany, nanampy ireo zavatra mifandray amin'ny fampisehoana votoaty ara-nofo na hetsika ara-nofo, ny feon'ny fankahalàna ampiasaina matetika ary ny feon'ny fankahalàna. Nampiditra ihany koa ny zavatra, mahantra na tsy, mifandray amin'ny faritra vatana izay matetika mif The ETOX detector Nanomboka tamin'ny fanapahan-kevitra fa ny rafitra fandikan-teny amin'ny milina amin'ny tanjona ankapobeny dia tokony haharitra amin'ny votoatin'ny loharanom-baovao sy tsy hanampy ireo singa voajanahary amin'ny dingana fandikan-teny. Fantatsika ny singa voajanahary toy ny token-teny na fehezan-teny fohy hita ao amin'ny lisitra. Ny ETOX dia mampiasa fepetra roa manaraka: ny isan'ny lohahevitra voajanahary ary ny zava-mahadomelina mifanaraka na tsy mifanaraka. Ny lohahevitra voajanahary dia heverina ho hita raha misy ao amin'ny loharanom-baovao sy ny votoatin'ny fandikan-teny (izany hoe tsy misy zava-mahadomelina voajanah Toxicity 200 lisitra Lists are based on professional translations from English, which were then heuristically adapted by linguists to better serve the target language. As toxicity is culturally sensitive, attempting to find equivalents in a largely multilingual setting constitutes a challenge when starting from one source language. To address this issue, translators were allowed to forgo translating some of the source items and add more culturally relevant items. Tamin'ny famoahana voalohany amin'ny lisitry ny Toxicity-200, ny habetsaky ny lohahevitra ao amin'ny lisitry ny famantarana ny heloka bevava dia 271, raha oharina amin'ny isan'ny lisitry ny lisitry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry ny tokotry dia 143. Data availability All data generated and described in the Article and its Supplementary Information are available at GitHub ( ) as follows. The FLORES-200 dataset contains human-translated evaluation data in 204 languages. The NLLB-Seed database contains human-translation seed training data in 39 languages (Supplementary Information ). The NLLB-MD database contains human-translated seed data in different domains in six languages to assess generalization (Supplementary Information Ny angon-drakitra Toxicity-200 dia ahitana lisitry teny mba hahafantarana ny zava-mahadomelina amin'ny fiteny 200. Ny angon-drakitra bittex dia ahitana angon-drakitra an-tserasera ho an'ny paritry ny fiteny 148 izay mifantoka amin'ny teny Anglisy sy 1465 tsy mifantoka amin'ny fiteny Anglisy. Ny angon-drakitra azo ampiasaina amin'ny fampiofanana ny modely NLLB miaraka amin'ny fanehoan-kevitra amin'ny famoahana ny angon-drakitra dia voasoratra ao amin'ny Tabilao fanampiny . https://github.com/facebookresearch/fairseq/tree/nllb 69 I J 2 Fidirana amin'ny code To make our work available to the community, we provide the following models and supporting code as resources freely available for non-commercial use, available at GitHub ( ) Toy izao manaraka izao. Ny modely fandikan-teny dia ahitana fiteny 200; ny modely NLLB dia tonga amin'ny habeny maro (54.5B MoE, 3.3B sy 1.3B Dense, ary 1.3B sy 600M distilled). Ny modely famantarana fiteny dia ahitana fiteny mihoatra ny 200. LASER3 dia ahitana fehezan-dalàna encoders ho an'ny famantarana bitext mifanaraka amin'ny fiteny 148. Stopes dia ahitana library data-mining izay azo ampiasaina amin'ny fanodinana sy ny fanadiovana angona monolingual, manaraka ny famoronana bitext mifanaraka. Scripts mba hamerina ny fampiofanana angon-drakitra sy ny fampiofanana sy ny famoronana scripts mba hamerina ny modely https://github.com/facebookresearch/fairseq/tree/nllb 69 References Fan, A. et al. Beyond English-centric multilingual machine translation. J. Mach. Learn. Res 22, 1-48 (2021). MathSciNet Google Scholar Du, N. et al. GlaM: efficient scaling of language models with mixture-of-experts. In Vol. 162, 5547–5569 (PMLR, 2022). Proceedings of the 39th International Conference on Machine Learning Hwang, C. et al. Tutel: adaptive mixture-of-experts amin'ny ankapobeny. ao amin'ny 6th Conference on Machine Learning and Systems (MLSys, 2023). Lepikhin, D. et al. GShard: fanamafisana modely goavana amin'ny solosaina voafetra sy ny fanamafisana automatique. ao amin'ny Fivoriambe iraisam-pirenena momba ny fampianarana (ICLR, 2021). Lewis, M., Bhosale, S., Dettmers, T., Goyal, N. & Zettlemoyer, L. BASE layers: manatsara ny fampiofanana ny modely lehibe sy kely. In Proc. 38th International Conference on Machine Learning Vol. 139, 6265-6274 (PMLR, 2021). Shazeer, N. et al. Ny tambajotran'ny neurons be loatra: ny habetsahan'ny matanjaka amin'ny matanjaka. In Proc. 2017 International Conference on Learning Representations (ICLR) 1-19 (ICLR, 2017). Zoph, B. et al. ST-MoE: famolavolana modely matanjaka matanjaka sy azo alefa. Preprint amin'ny https://arxiv.org/abs/2202.08906 (2022). Zoph, B., Yuret, D., May, J. & Knight, K. Transfer learning for low-resource neural machine translation. In (eds Su, J. et al.) 1568–1575 (Association for Computational Linguistics, 2016). Proc. 2016 Conference on Empirical Methods in Natural Language Processing Nguyen, T. Q. & Chiang, D. Transfer learning across low-resource, related languages for neural machine translation. In Proc. 8th International Joint Conference on Natural Language Processing Vol. 2 (eds Kondrak, G. & Watanabe, T.) 296–301 (Asian Federation of Natural Language Processing, 2017). Arivazhagan, N. et al. Ny fandikan-teny mahery vaika amin'ny milina an-tserasera amin'ny ankapobeny ao amin'ny toetr'andro: fikarohana sy fanamby. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies Vol. 1, 3874–3884 (Association for Computational Linguistics, 2019). Zhang, B., Williams, P., Titov, I. & Sennrich, R. Ny fanatsarana be dia be ny fiteny maro amin'ny fiteny maro amin'ny fiteny maro sy ny fiteny tsy misy fiteny. In Proc. 58th Annual Meeting of the Association for Computational Linguistics (eds Jurafsky, D. et al.) 1628–1639 (ACL, 2020). Tran, C. et al. Facebook AI’s WMT21 news translation task submission. In (eds Barrault, L.) 205–215 (ACL, 2021); . Proc. Sixth Conference on Machine Translation https://aclanthology.org/2021.wmt-1.19 Orife, I. et al. Masakhane – machine translation for Africa. Preprint at (2020). https://arxiv.org/abs/2003.11529 Kuwanto, G. et al. Low-resource machine translation training curriculum fit for low-resource languages. Preprint at (2021). https://arxiv.org/abs/2103.13272 Nekoto, W. et al. fikarohana mandray anjara amin'ny fandikan-teny amin'ny fitaovana madinika: fianarana tranga amin'ny fiteny afrikana. In Foundings of the Association for Computational Linguistics: EMNLP 2020 (eds Cohn, T. et al.) 2144–2160 (ACL, 2020). Karakanta, A., Dehdari, J. & van Genabith, J. Neural machine translation for low-resource languages without parallel corpora. , 167–189 (2018). Mach. Transl. 32 Article Google Scholar Bañón, M. et al. ParaCrawl: Web-scale fividianana parallel corpora. In Proc. 58th Annual Meeting of the Association for Computational Linguistics (eds Jurafsky, D. et al.) 4555–4567 (ACL, 2020). Schwenk, H. et al. CCMatrix: mining billions of high-quality parallel sentences on the web. In Vol. 1 (eds Zong, C. et al.) 6490–6500 (ACL, 2021). Proc. 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing Ramesh, G. et al. : the largest publicly available parallel corpora collection for 11 Indic languages. , 145–162 (2022). Samanantar Trans. Assoc. Comput. Linguist. 10 Article Google Scholar Kreutzer, J. et al. Quality at a glance: an audit of web-crawled multilingual datasets. Trans. Assoc. Comput. Linguist. 10, 50–72 (2022). Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. Preprint at (2022). https://arxiv.org/abs/2205.12654 Gowda, T., Zhang, Z., Mattmann, C. & May, J. Ny fitaovana, ny angon-drakitra sy ny modely efa voaomana maro amin'ny teny Anglisy. In Proc. 59th Annual Meeting of the Association for Computational Linguistics sy ny 11th International Joint Conference on Natural Language Processing: System Demonstrations (eds Ji, H. et al.) 306-316 (ACL, 2021). McCarthy, A. D. et al. The Johns Hopkins University Bible corpus: 1600+ fiteny ho an'ny fanadihadiana typological. In Proc. 12th Language Resources and Evaluation Conference (eds Calzolari, N. et al.) 2884–2892 (European Language Resources Association, 2020); https://aclanthology.org/2020.lrec-1.352. McNamee, P. Language identification: a solved problem suitable for undergraduate instruction. , 94–101 (2005). J. Comput. Sci. Coll. 20 Google Scholar Abadji, J., Suárez, P. J. O., Romary, L. & Sagot, B. Mankany amin'ny taratasy maivana kokoa momba ny antontan-taratasy ankapobeny crawled corpus. Preprint amin'ny https://arxiv.org/abs/2201.06642 (2022). Widdows, D. & Brew, C. Ny fitenenana amin'ny fiteny miaraka amin'ny famaritana isan-karazany. Preprint at https://arxiv.org/abs/2109.09862 (2021). Goutte, C., Léger, S., Malmasi, S. & Zampieri, M. Ny fanitsakitsahana ny fiteny mitovy amin'izany: fanombanana sy fanadihadiana. Preprint at http://arxiv.org/abs/1610.00031 (2016). Jauhiainen, T., Lindén, K. & Jauhiainen, H. Fanombanana ny fomba famantarana ny fiteny amin'ny fampiasana fiteny 285. In Proc. 21st Nordic Conference on Computational Linguistics (eds. Tiedemann, J. & Tahmasebi, N.) 183–191 (2017). Grave, É., Bojanowski, P., Gupta, P., Joulin, A. & Mikolov, T. Learning word vectors for 157 languages. In (eds Calzolari, N. et al.) (ELRA, 2018). Proc. 11th International Conference on Language Resources and Evaluation (LREC 2018) Dunn, J. Mapping ny fiteny: ny korpus amin'ny fampiasana ny fiteny maneran-tany. Lang. Resour. Eval. 54, 999-1018 (2020). Brown, R. D. Non-linear mapping for improved identification of 1300+ languages. In (eds Moschitti, A. et al.) 627–632 (ACL, 2014). Proc. 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) Caswell, I., Breiner, T., van Esch, D. & Bapna, A. Language ID in the wild: unexpected challenges on the path to a thousand-language web text corpus. In Proc. 28th International Conference on Computational Linguistics (eds Scott, D. et al.) 6588-6608 (International Committee on Computational Linguistics, 2020); https://aclanthology.org/2020.coling-main.579. Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. Bag of tricks for efficient text classification. In Vol. 2 (eds Lapata, M. et al.) 427–431 (ACL, 2017). Proc. 15th Conference of the European Chapter of the Association for Computational Linguistics NLLB Team et al. No language left behind: scaling human-centered machine translation. Preprint at (2022). https://arxiv.org/abs/2207.04672 Koehn, P. & Knowles, R. Fanamby enim-bolana ho an'ny fandikan-teny amin'ny solosaina. In Proc. First Workshop on Neural Machine Translation (eds Luong, T. et al.) 28-39 (ACL, 2017). Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Sennrich, R., Haddow, B. & Birch, A. Ny fanatsarana ny modely ny neural machine translation amin'ny angon-drakitra monolingual. In Proc. 54th Annual Meeting of the Association for Computational Linguistics (ACL) Vol. 1 (eds Erk, K. & Smith, N. A.) 86–96 (ACL, 2016). Popović, M. chrf++: teny manampy ny soratra n-grams. In Proc. Second Conference on Machine Translation Vol. 2 (eds Bojar, O. et al.) 612-618 (ACL, 2017). Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J. & Wojna, Z. Misafidy indray ny fanorenana voalohany ho an'ny fahitana solosaina. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2818–2826 (IEEE, 2016). Liu, R., Kim, Y. J., Muzio, A., Mozafari, B. & Awadalla, H. H. Gating drop-out: fifandraisana mahomby normalization ho an'ny kely-mampiasa transformers. In Proceedings of the 39th International Conference on Machine Learning (PMLR, 2022). Goyal, N. et al. The Flores-101 evaluation benchmark for low-resource and multilingual machine translation. , 522–538 (2022). Trans. Assoc. Comput. Linguist. 10 Article Google Scholar Wang, H. et al. DeepNet: fanapahan-kevitry ny transformers amin'ny habetsaky ny 1000. In IEEE Transactions on Pattern Analysis and Machine Intelligence https://doi.org/10.1109/TPAMI.2024.3386927 (IEEE, 2024) Freitag, M. et al. Results of the WMT21 metrics shared task: evaluating metrics with expert-based human evaluations on TED and news domain. In (eds Barrault, L. et al.) 733–774 (ACL, 2021); . Proc. Sixth Conference on Machine Translation https://aclanthology.org/2021.wmt-1.73 Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (ACL, 2002). Proc. 40th annual meeting of the Association for Computational Linguistics Akhbardeh, F. et al. Fitsarana avy amin'ny fihaonambe 2021 momba ny fandikan-teny milina (WMT21). In Proc. Fihaonambe faha-6 momba ny fandikan-teny milina (eds Barrault, L. et al.) 1–88 (ACL, 2021); https://aclanthology.org/2021.wmt-1.1. Kocmi, T. et al. Ny fandefasana na tsy fandefasana: fanombanana goavana momba ny metrika automatique ho an'ny fandikan-teny milina. In Proc. Fihaonambe faha-6 momba ny fandikan-teny milina (eds Barrault, L. et al.) 478-494 (ACL, 2021). Licht, D. et al. Mifanaraka amin'ny fanombanana amin'ny olona ny fandikan-teny amin'ny milina amin'ny fiteny samihafa. In Proceedings of the 15th Biennial Conference of the Association for Machine Translation in the Americas Vol. 1, 309-321 (Association for Machine Translation in the Americas, 2022). Agirre, E. et al. SemEval-2012 task 6: a pilot on semantic textual similarity. In Vols 1–2 (eds Aggire, E. et al.) 385–393 (ACL, 2012). Proc. *SEM 2012: The First Joint Conference on Lexical and Computational Semantics Kusters, R. et al. Interdisciplinary research in artificial intelligence: Challenges and opportunities. , 577974 (2020). Front. Big Data 3 Article PubMed PubMed Central Google Scholar Wang, S., Cooper, N., Eby, M. & Jo, E. S. Amin'ny alalan'ny fikarohana ny fiantraikany amin'ny ChatGPT amin'ny alalan'ny hetsika mampihorohoro, avy amin'ny fikarohana ara-tsaina momba ny olombelona mankany amin'ny fiaraha-monina. Preprint at https://arxiv.org/abs/2306.00227 (2023). Bojanowski, P., Grave, E., Joulin, A. & Mikolov, T. Enriching word vectors with subword onformation. , 135–146 (2017). Trans. Assoc. Comput. Linguist. 5 Article Google Scholar Tiedemann, J. Parallel data, tools and interfaces in OPUS. In Proc. 8th International Conference on Language Resources and Evaluation (eds Calzolari, N. et al.) 2214–2218 (ACL, 2012). Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In Proc. 57th Annual Meeting of the Association for Computational Linguistics (eds Korhonen, A.) 3197–3203 (ACL, 2019). Bahdanau, D., Cho, K. H. & Bengio, Y. Neural machine translation by joint learning to align and translate. In Proc. of the 3rd International Conference on Learning Representations (ICLR, 2015). Kudo, T. & Richardson, J. SentencePiece: Ny tokenizer sy ny detokenizer tsotra sy tsy miankina amin'ny fiteny ho an'ny fanodinana lahatsoratra neuronal. In Proc. 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018 (eds Blanco, E. & Lu, W.) 66–71 (ACL, 2018); https://doi.org/10.18653/v1/d18-2012. Gu, J., Hassan, H., Devlin, J. & Li, V. O. Universal Neural Machine Translation for Extremely Low Resource Languages. In Proc. 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies Vol. 1 (eds Walker, M. et al.) 344–354 (ACL, 2018); https://aclanthology.org/N18-1032. Wang, X., Pham, H., Arthur, P. & Neubig, G. Multilingual neural machine translation with soft decoupled encoding. Preprint at (2019). https://arxiv.org/abs/1902.03499 Rajab, J. Ny fiantraikany amin'ny sehatra tokenization ho an'ny fiteny Afrikana Atsimo tsy ampy loharanom-pahasalamana. ao amin'ny Workshop 3rd on African Natural Language Processing (ICLR, 2022). Vaswani, A. et al. Attention is all you need. In Proc. 31st Conference on Neural Information Processing Systems 5998–6008 (NIPS, 2017). Johnson, M. et al. Ny rafitra fandikan-teny an-tserasera an-tserasera amin'ny Google: manome fahafahana ny fandikan-teny amin'ny zero-shot. Trans. Assoc. Comput. Linguist. 5, 339–351 (2017). Conneau, A. et al. Unsupervised cross-lingual representation learning at scale. In (eds Jurafsky, D. et al.) 8440–8451 (ACL, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Bengio, Y., Léonard, N. & Courville, A. C. Estimating or propagating gradients through stochastic neurons for conditional computation. Preprint at (2013). http://arxiv.org/abs/1308.3432 Almahairi, A. et al. Dynamic capacity networks. In Vol. 48, 2091–2100 (PMLR, 2016). Proc. 33rd International Conference on International Conference on Machine Learning Elbayad, M., Sun, A. & Bhosale, S. Fixing MoE over-fitting on low-resource languages in multilingual machine translation. In (eds Rogers, A. et al.) 14237–14253 (ACL, 2023); . Findings of the Association for Computational Linguistics: ACL 2023 https://aclanthology.org/2023.findings-acl.897 Rei, R., Stewart, C., Farinha, A. C. & Lavie, A. COMET: rafitra neuronal ho an'ny MT fanombanana. In Proc. 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) (eds Webber, B. et al.) 2685-2702 (ACL, 2020). Sellam, T., Das, D. & Parikh, A. BLEURT: fianarana matanjaka ho an'ny famoronana lahatsoratra. In Proc. 58th Annual Meeting of the Association for Computational Linguistics (eds Jurafsky, D. et al.) 7881–7892 (ACL, 2020). Post, M. A Call for Clarity in Reporting BLEU Scores. In Proc. Fihaonambe fahatelo momba ny fandikan-teny amin'ny milina: Papers Research (eds Bojar, O. et al.) 186–191 (ACL, 2018); https://aclanthology.org/W18-6319. Graham, Y., Baldwin, T., Moffat, A. & Zobel, J. Continuous measurement scales in human evaluation of machine translation. In 33–41 (eds Graham, Y. et al.) (ACL, 2013). Proc. 7th Linguistic Annotation Workshop and Interoperability with Discourse NLLB Team et al. No Language Left Behind: scaling human-centered machine translation. (2022). GitHub https://github.com/facebookresearch/fairseq/tree/nllb Ny fankatoavana Misaotra an'i C. Baziotis, D. Dua, A. Guo, O. Ignat, A. Kamran, T. Mohiuddin, A. N. Rubungo, S. Sun, S. Tan, H. Xu, S. Wu ary Y. Zhang ny mpiara-miasa amin'ny tetikasa ireo mpiara-miasa ao amin'ny FLLL: Misaotra an'i C. Baziotis, D. Dua, O. Ignat, A. Kamran, A. Mohiuddin, A. N. Rubungo, S. Sun, S. Tan, H. Xu, S. Wu ary Y. Zhang. Misaotra an'i L. Specia ny mpiara-miasa amin'ny Wikimedia Foundation rehetra sy ny mpiara-miasa aminay sy ny mpiara-miasa amin'ny XSTS; Misaotra an'i Ity lahatsoratra ity dia azo jerena amin'ny ankapobeny amin'ny lisansa CC by 4.0 Deed (Attribution 4.0 International). Ity lahatsoratra ity dia azo jerena amin'ny ankapobeny amin'ny lisansa CC by 4.0 Deed (Attribution 4.0 International).