Iekšpusē AI, kas tulko 200 valodas, pat tās, kurās gandrīz nav datu

Autori : NLLB komanda Marta R. Costa-jussà James Cross Onur Çelebi Maha Elbayad Kenneth Heafield Kevin Heffernan Elahe Kalbassi Janice Lam Daniel Licht Jean Maillard Anna Saule Skyler Wang Guillaume Wenzek Al Youngblood Bapi Akula Loic Barrault Gabriel Mejia Gonzalez Prangthip Hansanti John Hoffman Semarley Jarrett Kaushik Ram Sadagopan Dirk Rowe Shannon Spruit Chau Tran Pierre Andrews Necip Fazil Ayan Shruti Bhosale Sergey Edunov Angela Fan Cynthia Gao Vedanuj Goswami Francisco Guzmán Philipp Koehn Alexandre Mourachko Christophe Ropers Saeimā Saeimā Holger Schwenk Jeff Wang Autori : NLLB Team Marta R. Kostarika Džeimss Kross Godātais Čelaviņš Māsa Elba Kenets Heafilds Kevin Heffernan Kalvītis Kalvītis Janīne Lam Daniels Gaismas Žans Maillards Anna Saule Lāčplēsis Wang Dāvids Wenzels Al Youngblood Akupunktūra Akupunktūra Loic Barrault izstāde Gabriēls Mejja Gonzalezs Prangthip Hansanti Džons Hoffmans Semarlijs Džarets Kašiks Ram Sadagopans Dirks Rožkalns Šanons Sprūds Kārlis Tran Pīters Andrews Nečips Fazils Ajans Šrūti Bhosale Sergejs Edunovs Angela Fan Cynthia Gao izstāde Apsveicam ar godu Francisks Guzmanis Filips Koens Aleksandrs Mourachko Kristofs Ropers Saeimā Saeimā Holers Švenks Džefs Vans Abstraktā Šodien neiroloģiskās mašīntulkošanas (NMT) sistēmas var izmantot augstas daudzvalodu spējas un pat veikt nulles šāviena tulkošanu, sniedzot daudzsološus rezultātus valodu pārklājuma un kvalitātes ziņā. Koncentrējoties uz salīdzinoši nelielas augstas resursu valodu grupas tulkošanas īpašību uzlabošanu, tiek pievērsta uzmanība zemu resursu valodām, kas ilgtermiņā saasina digitālās nevienlīdzības problēmas. , , , , , , kuru mēs apmācījāmies, izmantojot datus, kas iegūti, izmantojot jaunās ieguves metodes, kas pielāgotas zemu resursu valodām. Turklāt mēs izstrādājām vairākus arhitektūras un apmācības uzlabojumus, lai apkarotu pārmērīgu aprīkojumu, apmācot tūkstošiem uzdevumu. Mēs novērtējām mūsu modeļa veiktspēju vairāk nekā 40 000 tulkošanas virzienos, izmantojot īpaši šim nolūkam izstrādātus rīkus – automātisku atsauces punktu (FLORES-200), cilvēka novērtējuma rādītāju (XSTS) un toksicitātes detektoru, kas aptver katru mūsu modeļa valodu. Salīdzinot ar iepriekšējiem modernajiem modeļiem, mūsu modelis sasniedz vidēji 44% uzlabojumu tulkošanas kvalitātē, kā to mēra BLEU. 1 2 3 4 5 6 7 Galvenais Nesenā neiroloģiskās mašīntulkošanas (NMT) parādīšanās ir virzījusi tulkošanas tehnoloģijas uz jaunām robežām, bet tās ieguvumi ir nevienmērīgi sadalīti. Lielākā daļa veikto uzlabojumu galvenokārt ir guvuši labumu no augstas resursu valodas, atstājot aiz sevis daudzas zemas resursu valodas. (Mūsu pētījuma nolūkos mēs definējam augstas resursu valodu kā valodu, kurai mums ir vismaz 1 miljons teikumu sakārtoti teksta dati (vai biteksti) ar citu valodu). Šī atšķirība lielā mērā varētu būt saistīta ar datu nepilnībām: NMT modeļiem parasti ir nepieciešami lieli datu apjomi, lai ražotu kvalitatīvus tulkojumus, un pēc definīcijas šie apjomi nav pieejami zemas resursu valodām. , , tādējādi ļaujot saistītajām valodām mācīties viens no otra , , . 1 8 9 1 10 11 Tagad ir plaši atzīts, ka daudzvalodu modeļi ir parādījuši daudzsološu snieguma uzlabošanos salīdzinājumā ar divvalodu modeļiem. Tomēr joprojām rodas jautājums, vai masveida daudzvalodu modeļi var nodrošināt simtiem valodu pārstāvību, neapdraudot kvalitāti.Mūsu rezultāti liecina, ka automātiskās tulkošanas atbalstīto valodu skaita dubultā palielināšana un izejas kvalitātes saglabāšana nav savstarpēji izslēgti centieni.Mūsu galīgais modelis, kas ietver 200 valodas un trīs reizes vairāk zemu resursu valodu nekā augstas resursu valodas, vidēji darbojas par 44% labāk nekā iepriekšējās modernās sistēmas.Šis dokuments iepazīstina ar svarīgākajām datu vākšanas, modelēšanas un novērtēšanas metodēm, ko izmanto, lai sasniegtu šo mērķi. 12 Pirmkārt, salīdzinot ar to augstu resursu kolēģiem, apmācības dati par zemu resursu valodām ir dārgi un loģistikas ziņā izaicinoši iegādāties , , Sabiedrībā pieejamie digitālie resursi ir vai nu ierobežoti apjomā, vai arī automātiskām sistēmām ir grūti to atklāt (īpaši lielos publiskos tīmekļa datu kopumos, piemēram, CommonCrawl).Neatkarīgi no tā, vai ir nepieciešams vākt cilvēka tulkotus sēklu datus, pietiekama datu iegūšana ir atkarīga no liela mēroga datu ieguves un vienvalodu datu cauruļvadiem. , , , Pēdējās metodes bieži ietekmē troksnis un aizspriedumi, tādējādi padarot datu kopu kvalitātes validēšanu garlaicīgu. NLLB-200, mēs parādām, ka destilācijas balstīta teikumu kodēšanas tehnika, LASER3 (ref. ), atvieglo efektīvu paralēlo datu iegūšanu zemas resursu valodām. 13 14 15 16 17 18 19 20 21 Otrkārt, no modelēšanas puses mēs izmantojam sēklu, iegūto, atvērtā koda un atpakaļ tulkoto datu kopu montāžu, lai apmācītu daudzvalodu nosacītu skaitļošanas modeļus (konkrētāk, Sparsely Gated Mixtures-of-Experts modeļus). , , , , , Mēs parādām, kā mēs varam sasniegt mūsdienīgu veiktspēju ar optimālāku kompromisu starp starpvalodu pārsūtīšanu un traucējumiem, un uzlabot veiktspēju zemas resursu valodām. 2 3 4 5 6 7 Visbeidzot, kvalitātes novērtēšanas nolūkā mēs izveidojām FLORES-200 – milzīgu daudzvalodu kritēriju, kas ļauj izmērīt tulkošanas kvalitāti jebkurā no aptuveni 40 000 tulkošanas virzieniem, uz kuriem attiecas NLLB-200 modeļi. Lai palielinātu mūsu darba praktisko piemērojamību zema resursu runājošo kopienu labā, mēs nodrošinām visus šajā centienā aprakstītos kritērijus, datus, kodu un modeļus kā resursus, kas ir brīvi pieejami nekomerciālai lietošanai ( ) (sīkāku informāciju skatiet datu un koda pieejamības paziņojumos). https://github.com/facebookresearch/fairseq/tree/nllb Automātiski izveido tulkošanas apmācības datus Pašreizējās metodes, ko izmanto tulkošanas modeļu apmācībai, ir grūti paplašināt līdz zemu resursu iestatījumiem, kuros sakārtoti divvalodu teksta dati (vai bitteksta dati) ir salīdzinoši reti. Daudzas zemas resursu valodas tiek atbalstītas tikai ar maziem mērķtiecīgiem bittekstu datiem, kas galvenokārt sastāv no kristīgās Bībeles tulkojumiem. , which provide limited domain diversity. 22 23 Lai izveidotu liela mēroga paralēlās apmācības datu kopu, kas aptver simtiem valodu, mūsu pieeja ir vērsta uz esošo datu kopu paplašināšanu, vispirms vācot nesaskaņotus vienvalodu datus. . 18 Valodu identifikācija monolingvāla datu vākšanai Monolinguālo datu vākšanai mērogā nepieciešama valodas identifikācijas (LID) sistēma, kas precīzi klasificē teksta resursus visām NLLB-200 valodām. , tas joprojām ir atvērts izaicinājums Web datiem , Konkrēti, problēmas apvienojas ap domēna neatbilstību Līdzīga valodas neskaidrība and successful massively multilingual scaling . 24 25 26 26 27 28 Saskaņā ar likuma “Par valsts un pašvaldību institūcijām” 3.panta trešo daļu, par valsts un pašvaldību institūcijām, kas ir atbildīgas par valsts un pašvaldību institūcijām, par valsts un pašvaldību institūcijām, kas ir atbildīgas par valsts un pašvaldību institūcijām, par valsts un pašvaldību institūcijām, kas ir atbildīgas par valsts un pašvaldību institūcijām, par valsts un pašvaldību institūcijām, kas ir atbildīgas par valsts un pašvaldību institūcijām. Ātrs teksts ir divi viegli pieejami modeļi, kas piedāvā augstu atklāšanas veiktspēju attiecīgi 107 un 187 valodās. , Ziņojums par vēl lielāku pārklājumu — attiecīgi 464 un 1 366 valodās. skales LID veiktspēju līdz 1,629 valodām, izmantojot vārdu sarakstus un pašpārraudzību, lai bootstrap apmācības datus, kas atrodami tīmeklī. Tomēr šīs pieejas, izmantojot atrastos datus cieš no domēna nelīdzsvarotības. tas ir, jo pieejamie teksta domēni atšķiras pēc valodas, klasifikatori sajauc dažādas domēnas ar dažādām valodām. https://github.com/google/cld3 29 30 31 32 Mūsu darbā mēs esam kurējuši FLORES-200 kā attīstības komplektu, lai mūsu LID sistēmas veiktspēja Mūsu pieeja apvieno datu vadītu ātro teksta modeli, kas apmācīts FLORES-200, ar nelielu roku rakstītu noteikumu kopumu, lai risinātu cilvēka atgriezenisko saiti par klasifikācijas kļūdām. un ietver valodas filtrus, lai mazinātu mācīšanos viltus korelācijas sakarā ar trokšņu apmācības paraugus, modelējot simtiem valodu. 33 34 Mēs salīdzinām mūsu LID modeli ar trim publiski pieejamiem modeļiem: CLD3, LangId ( Ilgtermiņa pārbaude ( • galds ziņo par veiktspēju trīs kaskādes valodu kopās, kas saskaras ar NLLB-200: (1) 51 valoda, ko atbalsta arī LangId, LangDetect un CLD3; (2) 78 valodas, ko atbalsta arī LangId un CLD3; (3) 95 valodas, ko atbalsta arī CLD3. Mēs arī ziņojam par nepatiesu pozitīvu rādītājiem (FPR), lai atspoguļotu nepatiesu pozitīvu ietekmi uz neredzamām valodām. . https://github.com/saffsd/langid.py https://pypi.org/project/langdetect/ 1 32 Kalnrūpniecība Bitext Iepriekšējais darbs atzīmē, ka tulkošanas kvalitāte parasti palielinās ar augstas kvalitātes apmācības datu apjomu, ko ir grūti iegūt, strādājot ar zemu resursu valodām. Pastāvošās paralēlās korpusa valodas ar zemu resursu resursiem bieži vien ir ērti iegūtas no zināmajām daudzvalodu kolekcijām, piemēram, Kristiešu Bībeli vai daudzvalodu organizāciju publikācijām, kas ir ierobežotas daudzumā un domēnā. Lai pārvarētu šo problēmu, mēs izveidojām apmācības datu kopas, izmantojot globālu biteksnes ieguves procesu publiski pieejamā tīmekļa saturā (izvilkts no repozitorijām, piemēram, CommonCrawl). Mūsu biteksnes ieguves pieejas pamatideja ir vispirms apgūt daudzvalodu teikumu 35 Tā kā mūsu ieguves pieeja prasa daudzvalodu ievietošanas telpu, ir vairākas problēmas, kad šī pārstāvība tiek mērogota visās NLLB-200 valodās. Pirmkārt, mums bija jānodrošina, ka visas valodas ir labi iemācītas un ka mēs esam uzskatījuši par lielu nelīdzsvarotību pieejamajos apmācības datiem. Otrkārt, masveidā daudzvalodu teikumu kodētāja apmācība no nulles katru reizi, kad tiek ieviests jauns valodu kopums, ir aprēķinoši dārga. Turklāt šī pieeja galvenais trūkums ir tāds, ka iemācītie ievietošanas telpas no katra jaunā modeļa nav obligāti savstarpēji saderīgi. Tas var padarīt ieguvi neiespējamu, jo katram jaun that extends the LASER embedding space valodas tiek apmācītas kā atsevišķi skolēni vai kopā ar valodām no vienas ģimenes. . 21 36 21 Our approach enables us to focus on the specifics of each language while taking advantage of related languages, which is crucial for dealing with very low-resource languages. (A language is defined as very low-resource if it has fewer than 100,000 samples across all pairings with any other language in our dataset). Using this method, we generated more than 1,100 million new sentence pairs of training data for 148 languages. This additional training data, paired with back translation (a conventional technique for data augmentation in NMT; ref. ), ieviesa ievērojamus uzlabojumus tulkošanas kvalitātei – konkrēti, +12.5 chrF++ (ref. ) ļoti zema resursu valodu tulkošanai angļu valodā.Sīkāku informāciju skatiet Papildu informāciju . 37 38 D Modelling Pat ar ievērojamu datu apjoma pieaugumu, galvenā problēma ar zemu resursu tulkošanu ir apmācības modeļiem, kas pienācīgi pārstāv 200 valodas, vienlaikus pielāgojot mainīgo datu jaudu par valodu pāri. MoE transformatoru modeļi atšķiras no blīviem transformatoru modeļiem, jo daži no tīkla slāņiem tiek aizstāti ar MoE slāņiem gan kodētājā, gan dekodētājā. Eksperti (katrs no tiem ir ievades tīkli) un gating tīkli, lai izlemtu, kā novirzīt ievades žetonus ekspertiem.Transformators encoder-decoder modelis, kas papildināts ar MoE slāņiem un to attiecīgajiem gating tīkliem, iemācās novirzīt ievades žetonus attiecīgajiem diviem vadošajiem ekspertiem, optimizējot lineāri svērtu kombināciju ar etiķetes izlīdzinātu šķērsgriezumu. un palīglīdzekļu slodzes līdzsvarošanas zaudējumi . E 39 6 Lai novērstu šo problēmu, mēs izstrādājām Expert Output Masking (EOM), normalizācijas stratēģiju, kas raksturīga MoE arhitektūrām, un salīdzinājām to ar esošajām normalizācijas stratēģijām, piemēram, Gating Dropout Mēs konstatējam, ka Gating Dropout darbojas labāk nekā vaniljas MoE ar vispārējo atkāpšanos, bet to pārspēj EOM. 40 Lai vēl vairāk samazinātu pārpilnību valodu pāriem ar zemu resursu līmeni, mēs izstrādājām mācību programmu, kurā valodu pāri tiek ieviesti fāzēs modeļa apmācības laikā. Atjauninājumi tiek ieviesti ar atjauninājumi pirms apmācības beigām.Tas samazina pārslodzi, vienlaikus ļaujot pāriem, kas gūst labumu no papildu apmācības, turpināt mācīties. pierāda, ka mācību programmu un EOM apvienošana uzlabo veiktspēju, jo īpaši attiecībā uz valodu pāriem ar zemu un ļoti zemu resursu līmeni (vairāk informācijas skatiet sadaļā “Modelēšana”). K K 2 Lai saprastu, kā MoE modeļi ir noderīgi daudzvalodu mašīntulkošanai, mēs vizualizējam ekspertu līdzības MoE slāņos, izmantojot siltuma kartes (Fig. Šīs siltuma kartes parāda, ka vēlākajos dekodera slāņos (Fig. ), valodas tiek atdalītas (t.i., nosūtītas uz dažādiem ekspertu kopumiem). Turklāt mēs novērojam, ka vienas un tās pašas ģimenes valodas ir ļoti līdzīgas to ekspertu izvēlei (tas ir, vēlu dekodera MoE slāņi ir valodas specifiskas). Tas jo īpaši attiecas uz arābu dialektiem (seši rindas un kolonnas augšējā kreisajā stūrī), valodas Benue-Congo apakšgrupā, kā arī valodas Devanagari skriptā. Vēlāk kodētāja MoE slāņi ir īpaši valodas agnostikas, kā viņi maršrutē žetonus, kā to var apliecināt ar vienotu siltuma karti Fig. . 1a–d 1D 1c 1B Fig. 1: Cosine similarity scores between languages at different layers of the encoder–decoder architecture. Tātad – Pirmais no tiem ( Un pēdējais ( ) kodēšanas slāņi un pēc tam pirmais ( Un pēdējais ( Līdzība tiek mērīta attiecībā uz gating lēmumiem (eksperta izvēle) pēc valodas (avota puse kodētāja un mērķa puse dekodētāja). gaišākas krāsas pārstāv augstāku ekspertu līdzību, līdz ar to valodas agnostiku apstrādi. a d a b c d Datu apvienošana (skatīt sadaļu “ ”) un modelēšanas ieguldījumi, tabula norāda, ka NLLB-200 pārspēj tuvāko modernāko sistēmu gandrīz par +7,3 spBLEU (ref. Pēc tam mēs salīdzinājām NLLB-200 ar dažiem citiem modernākajiem modeļiem, piemēram, Deepnet un M2M-100 (ref. ), lai ziņotu par rezultātiem 87 valodās pret FLORES-101. Šajā mazākajā apakšgrupā NLLB-200 atkal pārspēj par +7.0 spBLEU vidēji. Kopumā rezultāti liecina, ka NLLB-200 uzlabojas ar modernām sistēmām par ievērojamu maržu, neraugoties uz to, ka atbalsta 200 valodas, vai divas reizes vairāk valodu (un vairāk nekā 30 000 papildu virzienus) salīdzinājumā ar jebkuru iepriekšējo darbu. Tātad ) Automātiski izveido tulkošanas apmācības datus 3 41 42 1 E3 pārdošana Vērtējumi Starp daudziem modeļu veiktspējas aspektiem, kurus var novērtēt Šajā sadaļā uzsvērti trīs aspekti, kuriem ir ievērojama ietekme uz vispārējo kvalitātes novērtējumu: automātiskās novērtēšanas kritēriji, cilvēka novērtēšanas protokoli un toksicitātes novērtējums. 43 Atsauces kritērijs automātiskai novērtēšanai, izmantojot FLORES-200 NMT izejas kvalitāti parasti novērtē ar automātiskām metrikām, piemēram, BLEU. vai spleju Lai aprēķinātu automātiskos kvalitātes rādītājus, izmantojot šos rādītājus, ir nepieciešami atsauces datu kopumi, kas nodrošina cilvēka tulkojumus ar zelta standartu kā atsauces. Savukārt šo atsauces datu kopumu nodrošinātais dažādu pieeju novērtējums no āboliem uz āboliem dod mums labāku izpratni par to, kas prasa turpmākus pētījumus un izstrādi. noveda pie strauja progresa tulkošanas virzienos, piemēram, angļu uz vācu un angļu uz franču. 44 41 45 Lielākā pieejamā daudzvalodu NMT datu bāze bija FLORES-101, kas atbalsta aptuveni pusi no valodu skaita NLLB-200. Nepieciešamais FLORES-101 paplašinājums uz FLORES-200 ir vēl viens izaicinājums kvalitātes nodrošināšanas jomā, daļēji tādēļ, ka pastāv atšķirības standartizācijas praksē un ierobežota piekļuve profesionāliem tulkotājiem visām iesaistītajām valodām. Lai pārvarētu šo problēmu, mēs pielāgojām savu darba plūsmu, lai pievērstu īpašu uzmanību kvalitātes nodrošināšanas mehānismiem. FLORES-200 darba plūsmu veido četri posmi: (1) saskaņošana; (2) tulkošana, sākotnējā kvalitātes nodrošināšana un iterācija(s); (3) galīgā kvalitātes nodrošināšana; un (4) pabeigšana. FLORES Šīs pārveidotās darba plūsmas rezultātā mēs izveidojām trīsšķautņu (dev, devtest, test) datu kopumu par paralēliem cilvēka atsauces tulkojumiem visām NLLB-200 valodām, kas atbilst 90% kvalitātes slieksnim, ar maksimālo apgrieziena laiku 287 dienas (119 dienas vidēji, 70 dienas minimāli). (Ņemiet vērā, ka, lai izvairītos no noplūdes ar mūsu modeļiem, mēs filtrējām datus no FLORES un citiem izmantotajiem novērtēšanas kritērijiem (piemēram, WMT un IWSLT) no mūsu apmācības datiem. Vairāk informācijas par pārbaudes procesu.Figure rāda kvalitātes rādītājus visām valodām, no kurām dažas ir norādītas kā piemēri. C 2 Fig. 2: Quality of FLORES-200. Tātad Kvalitātes nodrošināšanas rādītāji valodām FLORES-200. Minimālais pieņemamais standarts ir 90%. Uzticams cilvēka novērtējums Modernās automātiskās metrikas bieži vien nespēj uztvert valodas aspektus, kas, lai gan tie ir smalki, var ievērojami ietekmēt tulkošanas kvalitāti. Tas nozīmē, ka, balstoties uz tiem, rodas divas problēmas: (1) jebkura NMT kvalitātes liela mēroga cilvēka novērtēšana neatkarīgi no iesaistīto tulkošanas virzienu skaita rada potenciāli zemu novērtētāju savstarpējo piekrišanu (aptuveni 0,5 kappa); un (2) masveidā daudzvalodu NMT ievieš vēl vienu sarežģītību – kvalitātes novērtēšanas konsekvenci starp valodu virzieniem. , jauna rādītāju metrika, kas vērsta uz nozīmi un izmantojot protokolu, kas ļauj kalibrēt rezultātus starp novērtētājiem un valodu pāriem. 46 47 XSTS is a human evaluation protocol inspired by STS XSTS izmanto piecu punktu skalu, kurā 1 ir zemākais rādītājs, un 3 ir pieņemamības slieksnis.Lai nodrošinātu konsekvenci ne tikai starp valodām, bet arī starp dažādiem jebkuras konkrētas valodas novērtētājiem, mēs iekļāvām to pašu teikumu pāru apakšsistēmu katram novērtētājam piešķirtajos teikumu pāriem, kas ļauj kalibrēt rezultātus. 48 Mēs konstatējam, ka automatizētie rādītāji, piemēram, spBLEU un chrF++, salīdzinoši labi korelē ar cilvēka kalibrētiem tulkošanas kvalitātes novērtējumiem, kā parādīts attēlā. Spearmanis korelācijas koeficienti starp agregēto XSTS un spBLEU, chrF++ (korpuss) un chrF++ (vidējais teikuma līmenis) ir attiecīgi 0,710, 0,687 un 0,694. un Pearsona Corpus spBLEU nodrošina vislabāko nominālo korelāciju, kam seko vidējais teikuma līmenis chrF++. 3 R τ R Fig. 3: Correlations between aggregated human quality scores and automated metrics. , The relationship between spBLEU and XSTS. , The relationship between chrF++ and XSTS. , The relationship between average sentence-level chrF++ and XSTS. All automated scores were computed only on the sentences evaluated for a given model and translation direction (either the full FLORES-200 dataset or a subset). NLLB-200 refers to a 55B parameter MoE model, and NLLB-200 Baseline refers to a dense 3.3B parameter model. a b c Pilna izmēra attēls Mēs arī konstatējam, ka kalibrētie cilvēka novērtējuma rezultāti vairāk korelē ar automatizētiem rezultātiem nekā nekalibrētie cilvēka novērtējuma rezultāti visās automatizētajās metrikās un korelācijas koeficienta izvēlēs. correlation coefficient of 0.625, 0.607 and 0.611 for spBLEU, chrF++ (corpus) and chrF++ (average sentence-level), respectively. R Overall, a sample of 55 language directions were evaluated, including 8 into English, 27 out of English, and 20 other direct language directions. The overall mean of calibrated XSTS scores was 4.26, with 38/55 directions scoring over 4.0 (that is, high quality) and 52/56 directions scoring over 3.0. We hypothesize that added toxicity may be because of the presence of toxicity in the training data and used our detectors to estimate, more specifically, unbalanced toxicity in the bitext data. We find that estimated levels of unbalanced toxicity vary from one corpus of bitext to the next and that unbalanced toxicity can be greatly attributed to misaligned bitext. In other words, training with this misaligned bitext could encourage mistranslations with added toxicity. To mitigate this issue, we designed a bitext filtering procedure based on the detection of multiple instances of added toxicity (that is, cases in which one sentence in the bitext pair contains at least two more toxic items than the other sentence in the pair). (A previous detector quality analysis showed that a higher precision was reached in this situation). We added this toxicity filtering procedure as an option to the filtering process and experimented with or without it for comparison. The experimental results on the FLORES-200 dev set for 10 translation directions (from and into English for Somali, Southern Sotho, Twi, Umbundu and Venetian) show that after filtering an average amount of around 30% parallel sentences, the translation quality (chrF++) improves by 5% and added toxicity (ETOX) reduces by the same amount. Therefore, the filtering pipeline that includes toxicity filtering not only reduces the number of toxic items in the translation output but also improves the overall translation performance. Secinājums Lai gan šīs deklarācijas mērķis bija ierobežot cenzūru un ļaut informācijai un idejām plūst bez iejaukšanās, liela daļa interneta šodien paliek nepieejama daudziem valodu barjeru dēļ. Daudzām valodu kopienām ar zemu resursu līmeni NLLB-200 ir viens no pirmajiem modeļiem, kas ir izstrādāti, lai atbalstītu tulkošanu to valodās vai no tām. Lai gan šo jauno tulkošanas spēju lietojumprogrammas var atrast vairākās ikdienas dzīves jomās, mēs uzskatām, ka to ietekme būtu visnozīmīgākā tādā jomā kā izglītība. Piemēram, formālās izglītības kontekstā studenti un izglītojamie, kas pieder pie zema resursu valodu grupām, ar NLLB-200 palīdzību varētu izmantot vairāk grāmatu, pētniecības rakstu un arhīvu nekā agrāk. Neformālās mācīšanās jomā zema resursu valodu runātāji varētu piedzīvot lielāku piekļuvi informācijai no globālajiem ziņu avotiem un sociālo mediju platformām, kā arī Since launching NLLB-200, we can already see the impact of the model across many directions. Four months after the launch of NLLB-200, Wikimedia reported that our model was the third most used machine translation engine used by Wikipedia editors (accounting for 3.8% of all published translations) ( ). Compared with other machine translation services and across all languages, articles translated with NLLB-200 has the lowest percentage of deletion (0.13%) and highest percentage of translation modification kept under 10%. https://web.archive.org/web/20221107181300/https://nbviewer.org/github/wikimedia-research/machine-translation-service-analysis-2022/blob/main/mt_service_comparison_Sept2022_update.ipynb In many ways, the composition of the NLLB-200 effort speaks to the centrality of interdisciplinarity in shaping our vision. Machine translation and AI advancements lie at the intersection of technological, cultural and societal development, and thus require scholars with diverse training and standpoints to fully comprehend every angle , Mūsu cerība ir tāda, ka turpmākajās iterācijās NLLB-200 turpinās iekļaut zinātniekus no jomām, kas ir nepietiekami pārstāvētas mašīntulkošanas un AI pasaulē, jo īpaši no humanitāro un sociālo zinātņu fona.Vairāk svarīgi, mēs ceram, ka komandas, kas izstrādā šīs iniciatīvas, nāk no plašas rases, dzimuma un kultūras identitātes, tāpat kā kopienas, kuru dzīvi mēs cenšamies uzlabot. 49 50 Finally, we want to emphasize that overcoming the challenges that prevent the web from being accessible to speakers of all languages requires a multifaceted approach. At the technical level, NLLB-200 overcomes many data, modelling and evaluation challenges in NMT research, but it still has its limitations, some of which are documented in Supplementary Information . As a single technological intervention, NLLB-200 is all but one piece of a massive puzzle; policy interventions aimed at more fundamental issues surrounding education, internet access and digital literacy are imperative to eradicate the structural problem of language disparities. G Methods Data Šajā sadaļā ir aprakstīti soļi, kas veikti, lai izstrādātu mūsu valodas identifikācijas sistēmu un bites teksta ieguves protokolu. Language identification To train language identification models, we used fasttext , , kas ir plaši izmantots teksta klasifikācijas uzdevumiem tās vienkāršības un ātruma dēļ. -gramus no ievades teksta un izmantoja daudzklases lineāro klasifikatoru augšpusē. Fasttext vieglā daba ļauj mūsu LID modeļiem apstrādāt tīmekļa mēroga datus. Turklāt lineārajam modelim ir priekšrocība, ka to var viegli izskaidrot, ļaujot mums izsekot jebkurai klasifikācijas kļūdai atpakaļ uz tās pamatcēloņiem. . 33 51 n 32 Classifier design We experimented with two different designs. First, we used a combination of multiple binary classifiers in which the final decision was obtained by selecting the language with the highest score after applying a threshold. We applied threshold optimization so that when the confidence of a classifier is low, the corresponding language is not considered for the final decision. A sentence was filtered out if none of the classifiers surpassed its threshold. Second, we built a multiclass classifier using softmax over all possible languages. In this case, the threshold optimization is done after the softmax. Our results directed us to focus on the second approach, which offers several advantages. First, changing the threshold for one language did not affect the performance of the other (which is not true in the first setting). Second, this approach generalizes better to out-of-domain data, which is our primary use case (Wikipedia → web data). Finally, a single classifier has the added benefit of being computationally simpler, thus streamlining the language identification process. Training data and handling massive class imbalance Mēs izmantojām publiski pieejamus datu kopumus, lai apmācītu mūsu LID sistēmu, daļēji aptverot mūsu interesējošās valodas. ) jebkādām trūkstošām valodām.Tomēr šis papildinājums nav pietiekams, lai nodrošinātu līdzsvaru neapstrādātos apmācības datos , . For example, English alone represents 10.1% of our training data, whereas Minangkabau (Latin script) represents only 0.06%. Following ref. , we experimented with multiple settings of temperature upsampling for underrepresented languages, in which sentences from a language representing procentuālo daļu no datu kopas paraugu ņem proporcionāli . optimālā veiktspēja tika iegūta ar 1/ = 0,3 (vairāk informācijas skatiet ref 5.1. iedaļā. ). B 32 30 10 l Pl T 34 Training parameters Our best-performing model was trained with softmax loss over two epochs with a learning rate of 0.8 and embeddings with 256 dimensions. We discarded words with less than a thousand occurrences after upsampling and selecting a minimum and maximum character -gram length of two and five, respectively (which were assigned a slot in buckets of size 1,000,000). (In fasttext, we refer to ‘word’ when it is separated by spaces. When it is a non-segmenting language, there is only one ‘word’ for the whole sentence (and we take character -grams)). All hyperparameters were tuned on FLORES-200 dev (see section 5.1.2 of ref. ). n n 34 LID uzlabošana ar lingvistisko analīzi Language identification is a challenging task in which numerous failure modes exist, often exacerbated by the gaps between the clean data on which LID models are trained and noisy data on which LID models are applied. In other words, LID models trained in a supervised manner on fluently written sentences may have difficulty identifying grammatically incorrect and incomplete strings extracted from the web. Furthermore, models can easily learn spurious correlations that are not meaningful for the task itself. Given these challenges, we collaborated closely with a team of linguists throughout different stages of LID development to identify proper focus areas, mitigate issues and explore solutions (see section 5.1.3 of ref. ). 34 Bitext mining Vispārējā pieeja bittekstu ieguves koncentrējās uz sākot ar masveidā daudzvalodu teikumu kodētāja skolotāja modeli un pielāgojot to vairākiem dažādiem zemu resursu studentu modeļiem. Šī pieeja ļāva mums pievienot zemu resursu valodas, nekompetējot ar augstas resursu valodām par jaudu. Pētījuma rezultāti liecina, ka skolēnu skaits, kas mācās skolā, ir palielinājies, un skolēnu skaits, kas mācās skolā, ir palielinājies ( ). The original training procedure tika pielāgots, lai ietvertu SentencePiece tokenizāciju (ieskaitot 7 000 žetonu vārdnīcu) un zemu resursu valodu paraugu ņemšanu. 1 https://github.com/facebookresearch/LASER 36 The architecture of the five-layer BiLSTM encoder and the max pooling method to obtain sentence embeddings were left unchanged. The training was then performed on the same 93 languages with public resources obtained from OPUS . See ref. for details on the original LASER training procedure. Training of the students followed the approach described in greater detail in ref. , kas apkopots zemāk: 52 36 21 students specialized in one language or several similar languages; students were randomly initialized because we wanted to handle low-resource language for which we did not have a pre-trained language model; studentiem var būt īpaša SentencePiece vārdnīca, kas atšķiras no skolotāja, lai labāk iekļautu skriptus un žetonus studentu valodās; as we used cosine distance for bitext mining (Fig. ), students learnt to minimize the cosine loss with the teacher; 1 students can have an MLM loss to leverage student language monolingual data (Fig. ). 1 Training parameters Our student encoders used a 12-layer transformer with a hidden size of 1,024, four attention heads, and around 250 million parameters. All students were trained with available bitexts in their respective language, complemented by 2 million sentences of English/English and English/Spanish. The motivation behind this approach is to anchor the students to the English embedding space, increasing robustness by including English/Spanish bitexts from CCMatrix and allowing for the joint learning of new languages. This technique is particularly useful when only limited amounts of bitexts are available to train the students. Teacher–student training was performed on 16 GPUs, the ADAM optimizer, a learning rate of 0.0005 and a batch size of 10,000. We trained student encoders for 148 languages and named these models LASER3. Proxy metric for new encoders Mined bitexts were subsequently used to improve translation quality for the languages of NLLB-200. However, mining and NMT training are computationally expensive, and it is intractable to perform this evaluation systematically for many different sentence encoder variants. As an evaluation proxy, we used a mining-based multilingual similarity search error rate, referred to here as xsim. In contrast to cosine accuracy, which aligns embeddings based on the highest cosine score, xsim aligns source and target embeddings based on the highest margin score, which has been shown to be beneficial in mining Marža balstīts rezultāts ir definēts kā 53 where and are the source and target sentences, and ( ) denotes the nearest neighbours of citā valodā. mēs izveidojām to 4. All xsim results are calculated on FLORES-200 devtest, using the ratio margin, where margin( , • = / . Moreover, all scores are calculated for translations into English (that is, xxx → eng). English is encoded by the teacher, and the other language is encoded by the LASER3 student. To facilitate further research using xsim, we also provide this evaluation method as an open-source resource ( ). x y NNk x k x k a b a b https://github.com/facebookresearch/LASER/ End-to-end encoder evaluation Once we had identified the best sentence encoder for each language using the xsim scores, we performed mining, added the mined data to the existing bitexts and trained a bilingual NMT system. Initial experiments indicated that a threshold on the margin of 1.06 seems to be the best compromise between precision and recall for most languages. For these NMT baselines, we do not apply extra filtering on the bitexts and leave this to the training procedure of our massively multilingual NMT system. We did not attempt to optimize the architecture and parameters of the bilingual NMT systems to the characteristics of each language pair but used the same architecture for all. Therefore, the reported results should not be interpreted as the best possible ones given the available resources—they are mainly provided to validate the mined bitexts. We used a 12-layer encoder and decoder and trained for 100 epochs. Moreover, we looked for the best performance on the FLORES-200 development set and report detokenized BLEU on the FLORES-200 devtest. Modelling In this section, we first describe the multilingual machine translation task setup, which includes tokenization and base model architecture. Then, we outline how we leveraged conditional computation for massively multilingual machine translation with EOM regulation and our Curriculum Learning (CL) strategy for low-resource languages. Task setup We modelled multilingual NMT as a sequence-to-sequence task, in which we conditioned on an input sequence in the source language with an encoder and generated the output sequence in the expected target language with a decoder . With the source sentence , source language s, and target language t rokās, mēs esam apmācīti, lai maksimāli palielinātu tulkojuma iespējamību mērķa valodā —that is, ( ∣ , ar s, t). Below, we discuss details of the (1) tokenization of the text sequences in the source and target languages; and (2) model architecture with the input and output designed specifically for multilingual machine translation. For further details on the task setup, such as the amount of training data per language pair, please refer to Supplementary Information or section 8 of ref. . 54 S ℓ ℓ T P T S ℓ ℓ F 34 Segmentation with SentencePiece Lai tokenizētu mūsu teksta secības, mēs apmācījāmies vienu SentencePiece modeli (SPM) for all languages. We sampled a total of 100 million sentences from primary bitext data. To ensure low-resource languages are well-represented in the vocabulary, we downsampled high-resource and upsampled low-resource languages with a sampling temperature of five (ref. Ievērojami, vārdu krājuma lielums ir svarīgs hiperparametrs daudzvalodu tulkošanas modeļos, kas ietver zemas resursu valodas. , , . The vocabulary size of our trained SPM model is 256,000. Such a large vocabulary ensures adequate representation across the wide spectrum of languages we support. 55 10 56 57 58 Model architecture Our sequence-to-sequence multilingual machine translation model is based on the transformer encoder–decoder architecture . The encoder transforms the source token sequence into a sequence of token embeddings. Then, the decoder attends to the encoder output and autoregressively generates the target sentence token by token. More precisely, the encoder takes the sequence of tokens Tātad ( 1, …, ) and the source language s, un rada iebūvēto elementu secību Tātad ( 1, …, ), kas pēc tam tiek nodrošināti ar dekoderi ar mērķa valodu t to produce the target tokens Tātad ( 1, ... ) sequentially. In sum, 59 W w wS ℓ H h hS ℓ V v vT Ņemiet vērā, ka mēs iepriekšējā darbā izdarījām tādu pašu priekšnosacījumu avota secībai ar avota valodu, nevis mērķa valodu , Mēs to darījām, jo mēs piešķīrām prioritāti mūsu modeļa nulles šāviena veiktspējas optimizēšanai jebkurā 200 valodu pārī ar zemākām izmaksām salīdzinājumā ar uzraudzītu veiktspēju.Empiriski mēs konstatējam, ka nulles šāviena veiktspēja ir negatīvi ietekmēta, kad kodētājs tiek kondicionēts mērķa valodā. . 10 60 1 Conditional computation for multilingual machine translation A massively multilingual translation (MMT) model uses the same shared model capacity to train on several translation directions simultaneously. While doing so can lead to beneficial cross-lingual transfer between related languages, it can also add to the risk of interference between unrelated languages , . MoE models are a type of conditional computational models , that activate a subset of model parameters per input, as opposed to dense models that activate all model parameters per input. MoE models unlock marked representational capacity while maintaining the same inference and training efficiencies in terms of FLOPs compared with the core dense architecture. 1 61 62 63 Tomēr, palielinot modeļa jaudu un aprēķina izmaksas par atjauninājumu, palielinās zemas vai ļoti zema resursu valodu tendence pārmērīgi pielāgoties, tādējādi izraisot veiktspējas pasliktināšanos. , , , , , to achieve a more optimal trade-off between cross-lingual transfer and interference and improve performance for low-resource languages. 2 3 4 5 6 7 Sparsely gated mixture of experts To build our MoE models, we substitute a quarter of the encoder and decoder feed-forward network layers with MoE layers, each with ekspertiem, mēs sekojām līdzi augstākajai Algoritma ieviešana ref. and dispatched each token to at most = 2 experts. For more details on the training of MoE models, see Supplementary Information . E k 4 k E Expert output masking In this proposed regularization strategy, we masked the expert output for a random fraction ( eom) of the input tokens. For input tokens with dropped expert outputs, the first and/or second expert is effectively skipped. As shown in the second panel of Extended data Fig. , mēs maskējām abus ekspertus par pirmo zīmi ( 1 in red), chose not to mask any of the expert outputs for the second token ( 2 in blue) and in the final scenario, masked only one expert for the last token ( 3 uz zaļo. p 2 x x x Curriculum learning for MMT Mēs izpētījām, kā regulēt MMT modeļus, izmantojot CL. Mēs vispirms ierosinājām sākt apmācību ar augstas resursu pāriem, pēc tam ieviešot zemas resursu pāri, kas ir pakļauti pārmērīgai uzstādīšanai, vēlākos posmos. Bībelē 1, …, }. If is the total number of training updates, we introduced each bin after − updates. We based when and what directions to add at every phase of the step when we observed a language pair starting to overfit. Review the step-based CL algorithm in ref. Lai uzzinātu vairāk par to, kā virzieni ir sadalīti. skatīt Papildu informāciju for the list of directions added at each stage. n b bn T bi T ki 64 E.2 Dzīve Vērtējumi Automātiskā novērtēšana Many automatic translation quality assessment metrics exist, including model-based ones such as COMET and BLEURT Lai gan uz modeļiem balstītas metrikas ir parādījušas labāku korelāciju ar cilvēka spriedumu nesenajās metrikās, WMT kopīgie uzdevumi , they require training and are not easily extendable to a large set of low-resource languages. In this work, we rely on BLEU (and a variant of it) and chrF++. Both measures draw on the idea that translation quality can be quantified based on how similar a machine translation output is compared with that produced by a human translator. 65 66 43 Zilā un zilā The BLEU score has been the standard metric for machine translation evaluation since its inception two decades ago. It measures the overlap between machine and human translations by combining the precision of 1-grams to 4-grams with a brevity penalty. The main disadvantage of BLEU is that it is tokenization-dependent. Efforts such as sacrebleu ir veikuši soļus uz standartizāciju, atbalstot kopienas standarta tokenizatoru izmantošanu. ierosina spBLEU, BLEU metriku, kas balstīta uz standartizētu SentencePiece modeli (SPM), kas aptver 101 valodu, kas tika izlaists kopā ar FLORES-101. Šajā darbā mēs nodrošinām SPM-200 kopā ar FLORES-200, lai ļautu izmērīt spBLEU. (Mūsu analīzes liecina, ka ir nelielas atšķirības starp SPM-200 no FLORES-200 un SPM-100 no FLORES-101, izmērot FLORES-101 valodās. ). 44 67 41 34 Krāsa + The chrF++ score pārvar BLEU rādītāja ierobežojumu, kas prasa, lai teikumu var sadalīt vārdu zīmes. Tomēr dažas valodas, piemēram, ķīniešu vai taiziešu, neizmanto telpas, lai atdalītu vārdus, un vārdu segmentācijas rīki var nebūt viegli pieejami. Ir arī bažas par ļoti aglutinācijas valodām, kurās BLEU nespēj piešķirt nekādu kredītu morfoloģiskajiem variantiem. chrF++ pārvar šīs vājības, pamatojot pārklāšanās aprēķinu rakstura līmenī -grams Iepazīšanās ( no 1 līdz 6) un papildinot ar vārdu unigramiem un bi-gramiem. Šajā darbā mēs galvenokārt novērtējām, izmantojot chrF++, izmantojot iestatījumus no sacrebleu. tomēr, salīdzinot ar citiem publicētajiem darbiem, mēs izmantojām BLEU un spBLEU, ja nepieciešams. 38 n F n Cilvēka novērtēšanas metodoloģija Izveidojot mašīntulkošanas sistēmas tūkstošiem dažādu valodu pāru, galvenais jautājums ir tas, kuri pāri sasniedz noteiktu kvalitātes līmeni. XSTS evaluation protocol We adapted the recently proposed XSTS methodology Īsāk sakot, XSTS ir cilvēka novērtēšanas protokols, kas koncentrējas uz nozīmes saglabāšanu virs plūsmas. Zemu resursu valodās tulkojumi parasti ir sliktākas kvalitātes, tāpēc mēs vairāk koncentrējamies uz lietojamiem (t.i., jēdzienu saglabājošiem) tulkojumiem, pat ja tie nav pilnībā plūstoši. with a 5-point scale (the original direct assessment uses a 100-point scale), it is found that XSTS yields higher inter-annotator agreement . XSTS rates each source sentence and its machine translation on a 5-point scale, in which 1 is the lowest and 5 is the highest. 48 F 68 47 Kalibrēšana To enable meaningful scores comparable across language pairs, we asked each evaluator to provide assessments using the XSTS scale on precisely the same set of sentence pairs. This aims to identify annotators who have a systematic tendency to be more harsh or generous in their scoring and correct for this effect. The calibration set consists of the machine translation output paired with the reference translation only in English. Based on how evaluators used the XSTS scale on this calibration set, we adjusted their raw scores on the actual evaluation task to ensure consistency across evaluators. Although this monolingual calibration task does not precisely mimic the bilingual XSTS task, it is a reasonable first approximation and has been shown to increase the correlation between human and automatic metrics primarily by reducing one source of ‘noise’ in the human evaluations—the lack of score calibration between annotators. Apkopoto cilvēka kvalitātes rādītāju iegūšana no vairākiem pētījumiem Lai iegūtu apkopotu cilvēka kvalitātes rādītāju katram valodas virzienam novērtēšanas pētījumā, mēs ņemam vairākuma XSTS rezultātu (t.i., vidējo – vidējo punktu) par katru teikumu un šo lieluma punktu vidējo vērtējumu par visiem novērtētajiem teikumiem. S → T ir l l where s and t norāda attiecīgi avota valodu un mērķa valodu; norāda XSTS rezultātu th evaluator who evaluates sentences in a given translation direction S → t for a source sentence Mērķa spriedums ; norāda kopējo novērtētāju skaitu, kas novērtē (avots, tulkojums) teikumu pāru ( , ) for translation direction s → t; ir (avota, tulkošanas) teikumu pāru kopums, kas tiek novērtēts tulkošanas virzienam S → t. l l i l l S T S T l l l l Katrs novērtētājs noteiktā pētījumā is also asked to provide ratings for all or parts of a calibration set—. , Nosaukums The th source sentence in the calibration set for an evaluation study; , , tulkotā frāze, kas atbilst , ; and is the number of sentence pairs in the calibration set for an evaluation study. s SS k k s Ts k Ss k For each language direction evaluated in a study, we obtained the majority score on the calibration set as follows: kur norāda XSTS rezultātu, ko nodrošina th novērtētājs, valodas virzienam S → T, pētījumā , par noteiktu avota teikumu Tulkotais teikums , in the calibration set of the study. i l l s S T To obtain aggregated calibrated XSTS scores on the language direction level, we explored several different calibration methodologies. None of the calibration methods we investigated showed a marked difference in correlation with automated scores, and all calibration methodologies we explored provided superior correlation compared with uncalibrated XSTS scores. For more details on these calibration methodologies, see section 7.2 of ref. . 34 Added toxicity detection for 200 languages Lai nodrošinātu toksicitātes noteikšanu mērogā, mēs izmantojām detektoru, pamatojoties uz vārdu sarakstiem. Šajā sadaļā mēs sniedzam sīkāku informāciju par mūsu toksicitātes definīciju un aprakstām detektoru (ETOX) un saistītos vārdu sarakstus. Toksisks saturs Ņemot vērā toksicitātes subjektīvo raksturu, toksiskās valodas definīcijas var atšķirties. Mēs iekļāvām elementus, kurus parasti sauc par vulgāru vai profānu valodu. (Ņemiet vērā, ka vulgārā vai profānā valoda ne vienmēr ir toksiska. Piemēram, dažus kopīgus slengus var uzskatīt par vulgāriem, bet tie nav obligāti toksiski). Turklāt mēs iekļāvām elementus, kas saistīti ar pornogrāfiskā satura vai seksuālo aktu attēlošanu, dažus bieži izmantotos naida runas izteiksmes un dažus izteiksmes, kas saistītas ar uzmākšanos. Mēs arī iekļāvām elementus, vulgārus vai ne, kas attiecas uz ķermeņa daļām, kas parasti saistītas ar seksuālajām praksēm. ETOX detektors We started with the assumption that general-purpose machine translation systems should remain faithful to the source content and not add any toxic elements during the translation process. We define toxic elements as word tokens or short phrases present in our lists. ETOX identifies added toxicity using the following two criteria: number of toxic items and matched or non-matched toxicity. A toxic item is considered detected if it is present in a line and surrounded by spaces or the start or end of a line. ETOX tracks the number of unique toxic items found in a line but does not count a phrase again if it has multiple occurrences. Matched toxicity indicates that the number of toxic items is the same in both the source and the translated content (that is, no added toxicity). Added toxicity is an instance of non-matched toxicity in which more toxic items are found in the translation output than in the source. For non-segmenting languages or some languages that use complex diacritics, space tokenization is insufficient to distinguish words from one another. In those cases, we used SentencePiece tokenization of both the sentence and toxicity word list. Toxicity-200 lists Lists are based on professional translations from English, which were then heuristically adapted by linguists to better serve the target language. As toxicity is culturally sensitive, attempting to find equivalents in a largely multilingual setting constitutes a challenge when starting from one source language. To address this issue, translators were allowed to forgo translating some of the source items and add more culturally relevant items. In the initial release of the Toxicity-200 lists, the average number of items in a toxicity detection list was 271 entries, whereas the median number of entries was 143. The latter may be a better measure of central tendency than the mean average, given that languages with a rich inflectional morphology constitute extreme outliers (for example, the Czech list had 2,534 entries and the Polish list 2,004). The shortest list had 36 entries, and the longest 6,078. Data availability All data generated and described in the Article and its Supplementary Information are available at GitHub ( ) as follows. The FLORES-200 dataset contains human-translated evaluation data in 204 languages. The NLLB-Seed database contains human-translation seed training data in 39 languages (Supplementary Information ). The NLLB-MD database contains human-translated seed data in different domains in six languages to assess generalization (Supplementary Information ). The Toxicity-200 database contains wordlists to detect toxicity in 200 languages. Mined bitext database contains publicly available web data for 148 English-centric and 1,465 non-English-centric language pairs. Publicly available data used to train NLLB models with references to download the data are listed in Supplementary Table . https://github.com/facebookresearch/fairseq/tree/nllb 69 I J 2 Code availability To make our work available to the community, we provide the following models and supporting code as resources freely available for non-commercial use, available at GitHub ( ) tulkošanas modeļi aptver 200 valodas; NLLB modeļi ir pieejami vairākos izmēros (54.5B MoE, 3.3B un 1.3B Dense, un 1.3B un 600M destilēti). Valodu identifikācijas modeļi satur vairāk nekā 200 valodas. LASER3 ietver teikumu koderi, lai identificētu sakārtotu bitu tekstu 148 valodās. Stopes sastāv no datu ieguves bibliotēkas, ko var izmantot, lai apstrādātu un notīrītu monolingvālos datus, kam seko sakārtotu bitu teksta izveide. Skripti, lai atjaunotu mūsu apmācības datus un apmācību un ģenerēšanas skriptus, lai reproducētu mūsu modeļus, ir iekļauti arī. https://github.com/facebookresearch/fairseq/tree/nllb 69 References Fan, A. et al. Beyond English-centric multilingual machine translation. , 1–48 (2021). J. Mach. Learn. Res 22 MathSciNet Google Scholar Du, N. et al. GlaM: efektīva valodu modeļu mēroga izstrāde ar ekspertu kombināciju. In Proceedings of the 39th International Conference on Machine Learning Vol. 162, 5547–5569 (PMLR, 2022). Hwang, C. et al. Tutel: adaptive mixture-of-experts at scale. In (MLSys, 2023). 6th Conference on Machine Learning and Systems Lepikhin, D. et al. GShard: mēroga milzu modeļi ar nosacītu aprēķinu un automātisko sharding. Lewis, M., Bhosale, S., Dettmers, T., Goyal, N. & Zettlemoyer, L. BASE layers: simplifying training of large, sparse models. In Vol. 139, 6265–6274 (PMLR, 2021). Proc. 38th International Conference on Machine Learning Shazeer, N. et al. Outrageously large neural networks: the sparsely-gated mixture-of-experts layer. In 1–19 (ICLR, 2017). Proc. 2017 International Conference on Learning Representations (ICLR) Zoph, B. et al. ST-MoE: designing stable and transferable sparse expert models. Preprint at (2022). https://arxiv.org/abs/2202.08906 Zoph, B., Yuret, D., May, J. & Knight, K. Transfer learning for low-resource neural machine translation. In (eds Su, J. et al.) 1568–1575 (Association for Computational Linguistics, 2016). Proc. 2016 Conference on Empirical Methods in Natural Language Processing Nguyen, T. Q. & Chiang, D. Pārsūtīšanas mācīšanās starp zemu resursu, saistītām valodām neironu mašīnu tulkošanai. In Proc. astotā Starptautiskā kopīgā konference par dabas valodas apstrādi Vol. 2 (eds Kondrak, G. & Watanabe, T.) 296–301 (Āzijas Federācija dabas valodas apstrādes, 2017). Arivazhagan, N. et al. Masveidā daudzvalodu neiroloģiskā mašīntulkošana savvaļā: konstatējumi un izaicinājumi. 2019 Ziemeļamerikas asociācijas skaitļošanas lingvistikas nodaļas konferences protokols: Cilvēka valodas tehnoloģijas 1, 3874–3884 (Asociācija skaitļošanas lingvistikai, 2019). Zhang, B., Williams, P., Titov, I. & Sennrich, R. Masveidā daudzvalodu neironu mašīnu tulkošanas un nulles šāviena tulkošanas uzlabošana. Proc. 58th Association for Computational Linguistics (eds Jurafsky, D. et al.) ikgadējā sanāksme 1628–1639 (ACL, 2020). Tran, C. et al. Facebook AI WMT21 ziņu tulkošanas uzdevuma iesniegšana. Proc. Sestā konference par mašīntulkošanu (eds Barrault, L.) 205–215 (ACL, 2021); https://aclanthology.org/2021.wmt-1.19. Orife, I. et al. Masakhane – mašīnbūves tulkojums Āfrikai. Iepriekšējais drukāts uz https://arxiv.org/abs/2003.11529 (2020). Kuwanto, G. et al. Low-resource machine translation training curriculum fit for low-resource languages. Preprint at (2021). https://arxiv.org/abs/2103.13272 Nekoto, W. et al. Participatory research for low-resource machine translation: a case study in African languages.In Findings of the Association for Computational Linguistics: EMNLP 2020 (eds Cohn, T. et al.) 2144–2160 (ACL, 2020). Karakanta, A., Dehdari, J. & van Genabith, J. Neironu mašīntulkošana zemas resursu valodām bez paralēla korpusa. Mach. Transl. 32, 167–189 (2018). Bañón, M. et al. ParaCrawl: paralēla korpusa tīmekļa mēroga iegāde. Proc. 58th Association for Computational Linguistics (eds Jurafsky, D. et al.) ikgadējā sanāksmē 4555–4567 (ACL, 2020). Schwenk, H. et al. CCMatrix: ieguves miljardi augstas kvalitātes paralēlos teikumus tīmeklī. Proc. 59th Gada sanāksme asociācijas Computational Lingvistics un 11th Starptautiskā kopīgā konference par dabas valodas apstrādi Vol. 1 (eds Zong, C. et al.) 6490–6500 (ACL, 2021). Ramesh, G. et al. Samanantar: lielākā publiski pieejamā paralēlās korpusa kolekcija 11 indiešu valodām. Kreutzer, J. et al. Kvalitāte vienā acu uzmetienā: tīmekļa pārlūkošanas daudzvalodu datu kopu audits. Trans. Assoc. Comput. Linguist. 10, 50–72 (2022). raksts Google Scholar Heffernan, K., Çelebi, O. & Schwenk, H. Bitext ieguve, izmantojot destilētu teikumu pārstāvības zemas resursu valodām. Preprint uz https://arxiv.org/abs/2205.12654 (2022). Gowda, T., Zhang, Z., Mattmann, C. & May, J. Many-to-English machine translation tools, data, and pretrained models. In (eds Ji, H. et al.) 306–316 (ACL, 2021). Proc. 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations McCarthy, A. D. et al. Džons Hopkinsas Universitātes Bībeles korpuss: 1600+ valodas tipoloģiskai izpētei. Proc. 12. valodu resursu un novērtēšanas konference (eds Calzolari, N. et al.) 2884–2892 (Eiropas valodu resursu asociācija, 2020); https://aclanthology.org/2020.lrec-1.352. McNamee, P. Valodu identifikācija: atrisināta problēma, kas piemērota pamatizglītībai. J. Comput. Sci. Coll. 20, 94–101 (2005). Abadji, J., Suárez, P. J. O., Romary, L. & Sagot, B. Virzībā uz tīrāku dokumentu orientētu daudzvalodu crawl corpus. Preprint at https://arxiv.org/abs/2201.06642 (2022). Widdows, D. & Brew, C. Valodu identifikācija ar savstarpēju klasifikatoru. Preprint at https://arxiv.org/abs/2109.09862 (2021). Goutte, C., Léger, S., Malmasi, S. un Zampieri, M. Līdzīgu valodu diskriminācija: novērtējumi un izpētes. Preprint at http://arxiv.org/abs/1610.00031 (2016). Jauhiainen, T., Lindén, K. & Jauhiainen, H. Valodu identifikācijas metožu novērtēšana, izmantojot 285 valodas. Proc. Grave, É., Bojanowski, P., Gupta, P., Joulin, A. & Mikolov, T. Learning word vectors for 157 languages. In (eds Calzolari, N. et al.) (ELRA, 2018). Proc. 11th International Conference on Language Resources and Evaluation (LREC 2018) Dunn, J. Valodu kartēšana: globālās valodas izmantošanas korpuss. ling. Resurs. Eval. 54, 999–1018 (2020). raksts Google Scholar Brown, R. D. Noliniārā kartēšana, lai uzlabotu 1300+ valodu identifikāciju. In Proc. 2014 Konference par empīriskajām metodēm dabiskās valodas apstrādē (EMNLP) (eds Moschitti, A. et al.) 627–632 (ACL, 2014). Caswell, I., Breiner, T., van Esch, D. & Bapna, A. Language ID in the wild: unexpected challenges on the path to a thousand-language web text corpus. In (eds Scott, D. et al.) 6588–6608 (International Committee on Computational Linguistics, 2020); . Proc. 28th International Conference on Computational Linguistics https://aclanthology.org/2020.coling-main.579 Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. Triku soma efektīvai teksta klasifikācijai. Proc. 15. konferences Eiropas nodaļas asociācijas Computational Linguistics Vol. 2 (eds Lapata, M. et al.) 427-431 (ACL, 2017). NLLB Team et al. Nav atstāta valoda: mēroga cilvēka centrēta mašīntulkošana. Preprint at https://arxiv.org/abs/2207.04672 (2022). Koehn, P. & Knowles, R. Six challenges for neural machine translation. In (eds Luong, T. et al.) 28–39 (ACL, 2017). Proc. First Workshop on Neural Machine Translation Artetxe, M. & Schwenk, H. Masveidā daudzvalodu teikumu iestrādājumi nulles šāviena pārrobežu pārsūtīšanai un tālāk. Sennrich, R., Haddow, B. & Birch, A. Neironu mašīnu tulkošanas modeļu uzlabošana ar monolingvāliem datiem. Proc. 54th Association for Computational Linguistics (ACL) ikgadējā sanāksme 1 (eds Erk, K. & Smith, N. A.) 86–96 (ACL, 2016). Popović, M. chrf++: words helping character n-grams. In Vol. 2 (eds Bojar, O. et al.) 612–618 (ACL, 2017). Proc. Second Conference on Machine Translation Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J. & Wojna, Z. Pārdomājot datora redzes sākuma arhitektūru. IEEE konferencē par datora redzes un modeļu atpazīšanu (CVPR) 2818–2826 (IEEE, 2016). Liu, R., Kim, Y. J., Muzio, A., Mozafari, B. & Awadalla, H. H. Gating dropout: communication-efficient regularization for sparsely activated transformers. In (PMLR, 2022). Proceedings of the 39th International Conference on Machine Learning Goyal, N. et al. Flores-101 novērtējuma kritērijs maza resursu un daudzvalodu mašīntulkošanai. Trans. Assoc. Comput. Linguist. 10, 522–538 (2022). raksts Google Scholar Wang, H. et al. DeepNet: transformatoru skalēšana līdz 1000 slāņiem. IEEE darījumos par modeļu analīzi un mašīnu izlūkošanu https://doi.org/10.1109/TPAMI.2024.3386927 (IEEE, 2024) Freitag, M. et al. WMT21 metrikas kopīgo uzdevumu rezultāti: metrikas novērtēšana ar ekspertu balstītiem cilvēka novērtējumiem TED un ziņu jomā. Proc. sestā konference par mašīntulkošanu (eds Barrault, L. et al.) 733–774 (ACL, 2021); https://aclanthology.org/2021.wmt-1.73. Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: metode automātiskai mašīntulkošanas novērtēšanai. Proc. 40th ikgadējā sanāksme Association for Computational Linguistics (eds Isabelle, P. et al.) 311–318 (ACL, 2002). Akhbardeh, F. et al. Findings of the 2021 conference on machine translation (WMT21). In (eds Barrault, L. et al.) 1–88 (ACL, 2021); . Proc. Sixth Conference on Machine Translation https://aclanthology.org/2021.wmt-1.1 Kocmi, T. et al. To ship or not to ship: an extensive evaluation of automatic metrics for machine translation. In (eds Barrault, L. et al.) 478–494 (ACL, 2021). Proc. Sixth Conference on Machine Translation Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proceedings of the 15th Biennial Conference of the Association for Machine Translation in the Americas Agirre, E. et al. SemEval-2012 uzdevums 6: pilotprojekts par semantisko teksta līdzību. Proc. *SEM 2012: Pirmā kopīgā konference par leksikas un skaitļošanas semantiku Vols 1–2 (eds Aggire, E. et al.) 385–393 (ACL, 2012). Kusters, R. et al. Interdisciplinary research in artificial intelligence: Challenges and opportunities. , 577974 (2020). Front. Big Data 3 Article PubMed PubMed Central Google Scholar Wang, S., Cooper, N., Eby, M. & Jo, E. S. From human-centered to social-centered artificial intelligence: assessing ChatGPT’s impact through disruptive events. Preprint at (2023). https://arxiv.org/abs/2306.00227 Bojanowski, P., Grave, E., Joulin, A. & Mikolov, T. Enriching word vectors with subword onformation. , 135–146 (2017). Trans. Assoc. Comput. Linguist. 5 Article Google Scholar Tiedemann, J. Paralēli dati, rīki un saskarnes OPUS. In Proc. Astoņās starptautiskajās konferencēs par valodu resursiem un novērtēšanu (eds Calzolari, N. et al.) 2214–2218 (ACL, 2012). Artetxe, M. & Schwenk, H. Paralēla korpusa ieguve ar daudzvalodu teikumu iestrādēm, pamatojoties uz maržu. Proc. 57th Association for Computational Linguistics (eds Korhonen, A.) ikgadējā sanāksmē 3197–3203 (ACL, 2019). Bahdanau, D., Cho, K. H. & Bengio, Y. Neironu mašīntulkošana, kopīgi mācot pielāgot un tulkot. Proc. no 3. starptautiskās konferences par mācīšanās pārstāvniecību (ICLR, 2015). Kudo, T. & Richardson, J. SentencePiece: vienkāršs un valodas neatkarīgs subword tokenizer un detokenizer neironu teksta apstrādei. In Proc. 2018 Konference par empīriskajām metodēm dabiskās valodas apstrādē, EMNLP 2018 (eds Blanco, E. & Lu, W.) 66–71 (ACL, 2018); https://doi.org/10.18653/v1/d18-2012. Gu, J., Hassan, H., Devlin, J. & Li, V. O. Universal Neural Machine Translation for Extremely Low Resource Languages. In Vol. 1 (eds Walker, M. et al.) 344–354 (ACL, 2018); . Proc. 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies https://aclanthology.org/N18-1032 Wang, X., Pham, H., Arthur, P. & Neubig, G. Multilingual neural machine translation with soft decoupled encoding. Preprint at (2019). https://arxiv.org/abs/1902.03499 Rajab, J. Tokenizācijas stratēģiju ietekme uz zemu resursu Dienvidāfrikas valodām. trešajā seminārā par Āfrikas dabisko valodu apstrādi (ICLR, 2022). Vaswani, A. et al. Attention is all you need. In 5998–6008 (NIPS, 2017). Proc. 31st Conference on Neural Information Processing Systems Johnson, M. et al. Google’s multilingual neural machine translation system: enabling zero-shot translation. , 339–351 (2017). Trans. Assoc. Comput. Linguist. 5 Article Google Scholar Conneau, A. et al. Neuzraudzīta starpvalodu pārstāvības mācīšanās mērogā. 58th Association for Computational Linguistics (eds Jurafsky, D. et al.) 8440–8451 (ACL, 2020) ikgadējā sanāksmē. Bengio, Y., Léonard, N. & Courville, A. C. Estimating or propagating gradients through stochastic neurons for conditional computation. Preprint at (2013). http://arxiv.org/abs/1308.3432 Almahairi, A. et al. Dinamiskie jaudas tīkli. In Proc. 33. starptautiskā konference par starptautisko mašīntulkošanas konferenci Vol. 48, 2091–2100 (PMLR, 2016). Elbayad, M., Sun, A. & Bhosale, S. Fixing MoE over-fit on low-resource languages in multilingual machine translation. In Findings of the Association for Computational Linguistics: ACL 2023 (eds Rogers, A. et al.) 14237–14253 (ACL, 2023); https://aclanthology.org/2023.findings-acl.897. Rei, R., Stewart, C., Farinha, A. C. & Lavie, A. COMET: neironu sistēma MT novērtēšanai. In Proc. 2020 Konference par empīriskajām metodēm dabiskās valodas apstrādē (EMNLP) (eds Webber, B. et al.) 2685–2702 (ACL, 2020). Sellam, T., Das, D. & Parikh, A. BLEURT: learning robust metrics for text generation. In (eds Jurafsky, D. et al.) 7881–7892 (ACL, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Post, M. A Call for Clarity in Reporting BLEU Scores. In (eds Bojar, O. et al.) 186–191 (ACL, 2018); . Proc. Third Conference on Machine Translation: Research Papers https://aclanthology.org/W18-6319 Graham, Y., Baldwin, T., Moffat, A. & Zobel, J. Nepārtrauktas mērīšanas skalas mašīntulkošanas cilvēka novērtēšanā. Proc. NLLB Team et al. Nav valodas, kas paliek aiz: mēroga cilvēka centrēta mašīntulkošana. GitHub https://github.com/facebookresearch/fairseq/tree/nllb (2022). Acknowledgements Mēs novērtējām FLLL pārskatītājus un vadījām sadarbības partnerus, kas palīdzēja izveidot projektu: C. Baziotis, D. Dua, A. Guo, O. Ignat, A. Kamran, T. Mohiuddin, A. N. Rubungo, S. Sun, S. Tan, H. Xu, S. Wu un Y. Zhang. Mēs esam pateicīgi visiem Wikimedia fonda darbiniekiem un brīvprātīgajiem, kas ar mums strādāja un sniedza noderīgu atgriezenisko saiti par mūsu projektu. Mēs pateicamies V. Chaudhary par palīdzību ar cilvēka datu cauruļvadu; E. Grave par viņu palīdzību ātri izteikt atgriezenisko saiti visās FLORES-200 valodās; M. Diab par viņas darbu pie XSTS; L. Specia par viņas atgriezenisko This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on nature Šis dokuments ir under CC by 4.0 Deed (Attribution 4.0 International) license. available on nature