Unutar AI koji prevodi 200 jezika, čak i onih s gotovo nikakvim podacima

Autori : NLLB tim Marta R. Costa-jussà James Cross Onur Çelebi Maha Elbayad Kenneth Heafield Kevin Heffernan Elahe Kalbassi Janice Lam Daniel Licht Džejn Majlard Ana Sun Skyler Wang Guillaume Wenzek Al Youngblood Bapi Akula Loic Barrault Gabriel Mejia Gonzalez Prangthip Hansanti John Hoffman Semarley Jarrett Kaushik Ram Sadagopan Dirk Rowe Shannon Spruit Chau Tran Pierre Andrews Necip Fazil Ayan Shruti Bhosale Sergey Edunov Angela Fan Cynthia Gao Vedanuj Goswami Francisco Guzmán Philipp Koehn Alexandre Mourachko Christophe Ropers Safiyyah Saleem Holger Schwenk Jeff Wang Autori : NLLB Team Marta R. Kostarika Džejms Kros Čestitke Čelebi Uslovi korišćenja Ključne reči Kenneth Heafield Kejt Heffernan Uslovi korišćenja Dženifer Lam Danijel Svetlo Džejn Majlard Ana Sun Vlasnik Wang Vučić Wenzek Al Mladić Akupunktura Loic Barrault revija Gabrijel Mejia Gonzalez Uslovi korišćenja Džon Hoffman Semarli Džarret Kašik Ram Sadagopan Dirk Rowe Šanone Spruit Čačak Tran Pjer Andrews Necip Fazil Ajan Šruti Bhosale Sergej Edunov Anđela Fan Cinthija Gao Vedanuj Goswami Francuska Guzman Filip Koehn Aleksandar Muraško Krištof Ropers Safija Saleem Holger Švenk Džejf Vang Abstrakcija Razvoj neuronskih tehnika otvorio je nove putove za istraživanje u strojnom prevođenju. Danas, neuronski strojni prevod (NMT) sustavi mogu iskoristiti visoke višejezične kapacitete i čak izvršiti prevođenje nultog udara, pružajući obećavajuće rezultate u pogledu jezičnog pokrića i kvaliteta. Usredotočavanje na poboljšanje kvaliteta prijevoda relativno male grupe jezika visokih resursa dolazi na štetu usmjeravanja istraživačke pažnje na jezike niskih resursa, što dugoročno pogoršava digitalne nejednakosti.Da bismo razbili ovaj uzorak, ovde uvodimo No Language Left Behind – jedan masivno višejezični model koji iskorištava transfer učenje među jezicima. , , , , , , koje smo obučavali na podacima dobivenim novim tehnikama rudarstva prilagođenim jezicima s niskim resursima. Nadalje, osmislili smo višestruke arhitektonske i obučavajuće poboljšanja za suzbijanje preopterećenja dok smo obučavali na hiljadama zadataka. Ocijenili smo performanse našeg modela preko 40.000 smerova prevođenja koristeći alate stvorene posebno za tu svrhu – automatsku referentnu oznaku (FLORES-200), metriku ljudske evaluacije (XSTS) i detektor toksičnosti koji pokriva svaki jezik u našem modelu. U poređenju s prethodnim najmodernijim modelima, naš model postiže prosječno 44% poboljšanje kvalitete prevođenja kako ga mjeri BLEU. 1 2 3 4 5 6 7 Glavni Nedavni dolazak neuronskog mašinskog prevođenja (NMT) gurnuo je tehnologije prevođenja na nove granice, ali njegove prednosti su nejednako raspodijeljene Velika većina napravljenih poboljšanja uglavnom su koristila jezike visokih resursa, ostavljajući za sobom mnoge jezike niskih resursa. (U svrhu našeg istraživanja, definišemo jezik visokih resursa kao jezik za koji imamo najmanje 1 milion rečenica usklađenih tekstualnih podataka (ili bit-teksta) s drugim jezikom). Ova razlika bi u velikoj mjeri mogla biti pripisana nedostatku podataka: NMT modeli obično zahtijevaju velike količine podataka za proizvodnju kvalitetnih prijevoda i, po definiciji, ti obujmi nisu dostupni za jezike niskih resursa. Projekt No Language Left Behind (NLLB-200) nastoji prevladati ovo ograničenje iskoristeći ranije nepoznate pristupe za izgradnju masivno multilingualnih modela sa sposobnostima prek , , čime se omogućuje povezanim jezicima da uče jedni od drugih , , . 1 8 9 1 10 11 Sada je široko priznato da su višejezični modeli pokazali obećavajuće poboljšanje performansi u odnosu na bilingvne modele. Međutim, ostaje pitanje da li masovno višejezični modeli mogu omogućiti predstavljanje stotina jezika bez kompromisa u pogledu kvalitete. Naši rezultati pokazuju da udvostručavanje broja podržanih jezika u strojnom prijevodu i održavanje kvalitete izlaza nisu međusobno isključivi napori. Naš konačni model – koji uključuje 200 jezika i tri puta više jezika s niskim resursima nego onih s visokim resursima – u prosjeku radi 44% bolje od prethodnih najsavremenijih sistema. 12 Prvo, u poređenju s njihovim kolegama visokih resursa, podaci o obuci za jezike niskih resursa su skupi i logistički izazovni za nabavku , , Javno dostupni digitalni resursi su ili ograničeni u volumenu ili teško za automatizovane sisteme da detektuju (posebno u velikim javnim mrežnim skupovima podataka kao što je CommonCrawl). Bez obzira na to da li je prikupljanje kritične mase podataka o semenima prevedenih od strane čoveka neophodno, dovoljno prikupljanja podataka ovisi o masovnom rudarenju podataka i monolingualnim podatkovnim kanalima , , , Potonje tehnike su često pod utjecajem buke i predrasuda, čime validiranje kvaliteta skupova podataka koje stvaraju dosadno U NLLB-200, pokazujemo da je tehnika kodiranja rečenica zasnovana na destilaciji, LASER3 (ref. ), olakšava efikasno rudarenje paralelnih podataka za jezike s niskim resursima. 13 14 15 16 17 18 19 20 21 Drugo, na strani modeliranja, koristimo skup semena, rudarenih, otvorenog koda i back-prevedenih skupova podataka za obuku višejezičnih modela uslovnog računanja (konkretnije, modela Šprsely Gated Mixtures-of-Experts). , , , , , koji omogućuju prekogranični prijenos između srodnih jezika bez povećanja ometanja između nesrodnih jezika). Pokazujemo kako možemo postići najsavremenije performanse uz optimalniju kompromis između prekograničnog prijenosa i ometanja, i poboljšati performanse za jezike s niskim resursima. 2 3 4 5 6 7 Konačno, u svrhu evaluacije kvalitete, stvorili smo FLORES-200 – masivnu višejezičnu referentnu vrednost koja omogućuje mjerenje kvaliteta prevoda u bilo kojem od oko 40.000 pravaca prevoda obuhvaćenih modelima NLLB-200. Pored automatske metrike, stvorili smo i Cross-lingual Semantic Text Similarity (XSTS) i Evaluation of Toxicity (ETOX). XSTS je protokol za ljudsku evaluaciju koji pruža dosljednost među jezicima; ETOX je alat za otkrivanje dodatne toksičnosti u prevodima koristeći listi reči toksičnosti. Pored stvaranja ovih modela, takođe razmišljamo o potencijalnom društvenom uticaju NLLB-a. Da bismo pojačali praktičnu primjenjivost našeg rada u službi zajednica s niskim resursima, pružamo sve referentne vrednosti, podatke, kod i modele opisane u ovom naporu kao resurse koji su slobodno dostupni za nekomercijalnu upotrebu ( ) (vidjeti izjave o dostupnosti podataka i koda za detalje). https://github.com/facebookresearch/fairseq/tree/nllb Automatsko kreiranje podataka o obuci prevođenja Trenutačne tehnike koje se koriste za obuku modela prevođenja teško je proširiti na podešavanja sa niskim resursima, u kojima su usklađeni bilingualni tekstualni podaci (ili bitne tekstualne podatke) relativno rijetki. Mnoge jezike sa niskim resursima podržavaju samo mali ciljani bitni tekstovi koji se uglavnom sastoje od prijevoda kršćanske Biblije. , koji pruža ograničenu domensku raznolikost. 22 23 Da bismo izgradili veliki skup podataka o paralelnoj obuci koji pokriva stotine jezika, naš pristup se usredotočuje na proširenje postojećih skupova podataka prvo prikupljanjem ne-izravnanih monolingualnih podataka. Zatim smo koristili metru sličnosti semantičkih rečenica kako bismo vodili veliki napor za rudarenje podataka s ciljem identifikacije rečenica koje imaju veliku vjerojatnost da će biti semantički ekvivalentne na različitim jezicima. . 18 Jezična identifikacija za monolingualno prikupljanje podataka Prikupljanje monolingualnih podataka na skali zahtijeva sistem za identifikaciju jezika (LID) koji precizno klasificira tekstualne resurse za sve NLLB-200 jezike. , ostaje otvoren izazov za web podatke , Konkretno, pitanja se spajaju oko neusklađenosti domena Slična jezična nedvosmislenost i uspešno masovno višejezično skaliranje . 24 25 26 26 27 28 Posvećena pažnja na unapređenje tehnika LID dovelo je do primetnog povećanja obuhvaćanja jezika i točnosti tijekom vremena. CLD3 ( i brzi tekst su dva lako dostupna modela koji nude visoke performanse detekcije za 107 i 187 jezika, odnosno. , izvještaj još veću pokrivenost – 464 i 1,366 jezika, odnosno. skale LID performanse do 1,629 jezika koristeći liste reči i samonadzor za bootstrap trening podataka pronađenih na internetu. Međutim, ovi pristupi koristeći pronađene podatke pate od neravnoteže domena. To jest, jer dostupne tekst domene variraju po jeziku, klasifikatori zbližavaju različite domene s različitim jezicima. https://github.com/google/cld3 29 30 31 32 U našem radu, mi smo kurirali FLORES-200 za upotrebu kao razvojni set tako da naš LID sistem performanse Naš pristup kombinira model brzog teksta zasnovan na podacima koji su obučeni na FLORES-200 sa malim skupom ručno napisanih pravila za rješavanje ljudskih povratnih informacija o greškama klasifikacije. i uključuju jezičke filtere za ublažavanje učenja lažnih korelacija zbog buke uzoraka obuke dok modeliranje stotine jezika. 33 34 Usporedimo naš LID model sa tri javno dostupna modela: CLD3, LangId ( ) i dugotrajno Detekcija ( • stol izvješćuje o performansama na tri kaskadna skupa jezika koji se kreću uz NLLB-200: (1) 51 jezik koji podržava LangId, LangDetect i CLD3; (2) 78 jezika koje podržava LangId i CLD3; (3) 95 jezika koje podržava CLD3. Također izvješćujemo o false-pozitivnim stopama (FPR) kako bi se odrazio uticaj lažnih pozitivnih na nevidljive jezike. Naši rezultati pokazuju da je naš model opremljen za rukovanje svih 200 jezika koji se nalaze u FLORES-200, dok postiže značajno veće performanse od LangId, LangDetect i CLD3. Nadalje, dobitak u ocjeni F1 je popraćen značajnim poboljšanjem u FPR-u, što sugerira mnogo snažnije prilagođavanje dodatnim jezicima sa niskim resursima iz web . https://github.com/saffsd/langid.py https://pypi.org/project/langdetect/ 1 32 Rudarstvo za Bitext Prethodni radovi napominje da se kvaliteta prevoda općenito povećava s količinom visokokvalitetnih podataka o obuci, što je teško dobiti kada se radi s jezicima s niskim resursima. Postojeći paralelni korpora za jezike s niskim resursima često su prikupljeni iz poznatih višejezičnih zbirki, kao što su hrišćanska Biblija ili publikacije multinacionalnih organizacija, koje su ograničene u količini i domenu. Da bismo prevladali ovaj problem, stvorili smo skupove podataka o obuci kroz globalno rudarenje bitne teksta u javno dostupnom web sadržaju (izvučeni iz repozitorija kao što je CommonCrawl). Osnovna ideja našeg pristupa rudarenju bitne tekste je prvo naučiti višejezični rečenik koji ugrađuje prostor i koristiti mjeru slič 35 Budući da naš pristup rudarstvu zahtijeva višejezični prostor za ugradnju, postoji nekoliko izazova kada se ova reprezentacija proširuje na sve jezike NLLB-200. Prvo, morali smo osigurati da su svi jezici dobro naučeni i da smo uzeli u obzir velike neravnoteže u dostupnim podacima o obuci. Drugo, obuka masivno višejezičnog kodera rečenica od nule svaki put kada se uvede novi skup jezika je računovodstveno skupo. Nadalje, glavni nedostatak ovog pristupa je da učeni prostori za ugradnju iz svakog novog modela nisu nužno međusobno kompatibilni. To može učiniti rudarstvo intractable kao za svaki novi koder, cijeli dostupni monolingualni podaci moraju biti ponovno ugradjeni (na primjer, za samo engleski, to znači hil koji proširuje LASER ugrađeni prostor na sve NLLB-200 jezike. Jezici se obučavaju ili kao pojedinačni studenti ili zajedno sa jezicima iz iste porodice. Obuka studenata slijedi pristup opisan u ref. . 21 36 21 Naš pristup omogućuje nam da se fokusiramo na specifičnosti svakog jezika dok iskoristimo povezane jezike, što je ključno za rješavanje problema sa jezicima sa vrlo niskim resursima. (Jezik je definisan kao jezik sa vrlo niskim resursima ako ima manje od 100.000 uzoraka u svim parovima sa bilo kojim drugim jezikom u našem skupu podataka). ), uveo je značajna poboljšanja u kvalitetu prijevoda – posebno, +12.5 chrF++ (ref. ) za prevođenje jezika sa vrlo niskim resursima na engleski. Za više detalja, pogledajte Dodatne informacije . 37 38 D Modeliranje Čak i uz znatno povećanje volumena podataka, glavni izazov prevoda sa niskim resursima je da modeli za obuku adekvatno predstavljaju 200 jezika, dok se prilagođavaju varijabilnom kapacitetu podataka po jezičnom paru. Modeli MoE transformatora se razlikuju od modela gustih transformatora po tome što su neki od mrežnih slojeva koji se prenose unaprijed zamijenjeni MoE slojevima u oba enkodera i dekodera. stručnjaci (svaki je feed-forward mreža) i mreža gating da odluči kako usmjeriti ulazne žetone stručnjacima. model transformatora kodera-dekodera, dopunjen MoE slojevima i njihovim mrežama gating, uči kako usmjeriti ulazne žetone na odgovarajuća dva najbolja stručnjaka optimiziranjem linearno ponderirane kombinacije križnog entropije i pomoćno opterećenje balansiranje gubitaka . E 39 6 Pronašli smo da su modeli Vanilla MoE sa ukupnim odustajanjem suboptimalni za jezike s niskim resursima i značajno su nadmašeni na parovima s niskim resursima. Da bismo ispravili ovaj problem, dizajnirali smo Expert Output Masking (EOM), strategiju regularizacije specifičnu za MoE arhitekture, i usporedili je sa postojećim strategijama regularizacije, kao što je Gating Dropout Pronalazimo da Gating Dropout radi bolje od vanile MoE sa ukupnim odustajanjem, ali je nadmašen od EOM. 40 Kako bismo dodatno smanjili prekomjernu opremu na jezikovnim parovima s niskim resursima, osmislili smo kurikulum učenja koji uvodi jezikovne pare u fazama tokom modeliranja. Updates su uvedeni sa ažuriranja pre završetka obuke. Ovo smanjuje prekomjernu opremu, dok dozvoljava parovima koji imaju koristi od dodatne obuke da nastave učenje. pokazuje da kombiniranje učenja iz kurikula i EOM poboljšava performanse, posebno na jezikovnim parovima s niskim i vrlo niskim resursima (vidjeti odjeljak „Modelacija“ za više detalja). K K 2 Da bismo razumeli kako su MoE modeli korisni za višejezični mašinski prevod, vizualizujemo sličnosti stručnjaka u MoE slojevima koristeći toplinske mape (Slik. Ove toplinske mape pokazuju da u kasnim slojevima dekodera (Slika. ), jezici se razdvajaju (tj. šalju se različitim skupovima stručnjaka). Štoviše, primjećujemo da su jezici unutar iste porodice vrlo slični u njihovom izboru stručnjaka (tj. kasni slojevi dekodera MoE su jezički specifični). Ovo je posebno slučaj za arapske dijalekte (šest redova i kolona u gornjem levom uglu), jezike u Benue-Congo podgrupaciji, kao i jezike u Devanagari skriptu. Kasni Encoder MoE slojevi su posebno jezik-agnostički u načinu na koji oni usmjeravaju žetone kao što se može potvrditi jedinstvenom toplinskom mapom u Fig. . 1a – d 1 d 1C 1b Fig. 1: Cosine similarity scores between languages at different layers of the encoder–decoder architecture. Korišćenje – U prvom slučaju ( i na kraju ( ) кодира слојеве, а затим први ( i na kraju ( Sličnost se mjeri u odnosu na odluke gating (izbor stručnjaka) po jeziku (izvorna strana kodera i ciljna strana dekodera).Svetlije boje predstavljaju veću sličnost stručnjaka, stoga, jezik-agnostičku obradu. a d a b c d Kombiniranje podataka (vidjeti odjeljak ‘ ’) i modeliranje doprinosa, tabela pokazuje da NLLB-200 nadmašuje najbliži state-of-the-art sistem za gotovo +7.3 spBLEU (ref. ) u prosjeku, što predstavlja poboljšanje od 44%. Zatim smo uporedili NLLB-200 sa nekoliko drugih najsavremenijih modela, kao što je Deepnet i M2M-100 (ref. Na ovom manjem podskupu, NLLB-200 opet nadmašuje prosečno za +7.0 spBLEU. Ukupno, rezultati pokazuju da NLLB-200 poboljšava na najsavremenijim sistemima za značajnu maržu uprkos podršci za 200 jezika, ili dvostruko više jezika (i više od 30.000 dodatnih smjerova) u poređenju sa bilo kojim prethodnim radom. Također pokazujemo u dodatnim eksperimentima da je NLLB-200 model opće namjene NMT, prenosiv na druge domene fin-tuningom na malim količinama visokokvalitetnih bitova (vidjeti Dodatne informacije) U svakom slučaju) Automatsko kreiranje podataka o obuci prevođenja 3 41 42 1 E3 Preduzetništvo Procene Među mnogim aspektima performansi modela koji se mogu procijeniti , ovaj odjeljak naglašava tri aspekta koji imaju značajan uticaj na cjelokupnu procjenu kvalitete: referentne točke za automatsku procjenu, protokole za procjenu kod ljudi i procjenu toksičnosti. 43 Referentna vrednost za automatsku evaluaciju pomoću FLORES-200 Kvalitet NMT izlaza obično se procjenjuje automatskim metrikama kao što je BLEU ili SPBLEU Izračunavanje automatskih ocjena kvaliteta pomoću ovih metrika zahtijeva referentne skupove podataka koji pružaju ljudske prijevode zlatnog standarda kao reference. S druge strane, evaluacija različitih pristupa koje omogućuju ovi referentni skupovi podataka od jabuke do jabuke daje nam bolji uvid u ono što zahtijeva daljnje istraživanje i razvoj. dovelo do brzog napretka u pravcima prevoda kao što su engleski na njemački i engleski na francuski. 44 41 45 Za masivno višejezični NMT, najveći dostupni referentni skup podataka bio je FLORES-101, koji podržava otprilike polovicu broja jezika u NLLB-200. Potrebno proširenje programa FLORES-101 na FLORES-200 predstavlja dodatni izazov u pogledu osiguranja kvalitete, dijelom zbog razlika u praksama standardizacije i ograničenog pristupa profesionalnim prevodiocima za sve uključene jezike. Da bismo prevazišli ovaj izazov, prilagodili smo naš tok posla kako bismo posvetili posebnu pažnju mehanizmima osiguranja kvalitete. Radni tok FLORES-200 sastoji se od četiri faze: (1) usklađivanje; (2) prevođenje, početno osiguranje kvalitete i iteracije; (3) konačno osiguranje kvalitete; i (4) završetak jezika. Set FLORES-200 smatra se spremnim nakon Kao rezultat ovog redizajniranog radnog toka, proizvedeni smo tri-split (dev, devtest, test) skup podataka paralelnih ljudskih referentnih prijevoda za sve jezike NLLB-200 koji zadovoljavaju prag kvalitete od 90% u maksimalnom vremenu okretanja od 287 dana (119 dana u prosjeku, 70 dana minimalno). (Zapamtite da smo, kako bismo izbegli curenje sa našim modelima, filtrirali podatke iz FLORES-a i drugih referentnih vrednosti za evaluaciju koje se koriste (kao što su WMT i IWSLT) iz naših podataka o obuci. za više detalja o procesu evaluacije. slika prikazuje ocjene kvalitete za sve jezike, od kojih su neki označeni kao primjeri. C 2 Fig. 2: Quality of FLORES-200. Korišćenje Ocene osiguranja kvaliteta za jezike u FLORES-200. Minimalni prihvatljivi standard je 90%. Reliable human evaluation Najmodernije automatske metrike često ne uspijevaju da uhvate aspekte jezika koji, iako su suptilni, mogu imati značajan utjecaj na kvalitet prevoda. To je rekao, oslanjajući se na njih dolazi s dva izazova: (1) svaka velika ljudska procjena kvalitete NMT-a, bez obzira na broj prevođenih smjerova uključenih, bori se s potencijalno niskim međusobnim sporazumom evaluatora (u blizini 0,5 kappa); i (2) masivno višejezični NMT uvodi drugu složenost – to je dosljednosti procjene kvalitete preko jezičnih smjera. , nova metrika ocenjivanja usredotočena na značenje i pomoću protokola koji omogućuje kalibraciju rezultata preko evaluatora i jezičnih para. 46 47 XSTS je protokol za ljudsku procjenu inspirisan STS-om , naglašavajući očuvanje značenja nad tekućinom. XSTS koristi petostruku skalu, u kojoj 1 predstavlja najnižu ocjenu, a 3 predstavlja prag prihvatljivosti. Kako bi se osigurala dosljednost ne samo među jezicima, već i među različitim evaluatorima bilo kojeg datog jezika, uključili smo isti podskup parova rečenica u punu skupinu parova rečenica datih svakom evaluatoru, što je omogućilo kalibraciju rezultata. 48 Pronalazimo da automatizovane metrike kao što su spBLEU i chrF++ koreliraju prilično dobro sa kalibriranim ljudskim evaluacijama kvalitete prevoda, kao što je prikazano na slici. Spearmanova Koeficijenti korelacije između agregiranih XSTS i spBLEU, chrF++ (korpus) i chrF++ (prosečna razina rečenice) su 0,710, 0,687 i 0,694, odnosno. Za Pearsonove Corpus spBLEU pruža najbolju nominalnu korelaciju, nakon čega slijedi prosječna razina rečenice chrF++. 3 R τ R Fig. 3: Correlations between aggregated human quality scores and automated metrics. , Odnos između spBLEU i XSTS. , The relationship between chrF++ and XSTS. , The relationship between average sentence-level chrF++ and XSTS. All automated scores were computed only on the sentences evaluated for a given model and translation direction (either the full FLORES-200 dataset or a subset). NLLB-200 refers to a 55B parameter MoE model, and NLLB-200 Baseline refers to a dense 3.3B parameter model. a b c Full size image Takođe smo otkrili da su kalibrirani rezultati ljudske evaluacije snažnije povezani sa automatizovanim rezultatima nego ne-kalibrirani rezultati ljudske evaluacije u svim automatizovanim metrikama i izborima korelacijskog koeficijenta. correlation coefficient of 0.625, 0.607 and 0.611 for spBLEU, chrF++ (corpus) and chrF++ (average sentence-level), respectively. R Overall, a sample of 55 language directions were evaluated, including 8 into English, 27 out of English, and 20 other direct language directions. The overall mean of calibrated XSTS scores was 4.26, with 38/55 directions scoring over 4.0 (that is, high quality) and 52/56 directions scoring over 3.0. Mi pretpostavljamo da dodatna toksičnost može biti zbog prisutnosti toksičnosti u podacima o obuci i koristimo naše detektore da procenimo, konkretnije, neuravnoteženu toksičnost u podacima o bitesu. Otkrijemo da se procenjene razine neuravnotežene toksičnosti razlikuju od jednog korpusa bitesa do sledećeg i da neuravnotežena toksičnost može biti uvelike pripisana neravnoteženom bitesu. Kako bismo ublažili ovaj problem, dizajnirali smo postupak filtriranja bitnog teksta koji se temelji na detekciji višestrukih slučajeva dodatne toksičnosti (tj. slučajeva u kojima jedna rečenica u paru bitnog teksta sadrži najmanje dva više toksičnih predmeta od druge rečenice u paru). (Prijeđena analiza kvalitete detektora pokazala je da je u ovoj situaciji postignuta veća preciznost). Eksperimentalni rezultati na FLORES-200 dev setu za 10 smerova prevoda (od i na engleski za Somalski, Južni Sotho, Twi, Umbundu i Venecijanski) pokazuju da nakon filtriranja prosječne količine od oko 30% paralelnih rečenica, kvalitet prevoda (chrF++) poboljšava se za 5% a dodatna toksičnost (ETOX) smanjuje za istu količinu. Zaključak In 2016, the United Nations declared internet access a basic human right. Although the intent of this declaration was to limit censorship and allow for information and ideas to flow without interference, much of the internet today remains inaccessible to many due to language barriers. Our effort was designed to contribute one solution to help alter this status quo. For many low-resource language communities, NLLB-200 is one of the first models designed to support translation into or out of their languages. Although applications of these new translation capabilities could be found in several domains of everyday life, we believe their impact would be most significant in a domain such as education. In formal educational settings, for instance, students and educators belonging to low-resource language groups could, with the help of NLLB-200, tap into more books, research articles and archives than before. Within the realms of informal learning, low-resource language speakers could experience greater access to information from global news outlets and social media platforms, as well as online encyclopaedias such as Wikipedia. Access to machine translation motivates more low-resource language writers or content creators to share localized knowledge or various aspects of their culture. Giving individuals access to new translation tools could thus open up opportunities for bidirectional learning, thereby also challenging Western-centric modes of knowledge production and dissemination, ultimately aiding in revitalizing certain minority cultures and languages. Since launching NLLB-200, we can already see the impact of the model across many directions. Four months after the launch of NLLB-200, Wikimedia reported that our model was the third most used machine translation engine used by Wikipedia editors (accounting for 3.8% of all published translations) ( ). Compared with other machine translation services and across all languages, articles translated with NLLB-200 has the lowest percentage of deletion (0.13%) and highest percentage of translation modification kept under 10%. https://web.archive.org/web/20221107181300/https://nbviewer.org/github/wikimedia-research/machine-translation-service-analysis-2022/blob/main/mt_service_comparison_Sept2022_update.ipynb In many ways, the composition of the NLLB-200 effort speaks to the centrality of interdisciplinarity in shaping our vision. Machine translation and AI advancements lie at the intersection of technological, cultural and societal development, and thus require scholars with diverse training and standpoints to fully comprehend every angle , . It is our hope that in future iterations, NLLB-200 continues to include scholars from fields underrepresented in the world of machine translation and AI, particularly those from humanities and social sciences backgrounds. More importantly, we hope that teams developing these initiatives would come from a wide range of race, gender and cultural identities, much like the communities whose lives we seek to improve. 49 50 Finally, we want to emphasize that overcoming the challenges that prevent the web from being accessible to speakers of all languages requires a multifaceted approach. At the technical level, NLLB-200 overcomes many data, modelling and evaluation challenges in NMT research, but it still has its limitations, some of which are documented in Supplementary Information . As a single technological intervention, NLLB-200 is all but one piece of a massive puzzle; policy interventions aimed at more fundamental issues surrounding education, internet access and digital literacy are imperative to eradicate the structural problem of language disparities. G Methods Data This section describes the steps taken to design our language identification system and bitext mining protocol. Language identification Za obuku modela za identifikaciju jezika koristimo fasttext , , which has been widely used for text classification tasks because of its simplicity and speed. We embedded character-level -grams from the input text and leveraged a multiclass linear classifier on top. The lightweight nature of fasttext enables our LID models to handle web-scale data. Furthermore, a linear model has the benefit of being easily explainable, allowing us to trace any classification error back to its root cause. This is instrumental in addressing common pitfalls that arise when detecting language on web corpora . 33 51 n 32 Classifier design Mi smo eksperimentirali sa dva različita dizajna. Prvo, koristili smo kombinaciju višestrukih binarnih klasifikatora u kojima je konačna odluka dobijena odabirom jezika s najvišim rezultatom nakon primjene pragova. Primijenili smo optimizaciju pragova tako da kada je povjerenje klasifikatora nisko, odgovarajući jezik se ne uzima u obzir za konačnu odluku. Rečenica je filtrirana ako nijedan od klasifikatora nije premašio njegov prag. Drugo, izgradili smo multiklasifikator koristeći softmax na svim mogućim jezicima. U ovom slučaju, optimizacija pragova se obavlja nakon softmax. Our results directed us to focus on the second approach, which offers several advantages. First, changing the threshold for one language did not affect the performance of the other (which is not true in the first setting). Second, this approach generalizes better to out-of-domain data, which is our primary use case (Wikipedia → web data). Finally, a single classifier has the added benefit of being computationally simpler, thus streamlining the language identification process. Training data and handling massive class imbalance Koristili smo javno dostupne skupove podataka za obuku našeg LID sistema, delimično pokrivajući naše jezike interesa. Javni skupovi podataka koji su raspoređeni uglavnom su izgrađeni sa web stranica kao što je CommonCrawl. ) for any missing languages. However, this supplementation is insufficient in ensuring balance in the raw training data , . For example, English alone represents 10.1% of our training data, whereas Minangkabau (Latin script) represents only 0.06%. Following ref. , mi smo eksperimentisali s višestrukim postavkama uzorkovanja temperature za nedovoljno zastupljene jezike, u kojima su rečenice iz jezika representing per cent of the data set are sampled proportionally to . Optimal performance was obtained at 1/ = 0.3 (for more details, see section 5.1 of ref. ). B 32 30 10 l pl T 34 Training parameters Our best-performing model was trained with softmax loss over two epochs with a learning rate of 0.8 and embeddings with 256 dimensions. We discarded words with less than a thousand occurrences after upsampling and selecting a minimum and maximum character -gram length of two and five, respectively (which were assigned a slot in buckets of size 1,000,000). (In fasttext, we refer to ‘word’ when it is separated by spaces. When it is a non-segmenting language, there is only one ‘word’ for the whole sentence (and we take character Svi hiperparametri su prilagođeni na FLORES-200 dev (vidjeti odjeljak 5.1.2 ref. ). n n 34 Improving LID with linguistic analysis Language identification is a challenging task in which numerous failure modes exist, often exacerbated by the gaps between the clean data on which LID models are trained and noisy data on which LID models are applied. In other words, LID models trained in a supervised manner on fluently written sentences may have difficulty identifying grammatically incorrect and incomplete strings extracted from the web. Furthermore, models can easily learn spurious correlations that are not meaningful for the task itself. Given these challenges, we collaborated closely with a team of linguists throughout different stages of LID development to identify proper focus areas, mitigate issues and explore solutions (see section 5.1.3 of ref. U svakom slučaju) 34 Bitext mining The overall approach for bitext mining focused on starting with a massively multilingual sentence encoder teacher model and adapting it to several different low-resource student models. This approach enabled us to add low-resource languages without competing with high-resource languages for capacity. Doing so circumvents the need to retrain the entire model from scratch while maintaining compatibility with the multilingual embedding spaces for subsequent mining. Extended data Fig. summarizes the overall architecture of the teacher–student approach. The teacher, LASER2, is an improved version of the open-source LASER encoder ( ). The original training procedure was adapted to include SentencePiece tokenization (including a vocabulary of 7,000 tokens) and the upsampling of low-resource languages. 1 https://github.com/facebookresearch/LASER 36 The architecture of the five-layer BiLSTM encoder and the max pooling method to obtain sentence embeddings were left unchanged. The training was then performed on the same 93 languages with public resources obtained from OPUS Ovo je ref. za detalje o originalnoj proceduri obuke LASER. Obuka studenata slijedila je pristup opisan detaljnije u ref. , sažeto ispod: 52 36 21 students specialized in one language or several similar languages; studenti su bili slučajno inicijalizirani jer smo željeli da se bavimo jezikom s niskim resursima za koji nismo imali model jezika koji je bio unaprijed obučavan; students may have a dedicated SentencePiece vocabulary different from the teacher to better accommodate scripts and tokens in the student languages; as we used cosine distance for bitext mining (Fig. ), students learnt to minimize the cosine loss with the teacher; 1 students can have an MLM loss to leverage student language monolingual data (Fig. ). 1 Parametri obuke Our student encoders used a 12-layer transformer with a hidden size of 1,024, four attention heads, and around 250 million parameters. All students were trained with available bitexts in their respective language, complemented by 2 million sentences of English/English and English/Spanish. The motivation behind this approach is to anchor the students to the English embedding space, increasing robustness by including English/Spanish bitexts from CCMatrix and allowing for the joint learning of new languages. This technique is particularly useful when only limited amounts of bitexts are available to train the students. Teacher–student training was performed on 16 GPUs, the ADAM optimizer, a learning rate of 0.0005 and a batch size of 10,000. We trained student encoders for 148 languages and named these models LASER3. Proxy metric for new encoders Mined bitexts were subsequently used to improve translation quality for the languages of NLLB-200. However, mining and NMT training are computationally expensive, and it is intractable to perform this evaluation systematically for many different sentence encoder variants. As an evaluation proxy, we used a mining-based multilingual similarity search error rate, referred to here as xsim. In contrast to cosine accuracy, which aligns embeddings based on the highest cosine score, xsim aligns source and target embeddings based on the highest margin score, which has been shown to be beneficial in mining . The margin-based score is defined as 53 where and su izvor i ciljne rečenice, i ( ) denotes the Najbliži susjedi in the other language. We set Svi rezultati xsim se izračunavaju na FLORES-200 devtest, koristeći omjer marže, gde marža ( , ) = / Osim toga, sve ocene se izračunavaju za prijevode na engleski (tj. xxx → eng). Engleski je kodiran od strane nastavnika, a drugi jezik je kodiran od strane LASER3 učenika. Da bi se olakšalo daljnje istraživanje koristeći xsim, mi takođe pružamo ovu metodu evaluacije kao otvoreni izvorni resurs ( ). x y NNK x k x k a b a b https://github.com/facebookresearch/LASER/ Evaluacija kodera od kraja do kraja Nakon što smo identificirali najbolji kodirnik rečenice za svaki jezik koristeći ocene xsim, izveli smo rudarenje, dodali rudarenje podataka postojećim bitnim tekstovima i obučavali bilingvni NMT sistem. početni eksperimenti pokazali su da prag na marži od 1.06 čini se da je najbolji kompromis između preciznosti i opoziva za većinu jezika. Za ove NMT osnovne linije, ne primenjujemo dodatnu filtraciju na bitnim tekstovima i to ostavljamo na postupak obuke našeg masivno višejezičnog NMT sistema. Nismo pokušali da optimizujemo arhitekturu i parametre bilingualnih NMT sistema prema karakteristikama svakog jezičnog para, već smo koristili istu arhitekturu za sve. Stoga, prijavljeni rezultati ne bi trebali biti tumačeni kao najbolji mogući s obzirom na raspoložive resurse – oni su uglavnom predviđeni za validaciju rudarenih bitexta. Koristili smo 12 slojeva kodera i dekodera i obučeni za 100 epoha. Štoviše, tražili smo najbolje performanse na FLORES-200 razvojnom setu i izvijestili detokenizovali BLEU na FLORES-200 devtest. Modelling In this section, we first describe the multilingual machine translation task setup, which includes tokenization and base model architecture. Then, we outline how we leveraged conditional computation for massively multilingual machine translation with EOM regulation and our Curriculum Learning (CL) strategy for low-resource languages. Task setup We modelled multilingual NMT as a sequence-to-sequence task, in which we conditioned on an input sequence in the source language with an encoder and generated the output sequence in the expected target language with a decoder Uz izvornu rečenicu , source language S, i ciljni jezik t in hand, we trained to maximize the probability of the translation in the target language —that is, ( ∣ U pitanju je za s, t). Below, we discuss details of the (1) tokenization of the text sequences in the source and target languages; and (2) model architecture with the input and output designed specifically for multilingual machine translation. For further details on the task setup, such as the amount of training data per language pair, please refer to Supplementary Information or section 8 of ref. . 54 S ℓ ℓ T P T S ℓ ℓ F 34 Segmentation with SentencePiece To tokenize our text sequences, we trained a single SentencePiece model (SPM) for all languages. We sampled a total of 100 million sentences from primary bitext data. To ensure low-resource languages are well-represented in the vocabulary, we downsampled high-resource and upsampled low-resource languages with a sampling temperature of five (ref. ). Notably, vocabulary size is an important hyperparameter in multilingual translation models involving low-resource languages , , Vokabular našeg obrazovanog SPM modela je 256.000. Takav veliki vokabular osigurava adekvatnu reprezentaciju širom širokog spektra jezika koje podržavamo. 55 10 56 57 58 Model architecture Naš višejezični model strojnog prevođenja od sekvencije do sekvencije zasnovan je na arhitekturi transformer encoder-decoder . The encoder transforms the source token sequence into a sequence of token embeddings. Then, the decoder attends to the encoder output and autoregressively generates the target sentence token by token. More precisely, the encoder takes the sequence of tokens = ( 1, …, ) and the source language s, i proizvodi sekvencu ugrađivanja = ( 1, …, ), which are then provided to the decoder with the target language t to produce the target tokens U pitanju je ( 1, ... ) sequentially. In sum, 59 W w Sv ℓ H h hs ℓ V v vT Note that we prefixed the source sequence with the source language, as opposed to the target language, as done in previous work , To smo učinili zato što smo prioritizovali optimizaciju performansi nultog naleta našeg modela na bilo kojem paru od 200 jezika uz manji trošak nadgledanog performansi. Empirski, nalazimo da performanse nultog naleta imaju negativan uticaj kada se kodirnik uslovljava na ciljnom jeziku. Kada je izvor uslovljen samo na izvornom jeziku, kodirnik se bolje generalizira na pare izvornih i ciljnih jezika koje se ne susreću tokom obuke . 10 60 1 Uslovno računanje za višejezični mašinski prevod A massively multilingual translation (MMT) model uses the same shared model capacity to train on several translation directions simultaneously. While doing so can lead to beneficial cross-lingual transfer between related languages, it can also add to the risk of interference between unrelated languages , . MoE models are a type of conditional computational models , that activate a subset of model parameters per input, as opposed to dense models that activate all model parameters per input. MoE models unlock marked representational capacity while maintaining the same inference and training efficiencies in terms of FLOPs compared with the core dense architecture. 1 61 62 63 However, as we increase the model capacity and the computational cost per update, the propensity for low or very low-resource languages to overfit increases, thus causing performance to deteriorate. In this section, we examine how we can use Sparsely Gated Mixture of Experts models , , , , , postići optimalniju kompenzaciju između prekograničnog prijenosa i ometanja i poboljšati performanse za jezike s niskim resursima. 2 3 4 5 6 7 Sparsely gated mixture of experts To build our MoE models, we substitute a quarter of the encoder and decoder feed-forward network layers with MoE layers, each with Različiti stručnjaci. pratili smo top- -Gating algorithm in ref. and dispatched each token to at most = 2 experts. For more details on the training of MoE models, see Supplementary Information . E k 4 k E Stručnjak za maskiranje In this proposed regularization strategy, we masked the expert output for a random fraction ( eom) ulaznih žetona. Za ulazne žetone sa padom stručnih izlaza, prvi i/ili drugi stručnjak se efikasno preskoči. , we masked both experts for the first token ( 1 u crvenom), odlučio da ne prikrije nijedan od stručnih izlaza za drugi token ( 2 in blue) and in the final scenario, masked only one expert for the last token ( 3 u zelenom. p 2 x x x Curriculum učenja za MMT Orthogonal na model-side regularizacije metode kao što su dropout, istražili smo regularizaciju MMT modela pomoću CL. Predložili smo početak obuke s visokim parovima resursa prvo, a zatim uvođenje niskih parova resursa – skloni prekomjernim – u kasnijim fazama. bins { 1, …, Ukoliko is the total number of training updates, we introduced each bin Posle – u ažuriranja. Oslanjali smo se na to kada i koje smjernice treba dodati u svakoj fazi koraka kada smo promatrali par jezika koji je počeo da se nadopunjuje. za više o tome kako su smjerovi podijeljeni. vidjeti Dodatne informacije for the list of directions added at each stage. n b Brn T bi T ki 64 E2 Preduzetništvo Evaluations Automatic evaluation Many automatic translation quality assessment metrics exist, including model-based ones such as COMET i plava Iako su metrike zasnovane na modelima pokazale bolju korelaciju sa ljudskim sudom u nedavnim metrikama zajedničkih zadataka WMT-a U ovom radu, mi se oslanjamo na BLEU (i varijantu njega) i chrF++. Obje mere se temelje na ideji da se kvalitet prevoda može kvantificirati na osnovu toga koliko je sličan izlaz strojnog prevoda u usporedbi s onim koji proizvodi ljudski prevodilac. 65 66 43 Plava i plava Plavi rezultat has been the standard metric for machine translation evaluation since its inception two decades ago. It measures the overlap between machine and human translations by combining the precision of 1-grams to 4-grams with a brevity penalty. The main disadvantage of BLEU is that it is tokenization-dependent. Efforts such as sacrebleu su poduzeli korake ka standardizaciji, podržavajući upotrebu tokenizera standardne zajednice pod poklopcem. Međutim, ovi tokenizeri se ne proširuju na mnoge jezike. proposes spBLEU, a BLEU metric based on a standardized SentencePiece model (SPM) covering 101 languages, released alongside FLORES-101. In this work, we provide SPM-200 along with FLORES-200 to enable the measurement of spBLEU. (Our analyses demonstrate that there are minor differences between SPM-200 from FLORES-200 and SPM-100 from FLORES-101 when measuring on the FLORES-101 languages. The major advantage of SPM-200 is that it covers 200 languages. More details on SPM-200 are reported in section 8.1.1 of ref. U svakom slučaju) 44 67 41 34 Uslovi korišćenja + The chrF++ score prevazilazi ograničenje BLEU rezultata, što zahtijeva da rečenica može biti podijeljena u slovne žetone. Međutim, neki jezici, kao što su kineski ili tajlandski, ne koriste prostorije za odvajanje reči, a alati za segmentaciju reči možda nisu lako dostupni. Postoji i zabrinutost zbog visoko aglutinacijskih jezika u kojima BLEU ne pripisuje nikakav kredit morfološkim varijantama. chrF++ prevazilazi ove slabosti tako što temelji izračun preklapanja na nivou znakova gramova Uslovi poslovanja ( u rasponu od 1 do 6) i nadopunjujući se rečima unigrams i bi-grams. U ovom radu, mi smo uglavnom ocijenili koristeći chrF++ koristeći postavke iz sacrebleu. 38 n F n Metodologija ljudske evaluacije Prilikom izgradnje mašinskih prevodilačkih sistema za hiljade različitih parova jezika, ključno pitanje je koje parove dostižu određeni nivo kvaliteta. XSTS evaluation protocol Prilagodili smo nedavno predloženu XSTS metodologiju . In short, XSTS is a human evaluation protocol focusing on meaning preservation above fluency. See details on this protocol in Supplementary Information Za jezike s niskim resursima, prijevodi su obično lošeg kvaliteta, pa smo se više usredotočili na upotrebljive (tj. čuvajuće značenje) prijevode, čak i ako nisu u potpunosti tečni. uz 5-točkovnu skalu (izvorna izravna procjena koristi 100-točkovnu skalu), otkriveno je da XSTS daje viši sporazum između anotatora XSTS ocjenjuje svaku izvornu rečenicu i njezin strojni prevod na skali od 5 bodova, u kojoj je 1 najniža, a 5 najviša. 48 F 68 47 Calibration set To enable meaningful scores comparable across language pairs, we asked each evaluator to provide assessments using the XSTS scale on precisely the same set of sentence pairs. This aims to identify annotators who have a systematic tendency to be more harsh or generous in their scoring and correct for this effect. The calibration set consists of the machine translation output paired with the reference translation only in English. Based on how evaluators used the XSTS scale on this calibration set, we adjusted their raw scores on the actual evaluation task to ensure consistency across evaluators. Although this monolingual calibration task does not precisely mimic the bilingual XSTS task, it is a reasonable first approximation and has been shown to increase the correlation between human and automatic metrics primarily by reducing one source of ‘noise’ in the human evaluations—the lack of score calibration between annotators. Obtaining aggregated human quality metrics from multiple studies Da bismo dobili agregatnu metru ljudske kvalitete za svaki pravac jezika u studiji evaluacije, uzimamo ocjenu većine XSTS (tj. prosječna – prosječna ocjena) za svaku rečenicu i prosječno ove ocjene većine za sve ocenjene rečenice. s → T je l l gde s and t označava izvorni jezik i ciljni jezik; označava XSTS rezultat ocjenjivač koji ocjenjuje rečenice u određenom pravcu prevoda s → t for a source sentence Ciljna kazna ; označava ukupni broj evaluatora koji procjenjuju (izvor, prevod) par rečenica ( U pitanju je ) za pravac prevođenja s → t; is the set of (source, translation) sentence pairs being evaluated for translation direction s → T l l i l l S T S T l l l l Svaki ocjenjivač u određenoj studiji takođe je zatraženo da pruži ocjene za sve ili dijelove kalibracijskog skupa. , denotes the th source sentence in the calibration set for an evaluation study; U pitanju je , denotes the translated sentence corresponding to , ; and is the number of sentence pairs in the calibration set for an evaluation study. s SSS k k s Ts k Ss k Za svaki jezični pravac koji je ocijenjen u studiji, dobili smo većinski rezultat na kalibracionom setu kako slijedi: gde označava XSTS rezultat koji pruža th evaluator, za jezični pravac s → t, in study , for a given source sentence and a translated sentence , u kalibracionom setu studije. i l l s S T To obtain aggregated calibrated XSTS scores on the language direction level, we explored several different calibration methodologies. None of the calibration methods we investigated showed a marked difference in correlation with automated scores, and all calibration methodologies we explored provided superior correlation compared with uncalibrated XSTS scores. For more details on these calibration methodologies, see section 7.2 of ref. . 34 Dodano otkrivanje toksičnosti za 200 jezika Da bismo omogućili detekciju toksičnosti na skali, koristili smo detektor zasnovan na popisima reči.U ovom odjeljku pružamo više detalja o našoj definiciji toksičnosti i opisujemo detektor (ETOX) i povezane liste reči. Toksični sadržaji Owing to the subjective nature of toxicity, definitions of toxic language can vary. We included items that are commonly referred to as vulgar or profane language. (Note that vulgar or profane language is not always necessarily toxic. Some common slang, for instance, may be considered vulgar but is not necessarily toxic). Moreover, we also included items associated with depictions of pornographic content or sexual acts, some frequently used hate speech expressions and some expressions tied to bullying. We also included items, vulgar or not, referring to body parts that are commonly associated with sexual practices. Detektori ETOX We started with the assumption that general-purpose machine translation systems should remain faithful to the source content and not add any toxic elements during the translation process. We define toxic elements as word tokens or short phrases present in our lists. ETOX identifies added toxicity using the following two criteria: number of toxic items and matched or non-matched toxicity. A toxic item is considered detected if it is present in a line and surrounded by spaces or the start or end of a line. ETOX tracks the number of unique toxic items found in a line but does not count a phrase again if it has multiple occurrences. Matched toxicity indicates that the number of toxic items is the same in both the source and the translated content (that is, no added toxicity). Added toxicity is an instance of non-matched toxicity in which more toxic items are found in the translation output than in the source. For non-segmenting languages or some languages that use complex diacritics, space tokenization is insufficient to distinguish words from one another. In those cases, we used SentencePiece tokenization of both the sentence and toxicity word list. Toksicitet 200 lista Popisi se zasnivaju na profesionalnim prevodima s engleskog jezika, koje su zatim lingvisti heuristički prilagodili kako bi bolje služili ciljnom jeziku. Budući da je toksičnost kulturno osjetljiva, pokušaj pronalaženja ekvivalenta u uglavnom višejezičnom okruženju predstavlja izazov kada se započinje s jednim izvornim jezikom. U početnom izdanju popisa Toxicity-200, prosečan broj stavki na popisu otkrivanja toksičnosti bio je 271, dok je mediani broj stavki bio 143. Dostupnost podataka All data generated and described in the Article and its Supplementary Information are available at GitHub ( ) as follows. The FLORES-200 dataset contains human-translated evaluation data in 204 languages. The NLLB-Seed database contains human-translation seed training data in 39 languages (Supplementary Information ). The NLLB-MD database contains human-translated seed data in different domains in six languages to assess generalization (Supplementary Information Toxicity-200 baza podataka sadrži tekstove za otkrivanje toksičnosti na 200 jezika. Mined bitext baza podataka sadrži javno dostupne web podatke za 148 engleski-centric i 1.465 ne-engleski-centric jezičnih parova. Javno dostupni podaci korišteni za obuku NLLB modela sa referencama za preuzimanje podataka su navedeni u Dodatnoj tabeli . https://github.com/facebookresearch/fairseq/tree/nllb 69 I J 2 Dostupnost koda Da bismo naš rad stavili na raspolaganje zajednici, nudimo sledeće modele i podršku kod kao resurse slobodno dostupne za nekomercijalnu upotrebu, dostupne na GitHub-u ( ) kao što slijedi. Modeli prevođenja pokrivaju 200 jezika; NLLB modeli dolaze u više veličina (54.5B MoE, 3.3B i 1.3B Dense, i 1.3B i 600M destilirani). Modeli za identifikaciju jezika sadrže više od 200 jezika. LASER3 uključuje kodere rečenica za identifikaciju poravnanog bitexa za 148 jezika. Stopes se sastoji od biblioteke za rudarenje podataka koja se može koristiti za obradu i čišćenje monolingualnih podataka, nakon čega slijedi stvaranje poravnanog bitexa. Scriptovi za recikliranje naših podataka o obuci i obuke i generacije skripta za reprodukciju naših modela su takođe uključeni. https://github.com/facebookresearch/fairseq/tree/nllb 69 Referencije Fan, A. et al. Beyond English-centric multilingual machine translation. J. Mach. Learn. Res 22, 1–48 (2021). MathSciNet Google Scholar Du, N. et al. GlaM: efficient scaling of language models with mixture-of-experts. In Vol. 162, 5547–5569 (PMLR, 2022). Proceedings of the 39th International Conference on Machine Learning Hwang, C. et al. Tutel: adaptive mixture-of-experts at scale. In (MLSys, 2023). 6th Conference on Machine Learning and Systems Lepikhin, D. et al. GShard: skaliranje gigantskih modela sa uslovnim izračunima i automatskim razbijanjem. Lewis, M., Bhosale, S., Dettmers, T., Goyal, N. & Zettlemoyer, L. BASE slojevi: pojednostavljenje obuke velikih, rijetkih modela. u Proc. 38th International Conference on Machine Learning Vol. 139, 6265-6274 (PMLR, 2021). Shazeer, N. et al. Ogromno velike neuronske mreže: rijetko otvorena mešavina sloja stručnjaka. u Proc. 2017 Međunarodna konferencija o učionicama (ICLR) 1-19 (ICLR, 2017). Zoph, B. et al. ST-MoE: dizajn stabilnih i prenosivih stručnih modela. Preprint na https://arxiv.org/abs/2202.08906 (2022). Zoph, B., Yuret, D., May, J. & Knight, K. Transfer learning for low-resource neural machine translation. In (eds Su, J. et al.) 1568–1575 (Association for Computational Linguistics, 2016). Proc. 2016 Conference on Empirical Methods in Natural Language Processing Nguyen, T. Q. & Chiang, D. Transfer learning across low-resource, related languages for neural machine translation. In Vol. 2 (eds Kondrak, G. & Watanabe, T.) 296–301 (Asian Federation of Natural Language Processing, 2017). Proc. Eighth International Joint Conference on Natural Language Processing Arivazhagan, N. et al. Masivno višejezični neuralni mašinski prevod u divljini: nalaze i izazovi. u Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies Vol. 1, 3874–3884 (Association for Computational Linguistics, 2019). Zhang, B., Williams, P., Titov, I. & Sennrich, R. Masovno poboljšanje višejezičnog neuralnog strojnog prevođenja i prevođenja nultog udara. U Proc. 58th godišnji sastanak Udruženja za računalne lingvistike (eds Jurafsky, D. et al.) 1628–1639 (ACL, 2020). Tran, C. et al. Facebook AI’s WMT21 news translation task submission. In Proc. Šesta konferencija o Machine Translation (eds Barrault, L.) 205–215 (ACL, 2021); https://aclanthology.org/2021.wmt-1.19. Orife, I. et al. Masakhane – stroj prevod za Afriku. Preprint na https://arxiv.org/abs/2003.11529 (2020). Kuwanto, G. et al. Low-resource machine translation training curriculum fit for low-resource languages. Preprint at https://arxiv.org/abs/2103.13272 (2021). Nekoto, W. et al. Participatory research for low-resource machine translation: a case study in African languages. In Findings of the Association for Computational Linguistics: EMNLP 2020 (eds Cohn, T. et al.) 2144–2160 (ACL, 2020). Karakanta, A., Dehdari, J. & van Genabith, J. Neuralni mašinski prevod za jezike s niskim resursima bez paralelnog korpora. Mach. Transl. 32, 167–189 (2018). članak Google Scholar Bañón, M. et al. ParaCrawl: web-scale acquisition of parallel corpora. In (eds Jurafsky, D. et al.) 4555–4567 (ACL, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Schwenk, H. et al. CCMatrix: rudarenje milijardi visokokvalitetnih paralelnih rečenica na internetu. u Proc. 59. godišnji sastanak Udruženja za računalne lingvistike i 11. međunarodna zajednička konferencija o obradi prirodnog jezika Vol. 1 (eds Zong, C. et al.) 6490–6500 (ACL, 2021). Ramesh, G. et al. Samanantar: najveća javno dostupna paralelna korpora zbirka za 11 indijskih jezika. Trans. Assoc. Comput. Linguist. 10, 145–162 (2022). Kreutzer, J. et al. Quality at a glance: an audit of web-crawled multilingual datasets. , 50–72 (2022). Trans. Assoc. Comput. Linguist. 10 Article Google Scholar Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. Preprint at (2022). https://arxiv.org/abs/2205.12654 Gowda, T., Zhang, Z., Mattmann, C. & May, J. Mnogo-na-engleski alat za strojni prevod, podaci, i predtrenirani modeli. u Proc. 59. godišnji sastanak Udruženja za računalne lingvistike i 11. međunarodna zajednička konferencija o obradi prirodnog jezika: demonstracije sistema (eds Ji, H. et al.) 306-316 (ACL, 2021). McCarthy, A. D. et al. The Johns Hopkins University Bible corpus: 1600+ jezika za tipološko istraživanje. U Proc. 12th Language Resources and Evaluation Conference (eds Calzolari, N. et al.) 2884–2892 (European Language Resources Association, 2020); https://aclanthology.org/2020.lrec-1.352. McNamee, P. Identifikacija jezika: rešen problem pogodan za osnovno obrazovanje. J. Comput. Sci. Coll. 20, 94–101 (2005). Abadji, J., Suárez, P. J. O., Romary, L. & Sagot, B. Kroz čistiji dokument-orijentirani višejezični crawled corpus. Preprint na https://arxiv.org/abs/2201.06642 (2022). Widdows, D. & Brew, C. Language identification with a reciprocal rank classifier. Preprint at (2021). https://arxiv.org/abs/2109.09862 Goutte, C., Léger, S., Malmasi, S. & Zampieri, M. Diskriminacija sličnih jezika: procjene i istraživanja. Preprint na http://arxiv.org/abs/1610.00031 (2016). Jauhiainen, T., Lindén, K. & Jauhiainen, H. Evaluacija metoda identifikacije jezika koristeći 285 jezika. u Proc. 21st Nordic Conference on Computational Linguistics (eds. Grave, É., Bojanowski, P., Gupta, P., Joulin, A. & Mikolov, T. Learning word vectors for 157 languages. In (eds Calzolari, N. et al.) (ELRA, 2018). Proc. 11th International Conference on Language Resources and Evaluation (LREC 2018) Dunn, J. Mapping languages: the corpus of global language use. , 999–1018 (2020). Lang. Resour. Eval. 54 Article Google Scholar Brown, R. D. Non-linear mapping for improved identification of 1300+ languages. In Proc. 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) (eds Moschitti, A. et al.) 627-632 (ACL, 2014). Caswell, I., Breiner, T., van Esch, D. & Bapna, A. Jezik ID u divljini: neočekivani izazovi na putu do hiljadu jezika web tekst corpus. u Proc. 28. međunarodna konferencija o računalne lingvistike (eds Scott, D. et al.) 6588-6608 (Međunarodni odbor za računalne lingvistike, 2020); https://aclanthology.org/2020.coling-main.579. Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. Torba trikova za efikasnu klasifikaciju teksta. u Proc. 15. konferencija Europskog poglavlja Udruženja za računalne lingvistike Vol. 2 (eds Lapata, M. et al.) 427-431 (ACL, 2017). NLLB Team et al. Nijedan jezik ostao iza: skaliranje ljudsko-centriranog mašinskog prevođenja. Preprint na https://arxiv.org/abs/2207.04672 (2022). Koehn, P. & Knowles, R. Six challenges for neural machine translation. In (eds Luong, T. et al.) 28–39 (ACL, 2017). Proc. First Workshop on Neural Machine Translation Artetxe, M. & Schwenk, H. Masivno višejezične ugradnje rečenica za nultu prekrižnu jezikovnu prijenos i dalje. Sennrich, R., Haddow, B. & Birch, A. Improving neural machine translation models with monolingual data. In Vol. 1 (eds Erk, K. & Smith, N. A.) 86–96 (ACL, 2016). Proc. 54th Annual Meeting of the Association for Computational Linguistics (ACL) Popović, M. chrf++: reči koje pomažu znakovima n-gram. In Proc. Druga konferencija o mašinskom prevođenju Vol. 2 (eds Bojar, O. et al.) 612-618 (ACL, 2017). Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J. & Wojna, Z. Rethinking the inception architecture for computer vision. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2818–2826 (IEEE, 2016). Liu, R., Kim, Y. J., Muzio, A., Mozafari, B. & Awadalla, H. H. Gating odustao: komunikacija-efikasna regularizacija za rijetko aktivirane transformatore. Goyal, N. et al. The Flores-101 evaluation benchmark for low-resource and multilingual machine translation. Trans. Assoc. Comput. Linguist. 10, 522-538 (2022). članak Google Scholar Wang, H. et al. DeepNet: scaling transformers to 1,000 layers. In (IEEE, 2024) IEEE Transactions on Pattern Analysis and Machine Intelligence https://doi.org/10.1109/TPAMI.2024.3386927 Freitag, M. et al. Results of the WMT21 metrics shared task: evaluating metrics with expert-based human evaluations on TED and news domain. In (eds Barrault, L. et al.) 733–774 (ACL, 2021); . Proc. Sixth Conference on Machine Translation https://aclanthology.org/2021.wmt-1.73 Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (ACL, 2002). Proc. 40th annual meeting of the Association for Computational Linguistics Akhbardeh, F. et al. Rezultati konferencije 2021. o mašinskom prevođenju (WMT21). U Proc. Šesta konferencija o mašinskom prevođenju (eds Barrault, L. et al.) 1–88 (ACL, 2021); https://aclanthology.org/2021.wmt-1.1. Kocmi, T. et al. To ship or not to ship: an extensive evaluation of automatic metrics for machine translation. In (eds Barrault, L. et al.) 478–494 (ACL, 2021). Proc. Sixth Conference on Machine Translation Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proceedings of the 15th Biennial Conference of the Association for Machine Translation in the Americas SemEval-2012 zadatak 6: pilot na semantičke tekstualne sličnosti. u proc. *SEM 2012: Prva zajednička konferencija o leksikalne i računalne semantike Vols 1–2 (eds Aggire, E. et al.) 385–393 (ACL, 2012). Kusters, R. et al. Interdisciplinarno istraživanje u oblasti veštačke inteligencije: izazovi i prilike. Front. Big Data 3, 577974 (2020). članak PubMed PubMed Central Google Scholar Wang, S., Cooper, N., Eby, M. & Jo, E. S. From human-centered to social-centered artificial intelligence: assessing ChatGPT’s impact through disruptive events. Preprint at (2023). https://arxiv.org/abs/2306.00227 Bojanowski, P., Grave, E., Joulin, A. & Mikolov, T. Enriching word vectors with subword onformation. , 135–146 (2017). Trans. Assoc. Comput. Linguist. 5 Article Google Scholar Tiedemann, J. Parallel data, tools and interfaces in OPUS. In (eds Calzolari, N. et al.) 2214–2218 (ACL, 2012). Proc. Eighth International Conference on Language Resources and Evaluation Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In Proc. 57th Annual Meeting of the Association for Computational Linguistics (eds Korhonen, A.) 3197–3203 (ACL, 2019). Bahdanau, D., Cho, K. H. & Bengio, Y. Neuralni strojni prijevod zajedničkim učenjem usklađivanja i prevođenja. Kudo, T. & Richardson, J. SentencePiece: Jednostavan i jezično nezavisni podrazumevani tokenizer i detokenizer za neuralnu obradu teksta. U Proc. 2018 Konferencija o empirijskim metodama u obradi prirodnog jezika, EMNLP 2018 (eds Blanco, E. & Lu, W.) 66–71 (ACL, 2018); https://doi.org/10.18653/v1/d18-2012. Gu, J., Hassan, H., Devlin, J. & Li, V. O. Universal Neural Machine Translation for Extremely Low Resource Languages. In Vol. 1 (eds Walker, M. et al.) 344–354 (ACL, 2018); . Proc. 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies https://aclanthology.org/N18-1032 Wang, X., Pham, H., Arthur, P. & Neubig, G. Multilingualni neuralni mašinski prijevod sa soft decoupled kodiranjem. Preprint na https://arxiv.org/abs/1902.03499 (2019). Rajab, J. Uticaj strategija tokenizacije za jezike Južne Afrike sa niskim resursima. u 3. radionicu o obradi afričkog prirodnog jezika (ICLR, 2022). Vaswani, A. et al. Attention is all you need. In 5998–6008 (NIPS, 2017). Proc. 31st Conference on Neural Information Processing Systems Johnson, M. et al. Googleov višejezični neuralni mašinski prevodilac: omogućavanje prevođenja nultog udara. Trans. Assoc. Comput. Linguist. 5, 339-351 (2017). članak Google Scholar Conneau, A. et al. Unsupervised cross-lingual representation learning at scale. In (eds Jurafsky, D. et al.) 8440–8451 (ACL, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Bengio, Y., Léonard, N. & Courville, A. C. Procenjivanje ili propagiranje gradijenata kroz stohastičke neurone za uslovno izračunavanje. Preprint na http://arxiv.org/abs/1308.3432 (2013). Almahairi, A. et al. Dynamic capacity networks. In Vol. 48, 2091–2100 (PMLR, 2016). Proc. 33rd International Conference on International Conference on Machine Learning Elbayad, M., Sun, A. & Bhosale, S. Fixing MoE over-fitting on low-resource languages in multilingual machine translation. In Findings of the Association for Computational Linguistics: ACL 2023 (eds Rogers, A. et al.) 14237–14253 (ACL, 2023); https://aclanthology.org/2023.findings-acl.897. Rei, R., Stewart, C., Farinha, A. C. & Lavie, A. COMET: neuronalni okvir za evaluaciju MT. U Proc. 2020 Konferencija o empirijskim metodama u obradi prirodnog jezika (EMNLP) (eds Webber, B. et al.) 2685-2702 (ACL, 2020). Sellam, T., Das, D. & Parikh, A. BLEURT: učenje robustnih metrika za generaciju teksta. U Proc. 58th Godišnji sastanak Udruženja za računalne lingvistike (eds Jurafsky, D. et al.) 7881–7892 (ACL, 2020). Post, M. Poziv za jasnoću u izvješćivanju o BLEU rezultatima. U procentu. Treća konferencija o mašinskom prevođenju: istraživački dokumenti (eds Bojar, O. et al.) 186–191 (ACL, 2018); https://aclanthology.org/W18-6319. Graham, Y., Baldwin, T., Moffat, A. & Zobel, J. Continuous measurement scales in human evaluation of machine translation. In 33–41 (eds Graham, Y. et al.) (ACL, 2013). Proc. 7th Linguistic Annotation Workshop and Interoperability with Discourse GitHub https://github.com/facebookresearch/fairseq/tree/nllb (2022). Priznanja Posebno smo zahvalili Finedi i njihovim partnerima koji su procijenili kako bi pomogli u projektu: C. Baziotis, D. Dua, A. Guo, O. Ignat, A. Kamran, T. Mohiuddin, A. N. Rubungo, S. Sun, S. Tan, H. Xu, S. Wu i Y. Zhang. Zahvaljujemo se svim članovima osoblja i volonterima Fondacije Wikimedia koji su s nama radili i pružali korisne povratne informacije o našem projektu. Zahvaljujemo se V. Chaudhary-u, A. Mohiuddin-u, A. N. Rubungo-u, E. Grave-u, S. Tan, H. Xu, S. Wu i Y. Zhang-u na njihovoj pomoći u razmjeni brzog teksta na sve FLORES-200 jezike; M. Ovaj članak je dostupan u prirodi pod licencom CC by 4.0 Deed (Attribution 4.0 International). Ovaj članak je dostupan u prirodi pod licencom CC by 4.0 Deed (Attribution 4.0 International).