AI-ի ներքեւը, որը փոխել է 200 լեզուներ, նույնիսկ նրանք, ովքեր ոչ մի տվյալներ են:

Նրա գրասենյակներ : NLLB թիմը Մարթա R. Costa-Jussà Ջեյմս Cross Հիմնական հոդված՝ CELEBI Բրիտանիա Kenneth Heafield- ը Kevin Heffernan-ի մասին Բրիտանիա Kalbassi Janice Լամ Daniel լույսեր Jean Maillard- ը Մարիա SUN Բրիտանիա Wang Հիմնական հոդված՝ Wenzek Youngblood Վիքիպահեստում Ապրանքներ Bapi Akula Loic Barrault Gabriel Mejia Gonzalez- ը Prangthip Hansanti Ջոն Hoffman Semarley Jarrett- ը Kaushik Ram Sadagopan Դրիկ Ռո Shannon Spruit Վիքիպահեստում Chau Tran Pierre Andrews-ի մասին Հիմնական հոդվածներFazil Ayan Shruti Bhosale Sergey Edunov Angela Fan CINTHIA GAO-ն Vedanuj Goswami Francisco Guzmán Philipp Koehn Alexandre Mourachko-ի մասին Christophe Ropers Վիքիպահեստում Safiyyah Saleem Holger Schwenk Գերմանի Wang Նրա գրասենյակներ : NLLB Team Մարթա R. Costa-Jussà Ջեյմս Cross Հիմնական հոդված՝ CELEBI Բրիտանիա Kenneth Heafield- ը Kevin Heffernan-ի մասին Բրիտանիա Kalbassi Janice Լամ Daniel լույսեր Jean Maillard- ը Մարիա SUN Բրիտանիա Wang Հիմնական հոդված՝ Wenzek Youngblood Վիքիպահեստում Ապրանքներ Bapi Akula Loic Բարիթ Gabriel Mejia Gonzalez- ը Բրիտանիա Hansanti Ջոն Hoffman Semarley Jarrett- ը Բրիտանիա Ram Sadagopan Դրիկ Ռո Shannon Spruit Վիքիպահեստում Տեսակներ Tran Pierre Andrews-ի մասին Հիմնական հոդվածներFazil Ayan Shruti Bhosale-ի մասին Սուրգիա Edunov Բրիտանիա Fan CINTHIA GAO-ն Հիմնական հոդված՝ Goswami Ֆրիկոսիկո Guzmán Ֆիլմպը Alexandre Mourachko-ի մասին Christophe Ropers Վիքիպահեստում Safiyyah Saleem Հոլգեր Schwenk Գերմանի Wang Ապրիլ Այսօր, Neural Machine Translation (NMT) համակարգները կարող են օգտագործել բարձր բազմազանական հզորությունները եւ նույնիսկ կատարել Zero-Shot Translation- ը, որը մատակարարում է հուսալի արդյունքները լեզուի ծախսության եւ որակի մասին: Սակայն, մատակարարման որակի NMT- ը պահանջում է մեծ քանակը parallel bilingual տվյալների, որոնք ոչ մի բան չեն հասանելի աշխարհի 7000+ լեզուների համար: Հիմնադրվել է փոխանցման որակի բարելավման համար մի հարմարապես փոքր քանակի բարձր սերտիֆիկների լեզուների գնում է ծախսերի համար, որը ուղղում է հետազոտական ուշադրությունը ցածր սերտիֆիկների լեզուների վրա, որը կասկածում է թվային անգլերենները երկար ժամանակում: Այս մոդելը կտրելու համար, այստեղ մենք առաջարկում ենք No Language Left Behind- ը, մի միավոր խոշոր multilingual մոդել, որը օգտագործում է փոխանցման ուսուցման տարբեր լեզուներում: Մենք մշակել ենք մի պայմանագրական համակարգչային մոդել, որը հիմնված է Sparsely Gated Mix of Experts դիզայնի վրա , , , , , Բացի այդ, մենք ստեղծել ենք բազմաթիվ դիզայնային եւ դասընթացային բարելավումներ, որոնք կօգնեն վերահսկել վերահսկողությունը, երբ ուսուցում ենք մի քանի մի քանի տասնամյակ գործիքների վրա: Մենք գնահատել ենք մեր մոդելի կատարումը 40,000- ից ավելի փոխանցման ուղղություններով, օգտագործելով սարքավորումներ, որոնք ստեղծվել են մասնավորապես այս գործիքների համար: ավտոմատ մանրամասներ (FLORES-200), մարդային գնահատման մետրիկներ (XSTS) եւ բուժականության դիտորներ, որոնք ներառում են մեր մոդելում բոլոր լեզուները: Մեր մոդելը հասկանում է BLEU- ի չափազանց 44% -ի բարելավումը փոխանցման որակի վրա: Դիտուցելով, թե ինչպես է NMT- ը ծախս 1 2 3 4 5 6 7 Գլխավոր Neural Machine Translation- ի (NMT) նորարարությունը տպագրական տեխնոլոգիաները տպագրական տեխնոլոգիաների նոր մակարդակներում տպագրել է, բայց իր շահույթները չորսակորեն ներառված են: Ավելի մեծ մասը կատարված բարելավվածությունների հիմնականում օգտվել են բարձր սարքավորումների լեզուները, ինչպիսիք են շատ ցածր սարքավորումների լեզուները: (Մենք որոշում ենք, որ բարձր սարքավորումների լեզուը այն լեզու է, թե ինչպիսիք են, որ մենք ունենք ոչ ավելի քան 1 միլիոն տեքստային տվյալների ( կամ bitext) գծեր, որոնք հարմարված են այլ լեզուների հետ): Այս տարբերությունը մեծ մասում կարող է տպագրվել տվյալների խոշորության վրա: NMT մոդելները սովորաբար պահանջում են մեծ քանակություններ տվյալների արտադրման համար որակի փոխանակման համար, եւ, հավելվածությամբ, այդ քանակություններ չեն հասանելի ցածր սարքավորումների լեզուների համար: The No Language Left Behind (NLLB-200) , , thereby enabling related languages to learn from each other , , . 1 8 9 1 10 11 It has now been widely acknowledged that multilingual models have demonstrated promising performance improvement over bilingual models «Մենք պետք է հարցենք, թե ինչպե՞ս կարող են շատ լեզուների մոդելները ապահովել, որ միասին կասկածել են որակը: Մեր արդյունքները ցույց են տալիս, որ մեքենայի թարգմանության աջակցված լեզուների քանակը կասկածել եւ արտադրանքի որակը պահպանել չի միասին բացառիկ: Մեր վերջնական մոդելը, որը ներառում է 200 լեզուներ եւ երեք անգամ ավելի քիչ թարգմանական լեզուներ, քան բարձր թարգմանական լեզուներ, ավելի լավ է 44% - ից, քան նախորդ state-of-the-art համակարգեր: Այս գրասենյակը ցույց է տալիս, որ այս նպատակը կատարելու համար օգտագործվում են ամենամեծ տվյալների հավաքման, մոդելման եւ գնահատման տեխնոլոգիաները: 12 Առաջին, համեմատաբար իրենց բարձր ռեսուրսների ընկերների հետ, դասընթացային տվյալները ցածր ռեսուրսների լեզուների համար ծախսեր են եւ լոգաստիկորեն կախված են ստանալ: , , Միացյալին հասանելի թվային ռեսուրսները կախված են քանակությամբ կամ դժվար են ստուգել ավտոմատ համակարգերի համար (հարկե, մեծ մասնագիտացված կայքի տվյալների սարքերի, ինչպիսիք են CommonCrawl- ը): Որպես էլ անհրաժեշտ է, թե ինչպիսիք են սարքերի տվյալների խոշոր քանակը, այնպես էլ անհրաժեշտ է մեծ քանակի տվյալների խոշորման եւ մոնեալական տվյալների խողովակների օգտագործման համար: , , , Երկրորդ տեխնոլոգիաները հաճախ ազդում են սխալների եւ հարմարություններների վրա, այնպես որ նրանք արտադրում են տվյալների սարքերի որակի հավելվածությունը կախված են: NLLB-200- ում, մենք ցույց ենք տալիս, որ կոտրման վրա հիմնված կոտրման տեխնոլոգիան, LASER3 (Ref. ), հարմարեցնում է արդյունավետ մաքուրման parallel data համար ցածր սարքավորումների լեզուների. 13 14 15 16 17 18 19 20 21 Երկրորդ, մոդելային մասում, մենք օգտագործում ենք սեղմման, բաղադրված, open-source եւ back-translated տվյալների բաղադրիչներ, որոնք ուսուցում են բազմաթիվ լեզուների բաղադրիչ բաղադրիչների մոդելներ (լուսանկարներ: Sparsely Gated Mixtures-of-Experts մոդելներ) , , , , , Մենք ցույց ենք տալիս, թե ինչպե՞ս կարող ենք ստանալ առավելագույն կատարումը, ավելի հարմարեցված առեւտրային փոխանցման եւ փոխանցման միջեւ, եւ բարելավել կատարումը ցածր հզորության լեզուների համար: 2 3 4 5 6 7 Հաջորդը, որակի գնահատման նպատակների համար, մենք ստեղծել ենք FLORES-200- ը, որը խոշոր բազմազանական մանրամասներ է, որը թույլ է տալիս թարմացնել փոխանցման որակությունը NLLB-200- ի մոդելների ներգրավված մոտ 40,000 փոխանցման ուղղություններում: Բացի ավտոմատ մետրիկների, մենք նաեւ ստեղծել ենք Cross-lingual Semantic Text Similarity (XSTS) եւ Etox (Evaluation of Toxicity) - ը: XSTS- ը մարդային փոխանցման протокол է, որը ապահովում է միասինությունը լեզուների միջեւ: ETOX- ը մի գործիք է ստուգել ավելացյալ տպագրության տպագրության համար, օգտագործելով տպագրության տպագրերի ցուցակներ: Բացի ստեղծման այդ մոդելների, մենք նաեւ պտուտակում ենք NLLB- ի潜在 սոցիալական ազդեցության մասին: Մենք ապահովում ենք բոլոր մանրամասներ, տվյալները, կոդը եւ մոդելներ, որոնք նկարագրվում են այս փորձում, որպես անվճար առցանց օգտագործման համար ( ) (Տեսեք Data and Code Availability Statements- ը համար մանրամասներ) https://github.com/facebookresearch/fairseq/tree/nllb Ավտոմատ ստեղծում Translation Training Data Գործիքները, որոնք օգտագործվում են դասընթացային թարգմանության մոդելների համար, դժվար են լայնացնել ցածր սարքավորումների տեղադրման համար, որտեղ հարմարեցված երկու լեզուների տեքստային տվյալները ( կամ բիտիտթային տվյալները) համեմատաբար քիչ են: Շատ ցածր մանրամասների լեզուները աջակցվում են միայն փոքր մանրամասների մանրամասների տվյալների կողմից, որոնք հիմնականում ներառում են Քրիստոնեական Աստվածաշունչի թարգմանություններով: , որը ապահովում է սահմանափակ Domain Diversity. 22 23 Որպես որ մենք ստեղծել ենք մեծ քանակի parallel training data set- ը, որը ներառում է մի քանի միասին լեզուներ, մեր դիզայնը կենտրոնանում է հասանելի data sets- ի լայնացումը, առաջինը համատեղելի չէի monolingual տվյալների հավաքման միջոցով: Այնուհետեւ, մենք օգտագործել ենք սենմենտիկ խոսքի միասինության մետրիկը, որպեսզի ուղեւորել ենք մեծ քանակի տվյալների բեռնարկման գործառույթը, որը նպատակն է գտնել խոսքեր, որոնք մեծ հավանականություն են լինել սենմենտական միասին տարբեր լեզուներում: . 18 Language identification for monolingual data collection Մոնոլոգրաձայնային տվյալների հավաքելու համար պահանջվում է լեզուի identification (LID) համակարգը, որը ճշգրիտորեն դասընթացում է text resources բոլոր NLLB-200 լեզուների համար: Որպես որ LID- ը կարող է տեսնել, թե ինչ խնդիրը լուծվում է որոշ տարածքերում , դա ընդամենը open challenge է web data- ի համար , Բարձրապես, խնդիրները միասնական են Domain Mismatch- ի մասին Հիմնական լեզուը, ինչպիսիք են Ուսանելի է մեծամասնական բազմաթիվ լեզուների scaling . 24 25 26 26 27 28 Devoted attention to advancing LID techniques led to a noticeable increase in both language coverage and accuracy over time. CLD3 ( ) եւ FastText Երկու մոդելներ, որոնք առաջարկում են բարձր վերահսկողության կատարումը 107 եւ 187 լեզուների համար, համեմատաբար: , Ավելի ավելի բարձր թվարկությունը, 464 եւ 1,366 լեզուներ, resp. LID- ը օգտագործում է 1 629 լեզուներ, որոնք օգտագործում են Word- նամակներ եւ Self-Supervision- ը, որպեսզի bootstrap- ը ստեղծել են կայքում գտնվող դասընթացային տվյալները: Այնպես որ, այդ դիզայնները օգտագործում են գտնվող տվյալները, որոնք վախենում են դիզայնի սխալից: Դա նշանակում է, որ, քանի որ հասանելի տեքստային դիզայնները տարբեր են լեզուներով, սխալները տարբեր դիզայններ են տարբեր լեզուների հետ: https://github.com/google/cld3 29 30 31 32 Մեր աշխատում, մենք curated FLORES-200 օգտագործել որպես զարգացման սարք, որպեսզի մեր LID համակարգի կատարումը Մենք համատեղում ենք FLORES-200- ում ուսուցված data-driven fasttext մոդելը մի քիչ մանրամասների հետ, որոնք մանրամասներ են գրվել մանրամասների սխալների մասին: Այս մանրամասները հատկապես նշված են ref 5.1.3- ում: եւ ներառում են լեզուային ֆիլտերներ, որոնք խոշոր դասընթացների մանրամասների միջոցով խոշոր correlations- ի ուսուցման մանրամասների խոշորելու համար մանրամասներ են մանրամասում սենյակների լեզուներով: 33 34 Մենք համեմատում ենք մեր LID մոդելը 3 մասնագիտացված մոդելների հետ: CLD3, LangId ( ) եւ LangDetect ( ) սեղան NLLB-200- ի հետ միասնական բաղադրիչների բաղադրիչների երեք բաղադրիչների համար: (1) 51 լեզուը LangId- ի, LangDetect- ի եւ CLD3- ի աջակցում է: (2) 78 լեզուը LangId- ի եւ CLD3- ի աջակցում է: (3) 95 լեզուը CLD- ի աջակցում է: 3 Մենք նաեւ հաղորդում ենք false-positive rates- ի (FPR) համար, որը ներառում է false positives- ի ազդեցությունը невидимых լեզուների վրա: Մեր արդյունքները ցույց են տալիս, որ մեր մոդելը սարքավորվում է FLORES-200- ում գտնվող բոլոր 200 լեզուներին, իսկ հասանելի է LangId- ի, LangDetect- ի եւ CLD3- ի կատարման բարձրությունը: Բացի այդ, F1- ի բաղադրիչների բաղ . https://github.com/saffsd/langid.py https://pypi.org/project/langdetect/ 1 32 Պահպանելու համար Bitext Նախորդ աշխատանքը Նշում է, որ ճշգրտման որակի սովորաբար բարձր է բարձր որակի ուսուցման տվյալների քանակի հետ, որը դժվար է ստանալ, երբ աշխատում է ցածր ressource լեզուների հետ: Կանայած առեւտրային corpora համար ցածր ressource լեզուների հաճախ հարմարավետ վերցնում են հայտնի multilingual հավաքածուների, ինչպիսիք են Քրիստոնեական Աստվածաշունչը կամ multinational organizations, որոնք սահմանափակ են քանակի եւ տարածքում: Այս խնդիրը վերցնելու համար, մենք ստեղծել ենք ուսուցման տվյալների սերտիֆիկների միջոցով ամբողջ աշխարհում bitext mining- ում բացառապես հասանելի web content- ում (հարկվում է բովանդակների, ինչպիսիք են CommonCrawl- ը): Մեր bitext mining- ի 35 Քանի որ մեր բաղադրիչը պահանջում է բազմաթիվ լեզուների բաղադրիչի տարածք, այն մի քանի խնդիրներ է, երբ այս բաղադրիչը մատակարարվում է բոլոր NLLB-200 լեզուների համար: Առաջին, մենք պետք է ապահովել, որ բոլոր լեզուները լավ են սովորել եւ որ մենք բաղադրիչների համար մեծ բաղադրիչներ ունենք հասանելի դասընթացային տվյալների մեջ: Առաջին, բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների Ինչպե՞ս է լազերային տեղադրման տարածք NLLB-200- ի բոլոր լեզուների համար: Գերմանական լեզուները ուսուցվում են միասին, կամ միասին, միասին, միասին: Գերմանական լեզուները ուսուցվում են միասին: Գերմանական լեզուները ուսուցում են միասին: . 21 36 21 Մեր դիզայնը թույլ է տալիս մեզ տեղադրել յուրաքանչյուր լեզուի հատկանիշները, իսկ օգտագործել հետազոտական լեզուները, որը կարեւոր է շատ ցածր սարքավորումների լեզուների կառավարման համար: (Մի լեզուը defines որպես շատ ցածր սարքավորումների, եթե այն ունի ավելի քան 100,000 նմուշներ բոլոր սարքավորումների հետ որեւէ այլ լեզուի մեր տվյալների միասին): Այս մեթոդը օգտագործելով, մենք ստեղծել ենք ավելի քան 1,100 մլն նոր դիզայնի դիզայնի դիզայնի տվյալների 148 լեզուների համար: Այս լրացուցիչ դասընթացային տվյալները, միասին back translation- ի հետ: ), ներառում է բացառիկ բարելավություններ թարգմանության որակի - հատկապես, +12.5 chrF++ (ref. ) անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերենի անգլերեն . 37 38 D Մոդել Մինչեւ տվյալների մանրամասները խոշորորեն աճում են, ցածր մանրամասների փոխանցման հիմնական խնդիրը այն է, որ դասընթացային մոդելները հասանելի են 200 լեզուներով, իսկ փոխանցված տվյալների մանրամասների մանրամասների համար մանրամասների մանրամասների մանրամասները փոխանցվում են. Բացի տեխնոլոգիաների, ինչպիսիք են տվյալների մանրամասը (բնայման համար, օրինակ, back translation- ի հետ) եւ մանրամասների մանրամասների մանրամասների մանրամասները, մենք օգտագործում ենք պայմանագրական մանրամասների մոդելներ - ավելի մասնավորապես, Sparsely Gated Mix of Experts (հարկե MoE) -- ը: MoE transformer models differ from dense transformer models in that some of the feed-forward network layers are replaced with MoE layers in both the encoder and the decoder. An MoE layer consists of Արդյոք, ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են: Արդյունաբերական բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային . E 39 6 Մենք հասկանում ենք, որ վենիլի MoE մոդելներ, որոնք ամբողջական ծախսում են, սխալավոր են ցածր սարքավորումների լեզուների համար եւ կարեւորորեն ծախսում են ցածր սարքավորումների սարքավորումների համար: Այս խնդիրը լուծելու համար, մենք նախագծել ենք Expert Output Masking (EOM) - ը, որը բնական է MoE- ի սարքավորումների համար, եւ համեմատել ենք այն կանխած սարքավորումների հետ, ինչպիսիք են Gating Dropout- ը: Մենք գտնում ենք, որ Gating Dropout կատարում է ավելի լավ, քան vanilla MoE- ը, իսկ EOM- ը կատարում է ավելի լավ: 40 Բարձրացնելու համար ցածր սարքավորումների լեզուների սերտիֆիկների համար, մենք ստեղծել ենք դասընթացը, որը տեղադրում է լեզուների սերտիֆիկները մոդելային դասընթացների ընթացքում: Update- ը ներառում է Տեղադրման վերջը: Այսպիսով կարող է նվազեցնել վերահսկողությունը, իսկ թույլ է տալիս կանայք, որոնք օգտվում են լրացուցիչ դասընթացից, շարունակել իրենց դասընթացը: Ցուցում է, որ դասընթացային ուսուցման եւ EOM- ի համատեղը բարելավում է կատարումը, հատկապես ցածր եւ շատ ցածր սարքավորումների լեզուների սերտիֆիկների համար (լուսանկարներ) K K 2 Ինչպե՞ս MoE մոդելները օգտակար են multilingual մեքենա թարգմանության համար, մենք տեսնում ենք փորձագետների հարմարավետությունը MoE մակերեսներում օգտագործելով ջերմային քարտեր (Fig. Այս ջերմային քարտերը ցույց են տալիս, որ վերջին decoder մակերեսներում (Fig. Բացի այդ, մենք ստուգում ենք, որ լեզուները միասին ընտանիքում են շատ հարմար է իրենց ընտրության փորձագետների (հարկե, վերջին decoder MoE մակերեսները են լեզու-սահմանափակ): Սա, հատկապես, նման է օրինակային ալբոմսերի համար (հարկե, 6 գծեր եւ փուլներ վերականգնում են) , լեզուներ Benue-Congo subgrouping, ինչպես նաեւ լեզուներ Devanagari սխալով: Հասկածապես, առաջին decoder MoE մակերեսները (հարկե. Հաջորդ սեղմիչի MoE մակարդակները հատկապես լեզուի անգլիկ են, թե ինչպես նրանք ուղարկել են տոմսերը, ինչը կարող է հավատալվել միասնական ջերմային քարտի վրա Fig- ում: . 1a–d 1d 1c 1B Fig. 1: Cosine similarity scores between languages at different layers of the encoder–decoder architecture. Հիմնական – Առաջին ( ) եւ վերջին ( ) coding layers եւ ապա առաջին ( ) եւ վերջին ( ) decoder մակերեսները. Հասկածությունը չափվում է համեմատությամբ gating որոշումներ (հատեգորիաների ընտրությունը) համար լեզուի (բնայման էջը է encoder եւ նպատակային էջը է decoder). Լավագույն գույնները նշանակում են բարձրագույն փորձագետների համեմատություն, այնպես որ, լեզուի- Agnostic processing. a d a b c d Տեղադրել տվյալները (լուսանկարներ) ’) and modelling contributions, Table Ցույցում է, որ NLLB-200- ը ավելի բարձր է, քան մոտագույն state-of-the-art համակարգը, մինչեւ +7.3 spBLEU- ի հետ: ) համեմատել ենք NLLB-200- ը մի քանի այլ state-of-the-art մոդելների հետ, ինչպիսիք են Deepnet- ը եւ M2M-100 (Ref. NLLB-200- ը մի քանի անգամ ավելի մեծ է, քան որեւէ նախընտրական աշխատանք: Մենք նաեւ ցույց ենք տալիս, որ NLLB-200- ը ամենամեծ բնական մոդել է, որը կարող է փոխվել այլ դիզայնների վրա, քանի որ այն աջակցում է 200 լեզուներ, կամ երկու անգամ ավելի շատ լեզուներ (երեւ ավելի քան 30,000 լրացուցիչ ուղղություններ): Մենք նաեւ ցույց ենք տալիս, որ NLLB-200- ը ընդհանուր նպատակային NMT- ի մոդել է, որը կարող է փոխվել այլ դիզայններին բարձր որակի բիտետների փոքր քանակությամբ (լուսանկարներ) Ավելի Ավտոմատ ստեղծում Translation Training Data 3 41 42 1 E3 Տեսակներ Հյուրատետր Մինչեւ մոդելային կատարումը, որը կարող է վերահսկվել Այս մասում բացահայտվում են երեք բաները, որոնք մեծ ազդեցություն են ամբողջական որակի գնահատման վրա: ավտոմատ evaluation- ի մանրամասներ, human evaluation protocols եւ toxicity evaluation- ի համար: 43 A benchmark for automatic evaluation using FLORES-200 NMT արտադրանքի որակը սովորաբար գնահատվում է ավտոմատ մետրիկների, ինչպիսիք են BLEU- ը: Արդյոք spbleu . The computation of automatic quality scores using these metrics requires benchmark datasets that provide gold-standard human translations as references. In turn, the apples-to-apples evaluation of different approaches made possible by these benchmark datasets gives us a better understanding of what requires further research and development. For example, creating benchmark data sets at the Workshop on Machine Translation (WMT) Հիմնադրվել է արագ առաջադեմը անգլերեն՝ անգլերեն՝ անգլերեն եւ անգլերեն՝ անգլերեն։ 44 41 45 For massively multilingual NMT, the largest benchmark dataset available was FLORES-101, which supports roughly half the number of languages in NLLB-200. The necessary expansion of FLORES-101 to FLORES-200 constitutes a further challenge in terms of quality assurance, in part because of differences in standardization practices and limited access to professional translators for all languages involved. To overcome this challenge, we adapted our workflow to pay particular attention to quality assurance mechanisms. The FLORES-200 workflow consists of four phases: (1) alignment; (2) translation, initial quality assurance and iteration(s); (3) final quality assurance; and (4) completion. A language FLORES-200 set is considered ready after passing a final human quality test with a 90 out of 100 quality score (that is, independent raters agreed with 90% of the FLORES-200 reference translations in that direction). Այս վերլուծված աշխատանքային արագությամբ, մենք արտադրել ենք երեք-split (dev, devtest, test) տվյալների սերտիֆիկը միասնական մարդային փոխանակման փոխանակման համար բոլոր NLLB-200 լեզուների համար, որոնք հասանելի են 90% որակի գծի համար, մինչեւ 287 օր (119 օր է միջին, 70 օր է ներսում): (Հիմնացեք, որ մեր մոդելների հետ մոռացնելու համար, մենք օգտագործվում են FLORES- ի եւ այլ evaluation benchmarks- ի տվյալները, որոնք օգտագործվում են (հարկե WMT եւ IWSLT) մեր դասընթացների տվյալների վրա: Սա կատարվել է դասընթացների մոռացումներների մոռացումների հետ, օգտագործելով xxHash- ի ալբորատոմս: Խնդրում ենք տեսնել լրացուցիչ տեղեկ Ավելի շատ տեղեկություններ ստացեք վերանայման համակարգի մասին: Figure Ցուցադրում է բոլոր լեզուների որակի ստանդարտները, ինչպիսիք են մի քանի օրինակներ: C 2 Fig. 2: Quality of FLORES-200. Հիմնական Լավագույն որակի ապահովման ստանդարտները FLORES-200- ի լեզուների համար: Հիմնական ընդունելի ստանդարտը 90% է: Մարդական հավասարություն Բարձրագույն ավտոմատ մետաղադրամները հաճախ չգիտեն, թե ինչ տեսք են խոսում, որոնք, նույնիսկ սխալ, կարող են մեծ ազդեցություն տվել փոխանցման որակի վրա: Հիմնական արժեքները, այնպես էլ, կարեւոր են, որպեսզի ապահովել կարեւոր որակի արժեքները: Դա ասում է, որ նրանց հետ ներառում է երկու խնդիրներ: (1) NMT- ի որակի ցանկացած մեծ քանակի մարդային արժեքը, այնպես էլ, թե ինչպիսիք են փոխանցման ուղղություններ, կարող է լինել ցածր համոզվածություն (մաս 0.5 kappa- ի մոտ): եւ (2) լայնորեն multilingual NMT- ը ներառում է մի այլ ծախսություն, որ որակի արժեքը համոզվածություն է լեզուների ուղղություններում: Մենք լուծում ենք այդ երկու խնդիրները XSTS- ի զարգացման միջոցով: , նոր ստուգման մետրիկը կենտրոնացած է նշանակության վրա, եւ օգտագործելով պտուտակը, որը թույլ է տալիս ստուգման ստուգման համար evaluator- ի եւ լեզուների սերտիֆիկների մեջ: 46 47 XSTS- ը է STS- ի հսկողության պտուտակ , emphasizing meaning preservation over fluency. XSTS uses a five-point scale, in which 1 is the lowest score, and 3 represents the acceptability threshold. To ensure consistency not only across languages but also among different evaluators of any given language, we included the same subset of sentence pairs in the full set of sentence pairs given to each evaluator, making it possible to calibrate results. 48 Մենք գտնում ենք, որ ավտոմատ մետաղադրամները, ինչպիսիք են spBLEU եւ chrF++- ը, հասանելիապես լավ համատեղելի են մետաղադրամների որակի մետաղադրամների մետաղադրամների մետաղադրամների մետաղադրամների հետ, ինչպիսիք են մետաղադրամների որակի մետաղադրամները: Spearman-ի մասին Հիմնական սխալները, որոնք օգտագործվում են միասնական XSTS- ի եւ spBLEU- ի, chrF++- ի (Corpus) եւ chrF++- ի (middle sentence-level) միջեւ, են 0.710, 0.687 եւ 0.694, եւ այլ սխալները (Kendall- ի and Pearson’s Corpus spBLEU- ը ապահովում է լավագույն նամակային սխալը, այն հետո, որ ժամանակակից սխալների մակարդակը chrF++- ը է: 3 R τ R Fig. 3: Correlations between aggregated human quality scores and automated metrics. , The relationship between spBLEU and XSTS. , The relationship between chrF++ and XSTS. , The relationship between average sentence-level chrF++ and XSTS. All automated scores were computed only on the sentences evaluated for a given model and translation direction (either the full FLORES-200 dataset or a subset). NLLB-200 refers to a 55B parameter MoE model, and NLLB-200 Baseline refers to a dense 3.3B parameter model. a b c Full size image Մենք նաեւ հասկանում ենք, որ սխալավորված մարդային արժեքը ավելի հզոր է, քան սխալավորված մարդային արժեքը բոլոր սխալավորվող մետաղադրամների եւ սխալավորման քանակի ընտրությունների մեջ: Բացի այդ, սխալավորված մարդային արժեքը ունի Spearman- ի արժեքը: correlation coefficient of 0.625, 0.607 and 0.611 for spBLEU, chrF++ (corpus) and chrF++ (average sentence-level), respectively. R Overall, a sample of 55 language directions were evaluated, including 8 into English, 27 out of English, and 20 other direct language directions. The overall mean of calibrated XSTS scores was 4.26, with 38/55 directions scoring over 4.0 (that is, high quality) and 52/56 directions scoring over 3.0. Մենք հավատում ենք, որ ավելացնելը տպավորությունը կարող է լինել, քանի որ տպավորությունը գտնվում է ուսուցման տվյալների մեջ, եւ օգտագործել ենք մեր մետաղադրիչները, որպեսզի ճշգրտել, ավելի մասնավորապես, տպավորությունը տպավորությունը տպավորության տվյալների մեջ: Մենք գտնում ենք, որ տպավորությունը տպավորության տպավորության տպավորությունը տարբերվում է մի տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպավորության տպ Այս խնդիրը փնտրելու համար, մենք նախագծել ենք bitext Filtering Procedure- ը, որը հիմնված է Added Toxicity- ի բազմաթիվ բաղադրիչների դիզայնի վրա (հարկե, այն դեպքում, երբ bitext- ի մեկ բաղադրիչը բաղադրիչի երկու բաղադրիչներից ավելի շատ բաղադրիչ է, քան բաղադրիչի այլ բաղադրիչը). (Այս նախորդ բաղադրիչների որակի विश्लेषणը ցույց է տալիս, որ ավելի բարձր ճշգրտությունը հասանելի է այս պայմաններում): Մենք այս toxicity Filtering Procedure- ը ավելացրեց ենք բաղադրիչի փնտրման գործընթացում, եւ փորձել ենք այն հետ կամ առանց այն համեմատության համար: The experimental results on the FLORES-200 dev set for 10 translation directions (from and into English for Somali, Southern Sotho, Twi, Umbundu and Venetian) show that after filtering an average amount of around 30% parallel sentences, the translation quality (chrF++) improves by 5% and added toxicity (ETOX) reduces by the same amount. Therefore, the filtering pipeline that includes toxicity filtering not only reduces the number of toxic items in the translation output but also improves the overall translation performance. Conclusion 2016 թ. ԱՄՆ-ը հայտարարել է, որ ինտերնետային հասկանալը բնական անձնական իրավունք է: Մինչեւ այս հայտարարության նպատակն էր սահմանափակել censorship- ը եւ թույլ տալ, որ տեղեկատվություն եւ գաղտնիքներ կարող են տեւել առանց բուժման, այսօր շատ ինտերնետը դեռ չի հասանելի շատի համար, քանի որ լեզուային բուժում են: Մեր գործառույթը նախագծված էր մի լուծում, որը օգնում է փոխել այս status quo-ը: For many low-resource language communities, NLLB-200 is one of the first models designed to support translation into or out of their languages. Although applications of these new translation capabilities could be found in several domains of everyday life, we believe their impact would be most significant in a domain such as education. In formal educational settings, for instance, students and educators belonging to low-resource language groups could, with the help of NLLB-200, tap into more books, research articles and archives than before. Within the realms of informal learning, low-resource language speakers could experience greater access to information from global news outlets and social media platforms, as well as online encyclopaedias such as Wikipedia. Access to machine translation motivates more low-resource language writers or content creators to share localized knowledge or various aspects of their culture. Giving individuals access to new translation tools could thus open up opportunities for bidirectional learning, thereby also challenging Western-centric modes of knowledge production and dissemination, ultimately aiding in revitalizing certain minority cultures and languages. Since launching NLLB-200, we can already see the impact of the model across many directions. Four months after the launch of NLLB-200, Wikimedia reported that our model was the third most used machine translation engine used by Wikipedia editors (accounting for 3.8% of all published translations) ( ). Compared with other machine translation services and across all languages, articles translated with NLLB-200 has the lowest percentage of deletion (0.13%) and highest percentage of translation modification kept under 10%. https://web.archive.org/web/20221107181300/https://nbviewer.org/github/wikimedia-research/machine-translation-service-analysis-2022/blob/main/mt_service_comparison_Sept2022_update.ipynb In many ways, the composition of the NLLB-200 effort speaks to the centrality of interdisciplinarity in shaping our vision. Machine translation and AI advancements lie at the intersection of technological, cultural and societal development, and thus require scholars with diverse training and standpoints to fully comprehend every angle , . It is our hope that in future iterations, NLLB-200 continues to include scholars from fields underrepresented in the world of machine translation and AI, particularly those from humanities and social sciences backgrounds. More importantly, we hope that teams developing these initiatives would come from a wide range of race, gender and cultural identities, much like the communities whose lives we seek to improve. 49 50 Finally, we want to emphasize that overcoming the challenges that prevent the web from being accessible to speakers of all languages requires a multifaceted approach. At the technical level, NLLB-200 overcomes many data, modelling and evaluation challenges in NMT research, but it still has its limitations, some of which are documented in Supplementary Information . As a single technological intervention, NLLB-200 is all but one piece of a massive puzzle; policy interventions aimed at more fundamental issues surrounding education, internet access and digital literacy are imperative to eradicate the structural problem of language disparities. G Methods Data This section describes the steps taken to design our language identification system and bitext mining protocol. Language Identification-ը To train language identification models, we used fasttext , , which has been widely used for text classification tasks because of its simplicity and speed. We embedded character-level -grams from the input text and leveraged a multiclass linear classifier on top. The lightweight nature of fasttext enables our LID models to handle web-scale data. Furthermore, a linear model has the benefit of being easily explainable, allowing us to trace any classification error back to its root cause. This is instrumental in addressing common pitfalls that arise when detecting language on web corpora . 33 51 n 32 Classifier design We experimented with two different designs. First, we used a combination of multiple binary classifiers in which the final decision was obtained by selecting the language with the highest score after applying a threshold. We applied threshold optimization so that when the confidence of a classifier is low, the corresponding language is not considered for the final decision. A sentence was filtered out if none of the classifiers surpassed its threshold. Second, we built a multiclass classifier using softmax over all possible languages. In this case, the threshold optimization is done after the softmax. Մեր արդյունքները ուղեցրել են մեզ տեղադրել երկրորդ դիզայնը, որը առաջարկում է մի քանի հարմարություններ: Առաջին, մեկ լեզուի դիզայնը փոխելու համար այլ լեզուի կատարումը չի ազդեցում ( ինչը առաջին տեղադրում չէ): Առաջին, այս դիզայնը ավելի լավ generalizes to out-of-domain data, որը մեր primary use case (Wikipedia → web data) է: Հաջորդ, մի միասնական դասընթացը ունի լրացուցիչ հարմարությունը, որ սխալային պարզ է, այնպես որ սխալային ստուգման գործընթացը հեշտացնում է: Training data and handling massive class imbalance Մեր LID համակարգի ուսուցման համար մենք օգտագործում ենք բացառապես հասանելի տվյալների սերտիֆիկները, որոնք որոշակի անգամ ներառում են մեր հետաքրքրված լեզուները: Բարձրագույն մասը տեղադրված տվյալների սերտիֆիկները ստեղծվել են CommonCrawl- ի նման կայքերից: Այնուհետեւ մենք ավելացնել ենք այդ տվյալները NLLB-Seed- ի հետ: ) for any missing languages. However, this supplementation is insufficient in ensuring balance in the raw training data , . For example, English alone represents 10.1% of our training data, whereas Minangkabau (Latin script) represents only 0.06%. Following ref. , we experimented with multiple settings of temperature upsampling for underrepresented languages, in which sentences from a language Նկարագրություն per cent of the data set are sampled proportionally to . Optimal performance was obtained at 1/ = 0.3 (լուսանկարներ, տեսնել 5.1 բաժինը ref. ). B 32 30 10 l pl T 34 Training Parameters- ը Մեր լավագույն կատարման մոդելը դասընթացվել էր softmax- ի ծախսերի հետ երկու շաբաթվա ընթացքում 0.8- ի դասընթացով եւ 256- ի չափերի ներարկման հետ: Մենք նստել ենք խոսքեր, որոնք տեւել են ավելի քան 1000 անգամ եւ ընտրել ենք փոքրագույն եւ մեծագույն բարդը: -gram length of two and five, respectively (which were assigned a slot in buckets of size 1,000,000). (In fasttext, we refer to ‘word’ when it is separated by spaces. When it is a non-segmenting language, there is only one ‘word’ for the whole sentence (and we take character -grams)). All hyperparameters were tuned on FLORES-200 dev (see section 5.1.2 of ref. ). n n 34 Improving LID with linguistic analysis LID մոդելներ, որոնք կարող են օգտագործել LID մոդելներ, կարող են հեշտությամբ հասկանալ, թե ինչպես են սեղմվում սեղմված սեղմված սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմ ). 34 Bitext mining The overall approach for bitext mining focused on starting with a massively multilingual sentence encoder teacher model and adapting it to several different low-resource student models. This approach enabled us to add low-resource languages without competing with high-resource languages for capacity. Doing so circumvents the need to retrain the entire model from scratch while maintaining compatibility with the multilingual embedding spaces for subsequent mining. Extended data Fig. summarizes the overall architecture of the teacher–student approach. The teacher, LASER2, is an improved version of the open-source LASER encoder ( ) Արդյունաբերական դասընթացը Ապրիլը փոխարինվել է SentencePiece- ի tokenization- ի համար (հարկե 7,000 tokens- ի խոսքերն) եւ ցածր սարքի լեզուների ստանդարտման համար: 1 https://github.com/facebookresearch/LASER 36 The architecture of the five-layer BiLSTM encoder and the max pooling method to obtain sentence embeddings were left unchanged. The training was then performed on the same 93 languages with public resources obtained from OPUS . See ref. Ուսանողների դասընթացը անցել է ուսանողների դասընթացը, որը նկարագրվել է ref- ում. Հաջորդը վերեւում է: 52 36 21 students specialized in one language or several similar languages; Ուսանողները անմիջապես սկսվել են, քանի որ մենք ցանկանում ենք աշխատել ցածր սերտիֆիկի լեզուներով, որոնց համար մենք չենք ունենք նախապատրաստված լեզու մոդել: Ուսանողները կարող են ունակել մասնավոր SentencePiece խոսքի տարբերություն, քան ուսանողը, որպեսզի ավելի լավ ներառում են սեղմիչները եւ տոմսերը ուսանողների լեզուներում: as we used cosine distance for bitext mining (Fig. ), students learnt to minimize the cosine loss with the teacher; 1 students can have an MLM loss to leverage student language monolingual data (Fig. ). 1 Training Parameters- ը Մեր ուսանողները օգտագործել են 12 մակերեսային փոխանակիչը, որը սեղմվում է 1,024- ի չափով, չորս հոսքը, եւ մոտ 250 միլիոն թվերը: Բոլոր ուսանողները ուսուցվել են հասանելի բիբետսերի հետ իրենց լեզուում, որը լրացվել է 2 միլիոն տեքստի անգլերեն / անգլերեն եւ անգլերեն / անգլերեն / անգլերեն: Այս մեխանիզը օգտագործվում է ուսանողներին անգլերեն բիբետսերի տեղադրման տարածքում տեղադրելու համար, որը բարձրացնում է անգլերեն / անգլերեն բիբետսերի ներառումը CCMatrix- ից եւ թույլ է տալիս նոր լեզուների միասնական ուսուցման համար: Այս մեխանիզը հատկապես օգտագործվում է, երբ Proxy metric- ը նոր encoders- ի համար Mined bitexts were subsequently used to improve translation quality for the languages of NLLB-200. However, mining and NMT training are computationally expensive, and it is intractable to perform this evaluation systematically for many different sentence encoder variants. As an evaluation proxy, we used a mining-based multilingual similarity search error rate, referred to here as xsim. In contrast to cosine accuracy, which aligns embeddings based on the highest cosine score, xsim aligns source and target embeddings based on the highest margin score, which has been shown to be beneficial in mining . The margin-based score is defined as 53 where and are the source and target sentences, and ( ) denotes the nearest neighbours of in the other language. We set to 4. All xsim results are calculated on FLORES-200 devtest, using the ratio margin, where margin( , ) = / . Moreover, all scores are calculated for translations into English (that is, xxx → eng). English is encoded by the teacher, and the other language is encoded by the LASER3 student. To facilitate further research using xsim, we also provide this evaluation method as an open-source resource ( ). x y NNk x k x k a b a b https://github.com/facebookresearch/LASER/ End-to-end encoder evaluation Երբ մենք որոշել ենք, թե ինչ է ամենամեծ սերտիֆիկը յուրաքանչյուր լեզուի համար, օգտագործելով xsim- ի սերտիֆիկները, մենք կատարել ենք մաքուրման, ավելացել ենք մաքուրված տվյալները կանխած բիտետների հետ եւ ուսուցել ենք երկու լեզուի NMT համակարգը: Առաջին փորձերը ցույց են տալիս, որ 1.06- ի գծի գծի գծի համար, ինչպիսիք են, լավագույն սերտիֆիկն է ճշգրտության եւ վերահսկողության միջեւ մեծ մասի լեզուների համար: Այս NMT հիմնական գծերի համար, մենք չենք օգտագործում լրացուցիչ սերտիֆիկը բիտետների վրա, եւ դա ներառում է մեր լայնորեն բազմաթիվ լեզուների NMT համակարգի ուսուցման գործընթացին: We did not attempt to optimize the architecture and parameters of the bilingual NMT systems to the characteristics of each language pair but used the same architecture for all. Therefore, the reported results should not be interpreted as the best possible ones given the available resources—they are mainly provided to validate the mined bitexts. We used a 12-layer encoder and decoder and trained for 100 epochs. Moreover, we looked for the best performance on the FLORES-200 development set and report detokenized BLEU on the FLORES-200 devtest. Modelling In this section, we first describe the multilingual machine translation task setup, which includes tokenization and base model architecture. Then, we outline how we leveraged conditional computation for massively multilingual machine translation with EOM regulation and our Curriculum Learning (CL) strategy for low-resource languages. Տեսագրություն Setup We modelled multilingual NMT as a sequence-to-sequence task, in which we conditioned on an input sequence in the source language with an encoder and generated the output sequence in the expected target language with a decoder . With the source sentence Հիմնական լեզուը s, and target language t in hand, we trained to maximize the probability of the translation in the target language —that is, ( ∣ , s, t) Հաջորդում, մենք խոսում ենք (1) սխալային սխալների tokenization- ի սեղանային եւ նպատակային լեզուներում, եւ (2) մոդելային դիզայնի հետ ներքեւի եւ արտադրանքի, որը նախագծված է հատուկ բազմաթիվ լեզուների մեքենայի փոխանցման համար: Ավելի մանրամասների համար գործառույթների տեղադրման մասին, ինչպիսիք են դասընթացային տվյալների քանակը լեզուների միավորի համար, խնդրում ենք տեսնել լրացուցիչ տեղեկություններ: or section 8 of ref. . 54 S ℓ ℓ T P T S ℓ ℓ F 34 Տեղադրում է SentencePiece To tokenize our text sequences, we trained a single SentencePiece model (SPM) for all languages. We sampled a total of 100 million sentences from primary bitext data. To ensure low-resource languages are well-represented in the vocabulary, we downsampled high-resource and upsampled low-resource languages with a sampling temperature of five (ref. ). Notably, vocabulary size is an important hyperparameter in multilingual translation models involving low-resource languages , , Մեր ուսուցված SPM մոդելի խոսքի չափը 256,000-ն է: Այս մեծ խոսքի չափը ապահովում է, որ մենք աջակցում ենք լայն տեսակի լեզուները: 55 10 56 57 58 Model architecture Our sequence-to-sequence multilingual machine translation model is based on the transformer encoder–decoder architecture . The encoder transforms the source token sequence into a sequence of token embeddings. Then, the decoder attends to the encoder output and autoregressively generates the target sentence token by token. More precisely, the encoder takes the sequence of tokens = ( 1, ... ) and the source language s, and produces a sequence of embeddings = ( 1, ... ), which are then provided to the decoder with the target language t to produce the target tokens = ( 1, ... Արդյոք, միասին, միասին, 59 W w WS ℓ H h hS ℓ V v Տեսակ Note that we prefixed the source sequence with the source language, as opposed to the target language, as done in previous work , . We did so because we prioritized optimizing the zero-shot performance of our model on any pair of 200 languages at a minor cost to supervised performance. Empirically, we find zero-shot performance to be negatively affected when conditioning the encoder on the target language. When the source is conditioned on only the source language, the encoder generalizes better to pairs of source and target languages not encountered during training . 10 60 1 Conditional computation for multilingual machine translation A massively multilingual translation (MMT) model uses the same shared model capacity to train on several translation directions simultaneously. While doing so can lead to beneficial cross-lingual transfer between related languages, it can also add to the risk of interference between unrelated languages , . MoE models are a type of conditional computational models , that activate a subset of model parameters per input, as opposed to dense models that activate all model parameters per input. MoE models unlock marked representational capacity while maintaining the same inference and training efficiencies in terms of FLOPs compared with the core dense architecture. 1 61 62 63 However, as we increase the model capacity and the computational cost per update, the propensity for low or very low-resource languages to overfit increases, thus causing performance to deteriorate. In this section, we examine how we can use Sparsely Gated Mixture of Experts models , , , , , Ավելի լավ փոխանակման կատարելու համար cross-lingual փոխանակման եւ փոխանակման, եւ բարելավելու կատարումը ցածր սարքավորումների լեզուների. 2 3 4 5 6 7 Sparsely gated mixture of experts To build our MoE models, we substitute a quarter of the encoder and decoder feed-forward network layers with MoE layers, each with Արդյունաբերական մասնագետները: Մենք վերցնում ենք Top- -Gating algorithm in ref. and dispatched each token to at most = 2 մասնագետների համար: Մայթացիոն մոդելների ուսուցման մասին ավելի մանրամասն տեղեկատվություն, տեսնել Supplementary Information . E k 4 k E Ապրանքանիշներ Masking In this proposed regularization strategy, we masked the expert output for a random fraction ( EOM-ը) ներքեւի տոմսերի համար: Երբ ներքեւի տոմսերը ներքեւում են փորձագետների արտադրանքի համար, առաջին եւ / կամ երկրորդ փորձագետը արդյունավետորեն կախված է: Ինչպես տեսնում է Extended data Fig. , we masked both experts for the first token ( 1 in red), chose not to mask any of the expert outputs for the second token ( 2 in blue) and in the final scenario, masked only one expert for the last token ( 3 in green). p 2 x x x Curriculum learning for MMT «Մենք առաջարկում ենք սկսել դասընթացը High-Resource Pairs- ի հետ, ապա տեղադրել ցածր-Resource Pairs- ի - հեշտ է Overfitting- ում - անցյալ մակարդակներում: Այս դասընթացի մակարդակներում մենք առաջին անգամ դասընթացել ենք Vanilla MoE մոդել (լուսանկարներ առանց) եւ հետո փոխանցել Translation Directions- ում: bins { 1, ... }. If is the total number of training updates, we introduced each bin after − updates. We based when and what directions to add at every phase of the step when we observed a language pair starting to overfit. Review the step-based CL algorithm in ref. Ինչպե՞ս կասկածվի սերտիֆիկները: Տեսեք լրացուցիչ տեղեկություններ for the list of directions added at each stage. n b bn T Երկու T ki 64 E.2 Հիմնական Հյուրատետր Ավտոմատ evaluation Many automatic translation quality assessment metrics exist, including model-based ones such as COMET and BLEURT . Although model-based metrics have shown better correlation with human judgement in recent metrics shared tasks of the WMT , they require training and are not easily extendable to a large set of low-resource languages. In this work, we rely on BLEU (and a variant of it) and chrF++. Both measures draw on the idea that translation quality can be quantified based on how similar a machine translation output is compared with that produced by a human translator. 65 66 43 BLEU and spBLEU Լավագույն Blue Score has been the standard metric for machine translation evaluation since its inception two decades ago. It measures the overlap between machine and human translations by combining the precision of 1-grams to 4-grams with a brevity penalty. The main disadvantage of BLEU is that it is tokenization-dependent. Efforts such as sacrebleu Արդյոք, մենք պետք է ստանդարտելու, աջակցում է օգտագործման համաշխարհային ստանդարտ tokenizers ներքեւ կոճի. Սակայն, այդ tokenizers չի լայնեցնում շատ լեզուների. Խնդրում ենք առաջարկել spBLEU, BLEU մետրիկը, որը հիմնված է Standardized SentencePiece մոդելում (SPM), որը ներառում է 101 լեզուներով, որը ազատվել է FLORES-101- ի հետ: Այս աշխատանքում մենք առաջարկում ենք SPM-200- ը հետ FLORES-200- ի հետ, որը թույլ է տալիս spBLEU- ի չափման համար: (Մենք ցույց են տալիս, որ FLORES-200- ի SPM-200- ի եւ FLORES-101- ի SPM-100- ի միջեւ փոքր տարբերություններ են, երբ չափում են FLORES-101- ի լեզուներում: SPM-200- ի հիմնական առավելությունը այն է, որ այն ներառում է 200 լեզուներով: SPM-200- ի մասին ավելի մանրամասներ հայտնվում են ref. ). 44 67 41 34 chrF++ The chrF++ score Ահա թե ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան -grams Գլխավոր ( 1 մինչեւ 6) եւ լրացուցիչ Word unigrams եւ bi-grams. Այս աշխատանքում, մենք հիմնականում evaluated օգտագործելով chrF++ օգտագործելով կարգավորումները from sacrebleu. Սակայն, երբ comparing հետ այլ գրված աշխատանքների, մենք օգտագործել BLEU եւ spBLEU, երբ անհրաժեշտ է. 38 n F n Human evaluation մոդելիություն Երբ կառուցում ենք մեքենա թարգմանական համակարգեր, որոնք օգտագործվում են թարգմանական լեզուների միասին, մի հիմնական հարցը այն է, թե ինչ սերտիֆիկները հասկանում են որոշ մակարդակներ որակի: Այսպիսով, մենք պետք է հասկանալ, թե ինչ սերտիֆիկները հասկանում են, թե ինչ սերտիֆիկները հասկանում են: XSTS- ի evaluation protocol- ը We adapted the recently proposed XSTS methodology XSTS- ը է մարդային գնահատման պրոֆեսիոնալ, որը կենտրոնանում է նշանակության վերահսկողության համար. Տեսեք այս պրոֆեսիոնալ մասին մանրամասներ Supplementary Information-ում . For low-resource languages, translations are usually of poorer quality, and so we focused more on usable (that is, meaning-preserving) translations, even if they are not fully fluent. Compared with Direct Assessment with a 5-point scale (the original direct assessment uses a 100-point scale), it is found that XSTS yields higher inter-annotator agreement . XSTS rates each source sentence and its machine translation on a 5-point scale, in which 1 is the lowest and 5 is the highest. 48 F 68 47 Calibration սարքավորումներ To enable meaningful scores comparable across language pairs, we asked each evaluator to provide assessments using the XSTS scale on precisely the same set of sentence pairs. This aims to identify annotators who have a systematic tendency to be more harsh or generous in their scoring and correct for this effect. The calibration set consists of the machine translation output paired with the reference translation only in English. Based on how evaluators used the XSTS scale on this calibration set, we adjusted their raw scores on the actual evaluation task to ensure consistency across evaluators. Although this monolingual calibration task does not precisely mimic the bilingual XSTS task, it is a reasonable first approximation and has been shown to increase the correlation between human and automatic metrics primarily by reducing one source of ‘noise’ in the human evaluations—the lack of score calibration between annotators. Obtaining aggregated human quality metrics from multiple studies To obtain an aggregate human quality metric for each language direction in an evaluation study, we take the majority XSTS score (that is, mean–median score) for each sentence and average these majority scores over all evaluated sentences. In a given study, the aggregate human evaluation score for any translation direction S է t է l l Ինչպե՞ս s and t- ը նշում է սեղմման լեզուը եւ նպատակային լեզուը, respectively;- ը նշում է XSTS- ի ստանդարտը th evaluator who evaluates sentences in a given translation direction S է t for a source sentence Հեղինակ՝ The Target Sentence ; denotes the total number of evaluators who evaluate the (source, translation) sentence pair ( , ) Translation Direction-ի համար S է t; is the set of (source, translation) sentence pairs being evaluated for translation direction s → Տ. l l i l l S T S T l l l l Մարդիկ, ովքեր փորձում են ամեն ինչ Ահա նաեւ, որ պետք է մուտքագրեք բոլոր կամ մի մասերի մետաղադրամների սարքավորումներ: , denotes the th source sentence in the calibration set for an evaluation study; Հիմա , Արդյոք, այն խոսքը, որը փոխվում է , ; and is the number of sentence pairs in the calibration set for an evaluation study. s SS-ն k k s Ս. k Ss k Երբ ցանկացած լեզուի ուղղությամբ փորձարկվել է, մենք ստացել ենք մեծամասնության քանակը kalibratory set- ում: Ինչպե՞ս կարող եք ստանալ XSTS- ը, որը տրամադրվում է th evaluator, for the language direction S է t, in study Հիմնական հոդված՝ Հիմնական հոդված՝ Ապրիլ՝ Translated sentence Տեսանյութի մետաղական մետաղական մետաղական սերտիֆիկայում. i l l s S T To obtain aggregated calibrated XSTS scores on the language direction level, we explored several different calibration methodologies. None of the calibration methods we investigated showed a marked difference in correlation with automated scores, and all calibration methodologies we explored provided superior correlation compared with uncalibrated XSTS scores. For more details on these calibration methodologies, see section 7.2 of ref. . 34 Added toxicity detection for 200 languages Տեղադրիչը օգտագործվում է սխալների ցուցանիշների վրա: Այս մասում մենք առաջարկում ենք ավելի մանրամասներ մեր սխալների ցուցադրման մասին եւ նշում ենք սխալների ցուցադրիչը (ETOX) եւ կապված սխալների ցուցանիշները: toxic բաղադրիչներ Owing to the subjective nature of toxicity, definitions of toxic language can vary. We included items that are commonly referred to as vulgar or profane language. (Note that vulgar or profane language is not always necessarily toxic. Some common slang, for instance, may be considered vulgar but is not necessarily toxic). Moreover, we also included items associated with depictions of pornographic content or sexual acts, some frequently used hate speech expressions and some expressions tied to bullying. We also included items, vulgar or not, referring to body parts that are commonly associated with sexual practices. ETOX մետաղադրիչ Մենք սկսել ենք հավատումով, որ ընդհանուր նպատակային մեքենայի փոխանցման համակարգերը պետք է մնալ ճշգրտությամբ սեղմվող մետաղադրամին եւ փոխանցման գործընթացում չի ավելացնել ոչ մի տպագրական նյութեր: Մենք սահմանում ենք տպագրական նյութեր, ինչպիսիք են մեր մետաղադրամիների տպագրական տպագրություններ կամ տպագրական տպագրություններ: ETOX- ը նշում է ավելացված տպագրությունը, օգտագործելով հետեւյալ երկու սերտիֆիկներ: տպագրական մետաղադրամիների քանակը եւ սեղմվող կամ չեղմվող տպագրության քանակը: Տպագրական մետաղադրամը հավատում է, որ մի տպագրական մետաղադրամին միասին գտնվում է, եթե այն գտնվում է Հեղինակային ցուցակներ 200 Տեսակները հիմնված են անգլերենից մասնագիտական թարգմանությունների վրա, որոնք հետո հիդրավլիկների կողմից հիդրավլիկորեն փոխարինվել են, որպեսզի ավելի լավ ծառայվել են նպատակային լեզուին: Քանի որ հիդրավլիկությունը պրոֆեսիոնալորեն զգալի է, փորձում է գտնել հիդրավլիկներ, որոնք հիմնականում մի քանի լեզուում են: Այս խնդիրը լուծելու համար թարգմանողները թույլ են տալիս վերցնել մի քանի թարգմանական նյութերի թարգմանությունը եւ ավելացնել ավելի պրոֆեսիոնալ հատկանիշներ: In the initial release of the Toxicity-200 lists, the average number of items in a toxicity detection list was 271 entries, whereas the median number of entries was 143. The latter may be a better measure of central tendency than the mean average, given that languages with a rich inflectional morphology constitute extreme outliers (for example, the Czech list had 2,534 entries and the Polish list 2,004). The shortest list had 36 entries, and the longest 6,078. Data availability Բոլոր տվյալները, որոնք արտադրվում են եւ նկարագրված են հոդվածում եւ նրա լրացուցիչ տեղեկատվությունը հասանելի են GitHub- ում ( ) as follows. The FLORES-200 dataset contains human-translated evaluation data in 204 languages. The NLLB-Seed database contains human-translation seed training data in 39 languages (Supplementary Information The NLLB-MD database contains human-translated seed data in different domains in six languages to assess generalization (Տեսանյութ) The Toxicity-200 database contains wordlists to detect toxicity in 200 languages. Mined bitext database contains publicly available web data for 148 English-centric and 1,465 non-English-centric language pairs. Publicly available data used to train NLLB models with references to download the data are listed in Supplementary Table . https://github.com/facebookresearch/fairseq/tree/nllb 69 I J 2 Code- ի հասանելիություն To make our work available to the community, we provide the following models and supporting code as resources freely available for non-commercial use, available at GitHub ( ) Մոդելները ներառում են 200 լեզուներ: NLLB մոդելները հասանելի են մի քանի չափում (54.5B MoE, 3.3B եւ 1.3B Dense, եւ 1.3B եւ 600M մետաղադրված): Մոդելները ներառում են 200-ից ավելի լեզուներ: LASER3- ը ներառում է սխալը coders identifying aligned bitext for 148 languages: Stopes- ը ներառում է տվյալների մետաղադրական գրասենյակ, որը կարող է օգտագործվել processing եւ clean monolingual տվյալների, հետո ստեղծել aligned bitext: Scripts to recreate our training data and training and generation scripts to reproduce our models are also included. https://github.com/facebookresearch/fairseq/tree/nllb 69 References Fan, A. et al. Beyond English-centric multilingual machine translation. J. Mach. Learn. Res 22, 1–48 (2021). MathSciNet Google Scholar Du, N. et al. GlaM: հզոր չափազանցում լեզուների մոդելների հետ mix-of-experts. In Proceedings of the 39th International Conference on Machine Learning Vol. 162, 5547–5569 (PMLR, 2022). Hwang, C. et al. Tutel: Adaptive mixture-of-experts at scale. in 6th Conference on Machine Learning and Systems (MLSys, 2023). Lepikhin, D. et al. GShard: Scaling gigant models with conditional computation եւ ավտոմատ sharding. in International Conference on Learning Representations (ICLR, 2021). Lewis, M., Bhosale, S., Dettmers, T., Goyal, N. & Zettlemoyer, L. BASE layers: simplifying training of large, sparse models. In Vol. 139, 6265–6274 (PMLR, 2021). Proc. 38th International Conference on Machine Learning Shazeer, N. et al. Սպիտակորեն մեծ սերտիֆիկային ցանցերը: սերտիֆիկի սերտիֆիկի սերտիֆիկը. In Proc. 2017 International Conference on Learning Representations (ICLR) 1-19 (ICLR, 2017). Zoph, B. et al. ST-MoE: դիզայնի պտուտակային եւ փոխանցելի sparse փորձնական մոդելներ: Preprint at https://arxiv.org/abs/2202.08906 (2022). Zoph, B., Yuret, D., May, J. & Knight, K. Transfer learning for low-resource neural machine translation. In (eds Su, J. et al.) 1568–1575 (Association for Computational Linguistics, 2016). Proc. 2016 Conference on Empirical Methods in Natural Language Processing Nguyen, T. Q. & Chiang, D. Transfer learning across low-resource, related languages for neural machine translation. In Vol. 2 (eds Kondrak, G. & Watanabe, T.) 296–301 (Asian Federation of Natural Language Processing, 2017). Proc. Eighth International Joint Conference on Natural Language Processing Arivazhagan, N. et al. Massively multilingual neural machine translation in the wild: findings and challenges. In Vol. 1, 3874–3884 (Association for Computational Linguistics, 2019). Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies Zhang, B., Williams, P., Titov, I. & Sennrich, R. Improving massively multilingual neural machine translation and zero-shot translation. In (eds Jurafsky, D. et al.) 1628–1639 (ACL, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Tran, C. et al. Facebook AI’s WMT21 news translation task submission. In (eds Barrault, L.) 205–215 (ACL, 2021); . Proc. Sixth Conference on Machine Translation https://aclanthology.org/2021.wmt-1.19 Բրիտանիա, I. et al. Masakhane – մեքենա թարգմանություն համար Աֆրիկա. Preprint at https://arxiv.org/abs/2003.11529 (2020). Kuwanto, G. et al. Low-resource machine translation training curriculum fit for low-resource languages. Preprint at (2021). https://arxiv.org/abs/2103.13272 Nekoto, W. et al. Պահպանական հետազոտություն ցածր սարքավորումների մեքենայի թարգմանության համար: Աֆրիկայի լեզուների բուժում. In Findings of the Association for Computational Linguistics: EMNLP 2020 (eds Cohn, T. et al.) 2144–2160 (ACL, 2020). Karakanta, A., Dehdari, J. & van Genabith, J. Neural machine translation for low-resource languages without parallel corpora. Mach. Transl. 32, 167–189 (2018). հոդված Google Scholar Bañón, M. et al. ParaCrawl: web-scale acquisition of parallel corpora. In (eds Jurafsky, D. et al.) 4555–4567 (ACL, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Շվենկ, H. et al. CCMatrix: Բարձր որակի համեմատական խոսքերների միլիոնավոր բաղադրիչը կայքում: Proc. 59-րդ թվային հանդիպում Computational Linguistics Association- ի եւ 11th International Joint Conference on Natural Language Processing Vol. 1 (eds Zong, C. et al.) 6490–6500 (ACL, 2021). Ramesh, G. et al. : the largest publicly available parallel corpora collection for 11 Indic languages. , 145–162 (2022). Samanantar Trans. Assoc. Comput. Linguist. 10 Article Google Scholar Kreutzer, J. et al. Quality at a glance: an audit of web-crawled multilingual datasets. , 50–72 (2022). Trans. Assoc. Comput. Linguist. 10 Article Google Scholar Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. Preprint at (2022). https://arxiv.org/abs/2205.12654 Gowda, T., Zhang, Z., Mattmann, C. & May, J. Շատ անգլերեն մեքենայի փոխանցման գործիքներ, տվյալներ եւ նախապատրաստված մոդելներ. In Proc. 59th Yearly Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations (eds Ji, H. et al.) 306–316 (ACL, 2021). McCarthy, A. D. et al. The Johns Hopkins University Bible corpus: 1600+ լեզուներ տպագրական ուսումնասիրության համար: Proc. 12th Language Resources and Evaluation Conference (eds Calzolari, N. et al.) 2884–2892 (European Language Resources Association, 2020); https://aclanthology.org/2020.lrec-1.352. McNamee, P. Language Identification: a solved problem suitable for undergraduate instruction. J. Comput. Sci. Coll. 20, 94–101 (2005). Google Scholar Abadji, J., Suárez, P. J. O., Romary, L. & Sagot, B. Հիմնադրվել է ավելի գեղեցիկ գրասենյակային կենտրոնացած բազմազոտական crawled corpus: Preprint at https://arxiv.org/abs/2201.06642 (2022). Widdows, D. & Brew, C. Language identification with a reciprocal rank classifier. Preprint at (2021). https://arxiv.org/abs/2109.09862 Goutte, C., Léger, S., Malmasi, S. & Zampieri, M. Discriminating similar languages: evaluations and explorations. Preprint at (2016). http://arxiv.org/abs/1610.00031 Jauhiainen, T., Lindén, K. & Jauhiainen, H. Evaluation of language identification methods using 285 languages. In (eds. Tiedemann, J. & Tahmasebi, N.) 183–191 (2017). Proc. 21st Nordic Conference on Computational Linguistics Grave, É., Bojanowski, P., Gupta, P., Joulin, A. & Mikolov, T. Learning word vectors for 157 languages. In (eds Calzolari, N. et al.) (ELRA, 2018). Proc. 11th International Conference on Language Resources and Evaluation (LREC 2018) Dunn, J. Mapping languages: the corpus of global language use. Lang. Resour. Eval. 54, 999–1018 (2020): Google Scholar-ի հոդվածը Brown, R. D. Non-linear mapping for improved identification of 1300+ languages. In (eds Moschitti, A. et al.) 627–632 (ACL, 2014). Proc. 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) Caswell, I., Breiner, T., van Esch, D. & Bapna, A. Language ID in the wild: неожиданные вызовы на пути к a thousand-language web text corpus. In Proc. 28th International Conference on Computational Linguistics (eds Scott, D. et al.) 6588–6608 (International Committee on Computational Linguistics, 2020); https://aclanthology.org/2020.coling-main.579. Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. Փաթեթ տեքստների արդյունավետ տեքստային դասընթացների համար. In Proc. 15th Conference of the European Chapter of the Association for Computational Linguistics Vol. 2 (eds Lapata, M. et al.) 427–431 (ACL, 2017). NLLB Team et al. Չնայած լեզուը, որը փնտրում է: Մարդիկ կենտրոնացած մեքենայի փոխանակման. Preprint at https://arxiv.org/abs/2207.04672 (2022). Koehn, P. & Knowles, R. Six challenges for neural machine translation. In (eds Luong, T. et al.) 28–39 (ACL, 2017). Proc. First Workshop on Neural Machine Translation Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Sennrich, R., Haddow, B. & Birch, A. Բարձրացնել neuronal machine translation մոդելներ հետ monolingual տվյալների. In Proc. 54th Yearly Meeting of the Association for Computational Linguistics (ACL) Vol. 1 (eds Erk, K. & Smith, N. A.) 86–96 (ACL, 2016). Popović, M. chrf++: words helping characters n-grams. In Proc. Second Conference on Machine Translation Vol. 2 (eds Bojar, O. et al.) 612–618 (ACL, 2017). Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J. & Wojna, Z. Rethinking the inception architecture for computer vision. In 2818–2826 (IEEE, 2016). IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Liu, R., Kim, Y. J., Muzio, A., Mozafari, B. & Awadalla, H. H. Gating dropout: communication-efficient regularization for sparsely activated transformers. In (PMLR, 2022). Proceedings of the 39th International Conference on Machine Learning Goyal, N. et al. The Flores-101 evaluation benchmark for low-resource and multilingual machine translation. , 522–538 (2022). Trans. Assoc. Comput. Linguist. 10 Article Google Scholar Wang, H. et al. DeepNet: scaling transformers to 1,000 layers. In (IEEE, 2024) IEEE Transactions on Pattern Analysis and Machine Intelligence https://doi.org/10.1109/TPAMI.2024.3386927 Freitag, M. et al. WMT21 metrics- ի արդյունքների համատեղելի աշխատանքը: TED- ում եւ նորություններում մասնագետների հիմնված մարդային գնահատականների հետ մետրիկների գնահատման. In Proc. Sixth Conference on Machine Translation (eds Barrault, L. et al.) 733–774 (ACL, 2021); https://aclanthology.org/2021.wmt-1.73. Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: մեքենա թարգմանության ավտոմատ evaluation մեքենա թարգմանության մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգման մեքենա թարգմանություն մեքենա թարգմանություն մեքենա թարգման Akhbardeh, F. et al. Findings of the 2021 conference on machine translation (WMT21). In (eds Barrault, L. et al.) 1–88 (ACL, 2021); . Proc. Sixth Conference on Machine Translation https://aclanthology.org/2021.wmt-1.1 Kocmi, T. et al. Բեռնել կամ չեռնել բեռնել: ավտոմատ մետաղադրամների լայն մակարդակագրություն մեքենայի փոխանցման համար. In Proc. Sixth Conference on Machine Translation (eds Barrault, L. et al.) 478–494 (ACL, 2021). Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proceedings of the 15th Biennial Conference of the Association for Machine Translation in the Americas SemEval-2012 գործառույթը 6- ը: պլանավոր սխալային հարմարավետության մասին. In Proc. *SEM 2012: The First Joint Conference on Lexical and Computational Semantics Vols 1–2 (eds Aggire, E. et al.) 385–393 (ACL, 2012). Kusters, R. et al. Interdisciplinary research in artificial intelligence: Challenges and opportunities. , 577974 (2020). Front. Big Data 3 Article PubMed PubMed Central Google Scholar Wang, S., Cooper, N., Eby, M. & Jo, E. S. Մարդկային կենտրոնացած եւ սոցիալական կենտրոնացած սերտիֆիկ ինտեգրիտություն: ChatGPT- ի ազդեցությունը վերլուծական ազդեցությունների միջոցով: Preprint at https://arxiv.org/abs/2306.00227 (2023). Bojanowski, P., Grave, E., Joulin, A. & Mikolov, T. Enriching word vectors with subword onformation. , 135–146 (2017). Trans. Assoc. Comput. Linguist. 5 Article Google Scholar TIEDEMANN, J. Parallel data, tools and interfaces in OPUS. in Proc. Ապրիլ 2012 թ. 8th International Conference on Language Resources and Evaluation (eds Calzolari, N. et al.) 2214–2218 (ACL, 2012) Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In Proc. 57th Yearly Meeting of the Association for Computational Linguistics (eds Korhonen, A.) 3197–3203 (ACL, 2019). Bahdanau, D., Cho, K. H. & Bengio, Y. Neural machine translation by jointly learning to align and translate. In (ICLR, 2015). Proc. of the 3rd International Conference on Learning Representations Kudo, T. & Richardson, J. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In (eds Blanco, E. & Lu, W.) 66–71 (ACL, 2018); . Proc. 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018 https://doi.org/10.18653/v1/d18-2012 Gu, J., Hassan, H., Devlin, J. & Li, V. O. Universal Neural Machine Translation for Extremely Low Resource Languages. In Proc. 2018 Conference of the North American Chapter of Association for Computational Linguistics: Human Language Technologies Vol. 1 (eds Walker, M. et al.) 344–354 (ACL, 2018); https://aclanthology.org/N18-1032. Wang, X., Pham, H., Arthur, P. & Neubig, G. Multilingual neural machine translation with soft decoupled encoding. Preprint at (2019). https://arxiv.org/abs/1902.03499 Rajab, J. Tokenization Strategies for low-resource Southern African Languages. In 3rd Workshop on African Natural Language Processing (ICLR, 2022). Vaswani, A. et al. Ահա բոլորը, ինչ դուք պետք է: In Proc. 31st Conference on Neural Information Processing Systems 5998–6008 (NIPS, 2017). Johnson, M. et al. Google’s multilingual neural machine translation system: enabling zero-shot translation. , 339–351 (2017). Trans. Assoc. Comput. Linguist. 5 Article Google Scholar Conneau, A. et al. Անհարկված cross-lingual representation learning- ի ծախսում: Ապրիլ 2020-ի 58-րդ դեկտեմբերի 8-ին (ACL, 2020) Bengio, Y., Léonard, N. & Courville, A. C. Estimating or propagating gradients through stochastic neurons for conditional computation. Preprint at (2013). http://arxiv.org/abs/1308.3432 Almahairi, A. et al. Dynamic capacity networks. In Vol. 48, 2091–2100 (PMLR, 2016). Proc. 33rd International Conference on International Conference on Machine Learning Elbayad, M., Sun, A. & Bhosale, S. Fixing MoE over-fitting on low-resource languages in multilingual machine translation. In (eds Rogers, A. et al.) 14237–14253 (ACL, 2023); . Findings of the Association for Computational Linguistics: ACL 2023 https://aclanthology.org/2023.findings-acl.897 Rei, R., Stewart, C., Farinha, A. C. & Lavie, A. COMET: Հիմնական թարգմանությունը MT- ի համար: In Proc. 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) (Ed Webber, B. et al.) 2685–2702 (ACL, 2020) Sellam, T., Das, D. & Parikh, A. BLEURT: learning robust metrics for text generation. In (eds Jurafsky, D. et al.) 7881–7892 (ACL, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Տես, M. A Call for Clarity in Reporting BLEU Scores. In Proc. Third Conference on Machine Translation: Research Papers (eds Bojar, O. et al.) 186–191 (ACL, 2018); https://aclanthology.org/W18-6319. Graham, Y., Baldwin, T., Moffat, A. & Zobel, J. Հիմնական չափման քանակները մեքենա թարգմանության հարդալում: In Proc. 7th Linguistic Annotation Workshop and Interoperability with Discourse 33-41 (Eds Graham, Y. et al.) (ACL, 2013). NLLB Team et al. No Language Left Behind: scaling human-centric machine translation. GitHub https://github.com/facebookresearch/fairseq/tree/nllb (2022). Acknowledgements Ապրիշի հետազոտությունների համար, մենք համոզված ենք, որ մենք կարող ենք վերահսկել եւ վերահսկել, թե ինչ է անում, եւ ինչ է անում, թե ինչ է անում: Մենք երջանիկ ենք բոլորի հետազոտողներին, ովքեր աշխատում են մեր ծրագրի մասին: C. Baziotis, D. Dua, A. Guo, O. Ignat, A. Chaudhary, T. Mohiuddin, A. N. Rubungo, S. Sun, S. Tan, H. Xu, Y. Zhang. Մենք երջանիկ ենք բոլորի հետազոտողների հետազոտությունների համար: C. Baziotis, D. Dua, A. Ignat, A. Ignat, A. Chaudhary, A. Mohiuddin, A. N. Rubungo, S. Grave, S. Tan, H. Այս գրասենյակը հասանելի է CC by 4.0 Deed (Attribution 4.0 International) License- ի տակ: Այս գրասենյակը հասանելի է CC by 4.0 Deed (Attribution 4.0 International) License- ի տակ: