Trong AI có thể dịch 200 ngôn ngữ, ngay cả những ngôn ngữ gần như không có dữ liệu

Tác giả : Nhóm NLLB Bà Marta R. Costa-Jussà James Cross Lời bài hát: Honor Çelebi Lời bài hát: Maha Elbayad Đạo diễn Kenneth Heafield bởi Kevin Heffernan Lời bài hát: Kalbassi Janice Lam Daniel Licht Jean Maillard Anna Mặt Trời Skyler Vương Guillaume Wenzek Lời bài hát: Al Youngblood Đồ chơi Bapi Akula Lời bài hát Loic Barrault Ông Gabriel Mejia Gonzalez Lời bài hát: Hansanti bởi John Hoffman Tác giả: Semarley Jarrett Ông Kaushik Ram Sadagopan Đạo diễn Dirk Rowe Shannon Spruit Chau Tran bởi Pierre Andrews Tác giả: Necip Fazil Ayan Thảo luận:Shruti Bhosale Sergey Edunov Angela Fan Tác giả: Cynthia Gao Chúc mừng bạn Francisco Guzmán Philipp Koehn Ông Alexandre Mourachko Đạo diễn Christophe Ropers Safiyyah Saleem Ông Holger Schwenk Jeff Wang Tác giả : NLLB Team Bà Marta R. Costa-Jussà James Cross Lời bài hát: Honor Çelebi Lời bài hát: Maha Elbayad Đạo diễn Kenneth Heafield bởi Kevin Heffernan Lời bài hát: Kalbassi Janice Lam Daniel ánh sáng bởi Jean Maillard Anna Mặt Trời Skyler Vương Đạo diễn Guillaume Wenzek Lời bài hát: Al Youngblood Đồ chơi Bapi Akula Lời bài hát Loic Barrault Ông Gabriel Mejia Gonzalez Lời bài hát: Hansanti bởi John Hoffman Tác giả: Semarley Jarrett Ông Kaushik Ram Sadagopan Đạo diễn Dirk Rowe Thảo luận:Shannon Spruit Chau Tran bởi Pierre Andrews Tác giả: Necip Fazil Ayan Thảo luận:Shruti Bhosale Sergey Edunov Angela Fan Tác giả: Cynthia Gao Chúc mừng bạn Francisco Guzmán Phillip Koehn Ông Alexandre Mourachko Đạo diễn Christophe Ropers Sa-lô Sa-lô Ông Holger Schwenk Ông Jeff Wang Abstracts Ngày nay, các hệ thống dịch máy thần kinh (NMT) có thể khai thác khả năng đa ngôn ngữ cao và thậm chí thực hiện dịch zero-shot, mang lại kết quả đầy hứa hẹn về phạm vi ngôn ngữ và chất lượng. Tập trung vào việc cải thiện chất lượng dịch của một nhóm tương đối nhỏ các ngôn ngữ tài nguyên cao đến với chi phí của việc hướng sự chú ý nghiên cứu đến các ngôn ngữ tài nguyên thấp, làm trầm trọng thêm sự bất bình đẳng kỹ thuật số trong dài hạn.Để phá vỡ mô hình này, ở đây chúng tôi giới thiệu No Language Left Behind - một mô hình đa ngôn ngữ lớn duy nhất mà tận dụng việc học tập chuyển giao giữa các ngôn ngữ. , , , , , , mà chúng tôi đã đào tạo trên dữ liệu thu được với các kỹ thuật khai thác mới được thiết kế cho các ngôn ngữ tài nguyên thấp. Hơn nữa, chúng tôi đã thiết kế nhiều cải tiến kiến trúc và đào tạo để chống lại sự quá tải trong khi đào tạo trên hàng ngàn nhiệm vụ. Chúng tôi đã đánh giá hiệu suất của mô hình của chúng tôi trên 40.000 hướng dịch thuật bằng cách sử dụng các công cụ được tạo ra đặc biệt cho mục đích này - một chỉ số chuẩn tự động (FLORES-200), một chỉ số đánh giá của con người (XSTS) và một máy dò độc tính bao gồm mọi ngôn ngữ trong mô hình của chúng tôi. So với các mô hình hiện đại trước đây, mô hình của chúng tôi đạt được trung bình 44% cải thiện chất lượng dịch thuật như được đo bằng BLEU. Bằng cách chứng minh làm thế nào để mở rộng NMT lên 200 ngôn ngữ và làm cho tất 1 2 3 4 5 6 7 chính Sự ra đời gần đây của dịch thuật máy thần kinh (NMT) đã đẩy các công nghệ dịch sang các biên giới mới, nhưng lợi ích của nó được phân phối không đều. Phần lớn các cải tiến đã được thực hiện chủ yếu có lợi cho các ngôn ngữ tài nguyên cao, để lại nhiều ngôn ngữ tài nguyên thấp. (Đối với mục đích nghiên cứu của chúng tôi, chúng tôi định nghĩa một ngôn ngữ tài nguyên cao là một ngôn ngữ mà chúng tôi có ít nhất 1 triệu câu dữ liệu văn bản (hoặc bit text) được sắp xếp với một ngôn ngữ khác). Sự chênh lệch này phần lớn có thể được quy cho một khoảng cách dữ liệu: các mô hình NMT thường yêu cầu một lượng lớn dữ liệu để tạo ra các bản dịch chất lượng và, theo định nghĩa, những khối lượng này không có sẵn cho các ngôn ngữ tài nguyên thấp hơn. dự án No Language Left Behind (NLLB-200) tìm cách vượt qua giới hạn này bằng cách tận dụng các phương pháp chưa biết trước đây để xây dựng các mô hình đa ngôn ngữ với khả năng chuyển giao chéo. , , do đó cho phép các ngôn ngữ liên quan để học hỏi lẫn nhau , , . 1 8 9 1 10 11 Bây giờ đã được công nhận rộng rãi rằng các mô hình đa ngôn ngữ đã thể hiện sự cải thiện hiệu suất đầy hứa hẹn so với các mô hình song ngữ. Tuy nhiên, câu hỏi vẫn còn là liệu các mô hình đa ngôn ngữ có thể đại diện cho hàng trăm ngôn ngữ mà không ảnh hưởng đến chất lượng. Kết quả của chúng tôi cho thấy rằng việc tăng gấp đôi số ngôn ngữ được hỗ trợ trong phiên dịch máy và duy trì chất lượng đầu ra không phải là những nỗ lực độc quyền lẫn nhau. Mô hình cuối cùng của chúng tôi – bao gồm 200 ngôn ngữ và ba lần nhiều ngôn ngữ có nguồn tài nguyên thấp hơn các ngôn ngữ có nguồn tài nguyên cao – hoạt động tốt hơn trung bình 44% so với các hệ thống hiện đại trước đây. 12 Thứ nhất, so với các đối tác tài nguyên cao của họ, dữ liệu đào tạo cho các ngôn ngữ tài nguyên thấp là tốn kém và khó khăn về mặt hậu cần để mua. , , Tài nguyên kỹ thuật số có sẵn công khai có khối lượng hạn chế hoặc khó phát hiện bởi các hệ thống tự động (đặc biệt là trong các bộ dữ liệu web công cộng lớn như CommonCrawl).Bất kể việc thu thập một khối lượng dữ liệu hạt giống được dịch bởi con người là cần thiết hay không, việc thu thập dữ liệu đầy đủ phụ thuộc vào việc khai thác dữ liệu quy mô lớn và đường ống dẫn dữ liệu đơn ngôn ngữ , , , Các kỹ thuật sau đây thường bị ảnh hưởng bởi tiếng ồn và thiên vị, do đó làm cho việc xác nhận chất lượng của các bộ dữ liệu mà họ tạo ra nhàm chán. Trong NLLB-200, chúng tôi cho thấy rằng một kỹ thuật mã hóa câu dựa trên chưng cất, LASER3 (ref. ), tạo điều kiện cho việc khai thác dữ liệu song song hiệu quả cho các ngôn ngữ tài nguyên thấp. 13 14 15 16 17 18 19 20 21 Thứ hai, về mặt mô hình, chúng tôi sử dụng một tập hợp các tập hợp dữ liệu hạt giống, khai thác, mã nguồn mở và dịch ngược để đào tạo các mô hình tính toán có điều kiện đa ngôn ngữ (cụ thể hơn, các mô hình hỗn hợp chuyên gia , , , , , Chúng tôi cho thấy cách chúng tôi có thể đạt được hiệu suất hiện đại với sự cân bằng tối ưu hơn giữa chuyển giao và can thiệp giữa các ngôn ngữ liên quan mà không làm tăng sự can thiệp giữa các ngôn ngữ không liên quan). 2 3 4 5 6 7 Cuối cùng, với mục đích đánh giá chất lượng, chúng tôi đã tạo ra FLORES-200 – một tiêu chuẩn chuẩn đa ngôn ngữ lớn cho phép đo chất lượng dịch thuật trên bất kỳ hướng nào trong khoảng 40.000 hướng dịch thuật được mô hình NLLB-200 bao gồm. Ngoài các chỉ số tự động, chúng tôi cũng đã tạo ra Tương tự văn bản ngữ nghĩa xuyên ngôn ngữ (XSTS) và Đánh giá độc tính (ETOX). XSTS là một giao thức đánh giá của con người cung cấp sự nhất quán giữa các ngôn ngữ; ETOX là một công cụ để phát hiện độc tính bổ sung trong các bản dịch sử dụng danh sách từ độc tính. Ngoài việc tạo ra các mô hình này, chúng tôi cũng phản ánh về tác động xã hội tiềm năng của NLLB. Để tăng cường khả năng áp dụng thực tế của công việc của chúng tôi trong dịch vụ cho các cộng đồng nói ngôn ngữ tài nguyên thấp, chúng tôi cung cấp tất cả các tiêu chuẩn, dữ liệu, mã và mô hình được mô tả trong nỗ lực này như các tài nguyên có sẵn miễn phí để sử dụng phi thương mại ( ) (xem thông báo Dữ liệu và Mã sẵn có để biết chi tiết). https://github.com/facebookresearch/fairseq/tree/nllb Tự động tạo dữ liệu đào tạo dịch thuật Các kỹ thuật hiện tại được sử dụng để đào tạo các mô hình dịch khó mở rộng đến các thiết lập tài nguyên thấp, trong đó dữ liệu văn bản song ngữ (hoặc dữ liệu bit text) được sắp xếp tương đối hiếm. Nhiều ngôn ngữ tài nguyên thấp chỉ được hỗ trợ bởi dữ liệu văn bản nhắm mục tiêu nhỏ bao gồm chủ yếu là các bản dịch của Kinh Thánh Kitô giáo. , cung cấp sự đa dạng tên miền hạn chế. 22 23 Để xây dựng một tập dữ liệu đào tạo song song quy mô lớn bao gồm hàng trăm ngôn ngữ, cách tiếp cận của chúng tôi tập trung vào việc mở rộng các tập dữ liệu hiện có bằng cách đầu tiên thu thập dữ liệu đơn ngôn ngữ không phù hợp. . 18 Xác định ngôn ngữ cho việc thu thập dữ liệu đơn ngữ Thu thập dữ liệu đơn ngôn ngữ theo quy mô đòi hỏi một hệ thống nhận dạng ngôn ngữ (LID) phân loại chính xác các tài nguyên văn bản cho tất cả các ngôn ngữ NLLB-200. , nó vẫn là một thách thức mở cho dữ liệu web , Cụ thể, các vấn đề liên kết xung quanh sự không phù hợp tên miền Ngôn ngữ tương tự không rõ ràng và thành công quy mô lớn đa ngôn ngữ . 24 25 26 26 27 28 Tăng cường phát triển kinh tế, phát triển kinh tế, phát triển kinh tế, phát triển kinh tế, phát triển kinh tế, phát triển kinh tế, phát triển kinh tế ( ) và fasttext là hai mô hình có sẵn cung cấp hiệu suất phát hiện cao cho 107 và 187 ngôn ngữ, tương ứng. , báo cáo bao phủ thậm chí cao hơn—464 và 1.366 ngôn ngữ, tương ứng. Scales LID hiệu suất lên đến 1.629 ngôn ngữ sử dụng danh sách từ và tự giám sát để bootstrap đào tạo dữ liệu tìm thấy trên web. Tuy nhiên, các phương pháp này sử dụng dữ liệu tìm thấy bị mất cân bằng miền. đó là, bởi vì các miền văn bản có sẵn khác nhau theo ngôn ngữ, phân loại kết hợp các miền khác nhau với các ngôn ngữ khác nhau. https://github.com/google/cld3 29 30 31 32 Trong công việc của chúng tôi, chúng tôi đã quản lý FLORES-200 để sử dụng như một bộ phát triển để hiệu suất hệ thống LID của chúng tôi Cách tiếp cận của chúng tôi kết hợp một mô hình văn bản nhanh dựa trên dữ liệu được đào tạo trên FLORES-200 với một tập hợp nhỏ các quy tắc được viết bằng tay để giải quyết phản hồi của con người về các lỗi phân loại. và bao gồm các bộ lọc ngôn ngữ để giảm bớt việc học các mối tương quan sai lệch do các mẫu đào tạo ồn ào trong khi mô hình hóa hàng trăm ngôn ngữ. 33 34 Chúng tôi so sánh mô hình LID của chúng tôi với ba mô hình có sẵn công khai: CLD3, LangId ( ) và LongDetect ( ) Bàn Báo cáo hiệu suất trên ba bộ ngôn ngữ pha trộn chéo với NLLB-200: (1) 51 ngôn ngữ cũng được hỗ trợ bởi LangId, LangDetect và CLD3; (2) 78 ngôn ngữ cũng được hỗ trợ bởi LangId và CLD3; (3) 95 ngôn ngữ cũng được hỗ trợ bởi CLD3. Chúng tôi cũng báo cáo tỷ lệ giả tích cực (FPR) để phản ánh tác động của giả tích cực đối với các ngôn ngữ không nhìn thấy. kết quả của chúng tôi cho thấy mô hình của chúng tôi được trang bị để xử lý tất cả 200 ngôn ngữ được tìm thấy trong FLORES-200 trong khi đạt được hiệu suất cao hơn đáng kể so với LangId, LangDetect và CLD3. Hơn nữa, sự gia tăng trong điểm số F1 đi kèm với sự cải thiện đáng kể trong FPR, gợi ý một sự phù hợp mạnh hơn nhiều cho các ngôn ngữ nguồn lực thấp bổ sung . https://github.com/saffsd/langid.py https://pypi.org/project/langdetect/ 1 32 Mining cho Bitext Previous Công việc lưu ý rằng chất lượng dịch thuật thường tăng lên với số lượng dữ liệu đào tạo chất lượng cao, rất khó để có được khi làm việc với các ngôn ngữ tài nguyên thấp. Các corpora song song hiện có cho các ngôn ngữ tài nguyên thấp thường được rút ra thuận tiện từ các bộ sưu tập đa ngôn ngữ được biết đến, chẳng hạn như Kinh Thánh Kitô giáo hoặc các ấn phẩm của các tổ chức đa quốc gia, có giới hạn về số lượng và tên miền. Để vượt qua vấn đề này, chúng tôi đã tạo ra các bộ dữ liệu đào tạo thông qua khai thác bittex toàn cầu trong nội dung web có sẵn công khai (được rút ra từ các kho lưu trữ như CommonCrawl). Ý tưởng cơ bản của cách tiếp cận khai thác bittex của chúng tôi là đầu tiên học một câu đa ngôn ngữ nhúng không gian và sử dụng một biện pháp tương đồng trong không gian để quyết định liệu hai câu có song 35 Vì cách tiếp cận khai thác của chúng tôi đòi hỏi một không gian nhúng đa ngôn ngữ, có một số thách thức khi mở rộng đại diện này cho tất cả các ngôn ngữ NLLB-200. Đầu tiên, chúng tôi phải đảm bảo rằng tất cả các ngôn ngữ đã được học tốt và chúng tôi đã tính đến sự mất cân bằng lớn trong dữ liệu đào tạo có sẵn. Thứ hai, đào tạo một bộ mã hóa câu đa ngôn ngữ hàng loạt từ đầu mỗi khi một tập hợp ngôn ngữ mới được giới thiệu là tốn kém về mặt tính toán. Hơn nữa, nhược điểm chính của phương pháp này là không gian nhúng được học từ mỗi mô hình mới không nhất thiết phải tương thích với nhau. Điều này có thể làm cho việc khai thác trở nên không thể kiểm soát được vì đối với mỗi bộ mã hóa mới, toàn bộ dữ liệu đơn ngôn ngữ có sẵn cần phải được nhúng lại (ví dụ, đối với tiếng mở rộng không gian nhúng laser đến tất cả các ngôn ngữ NLLB-200. Ngôn ngữ được đào tạo hoặc là sinh viên cá nhân hoặc cùng với các ngôn ngữ từ cùng một gia đình. Đào tạo của sinh viên theo cách tiếp cận được mô tả trong ref. . 21 36 21 Cách tiếp cận của chúng tôi cho phép chúng tôi tập trung vào các đặc điểm cụ thể của từng ngôn ngữ trong khi tận dụng lợi thế của các ngôn ngữ có liên quan, điều này rất quan trọng để đối phó với các ngôn ngữ có nguồn lực rất thấp. (Một ngôn ngữ được định nghĩa là có nguồn lực rất thấp nếu nó có ít hơn 100.000 mẫu trên tất cả các cặp với bất kỳ ngôn ngữ nào khác trong bộ dữ liệu của chúng tôi). Sử dụng phương pháp này, chúng tôi đã tạo ra hơn 1,100 triệu cặp câu mới của dữ liệu đào tạo cho 148 ngôn ngữ. dữ liệu đào tạo bổ sung này, kết hợp với dịch ngược (một kỹ thuật thông thường để tăng cường dữ liệu trong NMT; ref. ), đã mang lại những cải tiến đáng chú ý về chất lượng dịch - cụ thể là +12.5 chrF++ (ref. ) để dịch các ngôn ngữ tài nguyên rất thấp sang tiếng Anh. Để biết thêm chi tiết, xem Thông tin bổ sung . 37 38 D Mô hình Ngay cả với khối lượng dữ liệu tăng đáng kể, thách thức chính của dịch tài nguyên thấp là cho các mô hình đào tạo đại diện đầy đủ cho 200 ngôn ngữ trong khi điều chỉnh cho dung lượng dữ liệu biến đổi cho mỗi cặp ngôn ngữ. Ngoài các kỹ thuật như tăng cường dữ liệu (ví dụ, với dịch ngược) và các chiến lược tự giám sát trên dữ liệu đơn ngôn ngữ, chúng tôi đã sử dụng các mô hình tính toán có điều kiện - cụ thể hơn, Sparsely Gated Mix of Experts (sau đây là MoE) - để giảm thiểu sự can thiệp giữa các hướng ngôn ngữ không liên quan. Mô hình chuyển đổi MoE khác với các mô hình chuyển đổi dày đặc bởi vì một số lớp mạng chuyển tiếp được thay thế bằng các lớp MoE trong cả bộ mã hóa và bộ giải mã. Các chuyên gia (mỗi là một mạng lưới nguồn) và một mạng lưới gating để quyết định làm thế nào để định tuyến token đầu vào cho các chuyên gia. mô hình transformer encoder-decoder, bổ sung với các lớp MoE và mạng lưới gating tương ứng của họ, học cách định tuyến token đầu vào cho hai chuyên gia hàng đầu tương ứng bằng cách tối ưu hóa một sự kết hợp cân bằng tuyến tính của entropy chéo mịn nhãn và một phụ trợ tải cân bằng mất mát . E 39 6 Chúng tôi thấy rằng các mô hình Vanilla MoE với giảm tổng thể là không tối ưu cho các ngôn ngữ tài nguyên thấp và vượt trội đáng kể trên các cặp tài nguyên thấp. Để khắc phục vấn đề này, chúng tôi đã thiết kế Expert Output Masking (EOM), một chiến lược quy định cụ thể cho các kiến trúc MoE, và so sánh nó với các chiến lược quy định hiện có, chẳng hạn như Gating Dropout Chúng tôi thấy rằng Gating Dropout hoạt động tốt hơn so với vanilla MoE với drop-out tổng thể nhưng được vượt qua bởi EOM. 40 Để giảm thêm sự quá tải trên các cặp ngôn ngữ có nguồn lực thấp, chúng tôi đã thiết kế một chương trình giảng dạy giới thiệu các cặp ngôn ngữ theo giai đoạn trong quá trình đào tạo mô hình. Update được giới thiệu với Cập nhật trước khi kết thúc đào tạo. Điều này làm giảm quá tải trong khi cho phép các cặp đôi được hưởng lợi từ đào tạo bổ sung để tiếp tục học tập của họ. Nó cho thấy rằng việc kết hợp học tập chương trình giảng dạy và EOM cải thiện hiệu suất, đặc biệt là trên các cặp ngôn ngữ có nguồn lực thấp và rất thấp (xem phần “Modelling” để biết thêm chi tiết). K K 2 Để hiểu làm thế nào mô hình MoE hữu ích cho dịch máy đa ngôn ngữ, chúng tôi hình dung sự tương đồng của các chuyên gia trong các lớp MoE bằng cách sử dụng bản đồ nhiệt (Hình. Những bản đồ nhiệt này cho thấy rằng trong các lớp decoder cuối (Hình. ), các ngôn ngữ đang được tách ra (tức là, gửi đến các bộ khác nhau của các chuyên gia). Hơn nữa, chúng tôi quan sát thấy rằng các ngôn ngữ trong cùng một gia đình là rất giống nhau trong sự lựa chọn của họ của các chuyên gia (tức là, các lớp decoder mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu mu). ) seem to be less language-specific. The late encoder MoE layers are particularly language-agnostic in how they route tokens as can be attested by the uniform heat map in Fig. . 1A - D 1D 1c 1B Fig. 1: Cosine similarity scores between languages at different layers of the encoder–decoder architecture. Thì – Đầu tiên là ( Cuối cùng ( ) mã hóa các lớp và sau đó đầu tiên ( Cuối cùng ( ) decoder layers. The similarity is measured with respect to the gating decisions (expert choice) per language (source side in the encoder and target side in the decoder). Lighter colours represent higher experts similarity, hence, a language-agnostic processing. a d a b c d Kết hợp dữ liệu (xem phần ‘ ’) và đóng góp mô hình, Bảng cho thấy rằng NLLB-200 vượt trội so với hệ thống hiện đại gần nhất bằng gần +7,3 spBLEU (ref. Sau đó, chúng tôi so sánh NLLB-200 với một vài mô hình hiện đại khác, chẳng hạn như Deepnet và M2M-100 (ref. ) để báo cáo điểm số cho 87 ngôn ngữ so với FLORES-101. Trên tiểu tập nhỏ hơn này, NLLB-200 một lần nữa vượt trội hơn +7.0 spBLEU trung bình. Nhìn chung, kết quả cho thấy rằng NLLB-200 cải thiện trên các hệ thống hiện đại bằng một lợi thế đáng chú ý mặc dù hỗ trợ 200 ngôn ngữ, hoặc gấp đôi số lượng ngôn ngữ (và hơn 30.000 hướng bổ sung) so với bất kỳ công việc trước đó. chúng tôi cũng cho thấy trong các thí nghiệm bổ sung rằng NLLB-200 là một mô hình NMT có mục đích chung, có thể chuyển sang các miền khác bằng cách điều chỉnh tốt trên số lượng nhỏ các bit chất lượng cao (xem Thông tin bổ sung) ) Tự động tạo dữ liệu đào tạo dịch thuật 3 41 42 1 E3 Đánh giá Trong số nhiều khía cạnh của hiệu suất mô hình có thể được đánh giá , phần này nhấn mạnh ba khía cạnh có tác động rõ rệt đến đánh giá chất lượng tổng thể: tiêu chuẩn đánh giá tự động, giao thức đánh giá con người và đánh giá độc tính. 43 Một tiêu chuẩn để đánh giá tự động bằng cách sử dụng FLORES-200 Chất lượng đầu ra NMT thường được đánh giá bằng các số liệu tự động như BLEU hoặc spbluu Việc tính toán điểm số chất lượng tự động bằng cách sử dụng các chỉ số này đòi hỏi các tập dữ liệu tham chiếu cung cấp các bản dịch của con người theo tiêu chuẩn vàng làm tham chiếu. Mặt khác, việc đánh giá từ táo đến táo các phương pháp khác nhau được thực hiện bởi các tập dữ liệu tham chiếu này cho phép chúng ta hiểu rõ hơn về những gì đòi hỏi nghiên cứu và phát triển thêm. led to rapid progress in translation directions such as English to German and English to French. 44 41 45 Đối với NMT đa ngôn ngữ, tập hợp dữ liệu tiêu chuẩn lớn nhất có sẵn là FLORES-101, hỗ trợ khoảng một nửa số ngôn ngữ trong NLLB-200. Việc mở rộng cần thiết của FLORES-101 lên FLORES-200 tạo ra một thách thức bổ sung về đảm bảo chất lượng, một phần do sự khác biệt trong thực tiễn tiêu chuẩn hóa và quyền truy cập hạn chế vào các phiên dịch viên chuyên nghiệp cho tất cả các ngôn ngữ liên quan. Để vượt qua thách thức này, chúng tôi đã điều chỉnh quy trình làm việc của chúng tôi để đặc biệt chú ý đến các cơ chế đảm bảo chất lượng. Quy trình làm việc của FLORES-200 bao gồm bốn giai đoạn: (1) sắp xếp; (2) dịch, đảm bảo chất lượng ban đầu và lặp lại; (3) đảm bảo chất lượng cuối cùng; và (4) hoàn thành ngôn ngữ. Một tập hợp FLORES-200 được coi là đã sẵn sàng sau khi vượt qua Kết quả của quy trình làm việc được thiết kế lại này, chúng tôi đã tạo ra một bộ dữ liệu ba phân đoạn (dev, devtest, test) của các bản dịch tham chiếu song song của con người cho tất cả các ngôn ngữ NLLB-200 đáp ứng ngưỡng chất lượng 90% trong thời gian quay ngược tối đa là 287 ngày (119 ngày trung bình, 70 ngày tối thiểu). (Lưu ý rằng để tránh rò rỉ với các mô hình của chúng tôi, chúng tôi đã lọc dữ liệu từ FLORES và các tiêu chuẩn đánh giá khác được sử dụng (như WMT và IWSLT) từ dữ liệu đào tạo của chúng tôi. Để biết thêm chi tiết về quá trình đánh giá. hình Hiển thị điểm chất lượng cho tất cả các ngôn ngữ, một số trong số đó được dán nhãn là ví dụ. C 2 Fig. 2: Quality of FLORES-200. Thì Điểm đảm bảo chất lượng cho các ngôn ngữ trong FLORES-200. Tiêu chuẩn tối thiểu được chấp nhận là 90%. Đánh giá đáng tin cậy của con người Các chỉ số tự động tiên tiến thường không ghi lại các khía cạnh của ngôn ngữ mà mặc dù tinh tế nhưng có thể có tác động đáng kể đến chất lượng dịch. Điều đó nói rằng, dựa vào chúng đi kèm với hai thách thức: (1) bất kỳ đánh giá con người quy mô lớn về chất lượng NMT, bất kể số hướng dịch liên quan, cạnh tranh với thỏa thuận giữa các nhà đánh giá có khả năng thấp (gần 0,5 kappa); và (2) NMT đa ngôn ngữ lớn giới thiệu một sự phức tạp khác - đó là sự nhất quán đánh giá chất lượng trên các hướng ngôn ngữ. , một số liệu đánh giá mới tập trung vào ý nghĩa, và bằng cách sử dụng một giao thức cho phép hiệu chỉnh điểm số trên các nhà đánh giá và cặp ngôn ngữ. 46 47 XSTS là một giao thức đánh giá của con người lấy cảm hứng từ STS XSTS sử dụng một thang điểm năm điểm, trong đó 1 là điểm thấp nhất, và 3 đại diện cho ngưỡng chấp nhận. Để đảm bảo sự nhất quán không chỉ giữa các ngôn ngữ mà còn giữa các nhà đánh giá khác nhau của bất kỳ ngôn ngữ nào, chúng tôi đã bao gồm cùng một nhóm các cặp câu trong toàn bộ các cặp câu được cung cấp cho mỗi nhà đánh giá, cho phép hiệu chỉnh kết quả. 48 Chúng tôi thấy rằng các số liệu tự động như spBLEU và chrF++ tương quan khá tốt với các đánh giá của con người về chất lượng dịch thuật, như thể hiện trong hình. của Spearman Tỷ lệ tương quan giữa tổng hợp XSTS và spBLEU, chrF++ (corpus) và chrF++ (mức trung bình của câu) là 0,710, 0,687 và 0,694, tương ứng. của Pearson Corpus spBLEU cung cấp sự tương quan danh nghĩa tốt nhất, tiếp theo là mức độ câu trung bình chrF++. 3 R τ R Fig. 3: Correlations between aggregated human quality scores and automated metrics. Thì , Mối quan hệ giữa spBLEU và XSTS. , The relationship between chrF++ and XSTS. , The relationship between average sentence-level chrF++ and XSTS. All automated scores were computed only on the sentences evaluated for a given model and translation direction (either the full FLORES-200 dataset or a subset). NLLB-200 refers to a 55B parameter MoE model, and NLLB-200 Baseline refers to a dense 3.3B parameter model. a b c Full size hình ảnh We also find that calibrated human evaluation scores correlate more strongly with automated scores than uncalibrated human evaluation scores across all automated metrics and choices of correlation coefficient. In particular, uncalibrated human evaluation scores have a Spearman’s correlation coefficient of 0.625, 0.607 and 0.611 for spBLEU, chrF++ (corpus) and chrF++ (average sentence-level), respectively. R Tổng cộng, một mẫu 55 hướng ngôn ngữ đã được đánh giá, bao gồm 8 hướng tiếng Anh, 27 hướng từ tiếng Anh và 20 hướng ngôn ngữ trực tiếp khác. Trung bình tổng số điểm XSTS được đánh giá là 4.26, với 38/55 hướng ghi trên 4.0 (tức là chất lượng cao) và 52/56 hướng ghi trên 3.0. We hypothesize that added toxicity may be because of the presence of toxicity in the training data and used our detectors to estimate, more specifically, unbalanced toxicity in the bitext data. We find that estimated levels of unbalanced toxicity vary from one corpus of bitext to the next and that unbalanced toxicity can be greatly attributed to misaligned bitext. In other words, training with this misaligned bitext could encourage mistranslations with added toxicity. To mitigate this issue, we designed a bitext filtering procedure based on the detection of multiple instances of added toxicity (that is, cases in which one sentence in the bitext pair contains at least two more toxic items than the other sentence in the pair). (A previous detector quality analysis showed that a higher precision was reached in this situation). We added this toxicity filtering procedure as an option to the filtering process and experimented with or without it for comparison. The experimental results on the FLORES-200 dev set for 10 translation directions (from and into English for Somali, Southern Sotho, Twi, Umbundu and Venetian) show that after filtering an average amount of around 30% parallel sentences, the translation quality (chrF++) improves by 5% and added toxicity (ETOX) reduces by the same amount. Therefore, the filtering pipeline that includes toxicity filtering not only reduces the number of toxic items in the translation output but also improves the overall translation performance. Kết luận In 2016, the United Nations declared internet access a basic human right. Although the intent of this declaration was to limit censorship and allow for information and ideas to flow without interference, much of the internet today remains inaccessible to many due to language barriers. Our effort was designed to contribute one solution to help alter this status quo. Đối với nhiều cộng đồng ngôn ngữ có nguồn lực thấp, NLLB-200 là một trong những mô hình đầu tiên được thiết kế để hỗ trợ dịch sang hoặc ra khỏi ngôn ngữ của họ. Mặc dù các ứng dụng của các khả năng dịch mới này có thể được tìm thấy trong nhiều lĩnh vực của cuộc sống hàng ngày, chúng tôi tin rằng tác động của chúng sẽ có ý nghĩa nhất trong một lĩnh vực như giáo dục. Trong các thiết lập giáo dục chính thức, ví dụ, sinh viên và nhà giáo dục thuộc các nhóm ngôn ngữ có nguồn lực thấp có thể, với sự giúp đỡ của NLLB-200, sử dụng nhiều cuốn sách, bài báo nghiên cứu và kho lưu trữ hơn trước đây. Trong lĩnh vực học tập không chính thức, người nói ngôn ngữ có nguồn lực thấp có thể trải nghiệm quyền truy cập nhiều hơn vào thông tin từ các kênh tin tức toàn cầu và các nền tảng truyền thông xã hội, cũng như các Since launching NLLB-200, we can already see the impact of the model across many directions. Four months after the launch of NLLB-200, Wikimedia reported that our model was the third most used machine translation engine used by Wikipedia editors (accounting for 3.8% of all published translations) ( ). Compared with other machine translation services and across all languages, articles translated with NLLB-200 has the lowest percentage of deletion (0.13%) and highest percentage of translation modification kept under 10%. https://web.archive.org/web/20221107181300/https://nbviewer.org/github/wikimedia-research/machine-translation-service-analysis-2022/blob/main/mt_service_comparison_Sept2022_update.ipynb In many ways, the composition of the NLLB-200 effort speaks to the centrality of interdisciplinarity in shaping our vision. Machine translation and AI advancements lie at the intersection of technological, cultural and societal development, and thus require scholars with diverse training and standpoints to fully comprehend every angle , . It is our hope that in future iterations, NLLB-200 continues to include scholars from fields underrepresented in the world of machine translation and AI, particularly those from humanities and social sciences backgrounds. More importantly, we hope that teams developing these initiatives would come from a wide range of race, gender and cultural identities, much like the communities whose lives we seek to improve. 49 50 Finally, we want to emphasize that overcoming the challenges that prevent the web from being accessible to speakers of all languages requires a multifaceted approach. At the technical level, NLLB-200 overcomes many data, modelling and evaluation challenges in NMT research, but it still has its limitations, some of which are documented in Supplementary Information Là một can thiệp công nghệ duy nhất, NLLB-200 là tất cả nhưng một mảnh của một câu đố lớn; can thiệp chính sách nhằm vào các vấn đề cơ bản hơn xung quanh giáo dục, truy cập internet và kỹ thuật số là cần thiết để xóa bỏ vấn đề cấu trúc của sự khác biệt ngôn ngữ. G Methods Data This section describes the steps taken to design our language identification system and bitext mining protocol. Language identification To train language identification models, we used fasttext , , which has been widely used for text classification tasks because of its simplicity and speed. We embedded character-level -grams from the input text and leveraged a multiclass linear classifier on top. The lightweight nature of fasttext enables our LID models to handle web-scale data. Furthermore, a linear model has the benefit of being easily explainable, allowing us to trace any classification error back to its root cause. This is instrumental in addressing common pitfalls that arise when detecting language on web corpora . 33 51 n 32 Classifier design We experimented with two different designs. First, we used a combination of multiple binary classifiers in which the final decision was obtained by selecting the language with the highest score after applying a threshold. We applied threshold optimization so that when the confidence of a classifier is low, the corresponding language is not considered for the final decision. A sentence was filtered out if none of the classifiers surpassed its threshold. Second, we built a multiclass classifier using softmax over all possible languages. In this case, the threshold optimization is done after the softmax. Our results directed us to focus on the second approach, which offers several advantages. First, changing the threshold for one language did not affect the performance of the other (which is not true in the first setting). Second, this approach generalizes better to out-of-domain data, which is our primary use case (Wikipedia → web data). Finally, a single classifier has the added benefit of being computationally simpler, thus streamlining the language identification process. Training data and handling massive class imbalance Chúng tôi đã sử dụng các tập dữ liệu có sẵn công khai để đào tạo hệ thống LID của chúng tôi, một phần bao gồm các ngôn ngữ mà chúng tôi quan tâm. các tập dữ liệu công khai được triển khai chủ yếu được xây dựng từ các trang web như CommonCrawl. ) for any missing languages. However, this supplementation is insufficient in ensuring balance in the raw training data , Ví dụ, tiếng Anh chỉ chiếm 10,1% dữ liệu đào tạo của chúng tôi, trong khi Minangkabau (tiếng Latin) chỉ chiếm 0,06%. , chúng tôi đã thử nghiệm với nhiều cài đặt lấy mẫu nhiệt độ cho các ngôn ngữ chưa được đại diện, trong đó các câu từ một ngôn ngữ representing per cent of the data set are sampled proportionally to . Optimal performance was obtained at 1/ = 0,3 (để biết thêm chi tiết, xem phần 5.1 của ref. ). B 32 30 10 l pl T 34 Training parameters Our best-performing model was trained with softmax loss over two epochs with a learning rate of 0.8 and embeddings with 256 dimensions. We discarded words with less than a thousand occurrences after upsampling and selecting a minimum and maximum character -Gram chiều dài hai và năm, tương ứng (mà đã được gán một khoảng trống trong thùng có kích thước 1.000.000). (Trong văn bản nhanh, chúng tôi đề cập đến 'từ' khi nó được tách ra bằng không gian. Khi nó là một ngôn ngữ không phân đoạn, chỉ có một 'từ' cho toàn bộ câu (và chúng tôi lấy ký tự -grams)). All hyperparameters were tuned on FLORES-200 dev (see section 5.1.2 of ref. ). n n 34 Cải thiện LID với phân tích ngôn ngữ Language identification is a challenging task in which numerous failure modes exist, often exacerbated by the gaps between the clean data on which LID models are trained and noisy data on which LID models are applied. In other words, LID models trained in a supervised manner on fluently written sentences may have difficulty identifying grammatically incorrect and incomplete strings extracted from the web. Furthermore, models can easily learn spurious correlations that are not meaningful for the task itself. Given these challenges, we collaborated closely with a team of linguists throughout different stages of LID development to identify proper focus areas, mitigate issues and explore solutions (see section 5.1.3 of ref. ). 34 Bitext mining The overall approach for bitext mining focused on starting with a massively multilingual sentence encoder teacher model and adapting it to several different low-resource student models. This approach enabled us to add low-resource languages without competing with high-resource languages for capacity. Doing so circumvents the need to retrain the entire model from scratch while maintaining compatibility with the multilingual embedding spaces for subsequent mining. Extended data Fig. summarizes the overall architecture of the teacher–student approach. The teacher, LASER2, is an improved version of the open-source LASER encoder ( ). The original training procedure was adapted to include SentencePiece tokenization (including a vocabulary of 7,000 tokens) and the upsampling of low-resource languages. 1 https://github.com/facebookresearch/LASER 36 Kiến trúc của bộ mã hóa năm lớp BiLSTM và phương pháp tổng hợp tối đa để có được các nhúng câu đã không thay đổi. . See ref. for details on the original LASER training procedure. Training of the students followed the approach described in greater detail in ref. , summarized below: 52 36 21 Sinh viên chuyên về một hoặc nhiều ngôn ngữ tương tự; students were randomly initialized because we wanted to handle low-resource language for which we did not have a pre-trained language model; học sinh có thể có một từ vựng SentencePiece chuyên dụng khác với giáo viên để phù hợp hơn với các kịch bản và mã thông báo trong các ngôn ngữ của học sinh; as we used cosine distance for bitext mining (Fig. ), students learnt to minimize the cosine loss with the teacher; 1 students can have an MLM loss to leverage student language monolingual data (Fig. ). 1 Training parameters Our student encoders used a 12-layer transformer with a hidden size of 1,024, four attention heads, and around 250 million parameters. All students were trained with available bitexts in their respective language, complemented by 2 million sentences of English/English and English/Spanish. The motivation behind this approach is to anchor the students to the English embedding space, increasing robustness by including English/Spanish bitexts from CCMatrix and allowing for the joint learning of new languages. This technique is particularly useful when only limited amounts of bitexts are available to train the students. Teacher–student training was performed on 16 GPUs, the ADAM optimizer, a learning rate of 0.0005 and a batch size of 10,000. We trained student encoders for 148 languages and named these models LASER3. Proxy metric for new encoders Các bit được khai thác sau đó đã được sử dụng để cải thiện chất lượng dịch thuật cho các ngôn ngữ của NLLB-200. Tuy nhiên, đào tạo khai thác mỏ và NMT là tốn kém về mặt tính toán, và không thể xử lý để thực hiện đánh giá này một cách có hệ thống cho nhiều biến thể mã hóa câu khác nhau. Là một proxy đánh giá, chúng tôi đã sử dụng tỷ lệ lỗi tìm kiếm tương đồng đa ngôn ngữ dựa trên khai thác mỏ, được gọi ở đây là xsim. Không giống như độ chính xác cosine, điều này sắp xếp các nhúng dựa trên điểm cosine cao nhất, xsim sắp xếp các nhúng nguồn và nhúng mục tiêu dựa trên điểm margin cao nhất, được chứng minh là có lợi trong khai thác mỏ. . The margin-based score is defined as 53 Nơi and are the source and target sentences, and ( ) denotes the nearest neighbours of in the other language. We set to 4. All xsim results are calculated on FLORES-200 devtest, using the ratio margin, where margin( , ) = / . Moreover, all scores are calculated for translations into English (that is, xxx → eng). English is encoded by the teacher, and the other language is encoded by the LASER3 student. To facilitate further research using xsim, we also provide this evaluation method as an open-source resource ( ). x y NNK x k x k a b a b https://github.com/facebookresearch/LASER/ End-to-end encoder evaluation Once we had identified the best sentence encoder for each language using the xsim scores, we performed mining, added the mined data to the existing bitexts and trained a bilingual NMT system. Initial experiments indicated that a threshold on the margin of 1.06 seems to be the best compromise between precision and recall for most languages. For these NMT baselines, we do not apply extra filtering on the bitexts and leave this to the training procedure of our massively multilingual NMT system. We did not attempt to optimize the architecture and parameters of the bilingual NMT systems to the characteristics of each language pair but used the same architecture for all. Therefore, the reported results should not be interpreted as the best possible ones given the available resources—they are mainly provided to validate the mined bitexts. We used a 12-layer encoder and decoder and trained for 100 epochs. Moreover, we looked for the best performance on the FLORES-200 development set and report detokenized BLEU on the FLORES-200 devtest. Modelling In this section, we first describe the multilingual machine translation task setup, which includes tokenization and base model architecture. Then, we outline how we leveraged conditional computation for massively multilingual machine translation with EOM regulation and our Curriculum Learning (CL) strategy for low-resource languages. Task setup We modelled multilingual NMT as a sequence-to-sequence task, in which we conditioned on an input sequence in the source language with an encoder and generated the output sequence in the expected target language with a decoder . With the source sentence , source language s, and target language t in hand, we trained to maximize the probability of the translation in the target language - Đó là, ( ∣ , s, t). Below, we discuss details of the (1) tokenization of the text sequences in the source and target languages; and (2) model architecture with the input and output designed specifically for multilingual machine translation. For further details on the task setup, such as the amount of training data per language pair, please refer to Supplementary Information Phần 8 của ref. . 54 S ℓ ℓ T P T S ℓ ℓ F 34 Segmentation with SentencePiece To tokenize our text sequences, we trained a single SentencePiece model (SPM) for all languages. We sampled a total of 100 million sentences from primary bitext data. To ensure low-resource languages are well-represented in the vocabulary, we downsampled high-resource and upsampled low-resource languages with a sampling temperature of five (ref. ). Notably, vocabulary size is an important hyperparameter in multilingual translation models involving low-resource languages , , . The vocabulary size of our trained SPM model is 256,000. Such a large vocabulary ensures adequate representation across the wide spectrum of languages we support. 55 10 56 57 58 Model architecture Mô hình dịch máy đa ngôn ngữ theo chuỗi của chúng tôi dựa trên kiến trúc transformer encoder-decoder Bộ mã hóa chuyển đổi chuỗi token nguồn thành một chuỗi nhúng token. Sau đó, bộ mã hóa tham gia vào đầu ra của bộ mã hóa và tự động tạo token mục tiêu theo token. Chính xác hơn, bộ mã hóa lấy chuỗi token = ( 1, …, (và ngôn ngữ nguồn) s, and produces a sequence of embeddings = ( 1, …, ), sau đó được cung cấp cho bộ giải mã với ngôn ngữ mục tiêu t to produce the target tokens = ( 1, …, ) sequentially. In sum, 59 W w WS ℓ H h hS ℓ V v vT Note that we prefixed the source sequence with the source language, as opposed to the target language, as done in previous work , . We did so because we prioritized optimizing the zero-shot performance of our model on any pair of 200 languages at a minor cost to supervised performance. Empirically, we find zero-shot performance to be negatively affected when conditioning the encoder on the target language. When the source is conditioned on only the source language, the encoder generalizes better to pairs of source and target languages not encountered during training . 10 60 1 Điều kiện tính toán cho đa ngôn ngữ máy dịch A massively multilingual translation (MMT) model uses the same shared model capacity to train on several translation directions simultaneously. While doing so can lead to beneficial cross-lingual transfer between related languages, it can also add to the risk of interference between unrelated languages , Mô hình MoE là một loại mô hình tính toán có điều kiện. , Các mô hình MoE kích hoạt một tiểu tập các thông số mô hình cho mỗi đầu vào, trái ngược với các mô hình mật độ kích hoạt tất cả các thông số mô hình cho mỗi đầu vào. mô hình MoE mở khóa khả năng đại diện được đánh dấu trong khi duy trì cùng một hiệu quả kết luận và đào tạo về FLOPs so với kiến trúc mật độ cốt lõi. 1 61 62 63 However, as we increase the model capacity and the computational cost per update, the propensity for low or very low-resource languages to overfit increases, thus causing performance to deteriorate. In this section, we examine how we can use Sparsely Gated Mixture of Experts models , , , , , to achieve a more optimal trade-off between cross-lingual transfer and interference and improve performance for low-resource languages. 2 3 4 5 6 7 Sparsely gated mixture of experts To build our MoE models, we substitute a quarter of the encoder and decoder feed-forward network layers with MoE layers, each with distinct experts. We followed the Top- - Sử dụng thuật toán trong ref. and dispatched each token to at most = 2 chuyên gia.Để biết thêm chi tiết về việc đào tạo mô hình MoE, hãy xem Thông tin bổ sung . E k 4 k E Expert output masking In this proposed regularization strategy, we masked the expert output for a random fraction ( eom) of the input tokens. For input tokens with dropped expert outputs, the first and/or second expert is effectively skipped. As shown in the second panel of Extended data Fig. , we masked both experts for the first token ( 1 trong màu đỏ), chọn không che giấu bất kỳ đầu ra chuyên gia nào cho token thứ hai ( 2 in blue) and in the final scenario, masked only one expert for the last token ( 3 in green). p 2 x x x Curriculum learning for MMT Orthogonal đến các phương pháp chuẩn hóa mô hình như droppout, chúng tôi đã khám phá việc chuẩn hóa các mô hình MMT thông qua CL. Chúng tôi đề xuất bắt đầu đào tạo với các cặp tài nguyên cao đầu tiên, sau đó giới thiệu các cặp tài nguyên thấp - có xu hướng quá tải - trong các giai đoạn sau. bins { 1, …, }. If is the total number of training updates, we introduced each bin after − Chúng tôi dựa vào khi nào và hướng dẫn nào để thêm vào mỗi giai đoạn của bước khi chúng tôi quan sát thấy một cặp ngôn ngữ bắt đầu quá phù hợp. for more on how the directions are partitioned. See Supplementary Information for the list of directions added at each stage. n b bn T Bi T ki 64 E.2 Evaluations Đánh giá tự động Nhiều số liệu đánh giá chất lượng dịch tự động tồn tại, bao gồm các số liệu dựa trên mô hình như COMET and BLEURT . Although model-based metrics have shown better correlation with human judgement in recent metrics shared tasks of the WMT Trong công việc này, chúng tôi dựa vào BLEU (và một biến thể của nó) và chrF++. Cả hai biện pháp đều dựa trên ý tưởng rằng chất lượng dịch thuật có thể được định lượng dựa trên mức độ tương tự của sản lượng dịch máy so sánh với sản phẩm của người dịch. 65 66 43 Màu xanh và spblue Điểm số Blue đã là thước đo tiêu chuẩn cho đánh giá dịch thuật máy tính kể từ khi thành lập cách đây hai thập kỷ. Nó đo lường sự trùng lặp giữa các dịch thuật máy và con người bằng cách kết hợp độ chính xác từ 1 gram đến 4 gram với hình phạt ngắn hạn. Nhược điểm chính của BLEU là nó phụ thuộc vào tokenization. nỗ lực như sacrebleu đã có những bước tiến hướng tới tiêu chuẩn hóa, hỗ trợ việc sử dụng tokenizers tiêu chuẩn cộng đồng dưới mũ. tuy nhiên, các tokenizers này không mở rộng đến nhiều ngôn ngữ. đề xuất spBLEU, một chỉ số BLEU dựa trên mô hình chuẩn hóa SentencePiece (SPM) bao gồm 101 ngôn ngữ, được phát hành cùng với FLORES-101. Trong công việc này, chúng tôi cung cấp SPM-200 cùng với FLORES-200 để cho phép đo spBLEU. (Phân tích của chúng tôi cho thấy có sự khác biệt nhỏ giữa SPM-200 từ FLORES-200 và SPM-100 từ FLORES-101 khi đo trên các ngôn ngữ FLORES-101. Ưu điểm chính của SPM-200 là nó bao gồm 200 ngôn ngữ. ) 44 67 41 34 CĐV + Kết quả CHRF++ overcomes the limitation of the BLEU score, which requires that a sentence can be broken up into word tokens. However, some languages, such as Chinese or Thai, do not use spaces to separate words, and word segmentation tools may not be readily available. There is also a concern about highly agglutinative languages in which BLEU fails to assign any credit to morphological variants. chrF++ overcomes these weaknesses by basing the overlap calculation on character-level Gram -score ( từ 1 đến 6) và bổ sung với unigrams từ và bi-grams. Trong công việc này, chúng tôi chủ yếu đánh giá bằng cách sử dụng chrF++ bằng cách sử dụng các thiết lập từ sacrebleu. tuy nhiên, khi so sánh với các công trình được xuất bản khác, chúng tôi đã sử dụng BLEU và spBLEU khi thích hợp. 38 n F n Human evaluation methodology Khi xây dựng hệ thống dịch máy cho hàng ngàn cặp ngôn ngữ khác nhau, một câu hỏi cốt lõi là cặp nào đạt được một mức độ chất lượng nhất định. XSTS Protocol đánh giá We adapted the recently proposed XSTS methodology Tóm lại, XSTS là một giao thức đánh giá của con người tập trung vào việc bảo tồn ý nghĩa trên dòng chảy. Xem chi tiết về giao thức này trong Thông tin bổ sung . For low-resource languages, translations are usually of poorer quality, and so we focused more on usable (that is, meaning-preserving) translations, even if they are not fully fluent. Compared with Direct Assessment với thang điểm 5 điểm (đánh giá trực tiếp ban đầu sử dụng thang điểm 100 điểm), nó được tìm thấy rằng XSTS mang lại sự đồng thuận giữa các nhà ghi chú cao hơn . XSTS rates each source sentence and its machine translation on a 5-point scale, in which 1 is the lowest and 5 is the highest. 48 F 68 47 Calibration thiết lập To enable meaningful scores comparable across language pairs, we asked each evaluator to provide assessments using the XSTS scale on precisely the same set of sentence pairs. This aims to identify annotators who have a systematic tendency to be more harsh or generous in their scoring and correct for this effect. The calibration set consists of the machine translation output paired with the reference translation only in English. Based on how evaluators used the XSTS scale on this calibration set, we adjusted their raw scores on the actual evaluation task to ensure consistency across evaluators. Although this monolingual calibration task does not precisely mimic the bilingual XSTS task, it is a reasonable first approximation and has been shown to increase the correlation between human and automatic metrics primarily by reducing one source of ‘noise’ in the human evaluations—the lack of score calibration between annotators. Lấy số liệu chất lượng con người tổng hợp từ nhiều nghiên cứu To obtain an aggregate human quality metric for each language direction in an evaluation study, we take the majority XSTS score (that is, mean–median score) for each sentence and average these majority scores over all evaluated sentences. In a given study, the aggregate human evaluation score for any translation direction S là t is l l Nơi s and t denote the source language and the target language, respectively; denotes the XSTS score of the th evaluator who evaluates sentences in a given translation direction s → t cho một câu nguồn and a target sentence ; denotes the total number of evaluators who evaluate the (source, translation) sentence pair ( , ) for translation direction S là t; is the set of (source, translation) sentence pairs being evaluated for translation direction s → t. l l i l l S T S T l l l l Mỗi người đánh giá trong một nghiên cứu nhất định cũng được yêu cầu cung cấp xếp hạng cho tất cả hoặc một phần của một bộ hiệu chuẩn. , denotes the th source sentence in the calibration set for an evaluation study; , , Biểu tượng phiên dịch câu tương ứng với , ; and is the number of sentence pairs in the calibration set for an evaluation study. s ss k k s Ts k ss k Đối với mỗi hướng ngôn ngữ được đánh giá trong một nghiên cứu, chúng tôi đã có được điểm số đa số trên bộ hiệu chuẩn như sau: nơi biểu thị điểm XSTS được cung cấp bởi th evaluator, for the language direction S là t, in study , for a given source sentence Một câu nói được dịch , in the calibration set of the study. i l l s S T To obtain aggregated calibrated XSTS scores on the language direction level, we explored several different calibration methodologies. None of the calibration methods we investigated showed a marked difference in correlation with automated scores, and all calibration methodologies we explored provided superior correlation compared with uncalibrated XSTS scores. For more details on these calibration methodologies, see section 7.2 of ref. . 34 Thêm phát hiện độc tính cho 200 ngôn ngữ Để cho phép phát hiện độc tính ở quy mô lớn, chúng tôi đã sử dụng một máy dò dựa trên danh sách từ. Trong phần này, chúng tôi cung cấp thêm chi tiết về định nghĩa độc tính của chúng tôi và mô tả máy dò (ETOX) và danh sách từ liên quan. Nội dung độc hại Do tính chất chủ quan của độc tính, các định nghĩa của ngôn ngữ độc hại có thể khác nhau. Chúng tôi bao gồm các mục thường được gọi là ngôn ngữ thô tục hoặc thô tục. (Lưu ý rằng ngôn ngữ thô tục hoặc thô tục không phải lúc nào cũng độc hại. Ví dụ, một số ngôn ngữ thô tục phổ biến có thể được coi là thô tục nhưng không nhất thiết là độc hại). Hơn nữa, chúng tôi cũng bao gồm các mục liên quan đến mô tả nội dung khiêu dâm hoặc hành vi tình dục, một số biểu hiện thù hận thường được sử dụng và một số biểu hiện liên quan đến bắt nạt. Chúng tôi cũng bao gồm các mục, thô tục hoặc không, đề cập đến các bộ phận cơ thể thường liên quan đến thực hành tình dục. Máy dò ETOX We started with the assumption that general-purpose machine translation systems should remain faithful to the source content and not add any toxic elements during the translation process. We define toxic elements as word tokens or short phrases present in our lists. ETOX identifies added toxicity using the following two criteria: number of toxic items and matched or non-matched toxicity. A toxic item is considered detected if it is present in a line and surrounded by spaces or the start or end of a line. ETOX tracks the number of unique toxic items found in a line but does not count a phrase again if it has multiple occurrences. Matched toxicity indicates that the number of toxic items is the same in both the source and the translated content (that is, no added toxicity). Added toxicity is an instance of non-matched toxicity in which more toxic items are found in the translation output than in the source. For non-segmenting languages or some languages that use complex diacritics, space tokenization is insufficient to distinguish words from one another. In those cases, we used SentencePiece tokenization of both the sentence and toxicity word list. Toxicity-200 lists Lists are based on professional translations from English, which were then heuristically adapted by linguists to better serve the target language. As toxicity is culturally sensitive, attempting to find equivalents in a largely multilingual setting constitutes a challenge when starting from one source language. To address this issue, translators were allowed to forgo translating some of the source items and add more culturally relevant items. Trong bản phát hành ban đầu của danh sách Toxicity-200, số lượng mục trung bình trong danh sách phát hiện độc tính là 271 mục, trong khi số lượng mục trung bình là 143. Data availability Tất cả dữ liệu được tạo ra và mô tả trong Bài viết và Thông tin bổ sung của nó có sẵn trên GitHub ( ) Bộ dữ liệu FLORES-200 chứa dữ liệu đánh giá được dịch bởi con người bằng 204 ngôn ngữ. Cơ sở dữ liệu NLLB-Seed chứa dữ liệu đào tạo hạt giống dịch bởi con người bằng 39 ngôn ngữ (Thông tin bổ sung) Cơ sở dữ liệu NLLB-MD chứa dữ liệu hạt giống được dịch bởi con người trong các lĩnh vực khác nhau trong sáu ngôn ngữ để đánh giá tổng quát (Thông tin bổ sung) Cơ sở dữ liệu Toxicity-200 chứa các danh sách từ để phát hiện độc tính bằng 200 ngôn ngữ. Cơ sở dữ liệu bititext khai thác chứa dữ liệu web có sẵn công khai cho 148 cặp ngôn ngữ tập trung vào tiếng Anh và 1.465 cặp ngôn ngữ không tập trung vào tiếng Anh. Dữ liệu có sẵn công khai được sử dụng để đào tạo các mô hình NLLB với các tham chiếu để tải dữ liệu được liệt kê trong Bảng bổ sung . https://github.com/facebookresearch/fairseq/tree/nllb 69 I J 2 Code có sẵn Để làm cho công việc của chúng tôi có sẵn cho cộng đồng, chúng tôi cung cấp các mô hình sau và mã hỗ trợ như các tài nguyên có sẵn miễn phí để sử dụng phi thương mại, có sẵn trên GitHub ( ) as follows. The translation models cover 200 languages; the NLLB models come in multiple sizes (54.5B MoE, 3.3B and 1.3B Dense, and 1.3B and 600M distilled). The language identification models contain more than 200 languages. LASER3 comprises sentence encoders for identifying aligned bitext for 148 languages. Stopes consists of a data-mining library that can be used to process and clean monolingual data, followed by the creation of aligned bitext. Scripts to recreate our training data and training and generation scripts to reproduce our models are also included. https://github.com/facebookresearch/fairseq/tree/nllb 69 References Fan, A. et al. Beyond English-centric multilingual machine translation. , 1–48 (2021). J. Mach. Learn. Res 22 MathSciNet Google Scholar Du, N. et al. GlaM: hiệu quả mở rộng các mô hình ngôn ngữ với sự pha trộn của các chuyên gia. trong Proceedings of the 39th International Conference on Machine Learning Vol. 162, 5547–5569 (PMLR, 2022). Hwang, C. et al. Tutel: adaptive mixture-of-experts at scale. In (MLSys, 2023). 6th Conference on Machine Learning and Systems Lepikhin, D. et al. GShard: scaling giant models with conditional computation and automatic sharding. In (ICLR, 2021). International Conference on Learning Representations Lewis, M., Bhosale, S., Dettmers, T., Goyal, N. & Zettlemoyer, L. BASE layers: simplifying training of large, sparse models. In Vol. 139, 6265–6274 (PMLR, 2021). Proc. 38th International Conference on Machine Learning Shazeer, N. et al. Mạng lưới thần kinh khủng khiếp lớn: lớp hỗn hợp chuyên gia có lỗ hổng.In Proc. 2017 Hội nghị quốc tế về đại diện học tập (ICLR) 1-19 (ICLR, 2017). Zoph, B. et al. ST-MoE: designing stable and transferable sparse expert models. Preprint at (2022). https://arxiv.org/abs/2202.08906 Zoph, B., Yuret, D., May, J. & Knight, K. Transfer learning for low-resource neural machine translation. In Proc. 2016 Conference on Empirical Methods in Natural Language Processing (eds Su, J. et al.) 1568–1575 (Association for Computational Linguistics, 2016). Nguyen, T. Q. & Chiang, D. Chuyển đổi học tập qua các ngôn ngữ có nguồn lực thấp, có liên quan để dịch máy thần kinh. In Proc. 8th International Joint Conference on Natural Language Processing Vol. 2 (eds Kondrak, G. & Watanabe, T.) 296–301 (Asian Federation of Natural Language Processing, 2017). Arivazhagan, N. et al. Bản dịch máy thần kinh đa ngôn ngữ ở vùng hoang dã: những phát hiện và thách thức.In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies Vol. 1, 3874–3884 (Association for Computational Linguistics, 2019). Zhang, B., Williams, P., Titov, I. & Sennrich, R. Improving massively multilingual neural machine translation and zero-shot translation. In (eds Jurafsky, D. et al.) 1628–1639 (ACL, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Tran, C. et al. Trình bày nhiệm vụ dịch thuật tin tức WMT21 của Facebook AI. Trong Proc. Hội nghị thứ sáu về Dịch máy (eds Barrault, L.) 205–215 (ACL, 2021); https://aclanthology.org/2021.wmt-1.19. Orife, I. et al. Masakhane – máy dịch cho Châu Phi. In trước tại https://arxiv.org/abs/2003.11529 (2020). Kuwanto, G. et al. Chương trình đào tạo dịch máy tài nguyên thấp phù hợp với các ngôn ngữ tài nguyên thấp. In trước tại https://arxiv.org/abs/2103.13272 (2021). Nekoto, W. et al. Nghiên cứu tham gia cho dịch máy có nguồn lực thấp: một nghiên cứu trường hợp trong các ngôn ngữ châu Phi. Trong Kết quả của Hiệp hội Ngôn ngữ học tính toán: EMNLP 2020 (eds Cohn, T. et al.) 2144–2160 (ACL, 2020). Karakanta, A., Dehdari, J. & van Genabith, J. Neural machine translation for low-resource languages without parallel corpora. , 167–189 (2018). Mach. Transl. 32 Article Google Scholar Bañón, M. et al. ParaCrawl: mua sắm quy mô web của parallel corpora. In Proc. 58th Hội nghị thường niên của Hiệp hội Ngôn ngữ học tính toán (eds Jurafsky, D. et al.) 4555–4567 (ACL, 2020). Schwenk, H. et al. CCMatrix: mining billions of high-quality parallel sentences on the web. In Vol. 1 (eds Zong, C. et al.) 6490–6500 (ACL, 2021). Proc. 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing Ramesh, G. et al. : the largest publicly available parallel corpora collection for 11 Indic languages. , 145–162 (2022). Samanantar Trans. Assoc. Comput. Linguist. 10 Article Google Scholar Kreutzer, J. et al. Quality at a glance: an audit of web-crawled multilingual datasets. , 50–72 (2022). Trans. Assoc. Comput. Linguist. 10 Article Google Scholar Heffernan, K., Çelebi, O. & Schwenk, H. Bitext mining using distilled sentence representations for low-resource languages. Preprint at (2022). https://arxiv.org/abs/2205.12654 Gowda, T., Zhang, Z., Mattmann, C. & May, J. Nhiều công cụ dịch máy sang tiếng Anh, dữ liệu, và các mô hình được đào tạo trước. tại Hội nghị thường niên lần thứ 59 của Hiệp hội Ngôn ngữ học tính toán và Hội nghị chung quốc tế lần thứ 11 về xử lý ngôn ngữ tự nhiên: Biểu hiện hệ thống (eds Ji, H. et al.) 306–316 (ACL, 2021). McCarthy, A. D. et al. The Johns Hopkins University Bible corpus: 1600+ tongues for typological exploration. In (eds Calzolari, N. et al.) 2884–2892 (European Language Resources Association, 2020); . Proc. 12th Language Resources and Evaluation Conference https://aclanthology.org/2020.lrec-1.352 McNamee, P. Xác định ngôn ngữ: một vấn đề được giải quyết phù hợp với giảng dạy đại học. J. Comput. Sci. Coll. 20, 94–101 (2005). Abadji, J., Suárez, P. J. O., Romary, L. & Sagot, B. Hướng tới một corpus crawled đa ngôn ngữ hướng đến tài liệu sạch hơn. In trước tại https://arxiv.org/abs/2201.06642 (2022). Widdows, D. & Brew, C. Xác định ngôn ngữ với phân loại thứ hạng lẫn nhau. In trước tại https://arxiv.org/abs/2109.09862 (2021). Goutte, C., Léger, S., Malmasi, S. & Zampieri, M. Phân biệt các ngôn ngữ tương tự: đánh giá và khám phá. Preprint tại http://arxiv.org/abs/1610.00031 (2016). Jauhiainen, T., Lindén, K. & Jauhiainen, H. Evaluation of language identification methods using 285 languages. In (eds. Tiedemann, J. & Tahmasebi, N.) 183–191 (2017). Proc. 21st Nordic Conference on Computational Linguistics Grave, É., Bojanowski, P., Gupta, P., Joulin, A. & Mikolov, T. Learning word vectors for 157 languages. In (eds Calzolari, N. et al.) (ELRA, 2018). Proc. 11th International Conference on Language Resources and Evaluation (LREC 2018) Dunn, J. Bản đồ ngôn ngữ: cơ thể sử dụng ngôn ngữ toàn cầu. lang. Resour. Eval. 54, 999-1018 (2020). bài viết Google Scholar Brown, R. D. Bản đồ không tuyến tính để cải thiện nhận dạng của hơn 1300 ngôn ngữ. In Proc. 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) (eds Moschitti, A. et al.) 627-632 (ACL, 2014). Caswell, I., Breiner, T., van Esch, D. & Bapna, A. Language ID in the wild: unexpected challenges on the path to a thousand-language web text corpus. In Proc. 28th International Conference on Computational Linguistics (eds Scott, D. et al.) 6588-6608 (International Committee on Computational Linguistics, 2020); https://aclanthology.org/2020.coling-main.579. Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. Túi thủ thuật để phân loại văn bản hiệu quả. In Proc. 15th Conference of the European Chapter of the Association for Computational Linguistics Vol. 2 (eds Lapata, M. et al.) 427–431 (ACL, 2017). NLLB Team et al. Không có ngôn ngữ bị bỏ lại phía sau: quy mô dịch máy tập trung vào con người. In trước tại https://arxiv.org/abs/2207.04672 (2022). Koehn, P. & Knowles, R. Six challenges for neural machine translation. In (eds Luong, T. et al.) 28–39 (ACL, 2017). Proc. First Workshop on Neural Machine Translation Artetxe, M. & Schwenk, H. Nhúng cụm từ đa ngôn ngữ hàng loạt để chuyển giao đa ngôn ngữ không ảnh hưởng và xa hơn nữa. trans. assoc. comput. linguist. 7, 597-610 (2019). Sennrich, R., Haddow, B. & Birch, A. Improving neural machine translation models with monolingual data. In Vol. 1 (eds Erk, K. & Smith, N. A.) 86–96 (ACL, 2016). Proc. 54th Annual Meeting of the Association for Computational Linguistics (ACL) Popović, M. chrf++: words helping character n-grams. In Vol. 2 (eds Bojar, O. et al.) 612–618 (ACL, 2017). Proc. Second Conference on Machine Translation Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J. & Wojna, Z. Rethinking the inception architecture for computer vision. In 2818–2826 (IEEE, 2016). IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Liu, R., Kim, Y. J., Muzio, A., Mozafari, B. & Awadalla, H. H. Gating dropout: communication-efficient regularization for sparsely activated transformers. In (PMLR, 2022). Proceedings of the 39th International Conference on Machine Learning Goyal, N. et al. The Flores-101 đánh giá tiêu chuẩn cho dịch máy tài nguyên thấp và đa ngôn ngữ. Trans. Assoc. Comput. Linguist. 10, 522-538 (2022). Wang, H. et al. DeepNet: quy mô biến áp đến 1.000 lớp. Trong giao dịch IEEE về phân tích mô hình và trí tuệ máy https://doi.org/10.1109/TPAMI.2024.3386927 (IEEE, 2024) Freitag, M. et al. Kết quả của WMT21 metrics chia sẻ nhiệm vụ: đánh giá các chỉ số với đánh giá con người dựa trên chuyên gia trên TED và lĩnh vực tin tức. trong Proc. Hội nghị thứ sáu về Dịch máy (eds Barrault, L. et al.) 733–774 (ACL, 2021); https://aclanthology.org/2021.wmt-1.73. Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: a method for automatic evaluation of machine translation. In (eds Isabelle, P. et al.) 311–318 (ACL, 2002). Proc. 40th annual meeting of the Association for Computational Linguistics Akhbardeh, F. et al. Findings of the 2021 conference on machine translation (WMT21). In (eds Barrault, L. et al.) 1–88 (ACL, 2021); . Proc. Sixth Conference on Machine Translation https://aclanthology.org/2021.wmt-1.1 Kocmi, T. et al. To ship or not to ship: an extensive evaluation of automatic metrics for machine translation. In Proc. Sixth Conference on Machine Translation (eds Barrault, L. et al.) 478–494 (ACL, 2021). Licht, D. et al. Đánh giá thống nhất của con người về dịch máy qua các cặp ngôn ngữ. trong các bài báo của Hội nghị Biennial lần thứ 15 của Hiệp hội Dịch máy ở châu Mỹ, số 1, 309-321 (Hiệp hội Dịch máy ở châu Mỹ, 2022). Agirre, E. et al. SemEval-2012 task 6: a pilot on semantic textual similarity. In Vols 1–2 (eds Aggire, E. et al.) 385–393 (ACL, 2012). Proc. *SEM 2012: The First Joint Conference on Lexical and Computational Semantics Kusters, R. et al. Nghiên cứu liên ngành về trí tuệ nhân tạo: Thách thức và cơ hội. Front. Big Data 3, 577974 (2020). bài viết PubMed PubMed Trung tâm Google Scholar Wang, S., Cooper, N., Eby, M. & Jo, E. S. Từ trí tuệ nhân tạo tập trung vào con người đến trí tuệ nhân tạo tập trung vào xã hội: đánh giá tác động của ChatGPT thông qua các sự kiện phá hoại. In trước tại https://arxiv.org/abs/2306.00227 (2023). Bojanowski, P., Grave, E., Joulin, A. & Mikolov, T. Enriching word vectors with subword onformation. , 135–146 (2017). Trans. Assoc. Comput. Linguist. 5 Article Google Scholar Tiedemann, J. Parallel data, tools and interfaces in OPUS. In (eds Calzolari, N. et al.) 2214–2218 (ACL, 2012). Proc. Eighth International Conference on Language Resources and Evaluation Artetxe, M. & Schwenk, H. Margin-based parallel corpus mining with multilingual sentence embeddings. In (eds Korhonen, A.) 3197–3203 (ACL, 2019). Proc. 57th Annual Meeting of the Association for Computational Linguistics Bahdanau, D., Cho, K. H. & Bengio, Y. Neural machine translation by jointly learning to align and translate. In (ICLR, 2015). Proc. of the 3rd International Conference on Learning Representations Kudo, T. & Richardson, J. SentencePiece: Một tokenizer và detokenizer phụ đơn giản và độc lập ngôn ngữ cho xử lý văn bản thần kinh. Trong Proc. 2018 Hội nghị về phương pháp thực nghiệm trong xử lý ngôn ngữ tự nhiên, EMNLP 2018 (eds Blanco, E. & Lu, W.) 66–71 (ACL, 2018); https://doi.org/10.18653/v1/d18-2012. Gu, J., Hassan, H., Devlin, J. & Li, V. O. Universal Neural Machine Translation for Extremely Low Resource Languages. In Proc. 2018 Conference of the North American Chapter of Association for Computational Linguistics: Human Language Technologies Vol. 1 (eds Walker, M. et al.) 344–354 (ACL, 2018); https://aclanthology.org/N18-1032. Wang, X., Pham, H., Arthur, P. & Neubig, G. Dịch máy thần kinh đa ngôn ngữ với mã hóa tách mềm. In trước tại https://arxiv.org/abs/1902.03499 (2019). Rajab, J. Tác động của các chiến lược token hóa đối với các ngôn ngữ Nam Phi có nguồn tài nguyên thấp. trong Hội thảo thứ 3 về xử lý ngôn ngữ tự nhiên châu Phi (ICLR, 2022). Vaswani, A. et al. Attention is all you need. In 5998–6008 (NIPS, 2017). Proc. 31st Conference on Neural Information Processing Systems Johnson, M. et al. Hệ thống dịch máy thần kinh đa ngôn ngữ của Google: cho phép dịch zero-shot. Trans. Assoc. Comput. Linguist. 5, 339–351 (2017). Conneau, A. et al. Unsupervised cross-lingual representation learning at scale. In (eds Jurafsky, D. et al.) 8440–8451 (ACL, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Bengio, Y., Léonard, N. & Courville, A. C. Đánh giá hoặc lây lan gradients thông qua các tế bào thần kinh stochastic cho tính toán có điều kiện. Preprint tại http://arxiv.org/abs/1308.3432 (2013). Almahairi, A. et al. Dynamic capacity networks. In Vol. 48, 2091–2100 (PMLR, 2016). Proc. 33rd International Conference on International Conference on Machine Learning Elbayad, M., Sun, A. & Bhosale, S. Fixing MoE over-fitting on low-resource languages in multilingual machine translation. In (eds Rogers, A. et al.) 14237–14253 (ACL, 2023); . Findings of the Association for Computational Linguistics: ACL 2023 https://aclanthology.org/2023.findings-acl.897 Rei, R., Stewart, C., Farinha, A. C. & Lavie, A. COMET: a neural framework for MT evaluation. In (eds Webber, B. et al.) 2685–2702 (ACL, 2020). Proc. 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) Sellam, T., Das, D. & Parikh, A. BLEURT: học các số liệu mạnh mẽ cho việc tạo văn bản. Trong Proc. 58th Hội nghị thường niên của Hiệp hội ngôn ngữ học tính toán (eds Jurafsky, D. et al.) 7881–7892 (ACL, 2020). Post, M. A Call for Clarity in Reporting BLEU Scores. In (eds Bojar, O. et al.) 186–191 (ACL, 2018); . Proc. Third Conference on Machine Translation: Research Papers https://aclanthology.org/W18-6319 Graham, Y., Baldwin, T., Moffat, A. & Zobel, J. Continuous measurement scales in human evaluation of machine translation. In 33–41 (eds Graham, Y. et al.) (ACL, 2013). Proc. 7th Linguistic Annotation Workshop and Interoperability with Discourse NLLB Team et al. No Language Left Behind: quy mô dịch máy tập trung vào con người. GitHub https://github.com/facebookresearch/fairseq/tree/nllb (2022). Công nhận Chúng tôi đánh giá FLLL và các đại lý chuyển đổi đã đánh giá các đối tác như sau để giúp họ tạo ra dự án: C. Baziotis, D. Dua, A. Guo, O. Ignat, A. Kamran, T. Mohiuddin, A. N. Rubungo, S. Sun, S. Tan, H. Xu, S. Wu và Y. Zhang. Chúng tôi cảm ơn tất cả các nhân viên và tình nguyện viên của Wikimedia Foundation đã làm việc với chúng tôi và cung cấp phản hồi hữu ích về dự án của chúng tôi. Chúng tôi cảm ơn V. Chaudhary vì sự giúp đỡ của họ với đường ống dẫn dữ liệu; E. Grave vì sự giúp đỡ của họ trong việc mở rộng phản hồi nhanh đến tất cả các ngôn ngữ FLORES-200; M. Diab vì công việc của cô ấy trên XSTS; L. Specia vì sự giúp đỡ của Bài viết này có sẵn trong tự nhiên theo giấy phép CC by 4.0 Deed (Attribution 4.0 International). Bài viết này có sẵn trong tự nhiên theo giấy phép CC by 4.0 Deed (Attribution 4.0 International).