ข้างใน AI ที่แปลภาษา 200 ภาษาแม้แต่ภาษาที่มีข้อมูลเกือบไม่มี

ผู้เขียน : NLLB ทีม มาร์ตา R. Costa-Jussà เจมส์โครส สวัสดี อัลเบย์ Kenneth Heafield แควิิน Heffernan Elahe Kalbassi Janice Lam แดเนียลแสง Jean Maillard แอนนา ซัน แช่ Wang Guillaume Wenzek Al Youngblood Bapi Akula Loic Barrault Gabriel Mejia Gonzalez Prangthip Hansanti John Hoffman Semarley Jarrett กุญแจ Ram Sadagopan ดิลโด้ Shannon Spruit Chau Tran พีเรีย Andrews Necip Fazil Ayan Shruti Bhosale Sergey Edunov แองเจล่า Fan ซินเทีย GAO โฮมเมด Francisco Guzmán Philipp Koehn Alexandre Mourachko Christophe Ropers ซาเล็มซาเล็ม โฮลเดอร์ Schwenk จอห์น Wang ผู้เขียน : NLLB Team มาร์ตา R. Costa-Jussà เจมส์โครส สวัสดี อัลเบย์ แคนเนทฮีฟิลด์ แควิิน Heffernan เคล็ดลับ จานิซ่าลัม แดเนียลแสง จีน Maillard แอนนา ซัน แช่ Wang กวิลเลียม Wenzek อัล Youngblood แพทช์ Akula บาร์เรลท์ Loic กราเบิล Mejia กองซาเลส Prangthip Hansanti จอห์นฮอฟแมน Semarley Jarrett กุญแจ Ram Sadagopan ดิลโด้ เฮนนิส Spruit ชาวอินเดีย พีเรีย Andrews ภาษาไทย Shruti Bhosale ออนไลน์ เซอร์เจีย Edunov แองเจล่า Fan ซินเทีย GAO โฮมเมด แอฟริกันกูสแมน ฟิลิปปินส์ อเล็กซานเดอร์ Mourachko แคริสโตฟโรเปอร์ส์ ซาเล็มซาเล็ม โฮลเดอร์ Schwenk จอห์น Wang สารสกัดจาก การพัฒนาเทคนิคประสาทได้เปิดเส้นทางใหม่สําหรับการวิจัยในการแปลด้วยเครื่อง วันนี้ระบบการแปลด้วยเครื่องประสาท (NMT) สามารถใช้ประโยชน์จากความสามารถหลายภาษาสูงและแม้กระทั่งดําเนินการแปลแบบไม่มีการถ่ายภาพให้ผลลัพธ์ที่น่าทึ่งในแง่ของความครอบคลุมภาษาและคุณภาพ อย่างไรก็ตาม NMT คุณภาพการปรับขนาดจําเป็นต้องใช้ปริมาณข้อมูลสองภาษาที่สม่ําเสมอซึ่งไม่สามารถใช้ได้ใน 7,000+ ภาษาทั่วโลก การมุ่งเน้นไปที่การปรับปรุงคุณภาพการแปลของกลุ่มภาษาที่มีทรัพยากรสูงที่ค่อนข้างเล็ก ๆ นั้นเป็นค่าใช้จ่ายของการมุ่งเน้นความสนใจในการวิจัยไปยังภาษาที่มีทรัพยากรต่ําซึ่งทําให้เกิดความไม่เท่าเทียมกันทางดิจิตอลในระยะยาว เพื่อทําลายรูปแบบนี้ที่นี่เราแนะนํา No Language Left Behind - แบบจําลองแบบมวลหลายภาษาเดียวที่ใช้ประโยชน์จากการเรียนรู้การถ่ายโอนระหว่างภาษา เราได้พัฒนาแบบจําลองการคํานวณเงื่อนไขขึ้นอยู่กับสถาปัตยกรรม Expert Mixture , , , , , ซึ่งเราได้ฝึกอบรมเกี่ยวกับข้อมูลที่ได้รับโดยใช้เทคนิคการทําเหมืองแร่ใหม่ที่กําหนดเองสําหรับภาษาที่มีทรัพยากรต่ํา นอกจากนี้เรายังคิดถึงการปรับปรุงทางสถาปัตยกรรมและการฝึกอบรมหลายอย่างเพื่อต่อต้านการติดตั้งซ้ําซ้อนในขณะที่ฝึกอบรมในหลายพันงาน เราประเมินประสิทธิภาพของรุ่นของเรามากกว่า 40,000 ทิศทางการแปลโดยใช้เครื่องมือที่สร้างขึ้นโดยเฉพาะสําหรับวัตถุประสงค์นี้ - เครื่องวัดอัตโนมัติ (FLORES-200) เครื่องวัดการประเมินของมนุษย์ (XSTS) และเครื่องตรวจจับสารพิษที่ครอบคลุมทุกภาษาในรุ่นของเรา เมื่อเทียบกับรุ่นทันสมัยก่อนหน้านี้รุ่นของเราได้บรรลุการปรับปรุงคุณภาพการแปลโดยเฉลี่ย 44% ตามที่วัดโดย BLEU โดยการแสดงให้เห็นถึงวิธีการปรับ 1 2 3 4 5 6 7 หน้าหลัก การปรากฏตัวล่าสุดของ Neural Machine Translation (NMT) ได้กระตุ้นเทคโนโลยีการแปลไปยังขอบเขตใหม่ แต่ผลประโยชน์ของมันถูกกระจายไม่สม่ําเสมอ (สําหรับวัตถุประสงค์ของการวิจัยของเราเรากําหนดภาษาที่มีทรัพยากรสูงเป็นภาษาที่เรามีอย่างน้อย 1 ล้านคําของข้อมูลข้อความที่สอดคล้องกัน (หรือไบเท็กซ์) กับภาษาอื่น ๆ ความแตกต่างนี้สามารถนํามาเป็นส่วนใหญ่มาจากการขาดข้อมูล: แบบจําลอง NMT มักจะต้องการปริมาณข้อมูลขนาดใหญ่เพื่อผลิตการแปลที่มีคุณภาพและโดยกําหนดปริมาณเหล่านี้ไม่สามารถใช้ได้สําหรับภาษาที่มีทรัพยากรต่ํากว่า โครงการ No Language Left Behind (NLLB-200) มุ่งมั่นที่จะเอาชนะข้อ จํากัด นี้โดยใช้วิธีการที่ไม่รู้จักก่อนหน้านี้เพื่อสร้างแบบจําลองแบบมวลหลายภาษาที่มีความสามารถในการถ่ายโอนข้ามภาษา , เพื่อให้ภาษาที่เกี่ยวข้องสามารถเรียนรู้จากแต่ละอื่น ๆ , , . 1 8 9 1 10 11 ตอนนี้เป็นที่ยอมรับกันอย่างแพร่หลายว่ารูปแบบหลายภาษาได้แสดงให้เห็นถึงการปรับปรุงประสิทธิภาพที่คาดหวังเมื่อเทียบกับรูปแบบสองภาษา อย่างไรก็ตามคําถามยังคงอยู่ว่ารูปแบบหลายภาษาอย่างมีนัยสําคัญสามารถแสดงได้หลายร้อยภาษาได้หรือไม่ โดยไม่เสี่ยงต่อคุณภาพ ผลลัพธ์ของเราแสดงให้เห็นว่าการเพิ่มจํานวนภาษาที่ได้รับการสนับสนุนในการแปลด้วยเครื่องและรักษาคุณภาพการส่งออกไม่ได้เป็นความพยายามที่ยกเว้นกัน แบบจําลองสุดท้ายของเราซึ่งรวมถึง 200 ภาษาและสามเท่าภาษาที่มีทรัพยากรต่ํากว่าภาษาที่มีทรัพยากรสูงมีประสิทธิภาพโดยเฉลี่ย 44% มากกว่าระบบขั้นสูงก่อนหน้านี้ กระดาษนี้นําเสนอเทคนิคการเก็บรวบรวมข้อมูลการจําลองและการประเมินข้อมูลที่สําคัญที่สุดที่ใช้เพื่อให้บรรลุเป้าหมายนี้ 12 ประการแรกเมื่อเทียบกับคู่ค้าที่มีทรัพยากรสูงข้อมูลการฝึกอบรมสําหรับภาษาที่มีทรัพยากรต่ํามีราคาแพงและเป็นความท้าทายทางโลจิสติกส์ในการจัดหา , , ทรัพยากรดิจิตอลที่สามารถใช้ได้โดยสาธารณะมีปริมาณที่ จํากัด หรือยากสําหรับระบบอัตโนมัติในการตรวจจับ (โดยเฉพาะอย่างยิ่งในชุดข้อมูลเว็บสาธารณะขนาดใหญ่เช่น CommonCrawl) ไม่ว่าการเก็บรวบรวมมวลสําคัญของข้อมูลเมล็ดที่แปลโดยมนุษย์เป็นสิ่งจําเป็นหรือไม่การเก็บรวบรวมข้อมูลเพียงพอขึ้นอยู่กับการทําเหมืองแร่ข้อมูลขนาดใหญ่และท่อข้อมูลแบบเดี่ยวภาษา , , , เทคนิคเหล่านี้มักจะได้รับผลกระทบจากเสียงรบกวนและแนวโน้มดังนั้นจึงทําให้การตรวจสอบคุณภาพของชุดข้อมูลที่พวกเขาสร้างเป็นเรื่องเบื่อ ใน NLLB-200 เราแสดงให้เห็นว่าเทคนิคการเข้ารหัสข้อที่ขึ้นอยู่กับการ Destillation, LASER3 (ref. ), ช่วยให้การทําเหมืองแร่ข้อมูลแบบขนานได้อย่างมีประสิทธิภาพสําหรับภาษาที่มีทรัพยากรต่ํา 13 14 15 16 17 18 19 20 21 ประการที่สองในด้านการจําลองเราใช้การประกอบของชุดข้อมูลเมล็ดเหมืองแร่ซอฟท์ซอร์สและการแปลกลับเพื่อฝึกอบรมโมเดลการคํานวณเงื่อนไขหลายภาษา (โดยเฉพาะอย่างยิ่งโมเดลการผสมของผู้เชี่ยวชาญ , , , , , ซึ่งจะช่วยให้การถ่ายโอนระหว่างภาษาระหว่างภาษาที่เกี่ยวข้องโดยไม่ต้องเพิ่มการแทรกแซงระหว่างภาษาที่ไม่เกี่ยวข้อง) เราแสดงให้เห็นว่าเราสามารถบรรลุประสิทธิภาพขั้นสูงได้อย่างไรด้วยความสมดุลที่ดีที่สุดระหว่างการถ่ายโอนระหว่างภาษาและการแทรกแซงและปรับปรุงประสิทธิภาพสําหรับภาษาที่มีทรัพยากรต่ํา 2 3 4 5 6 7 สุดท้ายสําหรับวัตถุประสงค์ของการประเมินคุณภาพเราได้สร้าง FLORES-200 ซึ่งเป็นมาตรฐานหลายภาษาขนาดใหญ่ที่ช่วยให้สามารถวัดคุณภาพการแปลได้ในทุกทิศทางการแปลประมาณ 40,000 แบบที่ครอบคลุมโดยโมเดล NLLB-200 นอกเหนือจากการวัดอัตโนมัติเรายังสร้างการประเมินความคล้ายคลึงกันของข้อความเซมานติกแบบ cross-lingual (XSTS) และการประเมินสารพิษ (ETOX) XSTS เป็นโปรโตคอลการประเมินของมนุษย์ที่ให้ความสอดคล้องกันระหว่างภาษา ETOX เป็นเครื่องมือในการตรวจจับสารพิษที่เพิ่มขึ้นในการแปลโดยใช้รายการคําพิษ นอกเหนือจากการสร้างโมเดลเหล่านี้เรายังพิจารณาผลกระทบทางสังคมที่อาจเกิดขึ้นของ NLLB เพื่อเสริมสร้างความสามารถในการใช้งานในทางปฏิบัติของงานของเราในการให้บริการชุมชนที่พูดถึงทรัพยากรต่ําเราให้คะแนนแถลงข้อมูลรหัสและโมเดลทั้งหมดที่อธิบายไว้ในความพยายามนี้เป็นทรัพยากรที่สามารถใช้ได้ฟรีสําหรับการใช้งานที่ไม่ใช่เชิงพาณิชย์ ( ) (ดูคําอธิบายความพร้อมของข้อมูลและรหัสสําหรับรายละเอียด) https://github.com/facebookresearch/fairseq/tree/nllb สร้างข้อมูลการฝึกอบรมการแปลโดยอัตโนมัติ เทคนิคปัจจุบันที่ใช้ในการฝึกอบรมรูปแบบการแปลเป็นเรื่องยากที่จะขยายไปสู่การตั้งค่าที่มีทรัพยากรต่ําซึ่งข้อมูลข้อความสองภาษา (หรือข้อมูลบิตเท็กซ์) ที่จัดลําดับค่อนข้างน้อย หลายภาษาที่มีทรัพยากรต่ําได้รับการสนับสนุนโดยข้อมูลบิตเท็กซ์ขนาดเล็กซึ่งส่วนใหญ่ประกอบด้วยคําแปลของพระคัมภีร์คริสเตียน , ซึ่งให้ความหลากหลายโดเมนที่ จํากัด 22 23 เพื่อสร้างชุดข้อมูลการฝึกอบรมแบบขนานขนาดใหญ่ซึ่งครอบคลุมหลายร้อยภาษาวิธีการของเรามุ่งเน้นไปที่การขยายชุดข้อมูลที่มีอยู่โดยการเก็บรวบรวมข้อมูล monolingual ที่ไม่มีการจับคู่ จากนั้นเราได้ใช้เมตริกความคล้ายคลึงกันของคําอธิบายเพื่อแนะนําความพยายามในการทําเหมืองแร่ข้อมูลขนาดใหญ่เพื่อระบุคําอธิบายที่มีแนวโน้มสูงที่จะเทียบเท่ากันในภาษาที่แตกต่างกัน . 18 การระบุภาษาสําหรับการเก็บรวบรวมข้อมูลแบบโมโนภาษา การเก็บรวบรวมข้อมูล monolingual ในขนาดจําเป็นต้องใช้ระบบการระบุภาษา (LID) ซึ่งจัดประเภททรัพยากรข้อความอย่างแม่นยําสําหรับทุกภาษา NLLB-200 แม้ว่า LID สามารถมองว่าเป็นปัญหาที่แก้ไขได้ในบางโดเมน , มันยังคงเป็นความท้าทายที่เปิดสําหรับข้อมูลเว็บ , โดยเฉพาะอย่างยิ่งปัญหาร่วมกันรอบความผิดปกติของโดเมน ความไม่ชัดเจนของภาษาที่คล้ายคลึงกัน และประสบความสําเร็จการปรับขนาดใหญ่หลายภาษา . 24 25 26 26 27 28 ความสนใจในการพัฒนาเทคนิค LID นําไปสู่การเพิ่มการครอบคลุมภาษาและความแม่นยําอย่างเห็นได้ชัดในเวลา CLD3 ( ) และ Fasttext เป็นสองรุ่นที่พร้อมใช้งานซึ่งมีประสิทธิภาพการตรวจจับสูงสําหรับ 107 และ 187 ภาษาตามลําดับ โดยใช้ชุดข้อมูลสาธารณะจํานวนมากการศึกษาก่อนหน้านี้ , report even higher coverage—464 and 1,366 languages, respectively. Another study scales LID performance up to 1,629 languages using word lists and self-supervision to bootstrap training data found on the web. However, these approaches using found data suffer from domain imbalance. That is, because the available text domains vary by language, classifiers conflate different domains with different languages. https://github.com/google/cld3 29 30 31 32 In our work, we curated FLORES-200 to use as a development set so that our LID system performance วิธีการของเรารวมรูปแบบ FastText แบบขึ้นอยู่กับข้อมูลที่ได้รับการฝึกอบรมบน FLORES-200 กับชุดกฎที่เขียนด้วยมือขนาดเล็กเพื่อตอบสนองความคิดเห็นของมนุษย์เกี่ยวกับข้อผิดพลาดในการจัดประเภท กฎเหล่านี้ถูกกล่าวถึงโดยเฉพาะในส่วน 5.1.3 ของ ref และรวมถึงตัวกรองภาษาเพื่อลดการเรียนรู้ความสัมพันธ์ที่ไม่ถูกต้องเนื่องจากตัวอย่างการฝึกอบรมที่มีเสียงรบกวนในขณะที่จําลองหลายร้อยภาษา 33 34 We compare our LID model with three publicly available models: CLD3, LangId ( ) และ LongDetect ( ). Table รายงานประสิทธิภาพในสามชุดภาษาที่เชื่อมโยงกับ NLLB-200: (1) 51 ภาษาที่รองรับโดย LangId, LangDetect และ CLD3; (2) 78 ภาษาที่รองรับโดย LangId และ CLD3; (3) 95 ภาษาที่รองรับโดย CLD3 นอกจากนี้เรายังรายงานอัตราผลลัพธ์เชิงบวก (FPR) เพื่อสะท้อนถึงผลกระทบของผลลัพธ์เชิงบวกในภาษาที่มองไม่เห็น ผลลัพธ์ของเราแสดงให้เห็นว่ารุ่นของเราพร้อมที่จะจัดการกับ 200 ภาษาทั้งหมดที่พบใน FLORES-200 ในขณะที่ประสบความสําเร็จสูงกว่า LangId, LangDetect และ CLD3 . https://github.com/saffsd/langid.py https://pypi.org/project/langdetect/ 1 32 Mining for bitext งานก่อนหน้านี้ หมายเหตุว่าคุณภาพการแปลโดยทั่วไปจะเพิ่มขึ้นด้วยปริมาณข้อมูลการฝึกอบรมที่มีคุณภาพสูงซึ่งเป็นเรื่องยากที่จะได้รับเมื่อทํางานกับภาษาที่มีทรัพยากรต่ํา คอร์ปอรัลที่มีอยู่สําหรับภาษาที่มีทรัพยากรต่ํามักจะถูกดึงจากคอลเลกชันที่มีชื่อเสียงหลายภาษาเช่นพระคัมภีร์คริสเตียนหรือการเผยแพร่ขององค์กรหลายประเทศซึ่งมี จํากัด ในปริมาณและโดเมน เพื่อเอาชนะปัญหานี้เราได้สร้างชุดข้อมูลการฝึกอบรมผ่านการทําเหมืองแร่บิตเท็กซ์ทั่วโลกในเนื้อหาเว็บที่สามารถใช้ได้โดยสาธารณะ (ดึงจากตู้เก็บข้อมูลเช่น CommonCrawl) ความคิดพื้นฐานของวิธีการทําเหมืองแร่บิตเท็กซ์ของเราคือการเรียนรู้พื้นที่การแทรกคําพูดหลายภาษาและใช้มาตรฐานความคล้ายคลึงกัน 35 เนื่องจากวิธีการการทําเหมืองแร่ของเราต้องมีพื้นที่การแทรกซ้อนหลายภาษา มีความท้าทายหลายประการในการปรับขนาดการแสดงตัวนี้ให้เป็นภาษา NLLB-200 ทั้งหมด ครั้งแรกเราต้องตรวจสอบให้แน่ใจว่าภาษาทั้งหมดได้รับการเรียนรู้อย่างดีและเราต้องคํานึงถึงความไม่สมดุลที่ใหญ่ในข้อมูลการฝึกอบรมที่มีอยู่ ประการที่สองการฝึกอบรมการเข้ารหัสคําพูดหลายภาษาอย่างมากจากจุดเริ่มต้นทุกครั้งที่มีการแนะนําชุดภาษาใหม่มีค่าใช้จ่ายในการคํานวณ นอกจากนี้ข้อบกพร่องหลักของวิธีการนี้คือพื้นที่แทรกซ้อนที่เรียนรู้จากแต่ละรุ่นใหม่ไม่จําเป็นต้องเข้ากันได้ นี้อาจทําให้การทําเหมืองแร่ไม่สามารถจัดการได้เนื่องจากสําหรับแต่ละเข้ารหัสใหม่ข้อมูลเดี่ยวภาษาที่มีอยู่ทั้งหมดต้องถูกแทรกซ้อนใหม่ (ตัวอย่างเช่นสําหรับภาษาอังกฤษเท่านั้นนี้หมายถึงพ ซึ่งขยายพื้นที่แทรกเลเซอร์ ไปยังทุกภาษา NLLB-200 ภาษาจะได้รับการฝึกอบรมเป็นนักเรียนแต่ละคนหรือร่วมกับภาษาจากครอบครัวเดียวกัน การฝึกอบรมของนักเรียนตามวิธีการที่อธิบายไว้ใน ref. . 21 36 21 วิธีการของเราช่วยให้เราสามารถมุ่งเน้นไปที่ลักษณะเฉพาะของแต่ละภาษาในขณะที่ใช้ประโยชน์จากภาษาที่เกี่ยวข้องซึ่งเป็นสิ่งสําคัญในการจัดการกับภาษาที่มีทรัพยากรต่ํามาก (ภาษาจะถูกกําหนดว่าเป็นทรัพยากรต่ํามากหากมีตัวอย่างน้อยกว่า 100,000 ในทุกคู่กับภาษาอื่น ๆ ในชุดข้อมูลของเรา) ด้วยวิธีการนี้เราได้สร้างข้อมูลการฝึกอบรมใหม่กว่า 1,100 ล้านคู่สําหรับ 148 ภาษา ข้อมูลการฝึกอบรมเพิ่มเติมนี้รวมกับการแปลกลับ (เทคนิคทั่วไปสําหรับการเพิ่มข้อมูลใน NMT; ref. ), นําไปสู่การปรับปรุงที่โดดเด่นในคุณภาพการแปลโดยเฉพาะอย่างยิ่ง +12.5 chrF++ (ref. ) สําหรับการแปลภาษาที่มีทรัพยากรต่ํามากไปยังภาษาอังกฤษ สําหรับรายละเอียดเพิ่มเติมโปรดดูข้อมูลเพิ่มเติม . 37 38 D โมเดล แม้จะมีปริมาณข้อมูลที่เพิ่มขึ้นอย่างมีนัยสําคัญความท้าทายหลักของการแปลที่มีทรัพยากรต่ําคือการฝึกอบรมรูปแบบที่จะแสดงให้เห็นถึง 200 ภาษาในขณะที่ปรับให้เข้ากับความจุข้อมูลที่แตกต่างกันต่อคู่ภาษา นอกเหนือจากเทคนิคเช่นการเพิ่มข้อมูล (เช่นด้วยการแปลกลับ) และกลยุทธ์การดูแลตนเองเกี่ยวกับข้อมูล monolingual เราใช้รูปแบบการคํานวณเงื่อนไข - โดยเฉพาะอย่างยิ่ง, Sparsely Gated Mixture of Experts (จากนี้ MoE) - เพื่อลดการแทรกแซงระหว่างทิศทางภาษาที่ไม่เกี่ยวข้อง โมเดลเครื่องแปลงสัญญาณ MoE มีความแตกต่างจากรุ่นเครื่องแปลงสัญญาณความหนาแน่นในแง่ที่บางส่วนของชั้นเครือข่ายการส่งต่อจะถูกแทนที่ด้วยชั้น MoE ในทั้งเครื่องเข้ารหัสและ decoder โมเดลประกอบด้วย ผู้เชี่ยวชาญ (แต่ละคนเป็นเครือข่ายการส่งข้อมูล) และเครือข่ายการส่งข้อมูลเพื่อตัดสินใจวิธีการส่งท็อปอินพุตไปยังผู้เชี่ยวชาญ โมเดลการเข้ารหัสตัวแปลงสัญญาณ – decoder รวมกับชั้น MoE และเครือข่ายการส่งผ่านของพวกเขาจะเรียนรู้วิธีการส่งท็อปอินพุตไปยังผู้เชี่ยวชาญด้านบนสองผู้เชี่ยวชาญที่สอดคล้องกันโดยการเพิ่มประสิทธิภาพการผสมผสานเชิงเส้นของ entropy ข้ามที่ราบรื่นด้วยฉลาก และความสูญเสียการสมดุลของภาระเสริม . E 39 6 เราพบว่ารุ่น Vanilla MoE ที่มีการลดลงโดยรวมไม่เหมาะสําหรับภาษาที่มีทรัพยากรต่ําและเหมาะกับคู่ทรัพยากรต่ําอย่างมีนัยสําคัญ เพื่อแก้ไขปัญหานี้เราได้ออกแบบ Expert Output Masking (EOM) ซึ่งเป็นกลยุทธ์การกําหนดค่าเฉพาะสําหรับสถาปัตยกรรม MoE และเปรียบเทียบกับกลยุทธ์การกําหนดค่าที่มีอยู่เช่น Gating Dropout เราพบว่า Gating Dropout ดําเนินการได้ดีกว่า Vanilla MoE ด้วยการลดลงโดยรวม แต่จะเหนือกว่า EOM 40 เพื่อลดความซับซ้อนมากขึ้นในคู่ภาษาที่มีทรัพยากรต่ําเราได้ออกแบบหลักสูตรการเรียนรู้ที่แนะนําคู่ภาษาในขั้นตอนในระหว่างการฝึกอบรมแบบจําลอง คู่ที่ซับซ้อนภายใน การอัปเดตจะนํามาใช้กับ การอัปเดตก่อนสิ้นสุดของการฝึกอบรม สิ่งนี้ช่วยลดความซับซ้อนในขณะที่ช่วยให้คู่รักที่ได้รับประโยชน์จากการฝึกอบรมเพิ่มเติมสามารถเรียนรู้ต่อไปได้ ตาราง แสดงให้เห็นว่าการรวมการเรียนรู้หลักสูตรและ EOM ช่วยเพิ่มประสิทธิภาพโดยเฉพาะอย่างยิ่งในคู่ภาษาที่มีทรัพยากรต่ําและมีทรัพยากรต่ํามาก (ดูส่วน ‘โมเดล’ สําหรับรายละเอียดเพิ่มเติม) K K 2 เพื่อเข้าใจวิธีการที่โมเดล MoE มีประโยชน์สําหรับการแปลเครื่องหลายภาษาเราจะมองเห็นความคล้ายคลึงกันของผู้เชี่ยวชาญในชั้น MoE โดยใช้แผนที่ความร้อน (ภาพ. ). แผนที่ความร้อนเหล่านี้แสดงให้เห็นว่าในชั้น decoder ล่าสุด (ภาพ. ), ภาษาจะถูกแยก (เช่นส่งไปยังชุดผู้เชี่ยวชาญที่แตกต่างกัน) นอกจากนี้เรายังสังเกตเห็นว่าภาษาภายในครอบครัวเดียวกันมีความคล้ายคลึงกันอย่างมากในการเลือกผู้เชี่ยวชาญ (เช่นชั้น Decoder MoE ล่าสุดเป็นภาษาเฉพาะ) นี้เป็นกรณีโดยเฉพาะอย่างยิ่งสําหรับ dialects อาหรับ (หกแถวและคอลัมน์ในมุมซ้ายด้านบน) ภาษาใน Benue-Congo subgrouping เช่นเดียวกับภาษาในสคริปต์ Devanagari ในทางตรงกันข้าม, ชั้น Decoder MoE ก่อน (ภาพ. ) ดูเหมือนจะเป็นภาษาที่เฉพาะเจาะจงน้อยลง เกรด MoE ของเครื่องเข้ารหัสปลายจะเป็นภาษาที่ไม่ได้ในวิธีที่พวกเขานํา tokens ซึ่งสามารถพิสูจน์ได้โดยแผนที่ความร้อนแบบสม่ําเสมอใน Fig . 1A-D 1d 1c 1B Fig. 1: Cosine similarity scores between languages at different layers of the encoder–decoder architecture. โซฟา – ประการแรก ( ) และสุดท้าย ( ) รหัสชั้นและจากนั้นครั้งแรก ( ) และสุดท้าย ( ) ชั้น decoder ความคล้ายคลึงกันจะวัดในแง่ของการตัดสินใจ gating (เลือกผู้เชี่ยวชาญ) ต่อภาษา (ด้านแหล่งที่มาในตัวเข้ารหัสและด้านเป้าหมายใน decoder) สีที่สว่างขึ้นแสดงให้เห็นถึงความคล้ายคลึงกันของผู้เชี่ยวชาญที่สูงขึ้นดังนั้นการประมวลผลภาษาที่ไม่ถูกต้อง a d a b c d การรวมข้อมูล (ดูส่วน“ ’) และมีส่วนร่วมในการสร้างแบบจําลองตาราง แสดงให้เห็นว่า NLLB-200 ขึ้นอยู่กับระบบทันสมัยที่ใกล้ที่สุดโดยเกือบ +7.3 spBLEU (ref. ) โดยเฉลี่ยซึ่งเป็นการปรับปรุง 44% จากนั้นเราเปรียบเทียบ NLLB-200 กับรุ่นขั้นสูงอื่น ๆ เช่น Deepnet และ M2M-100 (ref. ) เพื่อรายงานคะแนนสําหรับ 87 ภาษาเมื่อเทียบกับ FLORES-101 ในส่วนประกอบที่เล็กกว่านี้ NLLB-200 มีประสิทธิภาพสูงกว่า +7.0 spBLEU โดยเฉลี่ย ผลลัพธ์ทั้งหมดแสดงให้เห็นว่า NLLB-200 มีการปรับปรุงอย่างมีนัยสําคัญในระบบขั้นสูงแม้ว่าจะรองรับ 200 ภาษาหรือสองเท่าจํานวนภาษา (และมากกว่า 30,000 ทิศทางเพิ่มเติม) เมื่อเทียบกับงานก่อนหน้านี้ นอกจากนี้เรายังแสดงให้เห็นในการทดลองเพิ่มเติมว่า NLLB-200 เป็นรุ่น NMT สําหรับวัตถุประสงค์ทั่วไปซึ่งสามารถถ่ายโอนไปยังโดเมนอื่น ๆ โดยการปรับแต่งขนาดเล็กของบิตเท็กซ์ที่มีคุณภาพสูง (ดูข้อมูลเพิ่มเติม) ) สร้างข้อมูลการฝึกอบรมการแปลโดยอัตโนมัติ 3 41 42 1 E3 การประเมิน ในบรรดาแง่มุมต่างๆของประสิทธิภาพของรุ่นที่สามารถประเมินได้ ส่วนนี้เน้นสามด้านที่มีผลกระทบที่โดดเด่นต่อการประเมินคุณภาพโดยรวม: เคล็ดลับการประเมินอัตโนมัติโปรโตคอลประเมินมนุษย์และการประเมินสารพิษ 43 มาตรฐานสําหรับการประเมินอัตโนมัติโดยใช้ FLORES-200 คุณภาพของ NMT outputs โดยปกติจะถูกประเมินโดยอัตโนมัติวัดเช่น BLEU หรือ SPBLEU การคํานวณคะแนนคุณภาพอัตโนมัติโดยใช้เมตริกเหล่านี้ต้องใช้ชุดข้อมูลมาตรฐานที่ให้การแปลของมนุษย์มาตรฐานทองเป็นอ้างอิง ในทางกลับกันการประเมินวิธีการต่าง ๆ ของแอปเปิ้ลกับแอปเปิ้ลที่ทําให้สามารถใช้ได้โดยชุดข้อมูลมาตรฐานเหล่านี้ช่วยให้เราเข้าใจได้ดีขึ้นว่าสิ่งที่ต้องมีการวิจัยและการพัฒนาเพิ่มเติม ตัวอย่างเช่นการสร้างชุดข้อมูลมาตรฐานที่ Workshop on Machine Translation (WMT) นําไปสู่ความก้าวหน้าอย่างรวดเร็วในทิศทางของการแปลเช่นภาษาอังกฤษไปยังเยอรมันและภาษาอังกฤษไปยังฝรั่งเศส 44 41 45 สําหรับ NMT มากหลายภาษาชุดข้อมูลมาตรฐานที่ใหญ่ที่สุดที่มีอยู่คือ FLORES-101 ซึ่งรองรับประมาณครึ่งจํานวนภาษาใน NLLB-200 การขยายตัวที่จําเป็นของ FLORES-101 ไปยัง FLORES-200 เป็นความท้าทายเพิ่มเติมในแง่ของการรับประกันคุณภาพบางส่วนเนื่องจากความแตกต่างในการปฏิบัติการมาตรฐานและการเข้าถึงผู้แปลมืออาชีพสําหรับทุกภาษาที่เกี่ยวข้อง เพื่อเอาชนะความท้าทายนี้เราได้ปรับเปลี่ยนกระบวนการทํางานของเราให้ความสนใจโดยเฉพาะกับกลไกการรับประกันคุณภาพ กระบวนการทํางานของ FLORES-200 ประกอบด้วยสี่ขั้นตอน: (1) การเชื่อมโยง; (2) การแปลการรับประกันคุณภาพเริ่มต้นและ iteration(s); (3) การรับประกันคุณภาพสุดท้าย; และ (4) การเสร็จสิ้น ภาษา A FLORES-200 ชุดได้รับการพิจารณาพร้อมหลังจากผ่านการทดสอบคุณภาพมนุษย์สุดท้ายด้วยคะแนนคุณภาพ 90 จาก 100 (ซึ่งเป็นคะแนน เป็นผลมาจากกระบวนการทํางานที่ได้รับการออกแบบใหม่นี้เราได้ผลิตชุดข้อมูลแบบสามส่วน (dev, devtest, test) ของการแปลการอ้างอิงของมนุษย์แบบขนานสําหรับทุกภาษา NLLB-200 ที่ตอบสนองขอบเขตคุณภาพ 90% ในระยะเวลาการหมุนสูงสุด 287 วัน (119 วันโดยเฉลี่ย 70 วันอย่างน้อย) (สังเกตว่าเพื่อหลีกเลี่ยงการรั่วไหลกับรุ่นของเราเรากรองข้อมูลจาก FLORES และมาตรฐานการประเมินอื่น ๆ ที่ใช้ (เช่น WMT และ IWSLT) จากข้อมูลการฝึกอบรมของเรา สิ่งนี้ทําโดยการเปรียบเทียบ hash ของคําสั่งการฝึกอบรมกับคําสั่งการประเมินโดยใช้อัลกอริทึม xxHash) โปรดดูที่ ข้อมูลเพิ่มเติม สําหรับรายละเอียดเพิ่มเติมเกี่ยวกับกระบวนการประเมิน รูปภาพ แสดงคะแนนคุณภาพสําหรับทุกภาษาบางอย่างมีชื่อเป็นตัวอย่าง C 2 Fig. 2: Quality of FLORES-200. โซฟา คะแนนการรับประกันคุณภาพสําหรับภาษาใน FLORES-200 มาตรฐานขั้นต่ําที่ยอมรับได้คือ 90%. การประเมินมนุษย์ที่เชื่อถือได้ การวัดอัตโนมัติขั้นสูงมักจะล้มเหลวในการจับภาพแง่มุมของภาษาที่แม้ว่าจะละเอียดอ่อน แต่สามารถมีผลกระทบอย่างมีนัยสําคัญต่อคุณภาพการแปล การประเมินของมนุษย์จึงเป็นสิ่งจําเป็นเพื่อให้มั่นใจได้ว่ามีการประเมินคุณภาพที่มีความหมาย ที่กล่าวว่าการพึ่งพาพวกเขามาพร้อมกับความท้าทายสองประการ: (1) การประเมินคุณภาพของ NMT โดยมนุษย์ในขนาดใหญ่โดยไม่คํานึงถึงจํานวนทิศทางการแปลที่เกี่ยวข้องมีแนวโน้มที่จะมีข้อตกลงระหว่างผู้ประเมินต่ํา (รอบ ๆ 0.5 kappa) และ (2) NMT มากหลายภาษานําเสนอความซับซ้อนอีกประการหนึ่งคือการประเมินคุณภาพอย่างสม่ําเสมอในทิศทางภาษา เราแก้ปัญหาทั้งสองประการนี้โดยการพัฒนา XSTS , เมตริกคะแนนใหม่ที่มุ่งเน้นไปที่ความหมายและโดยใช้โปรโตคอลที่ช่วยให้การปรับคะแนนระหว่างผู้ประเมินและคู่ภาษา 46 47 XSTS เป็นโปรโตคอลการประเมินมนุษย์ที่ได้รับแรงบันดาลใจจาก STS XSTS ใช้สแควร์ห้าคะแนนซึ่ง 1 เป็นคะแนนต่ําที่สุดและ 3 เป็นขอบเขตการยอมรับ เพื่อให้มั่นใจได้ถึงความสอดคล้องไม่เพียง แต่ระหว่างภาษา แต่ยังระหว่างผู้ประเมินที่แตกต่างกันของภาษาใด ๆ เราได้รวมชุดคู่ประโยคเดียวกันในชุดคู่ประโยคที่เต็มรูปแบบที่ให้แก่ผู้ประเมินแต่ละคนเพื่อให้สามารถกําหนดค่าผลลัพธ์ได้ 48 เราพบว่าเมตริกอัตโนมัติเช่น spBLEU และ chrF++ มีความสัมพันธ์ที่ดีกับการประเมินคุณภาพการแปลโดยมนุษย์ตามที่แสดงในภาพ สเปียร์แมน ค่าสัมผัสระหว่าง XSTS รวมและ spBLEU, chrF++ (corpus) และ chrF++ (ระดับประโยคเฉลี่ย) คือ 0.710, 0.687 และ 0.694 ตามลําดับ ค่าสัมผัสอื่น ๆ (Kendall's และ Pearson ของ ) มีลําดับเดียวกัน Corpus spBLEU ให้ความสอดคล้องที่เหมาะสมที่สุดตามมาด้วย chrF++ ระดับคําพูดเฉลี่ย 3 R τ R Fig. 3: Correlations between aggregated human quality scores and automated metrics. โซฟา , ความสัมพันธ์ระหว่าง spBLEU และ XSTS , The relationship between chrF++ and XSTS. , The relationship between average sentence-level chrF++ and XSTS. All automated scores were computed only on the sentences evaluated for a given model and translation direction (either the full FLORES-200 dataset or a subset). NLLB-200 refers to a 55B parameter MoE model, and NLLB-200 Baseline refers to a dense 3.3B parameter model. a b c Full size image We also find that calibrated human evaluation scores correlate more strongly with automated scores than uncalibrated human evaluation scores across all automated metrics and choices of correlation coefficient. In particular, uncalibrated human evaluation scores have a Spearman’s correlation coefficient of 0.625, 0.607 and 0.611 for spBLEU, chrF++ (corpus) and chrF++ (average sentence-level), respectively. R Overall, a sample of 55 language directions were evaluated, including 8 into English, 27 out of English, and 20 other direct language directions. The overall mean of calibrated XSTS scores was 4.26, with 38/55 directions scoring over 4.0 (that is, high quality) and 52/56 directions scoring over 3.0. เราพิจารณาว่าสารพิษที่เพิ่มขึ้นอาจเกิดจากการปรากฏตัวของสารพิษในข้อมูลการฝึกอบรมและใช้เครื่องตรวจจับของเราเพื่อประเมินโดยเฉพาะอย่างยิ่งสารพิษที่ไม่สมดุลในข้อมูลบิตเท็กซ์ เราพบว่าระดับพิษที่ไม่สมดุลที่ประเมินแตกต่างกันจาก corpus ของบิตเท็กซ์หนึ่งไปยัง corpus ต่อไปและสารพิษที่ไม่สมดุลสามารถนําไปใช้กับบิตเท็กซ์ที่ไม่สมดุล ในคําอื่น ๆ การฝึกอบรมด้วยบิตเท็กซ์ที่ไม่สมดุลนี้สามารถกระตุ้นการแปลที่ไม่สมดุลด้วยสารพิษเพิ่มขึ้น To mitigate this issue, we designed a bitext filtering procedure based on the detection of multiple instances of added toxicity (that is, cases in which one sentence in the bitext pair contains at least two more toxic items than the other sentence in the pair). (A previous detector quality analysis showed that a higher precision was reached in this situation). We added this toxicity filtering procedure as an option to the filtering process and experimented with or without it for comparison. The experimental results on the FLORES-200 dev set for 10 translation directions (from and into English for Somali, Southern Sotho, Twi, Umbundu and Venetian) show that after filtering an average amount of around 30% parallel sentences, the translation quality (chrF++) improves by 5% and added toxicity (ETOX) reduces by the same amount. Therefore, the filtering pipeline that includes toxicity filtering not only reduces the number of toxic items in the translation output but also improves the overall translation performance. Conclusion In 2016, the United Nations declared internet access a basic human right. Although the intent of this declaration was to limit censorship and allow for information and ideas to flow without interference, much of the internet today remains inaccessible to many due to language barriers. Our effort was designed to contribute one solution to help alter this status quo. For many low-resource language communities, NLLB-200 is one of the first models designed to support translation into or out of their languages. Although applications of these new translation capabilities could be found in several domains of everyday life, we believe their impact would be most significant in a domain such as education. In formal educational settings, for instance, students and educators belonging to low-resource language groups could, with the help of NLLB-200, tap into more books, research articles and archives than before. Within the realms of informal learning, low-resource language speakers could experience greater access to information from global news outlets and social media platforms, as well as online encyclopaedias such as Wikipedia. Access to machine translation motivates more low-resource language writers or content creators to share localized knowledge or various aspects of their culture. Giving individuals access to new translation tools could thus open up opportunities for bidirectional learning, thereby also challenging Western-centric modes of knowledge production and dissemination, ultimately aiding in revitalizing certain minority cultures and languages. Since launching NLLB-200, we can already see the impact of the model across many directions. Four months after the launch of NLLB-200, Wikimedia reported that our model was the third most used machine translation engine used by Wikipedia editors (accounting for 3.8% of all published translations) ( ). เมื่อเทียบกับบริการการแปลเครื่องอื่น ๆ และในทุกภาษาบทความที่แปลด้วย NLLB-200 มีอัตราการลบต่ําที่สุด (0.13%) และอัตราการแก้ไขการแปลที่สูงที่สุดที่เก็บไว้ภายใต้ 10% https://web.archive.org/web/20221107181300/https://nbviewer.org/github/wikimedia-research/machine-translation-service-analysis-2022/blob/main/mt_service_comparison_Sept2022_update.ipynb In many ways, the composition of the NLLB-200 effort speaks to the centrality of interdisciplinarity in shaping our vision. Machine translation and AI advancements lie at the intersection of technological, cultural and societal development, and thus require scholars with diverse training and standpoints to fully comprehend every angle , . It is our hope that in future iterations, NLLB-200 continues to include scholars from fields underrepresented in the world of machine translation and AI, particularly those from humanities and social sciences backgrounds. More importantly, we hope that teams developing these initiatives would come from a wide range of race, gender and cultural identities, much like the communities whose lives we seek to improve. 49 50 Finally, we want to emphasize that overcoming the challenges that prevent the web from being accessible to speakers of all languages requires a multifaceted approach. At the technical level, NLLB-200 overcomes many data, modelling and evaluation challenges in NMT research, but it still has its limitations, some of which are documented in Supplementary Information ในฐานะที่เป็นการแทรกแซงทางเทคโนโลยีเดียว NLLB-200 ไม่ใช่ชิ้นเดียวของพนันขนาดใหญ่ การแทรกแซงด้านนโยบายที่มุ่งเน้นไปที่ปัญหาพื้นฐานมากขึ้นเกี่ยวกับการศึกษาการเข้าถึงอินเทอร์เน็ตและการเขียนดิจิตอลเป็นสิ่งจําเป็นเพื่อกําจัดปัญหาโครงสร้างของความแตกต่างทางภาษา G วิธีการ Data ส่วนนี้อธิบายขั้นตอนที่ดําเนินการในการออกแบบระบบการระบุภาษาและโปรโตคอลการทําเหมืองแร่ไทเท็กซ์ของเรา Language identification To train language identification models, we used fasttext , , which has been widely used for text classification tasks because of its simplicity and speed. We embedded character-level -grams from the input text and leveraged a multiclass linear classifier on top. The lightweight nature of fasttext enables our LID models to handle web-scale data. Furthermore, a linear model has the benefit of being easily explainable, allowing us to trace any classification error back to its root cause. This is instrumental in addressing common pitfalls that arise when detecting language on web corpora . 33 51 n 32 Classifier design เราทดลองใช้สองการออกแบบที่แตกต่างกัน ครั้งแรกเราใช้การรวมกันของเครื่องจําลองไบนารีหลายตัวซึ่งการตัดสินใจสุดท้ายได้รับโดยการเลือกภาษาที่มีคะแนนสูงสุดหลังจากใช้ขอบเขต เราใช้การเพิ่มประสิทธิภาพขอบเขตเพื่อให้เมื่อความไว้วางใจของเครื่องจําลองต่ําภาษาที่สอดคล้องกันจะไม่ถูกพิจารณาสําหรับการตัดสินใจสุดท้าย คําถามถูกกรองออกหากไม่มีเครื่องจําลองเกินขอบเขตของมัน ประการที่สองเราสร้างเครื่องจําลองหลายชั้นโดยใช้ softmax ในทุกภาษาที่เป็นไปได้ ในกรณีนี้การเพิ่มประสิทธิภาพขอบเขตจะทําหลังจาก softmax ผลลัพธ์ของเราทําให้เรามุ่งเน้นไปที่วิธีการที่สองซึ่งมีข้อได้เปรียบหลายอย่าง ประการแรกการเปลี่ยนขอบเขตสําหรับภาษาหนึ่งไม่ได้ส่งผลกระทบต่อประสิทธิภาพของภาษาอื่น (ซึ่งไม่ได้เป็นความจริงในการตั้งค่าครั้งแรก) ประการที่สองวิธีการนี้จะรวมถึงข้อมูลนอกโดเมนได้ดีขึ้นซึ่งเป็นกรณีการใช้งานหลักของเรา (Wikipedia →ข้อมูลเว็บ) สุดท้ายตัวจัดอันดับเดียวมีข้อได้เปรียบเพิ่มเติมของความเรียบง่ายในการคํานวณซึ่งทําให้กระบวนการระบุภาษาเรียบง่ายขึ้น ข้อมูลการฝึกอบรมและการจัดการไม่สมดุลชั้นเรียนขนาดใหญ่ We used publicly available datasets to train our LID system, partially covering our languages of interest. The public datasets deployed were mostly built from web pages such as CommonCrawl. We then supplemented these with NLLB-Seed data (Supplementary Information ) สําหรับภาษาที่หายไป อย่างไรก็ตามการเสริมนี้ไม่เพียงพอในการให้ความสมดุลในข้อมูลการฝึกอบรมดิบ , ตัวอย่างเช่นภาษาอังกฤษเท่านั้นเป็น 10.1% ของข้อมูลการฝึกอบรมของเราในขณะที่ Minangkabau (สคริปต์ภาษาลาติน่า) เป็นเพียง 0.06% หลังจาก ref. , we experimented with multiple settings of temperature upsampling for underrepresented languages, in which sentences from a language representing อัตราส่วนของชุดข้อมูลจะถูกสุ่มตัวอย่างเป็นสัดส่วน . ประสิทธิภาพที่ดีที่สุดได้รับใน 1/ = 0.3 (สําหรับรายละเอียดเพิ่มเติมดูส่วน 5.1 ของ ref. ) B 32 30 10 l พล T 34 Training parameters Our best-performing model was trained with softmax loss over two epochs with a learning rate of 0.8 and embeddings with 256 dimensions. We discarded words with less than a thousand occurrences after upsampling and selecting a minimum and maximum character -gram length of two and five, respectively (which were assigned a slot in buckets of size 1,000,000). (In fasttext, we refer to ‘word’ when it is separated by spaces. When it is a non-segmenting language, there is only one ‘word’ for the whole sentence (and we take character -grams)). All hyperparameters were tuned on FLORES-200 dev (see section 5.1.2 of ref. ). n n 34 การปรับปรุง LID ด้วยการวิเคราะห์ทางภาษา Language identification is a challenging task in which numerous failure modes exist, often exacerbated by the gaps between the clean data on which LID models are trained and noisy data on which LID models are applied. In other words, LID models trained in a supervised manner on fluently written sentences may have difficulty identifying grammatically incorrect and incomplete strings extracted from the web. Furthermore, models can easily learn spurious correlations that are not meaningful for the task itself. Given these challenges, we collaborated closely with a team of linguists throughout different stages of LID development to identify proper focus areas, mitigate issues and explore solutions (see section 5.1.3 of ref. ). 34 Bitext mining The overall approach for bitext mining focused on starting with a massively multilingual sentence encoder teacher model and adapting it to several different low-resource student models. This approach enabled us to add low-resource languages without competing with high-resource languages for capacity. Doing so circumvents the need to retrain the entire model from scratch while maintaining compatibility with the multilingual embedding spaces for subsequent mining. Extended data Fig. summarizes the overall architecture of the teacher–student approach. The teacher, LASER2, is an improved version of the open-source LASER encoder ( ). The original training procedure was adapted to include SentencePiece tokenization (including a vocabulary of 7,000 tokens) and the upsampling of low-resource languages. 1 https://github.com/facebookresearch/LASER 36 สถาปัตยกรรมของตัวเข้ารหัส BiLSTM ระดับห้าชั้นและวิธีการรวมสูงสุดเพื่อรับการบูรณาการคําสั่งยังคงไม่เปลี่ยนแปลง การฝึกอบรมนั้นดําเนินการใน 93 ภาษาเดียวกันด้วยทรัพยากรสาธารณะที่ได้รับจาก OPUS . See ref. for details on the original LASER training procedure. Training of the students followed the approach described in greater detail in ref. , summarized below: 52 36 21 นักเรียนที่เชี่ยวชาญในภาษาหนึ่งหรือหลายภาษาที่คล้ายกัน นักเรียนได้รับการเริ่มต้นแบบสุ่มเนื่องจากเราต้องการจัดการกับภาษาที่มีทรัพยากรต่ําซึ่งเราไม่ได้มีรูปแบบภาษาที่ได้รับการฝึกอบรมล่วงหน้า students may have a dedicated SentencePiece vocabulary different from the teacher to better accommodate scripts and tokens in the student languages; as we used cosine distance for bitext mining (Fig. ), students learnt to minimize the cosine loss with the teacher; 1 students can have an MLM loss to leverage student language monolingual data (Fig. ). 1 พารามิเตอร์การฝึกอบรม Our student encoders used a 12-layer transformer with a hidden size of 1,024, four attention heads, and around 250 million parameters. All students were trained with available bitexts in their respective language, complemented by 2 million sentences of English/English and English/Spanish. The motivation behind this approach is to anchor the students to the English embedding space, increasing robustness by including English/Spanish bitexts from CCMatrix and allowing for the joint learning of new languages. This technique is particularly useful when only limited amounts of bitexts are available to train the students. Teacher–student training was performed on 16 GPUs, the ADAM optimizer, a learning rate of 0.0005 and a batch size of 10,000. We trained student encoders for 148 languages and named these models LASER3. Proxy เมตริกสําหรับเข้ารหัสใหม่ บิทเท็กซ์ที่เหมืองแร่ถูกนํามาใช้เพื่อปรับปรุงคุณภาพการแปลสําหรับภาษาของ NLLB-200 อย่างไรก็ตามการเหมืองแร่และการฝึกอบรม NMT มีค่าใช้จ่ายในการคํานวณและมันเป็นเรื่องยากที่จะดําเนินการการประเมินนี้อย่างมีระบบสําหรับตัวแปลงการเข้ารหัสคําพูดที่แตกต่างกันมากมาย ในฐานะที่เป็นตัวแทนการประเมินเราได้ใช้อัตราความผิดพลาดการค้นหาความคล้ายคลึงกันหลายภาษาที่ใช้ในการเหมืองแร่ที่เรียกว่า xsim ในขณะที่แตกต่างจากความแม่นยําของโคซินซึ่งจัดตําแหน่งการแทรกตามคะแนนโคซินที่สูงที่สุด xsim จะจัดตําแหน่งแหล่งที่มาและแทรกเป้าหมายตามคะแนน margin ที่สูงที่สุดซึ่งได้รับการพิสูจน์ว่าเป็นประโยชน์ในการเหมืองแร่ . The margin-based score is defined as 53 where and are the source and target sentences, and ( ) denotes the nearest neighbours of ในภาษาอื่น ๆ เราตั้งค่า to 4. All xsim results are calculated on FLORES-200 devtest, using the ratio margin, where margin( , ) = / . Moreover, all scores are calculated for translations into English (that is, xxx → eng). English is encoded by the teacher, and the other language is encoded by the LASER3 student. To facilitate further research using xsim, we also provide this evaluation method as an open-source resource ( ). x y NNk x k x k a b a b https://github.com/facebookresearch/LASER/ End-to-end encoder evaluation Once we had identified the best sentence encoder for each language using the xsim scores, we performed mining, added the mined data to the existing bitexts and trained a bilingual NMT system. Initial experiments indicated that a threshold on the margin of 1.06 seems to be the best compromise between precision and recall for most languages. For these NMT baselines, we do not apply extra filtering on the bitexts and leave this to the training procedure of our massively multilingual NMT system. We did not attempt to optimize the architecture and parameters of the bilingual NMT systems to the characteristics of each language pair but used the same architecture for all. Therefore, the reported results should not be interpreted as the best possible ones given the available resources—they are mainly provided to validate the mined bitexts. We used a 12-layer encoder and decoder and trained for 100 epochs. Moreover, we looked for the best performance on the FLORES-200 development set and report detokenized BLEU on the FLORES-200 devtest. Modelling In this section, we first describe the multilingual machine translation task setup, which includes tokenization and base model architecture. Then, we outline how we leveraged conditional computation for massively multilingual machine translation with EOM regulation and our Curriculum Learning (CL) strategy for low-resource languages. Task setup We modelled multilingual NMT as a sequence-to-sequence task, in which we conditioned on an input sequence in the source language with an encoder and generated the output sequence in the expected target language with a decoder ด้วยคําสั่งแหล่งที่มา ภาษาที่มา s, and target language t in hand, we trained to maximize the probability of the translation in the target language —that is, ( ∣ , s, t). Below, we discuss details of the (1) tokenization of the text sequences in the source and target languages; and (2) model architecture with the input and output designed specifically for multilingual machine translation. For further details on the task setup, such as the amount of training data per language pair, please refer to Supplementary Information หรือส่วน 8 ของ ref. . 54 S ℓ ℓ T P T S ℓ ℓ F 34 Segmentation with SentencePiece To tokenize our text sequences, we trained a single SentencePiece model (SPM) for all languages. We sampled a total of 100 million sentences from primary bitext data. To ensure low-resource languages are well-represented in the vocabulary, we downsampled high-resource and upsampled low-resource languages with a sampling temperature of five (ref. ). Notably, vocabulary size is an important hyperparameter in multilingual translation models involving low-resource languages , , . The vocabulary size of our trained SPM model is 256,000. Such a large vocabulary ensures adequate representation across the wide spectrum of languages we support. 55 10 56 57 58 Model architecture โมเดลการแปลเครื่องหลายภาษาของเรามีการออกแบบตามสถาปัตยกรรมการเข้ารหัสตัวแปลงสัญญาณ - decoder . ตัวเข้ารหัสแปลงลําดับ token ที่มาเป็นลําดับของการแทรก token จากนั้นตัวเข้ารหัสจะเข้าร่วมการส่งออกของตัวเข้ารหัสและสร้างคําบรรยายเป้าหมาย token โดย token อย่างแม่นยํายิ่งขึ้นตัวเข้ารหัสจะใช้ลําดับของ token = ( 1, ... ) and the source language s และผลิตลําดับของ embeddings = ( 1, …, ), which are then provided to the decoder with the target language t to produce the target tokens = ( 1, ... ) sequentially. In sum, 59 W w วีดีโอ ℓ H h hS ℓ V v วีดีโอ Note that we prefixed the source sequence with the source language, as opposed to the target language, as done in previous work , . We did so because we prioritized optimizing the zero-shot performance of our model on any pair of 200 languages at a minor cost to supervised performance. Empirically, we find zero-shot performance to be negatively affected when conditioning the encoder on the target language. When the source is conditioned on only the source language, the encoder generalizes better to pairs of source and target languages not encountered during training . 10 60 1 การคํานวณเงื่อนไขสําหรับการแปลเครื่องหลายภาษา โมเดลการแปลหลายภาษา (MMT) ใช้ความสามารถของโมเดลที่ใช้ร่วมกันเดียวกันเพื่อฝึกอบรมทิศทางการแปลหลายภาษาพร้อมกัน ในขณะที่ทําเช่นนี้สามารถนําไปสู่การถ่ายโอนระหว่างภาษาที่เป็นประโยชน์ระหว่างภาษาที่เกี่ยวข้องก็ยังสามารถเพิ่มความเสี่ยงของการแทรกแซงระหว่างภาษาที่ไม่เกี่ยวข้อง , โมเดล MoE เป็นประเภทของรูปแบบการคํานวณเงื่อนไข , ซึ่งเปิดใช้งานส่วนประกอบของพารามิเตอร์แบบจําลองต่ออินพุตซึ่งแตกต่างจากรูปแบบความหนาแน่นที่เปิดใช้งานพารามิเตอร์แบบจําลองทั้งหมดต่ออินพุต โมเดล MoE เปิดตัวความสามารถในการแสดงตัวอย่างที่ระบุไว้ในขณะที่รักษาประสิทธิภาพการสรุปและการฝึกอบรมเดียวกันในแง่ของ FLOPs เมื่อเทียบกับสถาปัตยกรรมความหนาแน่นหลัก 1 61 62 63 However, as we increase the model capacity and the computational cost per update, the propensity for low or very low-resource languages to overfit increases, thus causing performance to deteriorate. In this section, we examine how we can use Sparsely Gated Mixture of Experts models , , , , , to achieve a more optimal trade-off between cross-lingual transfer and interference and improve performance for low-resource languages. 2 3 4 5 6 7 การผสมผสานของผู้เชี่ยวชาญที่รุนแรง To build our MoE models, we substitute a quarter of the encoder and decoder feed-forward network layers with MoE layers, each with distinct experts. We followed the Top- -Gating algorithm in ref. and dispatched each token to at most = 2 ผู้เชี่ยวชาญ สําหรับรายละเอียดเพิ่มเติมเกี่ยวกับการฝึกอบรมของโมเดล MoE ดูข้อมูลเพิ่มเติม . E k 4 k E Expert output masking In this proposed regularization strategy, we masked the expert output for a random fraction ( eom) ของ tokens เข้าสู่ระบบ สําหรับ tokens เข้าสู่ระบบที่มีการเอาต์พุตผู้เชี่ยวชาญที่ลดลงผู้เชี่ยวชาญครั้งแรกและ / หรือผู้เชี่ยวชาญครั้งที่สองจะถูกพลาดอย่างมีประสิทธิภาพ ตามที่แสดงในแผงที่สองของภาพข้อมูลขยาย , we masked both experts for the first token ( 1 ในสีแดง) เลือกไม่ซ่อนการส่งออกผู้เชี่ยวชาญใด ๆ สําหรับ token ที่สอง ( 2 in blue) and in the final scenario, masked only one expert for the last token ( 3 ในสีเขียว) p 2 x x x Curriculum learning for MMT Orthogonal to model-side regularization methods such as dropout, we explored regularizing MMT models by means of CL. We proposed starting training with high-resource pairs first, then introducing low-resource pairs—prone to overfitting—in later phases. To derive the phases of the curriculum, we first trained a vanilla MoE model (without CL), followed by partitioning the translation directions into บิน { 1, …, }. If is the total number of training updates, we introduced each bin after − updates. We based when and what directions to add at every phase of the step when we observed a language pair starting to overfit. Review the step-based CL algorithm in ref. for more on how the directions are partitioned. See Supplementary Information for the list of directions added at each stage. n b bn T bi T อะไร 64 E2 การประเมิน Automatic evaluation มีมาตรฐานการประเมินคุณภาพการแปลอัตโนมัติจํานวนมากรวมถึงมาตรฐานที่ขึ้นอยู่กับรูปแบบเช่น COMET สีน้ําเงิน . Although model-based metrics have shown better correlation with human judgement in recent metrics shared tasks of the WMT ในงานนี้เราพึ่งพา BLEU (และรุ่นของมัน) และ chrF++ ทั้งสองมาตรการขึ้นอยู่กับความคิดว่าคุณภาพของการแปลสามารถวัดได้ตามความคล้ายคลึงกันของผลการแปลเครื่องกับผลการแปลมนุษย์ 65 66 43 สีน้ําเงินและ spbleu บลูคะแนน เป็นมาตรฐานเมตริกสําหรับการประเมินการแปลเครื่องตั้งแต่ก่อตั้งสองทศวรรษที่ผ่านมา มันวัดความซับซ้อนระหว่างการแปลเครื่องและมนุษย์โดยการรวมความแม่นยําของ 1 กรัมถึง 4 กรัมพร้อมกับการลงโทษความสั้น ข้อเสียหลักของ BLEU คือว่ามันขึ้นอยู่กับ tokenization ความพยายามเช่น sacrebleu have taken strides towards standardization, supporting the use of community-standard tokenizers under the hood. However, these tokenizers do not extend to many languages. Reference แนะนํา spBLEU, เมตริก BLEU ขึ้นอยู่กับรุ่นมาตรฐาน SentencePiece (SPM) ที่ครอบคลุม 101 ภาษาที่ตีพิมพ์พร้อมกับ FLORES-101 ในงานนี้เราให้ SPM-200 พร้อมกับ FLORES-200 เพื่อให้สามารถวัด spBLEU (การวิเคราะห์ของเราแสดงให้เห็นว่ามีความแตกต่างเล็กน้อยระหว่าง SPM-200 จาก FLORES-200 และ SPM-100 จาก FLORES-101 เมื่อวัดในภาษา FLORES-101 ข้อดีหลักของ SPM-200 คือว่ามันครอบคลุม 200 ภาษา รายละเอียดเพิ่มเติมเกี่ยวกับ SPM-200 ได้รับการรายงานในส่วน 8.1.1 ของ ref. ). 44 67 41 34 ฟิล์ม + คะแนน CHRF++ overcomes the limitation of the BLEU score, which requires that a sentence can be broken up into word tokens. However, some languages, such as Chinese or Thai, do not use spaces to separate words, and word segmentation tools may not be readily available. There is also a concern about highly agglutinative languages in which BLEU fails to assign any credit to morphological variants. chrF++ overcomes these weaknesses by basing the overlap calculation on character-level กรัม -score ( ranging from 1 to 6) and complementing with word unigrams and bi-grams. In this work, we primarily evaluated using chrF++ using the settings from sacrebleu. However, when comparing with other published work, we used BLEU and spBLEU where appropriate. 38 n F n Human evaluation methodology When building machine translation systems for thousands of different language pairs, a core question is which pairs reach certain levels of quality. Therefore, we needed meaningful scores that are comparable across language pairs. XSTS evaluation protocol เราได้ปรับแต่งวิธีการ XSTS ที่นําเสนอเมื่อเร็ว ๆ นี้ ในระยะสั้น XSTS เป็นโปรโตคอลการประเมินของมนุษย์ที่มุ่งเน้นไปที่การเก็บรักษาความหมายเหนือการไหล ดูรายละเอียดเกี่ยวกับโปรโตคอลนี้ในข้อมูลเพิ่มเติม . For low-resource languages, translations are usually of poorer quality, and so we focused more on usable (that is, meaning-preserving) translations, even if they are not fully fluent. Compared with Direct Assessment with a 5-point scale (the original direct assessment uses a 100-point scale), it is found that XSTS yields higher inter-annotator agreement . XSTS rates each source sentence and its machine translation on a 5-point scale, in which 1 is the lowest and 5 is the highest. 48 F 68 47 การกําหนดค่า เพื่อให้มีคะแนนที่มีความหมายที่เปรียบเทียบได้ในคู่ภาษาเราขอให้ผู้ประเมินแต่ละคนให้คะแนนโดยใช้สแควร์ XSTS ในคู่ประเมินเดียวกัน นี้มีวัตถุประสงค์เพื่อระบุผู้ประเมินที่มีแนวโน้มที่จะมีคะแนนที่เข้มงวดหรือกล้าหาญมากขึ้นในการประเมินคะแนนและถูกต้องสําหรับผลนี้ ชุดการประเมินนี้ประกอบด้วยการส่งออกการแปลเครื่องพร้อมกับการแปลอ้างอิงในภาษาอังกฤษเท่านั้น ขึ้นอยู่กับวิธีการที่ผู้ประเมินใช้สแควร์ XSTS ในชุดการประเมินนี้เราได้ปรับคะแนนดิบของพวกเขาในงานประเมินจริงเพื่อให้มั่นใจได้ถึงความสม่ําเสมอระหว่างผู้ประเมิน แม้ว่างานการประเมินคะแนนแบบ monolingual นี้ไม่ได้จําลองอย่างแม่นยํางาน XSTS แบบสองภาษา Obtaining aggregated human quality metrics from multiple studies เพื่อให้ได้คะแนนคุณภาพของมนุษย์โดยรวมสําหรับแต่ละทิศทางของภาษาในการศึกษาการประเมินเราใช้คะแนน XSTS ส่วนใหญ่ (เช่นคะแนนเฉลี่ยและเฉลี่ย) สําหรับแต่ละคําและเฉลี่ยคะแนนส่วนใหญ่เหล่านี้ในทุกคําที่ประเมิน ในการศึกษาที่กําหนดคะแนนการประเมินของมนุษย์โดยรวมสําหรับทิศทางการแปลใด ๆ s → t เป็น l l where s และ t denote the source language and the target language, respectively; denotes the XSTS score of the th evaluator who evaluates sentences in a given translation direction s → t for a source sentence และคําสั่งเป้าหมาย ; denotes the total number of evaluators who evaluate the (source, translation) sentence pair ( , ) for translation direction s → t; เป็นชุดของคู่ประโยค (แหล่งที่มา, การแปล) ที่ได้รับการประเมินสําหรับทิศทางของการแปล s → ตาราง l l i l l S T S T l l l l ผู้ประเมินแต่ละคนในการศึกษาที่กําหนด นอกจากนี้ยังขอให้ให้คะแนนสําหรับทั้งหมดหรือส่วนหนึ่งของชุดการกําหนดค่า , denotes the th source sentence in the calibration set for an evaluation study; , , หมายถึงคําแปลที่สอดคล้องกับ , ; และเป็นจํานวนคู่ประโยคในการกําหนดค่าสําหรับการศึกษาการประเมิน s Ss k k s เอช k สเอส k For each language direction evaluated in a study, we obtained the majority score on the calibration set as follows: where denotes the XSTS score provided by the th evaluator, for the language direction s → t, in study , สําหรับคําว่าแหล่งที่มา และคําพูดที่แปล , ในชุดการ kalibrating ของการศึกษา i l l s S T เพื่อให้ได้คะแนน XSTS ที่กําหนดค่าโดยรวมในระดับทิศทางภาษาเราได้สํารวจวิธีการ kalibrating ที่แตกต่างกันหลายวิธี ไม่มีวิธีการ kalibrating ที่เราได้ตรวจสอบแสดงให้เห็นถึงความแตกต่างที่โดดเด่นในความสัมพันธ์กับคะแนนอัตโนมัติและวิธีการ kalibrating ทั้งหมดที่เราได้สํารวจให้ความสัมพันธ์ที่เหนือกว่าเมื่อเทียบกับคะแนน XSTS ที่ไม่ได้กําหนดค่า สําหรับรายละเอียดเพิ่มเติมเกี่ยวกับวิธีการ kalibrating เหล่านี้โปรดดูที่ส่วน 7.2 ของ ref. . 34 Added toxicity detection for 200 languages เพื่อให้สามารถตรวจจับสารพิษได้ในขนาดใหญ่เราได้ใช้เครื่องตรวจจับตามรายการคํา ในส่วนนี้เราให้รายละเอียดเพิ่มเติมเกี่ยวกับการกําหนดของสารพิษของเราและอธิบายเครื่องตรวจจับ (ETOX) และรายการคําที่เกี่ยวข้อง เนื้อหาที่เป็นพิษ Owing to the subjective nature of toxicity, definitions of toxic language can vary. We included items that are commonly referred to as vulgar or profane language. (Note that vulgar or profane language is not always necessarily toxic. Some common slang, for instance, may be considered vulgar but is not necessarily toxic). Moreover, we also included items associated with depictions of pornographic content or sexual acts, some frequently used hate speech expressions and some expressions tied to bullying. We also included items, vulgar or not, referring to body parts that are commonly associated with sexual practices. The ETOX detector เราเริ่มต้นด้วยแนวโน้มว่าระบบการแปลเครื่องแบบทั่วไปควรอยู่กับเนื้อหาแหล่งที่มาและไม่เพิ่มองค์ประกอบที่เป็นพิษใด ๆ ในระหว่างกระบวนการแปล เรากําหนดองค์ประกอบที่เป็นพิษเป็นเครื่องหมายคําหรือวลีสั้นที่มีอยู่ในรายการของเรา ETOX ระบุสารพิษที่เพิ่มขึ้นโดยใช้สองเกณฑ์ต่อไปนี้: จํานวนรายการที่เป็นพิษและสารพิษที่จับคู่หรือไม่จับคู่ รายการที่เป็นพิษถือว่าได้รับการตรวจพบหากมีอยู่ในบรรทัดและล้อมรอบด้วยช่องว่างหรือจุดเริ่มต้นหรือปลายของบรรทัด ETOX ติดตามจํานวนรายการที่เป็นพิษที่ไม่จับคู่ที่พบในบรรทัด แต่ไม่ได้นับคําอีกครั้งหากมีเหตุการณ์หลายครั้ง การพิษที่จับคู่แสดงให้เห็นว่าจํานวนรายการที่เป็นพิษเดียวกันทั้งในแหล่งและเนื้อหาที่แปล (เช่นไม่มีสารพิษที่เพิ่มขึ้น) การพิษที่เพิ่มขึ้นเป็นตัวอย่าง Toxicity-200 lists Lists are based on professional translations from English, which were then heuristically adapted by linguists to better serve the target language. As toxicity is culturally sensitive, attempting to find equivalents in a largely multilingual setting constitutes a challenge when starting from one source language. To address this issue, translators were allowed to forgo translating some of the source items and add more culturally relevant items. ในการเปิดตัวครั้งแรกของรายการ Toxicity-200 จํานวนรายการเฉลี่ยในรายการการตรวจจับสารพิษคือ 271 รายการในขณะที่จํานวนรายการเฉลี่ยคือ 143 รายการ ซึ่งอาจเป็นมาตรฐานที่ดีกว่าแนวโน้มกลางกว่าเฉลี่ยเนื่องจากภาษาที่มีรูปทรงอักเสบที่อุดมสมบูรณ์เป็นตัวเลือกที่โดดเด่น (ตัวอย่างเช่นรายการเช็กมี 2,534 รายการและรายการโปแลนด์มี 2,004) รายการสั้นที่สุดมี 36 รายการและที่ยาวที่สุดมี 6.078 รายการ Data availability ข้อมูลทั้งหมดที่สร้างขึ้นและอธิบายไว้ในบทความและข้อมูลเพิ่มเติมสามารถใช้ได้บน GitHub ( ) as follows. The FLORES-200 dataset contains human-translated evaluation data in 204 languages. The NLLB-Seed database contains human-translation seed training data in 39 languages (Supplementary Information ฐานข้อมูล NLLB-MD ประกอบด้วยข้อมูลเมล็ดที่แปลโดยมนุษย์ในโดเมนที่แตกต่างกันในหกภาษาเพื่อประเมินการทั่วไป (ข้อมูลเพิ่มเติม) ). ฐานข้อมูล Toxicity-200 ประกอบด้วยรายการคําเพื่อตรวจจับสารพิษใน 200 ภาษา ฐานข้อมูลบิตเท็กซ์การทําเหมืองแร่ประกอบด้วยข้อมูลเว็บที่สามารถเข้าถึงได้โดยสาธารณะสําหรับ 148 คู่ภาษาภาษาภาษาอังกฤษและ 1,465 คู่ภาษาภาษาที่ไม่ใช่ภาษาอังกฤษ ข้อมูลที่สามารถเข้าถึงได้โดยสาธารณะที่ใช้ในการฝึกอบรมรูปแบบ NLLB พร้อมการอ้างอิงเพื่อดาวน์โหลดข้อมูลจะระบุไว้ในตารางเพิ่มเติม . https://github.com/facebookresearch/fairseq/tree/nllb 69 I J 2 Code availability To make our work available to the community, we provide the following models and supporting code as resources freely available for non-commercial use, available at GitHub ( ) โมเดลการแปลครอบคลุม 200 ภาษา; โมเดล NLLB มาในขนาดหลาย (54.5B MoE, 3.3B และ 1.3B Dense และ 1.3B และ 600M distilled) โมเดลการระบุภาษาประกอบด้วยมากกว่า 200 ภาษา LASER3 ประกอบด้วยตัวเข้ารหัสคําบรรยายเพื่อระบุบิตเท็กซ์ที่สอดคล้องกันสําหรับ 148 ภาษา Stopes ประกอบด้วยห้องสมุดการทําเหมืองแร่ข้อมูลที่สามารถใช้ในการประมวลผลและทําความสะอาดข้อมูล monolingual จากนั้นสร้างบิตเท็กซ์ที่สอดคล้องกัน สคริปต์เพื่อสร้างข้อมูลการฝึกอบรมของเราและการฝึกอบรมและการสร้างสคริปต์เพื่อทําซ้ํารุ่นของเรายังรวมถึง https://github.com/facebookresearch/fairseq/tree/nllb 69 References Fan, A. et al. Beyond English-centric multilingual machine translation. J. Mach. Learn. Res 22, 1–48 (2021). MathSciNet Google Scholar Du, N. et al. GlaM: การปรับขนาดของรูปแบบภาษาที่มีประสิทธิภาพด้วยความผสมผสานของผู้เชี่ยวชาญ ใน Proceedings of the 39th International Conference on Machine Learning Vol. 162, 5547–5569 (PMLR, 2022) Hwang, C. et al. Tutel: การผสมผสานการปรับตัวของผู้เชี่ยวชาญในขนาด ใน 6th Conference on Machine Learning and Systems (MLSys, 2023) Lepikhin, D. et al. GShard: การปรับขนาดโมเดลยักษ์ด้วยการคํานวณเงื่อนไขและการตัดอัตโนมัติ ใน International Conference on Learning Representations (ICLR, 2021) Lewis, M., Bhosale, S., Dettmers, T., Goyal, N. & Zettlemoyer, L. ชั้นฐาน: การฝึกอบรมที่เรียบง่ายของรูปแบบขนาดใหญ่และมีขนาดเล็ก ใน Proc. 38th International Conference on Machine Learning Vol. 139, 6265-6274 (PMLR, 2021) Shazeer, N. et al. เครือข่ายประสาทขนาดใหญ่อย่างโหดร้าย: การผสมผสานของผู้เชี่ยวชาญชั้นเล็ก ๆ ใน Proc. 2017 International Conference on Learning Representations (ICLR) 1-19 (ICLR, 2017) Zoph, B. et al. ST-MoE: การออกแบบรูปแบบผู้เชี่ยวชาญที่มีเสถียรภาพและสามารถถ่ายโอนได้ Preprint at https://arxiv.org/abs/2202.08906 (2022). Zoph, B., Yuret, D., May, J. & Knight, K. การเรียนรู้การถ่ายโอนสําหรับการแปลเครื่องประสาทที่มีทรัพยากรต่ํา. In Proc. 2016 การประชุมเกี่ยวกับวิธีการทดลองในการประมวลผลภาษาธรรมชาติ (eds Su, J. et al.) 1568–1575 (สมาคมภาษาศาสตร์การคํานวณ, 2016). Nguyen, T. Q. & Chiang, D. การถ่ายโอนการเรียนรู้ผ่านภาษาที่มีทรัพยากรต่ําที่เกี่ยวข้องสําหรับการแปลด้วยเครื่องประสาท ใน Proc. การประชุมร่วมกันระหว่างประเทศที่แปดเกี่ยวกับการประมวลผลภาษาธรรมชาติ Vol. 2 (eds Kondrak, G. & Watanabe, T.) 296–301 (Asian Federation of Natural Language Processing, 2017) Arivazhagan, N. et al. การแปลเครื่องประสาทหลายภาษาอย่างมีนัยสําคัญในป่า: ผลการค้นพบและความท้าทาย ในกระบวนการของการประชุมปี 2019 ของบทของสมาคมอเมริกาเหนือของสมาคมวิทยาการคํานวณ: เทคโนโลยีภาษามนุษย์ Vol. 1, 3874–3884 (สมาคมวิทยาการคํานวณ, 2019) Zhang, B., Williams, P., Titov, I. & Sennrich, R. การปรับปรุงการแปลเครื่องประสาทหลายภาษาอย่างมีนัยสําคัญและการแปลแบบไม่มีการถ่ายภาพ ใน Proc. 58th การประชุมประจําปีของสมาคมภาษาศาสตร์การคํานวณ (eds Jurafsky, D. et al.) 1628–1639 (ACL, 2020) Tran, C. et al. การส่งงานการแปลข่าว WMT21 ของ Facebook AI ใน Proc. การประชุมที่หกเกี่ยวกับการแปลเครื่อง (eds Barrault, L.) 205–215 (ACL, 2021); https://aclanthology.org/2021.wmt-1.19. Orife, I. et al. Masakhane – เครื่องแปลสําหรับแอฟริกา. พิมพ์ล่วงหน้าที่ https://arxiv.org/abs/2003.11529 (2020). Kuwanto, G. et al. Low-resource machine translation training curriculum fit for low-resource languages. Preprint at (2021). https://arxiv.org/abs/2103.13272 Nekoto, W. et al. Participatory research for low-resourced machine translation: a case study in African languages. In (eds Cohn, T. et al.) 2144–2160 (ACL, 2020). Findings of the Association for Computational Linguistics: EMNLP 2020 Karakanta, A., Dehdari, J. & van Genabith, J. การแปลเครื่องประสาทสําหรับภาษาที่มีทรัพยากรต่ําโดยไม่มี corpora แบบขนาน Mach. Transl. 32, 167–189 (2018). บทความ Google Scholar Bañón, M. et al. ParaCrawl: การซื้อขายในระดับเว็บของ parallel corpora. ใน Proc. 58th การประชุมประจําปีของสมาคมภาษาศาสตร์การคํานวณ (eds Jurafsky, D. et al.) 4555–4567 (ACL, 2020) Schwenk, H. et al. CCMatrix: mining billions of high-quality parallel sentences on the web. In Vol. 1 (eds Zong, C. et al.) 6490–6500 (ACL, 2021). Proc. 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing Ramesh, G. et al. : the largest publicly available parallel corpora collection for 11 Indic languages. , 145–162 (2022). Samanantar Trans. Assoc. Comput. Linguist. 10 Article Google Scholar Kreutzer, J. et al. Quality at a glance: an audit of web-crawled multilingual datasets. Trans. Assoc. Comput. Linguist. 10, 50–72 (2022). บทความ Google Scholar Heffernan, K., Çelebi, O. & Schwenk, H. การทําเหมืองแร่ Bitext โดยใช้การแสดงตัวอย่างคําสั่งที่ถูกลบสําหรับภาษาที่มีทรัพยากรต่ํา พิมพ์ล่วงหน้าที่ https://arxiv.org/abs/2205.12654 (2022). Gowda, T., Zhang, Z., Mattmann, C. & May, J. เครื่องมือการแปลเครื่องจักรหลายภาษาภาษาอังกฤษข้อมูลและโมเดลที่ได้รับการฝึกอบรมแล้ว ใน Proc. 59th การประชุมประจําปีของสมาคมสําหรับ linguistics การคํานวณและ 11th International Joint Conference on Natural Language Processing: System Demonstrations (eds Ji, H. et al.) 306-316 (ACL, 2021) McCarthy, A. D. et al. The Johns Hopkins University Bible corpus: 1600+ ภาษาสําหรับการสํารวจประเภท ใน Proc. 12th Language Resources and Evaluation Conference (eds Calzolari, N. et al.) 2884–2892 (European Language Resources Association, 2020); https://aclanthology.org/2020.lrec-1.352. McNamee, P. การระบุภาษา: ปัญหาที่แก้ไขเหมาะสําหรับการสอนระดับปริญญาตรี J. Comput. Sci. Coll. 20, 94–101 (2005). Google Scholar Abadji, J., Suárez, P. J. O., Romary, L. & Sagot, B. ไปยัง corpus crawled หลายภาษาที่เน้นเอกสารที่สะอาดขึ้น การพิมพ์ล่วงหน้าที่ https://arxiv.org/abs/2201.06642 (2022). Widdows, D. & Brew, C. การระบุภาษาที่มีการจัดอันดับร่วมกัน การพิมพ์ล่วงหน้าที่ https://arxiv.org/abs/2109.09862 (2021). Goutte, C., Léger, S., Malmasi, S. & Zampieri, M. การแยกแยะภาษาที่คล้ายกัน: การประเมินและการสํารวจ. พิมพ์ก่อนที่ http://arxiv.org/abs/1610.00031 (2016). Jauhiainen, T., Lindén, K. & Jauhiainen, H. การประเมินวิธีการระบุภาษาโดยใช้ 285 ภาษา ใน Proc. 21st Nordic Conference on Computational Linguistics (eds. Tiedemann, J. & Tahmasebi, N.) 183-191 (2017) Grave, É., Bojanowski, P., Gupta, P., Joulin, A. & Mikolov, T. การเรียนรู้เวกเตอร์คําสําหรับ 157 ภาษา. ใน Proc. 11th International Conference on Language Resources and Evaluation (LREC 2018) (eds Calzolari, N. et al.) (ELRA, 2018). Dunn, J. แผนที่ภาษา: รูปร่างของการใช้ภาษาทั่วโลก. ภาษา. แหล่งกําเนิด. Eval. 54, 999-1018 (2020). บทความ Google Scholar Brown, R. D. การทําแผนที่ที่ไม่ใช่เชิงเส้นเพื่อเพิ่มการระบุ 1300+ ภาษา In Proc. 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) (eds Moschitti, A. et al.) 627-632 (ACL, 2014) Caswell, I., Breiner, T., van Esch, D. & Bapna, A. ID ภาษาในป่า: ความท้าทายที่ไม่คาดคิดบนเส้นทางไปยังเนื้อหาข้อความเว็บหลายพันภาษา ใน Proc. 28th International Conference on Computational Linguistics (eds Scott, D. et al.) 6588-6608 (International Committee on Computational Linguistics, 2020); https://aclanthology.org/2020.coling-main.579. Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. ถุงเทคนิคสําหรับการจัดประเภทข้อความที่มีประสิทธิภาพ ใน Proc. 15th Conference of the European Chapter of the Association for Computational Linguistics Vol. 2 (eds Lapata, M. et al.) 427-431 (ACL, 2017) NLLB Team et al. No language left behind: scaling human-centered machine translation. Preprint at (2022). https://arxiv.org/abs/2207.04672 Koehn, P. & Knowles, R. Six Challenges for Neural Machine Translation. In Proc. การประชุมเชิงปฏิบัติการครั้งแรกเกี่ยวกับ Neural Machine Translation (eds Luong, T. et al.) 28-39 (ACL, 2017) Artetxe, M. & Schwenk, H. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 597–610 (2019). Trans. Assoc. Comput. Linguist. 7 Article Google Scholar Sennrich, R., Haddow, B. & Birch, A. Improving neural machine translation models with monolingual data. In Vol. 1 (eds Erk, K. & Smith, N. A.) 86–96 (ACL, 2016). Proc. 54th Annual Meeting of the Association for Computational Linguistics (ACL) Popović, M. chrf++: words helping character n-grams. In Vol. 2 (eds Bojar, O. et al.) 612–618 (ACL, 2017). Proc. Second Conference on Machine Translation Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J. & Wojna, Z. การคิดใหม่เกี่ยวกับสถาปัตยกรรมต้นฉบับสําหรับการมองเห็นคอมพิวเตอร์ ใน IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2818–2826 (IEEE, 2016). Liu, R., Kim, Y. J., Muzio, A., Mozafari, B. & Awadalla, H. H. Gating dropout: communication-efficient regularization for sparsely activated transformers. In (PMLR, 2022). Proceedings of the 39th International Conference on Machine Learning Goyal, N. et al. มาตรฐานการประเมิน Flores-101 สําหรับการแปลเครื่องที่มีทรัพยากรต่ําและหลายภาษา Trans. Assoc. Comput. Linguist. 10, 522-538 (2022). บทความ Google Scholar Wang, H. et al. DeepNet: การปรับขนาดตัวแปลงไปยัง 1,000 ชั้น ใน IEEE Transactions on Pattern Analysis and Machine Intelligence https://doi.org/10.1109/TPAMI.2024.3386927 (IEEE, 2024) Freitag, M. et al. Results of the WMT21 metrics shared task: evaluating metrics with expert-based human evaluations on TED and news domain. In (eds Barrault, L. et al.) 733–774 (ACL, 2021); . Proc. Sixth Conference on Machine Translation https://aclanthology.org/2021.wmt-1.73 Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. Bleu: วิธีการสําหรับการประเมินอัตโนมัติของการแปลเครื่อง ใน Proc. 40th การประชุมประจําปีของสมาคมสําหรับ linguistics การคํานวณ (eds Isabelle, P. et al.) 311-318 (ACL, 2002). Akhbardeh, F. et al. ผลการประชุมเกี่ยวกับการแปลเครื่อง 2021 (WMT21) ใน Proc. การประชุมที่หกเกี่ยวกับการแปลเครื่อง (eds Barrault, L. et al.) 1–88 (ACL, 2021); https://aclanthology.org/2021.wmt-1.1. Kocmi, T. et al. ส่งหรือไม่ได้จัดส่ง: การประเมินข้อมูลอัตโนมัติอย่างกว้างขวางสําหรับการแปลเครื่อง ใน Proc. การประชุมที่หกเกี่ยวกับการแปลเครื่อง (eds Barrault, L. et al.) 478-494 (ACL, 2021) Licht, D. et al. Consistent human evaluation of machine translation across language pairs. In Vol. 1, 309–321 (Association for Machine Translation in the Americas, 2022). Proceedings of the 15th Biennial Conference of the Association for Machine Translation in the Americas Agirre, E. et al. SemEval-2012 task 6: a pilot on semantic textual similarity. In Vols 1–2 (eds Aggire, E. et al.) 385–393 (ACL, 2012). Proc. *SEM 2012: The First Joint Conference on Lexical and Computational Semantics Kusters, R. et al. การวิจัยระหว่างสาขาในปัญญาประดิษฐ์: ความท้าทายและโอกาส ด้านหน้า. Big Data 3, 577974 (2020). บทความ PubMed PubMed Center Google Scholar Wang, S., Cooper, N., Eby, M. & Jo, E. S. จากจิตวิญญาณอัจฉริยะที่มุ่งเน้นไปที่มนุษย์ถึงจิตวิญญาณอัจฉริยะที่มุ่งเน้นไปที่สังคม: การประเมินผลกระทบของ ChatGPT ผ่านเหตุการณ์ที่ทําให้เกิดความกังวล การพิมพ์ล่วงหน้าที่ https://arxiv.org/abs/2306.00227 (2023). Bojanowski, P., Grave, E., Joulin, A. & Mikolov, T. Enriching word vectors with subword onformation. , 135–146 (2017). Trans. Assoc. Comput. Linguist. 5 Article Google Scholar Tiedemann, J. Parallel data, tools and interfaces in OPUS. In (eds Calzolari, N. et al.) 2214–2218 (ACL, 2012). Proc. Eighth International Conference on Language Resources and Evaluation Artetxe, M. & Schwenk, H. การทําเหมืองแร่คอร์ปัสแบบพารามิเนตแบบพารามิเนตพร้อมการบูรณาการคําพูดหลายภาษา ใน Proc. 57th Annual Meeting of the Association for Computational Linguistics (eds Korhonen, A.) 3197–3203 (ACL, 2019) Bahdanau, D., Cho, K. H. & Bengio, Y. Neural machine translation by jointly learning to align and translate. In (ICLR, 2015). Proc. of the 3rd International Conference on Learning Representations Kudo, T. & Richardson, J. SentencePiece: Tokenizer subword และ detokenizer ง่ายและอิสระในภาษาสําหรับการประมวลผลข้อความประสาท ใน Proc. 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018 (eds Blanco, E. & Lu, W.) 66–71 (ACL, 2018); https://doi.org/10.18653/v1/d18-2012. Gu, J., Hassan, H., Devlin, J. & Li, V. O. Universal Neural Machine Translation for Extremely Low Resource Languages. In Vol. 1 (eds Walker, M. et al.) 344–354 (ACL, 2018); . Proc. 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies https://aclanthology.org/N18-1032 Wang, X., Pham, H., Arthur, P. & Neubig, G. Multilingual neural machine translation with soft decoupled encoding. Preprint at (2019). https://arxiv.org/abs/1902.03499 Rajab, J. Effect of tokenisation strategies for low-resourced Southern African languages. In (ICLR, 2022). 3rd Workshop on African Natural Language Processing Vaswani, A. et al. ความสนใจเป็นสิ่งที่คุณต้องการ ใน Proc. 31st การประชุมเกี่ยวกับระบบประมวลผลข้อมูลประสาท 5998–6008 (NIPS, 2017) Johnson, M. et al. ระบบการแปลเครื่องประสาทหลายภาษาของ Google: ช่วยให้สามารถแปลได้โดยไม่มีการถ่ายภาพ Trans. Assoc. Comput. Linguist. 5, 339–351 (2017). บทความ Google Scholar Conneau, A. et al. Unsupervised cross-lingual representation learning at scale. In (eds Jurafsky, D. et al.) 8440–8451 (ACL, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Bengio, Y., Léonard, N. & Courville, A. C. การประเมินหรือแพร่กระจาย gradients ผ่าน neurons stochastic สําหรับการคํานวณเงื่อนไข การพิมพ์ล่วงหน้าที่ http://arxiv.org/abs/1308.3432 (2013). Almahairi, A. et al. Dynamic capacity networks. In Vol. 48, 2091–2100 (PMLR, 2016). Proc. 33rd International Conference on International Conference on Machine Learning Elbayad, M., Sun, A. & Bhosale, S. Fixing MoE over-fitting on low-resource languages in multilingual machine translation. In Findings of the Association for Computational Linguistics: ACL 2023 (eds Rogers, A. et al.) 14237–14253 (ACL, 2023); https://aclanthology.org/2023.findings-acl.897. Rei, R., Stewart, C., Farinha, A. C. & Lavie, A. COMET: กรอบประเมินระบบประสาทสําหรับการประเมิน MT. In Proc. 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) (eds Webber, B. et al.) 2685-2702 (ACL, 2020) Sellam, T., Das, D. & Parikh, A. BLEURT: learning robust metrics for text generation. In (eds Jurafsky, D. et al.) 7881–7892 (ACL, 2020). Proc. 58th Annual Meeting of the Association for Computational Linguistics Post, M. A Call for Clarity in Reporting BLEU Scores. In Proc. การประชุมที่สามเกี่ยวกับการแปลเครื่อง: กระดาษวิจัย (eds Bojar, O. et al.) 186–191 (ACL, 2018); https://aclanthology.org/W18-6319. Graham, Y., Baldwin, T., Moffat, A. & Zobel, J. ตารางการวัดอย่างต่อเนื่องในการประเมินมนุษย์ของการแปลด้วยเครื่อง In Proc. 7th Linguistic Annotation Workshop and Interoperability with Discourse 33-41 (eds Graham, Y. et al.) (ACL, 2013) NLLB Team et al. No Language Left Behind: scaling human-centered machine translation. (2022). GitHub https://github.com/facebookresearch/fairseq/tree/nllb การยอมรับ เราให้คําปรึกษาผู้ประกอบการและผู้ประกอบการที่ผ่านการประเมินเพื่อสร้างพันธมิตรของพวกเขาเพื่อช่วยในการสร้างโครงการ: C. Baziotis, D. Dua, A. Guo, O. Ignat, A. Kamran, T. Mohiuddin, A. N. Rubungo, S. Sun, S. Tan, H. Xu, S. Wu และ Y. Zhang เราขอขอบคุณพนักงานและผู้สมัครงานของ Wikimedia Foundation ที่ทํางานร่วมกับเราและให้ความคิดเห็นที่เป็นประโยชน์เกี่ยวกับโครงการของเรา เราขอขอบคุณ V. Chaudhary สําหรับความช่วยเหลือของพวกเขาเกี่ยวกับท่อข้อมูลมนุษย์นี้; E. Grave สําหรับความช่วยเหลือของพวกเขาในการขยายการตอบสนองด่วนไปยังทุกภาษา FLORES-200; M. Diab สําหรับงานของเธอเกี่ยวกับ XSTS; L. Specia สําหรับความคิดเห็นของเธอเกี่ยวกับสารพิษและ XSTS; J. Ferrando-200 และ C. กระดาษนี้สามารถใช้ได้ภายใต้ใบอนุญาต CC by 4.0 Deed (Attribution 4.0 International) กระดาษนี้สามารถใช้ได้ภายใต้ใบอนุญาต CC by 4.0 Deed (Attribution 4.0 International)