พบ M6: AI จีนที่เข้าใจข้อความและภาพในขนาด

ผู้เขียน : Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, China) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Group, China) An Yang, ya235025@alibaba-inc.com (Alibaba Group, China) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba Group, China) Ming Ding, dm18@mails.tsinghua.edu.cn (Tsinghua University, China) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, China) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, China) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Group, China) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, China) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, China) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, China) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, China) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Group, China) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, China) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Group, China) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, China) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Group, China) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, China) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Group, China) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Group, China) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Group, China) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, China) Jie Tang, jietang@tsinghua.edu.cn (Tsinghua University, China) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Group, China) ผู้เขียน : Junyang Lin, junyang.ljy@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Rui Men, menrui.mr@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) An Yang, ya235025@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Chang Zhou, ericzhou.zc@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Ming Ding, dm18@mails.tsinghua.edu.cn (มหาวิทยาลัย Tsinghua ประเทศจีน) Yichang Zhang, yichang.zyc@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Peng Wang, zheluo.wp@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Ang Wang, wangang.wa@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Le Jiang, jiangle.jl@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Jie Zhang, wanglin.zj@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Jie Liu, sanshuai.lj@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Jinbao Xue, zhiji.xjb@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Huiling Zhou, zhule.zhl@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Jianxin Ma, jason.mjx@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Jin Yu, kola.yu@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Yong Li, jiufeng.ly@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Wei Lin, weilin.lw@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, China) Jie Tang, jietang@tsinghua.edu.cn (มหาวิทยาลัย Tsinghua ประเทศจีน) Hongxia Yang, yang.yhx@alibaba-inc.com (กลุ่ม Alibaba, ประเทศจีน) แพทช์ ในงานนี้เราสร้างชุดข้อมูลที่ใหญ่ที่สุดสําหรับการฝึกอบรมล่วงหน้าแบบมัลติโมเดลในภาษาจีนซึ่งประกอบด้วยภาพ 1.9TB และข้อความ 292GB ที่ครอบคลุมโดเมนที่หลากหลาย เราเสนอวิธีการฝึกอบรมล่วงหน้าแบบ cross-modal ที่เรียกว่า การอ้างอิง ล่าสุด ออดิเรต ล่าสุด ความอดิเรก อัลติมีเดีย ega-transformer สําหรับการฝึกอบรมล่วงหน้าแบบครบวงจรเกี่ยวกับข้อมูลของโมดูลเดี่ยวและโมดูลเดี่ยว เราปรับขนาดโมดูลได้ถึง 10 พันล้านและ พารามิเตอร์และสร้างรุ่นที่ได้รับการฝึกฝนก่อนที่ใหญ่ที่สุดในจีน เราใช้รุ่นในชุดของแอพพลิเคชันด้านล่างและแสดงให้เห็นถึงประสิทธิภาพที่โดดเด่นเมื่อเทียบกับฐานที่แข็งแกร่ง นอกจากนี้เรายังออกแบบงานด้านล่างของการสร้างภาพด้วยข้อความและแสดงให้เห็นว่า M6 ที่ปรับแต่งได้ดีสามารถสร้างภาพที่มีคุณภาพสูงด้วยความละเอียดสูงและรายละเอียดมากมาย M6 M M M M M M 100 billion คําสําคัญ Multimodal Pre-Training; Multitask; การสร้างข้อความไปยังภาพ 1 บทนํา การฝึกอบรมก่อนได้กลายเป็นจุดมุ่งเน้นในการวิจัยในการประมวลผลภาษาธรรมชาติ (NLP) [ , , , , , , , , , , ]. GPT-3 ล่าสุดที่มีพารามิเตอร์มากกว่า 175 พันล้านแสดงให้เห็นว่าโมเดลขนาดใหญ่ที่ได้รับการฝึกอบรมเกี่ยวกับข้อมูลขนาดใหญ่มีกําลังการผลิตขนาดใหญ่มากเกินไปและสามารถทํางานได้ดีขึ้นในงานขั้นสูงโดยเฉพาะอย่างยิ่งในสภาพแวดล้อมที่ไม่มีการถ่ายภาพ นอกจากนี้การพัฒนาอย่างรวดเร็วของการฝึกอบรมล่วงหน้าใน NLP ช่วยเพิ่มการฝึกอบรมล่วงหน้าแบบ cross-modal อีกหลายการศึกษา [ , , , , , , , , , ] ได้สร้างประสิทธิภาพใหม่ล่าสุดสําหรับงานต่าง ๆ แบบ cross-modal downstream 1 2 7 16 18 19 27 31 37 44 49 4 11 17 22 24 25 28 29 38 51 น่าเสียดายที่การศึกษาล่าสุดมุ่งเน้นไปที่การฝึกอบรมก่อนเกี่ยวกับข้อมูลภาษาอังกฤษ มีการขาดทั้งชุดข้อมูลขนาดใหญ่ในภาษาจีนและรูปแบบขนาดใหญ่ที่ฝึกอบรมก่อนเกี่ยวกับข้อมูลภาษาจีน ดังนั้นในงานนี้เราพัฒนาชุดข้อมูลขนาดใหญ่ M6-Corpus ซึ่งประกอบด้วยภาพ 1.9TB และข้อความ 292GB ที่ดีที่สุดของเรารู้ว่านี่คือชุดข้อมูลขนาดใหญ่ในภาษาจีนสําหรับการฝึกอบรมก่อนทั้งหลายแบบและภาษาธรรมชาติ ชุดข้อมูลที่เก็บรวบรวมจากหน้าเว็บประกอบด้วยประเภทข้อมูลที่แตกต่างกันและครอบคลุมโดเมนขนาดใหญ่รวมถึงสถาปัตยกรรมคําถามการสนทนาฟอรั่มคําอธิบายผลิตภัณฑ์ ฯลฯ นอกจากนี้เรายังออกแบบขั้นตอนการทําความสะอาดที่ซับซ้อนเพื่อให้แน่ใจว่าข้อมูลมีคุณภาพสูง นอกจากนี้เพื่อให้สามารถใช้ประโยชน์จากข้อมูลที่มีคุณภาพสูงจํานวนมากอย่างเพียงพอเราขอแนะนําให้สร้างโมเดลขนาดใหญ่ที่สามารถประมวลผลข้อมูลหลายรูปแบบและปรับตัวให้เข้ากับงานที่แตกต่างกันดังนั้นเราจึงเสนอโมเดลใหม่ที่เรียกว่า M6 ซึ่งหมายถึง MultiModality-to-MultiModality Multitask Mega-transformer โมเดลนี้ขึ้นอยู่กับตัวแปลงและได้รับการฝึกอบรมล่วงหน้าด้วยงานหลายแบบ การฝึกอบรมล่วงหน้าช่วยให้โมเดลมีความสามารถในการเข้าใจและสร้างโหมดเดียวและโหมดหลายแบบ ขึ้นอยู่กับสถาปัตยกรรมของ M6 เราสร้าง และ , ซึ่งมีการปรับขนาดได้ถึง 10 พันล้านและ 100 พันล้าน pa-rameters ตามลําดับ เพื่อเป็นรายละเอียดมากขึ้น เป็นรุ่นที่ใหญ่ที่สุดล่าสุดที่ได้รับการฝึกอบรมจากข้อมูลจีน เราใช้รุ่นนี้ในชุดแอพพลิเคชันด้านล่างรวมถึงการสร้างคําอธิบายผลิตภัณฑ์การตอบคําถามภาพการตอบคําถามของชุมชนการสร้างบทกวีจีน ฯลฯ และผลการทดลองของเราแสดงให้เห็นว่า M6 ขั้นสูงกว่าชุดหลักฐานที่แข็งแกร่ง M6-10B M6-100B M6-100B ข้อเสนอแนะอื่น ๆ ของงานนี้คือเราจะรวมการฝึกอบรมล่วงหน้าด้วยการสร้างข้อความต่อภาพ ตาม Ramesh et al. , เราใช้กรอบสองขั้นตอนสําหรับการสร้างภาพ เพื่อเป็นรายละเอียดมากขึ้นเราใช้เครือข่ายการสร้างการต่อต้านการต่อต้านการสร้างแบบเวกเตอร์ที่มีการฝึกอบรมเพื่อแสดงภาพที่มีรหัสภาพที่แยกต่างหากจากนั้นเราใช้ M6 ที่ได้รับการฝึกอบรมเพื่อเรียนรู้ความสัมพันธ์ระหว่างข้อความและรหัส การเรียนรู้ดังกล่าวสามารถเชื่อมโยงสองโหมดและช่วยให้การสร้างข้อความที่สามารถควบคุมได้ [32] เพื่อสรุปการมีส่วนร่วมของ M6 คือดังนี้: เราเก็บรวบรวมและสร้างข้อมูลการฝึกอบรมก่อนการฝึกอบรมแบบมัลติโมเดลในจีนที่ใหญ่ที่สุดในอุตสาหกรรมซึ่งรวมถึงข้อความ 300GB และภาพ 2TB We propose M6 for multimodal pretraining in Chinese, and we scale the model size to up to 10 and 100 billion parameters. Both M6-10B and M6-100B are the recent largest multimodal pretrained model. M6 มีความยืดหยุ่นและเกินจุดเริ่มต้นที่แข็งแกร่ง 11.8% ใน VQA, 18.4 ในภาพยึดและ 10.3% ในภาพและข้อความการจับคู่ นอกจากนี้ M6 ยังสามารถสร้างภาพที่มีคุณภาพสูง ด้วยการเพิ่มประสิทธิภาพการฝึกอบรมแบบกระจายขนาดใหญ่ที่ออกแบบมาอย่างระมัดระวัง M6 มีข้อได้เปรียบที่ชัดเจนในความเร็วในการฝึกอบรมและลดต้นทุนการฝึกอบรมอย่างมากสร้างความเป็นไปได้สําหรับการใช้งานที่แพร่หลายมากขึ้นของการฝึกอบรมล่วงหน้าแบบหลายแบบ 2 ข้อมูล เราเก็บรวบรวมและพัฒนาชุดข้อมูลหลายแบบและข้อความที่ใหญ่ที่สุดในภาษาจีนในขณะนี้ซึ่งเป็นหนึ่งในส่วนสําคัญของบทความนี้ ในส่วนนี้เราจะระบุข้อ จํากัด ของชุดข้อมูลที่มีอยู่แล้วอธิบายขั้นตอนการก่อสร้างและการประมวลผลล่วงหน้าของชุดข้อมูลที่เราเสนอ 2.1 ชุดข้อมูลที่มีอยู่ การสร้างคอร์ปูขนาดใหญ่ที่มีคุณภาพสูงและครอบคลุมหลักเป็นสิ่งสําคัญสําหรับการฝึกอบรมก่อนหน้านี้ของจีน ในงานก่อนหน้านี้คอร์ปูจีน1 เป็นหนึ่งในชุดข้อมูลที่ใช้บ่อยที่สุดในการฝึกอบรมรูปแบบภาษาจีน มันมีข้อความ 1.6GB (ประมาณ 0.4B tokens) ที่ครอบคลุมประมาณ 1M รายการคอร์ปูที่มีขนาดที่เปรียบเทียบคือ THUCTC[ ] ชุดข้อมูลซึ่งรวมถึงบทความข่าว 740K อย่างไรก็ตามด้วยความจุที่เพิ่มขึ้นอย่างรวดเร็วของรุ่นภาษาล่าสุดขนาดของชุดข้อมูลที่มีอยู่เหล่านี้ไม่เพียงพออย่างชัดเจน เมื่อเร็ว ๆ นี้ Cui et al. ใช้ข้อมูลขยายที่ยังไม่ได้เผยแพร่ซึ่งมีขนาดใหญ่กว่า CN-Wikipedia 10 ครั้งเพื่อฝึกอบรมรุ่นภาษาจีนของพวกเขา Xu et al. 39 [5] เปิดตัว Corpus 100GB ที่เรียกว่า CLUECorpus2020 ซึ่งได้รับการรีไซเคิลจากชุดข้อมูล Common Crawl หลายภาษา อย่างไรก็ตามขนาดของชุดข้อมูลยังคงไม่เพียงพอเพื่ออํานวยความสะดวกในการฝึกอบรมก่อนขนาดใหญ่เมื่อเทียบกับรุ่นภาษาอังกฤษที่มีอยู่ ตัวอย่างเช่น GPT-3 มีพารามิเตอร์ 175B และได้รับการฝึกอบรมในข้อความ 570GB ในขณะเดียวกันชุดข้อมูลควรมีคู่ภาพและข้อความแทนที่จะเป็นข้อความธรรมดาสําหรับการฝึกอบรมก่อนหลายแบบ [47] 2.2 มาตรฐานสําหรับชุดข้อมูลที่มีคุณภาพสูง เพื่อทําการฝึกอบรมล่วงหน้าแบบมัลติโมเดลขนาดใหญ่และเรียนรู้ความรู้โลกที่ซับซ้อนในภาษาจีนชุดข้อมูลมีความต้องการสูงในการจัดหาทั้งข้อความที่เรียบง่ายและคู่ข้อความภาพในขนาดใหญ่ที่ครอบคลุมหลากหลายโดเมน เพื่อดําเนินการฝึกอบรมล่วงหน้าแบบมัลติโมเดลขนาดใหญ่ในภาษาจีนเรามุ่งเน้นไปที่การสร้างชุดข้อมูลขนาดใหญ่ในภาษาจีน โดยเฉพาะอย่างยิ่งในขณะที่เรารวมการฝึกอบรมล่วงหน้าของเราสําหรับทั้งภาษาธรรมชาติและมัลติโมเดลเราสร้างชุดข้อมูลขนาดใหญ่ทั้งข้อความที่เรียบง่ายและคู่ข้อความภาพ เราสนใจในการรับข้อมูลขนาดใหญ่ที่ครอบคลุมหลากหลายโดเมนดังนั้นจึงเป็นไปได้สําหรับรุ่นที่จะเรียนรู้ความรู้ที่ซับซ้อนของโลกของฟิลด์ที่แตกต่างกัน นอกจากนี้เรายังมุ่งมั่นที่จะเก็บรวบรวมข้อมูลหลายรูปแบบสําหรับการฝึกอบรมล่วงหน้าแบบ cross-modal Though there are a tremendous amount of text resources and images on the world wide web, the corpus for multimodal pretraining is assumed to be better when satisfying the following properties: (1) ข้อควรเป็นภาษาธรรมชาติที่ราบรื่นภายในความยาวปกติและไม่ควรมีโทเค็นที่ไม่มีความหมายเช่นการทําเครื่องหมายการทําเครื่องหมายที่ซ้ํากันการรวมตัวอักษรแบบสุ่ม ฯลฯ (2) รูปภาพควรเป็นธรรมชาติและเป็นจริงและความละเอียดของภาพต้องสามารถระบุได้โดยมนุษย์ (3) ทั้งข้อความและรูปภาพไม่ควรมีเนื้อหาที่ผิดกฎหมายเช่นสื่อลามกความรุนแรง ฯลฯ (4) รูปภาพและข้อความควรมีความเกี่ยวข้องทางสัญลักษณ์ (5) ชุดข้อมูลควรครอบคลุมหลากหลายสาขาเช่นกีฬาการเมืองวิทยาศาสตร์ ฯลฯ และดังนั้นจึงสามารถให้รูปแบบที่มีความรู้เกี่ยวกับโลกเพียงพอ 2.3 การก่อสร้างชุดข้อมูล ขึ้นอยู่กับความต้องการข้างต้นเราเก็บรวบรวมข้อมูลทั้งจากข้อความธรรมดาและคู่ภาพและข้อความ มีประเภทข้อมูลที่แตกต่างกันรวมถึงนิตยสารหน้าเว็บที่สํารวจการตอบคําถามของชุมชนฟอรั่มคําอธิบายผลิตภัณฑ์ ฯลฯ เรานําเสนอรายละเอียดในตาราง รูปร่างที่เก็บรวบรวมประกอบด้วยทั้งสองข้อความธรรมดาและคู่ภาพและข้อความซึ่งเข้ากันได้กับงานการฝึกอบรมก่อนการออกแบบเพียงข้อความและหลายแบบ นอกจากนี้ข้อมูลมีครอบคลุมในหลายสาขาเช่นวิทยาศาสตร์การบันเทิงการกีฬาการเมืองความรู้สึกของชีวิต ฯลฯ นอกจากนี้เรายังเปรียบเทียบบางลักษณะของ รูปร่างของเรากับชุดข้อมูลที่มีอยู่ที่ใช้สําหรับการฝึกอบรมก่อนการฝึกอบรมภาษาจีนในตาราง ขนาดของชุดข้อมูลของเรามีขนาดใหญ่กว่าคนก่อนหน้านี้ ตามที่เรารู้ว่านี่เป็นตัวเลือกขนาดใหญ่แบบมัลติโมเดลและหลายโดเมนสําหรับการฝึกอบรมก่อนจีน 3. 2. We implement sophisticated preprocessing to obtain clean data. For text data, we first remove HTML markups and duplicate punctuation marks, and we only reserve characters and punctuation marks that are in Chinese and English. We remove the topics that are shorter than 5 characters and contents shorter than 15 characters. We further apply in-house spam detection to remove sentences that contain words related to certain political issues, pornography, or words in the list of dirty, naughty, and other bad words. In order to preserve the linguistic acceptance of the texts, we implement a language model to evaluate their perplexities, and sentences with high perplexities are discarded. Only images with at least 5000 pixels are reserved for pretraining. A sequence of classifiers and heuristic rules are applied to filter out images containing illegal content. We also use a pretrained image scorer to evaluate the qual-ities of images. For images and texts in crawled webpages, we only consider images and their surrounding text as relevant image-text pairs. Other sentences in the webpages are discarded. 3 M6 กรอบ การฝึกอบรมล่วงหน้าแบบมัลติโมเดลใช้พลังของสถาปัตยกรรมหม้อแปลงที่ขึ้นอยู่กับความสนใจด้วยตนเองและการฝึกอบรมล่วงหน้าบนข้อมูลขนาดใหญ่ เรามุ่งมั่นที่จะให้รุ่นที่มีความสามารถในการทําความเข้าใจและสร้างแบบ cross-modal ที่แข็งแกร่ง ในส่วนนี้เราจะอธิบายรายละเอียดของรุ่นการฝึกอบรมล่วงหน้าของเรา ซึ่งหมายถึง ล่าสุด odality-to- ล่าสุด ความอดิเรก อัลติมีเดีย ไม่มีตัวแปลง M6 M M M M M M 3.1 Å อินพุตภาพและภาษา วิธีการเตรียมการฝึกอบรมแบบมัลติโมเดลแบบดั้งเดิมจะแปลงรูปภาพให้มีลําดับผ่านการตรวจจับวัตถุ อย่างไรก็ตามประสิทธิภาพของเครื่องตรวจจับวัตถุรวมถึงความแสดงออกของกระดูกสันหลังของพวกเขาส่งผลกระทบอย่างมากต่อประสิทธิภาพสุดท้ายของรุ่นที่ได้รับการฝึกอบรมในงานด้านล่าง เราสังเกตเห็นว่าส่วนใหญ่ของรูปภาพมีเพียงไม่กี่วัตถุ ใช้รูปภาพของข้อมูลอีคอมเมิร์ซเป็นตัวอย่าง เราตัวอย่างรูปภาพ 1M และดําเนินการตรวจจับวัตถุบนรูปภาพ ผลลัพธ์แสดงให้เห็นว่ามากกว่า 90% ของรูปภาพมีวัตถุน้อยกว่า 5 นอกจากนี้วัตถุมีความซ้ํากันสูงด้วยกัน เพื่อบรรเทาผลกระทบดังกล่าวเราจะมุ่งเน้นไปที่โซลูชั่นที่เรียบง่าย แต่มีประสิทธิภาพตาม Gao et al. [\12\(#_bookmark2 , , ]. เราใช้ WordPiece [ , ] และ masking to the word sequence และ embedd them with an embedding layer, following BERT 4 11 24 34 45 [6] 3.2 Unified Encoder-Decoder การเข้ารหัส เรารวมภาพ embeddings ei และคํา embeddings et ในลําดับการแทรกแบบ cross-modal e = {ei, et } เราส่งลําดับไปยังกระดูกสันหลังของเครื่องแปลงเพื่อการสกัดฟังก์ชั่นระดับสูง เพื่อแยกตัวแทนของพวกเขาเราเพิ่มการแทรกส่วนที่สอดคล้องกันสําหรับรูปแบบที่แตกต่างกัน โดยเฉพาะอย่างยิ่งเราใช้ประโยชน์จาก บล็อกหม้อแปลงขึ้นอยู่กับความสนใจด้วยตนเองสําหรับการเรียนรู้การแสดงตัวแทนแบบ cross-modal ที่รวมกันของเรา เพื่อให้เฉพาะเจาะจงขึ้นบล็อกก่อสร้างจะเหมือนกับของ BERT หรือ GPT ซึ่งประกอบด้วยเครือข่ายการระมัดระวังด้วยตนเองและเครือข่ายการส่งต่อแบบจุด (FFN) ด้านบนของกระดูกสันหลังของหม้อแปลงเราเพิ่มชั้นเอาท์พุทสําหรับการคาดการณ์คําและดังนั้นเราเชื่อมโยงน้ําหนักของมันกับของชั้นแทรก ในกรอบสม่ําเสมอเราใช้กลยุทธ์การปิดกั้นที่แตกต่างกันเพื่อให้สามารถเข้ารหัสและถอดรหัสได้ การป้อนข้อมูลจะแบ่งออกเป็นสามส่วนรวมถึงป้อนข้อมูลภาพป้อนข้อมูลภาษาที่ปิดกั้นและป้อนข้อมูลภาษาที่สมบูรณ์ เราใช้การปิดกั้นแบบสองทิศทางทั้งป้อนข้อมูลภาพและป้อนข้อมูลภาษาที่ปิดกั้นและเราใช้การปิดกั้นสาเหตุไปยังป้อนข้อมูลภาษาที่สมบูรณ์ ดังนั้นรุ่นจึงสามารถเข้ารหัสและถอดรหัสได้ในกรอบเดียวกัน 3.3 วิธีการฝึกอบรม เราฝึกอบรมรุ่นด้วยการตั้งค่าหลายงานรวมถึงการถ่ายโอนข้อความไปยังข้อความการถ่ายโอนภาพไปยังข้อความและการถ่ายโอน multimodality ไปยังข้อความ ดังนั้นรุ่นสามารถประมวลผลข้อมูลของรูปแบบที่แตกต่างกันและดําเนินการทั้งการเข้าใจและการสร้างแบบเดี่ยวและ cross-modal ตามที่แสดงในรูปภาพ โมเดลเรียนรู้ที่จะดําเนินการ denoising ของข้อความและรูปแบบภาษาในการตั้งค่าของการถ่ายโอนจากข้อความไปยังข้อความ ใน denoising ของข้อความเราจะปิดกั้นข้อความเข้าด้วยสัดส่วนซึ่งเป็น 15% ในทางปฏิบัติตาม BERT [ ]. โดยเฉพาะอย่างยิ่งเราจะปิดกั้นช่วงของข้อความอย่างต่อเนื่องด้วยหน้ากากเดียวและรุ่นควรเรียนรู้ที่จะถอดรหัสลําดับทั้งหมด สิ่งนี้จะกระตุ้นให้รุ่นเรียนรู้การกู้คืนและการคาดการณ์ความยาว นอกจากนี้เพื่อปรับปรุงความสามารถของรุ่นในการสร้างเราจะเพิ่มการตั้งค่าการจําลองภาษาซึ่งตัวเข้ารหัสจะไม่ได้รับอินพุตและตัวถอดรหัสจะเรียนรู้ที่จะสร้างคําขึ้นอยู่กับสภาวะก่อนหน้านี้ Text-to-text Transfer 3, 6 การถ่ายโอนรูปภาพเป็นข้อความคล้ายกับการพิมพ์รูปภาพซึ่งโมเดลจะได้รับข้อมูลภาพเป็นข้อมูลป้อนข้อมูลและเรียนรู้ที่จะสร้างคําอธิบายที่สอดคล้องกัน ในการตั้งค่านี้เราจะเพิ่มลําดับฟีเจอร์แพทช์ที่กล่าวถึงข้างต้นไปยังป้อนข้อมูลและปล่อยให้ข้อมูลป้อนที่ซ่อนไว้ว่าง โมเดลจะเข้ารหัสฟีเจอร์แพทช์และคัดลอกข้อความที่สอดคล้องกัน Image-to-text transfer ขึ้นอยู่กับการตั้งค่าของการถ่ายโอนภาพไปยังข้อความเรายังเพิ่มอินพุตภาษาที่ซ่อนอยู่และดังนั้นรุ่นควรเรียนรู้ที่จะสร้างข้อความเป้าหมายตามทั้งข้อมูลภาพและข้อมูลภาษาที่รบกวน งานนี้ช่วยให้รุ่นสามารถปรับตัวเข้ากับงานด้านล่างด้วยอินพุตภาพและภาษา Multimodality-to-text transfer 3.4 การปรับขนาดถึง 10 และ 100 พันล้านพารามิเตอร์ เราเพิ่มขนาดรุ่นถึงพารามิเตอร์ 10 พันล้านและพารามิเตอร์ 100 พันล้านซึ่งเรียกว่า M6-10B และ M6-100B การเพิ่มขนาดรุ่นให้ความจุที่ยิ่งใหญ่ขึ้นสําหรับรุ่นที่สามารถเรียนรู้ความรู้จากข้อมูลมากขึ้น สําหรับการก่อสร้าง M6-10B เราเพียงแค่เพิ่มขนาดของรุ่นโดยการปรับ hyperparameter เพื่อให้มีความแม่นยํามากขึ้นเราจะเพิ่มขนาดของสภาวะที่ซ่อนอยู่และจํานวนชั้น เพื่อใช้หน่วยความจํา GPU ที่ดีขึ้นเราจะใช้การฝึกอบรมความแม่นยําผสมและการตรวจสอบการเปิดใช้งานเพื่อประหยัดหน่วยความจํา อย่างไรก็ตามรุ่นนี้ไม่สามารถเข้ากับ GPU หนึ่ง GPU และดังนั้นเราจึงใช้การสอดคล้องแบบจําลองเพื่อแบ่งเครือข่ายการส่งข้อมูลและหัวความสนใจเป็น GPU หลาย GPU หลังจากใช้ Megatron-LM [36] อย่างไรก็ตามการปรับขนาดโดยตรงถึง M6-100B เป็นเรื่องยากขึ้นเนื่องจากมีข้อท้าทายมากขึ้นสําหรับทรัพยากรการคํานวณ เป็นทางเลือกที่ได้รับแรงบันดาลใจจากความก้าวหน้าล่าสุดในการเปิดใช้งานที่หายาก [ , , ] เรารวม Mixture-of-Experts (MoE) กับ M6 เพื่อสร้างรุ่นของพารามิเตอร์ 100 พันล้าน โปรดทราบว่า MoE ที่เดิมต้องใช้ mesh-tensorflow เช่นเดียวกับ TPUs นี้ตั้งข้อ จํากัด สําหรับนักวิจัยจํานวนมากที่ไม่มีทรัพยากรดังกล่าว ดังนั้นเราจึงใช้ M6-100B กับ MoE ด้วยกรอบภายในของเรา Whale [ ] เพื่อดําเนินการ parallelism แบบจําลองกับ GPUs เราแสดงให้เห็นสถิติที่สําคัญของรุ่นที่มีขนาดแตกต่างกันในตาราง 10 20 35 43 4. Specifically, different from the conventional FFN layer, the MoE layer is a parallel combination of multiple FFN layers, each of which acts as an expert. This is also called expert parallelism. The model first learns a sparse gating network to route the tokens to specific experts. Thus each token is only sent to a small set of experts and the computation can be much less compared with that in dense models. This kind of model is highly efficient as it realizes data parallelism and expert parallelism across workers. The computation of MoE layer for a specific token 𝑥 can be described as below: ที่ g(·) หมายถึงฟังก์ชั่น gating ที่หายากและ T หมายถึงดัชนีของค่า top-k ของ g(·) การส่งออกของ MoE เป็นการรวมกันเชิงเส้นของการคํานวณของ FFNs ผู้เชี่ยวชาญที่เลือก f (·) ในความคล้ายคลึงกันของผู้เชี่ยวชาญพารามิเตอร์ของผู้เชี่ยวชาญไม่ได้แบ่งปันระหว่างคนงานในขณะที่ส่วนอื่น ๆ เป็นเหมือนกันระหว่างคนงาน ดังนั้นจึงจําเป็นต้องดําเนินการสื่อสารทั้งหมดกับคนงานในชั้น MoE เพื่อส่งจดหมายไปยังผู้เชี่ยวชาญที่เลือกและรวมกับผู้เชี่ยวชาญเดิมของพวกเขา ในขณะที่ Lepikhin et al. and Fedus et al. การประยุกต์ใช้ MoE บน TPUs ด้วยผู้เชี่ยวชาญหนึ่งในแต่ละ MoE layer บน TPU เราใช้รุ่นของเราบน GPUs ของ Nvidia ที่มีผู้เชี่ยวชาญหลายคนในแต่ละ MoE layer บน GPU เพื่อใช้หน่วยความจําอย่างเต็มที่ เนื่องจากการสื่อสารทั้งหมดกับทุกคนใช้เวลานานมากการเพิ่มประสิทธิภาพมีความสําคัญมาก เราใช้ชุดของการเพิ่มประสิทธิภาพรวมถึงการสื่อสารครึ่งความแม่นยํา ปัญหาสําคัญคือการสมดุลโหลดซึ่งหมายความว่า tokens สามารถรวบรวมได้เฉพาะกับผู้เชี่ยวชาญไม่กี่คนเนื่องจากการนําทางแบบไดนามิก ตาม Fedus et al , เราใช้ความจุผู้เชี่ยวชาญซึ่งหมายถึงจํานวน tokens สําหรับผู้เชี่ยวชาญ (C = N - c / m, ที่ C หมายถึงความจุผู้เชี่ยวชาญ, N หมายถึงจํานวน tokens ในชุด, c หมายถึงปัจจัยความจุ (ซึ่งเป็น hyperparameter มักจะใหญ่กว่า 1.0) และ m หมายถึงจํานวนผู้เชี่ยวชาญ) เพื่อบรรเทาปัญหานี้ Tokens จากความจุของผู้เชี่ยวชาญจะถูกทิ้งออกจากการคํานวณและพวกเขาจะถูกส่งไปยังชั้นต่อไปผ่านการเชื่อมต่อที่เหลือ เราพบว่าปัญหาน้ําหนักอาจเป็นเรื่องร้ายแรงและปัญหานี้อาจเป็นเรื่องสําคัญในอนาคตของการวิจัยของรุ่นผู้เชี่ยวชาญ [20] [ 10 ] [10] Besides the optimization in all-to-all communication, we com-pare the top-2 gating and top-1 gating and find that they can achieve similar model performance in perplexity, while the latter converges slightly slower. The effectiveness of top-1 gating enables faster computation. Besides, we also apply methods of memory optimization for higher efficiency. We find that gradient clipping globally can increase costs on all-to-all communication as it computes norms across all experts, and thus we apply local clipping for memory saving. We implement M6-100B with around 100 billion parameters on 128 Nvidia A100s and the speed of pretraining achieves 1440 samples/s (for samples of the sequence length of 272). เราแสดงให้เห็นว่าการใช้โครงสร้าง MoE สําหรับการปรับขนาดโมเดลมีประสิทธิภาพและสามารถบรรลุประสิทธิภาพที่คล้ายคลึงกับโมเดล M6-10B ที่มีความหนาแน่นมากที่สุดภายในเวลาที่สั้นกว่า 2-3 ครั้ง ความสับสนในบันทึกเชิงลบของโมเดล M6-100B ได้ถึง −2.297 เมื่อเทียบกับโมเดล M6-10B ที่ถึง −2.253 แต่มีเวลาสองครั้ง.2 นี้แสดงให้เห็นว่าโมเดล M6 ที่ใช้ MoE มีข้อดีในระยะเวลาเมื่อเทียบกับโมเดลที่มีความหนาแน่นมากขึ้น 4 APPLICATIONS 4.1 การสร้างข้อความไปยังภาพ การสร้างข้อความไปยังภาพเป็นปัญหาที่เปิดเป็นเวลานาน การศึกษาก่อนหน้านี้มุ่งเน้นไปที่การสร้างในโดเมนที่ จํากัด รวมถึง Generative Adversarial Nets (GANs) [ , ] are dominated methods. Following Ramesh et al. เราใช้โครงสร้างสองขั้นตอนสําหรับการสร้างข้อความไปยังภาพรวมถึงการเรียนรู้การแสดงตัวอย่างที่แยกต่างหากและการสร้างรูปแบบภาษา 14 48 [32] ในขั้นตอนแรกเรามุ่งเน้นไปที่การแปลงภาพเป็นลําดับของรหัสที่แยกต่างหาก มีตัวเลือกมากมายสําหรับการสร้างรหัสที่แยกต่างหากรวมถึง VQVAE [ ] and VQGAN [ ]. In the second stage, it is necessary to build a language model to learn to generate text and code sequence. In the finetuning, we add code embedding and output layers to the pretrained M6. We concat the word sequence and the aforementioned generated code sequence as the input, and we set the objective of autoregressive language modeling for the training. At the stage of inference, we input the text sequence, and the model generates codes autoregressively with top-k sampling. The last step is to transform the code sequence to an image with the generator from the first stage. 41 9 เราสร้างชุดข้อมูลสําหรับการสร้างข้อความต่อรูปภาพในอีคอมเมิร์ซ โดยเฉพาะอย่างยิ่งเราเก็บรวบรวมชื่อผลิตภัณฑ์และภาพมากกว่า 50 ล้านภาพจากโทรศัพท์มือถือ Taobao เราใช้วิธีการประมวลผลในภาพเพื่อกรองที่ไม่เหมาะสม เรากรองภาพด้วยคุณสมบัติพื้นหลังที่ซับซ้อน (ตัวอักษรรูปแบบ ฯลฯ ) ด้วยเครื่องตรวจจับภาพพื้นหลังสีขาวภายในและรุ่น OCR จากนั้นเรากรองภาพที่มีมากกว่า 3 วัตถุด้วยเครื่องตรวจจับวัตถุภายในของเราตาม Faster R-CNN [ ]. สุดท้ายเราได้รับ 1.8m คู่ภาพและข้อความผลิตภัณฑ์ที่มีคุณภาพสูงสําหรับ finetuning เมื่อเทียบกับภาพในโดเมนทั่วไปข้อมูลที่เก็บรวบรวมของเรามีคุณสมบัติดังต่อไปนี้ รูปภาพและข้อความมีความสัมพันธ์อย่างมากเนื่องจากข้อความอธิบายคุณสมบัติหลักของผลิตภัณฑ์และไม่มีพื้นหลังที่ซับซ้อนในภาพซึ่งง่ายต่อการเรียนรู้เมื่อเทียบกับภาพในชุดข้อมูลสาธารณะเช่น MSCOCO 33 [ 26 ] เราแสดงสองตัวอย่างในรูปภาพ and Figure มันสามารถพบได้ว่าภาพที่สร้างขึ้นมีคุณภาพสูงและวัตถุที่สร้างขึ้นคล้ายกับจริง นอกจากนี้ในภาพ , เราพบว่ารูปแบบสามารถจินตนาการรายการตามคําถาม ), which do not exist in the real world. The imagination ability provides room for creative design in real-world industrial scenarios, such as clothing design, shoe design, etc. 4 5. 6 military style camouflage high heels(军旅风迷彩高跟鞋 We also finetune M6 under our proposed framework on another dataset which contains 3 million images crawled from the Internet, which cover more general domains. And we find that the model can adapt to different domains. As shown in Figure โมเดลสามารถสร้างศิลปะคลิปของหุ่นยนต์ นี้แสดงให้เห็นถึงความหลากหลายของกรอบในการสร้างข้อความต่อภาพ 7 4.2 คําตอบคําถามภาพ เราแสดงผลการทดลองของเราบนชุดข้อมูลการตอบคําถามภาพและแสดงให้เห็นว่าเราใช้ M6 ที่ได้รับการฝึกอบรมล่วงหน้าโดยตรงกับแอปพลิเคชัน VQA We leverage the FMIQA dataset [ ] as the Chinese visual QA benchmark, which requires the model to generate the answer given an image and a question. We implement a transformer-based model as our baseline. For the evaluation, we split the test set manually by random sampling 200 from the dataset as there is no official release of the test set, and we evaluate the overall accuracy by human evaluation. The results are demonstrated in Table ฐาน M6 ที่ได้รับการฝึกอบรมล่วงหน้ามีประสิทธิภาพสูงกว่าขั้นพื้นฐาน (+6.2%) ซึ่งแสดงให้เห็นถึงประสิทธิภาพของการฝึกอบรมล่วงหน้าแบบมัลติโมเดล การปรับขนาดรุ่นไปยัง M6-10B ทําให้เพิ่มประสิทธิภาพได้ถึง 5.2% 13 5. Furthermore, we show that simply finetuning on such a small VQA dataset may limit the potential of M6. Therefore, we directly leverage M6 for the VQA application. We find that the model is able to recognize general features and provide more related knowledge based on its understanding. Though the model pretrained on pseudo-parallel image-text pairs cannot directly answer questions about detailed features, such as color, number, etc., it is able to answer questions related to background knowledge. We demonstrate some examples in Figure 8. 4.3 Image Captioning Image captioning ต้องการรุ่นที่จะสร้างการอ้างอิงที่อธิบายภาพที่ให้ซึ่งจะตรวจสอบความสามารถของรุ่นของการสร้าง cross-modal เราสร้างชุดข้อมูล (ที่เรียกว่า E-Commerce IC) ซึ่งประกอบด้วยคู่ของคําอธิบายผลิตภัณฑ์และภาพผลิตภัณฑ์จาก Taobao เนื่องจากคําอธิบายที่ยาวเกินไปหรือสั้นเกินไปอาจเป็นเสียงดังเราจะลบคู่ที่มีคําอธิบายที่ยาวกว่า 100 คําหรือน้อยกว่า 10 คํา เพื่อหลีกเลี่ยงรุ่นสกปรกเรายังใช้เครื่องมือภายในเพื่อกรองคําอธิบายที่อาจมีคําอธิบายสกปรก (เช่นคําโป๊หรือคํารุนแรง) สุดท้าย E-Commerce IC ประกอบด้วยประมาณ 260k คู่ภาพข้อความ เราปรับแต่งรูปแบบด้วยงานถ่ายโอนภาพไปยังข้อความบน E-Commerce IC We compare our model with a baseline of transformer in the human evaluation. We ask several annotators with the linguistic background to evaluate from three perspectives: grammar (whether a text is fluent without grammatical error), correctness (whether a text is faithful to the image), richness (whether a text is informative and attractive). During the evaluation, we randomly sample 100 images from the test set. For each image, an annotator is asked to score the text generated by different models. The scores are within the range of [0, 5]. The results in Table show that M6-base outperforms the baseline in all of the metrics. We find that all models achieve high scores in grammar. However, in both correctness and richness, M6-base outperforms the baseline model by a large margin (+18.2% and +14.4%), indicating that multimodal pretraining helps to generate more faithful, informative and attractive texts. Scaling up the model to M6-10B further improves the correctness and richness (about 14.7% and 7.0%). Figure 9 illustrates two examples of image caption. 6 4.4 คําตอบ To demonstrate the potential availability in the applications of intelligent chatbots, we further employ the M6 model to generate long answers in the style of forum discussion. Human-generated questions are collected from various Chinese forums, which are input to the model to generate the answer. At the stage of inference, we append a question mark and a token ในคําแนะนําซึ่งจะเปิดตัวรูปแบบที่ดีขึ้นเพื่อสร้างคําตอบ เพื่ออํานวยความสะดวกในการสร้างข้อความที่ยาวนานและมีข้อมูลมากขึ้นเราเลือกคําถามที่ซับซ้อนมากขึ้น “Answer:” Figure demonstrates an example of general question answer-ing. The model can illustrate a man’s own experiences that are related to the question and also point out the answer at the end. This generated text confused human annotators and passed the Turing Test. It shows that the model can not only answer general questions but also generate long fluency text. 10 4.5 Poem Generation We apply the pretrained model to Chinese poem generation. The model is able to generate genres with format constraints. Ancient Chinese poetry has various specific formats. We adopt the simplest constraints that The poem shall be consisted of at least 4 lines. The total number of lines shall be even. แต่ละบรรทัดควรมี 5 หรือ 7 คํา ทั้งหมดบรรทัดควรมีจํานวนคําเดียวกัน Text generation under format constraint is done in a search framework that we generate short sentences ending with punctuation until the number of words meets the constraint. We repeat this process until the model generates an " " token, or the number of lines exceeds a limit of 16. Figure แสดงตัวอย่างของ詩ที่สร้างขึ้น « EOS » 11 4.6 การจับคู่ภาพและข้อความ We evaluate the model’s ability in cross-modal retrieval. Specifically, we construct a dataset (named E-Commerce ITM) containing pairs of texts and images from the mobile Taobao. Each pair belongs to a single item. we collect 235K products in the clothing industry from Taobao. For each product, aside from the product image, we obtain a query by rewriting the product title. Specifically, we conduct named entity recognition on the title using an in-house tool, which extracts the terms describing the style, color, category and texture of the product. คําเหล่านี้จะถูกเชื่อมโยงไปเป็นคําถามภาษาธรรมชาติซึ่งใช้ในการจับคู่ภาพและข้อความ ความยาวของคําถามแต่ละคําคือ 6 ถึง 12 คํา คู่ของคําถามและภาพผลิตภัณฑ์ที่สอดคล้องกันจะติดฉลากเป็นตัวอย่างเชิงบวก ตัวอย่างเชิงลบจะถูกสร้างขึ้นโดยการแทนที่คําถามในคู่เดิมอย่างสุ่ม We require the model to perform binary classification to discriminate positive and negative samples. We compare our model with InterBert [ ], which is also a Chinese multi-modal pretrained model effective in cross-modal classification downstream tasks. The InterBert utilizes object-based features and has been pretrained on Taobao product image-text data as well. 25 The results are shown in Table It should be noted that the InterBert and M6-base are both implemented with transformer-based architecture and have similar model scales. However, M6-base still outperforms InterBert by 10.3%. In experiments, we find the product images generally contain relatively fewer detected objects, which may harm the performance on this task. In contrast, M6 avoids this problem by employing the patch features and achieves much better performance. 7. 5 งานที่เกี่ยวข้อง ประสบความสําเร็จอย่างมากของการฝึกอบรมล่วงหน้า NLP รวมถึง BERT [ ], GPT [ , , ], and also some other related studies [ , , , , ], inspires the research in cross-modal representation learning. Also, recent studies show that the ubiquitous Transformer architecture [ ] สามารถขยายไปยังฟิลด์ต่างๆรวมถึงการมองเห็นคอมพิวเตอร์ [ , ]. ดังนั้นโซลูชั่นที่ง่ายที่สุดในการรวมวิธีการเตรียมการฝึกอบรมล่าสุดและการเรียนรู้การแสดงตัวแบบข้ามคือการขยายตัวของ BERT จากมุมมองของสถาปัตยกรรมมีประเภทสองประเภทส่วนใหญ่รวมถึงรูปแบบกระแสเดียวและรูปแบบกระแสคู่ โดยเฉพาะอย่างยิ่งรูปแบบกระแสเดียวเป็นเรื่องง่ายและค่อยๆกลายเป็นสถาปัตยกรรมหลัก รูปแบบเหล่านี้แตกต่างกันไปส่วนใหญ่ในการออกแบบของงานเตรียมการฝึกอบรมหรือการก่อสร้างคุณสมบัติ im-age input โดยพื้นฐานพวกเขาส่วนใหญ่เป็นการสร้างแบบจําลองภาษาที่ผ่านการฝึกอบรมการจําลองวัตถุที่ผ่านการแต่งหน้าและการจับภาพข้อความ VisualBERT [ ] and Unicoder-VL [ ] เพียงแค่ใช้ BERT และได้รับการฝึกอบรมก่อนด้วยงานที่กล่าวไว้ข้างต้น UNITER [ ] pretrains the model with an additional task of word-region alignment. Oscar [ ] เพิ่มความสอดคล้องระหว่างวัตถุและคําหรือวลีที่สอดคล้องกับพวกเขา VILLA [ ] further improves model performance by adding their proposed adversarial learning methods to pretraining and finetuning. Except for pretraining tasks, some studies focus on the features of images. Most pretraining methods for multimodal representation learning utilize the features generated by a trained object detector, say Faster R-CNN [ ]. PixelBERT [ ] ยอมรับภาพดิบเป็น input และสกัดตัวแทนที่ซ่อนอยู่ของพวกเขาด้วย ResNet ที่สามารถเรียนรู้ได้ [ ] or ResNext [ โฟมเบิร์ต [ ] แบ่งรูปภาพเป็นแพทช์ด้วย ResNet ที่ได้รับการฝึกอบรมโดยไม่มีการฝึกอบรมร่วม นอกเหนือจากโมเดลสตรีมเดียวโมเดลสตรีมคู่ยังสามารถบรรลุประสิทธิภาพที่โดดเด่นเช่น VilBERT [ ], LXMERT [ ] and InterBERT [ ]. ViLBERT-MT [ ] enhances model performance with multi-task finetuning. ERNIE-ViL [ ] enhances the model with the application of scene graph information. In spite of these successful cases, it still requires further researches to unmask the success of multimodal pretraining. 6 2 30 31 1 7 19 27 49 42 3 8 23 22 4 24 11 33 17 15 46 12 28 40 25 29 50 6 CONCLUSIONS ในงานนี้เราเสนอชุดข้อมูลขนาดใหญ่ที่สุด M6-Corpus สําหรับการฝึกอบรมล่วงหน้าในภาษาจีนซึ่งประกอบด้วยภาพมากกว่า 1.9TB และข้อความ 292GB ชุดข้อมูลมีครอบคลุมขนาดใหญ่ในโดเมนรวมถึงเอนไซโคลเวียการตอบคําถามการสนทนาฟอรั่มการสํารวจทั่วไป ฯลฯ เราเสนอวิธีการที่เรียกว่า M6 ซึ่งสามารถประมวลผลข้อมูลหลายรูปแบบและทําทั้งการทําความเข้าใจและสร้างแบบเดี่ยวและ cross-modal แบบจําลองมีขนาดใหญ่ด้วยพารามิเตอร์ 10B และ 100B พร้อมการใช้งานที่ซับซ้อนและทั้งสองรุ่นเป็นรุ่นที่ได้รับการฝึกอบรมล่วงหน้าแบบมัลติโมเดลที่ใหญ่ที่สุด เราใช้แบบจําลองในชุดของแอพพลิเคชันด้านล่างแสดงให้เห็นถึงความยืดหยุ่นของมัน โดยเฉพาะอย่างยิ่งเราออกแบบงานการสร้างภาพ In the future, we will continue the pretraining of extremely large models by increasing the scale of data and models to explore the limit of performance, and we also endeavor to search for more downstream applications for further generalization. REFERENCES [1] Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang, Xiaodong Liu, Yu Wang, Jianfeng Gao, Songhao Piao, Ming Zhou, et al. 2020. Unilmv2: Pseudo-masked language models for unified language model pre-training. In PMLR 642–652 International Conference on Machine Learning [2] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. 2020 รูปแบบภาษาเป็นผู้เรียนรู้อย่างน้อย (2020) arXiv แนะนํา arXiv:2005.14165 [3] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. 2020. End-to-end object detection with transformers. In . Springer, 213–229. การประชุมยุโรปเกี่ยวกับวิสัยทัศน์คอมพิวเตอร์ [4] Y en-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng, and Jingjing Liu. 2020. UNITER: UNiversal Image-TExt Representation Learning. In . 104–120. ECCV 2020 [5] Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang และ Guoping Hu. 2020 การตรวจสอบรุ่นที่ได้รับการฝึกอบรมไว้ล่วงหน้าสําหรับการประมวลผลภาษาธรรมชาติจีน (2020). arXiv preprint arXiv:2004.13922 [6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, และ Kristina Toutanova. 2019 BERT: การฝึกอบรมก่อนการแปลงแบบสองทิศทางลึกเพื่อความเข้าใจภาษา ใน . 4171–4186. NAACL-HLT 2019 [7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou และ Hsiao-Wuen Hon. 2019 การฝึกอบรมแบบจําลองภาษาแบบครบวงจรสําหรับการทําความเข้าใจและสร้างภาษาธรรมชาติ . 13042–13054 NeurIPS 2019 [8] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xi-aohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly et al. 2020 รูปภาพมีมูลค่า 16x16 คํา: ตัวแปลงสําหรับการรับรู้ภาพในขนาด (2020) arXiv preprint arXiv:2010.11929 [9] Patrick Esser, Robin Rombach, and Björn Ommer. 2020. Taming Transformers for High-Resolution Image Synthesis. arXiv [ตัวอักษร] © 2019 การตลาดดิจิตอล [10] William Fedus, Barret Zoph, และ Noam Shazeer. 2021 สวิทช์ Transformers: Scaling ไปยัง พารามิเตอร์รุ่นพารามิเตอร์พารามิเตอร์ด้วยประหยัดง่ายและมีประสิทธิภาพ abs/2101.03961 (2021). arXiv CoRR :2101.03961 https://arxiv.org/abs/2101.03961 [11] Zhe Gan, Yen-Chun Chen, Linjie Li, Chen Zhu, Yu Cheng, and Jingjing Liu. 2020. Large-Scale Adversarial Training for Vision-and-Language Representation Learning. In . NeurIPS 2020 [12] Dehong Gao, Linbo Jin, Ben Chen, Minghui Qiu, Peng Li, Yi Wei, Yi Hu, and Hao Wang. 2020. Fashionbert: Text and image matching with adaptive loss for cross-modal retrieval. In . 2251–2260. SIGIR 2020 [13] Haoyuan Gao, Junhua Mao, Jie Zhou, Zhiheng Huang, Lei Wang, และ Wei Xu. 2015 คุณกําลังพูดคุยกับเครื่อง? ชุดข้อมูลและวิธีการสําหรับคําถามภาพหลายภาษา (2015 ) arXiv preprint arXiv:1505.05612 [14] Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, และ Yoshua Bengio. 2014 เครือข่ายต่อต้านที่สร้างขึ้น (2014). arXiv แนะนํา arXiv:1406.2661 [15] Kaiming He, Xiangyu Zhang, Shaoqing Ren, และ Jian Sun. 2016 การเรียนรู้ที่เหลือลึกสําหรับการรับรู้ภาพ ใน . 770–778. CVPR 2016 [16] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. 2020. De-berta: Decoding-enhanced bert with disentangled attention. (2020) arXiv preprint arXiv:2006.03654 [17] Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu, และ Jianlong Fu. 2020 Pixel-bert: การจัดตําแหน่งพิกเซลภาพด้วยข้อความโดยใช้ตัวแปลงแบบหลายแบบลึก (2020) arXiv preprint arXiv:2004.00849 [18] Zihang Jiang, Weihao Yu, Daquan Zhou, Yunpeng Chen, Jiashi Feng, และ Shuicheng Yan. 2020 Convbert: การปรับปรุงการบิดกับความถี่แบบไดนามิกตามช่วง (2020) arXiv แนะนํา arXiv:2008.02496 [19] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, และ Radu Soricut. 2019 ALBERT: A Lite BERT สําหรับการเรียนรู้ตัวแทนภาษาด้วยตนเอง พฤศจิกายน 29, 2019 CoRR [20] Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer, and Zhifeng Chen. 2020. Gshard: Scaling giant models with conditional computation and automatic sharding. (2020) arXiv preprint arXiv:2006.16668 [21] Mike Lewis, Shruti Bhosale, Tim Dettmers, Naman Goyal, และ Luke Zettle-moyer. 2021. ฐานชั้น: การฝึกอบรมที่เรียบง่ายของรุ่นขนาดใหญ่ที่สั้น อัลบั้มย่อย / อัลบั้มย่อย CoRR [22] Gen Li, Nan Duan, Yuejian Fang, Daxin Jiang, and Ming Zhou. 2019. Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training. พฤศจิกายน 29, 2019 โคตร [23] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh และ Kai-Wei Chang. 2019 VisualBERT: A Simple and Performant Baseline for Vision and Language. abs/1908.03557 (2019). CoRR [24] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, และ Jianfeng Gao. 2020 ออสการ์: Object-Semantics การฝึกอบรมก่อนสําหรับงานวิสัยทัศน์ภาษา อัลบั้มย่อย โคตร [25] Junyang Lin, An Yang, Yichang Zhang, Jie Liu, Jingren Zhou, และ Hongxia Yang. 2020 Interbert: การโต้ตอบวิสัยทัศน์และภาษาสําหรับการฝึกอบรมล่วงหน้าหลายแบบ (2020). arXiv แนะนํา arXiv:2003.13198 [26] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. 2014. Microsoft COCO: Common Objects in Context. In 740 - 755 ECCV 2014 [27] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer และ Veselin Stoyanov 2019. RoBERTa: วิธีการฝึกอบรม BERT ที่เพิ่มประสิทธิภาพอย่างแข็งแกร่ง abs/1907.11692 (2019). CoRR [28] Jiasen Lu, Dhruv Batra, Devi Parikh และ Stefan Lee. 2019 ViLBERT: การฝึกอบรมการแสดงตัวอย่าง Visiolinguistic สําหรับงานวิสัยทัศน์และภาษา ใน 13 - 23 NeurIPS 2019 [29] Jiasen Lu, Vedanuj Goswami, Marcus Rohrbach, Devi Parikh และ Stefan Lee. 2019 12-in-1: วิสัยทัศน์หลายงานและการเรียนรู้การแสดงภาษา พฤศจิกายน 25, 2019 โคตร [30] Alec Radford, Karthik Narasimhan, Tim Salimans และ Ilya Sutskever 2018. การปรับปรุงความเข้าใจภาษาโดยการฝึกอบรมก่อนการสร้าง (2018 ) URL https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ languageunsupervised/language understanding paper. pdf https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ [31] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, และ Ilya Sutskever. [n.d.] รูปแบบภาษาเป็นผู้เรียนรู้หลายงานที่ไม่ได้รับการดูแล ([n.d.]) [32] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, and Ilya Sutskever. 2021. Zero-Shot Text-to-Image Generation. arXiv [cs.CV] :2102.12092 [33] Shaoqing Ren, Kaiming He, Ross B. Girshick และ Jian Sun. 2015 R-CNN ที่เร็วขึ้น: การตรวจจับวัตถุแบบเรียลไทม์ด้วยเครือข่ายข้อเสนอภูมิภาค 91 - 99 Neurips 2015 [34] Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016. Neural Machine Translation of Rare Words with Subword Units. In . ACL 2016 [35] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, และ Jeff Dean. 2017 เครือข่ายประสาทขนาดใหญ่อย่างรุนแรง: ชั้นผสมของผู้เชี่ยวชาญที่หายาก (2017 ) arXiv preprint arXiv:1701.06538 [36] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, และ Bryan Catanzaro. 2019 Megatron-LM: การฝึกอบรมรุ่นภาษาพารามิเตอร์หลายพันล้านโดยใช้ความคล้ายคลึงกันของรูปแบบ (2019). arXiv แนะนํา arXiv:1909.08053 [37] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu และ Tie-Yan Liu. 2019 MASS: การฝึกอบรมก่อนการทําซ้ําเพื่อการทําซ้ํา . 5926–5936. ICML 2019 [38] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei, และ Jifeng Dai. 2020 VL-BERT: การฝึกอบรมก่อนการแสดงผลภาพและภาษาทั่วไป . ICLR 2020 [39] Maosong Sun, Jingyang Li, Zhipeng Guo, Z Yu, Y Zheng, X Si, and Z Liu. 2016. Thuctc: an efficient chinese text classifier. (2016 ) GitHub Repository [40] Hao Tan และ Mohit Bansal. 2019 LXMERT: การเรียนรู้การแสดงตัวเข้ารหัส cross-modality จาก Transformers ใน 5099 - 5110 EMNLP-IJCNLP 2019 [41] Aäron van den Oord, Oriol Vinyals และ Koray Kavukcuoglu. 2017 การเรียนรู้การแสดงตัวอย่างแบบแยกต่างหากของประสาท ใน . นิกส์ [42] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser และ Illia Polosukhin. 2017 ความสนใจเป็นสิ่งที่คุณต้องการ. ใน 5998 – 6008 Neurips 2017 [43] Ang Wang, Xianyan Jia, Le Jiang, Jie Zhang, Yong Li, and Wei Lin. 2020. Whale: A Unified Distributed Training Framework. (2020). arXiv preprint arXiv:2011.09208 [44] Wei Wang, Bin Bi, Ming Yan, Chen Wu, Zuyi Bao, Jiangnan Xia, Liwei Peng, และ Luo Si. 2019 Structbert: รวมโครงสร้างภาษาเข้าสู่การฝึกอบรมล่วงหน้าเพื่อความเข้าใจภาษาที่ลึกซึ้ง (2019) arXiv แนะนํา arXiv:1908.04577 [45] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey ฯลฯ 2016 ระบบการแปลเครื่องประสาทของ Google: การขัดแย้งระหว่างการแปลมนุษย์และเครื่อง (2016 ) arXiv preprint arXiv:1609.08144 [46] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, and Kaiming He. 2017. Aggregated residual transformations for deep neural networks. In 1492–1500 CVPR 2017 [47] Liang Xu, Xuanwei Zhang, and Qianqian Dong. 2020. CLUECorpus2020: A Large-scale Chinese Corpus for Pre-trainingLanguage Model. (2020). arXiv แนะนํา arXiv:2003.01355 [48] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, และ Xiaodong He. 2018 Attngan: ข้อความเม็ดละเอียดเพื่อสร้างภาพด้วยเครือข่ายการสร้างการต่อต้านความสนใจ ใน . 1316–1324. กระบวนการของการประชุม IEEE เกี่ยวกับวิสัยทัศน์คอมพิวเตอร์และการรับรู้รูปแบบ [49] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov และ Quoc V. Le. 2019 XLNet: การฝึกอบรมล่วงหน้าด้วยตนเองเพื่อความเข้าใจภาษา . 5754-5764 Neurips 2019 [50] Fei Yu, Jiji Tang, Weichong Yin, Yu Sun, Hao Tian, Hua Wu, and Haifeng Wang. 2020. Ernie-vil: Knowledge enhanced vision-language representations through scene graph. (2020) arXiv preprint arXiv:2006.16934 [51] Luowei Zhou, Hamid Palangi, Lei Zhang, Houdong Hu, Jason J. Corso, and Jianfeng Gao. 2020. Unified Vision-Language Pre-Training for Image Captioning and VQA. In . 13041–13049 อัปเดต 2020 กระดาษนี้สามารถใช้ได้ใน Archiv ภายใต้ใบอนุญาต CC by 4.0 Deed (Attribution 4.0 International) This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv