M6: AI Cina yang memahami teks dan imej pada skala

Penulis : Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, China) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Group, China) An Yang, ya235025@alibaba-inc.com (Alibaba Group, China) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba Group, China) Ming Ding, dm18@mails.tsinghua.edu.cn (Tsinghua University, China) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, China) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, China) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Group, China) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, China) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, China) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, China) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, China) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Group, China) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, China) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Group, China) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, China) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Group, China) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, China) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Group, China) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Group, China) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Group, China) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, China) Jie Tang, jietang@tsinghua.edu.cn (Tsinghua University, China) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Group, China) Penulis : Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, China) Rui Men, menrui.mr@alibaba-inc.com (Kumpulan Alibaba, China) An Yang, ya235025@alibaba-inc.com (Kumpulan Alibaba, China) Chang Zhou, ericzhou.zc@alibaba-inc.com (Kumpulan Alibaba, China) Ming Ding, dm18@mails.tsinghua.edu.cn (Tsinghua University, China) Yichang Zhang, yichang.zyc@alibaba-inc.com (Kumpulan Alibaba, China) Peng Wang, zheluo.wp@alibaba-inc.com (Kumpulan Alibaba, China) Ang Wang, wangang.wa@alibaba-inc.com (Kumpulan Alibaba, China) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, China) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, China) Jie Zhang, wanglin.zj@alibaba-inc.com (Kumpulan Alibaba, China) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Kumpulan Alibaba, China) Xu Zou, zoux18@mails.tsinghua.edu.cn (Universiti Tsinghua, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Kumpulan Alibaba, China) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, China) Jie Liu, sanshuai.lj@alibaba-inc.com (Kumpulan Alibaba, China) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Kumpulan, China) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Kumpulan, China) Jianxin Ma, jason.mjx@alibaba-inc.com (Kumpulan Alibaba, China) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Kumpulan, China) Yong Li, jiufeng.ly@alibaba-inc.com (Kumpulan Alibaba, China) Wei Lin, weilin.lw@alibaba-inc.com (Kumpulan Alibaba, China) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Kumpulan, China) Jie Tang, jietang@tsinghua.edu.cn (Universiti Tsinghua, China) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Kumpulan, China) abstrak Dalam kerja ini, kami membina dataset terbesar untuk pra-latihan multimodal dalam bahasa Cina, yang terdiri daripada lebih 1.9TB imej dan 292GB teks yang meliputi pelbagai domain. Dengan merujuk kepada Akhir- Odaliti untuk Akhir- Odaliti Ultraman ega-transformer, untuk pra-latihan bersatu pada data modal tunggal dan pelbagai modal. kami meluaskan saiz model sehingga 10 bilion parameters, and build the largest pretrained model in Chinese. We apply the model to a series of downstream applications, and demonstrate its outstanding performance in comparison with strong baselines. Furthermore, we specifically design a downstream task of text-guided image generation, and show that the finetuned M6 can create high-quality images with high resolution and abundant details. M6 M M M M M M 100 billion Kata Kunci Multimodal Pretraining; Multitask; Generasi teks-ke-imej 1 Pengenalan Pretraining has become a focus in the research in natural language processing (NLP) [ daripada daripada daripada daripada daripada daripada daripada daripada daripada daripada ]. GPT-3 baru-baru ini dengan lebih daripada 175 bilion parameter menunjukkan bahawa model besar yang dilatih pada data besar mempunyai kapasiti yang sangat besar dan ia boleh melampaui state-of-the-art dalam tugas downstream terutamanya dalam tetapan nol-shot. daripada daripada daripada daripada , , daripada daripada daripada ] telah mencipta prestasi moden baru untuk pelbagai tugas-tugas bawah aliran cross-modal. 1 2 7 16 18 19 27 31 37 44 49 4 11 17 22 24 25 28 29 38 51 Malangnya, kajian terkini memberi tumpuan kepada pra-latihan pada data Bahasa Inggeris. Terdapat kekurangan kedua-dua set data skala besar dalam bahasa Cina dan model skala besar yang pra-latihan pada data Bahasa Inggeris. Oleh itu, dalam kerja ini, kami membangunkan set data skala besar M6-Corpus, yang terdiri daripada lebih daripada 1.9TB imej dan 292GB teks. Sejauh yang kita tahu, ini adalah set data terbesar dalam bahasa Cina untuk pra-latihan dalam kedua-dua multimodaliti dan bahasa semulajadi. Set data yang dikumpulkan daripada halaman web terdiri daripada jenis data yang berbeza dan meliputi pelbagai domain, termasuk encyclopedia, menjawab soalan, perbincangan forum, penerangan produk, dan lain-lain. Selain itu, untuk memanfaatkan jumlah data berkualiti tinggi yang cukup, kami mencadangkan untuk membina model yang sangat besar yang boleh memproses data pelbagai modalitas dan menyesuaikan diri dengan pelbagai jenis tugas di bawah. Oleh itu, kami mencadangkan model baru yang dipanggil M6, merujuk kepada MultiModality-to-MultiModality Multitask Mega-transformer. Model ini didasarkan pada transformator, dan ia dilatih dengan pelbagai tugas. Pretraining membekalkan model dengan keupayaan pemahaman dan pengeluaran single-modality dan multimodality. Berdasarkan kepada seni bina M6, kami membina dan , yang diperluaskan kepada 10 bilion dan 100 bilion pa-rameter masing-masing. Kami menerapkan model ini kepada serangkaian aplikasi latar belakang, termasuk pengeluaran deskripsi produk, jawapan soalan visual, jawapan soalan komuniti, pengeluaran puisi Cina, dan lain-lain, dan hasil eksperimen kami menunjukkan bahawa M6 melebihi serangkaian asas yang kuat. M6 - 10b M6 - 100B M6-100B Another contribution of this work is that we first incorporate pretraining with text-to-image generation. Following Ramesh et al. , kami memanfaatkan rangka kerja dua peringkat untuk pengeluaran imej. Untuk menjadi lebih spesifik, kami menggunakan rangkaian generatif lawan yang dilatih oleh vektor yang kuantizasi untuk mewakili imej dengan kod imej yang berbeza, dan kemudian kami menggunakan M6 yang telah dilatih untuk mempelajari hubungan antara teks dan kod. pembelajaran sedemikian boleh menghubungkan kedua-dua modalitas dan membolehkan pengeluaran teks-ke-imej yang boleh dikawal. [32] Untuk meringkaskan, sumbangan M6 adalah sebagai berikut: Kami mengumpul dan membina data pra-latihan multi-modal terbesar di China dalam industri, yang termasuk teks 300GB dan imej 2TB. Kami mencadangkan M6 untuk pra-latihan multimodal dalam bahasa Cina, dan kami meluaskan saiz model sehingga 10 dan 100 bilion parameter. Kedua-dua M6-10B dan M6-100B adalah model pra-latihan multimodal terbesar baru-baru ini. M6 adalah serbaguna dan melebihi garis asas yang kuat dengan 11.8% dalam VQA, 18.4 dalam imej captioning, dan 10.3% dalam imej-teks matching. Dengan optimisasi latihan didistribusikan skala besar yang direka dengan teliti, M6 mempunyai kelebihan yang jelas dalam kelajuan latihan dan sangat mengurangkan kos latihan, mewujudkan kemungkinan penggunaan yang lebih luas untuk pra-latihan multi-modal. 2 Data Kami mengumpul dan membangunkan dataset multi-modaliti dan teks yang terbesar dalam bahasa Cina untuk masa ini, yang merupakan salah satu sumbangan utama dalam makalah ini. dalam seksyen ini, kami terlebih dahulu mengenal pasti batasan set data yang sedia ada dan kemudian menerangkan prosedur pembinaan dan praproses data yang kami cadangkan. 2.1 Database yang wujud Pembinaan corpus skala besar dengan kualiti yang tinggi dan cakupan utama adalah penting untuk pra-latihan Cina. Dalam kerja-kerja awal sebelum ini, Wikipedia Cina1 adalah salah satu set data yang paling kerap digunakan untuk melatih model bahasa Cina. Ia mengandungi 1.6GB teks (sekitar 0.4B token) yang meliputi kira-kira 1M entri ensiklopedia. Corpus lain dengan saiz yang sebanding ialah THUCTC. ] dataset, which includes 740K news articles. However, with the rapidly increasing capacity of recent language models, the scale of these existing datasets is clearly insufficient. Recently, Cui et al. Menggunakan data yang diperluaskan yang tidak diterbitkan yang 10 kali lebih besar daripada CN-Wikipedia untuk melatih model bahasa Cina mereka. 39 [ 5 ] dilancarkan corpus 100GB yang dinamakan CLUECorpus2020, yang telah dipulihkan daripada kumpulan data Common Crawl pelbagai bahasa. Walau bagaimanapun, skala set data masih tidak mencukupi untuk memudahkan pra-latihan skala super besar berbanding dengan model pra-latihan bahasa Inggeris yang sedia ada. Sebagai contoh, GPT-3 mengandungi parameter 175B dan dilatih pada teks 570GB. Sementara itu, set data harus mengandungi pasangan imej-teks bukannya teks biasa untuk pra-latihan multi-modal. [Bahasa Melayu] 2.2 Standard untuk Dataset Berkualiti Tinggi Untuk melakukan pra-latihan multi-modal skala besar dan mempelajari pengetahuan dunia yang kompleks dalam bahasa Cina, set data sangat diperlukan untuk menyediakan kedua-dua teks biasa dan pasang teks imej pada skala super besar, meliputi pelbagai domain. Untuk melaksanakan pra-latihan multi-modal skala besar dalam bahasa Cina, kami memberi tumpuan kepada pembinaan set data skala besar dalam bahasa Cina. Secara khusus, manakala kami menyatukan pra-latihan kami untuk kedua-dua bahasa semula jadi dan multimodaliti, kami membina set data besar kedua-dua teks biasa dan pasang teks imej. Kami berminat untuk mendapatkan data skala besar yang meliputi pelbagai domain, supaya ia mungkin untuk model untuk mempelajari pengetahuan dunia yang kompleks dalam bidang yang berbeza. Juga, kami bertujuan untuk mengumpul data pelbagai modaliti untuk pra-latihan cross-modal. Ini meningkatkan kesukaran untuk pembinaan Walaupun terdapat sejumlah besar sumber teks dan imej di web, corpus untuk pra-latihan multimodal dianggap lebih baik apabila memenuhi sifat-sifat berikut: (1) ayat-ayat hendaklah berbahasa semulajadi yang lancar dalam panjang normal, dan tidak boleh mengandungi token yang tidak bermakna, seperti markup, tanda-tanda titik, gabungan watak acak, dan lain-lain; (2) imej hendaklah semulajadi dan realistis, dan resolusi imej hendaklah dapat dikenali oleh manusia; (3) kedua-dua teks dan imej tidak boleh mengandungi kandungan haram, seperti pornografi, keganasan, dan lain-lain; (4) imej dan teks hendaklah relevan secara semantik; (5) set data hendaklah meliputi pelbagai bidang, seperti sukan, politik, sains, dan lain-lain, dan oleh itu ia boleh membekalkan model dengan pengetahuan dunia yang mencukupi. 2.3 Pembinaan Dataset Berdasarkan keperluan di atas, kami mengumpul data daripada kedua-dua teks biasa dan pasangan imej-teks. Terdapat pelbagai jenis data, termasuk encyclopedia, halaman web crawled, jawapan soalan komuniti, forum, deskripsi produk, dan lain-lain. The collected corpus consists of bothag plain-texts and image-text pairs, which is compatible with the designed text-only and multi-modal pretraining tasks. Also, the data has a large coverage over domains, such as science, entertainment, sports, politics, common-sense of life, etc. We have also compared some characteristics of our corpus with existing datasets used for Chinese pretraining in Table Saiz dataset kami jauh lebih besar daripada yang terdahulu.Seperti yang kita tahu, ini adalah corpus besar, multimodal dan multidomain pertama untuk pra-latihan Cina. 3. 2. Kami melaksanakan praprosesan canggih untuk mendapatkan data yang bersih. Untuk data teks, kami terlebih dahulu mengalih keluar markup HTML dan tanda titik duplikat, dan kami hanya menyimpan watak-watak dan tanda titik yang dalam bahasa Cina dan Bahasa Inggeris. Kami mengalih keluar topik yang kurang daripada 5 watak dan kandungan kurang daripada 15 watak. Kami menerapkan pengesanan spam dalaman untuk menghapuskan ayat yang mengandungi kata-kata yang berkaitan dengan isu politik tertentu, pornografi, atau kata-kata dalam senarai kata-kata kotor, jahat, dan kata-kata buruk yang lain. Untuk mengekalkan penerimaan bahasa teks, kami melaksanakan model bahasa untuk menilai kebingungan mereka, dan ayat-ayat dengan kebingungan tinggi dibuang. Hanya imej dengan sekurang-kurangnya 5000 piksel disediakan untuk pra-latihan. Satu siri klasifikator dan peraturan heuristik digunakan untuk menapis 3 M6 Kerangka Kerja Multimodal pra-latihan memanfaatkan kedua-dua kuasa arsitektur transformator berasaskan perhatian diri dan pra-latihan pada data skala besar. kami berusaha untuk membekalkan model dengan keupayaan yang kuat untuk pemahaman dan pengeluaran cross-modal. Dalam seksyen ini, kami menerangkan butiran model pra-latihan yang kami cadangkan yang merujuk kepada Akhir- Perlembagaan - Akhir- Odaliti Ultraman Bukan Transformator M6 M M M M M M 3.1 Input visual dan linguistik Kaedah pra-latihan multimodal mainstream mengubah imej ke urutan ciri-ciri melalui pengesanan objek. Walau bagaimanapun, prestasi pengesan objek serta ekspresiviti tulang belakang mereka sangat mempengaruhi prestasi akhir model pra-latihan dalam tugas-tugas bawah. Kami mengamati bahawa sebahagian besar imej mengandungi hanya beberapa objek. Ambil imej data e-dagang sebagai contoh. Kami secara rawak sampel 1M imej dan melakukan pengesanan objek pada imej. Hasil menunjukkan bahawa lebih daripada 90% imej mengandungi kurang daripada 5 objek. Juga, objek mempunyai tumpuan yang tinggi dengan satu sama lain. Untuk meringankan pengaruh sedemikian, kami beralih kepada penyelesaian yang mudah tetapi berkesan selepas Gao et al. [\[12\(#_bookmark28)] dan Dosovitskiy et al. [8\(#book_mark24)]. daripada daripada Kami menggunakan WordPiece [ daripada Kemudian masukkan ayat-ayat al-Quran dan masukkan ayat-ayat al-Quran di dalam al-Quran. 4 11 24 34 45 [6] yang 4.2 Pengkodean dan dekoding Kami mengintegrasikan embeddings gambar ei dan kata embeddings et ke dalam urutan embeddings cross-modal e = {ei, et }. Kami menghantar urutan ke tulang belakang transformator untuk ekstraksi ciri peringkat tinggi. Untuk membezakan representasi mereka, kami menambah embeddings segmen yang sesuai untuk modalitas yang berbeza. blok transformator berasaskan perhatian diri untuk pembelajaran representasi cross-modal bersatu kami. Untuk lebih spesifik, blok bangunan adalah identik dengan BERT atau GPT, yang terdiri daripada perhatian diri dan rangkaian feed-forward point (FFN). Di atas tulang belakang transformator, kami menambah lapisan output untuk ramalan perkataan, dan dengan itu kami mengikat beratnya kepada lapisan embedding. Dalam rangka kerja bersatu, kami menggunakan strategi masking yang berbeza untuk membolehkan pengkodean dan decoding. input dibahagikan kepada tiga bahagian, termasuk input visual, input linguistik yang disamarkan, dan input linguistik lengkap. kami menerapkan masking bidirektional kepada kedua-dua input visual dan input linguistik yang disamarkan, dan kami menerapkan masking sebab kepada input linguistik yang lengkap. 3.3 Kaedah latihan Kami melatih model dengan setup multitask, termasuk pemindahan teks-ke-tekst, pemindahan imej-ke-tekst, dan pemindahan multimodality-ke-tekst. Seperti yang ditunjukkan dalam Figure model belajar untuk melakukan denoising teks dan pemodelan bahasa dalam tetapan pemindahan teks kepada teks. dalam denoising teks, kita menyamarkan teks input dengan peratusan, yang ialah 15% dalam amalan berikut BERT [ ]. Secara khusus, kami menyamarkan jangkauan teks yang berterusan dengan satu topeng, dan model harus belajar untuk mendekodkan keseluruhan urutan. Ini menggalakkan model untuk mempelajari kedua-dua pemulihan dan prediksi panjang. Selain itu, untuk meningkatkan keupayaan model dalam generasi, kami menambah setup pemodelan bahasa, di mana koder menerima tiada input dan decoder belajar untuk menghasilkan kata-kata berdasarkan konteks terdahulu. Text-to-text Transfer 3 , 6 Image-to-text transfer is similar to image captioning, where the model receives the visual information as the input, and learns to generate a corresponding description. In this setting, we add the aforementioned patch feature sequence to the input and leave the masked input blank. The model encodes the patch features, and decodes the corresponding text. Image-to-text transfer Berdasarkan setup pemindahan imej-teks, kami juga menambah input linguistik yang disamarkan, dan dengan itu model harus belajar untuk menghasilkan teks sasaran berdasarkan kedua-dua maklumat visual dan maklumat linguistik berisik. Multimodality-to-text transfer 3.4 Meningkatkan sehingga 10 dan 100 bilion parameter Kami meningkatkan saiz model kepada 10 bilion parameter dan 100 bilion parameter, yang dinamakan M6-10B dan M6-100B. Peningkatan saiz model memberikan kapasiti yang lebih besar kepada model sehingga ia boleh mempelajari pengetahuan daripada lebih banyak data. To be more specific, we increase the size of hidden states and the number of layers. To better leverage GPU memory, we apply mixed-precision training and activation checkpointing to save memory. Still, the model cannot be fit into one single GPU, and thus we use model parallelism to split the feed-forward networks and attention heads to multiple GPUs following the implementation of Megatron-LM [36] yang Walau bagaimanapun, secara langsung meluaskan sehingga M6-100B jauh lebih sukar kerana terdapat lebih banyak cabaran untuk sumber-sumber pengiraan. daripada daripada ], kami menggabungkan Mixture-of-Experts (MoE) dengan M6 untuk membina versi 100 bilion parameter. Perhatikan bahawa MoE asal memerlukan mesh-tensorflow serta TPU. Ini menetapkan had untuk beberapa penyelidik tanpa sumber tersebut. Oleh itu, kami melaksanakan M6-100B dengan MoE dengan rangka kerja dalam kami Whale [ untuk melakukan parallelism model dengan GPU. kami menunjukkan statistik utama model skala yang berbeza dalam Jadual 10 20 35 43 4. Specifically, different from the conventional FFN layer, the MoE layer is a parallel combination of multiple FFN layers, each of which acts as an expert. This is also called expert parallelism. The model first learns a sparse gating network to route the tokens to specific experts. Thus each token is only sent to a small set of experts and the computation can be much less compared with that in dense models. This kind of model is highly efficient as it realizes data parallelism and expert parallelism across workers. The computation of MoE layer for a specific token 𝑥 can be described as below: di mana g(·) merujuk kepada fungsi gating yang jarang, dan T merujuk kepada indeks nilai top-k g(·). output MoE adalah gabungan linier daripada pengiraan FFN pakar yang dipilih f (·). Dalam paralelisme pakar, parameter pakar tidak berkongsi di antara pekerja, manakala yang bahagian-bahagian lain adalah identik di antara pekerja. Oleh itu, ia adalah perlu untuk melakukan komunikasi semua kepada semua pekerja di lapisan MoE untuk menghantar token kepada pakar-pakar yang dipilih dan menggabungkan mereka kepada pakar asal mereka. manakala Lepikhin et al. daripada Fedus et al. Mengimplementasikan MoE pada TPU dengan satu pakar dalam setiap lapisan MoE pada TPU, kami mengimplementasikan model kami pada GPU Nvidia di mana terdapat beberapa pakar dalam setiap lapisan MoE pada GPU supaya memanfaatkan sepenuhnya memori. Kerana komunikasi semua-ke-semua mengambil masa yang besar, optimisasi untuk meningkatkan kecekapan sangat penting. Kami melaksanakan siri optimisasi, termasuk komunikasi separuh ketepatan. Satu masalah utama ialah keseimbangan beban, yang menunjukkan bahawa token hanya boleh dikumpulkan kepada beberapa pakar kerana routing dinamik. Mengikuti Fedus et al. , kami menggunakan kapasiti pakar, yang merujuk kepada bilangan token untuk seorang pakar (C = N - c / m, di mana C merujuk kepada kapasiti pakar, N merujuk kepada bilangan token dalam batch, c merujuk kepada faktor kapasiti (yang merupakan hiperparameter biasanya lebih besar daripada 1.0) dan m merujuk kepada bilangan pakar), untuk melegakan masalah ini. token yang keluar daripada kapasiti seorang pakar diturunkan daripada pengiraan dan mereka dihantar ke lapisan seterusnya melalui sambungan sisa. [ 20 ] [10] daripada [10] daripada Selain daripada pengoptimuman dalam komunikasi semua kepada semua, kami membandingkan gating 2 teratas dan gating 1 teratas dan mendapati bahawa mereka boleh mencapai prestasi model yang sama dalam kebingungan, manakala yang terakhir menyatukan sedikit lebih lambat. Kesan gating 1 teratas membolehkan pengiraan yang lebih cepat. Di samping itu, kami juga menggunakan kaedah pengoptimuman memori untuk kecekapan yang lebih tinggi. Kami mendapati bahawa gradient klipping secara global boleh meningkatkan kos pada komunikasi semua kepada semua kerana ia mengira norma di seluruh pakar, dan dengan itu kami menggunakan klipping tempatan untuk menjimatkan memori. Kami melaksanakan M6-100B dengan kira-kira 100 bilion parameter pada 128 Nvidia A100s dan kelajuan pra-latihan mencapai 1440 sampel/s ( sampel panjang siri 272). Kami menunjukkan bahawa menggunakan struktur MoE untuk saiz model adalah berkesan dan ia boleh mencapai prestasi yang serupa dengan M6-10B, model padat terbesar, dalam masa 2-3 kali lebih pendek. perplexiti log negatif M6-100B mencapai −2.297, berbanding dengan M6-10B yang mencapai −2.253 tetapi dengan dua kali masa.2 Ini menunjukkan bahawa model M6 berasaskan MoE mempunyai kelebihan berdasarkan masa berbanding dengan model padat dengan lebih banyak FLOP. 4 Aplikasi 4.1 Generasi teks kepada imej Pengeluaran teks-ke-imej telah menjadi masalah terbuka untuk masa yang lama. kajian terdahulu terutama memberi tumpuan kepada pengeluaran pada domain terhad, di antara yang Generative Adversarial Nets (GANs) [ daripada Oleh yang demikian, terdapat beberapa kaedah yang digunakan oleh Ramesh et al. , kami memanfaatkan rangka kerja dua peringkat untuk pengeluaran teks-ke-imej, termasuk pembelajaran representasi yang terpisah dan pemodelan bahasa. 14 48 [32] yang Pada peringkat pertama, kami memberi tumpuan kepada menukar imej kepada urutan kod diskret. Terdapat beberapa alternatif untuk pengeluaran kod diskret, termasuk VQVAE [ Oleh yang demikian, beliau mengemukakan bahawa ]. Pada peringkat kedua, ia adalah perlu untuk membina model bahasa untuk belajar untuk mencipta teks dan urutan kod. Dalam finetuning, kami menambah lapisan embedding dan output kod kepada M6 yang telah dilatih. Kami mengikat urutan kata dan urutan kod yang dihasilkan yang dinyatakan di atas sebagai input, dan kami menetapkan matlamat pemodelan bahasa autoregressive untuk latihan. Pada peringkat kesimpulan, kami memasukkan urutan teks, dan model ini menghasilkan kod autoregressively dengan sampel top-k. Langkah terakhir adalah untuk menukar urutan kod kepada imej dengan generator dari peringkat pertama. 41 9 Kami membina satu set data untuk pengeluaran teks-ke-imej dalam E-dagang. Secara khusus, kami mengumpul lebih daripada 50 juta tajuk produk dan imej dari Taobao mudah alih. Kami menggunakan satu siri kaedah pemprosesan pada imej untuk menapis yang tidak layak. Kami menapis imej dengan ciri latar belakang yang kompleks (karakter, corak, dan lain-lain) dengan pengesan imej latar belakang putih dalaman dan model OCR. Kami kemudian menapis imej dengan lebih daripada 3 objek dengan pengesan objek dalaman kami berdasarkan Faster R-CNN [ ]. We finally obtain 1.8m high-quality product image-text pairs for finetuning. Compared with the images in the general domains, our collected data have the following features. The image and text are highly correlated as the text describes key features of the product, and there is no complex background in the images, which is easier to learn compared with the images in the public datasets such as MSCOCO 33 [26] ialah We demonstrate two examples in Figure dan Figure Ia boleh didapati bahawa imej yang dihasilkan mempunyai kualiti yang tinggi dan objek yang dihasilkan menyerupai yang sebenar. , kita mendapati bahawa model ini mampu membayangkan item mengikut pertanyaan Keupayaan imaginasi menyediakan ruang untuk reka bentuk kreatif dalam senario industri dunia sebenar, seperti reka bentuk pakaian, reka bentuk kasut, dan lain-lain. 4 5. 6 gaya tentera camouflage tali pinggang tinggi(军旅风迷彩高跟鞋) We also finetune M6 under our proposed framework on another dataset which contains 3 million images crawled from the Internet, which cover more general domains. And we find that the model can adapt to different domains. As shown in Figure Model ini mampu menghasilkan seni klip robot.Ini mendedahkan keanekaragaman rangka kerja dalam pengeluaran teks-ke-imej. 7 , 4.2 Jawapan kepada soalan Kami mendemonstrasikan hasil percubaan kami pada set data jawapan soalan visual, dan kami menggambarkan bagaimana kami menerapkan M6 yang telah dilatih secara langsung kepada aplikasi VQA. We leverage the FMIQA dataset [ ] as the Chinese visual QA benchmark, which requires the model to generate the answer given an image and a question. We implement a transformer-based model as our baseline. For the evaluation, we split the test set manually by random sampling 200 from the dataset as there is no official release of the test set, and we evaluate the overall accuracy by human evaluation. The results are demonstrated in Table The pretrained M6-base outperforms the baseline by a large margin (+6.2%), which indicates the effectiveness of multimodal pretraining. Scaling up the model to M6-10B further brings 5.2% improvement. 13 5. Furthermore, we show that simply finetuning on such a small VQA dataset may limit the potential of M6. Therefore, we directly leverage M6 for the VQA application. We find that the model is able to recognize general features and provide more related knowledge based on its understanding. Though the model pretrained on pseudo-parallel image-text pairs cannot directly answer questions about detailed features, such as color, number, etc., it is able to answer questions related to background knowledge. We demonstrate some examples in Figure 8. 4.3 Image Captioning Image captioning memerlukan model untuk menghasilkan tajuk yang menggambarkan imej yang diberikan, yang mengkaji keupayaan model pengeluaran cross-modal. Kami membina set data (disebut E-Commerce IC) yang mengandungi sepasang deskripsi produk dan imej produk dari Taobao. Oleh kerana deskripsi yang terlalu panjang atau terlalu pendek mungkin berisik, kami membuang sepasang dengan deskripsi yang lebih panjang daripada 100 perkataan atau kurang daripada 10 perkataan. Untuk mengelakkan generasi kotor, kami menggunakan alat dalaman untuk menapis deskripsi yang mungkin mengandungi kata-kata kotor (iaitu perkataan lucah atau keganasan). Akhirnya, E-Commerce IC mengandungi kira-kira 260k pasangan teks-imej. We compare our model with a baseline of transformer in the human evaluation. We ask several annotators with the linguistic background to evaluate from three perspectives: grammar (whether a text is fluent without grammatical error), correctness (whether a text is faithful to the image), richness (whether a text is informative and attractive). During the evaluation, we randomly sample 100 images from the test set. For each image, an annotator is asked to score the text generated by different models. The scores are within the range of [0, 5]. The results in Table show that M6-base outperforms the baseline in all of the metrics. We find that all models achieve high scores in grammar. However, in both correctness and richness, M6-base outperforms the baseline model by a large margin (+18.2% and +14.4%), indicating that multimodal pretraining helps to generate more faithful, informative and attractive texts. Scaling up the model to M6-10B further improves the correctness and richness (about 14.7% and 7.0%). Figure 9 illustrates two examples of image caption. 6 4.4 Jawapan kepada soalan Untuk menunjukkan potensi ketersediaan dalam aplikasi chatbot pintar, kami menggunakan model M6 untuk menghasilkan jawapan panjang dalam gaya perbincangan forum. soalan-soalan yang dihasilkan manusia dikumpulkan dari pelbagai forum Cina, yang merupakan input kepada model untuk menghasilkan jawapan. in the prompt, which better triggers the model to generate an answer. To facilitate the generation of longer and more informative texts, we pick more complex questions. “Answer:” Figure demonstrates an example of general question answer-ing. The model can illustrate a man’s own experiences that are related to the question and also point out the answer at the end. This generated text confused human annotators and passed the Turing Test. It shows that the model can not only answer general questions but also generate long fluency text. 10 4.5 Poem Generation We apply the pretrained model to Chinese poem generation. The model is able to generate genres with format constraints. puisi Cina purba mempunyai pelbagai format tertentu. The poem shall be consisted of at least 4 lines. Bilangan keseluruhan baris hendaklah sama. Setiap baris mesti mempunyai tepat 5 atau 7 perkataan. All lines shall have the same number of words. Generasi teks di bawah sekatan format dilakukan dalam bingkai carian yang kita menghasilkan ayat-ayat pendek yang berakhir dengan titik sehingga bilangan kata memenuhi sekatan. " token, or the number of lines exceeds a limit of 16. Figure illustrates an example of a generated poem. 11 4.6 Image-Text Matching Kami menilai keupayaan model dalam pemulihan cross-modal. Secara khusus, kami membina satu set data (nama E-Commerce ITM) yang mengandungi sepasang teks dan imej dari Taobao mudah alih. Setiap sepasang milik kepada satu item. kami mengumpul 235K produk dalam industri pakaian dari Taobao. Untuk setiap produk, selain imej produk, kami mendapat pertanyaan dengan menulis semula tajuk produk. Secara khusus, kami menjalankan pengiktirafan entiti yang dinamakan pada tajuk menggunakan alat dalaman, yang mengekstrak istilah yang menggambarkan gaya, warna, kategori dan tekstur produk. These terms are then concatenated into a natural language query, which is used in image-text matching. The length of each query is between 6 to 12 words. The pairs of the query and corresponding product image are labeled as positive samples. The negative samples are constructed by randomly substituting the query in the original pairs. We require the model to perform binary classification to discriminate positive and negative samples. We compare our model with InterBert [ ], which is also a Chinese multi-modal pretrained model effective in cross-modal classification downstream tasks. The InterBert utilizes object-based features and has been pretrained on Taobao product image-text data as well. 25 The results are shown in Table It should be noted that the InterBert and M6-base are both implemented with transformer-based architecture and have similar model scales. However, M6-base still outperforms InterBert by 10.3%. In experiments, we find the product images generally contain relatively fewer detected objects, which may harm the performance on this task. In contrast, M6 avoids this problem by employing the patch features and achieves much better performance. 7. 5 Pekerjaan berkaitan Kejayaan yang luar biasa daripada pra-latihan NLP, termasuk BERT [ ], GPT [ daripada , [ ], dan juga beberapa kajian lain yang berkaitan [ , , , daripada ], inspires the research in cross-modal representation learning. Also, recent studies show that the ubiquitous Transformer architecture [ ] boleh diperluaskan kepada pelbagai bidang, termasuk penglihatan komputer [ , ]. Therefore, the simplest solution to incorporate recent pretraining methods and cross-modal representation learning is the extension of BERT. From the perspective of architecture, there are mainly two types, including single-stream model and dual stream model. Specifically, single-stream model is simple and it gradually becomes the mainstream architecture. These models mostly differ in their designs of pretraining tasks or the construction of input im-age features. Basically, they are mainly pretrained masked language modeling, masked object classification, and image-text matching. VisualBERT [ ] and Unicoder-VL [ ] simply use BERT and are pretrained with the aforementioned tasks. UNITER [ ] pra-latih model dengan tugas tambahan penyelarasan perkataan rantau. Oscar [ ] enhances the alignment between objects and their corresponding words or phrases. VILLA [ ] further improves model performance by adding their proposed adversarial learning methods to pretraining and finetuning. Except for pretraining tasks, some studies focus on the features of images. Most pretraining methods for multimodal representation learning utilize the features generated by a trained object detector, say Faster R-CNN [ Perbezaan (Pixel) ] accepts raw images as input and extract their latent representations with a learnable ResNet [ [ ] atau seterusnya [ Melayu kepada Melayu [] ] membahagikan imej-imej ke dalam patch dengan ResNet yang dilatih tanpa latihan bersama. Selain daripada model satu aliran, model dua aliran juga boleh mencapai prestasi yang cemerlang, seperti VilBERT [ ], LXMERT [ Antara yang dimaksud ialah [ ]. ViLBERT-MT [ ] enhances model performance with multi-task finetuning. ERNIE-ViL [ ] enhances the model with the application of scene graph information. In spite of these successful cases, it still requires further researches to unmask the success of multimodal pretraining. 6 2 30 31 1 7 19 27 49 42 3 8 23 22 4 24 11 33 17 15 46 12 28 40 25 29 50 6 Kesimpulan In this work, we propose the largest dataset M6-Corpus for pre-training in Chinese, which consists of over 1.9TB images and 292GB texts. The dataset has large coverage over domains, including encyclopedia, question answering, forum discussion, common crawl, etc. We propose a method called M6 that is able to process information of multiple modalities and perform both single-modal and cross-modal understanding and generation. The model is scaled to large model with 10B and 100B parameters with sophisticated deployment, and both models are the largest multimodal pretrained models. We apply the model to a series of downstream applications, showing its versatility. More specifically, we design a downstream task of text-guided image generation, and the finetuned M6 can reach superior performance by producing images of high quality. In the future, we will continue the pretraining of extremely large models by increasing the scale of data and models to explore the limit of performance, and we also endeavor to search for more downstream applications for further generalization. REFERENCES [1] Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang, Xiaodong Liu, Yu Wang, Jianfeng Gao, Songhao Piao, Ming Zhou, et al. 2020. Unilmv2: Pseudo-masked language models for unified language model pre-training. In . PMLR, 642–652. Konferensi Antarabangsa tentang Pembelajaran Mesin [2] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, dan lain-lain. (2020). arXiv preprint arXiv:2005.14165 [3] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. 2020. End-to-end object detection with transformers. In . Springer, 213–229. Konferensi Eropah mengenai Penglihatan Komputer [4] Y en-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng, dan Jingjing Liu. . 104–120. Eropah 2020 [5] Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang, and Guoping Hu. 2020. Revisiting pre-trained models for chinese natural language processing. (2020). arXiv Preprint arXiv:2004.13922 [6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, dan Kristina Toutanova. 2019. BERT: Latihan pra-pelatihan transformator bidirektif yang mendalam untuk pemahaman bahasa. daripada 4171 hingga 4186 NAACL-HLT 2019 [7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. 2019. Unified Language Model Pre-training for Natural Language Understanding and Generation. In . 13042–13054. NeurIPS 2019 [8] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xi-aohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. 2020. An image is worth 16x16 words: Transformers for image recognition at scale. (2020). arXiv preprint arXiv:2010.11929 [9] Patrick Esser, Robin Rombach, dan Björn Ommer. 2020. Transformers Taming untuk Sintesis Imej Resolusi Tinggi. arXiv [Perkh CV] :2012.09841 daripada [10] William Fedus, Barret Zoph, dan Noam Shazeer. 2021. Switch Transformers: Scaling kepada Triliun model parameter dengan sempadan dan efisien. abs/2101.03961 (2021). arXiv CoRR :2101.03961 https://arxiv.org/abs/2101.03961 [11] Zhe Gan, Yen-Chun Chen, Linjie Li, Chen Zhu, Yu Cheng, and Jingjing Liu. 2020. Large-Scale Adversarial Training for Vision-and-Language Representation Learning. In . NeurIPS 2020 [12] Dehong Gao, Linbo Jin, Ben Chen, Minghui Qiu, Peng Li, Yi Wei, Yi Hu, and Hao Wang. 2020. Fashionbert: Text and image matching with adaptive loss for cross-modal retrieval. In 2251 sehingga 2260 Sijil 2020 [13] Haoyuan Gao, Junhua Mao, Jie Zhou, Zhiheng Huang, Lei Wang, dan Wei Xu. (2015). arXiv preprint arXiv:1505.05612 [14] Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, dan Yoshua Bengio. (2014). arXiv Preprint arXiv:1406.2661 [15] Kaiming He, Xiangyu Zhang, Shaoqing Ren, dan Jian Sun. 2016. Pembelajaran residual yang mendalam untuk pengiktirafan imej. dalam daripada 770 hingga 778 CVPR 2016 [16] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. 2020. De-berta: Decoding-enhanced bert with disentangled attention. (Jumlah 20) arXiv preprint arXiv:2006.03654 [17] Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu, dan Jianlong Fu. 2020 Pixel-bert: Penyelarasan piksel imej dengan teks oleh transformator multi-modal yang mendalam. (2020). arXiv Preprint arXiv:2004.00849 [18] Zihang Jiang, Weihao Yu, Daquan Zhou, Yunpeng Chen, Jiashi Feng, and Shuicheng Yan. 2020. Convbert: Improving bert with span-based dynamic convolution. (Jumlah 20) arXiv preprint arXiv:2008.02496 [19] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, dan Radu Soricut. 2019. ALBERT: A Little BERT untuk Pembelajaran Self-Supervised Representations Bahasa. abs/1909.11942 (2019) CoRR [20] Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer, dan Zhifeng Chen. (Jumlah 20) arXiv pencetakan awal arXiv:2006.16668 [21] Mike Lewis, Shruti Bhosale, Tim Dettmers, Naman Goyal, dan Luke Zettle-moyer. 2021. lapisan pangkalan: Menyederhanakan Latihan Model Besar, Ringan. abs/2103.16716 (2021) CoRR [22] Gen Li, Nan Duan, Yuejian Fang, Daxin Jiang, dan Ming Zhou. 2019. Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training. abs/1908.06066 (2019). CoRR [23] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, dan Kai-Wei Chang. abs/1908.03557 (2019). CoRR [24] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, dan Jianfeng Gao. abs/2004.06165 (2020) CoRR [25] Junyang Lin, An Yang, Yichang Zhang, Jie Liu, Jingren Zhou, dan Hongxia Yang. (2020). arXiv preprint arXiv:2003.13198 [26] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, dan C. Lawrence Zitnick. . 740–755. ECCV 2014 [27] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, dan Veselin Stoyanov. 2019. abs/1907.11692 (2019). Melayu [28] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. 2019. ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. In . 13–23. Neuropati 2019 [29] Jiasen Lu, Vedanuj Goswami, Marcus Rohrbach, Devi Parikh, and Stefan Lee. 2019. 12-in-1: Multi-Task Vision and Language Representation Learning. abs/1912.02315 (2019). CoRR [30] Alec Radford, Karthik Narasimhan, Tim Salimans, dan Ilya Sutskever. 2018. Meningkatkan pemahaman bahasa melalui latihan pra-generatif. (Pada tahun 2018) URL https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ languageunsupervised/language understanding paper. pdf https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ [31] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, dan Ilya Sutskever. [n.d.]. model bahasa adalah pelajar multitask yang tidak diawasi. ([n.d.]). [32] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, dan Ilya Sutskever. 2021. [cs.CV] :2102.12092 [33] Shaoqing Ren, Kaiming He, Ross B. Girshick, dan Jian Sun. 2015. Lebih cepat R-CNN: Ke arah pengesanan objek masa nyata dengan rangkaian cadangan kawasan. daripada 91 hingga 99. NeurIPS 2015 [34] Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016. Neural Machine Translation of Rare Words with Subword Units. In . ACL 2016 [35] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, and Jeff Dean. 2017. Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. (2017) yang arXiv preprint arXiv:1701.06538 [36] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, dan Bryan Catanzaro. 2019. Megatron-LM: Latihan pelbagai bilion model bahasa parameter menggunakan paralelisme model. (2019). arXiv preprint arXiv:1909.08053 [37] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. 2019. MASS: Masked Sequence to Sequence Pre-training for Language Generation. In . 5926 sehingga 5936. ICML 2019 [38] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei, and Jifeng Dai. 2020. VL-BERT: Pre-training of Generic Visual-Linguistic Representations. In . Rancangan ICLR 2020 [39] Maosong Sun, Jingyang Li, Zhipeng Guo, Z Yu, Y Zheng, X Si, and Z Liu. 2016. Thuctc: an efficient chinese text classifier. (2016). Penyimpanan GitHub [40] Hao Tan dan Mohit Bansal. 2019. LXMERT: Belajar Perwakilan Encoder Cross-Modality daripada Transformers. dalam 5099 sehingga 5110. EMNLP-IJCNLP 2019 [41] Aäron van den Oord, Oriol Vinyals, dan Koray Kavukcuoglu. 2017. Pembelajaran Perwakilan Discrete Neural. dalam . NIPS [42] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention is All you Need. In 5998 sehingga 6008 Rujukan 2017 [43] Ang Wang, Xianyan Jia, Le Jiang, Jie Zhang, Yong Li, and Wei Lin. 2020. Whale: A Unified Distributed Training Framework. (2020). arXiv Preprint arXiv:2011.09208 [44] Wei Wang, Bin Bi, Ming Yan, Chen Wu, Zuyi Bao, Jiangnan Xia, Liwei Peng, and Luo Si. 2019. Structbert: Incorporating language structures into pre-training for deep language understanding. (2019) daripada arXiv persediaan arXiv:1908.04577 [45] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. 2016. Google’s neural machine translation system: Bridging the gap between human and machine translation. (2016). arXiv preprint arXiv:1609.08144 [46] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, dan Kaiming He. 2017. Transformasi sisa agregat untuk rangkaian saraf yang mendalam. daripada 1492 hingga 1500. CVPR 2017 [47] Liang Xu, Xuanwei Zhang, dan Qianqian Dong. 2020. CLUECorpus2020: Corpus Cina skala besar untuk Model Bahasa pra-latihan. (Jumlah 20) arXiv preprint arXiv:2003.01355 [48] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. 2018. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In 1316 sehingga 1324. Prosedur persidangan IEEE mengenai penglihatan komputer dan pengiktirafan corak [49] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov, and Quoc V. Le. 2019. XLNet: Generalized Autoregressive Pretraining for Language Understanding. In 5754 sehingga 5764. NeurIPS 2019 [50] Fei Yu, Jiji Tang, Weichong Yin, Yu Sun, Hao Tian, Hua Wu, dan Haifeng Wang. (Jumlah 20) arXiv preprint arXiv:2006.16934 [51] Luowei Zhou, Hamid Palangi, Lei Zhang, Houdong Hu, Jason J. Corso, dan Jianfeng Gao. daripada 13041 hingga 13049. Sukan 2020 Dokumen ini boleh didapati di archiv di bawah lesen CC by 4.0 Deed (Attribution 4.0 International). Dokumen ini boleh didapati di archiv di bawah lesen CC by 4.0 Deed (Attribution 4.0 International).

M6: AI Cina yang memahami teks dan imej pada skala

About Author

KOMEN

GANTUNG TANDA

ARTIKEL INI DIBENTANGKAN DALAM

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps