මුණගැහෙන්න M6: චීන AI පරිගණක පරිගණක පරිගණක පරිගණක පරිගණක පරිගණක

ලේඛකයෝ : Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, China) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Group, China) An Yang, ya235025@alibaba-inc.com (Alibaba Group, China) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba Group, China) Ming Ding, dm18@mails.tsinghua.edu.cn (Tsinghua University, China) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, China) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, China) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Group, China) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, China) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, China) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, China) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, China) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Group, China) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, China) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Group, China) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, China) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Group, China) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, China) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Group, China) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Group, China) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Group, China) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, China) Jie Tang, jietang@tsinghua.edu.cn (Tsinghua University, China) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Group, China) ලේඛකයෝ : Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, චීනය) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Group, චීනය) An Yang, ya235025@alibaba-inc.com (Alibaba Group, චීනය) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba කණ්ඩායම, චීනය) Ming Ding, dm18@mails.tsinghua.edu.cn (චීනා විශ්ව විද්යාලය, චීනය) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, චීනය) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, චීනය) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Group, චීනය) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, චීනය) ශ් රී ලංකාව, ශ් රී ලංකාව, ශ් රී ලංකාව, ශ් රී ලංකාව (Alibaba Group, China) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, චීනය) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, චීනය) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Group, චීනය) Qingdao, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, චීනය) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Group, චීනය) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, චීනය) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Group, චීනය) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, චීනය) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Group, චීනය) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Group, චීනය) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Group, චීනය) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, චීනය) Jie Tang, jietang@tsinghua.edu.cn (Tsinghua විශ්ව විද්යාලය, චීනය) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Group, චීනය) අමුද් රව් ය මෙම ව්යාපාරය තුළ, අපි චීන භාෂාවෙන් multimodal පෙර පුහුණු සඳහා විශාලතම දත්ත සමුදාය ගොඩනැගීම, 1.9TB පින්තූර සහ 292GB ක්ෂේත්ර විශාල ප්රමාණයක් ඇතුළත් කර ඇත.We propose a cross-modal pre-training method called සලකන විට අවසාන - දඩයම අවසාන - දඩයම ultitask ega-transformer, තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි තනි ප්රමාණයන්, සහ චීන විශාලතම පෙර පුහුණු ආකෘතිය ගොඩනැගීම. අපි ආකෘතිය පහළ ආකෘති සංඛ්යාවක් සඳහා යෙදුම්, සහ ශක්තිමත් මූලාශ්ර වලට වඩා එහි විශිෂ්ට ක්රියාකාරිත්වය ප්රදර්ශනය. තවද, අපි විශේෂයෙන් පින්තූර නිෂ්පාදනය පහළ ආකෘති කාර්යය නිර්මාණය, හා පෙන්නුම් කරන්නේ M6 උසස් තත්ත්වයේ පින්තූර නිෂ්පාදනය කිරීමට හැකි බව උසස් resolutions හා පුළුල් විස්තර. M6 M M M M M M 100 billion Keywords Multimodal Pretraining; Multitask; Text-to-Image Generation 1 ඇතුළත් කිරීම ස්වාභාවික භාෂා පරිශීලකරණය (NLP) පිළිබඳ පර්යේෂණයේ ප්රවේශයක් බවට පත් වී ඇත [ , , , , , , , , , , ]. මෑතකදී GPT-3 මිලියන 175 කට වඩා වැඩි ප්රමාණයන් සහිත විශාල දත්ත මත පුහුණු විශාල ආකෘති අතිශයින් විශාල ධාරිතාවයක් ඇති බව ප්රදර්ශනය කර ඇති අතර එය පහළ ක්ෂේත්රයේ කාර්යයන්, විශේෂයෙන් අර්ධ වෙඩි සැකසීම තුළ පහළ ක්රියාත්මක කිරීමට හැකි වේ.එසේම, NLP හි පෙර පුහුණු වේගයෙන් වර්ධනය cross-modal පෙර පුහුණු. , , , , , , , , , [ ] විවිධ cross-modal downstream කාර්යයන් සඳහා නව state-of-the-art ප්රදර්ශන නිර්මාණය කර ඇත. 1 2 7 16 18 19 27 31 37 44 49 4 11 17 22 24 25 28 29 38 51 A pity is that most recent studies focus on the pretraining on English data. There are lack of both large-scale datasets in Chinese and large-scale models pretrained on the data of Chinese. Therefore, in this work, we develop a large-scale dataset M6-Corpus, which consists of over 1.9TB images and 292GB texts. To the best of our knowledge, this is the largest dataset in Chinese for pretraining in both multimodality and natural language. The dataset collected from the webpages consists of different types of data and covers a large scale of domains, including encyclopedia, question answering, forum discussion, product description, etc. Also, we design sophisticated cleaning procedures to ensure that the data are of high quality. මීට අමතරව, එවැනි විශාල ප්රමාණයක් උසස් තත්ත්වයේ දත්ත ප්රයෝජනවත් කිරීම සඳහා, අපි විවිධ ක්රියාකාරකම්වල දත්ත ක්රියාත්මක කළ හැකි අතිශයින් විශාල ආකෘතිය ගොඩනැගීමට යෝජනා කරමු. එබැවින් අපි MultiModality-to-MultiModality Multitask Mega-transformer ලෙස හඳුන්වන නව ආකෘතිය M6 නමින් යෝජනා කරමු. ආකෘතිය පරිවර්තකය මත පදනම් වන අතර එය බොහෝ ක්රියාකාරකම් සමඟ පෙර පුහුණු වේ. සහ ඒ අනුව, සියයට බිලියන 10ක් සහ සියයට බිලියන 100ක් දක්වා සංශෝධනය කරනු ලැබේ. අපි නිෂ්පාදන විස්තරය නිෂ්පාදනය, දර්ශනීය ප්රශ්න ප්රතිචාර, සමාජ ප්රශ්න ප්රතිචාර, චීන කවි නිෂ්පාදනය, ආදිය, සහ අපගේ අත්හදා බැලීම් ප්රතිඵල පෙන්වා දෙන්නේ M6 ශක්තිමත් ප්රමුඛ ප්රතිඵල ගණනාවක් වඩා වැඩ කරන බව. M6-10B M6-100B M6-100B මෙම රැකියාවේ තවත් උපකාරය වන්නේ අපි මුලින්ම Text-to-Image Generation සමඟ පෙර පුහුණු කිරීම ඇතුළත් කිරීමයි. , we leverage a two-stage framework for image generation. To be more specific, we apply a trained vector-quantized generative adversarial network to representing images with discrete image codes, and we then use the pretrained M6 to learn the relations between texts and codes. Such learning can bridge the two modalities and enables controllable text-to-image generation. [32] ප් රතිඵල සම්පූර්ණයෙන්ම, M6 හි ප්රයෝජන පහත සඳහන් වේ: අපි කර්මාන්තයේ විශාලතම චීන multi-modal පෙර පුහුණු දත්ත රැස්වීම සහ ගොඩනැගීම, 300GB teks සහ 2TB රූප ඇතුළත්. අපි චීන භාෂාවෙන් multimodal pre-training සඳහා M6 යෝජනා කරමු, සහ අපි 10 සහ 100 බිලියන ප්රමාණයන් දක්වා ආකෘති ප්රමාණය පුළුල් කරමු. M6 මෘදුකාංගයක් වන අතර, VQA හි 11.8% කින් ශක්තිමත් ප්රමුඛ ප්රතිඵල, Image captioning හි 18.4 කින් සහ Image-Text matching හි 10.3% කින් වැඩි වේ. පරිස්සමින් සැලසුම් කර ඇති විශාල ප්රමාණයේ බෙදාහැරෙන පුහුණු පහසුකම් සමඟ, M6 පුහුණු වේගයේ පැහැදිලි වාසි ඇති අතර පුහුණු වියදම් විශාල වශයෙන් අඩු කරයි, වඩාත් පුළුල් භාවිතය සඳහා හැකියාව නිර්මාණය multi-modal පෙර පුහුණු. 2 දත්ත අද වන විට චීන භාෂාවෙන් විශාලතම multi-modality සහ text data set එක අපි එකතු කරලා සංවර්ධනය කරමු, මෙය මෙම ලිපියේ ප් රධාන උපකාරයන්ගෙන් එකකි. 2.1 දැනට පවතින දත්ත චීන පෙර පුහුණු කිරීම සඳහා උසස් තත්ත්වයේ සහ ප්රධාන ප්රතිපත්තිය සහිත ප්රමාණවත් corpus ගොඩනැගීම ප්රධාන වේ. පෙර වැඩවලදී, චීන Wikipedia1 චීන භාෂා ආකෘති පුහුණු කිරීම සඳහා වඩාත් නිතර භාවිතා කරන දත්ත සබඳතා වලින් එකක් වේ. එය චීන භාෂාව ආකෘති පුහුණු කිරීම සඳහා භාවිතා කරන දත්ත සබඳතා වලින් එකක් වේ. ] දත්ත සමුදාය, 740K පුවත් ලිපි ඇතුළත්. කෙසේ වෙතත්, මෑත භාෂා ආකෘති වේගයෙන් වර්ධනය වන අතර, මෙම පවතින දත්ත සමුදායේ ප්රමාණය පැහැදිලිව ප්රමාණවත් නොවේ. employ unreleased extended data that are 10 times larger than the CN-Wikipedia to pretrain their Chinese language model. Xu et al. 39 [5] තනතුර CLUECorpus2020 යන 100GB පරිගණකයක් නිකුත් කරන ලදී. කෙසේ වෙතත්, බොහෝ භාෂා Common Crawl දත්ත සමුදායෙන් නැවත ලබා ගන්නා ලදී. උදාහරණයක් ලෙස, GPT-3 175B ප්රමාණයන් ඇතුළත් කර ඇති අතර 570GB ලිපි මත පුහුණු කර ඇත. ඒ අතර, දත්ත සමුදාය පින්තූර-මුද්රව්ය යුගල ඇතුළත් කළ යුතුය. [47] 2.2 උසස් තත්ත්වයේ දත්ත රැස්වීමේ ප්රමිතීන් චීන භාෂාවෙන් පුළුල් පරිමාණයේ බහු-මොඩල් පෙර පුහුණු කිරීම සහ සංකීර්ණ ලෝක දැනුම ඉගෙන ගැනීම සඳහා, දත්ත සංකේතය සුපිරි විශාල පරිමාණයේ සරල පෙළ සහ ඡායාරූප-මොඩල් සබඳතා සැපයීම සඳහා ඉතා අවශ්ය වේ. චීන භාෂාවෙන් විශාල පරිමාණයේ බහු-මොඩල් පෙර පුහුණු කිරීම සඳහා, අපි චීන භාෂාවෙන් විශාල පරිමාණ දත්ත සබඳතා ගොඩනැගීම මත අවධානය යොමු කරමු. විශේෂයෙන්, අපි ස්වාභාවික භාෂාව සහ multimodalities සඳහා අපගේ පෙර පුහුණු කිරීම සංකීර්ණ කරන අතර, අපි සරල පෙළ සහ ඡායාරූප-මොඩල් සබඳතා දෙක අතර විශාල දත්ත සබඳතා ගොඩනැගීම සඳහා විශාල දත්ත සබඳතා ගොඩනැ ලෝකය පුරා අන්තර්ජාලය තුළ විශාල ප්රමාණයක් teks සම්පත් සහ ඡායාරූප ඇතත්, multimodal pre-training සඳහා corpus පහත සඳහන් ප්රතිලාභ සපුරාලන විට වඩා හොඳ බව අනුමත කර ඇත: (1). the sentences should be fluent natural language within a normal length, and should not contain meaningless tokens, such as markups, duplicate punctuation marks, random combinations of characters, etc.; (2). the images should be natural and realistic, and the resolutions of the images need to be identifiable by humans; (3). both the texts and images should not contain illegal content, such as pornography, violence, etc.; (4). the images and texts should be semantically relevant; (5). the datasets should cover a wide range of fields, say sports, politics, science, etc., and therefore it can endow the model with sufficient world knowledge. 2.3 දත්ත ගොඩනැගීම ඉහත අවශ්යතා මත පදනම්ව, අපි සරල පින්තූර සහ ඡායාරූප-මුද්රව්ය යුගල දෙකම දත්ත රැස් කර ඇත. දත්ත වර්ග විවිධ වේ, ඇතුළත් එන්ජිටෝප්, crawled වෙබ් පිටුව, සමාජය ප්රශ්න පිළිතුරු, ෆෝරෝව, නිෂ්පාදන විස්තරය, ආදිය. ඒ වගේම, දත්ත විද්යාව, විනෝදාංශ, ක්රීඩා, දේශපාලනය, ජීවන සාධක, ආදිය වැනි ප්රමාණවත් ප්රමුඛ පුහුණුව සඳහා භාවිතා වන දැනට පවතින දත්ත සමුදාය සමග අපගේ corpus විශේෂාංග කිහිපයක් සමාන කර ඇත. අපගේ දත්ත රැස්වීමේ ප්රමාණය පසුගිය දත්ත වලට වඩා විශාලය.අපගේ දැනුම අනුව, මෙය චීන පෙර පුහුණු කිරීම සඳහා ප්රථම විශාල, multimodal සහ multidomain corpus වේ. 3. 2. අපි පිරිසිදු දත්ත ලබා ගැනීම සඳහා සංකීර්ණ ප්රතිසංස්කරණය ක්රියාත්මක කරමු. teks දත්ත සඳහා, අපි මුලින්ම HTML markups හා ද්විත්ව අකුරු අකුරු ඉවත්, අපි චීන හා ඉංග්රීසි භාෂාව තුළ ඇති චරිත සහ අකුරු සහ අකුරු අකුරු පමණක් ඉතිරි කරමු. අපි 5 අකුරු සහ 15 අකුරු අඩු අන්තර්ගතය පිළිබඳ මාතෘකා ඉවත් කරමු. අපි තවදුරටත් ඔවුන්ගේ අකුරු අකුරු ගණන් කිරීම සඳහා භාෂා ආකෘතිය ක්රියාත්මක කරමු. අපි යම් දේශපාලන ප්රශ්න, කාමුක හෝ නරක, නරක වචන ලැයිස්තුවේ වචන ඇතුළත් වචන ඇති වචන ඉවත් කිරීම සඳහා අභ්යන්තර අකුරු අකුරු අකුරු අකුරු අකුරු ඉවත් කරමු. 3 M6 වැඩසටහන Multimodal පෙර පුහුණු කිරීම ස්වයං අවධානය මත පදනම් වූ පරිවර්තක ආකෘතිය සහ විශාල දත්ත මත පෙර පුහුණු කිරීමේ බලවේග දෙකම භාවිතා කරයි.We endeavour to endow the model with strong capability of cross-modal understanding and generation.In this section, we describe the details of our proposed pretrained model අදහස් කරන දේ අවසාන - තනතුරු- අවසාන - දඩයම අලූත් පරිවර්තනය කිරීම M6 M M M M M M 3.1 Visual සහ භාෂා ආදායම් ප් රායෝගික multimodal පෙර පුහුණු ක්රම පින්තූර ප්රදර්ශනය ක්රියාත්මක අමුද්රව්ය දර්ශනය හරහා අමුද්රව්ය දර්ශන බවට පරිවර්තනය. කෙසේ වෙතත්, අමුද්රව්ය දර්ශක දර්ශකයේ කාර්ය සාධනය මෙන්ම ඔවුන්ගේ පිටුපස ප්රදර්ශනය ශක්තිමත් බලපෑම් පින්තූර ප්රදර්ශනය අවසන් කාර්යයන් තුළ අමුද්රව්ය අමුද්රව්ය ප්රදර්ශන ප්රදර්ශනය. අපි පින්තූර විශාල ප්රමාණය පමණක් කිහිපයක් අමුද්රව්ය ඇතුළත්. උදාහරණයක් ලෙස අමුද්රව්ය දත්ත පින්තූර ගන්න. අපි අමුද්රව්ය මත අමුද්රව්ය දර්ශන අමුද්රව්ය ප්රදර්ශනය කර , , ]. We apply WordPiece [ , වෙද්යවරයෙකු අමතන්න هڪ ڊاڪٽر کي ڪال ڪريو 4 11 24 34 45 [6] මේ 3.2 සංකීර්ණ Encoder-Decoder Image embeddings ei සහ word embeddings et අපි cross-modal embeddings sequence e = {ei, et } ඇතුළත් කරමු. we send the sequence to the transformer backbone for high-level feature extraction.To differentiate their representations, we add corresponding segment embeddings for different modalities. අපගේ සංකීර්ණ cross-modal ප්රදර්ශන අධ්යයනය සඳහා ස්වයං අවධානය මත පදනම් වන ට්රැවර්ටර් බ්ලැක්ස්. වඩාත් නිශ්චිතව, ගොඩනැගිලි බ්ලැක්ස් BERT හෝ GPT, ස්වයං අවධානය සහ ප්රදර්ශන-අධිකරණය ජාලය (FFN) සකස් කරන ලද සමාන වේ. ට්රැවර්ටර් පිටුපස ඉහළට, අපි වචන අනාවැකි සඳහා ප්රතිඵල පරාසයක් එකතු කර, එබැවින් අපි ආකර්ෂණය පරාසය වන පරාසයට එහි බර සම්බන්ධ කරමු. In the unified framework, we use different masking strategies to enable encoding and decoding. The input is segmented into three parts, including visual inputs, masked linguistic inputs, and complete linguistic inputs. We apply bidirectional masking to both the visual inputs and masked linguistic inputs, and we apply causal masking to the complete linguistic inputs. Thus the model is allowed to encode and decode in the same framework. 3.3 Pretraining Methods Text-to-Text Transfer, Image-to-Text Transfer, and Multimodality-to-Text Transfer ඇතුළත් multitask සැකසුම් සමඟ අපි ආකෘතියට පෙර පුහුණු කරමු. පින්තූරයේ පෙන්නුම් කරන පරිදි the model learns to perform text denoising and language modeling in the setting of text-to-text transfer. In text denoising, we mask the input text by a proportion, which is 15% in practice following BERT [ ]. විශේෂයෙන්, අපි එක් මාස්ක් සමග ස්ථාවර ප්රමාණයක් පෙළක් masking, සහ ආකෘතිය සම්පූර්ණ සංඛ්යාත විවෘත කිරීමට ඉගෙන ගත යුතුය. මෙම ආකෘතිය ආපසු ලබා ගැනීමට හා දිගකාලීන අනාවැකි ඉගෙන ගැනීමට උනන්දු කරයි. අමතරව, නිෂ්පාදනය තුළ ආකෘති හැකියාව වැඩි දියුණු කිරීම සඳහා, අපි භාෂා ආකෘති ස්ථාපනය එකතු, ආකෘති ලබා කිසිදු ආදායමක් සහ ආකෘති පෙර කොන්දේසි මත පදනම්ව වචන නිර්මාණය ඉගෙන ගනී. Text-to-text Transfer තුන්වන 6 Image-to-text transfer is similar to image captioning, where the model receives the visual information as the input, and learns to generate a corresponding description. In this setting, we add the aforementioned patch feature sequence to the input and leave the masked input blank. Image-to-text transfer Image-to-text transfer setup මත පදනම්ව, අපි අමතරව masked භාෂා ආදායම් එකතු, එබැවින් ආකෘතිය දර්ශන තොරතුරු හා ශබ්ද භාෂා තොරතුරු දෙකම මත පදනම්ව ඉලක්ක ලිපි නිර්මාණය ඉගෙන ගත යුතුය. Multimodality-to-text transfer 3.4 බිලියන 10 සහ බිලියන 100 දක්වා ප්රමාණවත් කිරීම අපි M6-10B සහ M6-100B ලෙස නම් කරන 10 බිලියන ප්රමාණයන් සහ 100 බිලියන ප්රමාණයන් දක්වා ආකෘති ප්රමාණය වර්ධනය කරමු ආකෘති ප්රමාණයේ වර්ධනය වඩාත් විශාල හැකියාවක් ලබා දෙයි, එය වැඩි දත්ත වලින් දැනුම ඉගෙන ගත හැකිය. වඩාත් නිශ්චිතව, අපි සැඟවුණු තත්වයන් හා මට්ටම් සංඛ්යාව වැඩි කිරීම සඳහා GPU මතකය වඩාත් හොඳින් ප්රයෝජනවත් කිරීම සඳහා, අපි මතකය ඉතිරි කිරීම සඳහා සංකීර්ණ නිශ්චිත පුහුණුව සහ ක්රියාකාරකම් පරීක්ෂා කිරීම භාවිතා කරමු.එහෙත්, ආකෘතිය එක් එක් GPU එකකට ගැලපෙන්නේ නැහැ, එබැවින් Megatron-LM ක්රියාත්මක කිරීමෙන් පසු, අපි feed-forward ජාල සහ අවධානය ඔප්පු විවිධ GPU වලට බෙදා හැරීම සඳහා ආකෘති අනුකූලතාවය භාවිතා කරමු. 36 යි කෙසේ වෙතත්, M6-100B දක්වා සෘජුවම පුළුල් කිරීම වඩාත් දුෂ්කර වේ, පරිගණක සම්පත් සඳහා වඩාත් අභියෝග ඇති නිසා. , , ], අපි M6 සමග Mixture-of-Experts (MoE) සංසන්දනය 100 බිලියන ප්රමාණයන් අනුවාදය ගොඩනැගීමට. මුල් MoE අවශ්ය mesh-tensorflow මෙන්ම TPUs අවශ්ය බව සටහන් කරන්න. මෙය එවැනි සම්පත් නොමැති පර්යේෂකයන් ගණනාවක් සඳහා සීමාවන් සකස් කරයි. එබැවින් අපි අපේ අභ්යන්තර පද්ධතිය Whale සමග MoE සමග M6-100B ක්රියාත්මක කරමු [ GPU සමග model parallelism කිරීමට.We demonstrates the key statistics of the models of different scales in Table 10 20 35 43 4. විශේෂයෙන්, සම්ප්රදායික FFN මට්ටමකට වඩා වෙනස් වන අතර, MoE මට්ටම බොහෝ FFN මට්ටමක සංකීර්ණ සංකීර්ණ සංකීර්ණයක් වන අතර, සෑම මට්ටමකම විශේෂඥයෙකු ලෙස ක් රියා කරයි. මෙය විශේෂඥ සංකීර්ණයක් ලෙස හඳුන්වනු ලැබේ. ආකෘතිය මුලින්ම විශේෂඥයන් වෙත ටොක්න් මාර්ගගත කිරීම සඳහා දුර්වල ජාලයක් ඉගෙන ගනී. එබැවින් සෑම ටොක්න් පමණක් විශේෂඥයන්ගෙන් කුඩා සංකීර්ණයක් වෙත යැවිය හැක සහ පරිගණකයක් ගැඹුරු ආකෘති වලට වඩා අඩු විය හැක. මෙම වර්ගයේ ආකෘතිය දත්ත සංකීර්ණතාවය සහ විශේෂඥ සංකීර්ණතාවය සේවකයින් අතර සංකීර්ණතාවය සපුරාලීම සඳහා සංකීර්ණ where g(·) refers to the sparse gating function, and T refers to the indices of top-k values of g(·).MoE ගේ ප් රතිඵලයක් තෝරාගත් විශේෂඥ FFNs f (·) ගණනක සංකේතයක් වේ. විශේෂඥ උදාහරණයක් ලෙස, විශේෂඥයන්ගේ ප්රමාණයන් සේවකයින් අතර බෙදා හැරෙන්නේ නැත, අනෙකුත් කොටස්වල ප්රමාණයන් සේවකයින් අතර සමාන වන අතර. එබැවින්, තෝරාගත් විශේෂඥයන් වෙත ටෝකන් යැවීම සහ ඔවුන්ගේ මුල් විශේෂඥයන් සමඟ ඒවා එකතු කිරීම සඳහා, MoE පරාසයේ සේවකයින් අතර සියලුම සම්බන්ධතාවය සිදු කිරීමට අවශ්ය වේ. Fedus et al implement the MoE on TPUs with one expert in each MoE layer on a TPU, we implement our model on Nvidia GPUs where there are several experts in each MoE layer on a GPU so as to fully utilize the memory. As all-to-all communication takes up a large amount of time, the optimization to improve efficiency is highly significant. We implement a series of optimization, including half-precision communication. A key problem is load balancing, which denotes that tokens can gather to only a few experts due to dynamic routing. Following Fedus et al. , we apply expert capacity, which refers to the number of tokens for an expert (𝐶 = 𝑁 - 𝑐/m, where 𝐶 refers to expert capacity, 𝑁 refers to the number of tokens in a batch, 𝑐 refers to capacity factor (which is a hyperparameter usually larger than 1.0) and 𝑚 refers to the number of experts), to alleviate this problem. Tokens out of the capacity of an expert are dropped from the computation and they are sent to next layers through residual connections. We find that the overloading problem can be severe, and this issue can be a significant one in the future research of expert models. [20] [10] [ 10 ] Top-2 gating සහ Top-1 gating සමාලෝචනය කිරීමෙන් අනතුරුව, ඔවුන් සමාන ආකෘති ප්රතිඵල ලබා ගත හැකි බව සොයාගෙන ඇත, අන්තිම ආකෘති සමීප වීමෙන් ටිකක් නරක වේ. Top-1 gating වල ඵලදායීත්වය වඩාත් වේගවත් පරිගණකයක් ලබා දෙයි. ඊට අමතරව, අපි වඩාත් ඵලදායී බව සඳහා මතකය ප්රතිඵලදායී කිරීමේ ක්රමයන් භාවිතා කරමු. අපි හඳුනා ගනිමු, ග්රාඩිංට් කපනය ලොව පුරා සියලු විශේෂඥයන් අතර සම්මත ගණන ගණනය කරන අතර, අපි මතකය ඉතිරි කිරීම සඳහා දේශීය කපනය යොදා ගනිමු. අපි 128 Nvidia A100s මත මිලියන 100 ක් පමණ ප්රමාණයන් සහිත M6-100B ක්රියාත්මක කරමු MoE ව්යුහය ආකෘති ප්රමාණය ප්රමාණය ප්රමාණය භාවිතා කිරීම සඳහා ඵලදායී බව සහ එය M6-10B, විශාලතම ගැඹුරු ආකෘතිය, සමග සමාන ප්රතිඵල ලබා ගත හැකි බව, 2-3 වරක් කෙටි කාලයක් තුළ. 4 යෙදුම් 4.1 Text-to-Image පරම්පරාව Previous studies mainly focused on generation on a limited domain, among which Generative Adversarial Nets (GANs) [ , එවැනි ක් රමවේදයන් පවත්වාගෙන යන්නේ Ramesh et al. , අපි පින්තූර සම්ප්රදායික අධ්යයනය සහ භාෂා ආකෘතිය ඇතුළත් Text-to-Image Generation සඳහා දෙවන පියවරක් සකස් කරමු. 14 48 [32] ප් රතිඵල පළමුවෙනි ප ් රතිඵලයක් වශයෙන්, එය ප් රාදේශීය පරිසරයට ගැළපෙන පරිදි අනුවර්තනය කරන ලදී.[29] ] and VQGAN [ ]. දෙවන පියවරේදී, භාෂා ආකෘතිය නිර්මාණය කිරීම සඳහා භාෂා ආකෘති සහ කේත ආකෘති නිර්මාණය කිරීමට ඉගෙන ගැනීමට භාෂා ආකෘති නිර්මාණය කිරීම අවශ්ය වේ. finetuning දී, අපි පෙර පුහුණු M6 වෙත කේත ආකෘති සහ ආකෘති ආකෘති එකතු කරමු. අපි ඉඟි ලෙස වචන ආකෘති සහ ඉහත සඳහන් නිෂ්පාදනය කරන ලද කේත ආකෘති සකස් කරමු, අපි පුහුණු කිරීම සඳහා ස්වයංක්රීය භාෂා ආකෘති ඉලක්කයක් සකස් කරමු. ඉඟි පියවරේදී, අපි පෙළ ආකෘති ඇතුළත් කරමු, සහ ආකෘති Top-k උපාංගය සමඟ ස්වයංක්රීයව කේත නිෂ්පාදනය කරයි. අවසාන පියවර පළමු පියවරෙන් 41 9 E-Commerce හි Text-to-Image Generation සඳහා අපි දත්ත සමුදායක් නිර්මාණය කරමු. විශේෂයෙන්, අපි Taobao ජංගම දුරකථන වලින් නිෂ්පාදන මාතෘකාව හා ඡායාරූප මිලියන 50 කට වඩා වැඩි පිරිසක් එකතු කරමු. අපි ඡායාරූපවල අමුද්රව්ය පර්යේෂණ ක්රම කිහිපයක් ක්රියාත්මක කරමු. We filter the images with complex background features (characters, patterns, etc.) with the in-house white-background image detector and OCR model. We then filter the images with over 3 objects with our in-house object detector based on Faster R-CNN [ ]. අවසානයේදී අපි 1.8m උසස් තත්ත්වයේ නිෂ්පාදන ඡායාරූප-මුද්රව්ය යුගල ලබා ගනිමු. සාමාන්ය ප්රදේශවල ඡායාරූප වලට වඩා, අපගේ එකතු කරන ලද දත්තවල පහත සඳහන් විශේෂාංග ඇත. ඡායාරූපය සහ ලිපිය නිෂ්පාදනයේ ප්රධාන විශේෂාංග විස්තර කරන අතර, ඡායාරූපවල සංකීර්ණ පසුබිමක් නොමැත, MSCOCO වැනි පොදු දත්ත රැස්වීම්වල ඡායාරූප වලට වඩා පහසුවෙන් ඉගෙන ගත හැකිය. 33 [ 26 ] උදාහරණ දෙකක් දර්ශනය කරමු and Figure It can be found that the generated images have high quality and the generated objects resemble the real ones. Furthermore, in Figure , we find that the model is able to imagine items according to the query ), which do not exist in the real world. The imagination ability provides room for creative design in real-world industrial scenarios, such as clothing design, shoe design, etc. 4 5. 6 ශ් රීලනිප හමුදා කඳවුර - ශ් රීලනිප හමුදා කඳවුර අපගේ යෝජනා කළ ආකෘතිය යටතේ අපගේ M6 එකත් අන්තර්ජාලයෙන් සකස් කරන ලද මිලියන 3ක ඡායාරූපයක් ඇතුළත් වන තවත් දත්ත සකස් කර ඇත. මෙම ආකෘතිය රොබෝන්ගේ ක්ලිප් කලා නිර්මාණය කිරීමට හැකි වේ.මේක පින්තූර සම්ප්රදායික නිෂ්පාදනය තුළ ආකෘති මෘදුකාංගයේ මෘදුකාංගය හෙළි කරයි. 7 , 4.2 ප්රශ්න පිළිතුරු අපගේ අත්හදා බැලීම් ප්රතිඵල දර්ශනීය ප්රශ්න ප්රතිචාර දත්ත සමුදාය මත ප්රදර්ශනය, සහ අපි VQA යෙදුම සඳහා අපගේ පෙර පුහුණු M6 සෘජුවම ක්රියාත්මක කරන්නේ කෙසේද. We leverage the FMIQA dataset [ ] as the Chinese visual QA benchmark, which requires the model to generate the answer given an image and a question. We implement a transformer-based model as our baseline. For the evaluation, we split the test set manually by random sampling 200 from the dataset as there is no official release of the test set, and we evaluate the overall accuracy by human evaluation. The results are demonstrated in Table The pretrained M6-base outperforms the baseline by a large margin (+6.2%), which indicates the effectiveness of multimodal pretraining. Scaling up the model to M6-10B further brings 5.2% improvement. 13 5. Furthermore, we show that simply finetuning on such a small VQA dataset may limit the potential of M6. Therefore, we directly leverage M6 for the VQA application. We find that the model is able to recognize general features and provide more related knowledge based on its understanding. Though the model pretrained on pseudo-parallel image-text pairs cannot directly answer questions about detailed features, such as color, number, etc., it is able to answer questions related to background knowledge. We demonstrate some examples in Figure 8. 4.3 Image Captioning Image captioning අවශ් ය වන්නේ ආදර්ශය විස්තර කරන ලද පින්තූරයක් නිර්මාණය කිරීම සඳහා වන අතර එය cross-modal generation ආකෘති හැකියාව පරීක්ෂා කරයි. We build a dataset (named E-Commerce IC) containing pairs of product descriptions and product images from Taobao. Since too long or too short descriptions may be noisy, we discard pairs with a description longer than 100 words or less than 10 words. To avoid dirty generations, we further use an in-house tool to filter descriptions that may contain dirty words (i.e., pornographic or violent words). අවසාන වශයෙන්, E-Commerce IC contains about 260k text-image pairs. We finetune the model with the image-to-text transfer task on E-Commerce IC. අපගේ ආකෘතිය මනුෂ්ය විශ්ලේෂණය තුළ පරිවර්තකයෙකුගේ ප්රථම ලැයිස්තුවට සමාන කරමු. අපි භාෂා ප්රතිපත්තිය සහිත කිහිප දෙනෙකුගෙන් විමර්ශනය කිරීම සඳහා තුන් ප්රවේශයන්ගෙන් විමර්ශනය කිරීමට ඉල්ලා සිටිමු: පාඨමාලාව (මුද්රව්ය වැරදි නොමැතිව නිවැරදිද), නිවැරදිද (මුද්රව්ය රූපයට නිවැරදිද), ධනය (මුද්රව්ය තොරතුරු හා ආකර්ෂණීයද). Table එකේ ප් රතිඵල show that M6-base outperforms the baseline in all of the metrics. We find that all models achieve high scores in grammar. However, in both correctness and richness, M6-base outperforms the baseline model by a large margin (+18.2% and +14.4%), indicating that multimodal pretraining helps to generate more faithful, informative and attractive texts. Scaling up the model to M6-10B further improves the correctness and richness (about 14.7% and 7.0%). Figure 9 illustrates two examples of image caption. 6 4.4 Question Answering To demonstrate the potential availability in the applications of intelligent chatbots, we further employ the M6 model to generate long answers in the style of forum discussion. Human-generated questions are collected from various Chinese forums, which are input to the model to generate the answer. At the stage of inference, we append a question mark and a token in the prompt, which better triggers the model to generate an answer. To facilitate the generation of longer and more informative texts, we pick more complex questions. උත්තරේ : පින්තූර demonstrates an example of general question answer-ing. The model can illustrate a man’s own experiences that are related to the question and also point out the answer at the end. This generated text confused human annotators and passed the Turing Test. It shows that the model can not only answer general questions but also generate long fluency text. 10 4.5 Poem Generation We apply the pretrained model to Chinese poem generation. The model is able to generate genres with format constraints. පරණ චීන කවි විවිධ සුවිශේෂී ආකෘති ඇත.We adopt the simplest constraints that The poem shall be consisted of at least 4 lines. The total number of lines shall be even. Each line must have exactly 5 or 7 words. All lines shall have the same number of words. Text generation under format constraint is done in a search framework that we generate short sentences ending with punctuation until the number of words meets the constraint. We repeat this process until the model generates an " " token, or the number of lines exceeds a limit of 16. Figure illustrates an example of a generated poem. 11 4.6 ඡායාරූප-කැටි ගැලපීම We evaluate the model’s ability in cross-modal retrieval. Specifically, we construct a dataset (named E-Commerce ITM) containing pairs of texts and images from the mobile Taobao. Each pair belongs to a single item. we collect 235K products in the clothing industry from Taobao. For each product, aside from the product image, we obtain a query by rewriting the product title. Specifically, we conduct named entity recognition on the title using an in-house tool, which extracts the terms describing the style, color, category and texture of the product. These terms are then concatenated into a natural language query, which is used in image-text matching. The length of each query is between 6 to 12 words. The pairs of the query and corresponding product image are labeled as positive samples. The negative samples are constructed by randomly substituting the query in the original pairs. We require the model to perform binary classification to differentiate positive and negative samples.We compare our model with InterBert [ ], ඒ වගේම චීන multi-modal pre-trained model ක්රියාකාරී cross-modal classification downstream කාර්යයන්.The InterBert පාවිච්චි කරන්නේ ඔත්තු මත පදනම්ව විශේෂාංග සහ Taobao නිෂ්පාදන image-text දත්ත මත pre-trained කර ඇත. 25 ප්රතිඵල පෙන්නුම් කර ඇත Table It should be noted that the InterBert and M6-base are both implemented with transformer-based architecture and have similar model scales. However, M6-base still outperforms InterBert by 10.3%. In experiments, we find the product images generally contain relatively fewer detected objects, which may harm the performance on this task. In contrast, M6 avoids this problem by employing the patch features and achieves much better performance. 7. 5 RELATED WORK NLP පෙර පුහුණු කිරීම, BERT ඇතුළු විශාල සාර්ථකත්වය [ පින්තූර [ , , ඒ වගේම වෙනත් පර්යේෂණවලත් [...] , , , , ඒ වගේම පර්යේෂණවලදී ප් රදර්ශනය කරන ලද පර්යේෂණ ප් රදර්ශනය කරන ලද පර්යේෂණ ප් රදර්ශනය කරන ලද පර්යේෂණ ප් රදර්ශනය කරන ලද පර්යේෂණ ප් රදර්ශනය කරන ලද පර්යේෂණ ප් රදර්ශනය කරන ලද පර්යේෂණ ප් රදර්ශනය කරන ලද පර්යේෂණ ප් රදර්ශනය කරන ලද පර්යේෂණ ප් රදර්ශන [...] ] can be extended to different fields, including computer vision [ , ]. එබැවින්, පසුගිය පෙර පුහුණු ක්රම සහ cross-modal ප්රදර්ශන අධ්යයනය ඇතුළත් කිරීම සඳහා සරලම විසඳුම BERT පුළුල් කිරීමයි. ආකෘති ප්රවේශයෙන්, මූලික වශයෙන් තනි මාලාවක් ආකෘතිය සහ ද්විත්ව මාලාවක් ආකෘතිය ඇතුළු වර්ග දෙකක් ඇත. විශේෂයෙන්ම, තනි මාලාවක් ආකෘතිය සරල වන අතර එය මඟින් මාලාවක් ආකෘතිය බවට පත් වේ. මෙම ආකෘති ප්රධාන වශයෙන් ප්රදර්ශන ප්රදර්ශන කාර්යයන් හෝ input im-age විශේෂාංග ඉදිකිරීම තුළ වෙනස් වේ. මූලික වශයෙන්, ඔවුන් ප්රධාන වශයෙන් පෙර පුහුණු ආකෘති භාෂාව ආකෘති, මුස්ලිම් ඇස්තමේන්තු, සහ ඡායාරූප-ප්රකාශය ] and Unicoder-VL [ ] simply use BERT and are pretrained with the aforementioned tasks. UNITER [ ] pretrains the model with an additional task of word-region alignment. Oscar [ සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය සහ සංකේතය අතර සංකේතය අතරින් සංකේතය සහ සංකේතය සහ සංකේතය ] තවදුරටත් ඔවුන්ගේ යෝජිත විරුද්ධ ඉගෙනුම් ක්රම එකතු කිරීමෙන් ආදර්ශ ප්රතිපත්තිය වැඩි දියුණු කරයි ප්රතිපත්තිය පුහුණු කටයුතු හැර, සමහර අධ්යයන පින්තූරයේ විශේෂාංග මත අවධානය යොමු. multimodal ප්රතිපත්තිය ඉගෙනුම් සඳහා ප්රතිපත්තිය ප්රතිපත්තිය බොහෝ ප්රතිපත්තිය පුහුණු මාතෘකාව විසින් උපයා ඇති විශේෂාංග භාවිතා, කියවන්න Faster R-CNN [ ]. PixelBERT [ ] accepts raw images as input and extract their latent representations with a learnable ResNet [ ] or ResNext [ මාලිගාව [ ] splits the images into patches with a trained ResNet without co-training. Besides single-stream models, dual-stream models also can achieve outstanding performance, such as VilBERT [ ], LXMERT [ ] and InterBERT [ ]. ViLBERT-MT [ ] enhances model performance with multi-task finetuning. ERNIE-ViL [ ] enhances the model with the application of scene graph information. In spite of these successful cases, it still requires further researches to unmask the success of multimodal pretraining. 6 2 30 31 1 7 19 27 49 42 3 8 23 22 4 24 11 33 17 15 46 12 28 40 25 29 50 6 CONCLUSIONS In this work, we propose the largest dataset M6-Corpus for pre-training in Chinese, which consists of over 1.9TB images and 292GB texts. The dataset has large coverage over domains, including encyclopedia, question answering, forum discussion, common crawl, etc. We propose a method called M6 that is able to process information of multiple modalities and perform both single-modal and cross-modal understanding and generation. The model is scaled to large model with 10B and 100B parameters with sophisticated deployment, and both models are the largest multimodal pretrained models. We apply the model to a series of downstream applications, showing its versatility. More specifically, we design a downstream task of text-guided image generation, and the finetuned M6 can reach superior performance by producing images of high quality. අනාගතයේදී, අපි දත්ත හා ආකෘති ප්රමාණය වැඩි කිරීමෙන් අතිශයින් විශාල ආකෘති සඳහා ප්රමුඛ පුහුණු කිරීම දිගටම කර ගනිමු ප්රතිඵල සීමාව පරීක්ෂා කිරීම සඳහා, අපි තවදුරටත් පුළුල් කිරීම සඳහා තවත් පහළ ආකෘති සොයා ගැනීමට උත්සාහ කරමු. සබැඳි [1] Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang, Xiaodong Liu, Yu Wang, Jianfeng Gao, Songhao Piao, Ming Zhou, et al. 2020 Unilmv2: සන්නිවේදන භාෂා ආකෘති පෙර පුහුණු කිරීම සඳහා සංකීර්ණ භාෂා ආකෘති සඳහා සංකීර්ණ භාෂා ආකෘති. PMLR 642–652 International Conference on Machine Learning [2] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. 2020. Language models are few-shot learners. (2020 ක්) arXiv preprint arXiv:2005.14165 [3] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. 2020. End-to-end object detection with transformers. In . Springer, 213–229. European Conference on Computer Vision [4] Y en-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng, සහ Jingjing Liu. 2020 UNITER: විශ්ව පින්තූර-ටෙස් ප්රදර්ශනය ඉගෙනීම. . 104–120. ECCV 2020 [5] Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang, and Guoping Hu. 2020. Revisiting pre-trained models for chinese natural language processing. (2020 ක්) arXiv preprint arXiv:2004.13922 [6] ජේකොබ් ඩෙවිලින්, Ming-Wei Chang, Kenton Lee සහ Kristina Toutanova. 2019. BERT: භාෂාව තේරුම් ගැනීම සඳහා ගැඹුරු ද්විත්ව පරිවර්තකයන්ට පෙර පුහුණු කිරීම. . 4171–4186. NAACL-HLT 2019 [7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. 2019 ස්වාභාවික භාෂාව තේරුම් ගැනීම සහ පරම්පරාව සඳහා සංකේත භාෂා ආකෘති පෙර පුහුණුව. 13042 – 13054 NeurIPS 2019 [8] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xi-aohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, ආදිය. (2020 ක්) arXiv preprint arXiv:2010.11929 [9] Patrick Esser, Robin Rombach, සහ Björn Ommer. 2020 High-Resolution Image Synthesis සඳහා Taming Transformers. arXiv [cs.CV] :2012.09841 [10] William Fedus, Barret Zoph, and Noam Shazeer. 2021. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. abs/2101.03961 (2021). arXiv CoRR 0 0 0 0 0 0 0 0 0 0 https://arxiv.org/abs/2101.03961 [11] Zhe Gan, Yen-Chun Chen, Linjie Li, Chen Zhu, Yu Cheng, සහ Jingjing Liu. 2020 Vision-and-Language Representation Learning සඳහා විශාල ප්රමාණයේ විරුද්ධ පුහුණුව. . නවීන 2020 [12] Dehong Gao, Linbo Jin, Ben Chen, Minghui Qiu, Peng Li, Yi Wei, Yi Hu, හා Hao Wang. 2020. Fashionbert: ක්රියාකාරී පරාජය සමග ගැලපෙන පින්තූර සහ පින්තූර cross-modal retrieval සඳහා. 2251 – 2260 SIGIR 2020 [13] Haoyuan Gao, Junhua Mao, Jie Zhou, Zhiheng Huang, Lei Wang, සහ Wei Xu. 2015 ඔබ යන්ත්රය සමඟ කතා කරනවාද? දත්ත එකතු කිරීම සහ භාෂා ගණනාවක් ඡායාරූප ප්රශ්න පිළිතුරු ක්රම. (2015). arXiv ප්රවෘත්ති arXiv:1505.05612 [14] Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative adversarial networks. (2014 දී) arXiv preprint arXiv:1406.2661 [15] Kaiming He, Xiangyu Zhang, Shaoqing Ren, සහ Jian Sun. 2016 Image Recognition සඳහා ගැඹුරු ඉතිරි අධ්යයනය. . 770–778. CVPR 2016 [16] Pengcheng He, Xiaodong Liu, Jianfeng Gao, සහ Weizhu Chen. 2020 De-berta: විවෘතව අවධානය යොමු කිරීමෙන් වැඩි දියුණු බට්. (2020). arXiv ප්රවෘත්ති arXiv:2006.03654 [17] Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu, and Jianlong Fu. 2020. Pixel-bert: Aligning image pixels with text by deep multi-modal transformers. (2020). arXiv preprint arXiv:2004.00849 [18] Zihang Jiang, Weihao Yu, Daquan Zhou, Yunpeng Chen, Jiashi Feng, and Shuicheng Yan. 2020. Convbert: Improving bert with span-based dynamic convolution. (2020). arXiv ප්රවෘත්ති arXiv:2008.02496 [19] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, සහ Radu Soricut. 2019 ALBERT: භාෂා ප්රදර්ශන ස්වාධීන අධ්යයනය සඳහා ටිකක් BERT. abs/1909.11942 (2019). CoRR [20] Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer, and Zhifeng Chen. 2020. Gshard: Scaling giant models with conditional computation and automatic sharding. (2020). arXiv preprint arXiv:2006.16668 [21] Mike Lewis, Shruti Bhosale, Tim Dettmers, Naman Goyal, and Luke Zettle-moyer. 2021. BASE Layers: Simplifying Training of Large, Sparse Models. එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස්එස් CoRR [22] Gen Li, Nan Duan, Yuejian Fang, Daxin Jiang, and Ming Zhou. 2019. Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training. අග් රාමාත් යවරයකු 2019 CoRR [23] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, සහ Kai-Wei Chang. 2019 VisualBERT: Vision and Language සඳහා සරල හා ප්රතිඵලදායි මූලික ලැයිස්තුව. අග් රාමාත් යවරයකු 2019 CoRR [24] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, and Jianfeng Gao. 2020. Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks. විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය විනිශ්චය කොරෝ [25] Junyang Lin, An Yang, Yichang Zhang, Jie Liu, Jingren Zhou, and Hongxia Yang. 2020. Interbert: Vision-and-language interaction for multi-modal pretraining. (2020). arXiv preprint arXiv:2003.13198 [26] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. 2014. Microsoft COCO: Common Objects in Context. In 740 - 755 ක් ECCV 2014 [27] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, සහ Veselin Stoyanov. 2019 RoBERTa: ශක්තිමත් ලෙස පරිපූර්ණ BERT පෙර පුහුණු ප්රවේශය. අග් රාමාත් යවරයකු / අග් රාමාත් යවරයකු (2019) CoRR [28] Jiasen Lu, Dhruv Batra, Devi Parikh, සහ Stefan Lee. 2019 ViLBERT: vision-and-language tasks සඳහා Task-Agnostic Visiolinguistic ප්රදර්ශන ප්රදර්ශනය කිරීම. 13 - 23 නවීන 2019 [29] Jiasen Lu, Vedanuj Goswami, Marcus Rohrbach, Devi Parikh සහ Stefan Lee. 2019 12-in-1: Multi-Task Vision and Language Representation Learning. abs/1912.02315 (2019). කොරෝ [30] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving language understanding by generative pre-training. (2018). URL languageunsupervised/language understanding paper. pdf https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ [31] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, සහ Ilya Sutskever. [n.d.]. භාෂා ආකෘති අධීක්ෂණය නොකළ මාලිගික ඉගෙනුම්කරුවන් වේ. ([n.d.]) [32] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, සහ Ilya Sutskever. 2021. Zero-Shot Text-to-Image Generation. arXiv [CV ක් රමය] :2102.12092 [33] Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. 2015. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. In . 91–99. NeurIPS 2015 [34] Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016. Neural Machine Translation of Rare Words with Subword Units. In . ACL 2016 [35] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, and Jeff Dean. 2017. Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. (2017). arXiv preprint arXiv:1701.06538 [36] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, සහ Bryan Catanzaro. 2019 Megatron-LM: ආකෘති අනුකූලතාවය භාවිතා කිරීමෙන් බිලියන ගණනක් ප්රමාණ භාෂා ආකෘති පුහුණු කිරීම. (2019 දී) arXiv ප්රවෘත්ති arXiv:1909.08053 [37] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, සහ Tie-Yan Liu. 2019 MASS: භාෂා පරම්පරාව සඳහා මුද් රිත සංචිතයට පෙර පුහුණු කිරීම. . 5926–5936. ICML 2019 [38] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei, සහ Jifeng Dai. 2020 VL-BERT: සාමාන්ය දර්ශනීය භාෂා ප්රදර්ශන සඳහා පෙර පුහුණු කිරීම. . ICLR 2020 [39] Maosong Sun, Jingyang Li, Zhipeng Guo, Z Yu, Y Zheng, X Si, සහ Z Liu. 2016 Thuctc: ඵලදායී චීන භාෂා සංස්කරණය. (2016). GitHub ගබඩාව [40] Hao Tan සහ Mohit Bansal. 2019 LXMERT: Transformer වලින් Cross-Modality Encoder Representations ඉගෙනීම. . 5099–5110. EMNLP-IJCNLP 2019 [41] Aäron van den Oord, Oriol Vinyals, සහ Koray Kavukcuoglu. 2017 නයිරෝලීය සංවේදී ප්රදර්ශනය ඉගෙනීම. . NIPS [42] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, හා Illia Polosukhin. 5998 – 6008 NeurIPS 2017 [43] Ang Wang, Xianyan Jia, Le Jiang, Jie Zhang, Yong Li, and Wei Lin. 2020. Whale: A Unified Distributed Training Framework. (2020 ක්) arXiv ප්රවෘත්ති arXiv:2011.09208 [44] Wei Wang, Bin Bi, Ming Yan, Chen Wu, Zuyi Bao, Jiangnan Xia, Liwei Peng, සහ Luo Si. 2019 Structbert: භාෂා ව්යුහයන් ගැඹුරු භාෂා තේරුම් ගැනීම සඳහා පෙර පුහුණුව ඇතුළත් කිරීම. (2019 දී) arXiv preprint arXiv:1908.04577 [45] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. 2016 Google හි ස්නායු යන්ත්ර පරිවර්තන පද්ධතිය: මානව පරිවර්තන හා යන්ත්ර පරිවර්තන අතර වෙනස බිඳ දැමීම. (2016 දී) arXiv preprint arXiv:1609.08144 [46] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, සහ Kaiming He. 2017 ගැඹුරු අර්ධ ජාල සඳහා සංඛ්යාත ඉතිරි පරිවර්තනය. . 1492–1500. CVPR 2017 [47] Liang Xu, Xuanwei Zhang, සහ Qianqian Dong. 2020. CLUECorpus2020: ප්රමුඛ පුහුණු භාෂා ආකෘතිය සඳහා විශාල ප්රමාණයේ චීන Corpus. (2020 ක්) arXiv ප්රවෘත්තිය arXiv:2003.01355 [48] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, සහ Xiaodong He. 2018 Attngan: අවධානය යොමු කර ඇති විරුද්ධ විරුද්ධ ජාල සමග ඡායාරූප නිෂ්පාදනය සඳහා දෘෂ්ටික පෙළක්. 1316 සිට 1324 දක්වා පරිගණක දර්ශනය සහ ආකෘති හඳුනා ගැනීමේ IEEE සමුළුව [49] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov, and Quoc V. Le. 2019. XLNet: Generalized Autoregressive Pretraining for Language Understanding. In 5754 සිට 5764 දක්වා නවීන 2019 [50] Fei Yu, Jiji Tang, Weichong Yin, Yu Sun, Hao Tian, Hua Wu, හා Haifeng Wang. 2020 Ernie-vil: දැනුම වේදිකාව ග්රැෆික් හරහා දර්ශන භාෂා ප්රදර්ශන වැඩි දියුණු. (2020 ක්) arXiv ප්රවෘත්තිය arXiv:2006.16934 [51] Luowei Zhou, Hamid Palangi, Lei Zhang, Houdong Hu, Jason J. Corso, and Jianfeng Gao. 2020. Unified Vision-Language Pre-Training for Image Captioning and VQA. In . 13041–13049. 2020 දිනය මෙම ලිපිය CC by 4.0 Deed (Attribution 4.0 International) බලපත් ර යටතේ ලබා ගත හැකිය. This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. ලියාපදිංචි