Запознайте се с M6: китайският AI, който разбира текст и изображения в мащаб

на авторите: Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, China) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Group, China) An Yang, ya235025@alibaba-inc.com (Alibaba Group, China) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba Group, China) Ming Ding, dm18@mails.tsinghua.edu.cn (Tsinghua University, China) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, China) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, China) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Group, China) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, China) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, China) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, China) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, China) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Group, China) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, China) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Group, China) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, China) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Group, China) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, China) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Group, China) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Group, China) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Group, China) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, China) Jie Tang, jietang@tsinghua.edu.cn (Tsinghua University, China) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Group, China) на авторите: Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, Китай) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Group, Китай) An Yang, ya235025@alibaba-inc.com (Alibaba Group, Китай) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba Group, Китай) Ming Ding, dm18@mails.tsinghua.edu.cn (Университет на Цинхуа, Китай) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, Китай) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, Китай) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Group, Китай) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, Китай) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, Китай) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, Китай) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, Китай) Xu Zou, zoux18@mails.tsinghua.edu.cn (Университет на Цинхуа, Китай) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Group, Китай) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, Китай) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Group, Китай) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, Китай) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Group, Китай) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, Китай) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Group, Китай) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Group, Китай) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Group, Китай) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, Китай) Jie Tang, jietang@tsinghua.edu.cn (Университет на Цинхуа, Китай) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Group, Китай) абстрактна В тази работа ние изграждаме най-големия набор от данни за мултимодално предварително обучение на китайски език, който се състои от над 1,9TB изображения и 292GB текстове, които обхващат широк спектър от домейни. Позовавайки се на накрая- Отдаване на накрая- Одолите ултиматум ега-трансформатор, за единно предварително обучение на данните за единични и множество модалитети. Ние прилагаме модела към редица приложения надолу по веригата и демонстрираме изключителната си производителност в сравнение със силните базови линии.В допълнение, ние специално проектираме задача надолу по веригата за генериране на изображения, ръководени от текст, и показваме, че M6 може да създава висококачествени изображения с висока резолюция и изобилие от детайли. M6 M M M M M M 100 billion Ключови думи Multimodal Pretraining; Multitask; Text-to-Image Generation 1 Въведение Предварителното обучение се превърна в фокус в научните изследвания в областта на обработката на естествения език (NLP) [ , , , , , , , , , , ]. Неотдавнашният GPT-3 с над 175 милиарда параметъра демонстрира, че големите модели, обучени по големи данни, имат изключително голям капацитет и могат да превъзхождат състоянието на най-съвременните в задачите надолу по веригата, особено в настройката с нулев удар. , , , , , , , , , ] са създали нови най-съвременни изпълнения за различни кръстосано-модални задачи надолу по веригата. 1 2 7 16 18 19 27 31 37 44 49 4 11 17 22 24 25 28 29 38 51 Съжаляваме, че най-новите проучвания се фокусират върху предварителното обучение по английски данни. Липсват както мащабни набори от данни в китайски, така и мащабни модели, предварително обучени по китайски данни. Следователно, в тази работа, ние разработваме мащабен набор от данни M6-Corpus, който се състои от над 1.9TB изображения и 292GB текстове. Доколкото знаем, това е най-големият набор от данни в китайски за предварително обучение както в мултимодалността, така и в естествения език. Наборът от данни, събрани от уеб страниците, се състои от различни видове данни и обхваща голям мащаб от домейни, включително енциклопедия, отговори на въпроси, дискусия във форума, описание на продукта и т.н. Също така Освен това, за да се възползваме достатъчно от такова голямо количество висококачествени данни, предлагаме да се изгради изключително голям модел, който може да обработва данни от множество модальности и да се адаптира към различни видове задачи надолу по веригата. По този начин предлагаме нов модел, наречен M6, позовавайки се на MultiModality-to-MultiModality Multitask Mega-трансформатор. Моделът се основава на трансформатора и е предварително обучен с множество задачи. и , които се мащабират съответно до 10 милиарда и 100 милиарда параметри. Ние прилагаме модела към поредица от приложения надолу по веригата, включително генериране на описание на продукта, отговаряне на визуални въпроси, отговаряне на въпроси на общността, генериране на китайски стихове и т.н., а нашите експериментални резултати показват, че M6 превъзхожда поредица от силни бази. М6-10Б М6-100Б М6-100Б Друг принос на тази работа е, че първо интегрираме предварително обучение с генериране на текст към изображение. , използваме двустепенна рамка за генериране на изображения. За да бъдем по-конкретни, прилагаме обучена векторно-квантизирана генерираща враждебна мрежа за представяне на изображения с дискретни кодове за изображения, а след това използваме предварително обучената M6 за изучаване на взаимоотношенията между текстове и кодове. [32] от За да обобщим, вноските на M6 са както следва: We collect and build the largest Chinese multi-modal pre-training data in industry, which includes 300GB texts and 2TB images. Предлагаме M6 за мултимодално предварително обучение на китайски език и мащабираме размера на модела до 10 и 100 милиарда параметъра. M6 е гъвкав и надхвърля силните базови стойности с 11.8% при VQA, 18.4 при подписване на изображения и 10.3% при съвпадение на изображение с текст. With carefully designed large-scale distributed training optimizations, M6 has obvious advantages in training speed and greatly reduces training costs, creating the possibility for more widespread use of multi-modal pretraining. 2 Данни Ние събираме и разработваме най-големия мултимодален и текстов набор от данни на китайски засега, което е един от ключовите приноси на тази статия.В този раздел първо идентифицираме ограниченията на съществуващите набори от данни и след това описваме процедурата за изграждане и предварителна обработка на предлагания от нас набор от данни. 2.1 Съществуващи данни Изграждането на мащабен корпус с високо качество и покритие е от решаващо значение за китайското предварително обучение. В ранните предишни работи, китайската Уикипедия1 е един от най-често използваните набори от данни за обучение на китайски езикови модели. Той съдържа 1.6GB текстове (около 0.4B токени), обхващащи около 1M записи в енциклопедията. ] набор от данни, който включва 740K новинарски статии. Въпреки това, с бързо нарастващия капацитет на последните езикови модели, мащабът на тези съществуващи набори от данни е явно недостатъчен. Използват непубликувани разширени данни, които са 10 пъти по-големи от CN-Wikipedia, за да подготвят своя китайски езиков модел. 39 [5] пусна 100GB корпус, наречен CLUECorpus2020, който е преработен от многоезичния Common Crawl набор от данни. Въпреки това, мащабът на наборите от данни все още е недостатъчен, за да улесни свръхширокомащабното предварително обучение в сравнение с съществуващите английски предварително обучени модели. Например, GPT-3 съдържа 175B параметри и се обучава на 570GB текстове. Междувременно, наборът от данни трябва да съдържа двойки изображение-текст, а не обикновени текстове за мултимодално предварително обучение. [Прочети още] 2.2 Стандарти за висококачествена база данни За да извършим мащабно мултимодално предварително обучение и да научим сложни световни знания на китайски, наборът от данни е силно необходим, за да предоставим както обикновени текстове, така и двойки изображения-текст в супер голям мащаб, обхващащ широк спектър от домейни. За да извършим мащабно мултимодално предварително обучение на китайски, ние се фокусираме върху изграждането на мащабни набори от данни на китайски. По-специално, докато обединяваме нашето предварително обучение както за естествен език, така и за мултимодални, ние изграждаме големи набори от данни както за прости текстове, така и за двойки изображения-текст. Ние се интересуваме от получаване на мащабни данни, които обхващат широк спектър Въпреки че има огромно количество текстови ресурси и изображения в световната мрежа, корпусът за мултимодално предварително обучение се счита за по-добър, когато отговаря на следните свойства: (1). изреченията трябва да бъдат естествен език в рамките на нормална дължина и не трябва да съдържат безсмислени токени, като маркировки, дублиращи се пунктуационни знаци, случайни комбинации от знаци и т.н.; (2) изображенията трябва да са естествени и реалистични, а резолюциите на изображенията трябва да бъдат разпознаваеми от хората; (3) както текстовете, така и изображенията не трябва да съдържат незаконно съдържание, като порнография, насилие и т.н.; (4) изображенията и текстовете трябва да са семантично релевантни; (5) наборите от данни трябва да обхващат широк кръг от области, например спорт, политика, наука и т.н., и следователно могат да предоставят на модела достатъчно знания за света. 2.3 Изграждане на бази данни Based on the requirements above, we collect data of both plain texts and image-text pairs. There are different types of data, including encyclopedia, crawled webpage, community question answering, forum, product description, etc. We present the details in Table Събраният корпус се състои от обикновенни текстове и двойки изображения-текст, които са съвместими с проектираните текстови и мултимодални задачи за предварително обучение. Също така, данните имат голямо покритие в области като наука, забавление, спорт, политика, смисъл на живота и т.н. Също така сме сравнили някои характеристики на нашия корпус с съществуващите набори от данни, използвани за китайско предварително обучение в Таблица Размерът на нашия набор от данни е много по-голям от предишните.По наше знание, това е първият мащабен, мултимодален и мултидомен корпус за китайско предварително обучение. 3. 2. We implement sophisticated preprocessing to obtain clean data. For text data, we first remove HTML markups and duplicate punctuation marks, and we only reserve characters and punctuation marks that are in Chinese and English. We remove the topics that are shorter than 5 characters and contents shorter than 15 characters. We further apply in-house spam detection to remove sentences that contain words related to certain political issues, pornography, or words in the list of dirty, naughty, and other bad words. In order to preserve the linguistic acceptance of the texts, we implement a language model to evaluate their perplexities, and sentences with high perplexities are discarded. Only images with at least 5000 pixels are reserved for pretraining. A sequence of classifiers and heuristic rules are applied to filter out images containing illegal content. We also use a pretrained image scorer to evaluate the qual-ities of images. For images and texts in crawled webpages, we only consider images and their surrounding text as relevant image-text pairs. Other sentences in the webpages are discarded. 3 М6 рамка Мултимодалното предварително обучение се възползва както от силата на самообслужваната трансформаторна архитектура, така и от предварителното обучение по мащабни данни.Ние се стремим да предоставим на модела силна способност за кръстосано разбиране и генериране. което се отнася до накрая- Сърдечно- накрая- Одолите ултиматум Аз съм трансформатор. M6 M M M M M M 3.1 Визуални и езикови входове Основните мултимодални методи за предварително обучение трансформират изображенията в последователности чрез откриване на обекти. Въпреки това, изпълнението на обектите за откриване, както и изразителността на техните гръбначни части, силно влияят на окончателното представяне на предварително обучените модели в задачите надолу по веригата. Ние наблюдаваме, че голяма част от изображенията съдържат само няколко обекта. Вземете изображенията на данните от електронната търговия като пример. Ние произволно вземаме проби от 1M изображения и извършваме откриване на обекти върху изображенията. Резултатите показват, че над 90% от изображенията съдържат по-малко от 5 обекта. Също така, обектите имат голямо припокриване помежду си. За да облекчим такова влияние, ние се , , Ние използваме WordPiece [ , За да се отървете от тях и да се отървете от тях, следвайте инструкциите за употреба. 4 11 24 34 45 [6] Също така 3.2 Унифициран кодекс-декодер Ние интегрираме вградените изображения ei и думата embeddings et в кръстосаната последователност e = {ei, et }. Ние изпращаме последователността до гръбначния стълб на трансформатора за извличане на функции на високо ниво. За да различим техните представяния, добавяме съответните вградени сегменти за различни модалности. Блокът за изграждане е идентичен с този на BERT или GPT, който се състои от мрежа за самообслужване и точка-напредна мрежа (FFN). На върха на гръбначния стълб на трансформатора добавяме изходен слой за прогнозиране на думи и по този начин свързваме тежестите му с тези на вградения слой. В единната рамка ние използваме различни стратегии за маскиране, за да позволим кодиране и декодиране. Входът е сегментиран на три части, включително визуални входове, маскирани езикови входове и пълни езикови входове. Прилагаме двупосочно маскиране както на визуалните входове, така и на маскираните езикови входове, и прилагаме причинно маскиране на пълните езикови входове. 3.3 Предварителни методи Претренираме модела с многозадачната настройка, включително прехвърляне на текст към текст, прехвърляне на изображение към текст и прехвърляне на мултимодалност към текст. Както е показано на фигурата Моделът се учи да извършва текстово денозиране и езиково моделиране в настройките за прехвърляне на текст към текст.В текстовото денозиране ние маскираме входящия текст с пропорция, която е 15% в практиката след BERT [ ]. По-специално, ние маскираме непрекъснат обхват на текста с една маска, а моделът трябва да се научи да декодира цялата последователност. Това насърчава модела да се научи както на възстановяване, така и на прогнозиране на дължината. Освен това, за да се подобри способността на модела в поколението, добавяме набор от езиково моделиране, където кодера не получава входове и декодера се учи да генерира думи въз основа на предишния контекст. Text-to-text Transfer 3, 6 Прехвърлянето на изображение към текст е подобно на подзаглавието на изображение, където моделът получава визуалната информация като вход и се учи да генерира съответното описание.В тази настройка, ние добавяме горепосочената последователност от функции на патча към входа и оставяме маскирания вход празен.Моделът кодира функциите на патча и декодира съответния текст. Image-to-text transfer Based on the setup of image-to-text transfer, we additionally add masked linguistic inputs, and thus the model should learn to generate the target text based on both the visual information and the noised linguistic information. This task allows the model to adapt to the downstream tasks with both visual and linguistic inputs. Multimodality-to-text transfer 3.4 Мащабиране до 10 и 100 милиарда параметри Увеличаваме размера на модела до 10 милиарда параметри и 100 милиарда параметри, които се наричат M6-10B и M6-100B. Увеличаването на размера на модела осигурява много по-голям капацитет за модела, че той може да научи знания от повече данни. За да бъдем по-конкретни, увеличаваме размера на скритите състояния и броя на слоевете.За по-добро оползотворяване на GPU паметта, прилагаме смесено обучение с точност и проверка на активирането, за да запазим паметта.Въпреки това, моделът не може да се впише в един GPU и по този начин използваме паралелизъм на модела, за да разделим мрежите за подаване и фокусиране на вниманието на няколко GPU след внедряването на Megatron-LM [36] Също така Въпреки това, директно скалиране до M6-100B е много по-трудно, тъй като има повече предизвикателства за изчислителните ресурси. , , ], we combine Mixture-of-Experts (MoE) with M6 to build the version of 100 billion parameters. Note that the original MoE requires mesh-tensorflow as well as TPUs. This sets limits for a number of researchers without such resources. Thus we implement the M6-100B with MoE with our in-house framework Whale [ ] to perform model parallelism with GPUs. We demonstrate the key statistics of the models of different scales in Table 10 20 35 43 4. Specifically, different from the conventional FFN layer, the MoE layer is a parallel combination of multiple FFN layers, each of which acts as an expert. This is also called expert parallelism. The model first learns a sparse gating network to route the tokens to specific experts. Thus each token is only sent to a small set of experts and the computation can be much less compared with that in dense models. This kind of model is highly efficient as it realizes data parallelism and expert parallelism across workers. The computation of MoE layer for a specific token 𝑥 can be described as below: където g(·) се отнася до функцията за рядко преминаване, а T се отнася до индексите на топ-к стойностите на g(·). В експертния паралелизъм параметрите на експертите не се споделят между работниците, докато тези на другите части са идентични между работниците. Следователно е необходимо да се извърши комуникация между всички работници в слоевете на MoE, за да се изпратят токени до избрани експерти и да се комбинират с техните оригинални експерти. Федерер и др. Прилагаме MoE на TPU с един експерт във всеки MoE слой на TPU, прилагаме нашия модел на GPU на Nvidia, където има няколко експерти във всеки MoE слой на GPU, за да се използва напълно паметта. Тъй като комуникацията с всички отнема много време, оптимизацията за подобряване на ефективността е много значима. Прилагаме серия от оптимизации, включително полупрецизна комуникация. Ключов проблем е балансирането на натоварването, което означава, че токените могат да се събират само до няколко експерти поради динамичното маршрутизиране. , прилагаме експертен капацитет, който се отнася до броя на токените за експерт (C = N - c / m, където C се отнася до експертния капацитет, N се отнася до броя на токените в партида, c се отнася до коефициента на капацитета (което е хиперпараметър обикновено по-голям от 1.0) и m се отнася до броя на експертите), за да облекчи този проблем. [ 20 ] [10] Съдържание [10] Съдържание В допълнение към оптимизацията в комуникацията „всички към всички“ ние съпоставяме топ 2 и топ 1 и откриваме, че те могат да постигнат подобни модели в заблуда, докато последните се сближават малко по-бавно. Ефективността на топ 1 позволява по-бързи изчисления. Освен това ние прилагаме методи за оптимизация на паметта за по-висока ефективност. Ние откриваме, че градиентното отрязване в световен мащаб може да увеличи разходите за комуникация „всички към всички“, тъй като изчислява нормите на всички експерти и по този начин прилагаме локално отрязване за спестяване на памет. Ние прилагаме M6-100B с около 100 милиарда параметъра на 128 Nvidia A100s и скоростта на предварително обучение достига 1440 проби/s ( Ние демонстрираме, че използването на структурата на MoE за скалиране на размера на модела е ефективно и може да постигне подобна производителност на M6-10B, най-големия плътен модел, в рамките на 2-3 пъти по-кратък период от време.Негативният лог на M6-100B достига −2.297, в сравнение с M6-10B, който достига −2.253, но с два пъти по-дълъг период от време.2 Това показва, че моделът на M6 на базата на MoE има предимства във времето в сравнение с плътните модели с много повече FLOP. 4 APPLICATIONS 4.1 Текстово-изобразително поколение Предишни проучвания се фокусираха главно върху генерирането на ограничен домейн, сред които Generative Adversarial Nets (GANs) [ , ] са доминиращи методи.Следвани от Ramesh et al. Ние използваме двустепенна рамка за генериране на текст към изображение, включително дискретно представяне и езиково моделиране. 14 48 [32] от In the first stage, we focus on transforming images into sequences of discrete codes. There are a number of alternatives for discrete code generation, including VQVAE [ ] and VQGAN [ ]. Във втория етап е необходимо да се изгради езиков модел, за да се научим да генерираме текст и кодова последователност. В фините настройки добавяме слоеве за вграждане и изход на кода към предварително обучения M6. Концентрираме последователността на думата и горепосочената генерирана последователност на кода като вход и задаваме целта за авторегресивно езиково моделиране за обучението. На етапа на заключение въвеждаме текстовата последователност и моделът генерира кодове авторегресивно с изваждане на извадки. Последната стъпка е да трансформираме последователността на кода в изображение с генератора от първия етап. 41 9 Ние изграждаме набор от данни за генериране на текст към изображение в електронната търговия. По-специално, ние събираме над 50 милиона заглавия на продукти и изображения от мобилния Taobao. Ние прилагаме серия от методи за обработка на изображенията, за да филтрираме неквалифицираните. Ние филтрираме изображенията със сложни фонови характеристики (характери, модели и т.н.) с вътрешния детектор на изображения с бял фон и OCR модел. След това филтрираме изображенията с над 3 обекта с нашия вътрешен обектен детектор, базиран на Faster R-CNN [ ]. We finally obtain 1.8m high-quality product image-text pairs for finetuning. Compared with the images in the general domains, our collected data have the following features. The image and text are highly correlated as the text describes key features of the product, and there is no complex background in the images, which is easier to learn compared with the images in the public datasets such as MSCOCO 33 [26]. Показваме два примера на фигура и фигура Може да се установи, че генерираните изображения са с високо качество и генерираните обекти приличат на реални. , откриваме, че моделът е в състояние да си представи елементи според заявката Способността на въображението осигурява пространство за творчески дизайн в реални промишлени сценарии, като например дизайн на дрехи, дизайн на обувки и др. 4 5. 6 Камуфлажни обувки с високи токчета (военни тапицерии) We also finetune M6 under our proposed framework on another dataset which contains 3 million images crawled from the Internet, which cover more general domains. And we find that the model can adapt to different domains. As shown in Figure Моделът е в състояние да генерира клип изкуства на роботи.Това разкрива гъвкавостта на рамката в текстово-изображение генериране. 7 , 4.2 Визуални отговори Демонстрираме нашите експериментални резултати върху набор от данни, отговарящи на визуални въпроси, и илюстрираме как директно прилагаме предварително обучения M6 към приложението VQA. We leverage the FMIQA dataset [ ] as the Chinese visual QA benchmark, which requires the model to generate the answer given an image and a question. We implement a transformer-based model as our baseline. For the evaluation, we split the test set manually by random sampling 200 from the dataset as there is no official release of the test set, and we evaluate the overall accuracy by human evaluation. The results are demonstrated in Table The pretrained M6-base outperforms the baseline by a large margin (+6.2%), which indicates the effectiveness of multimodal pretraining. Scaling up the model to M6-10B further brings 5.2% improvement. 13 5. Furthermore, we show that simply finetuning on such a small VQA dataset may limit the potential of M6. Therefore, we directly leverage M6 for the VQA application. We find that the model is able to recognize general features and provide more related knowledge based on its understanding. Though the model pretrained on pseudo-parallel image-text pairs cannot directly answer questions about detailed features, such as color, number, etc., it is able to answer questions related to background knowledge. We demonstrate some examples in Figure 8. 4.3 Изобразяване Изображението изисква от модела да генерира надпис, който описва дадения образ, който изследва способността на модела за генериране на кръстосано модално изображение. Ние изграждаме набор от данни (наречен E-Commerce IC), съдържащ двойки описания на продукти и изображения на продукти от Taobao. Тъй като твърде дългите или твърде късите описания могат да бъдат шумни, ние изхвърляме двойки с описание по-дълго от 100 думи или по-малко от 10 думи. За да избегнем мръсни поколения, ние допълнително използваме вътрешен инструмент за филтриране на описания, които могат да съдържат мръсни думи (т.е. порнографски или насилствени думи). Накрая, E-Commerce IC съдържа около 260k двойки текстови Ние сравняваме нашия модел с изходна линия на трансформатора в човешката оценка. Поискаме от няколко анотатори с езиков произход да оценят от три гледни точки: граматика (дали текстът е течен без граматическа грешка), коректност (дали текстът е верен на изображението), богатство (дали текстът е информативен и привлекателен). По време на оценката ние произволно вземаме 100 изображения от теста. The results in Table show that M6-base outperforms the baseline in all of the metrics. We find that all models achieve high scores in grammar. However, in both correctness and richness, M6-base outperforms the baseline model by a large margin (+18.2% and +14.4%), indicating that multimodal pretraining helps to generate more faithful, informative and attractive texts. Scaling up the model to M6-10B further improves the correctness and richness (about 14.7% and 7.0%). Figure 9 illustrates two examples of image caption. 6 4.4 Question Answering To demonstrate the potential availability in the applications of intelligent chatbots, we further employ the M6 model to generate long answers in the style of forum discussion. Human-generated questions are collected from various Chinese forums, which are input to the model to generate the answer. At the stage of inference, we append a question mark and a token За да улесним генерирането на по-дълги и по-информативни текстове, избираме по-сложни въпроси. “Answer:” фигура demonstrates an example of general question answer-ing. The model can illustrate a man’s own experiences that are related to the question and also point out the answer at the end. This generated text confused human annotators and passed the Turing Test. It shows that the model can not only answer general questions but also generate long fluency text. 10 4.5 Poem Generation Прилагаме предварително обучения модел към китайското поколение стихотворения.Моделът е в състояние да генерира жанрове с ограничения на формата. Ancient Chinese poetry has various specific formats. We adopt the simplest constraints that The poem shall be consisted of at least 4 lines. The total number of lines shall be even. Всяка линия трябва да съдържа точно 5 или 7 думи. All lines shall have the same number of words. Text generation under format constraint is done in a search framework that we generate short sentences ending with punctuation until the number of words meets the constraint. We repeat this process until the model generates an " " token, or the number of lines exceeds a limit of 16. Figure Това е пример за създаване на поезия. 11 4.6 Съвпадение на изображения с текст Ние оценяваме способността на модела в кръстосаното търсене. По-специално, ние изграждаме набор от данни (наричан E-Commerce ITM), съдържащ двойки текстове и изображения от мобилния Taobao. Всяка двойка принадлежи към един елемент. ние събираме 235K продукти в облекло индустрия от Taobao. За всеки продукт, освен за изображението на продукта, ние получаваме заявка чрез пренаписване на заглавието на продукта. Тези термини след това се свързват в естествен език за заявка, която се използва при съвпадение на изображение с текст. Дължината на всяка заявка е между 6 и 12 думи. Двойките на заявката и съответното изображение на продукта са етикетирани като положителни образци. We require the model to perform binary classification to discriminate positive and negative samples. We compare our model with InterBert [ ], which is also a Chinese multi-modal pretrained model effective in cross-modal classification downstream tasks. The InterBert utilizes object-based features and has been pretrained on Taobao product image-text data as well. 25 The results are shown in Table It should be noted that the InterBert and M6-base are both implemented with transformer-based architecture and have similar model scales. However, M6-base still outperforms InterBert by 10.3%. In experiments, we find the product images generally contain relatively fewer detected objects, which may harm the performance on this task. In contrast, M6 avoids this problem by employing the patch features and achieves much better performance. 7. 5 RELATED WORK Огромният успех на NLP предварително обучение, включително BERT [ ГПК е [ , , ], and also some other related studies [ , , , , ], вдъхновява научните изследвания в трансмодалното представяне на ученето. Също така, последните проучвания показват, че повсеместната архитектура на Трансформера [ ] can be extended to different fields, including computer vision [ , ]. Следователно, най-простото решение за интегриране на последните методи за предварително обучение и обучение за трансмодално представяне е разширяването на BERT. От гледна точка на архитектурата има главно два вида, включително модел на един поток и модел на двоен поток. По-специално, моделът на един поток е прост и постепенно се превръща в основна архитектура. Тези модели най-вече се различават в дизайна на задачите за предварително обучение или изграждането на входни функции на im-age. По принцип те са предимно предварително обучени маскирани езикови модели, маскирана класификация на обекти и съвпадение на изображение-текст. VisualBERT [ ] и Unicoder-VL [ ] simply use BERT and are pretrained with the aforementioned tasks. UNITER [ ] pretrains the model with an additional task of word-region alignment. Oscar [ ] подобрява изравняването между обектите и съответните им думи или фрази. VILLA [ ] further improves model performance by adding their proposed adversarial learning methods to pretraining and finetuning. Except for pretraining tasks, some studies focus on the features of images. Most pretraining methods for multimodal representation learning utilize the features generated by a trained object detector, say Faster R-CNN [ ]. PixelBERT [ ] приема сурови изображения като вход и извлича латентните им представяния с научим ResNet [ ] или Следваща [ Модата на модата [ ] splits the images into patches with a trained ResNet without co-training. Besides single-stream models, dual-stream models also can achieve outstanding performance, such as VilBERT [ ], LXMERT е [ ] and InterBERT [ ]. ViLBERT-MT [ ] подобрява производителността на модела с многозадачно финализиране. ERNIE-ViL [ Въпреки тези успешни случаи, все още се изискват по-нататъшни изследвания, за да се разкрие успеха на мултимодалното предварително обучение. 6 2 30 31 1 7 19 27 49 42 3 8 23 22 4 24 11 33 17 15 46 12 28 40 25 29 50 6 CONCLUSIONS В тази работа ние предлагаме най-големият набор от данни M6-Corpus за предварително обучение на китайски език, който се състои от над 1,9TB изображения и 292GB текстове. Наборът от данни има голямо покритие на домейни, включително енциклопедия, отговаряне на въпроси, дискусия на форуми, общ сканиране и т.н. Ние предлагаме метод, наречен M6, който може да обработва информация от множество модалии и да изпълнява едномодално и кръстомодално разбиране и генериране. Моделът е мащабиран до голям модел с 10B и 100B параметри с усъвършенствано внедряване и двата модела са най-големите мултимодални предварително обучени модели. Ние прилагаме модела към поредица от приложения надолу по веригата, показвайки своята г In the future, we will continue the pretraining of extremely large models by increasing the scale of data and models to explore the limit of performance, and we also endeavor to search for more downstream applications for further generalization. REFERENCES [1] Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang, Xiaodong Liu, Yu Wang, Jianfeng Gao, Songhao Piao, Ming Zhou, et al. 2020. Unilmv2: Pseudo-masked language models for unified language model pre-training. In . PMLR, 642–652. Международна конференция за машинно обучение [2] Том Б. Браун, Бенджамин Ман, Ник Райдър, Мелани Суббия, Джаред Каплан, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell и др. 2020. от 2020 г. arXiv предварително отпечатано arXiv:2005.14165 [3] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. 2020. End-to-end object detection with transformers. In Спрингър, 213 – 229 European Conference on Computer Vision [4] Y en-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng и Jingjing Liu. . 104–120. ECCV 2020 [5] Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang, and Guoping Hu. 2020. Revisiting pre-trained models for chinese natural language processing. (2020). arXiv предварително отпечатано arXiv:2004.13922 [6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In . 4171–4186. NAACL-HLT 2019 [7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. 2019. Unified Language Model Pre-training for Natural Language Understanding and Generation. In от 13042 до 13054 г. Неврит 2019 Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xi-aohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly и др. 2020. (2020). arXiv preprint arXiv:2010.11929 [9] Patrick Esser, Robin Rombach, and Björn Ommer. 2020. Taming Transformers for High-Resolution Image Synthesis. arXiv [cs.CV] :2012.09841 William Fedus, Barret Zoph и Noam Shazeer. 2021 Превключване на трансформатори: мащабиране до трилиони параметри с проста и ефективна скъпоценност. abs/2101.03961 (2021). arXiv CoRR 0 0 0 0 0 0 0 0 0 0 0 0 https://arxiv.org/abs/2101.03961 [11] Zhe Gan, Yen-Chun Chen, Linjie Li, Chen Zhu, Yu Cheng, and Jingjing Liu. 2020. Large-Scale Adversarial Training for Vision-and-Language Representation Learning. In . Неврологът 2020 [12] Dehong Gao, Linbo Jin, Ben Chen, Minghui Qiu, Peng Li, Yi Wei, Yi Hu и Hao Wang. 2020. Fashionbert: текст и изображение, съвпадащи с адаптивна загуба за кръстосано възстановяване. от 2251 до 2260 г. SIGIR 2020 [13] Haoyuan Gao, Junhua Mao, Jie Zhou, Zhiheng Huang, Lei Wang, и Wei Xu. 2015 Говорете с машина? набор от данни и методи за отговор на многоезичен въпрос за изображения. (2015). arXiv preprint arXiv:1505.05612 [14] Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville и Yoshua Bengio. (2014 г.) на arXiv предварително отпечатано arXiv:1406.2661 [15] Kaiming He, Xiangyu Zhang, Shaoqing Ren и Jian Sun. 2016 г. Дълбоко остатъчно обучение за разпознаване на изображения. от 770 до 778 г. CVPR 2016 г. [16] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. 2020. De-berta: Decoding-enhanced bert with disentangled attention. (2020). arXiv preprint arXiv:2006.03654 [17] Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu, and Jianlong Fu. 2020. Pixel-bert: Aligning image pixels with text by deep multi-modal transformers. (2020). arXiv preprint arXiv:2004.00849 [18] Zihang Jiang, Weihao Yu, Daquan Zhou, Yunpeng Chen, Jiashi Feng, and Shuicheng Yan. 2020. Convbert: Improving bert with span-based dynamic convolution. (2020). arXiv предварително отпечатано arXiv:2008.02496 [19] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma и Radu Soricut. 2019. ALBERT: Малко BERT за самонаблюдавано обучение на езикови представи. abs/1909.11942 (2019 г.) Кора [20] Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer и Zhifeng Chen. от 2020 г. arXiv preprint arXiv:2006.16668 [21] Mike Lewis, Shruti Bhosale, Tim Dettmers, Naman Goyal, and Luke Zettle-moyer. 2021. BASE Layers: Simplifying Training of Large, Sparse Models. abs/2103.16716 (2021). CoRR [22] Gen Li, Nan Duan, Yuejian Fang, Daxin Jiang, and Ming Zhou. 2019. Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training. abs/1908.06066 (2019). Кора [23] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, and Kai-Wei Chang. 2019. VisualBERT: A Simple and Performant Baseline for Vision and Language. abs/1908.03557 (2019). Кора [24] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, and Jianfeng Gao. 2020. Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks. abs/2004.06165 (2020). Кора [25] Junyang Lin, An Yang, Yichang Zhang, Jie Liu, Jingren Zhou, and Hongxia Yang. 2020. Interbert: Vision-and-language interaction for multi-modal pretraining. (2020). arXiv preprint arXiv:2003.13198 [26] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár и C. Lawrence Zitnick. 2014. Microsoft COCO: Общи обекти в контекст. . 740–755. ECCV 2014 г. [27] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. 2019. RoBERTa: A Robustly Optimized BERT Pretraining Approach. abs/1907.11692 (2019). Кора [28] Jiasen Lu, Dhruv Batra, Devi Parikh и Stefan Lee. 2019. ViLBERT: Преквалификация на задача-агностични визиолингвистични представи за задачи по визия и език. . 13–23. Неврит 2019 [29] Jiasen Lu, Vedanuj Goswami, Marcus Rohrbach, Devi Parikh и Stefan Lee. 2019. 12-в-1: Многозадачно виждане и езиково представяне. АБС от 12 март 2019 г. Кора [30] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving language understanding by generative pre-training. (2018). URL languageunsupervised/language understanding paper. pdf https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ [31] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, и Ilya Sutskever. [n.d.]. езикови модели са ненадзорни многозадачни ученици. ([n.d.]). [32] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen и Ilya Sutskever. 2021 Zero-Shot Text-to-Image Generation. arXiv [cs.CV] :2102.12092 [33] Shaoqing Ren, Kaiming He, Ross B. Girshick и Jian Sun. 2015. по-бързо R-CNN: Към откриване на обекти в реално време с регионални мрежи. . 91–99. NeurIPS 2015 Rico Sennrich, Barry Haddow и Alexandra Birch. 2016 Neural Machine Translation of Rare Words with Subword Units. . ACL 2016 г. [35] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton и Jeff Dean. 2017. (2017). arXiv preprint arXiv:1701.06538 [36] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, and Bryan Catanzaro. 2019. Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism. (2019 г.) arXiv preprint arXiv:1909.08053 [37] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu и Tie-Yan Liu. 2019. MASS: Masked Sequence to Sequence Pre-training за езиково поколение. от 5926 до 5936. ICML 2019 г. [38] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei и Jifeng Dai. 2020. VL-BERT: предварително обучение на общите визуално-лингвистични представи. . ICLR 2020 [39] Maosong Sun, Jingyang Li, Zhipeng Guo, Z Yu, Y Zheng, X Si и Z Liu. 2016 Thuctc: ефективен китайски класификатор на текста. (2016 г.) GitHub Repository [40] Hao Tan и Mohit Bansal. 2019. LXMERT: Научаване на кодиращи представи от трансформатори. от 5099 до 5110. EMNLP-IJCNLP 2019 г. [41] Aäron van den Oord, Oriol Vinyals, and Koray Kavukcuoglu. 2017. Neural Discrete Representation Learning. In . NIPS [42] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser и Illia Polosukhin. . 5998–6008. Неврит 2017 [43] Ang Wang, Xianyan Jia, Le Jiang, Jie Zhang, Yong Li и Wei Lin. от 2020 г. arXiv предварително отпечатано arXiv:2011.09208 [44] Wei Wang, Bin Bi, Ming Yan, Chen Wu, Zuyi Bao, Jiangnan Xia, Liwei Peng и Luo Si. 2019 Structbert: Включване на езикови структури в предварителното обучение за дълбоко езиково разбиране. (2019). arXiv preprint arXiv:1908.04577 [45] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. 2016. Google’s neural machine translation system: Bridging the gap between human and machine translation. (2016). arXiv предварително отпечатване arXiv:1609.08144 [46] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu и Kaiming He. 2017. Агрегирани остатъчни трансформации за дълбоки невронни мрежи. от 1492 до 1500 г. CVPR 2017 г. [47] Liang Xu, Xuanwei Zhang, and Qianqian Dong. 2020. CLUECorpus2020: A Large-scale Chinese Corpus for Pre-trainingLanguage Model. (2020). arXiv preprint arXiv:2003.01355 [48] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. 2018. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In от 1316 до 1324 г. Конференция на IEEE за компютърно зрение и разпознаване на модели [49] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov и Quoc V. Le. 2019 XLNet: генерализирана авторегресивна подготовка за разбиране на езика. . 5754–5764. Неврит 2019 [50] Fei Yu, Jiji Tang, Weichong Yin, Yu Sun, Hao Tian, Hua Wu, and Haifeng Wang. 2020. Ernie-vil: Knowledge enhanced vision-language representations through scene graph. (2020). arXiv preprint arXiv:2006.16934 [51] Luowei Zhou, Hamid Palangi, Lei Zhang, Houdong Hu, Jason J. Corso и Jianfeng Gao. . 13041–13049. АЕЦ 2020 This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv Тази хартия е Създаден е под лиценза CC by 4.0 Deed (Attribution 4.0 International). Достъпно за архивиране