Запознајте го M6: Кинеската АИ која разбира текст и слики во скала

Автори на: Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, China) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Group, China) An Yang, ya235025@alibaba-inc.com (Alibaba Group, China) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba Group, China) Ming Ding, dm18@mails.tsinghua.edu.cn (Tsinghua University, China) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, China) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, China) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Group, China) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, China) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, China) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, China) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, China) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Group, China) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, China) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Group, China) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, China) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Group, China) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, China) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Group, China) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Group, China) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Group, China) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, China) Jie Tang, jietang@tsinghua.edu.cn (Tsinghua University, China) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Group, China) Автори на: Junyang Lin, junyang.ljy@alibaba-inc.com (Алибаба Група, Кина) Rui Men, menrui.mr@alibaba-inc.com (Алибаба Група, Кина) An Yang, ya235025@alibaba-inc.com (Алибаба Група, Кина) Chang Zhou, ericzhou.zc@alibaba-inc.com (Алибаба Група, Кина) Ming Ding, dm18@mails.tsinghua.edu.cn (Универзитетот во Цинхуа, Кина) Yichang Zhang, yichang.zyc@alibaba-inc.com (Алибаба Група, Кина) Peng Wang, zheluo.wp@alibaba-inc.com (Алибаба Група, Кина) Ang Wang, wangang.wa@alibaba-inc.com (Алибаба Група, Кина) Le Jiang, jiangle.jl@alibaba-inc.com (Алибаба Група, Кина) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Алибаба Група, Кина) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, China) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Алибаба Група, Кина) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Група, Кина) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Алибаба Група, Кина) Jie Liu, sanshuai.lj@alibaba-inc.com (Алибаба Група, Кина) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Алибаба Група, Кина) Huiling Zhou, zhule.zhl@alibaba-inc.com (Алибаба Група, Кина) Jianxin Ма, jason.mjx@alibaba-inc.com (Алибаба Група, Кина) Jin Yu, kola.yu@alibaba-inc.com (Алибаба Група, Кина) Yong Li, jiufeng.ly@alibaba-inc.com (Алибаба Група, Кина) Wei Lin, weilin.lw@alibaba-inc.com (Алибаба Група, Кина) Jingren Zhou, jingren.zhou@alibaba-inc.com (Алибаба Група, Кина) Jie Tang, jietang@tsinghua.edu.cn (Универзитетот во Цинхуа, Кина) Hongxia Yang, yang.yhx@alibaba-inc.com (Алибаба Група, Кина) апстракција Во оваа работа, ние го градиме најголемиот сет на податоци за мултимодално пред-тренинг на кинески, кој се состои од над 1.9TB слики и 292GB текстови кои покриваат широк спектар на домени. Се однесува на улти- Оддалеченост улти- Одалитет ултиматумот ега-трансформатор, за унифицирано преттренирање на податоците за една модалност и повеќе модалности. параметри, и да се изгради најголемиот пред-трениран модел во кинески јазик. Ние го применуваме моделот на серија на надолу-долу апликации, и демонстрира својата извонредна перформанси во споредба со силни основни линии. Покрај тоа, ние специјално дизајнира надолу-долу задача на текст-водени слика генерација, и покажува дека фино-нацртани M6 може да создаде високо-квалитетни слики со висока резолуција и изобилство на детали. M6 M M M M M M 100 billion клучни зборови Мултимодална пред-тренинг; Мултитаскинг; Генерација на текст до слика 1 Вовед Пред-тренинг стана фокус во истражувањето на природниот јазик обработка (НЛП) [ , на , на , , на , , на , на , на , на , на Неодамнешниот GPT-3 со повеќе од 175 милијарди параметри покажува дека големите модели обучени на големи податоци имаат исклучително голем капацитет и може да ги надмине state-of-the-art во надолу-фруктовите задачи, особено во условите на нула-шум. , на , на , на , на , на , на , на , на , на ] создадоа нови state-of-the-art перформанси за разни крос-модални надолу. 1 2 7 16 18 19 27 31 37 44 49 4 11 17 22 24 25 28 29 38 51 За жал, најновите студии се фокусираат на претренинг на англиски податоци. Недостасуваат и големи комплети на податоци во кинески и големи модели претренирани на кинески податоци. Затоа, во оваа работа, ние развиваме голем комплет на податоци M6-Corpus, кој се состои од над 1.9TB слики и 292GB текстови. На најдобро од нашето знаење, ова е најголемиот комплет на податоци во кинески за претренинг во мултимодалност и природен јазик. На комплетот на податоци собрани од веб-страниците се состои од различни видови на податоци и опфаќа голем број на домени, вклучувајќи енциклопедија, одговарање на прашања, дискусија на форумот, опис на производот, итн. Исто така, ние дизајнираме софистицирани процеду Покрај тоа, со цел доволно да се искористи толку голема количина на висококвалитетни податоци, предлагаме да се изгради екстремно голем модел кој може да ги обработува податоците од повеќе модалитети и да се прилагоди на различни видови надолу-долни задачи. Така, предлагаме нов модел наречен M6, кој се однесува на MultiModality-to-MultiModality Multitask Мега-трансформатор. Моделот се базира на трансформаторот, и тој е преттрениран со повеќе задачи. Претренирањето му дава на моделот способност за разбирање и генерирање на едномодалност и мултимодалност. Врз основа на архитектурата на M6, ние ја градиме и , which are scaled up to 10 billion and 100 billion pa-rameters respectively. To be more specific, Ние го применуваме моделот на серија на апликации во понатамошниот тек, вклучувајќи генерација на опис на производ, визуелно одговарање на прашање, одговарање на прашање на заедницата, генерација на кинески поеми итн., И нашите експериментални резултати покажуваат дека M6 ги надминува сериите на силни бази. М6-10Б М6-100Б М6-100Б Друг придонес од оваа работа е тоа што прво го вклучуваме преттренинг со генерација од текст до слика. , ние користиме рамка од две фази за генерирање на слики. За да бидеме поконкретни, ние применуваме обучена векторски квантизирана генеративна противречна мрежа за да претставуваме слики со дискретни кодови за слики, а потоа го користиме преттренираниот M6 за да ги научиме односите помеѓу текстот и кодот. [32] во За да се сумира, придонесите на М6 се како што следува: We collect and build the largest Chinese multi-modal pre-training data in industry, which includes 300GB texts and 2TB images. Ние предлагаме M6 за мултимодална преттренинг на кинески, и ние скалираме големината на моделот до 10 и 100 милијарди параметри. M6 е разноврсна и ги надминува силните основни линии за 11,8% во VQA, 18,4 во подрачјето на сликата и 10,3% во споредбата на сликата со текстот. Со внимателно дизајнирани големи дистрибуирани оптимизации за обука, M6 има очигледни предности во брзината на обуката и значително ги намалува трошоците за обука, создавајќи можност за пошироко користење на мултимодалното преттренирање. 2 Податоци Ние ги собираме и развиваме најголемите мулти-модални и текстуални податоци на кинески засега, што е еден од клучните придонеси на овој документ.Во овој дел, прво ги идентификуваме ограничувањата на постоечките податоци, а потоа ја опишуваме постапката за изградба и пред-обработка на нашите предложени податоци. 2.1 Existing Datasets Изградбата на големиот корпус со висок квалитет и покриеност е од суштинско значење за кинескиот претренинг. Во раните претходни дела, кинеската Википедија1 е еден од најчесто користените сетови на податоци за обука на модели на кинески јазик. Таа содржи 1.6GB текстови (околу 0.4B токени) кои покриваат околу 1M енципропија статии. ] сет на податоци, кој вклучува 740K вести статии. Сепак, со брзо зголемување на капацитетот на неодамнешните јазични модели, скалата на овие постоечки сетови на податоци е јасно недоволна. employ unreleased extended data that are 10 times larger than the CN-Wikipedia to pretrain their Chinese language model. Xu et al. 39 5 ) издаде 100GB корпус наречен CLUECorpus2020, кој е редизајниран од повеќејазичниот Common Crawl датотечен сет. Сепак, скалата на датотечните сетови се уште не е доволна за да се олесни супер-големата преттренинг во споредба со постоечките англиски преттренирани модели. На пример, GPT-3 содржи 175B параметри и е обучен на 570GB текстови. Во меѓувреме, датотечниот сет треба да содржи парови слика-текст наместо обични текстови за мултимодално преттренинг. [47] 2.2 Standards for a High-quality Dataset За да се изврши голем број на мултимодални претренинг и да се научат комплексни светски знаења на кинески, базата на податоци е многу бара да обезбеди и едноставни текстови и слики-текст парови на супер голема скала, покривајќи широк спектар на домени. Со цел да се изврши голем број на мултимодални претренинг на кинески, ние се фокусираме на изградба на големи комплети на податоци на кинески. Специфично, додека ние се обединат нашата претренинг за природниот јазик и мултимодалитети, ние се изгради големи комплети на податоци од двете едноставни текстови и слики-текст парови. Ние сме заинтересирани за добивање на големи скали на податоци кои опфаќаат широк спектар на домени, така што Иако има огромна количина на текстуални ресурси и слики на World Wide Web, corpus за мултимодална преттренинг се претпоставува дека е подобар кога ги задоволува следниве својства: (1). речениците треба да бидат течен природен јазик во рамките на нормална должина, и не треба да содржат безначајни токени, како што се ознаки, дуплирани ознаки, случајни комбинации на ликови, итн; (2) сликите треба да бидат природни и реални, а резолуциите на сликите треба да бидат препознатливи од страна на луѓето; (3) и текстовите и сликите не треба да содржат нелегална содржина, како што се порнографија, насилство, итн; (4) сликите и текстовите треба да бидат семантички релевантни; (5) сетовите на податоци треба да опфатат широк спектар на области, на пример спорт, политика, наука, итн, и затоа може да го опремат моделот со доволно светско знаење. 2.3 Изградба на податоци Врз основа на горенаведените барања, ги собираме податоците од обичните текстови и парите слика-текст. Постојат различни видови на податоци, вклучувајќи енциклопедија, прелистување на веб-страница, одговарање на прашање на заедницата, форум, опис на производот итн. Собраниот корпус се состои од обични текстови и парови слика-текст, што е компатибилно со дизајнираните текстови и мулти-модални задачи за преттренинг. Исто така, податоците имаат големо опфаќање на домени, како што се науката, забавата, спортот, политиката, здравиот разум на животот, итн. Исто така, споредивме некои карактеристики на нашиот корпус со постоечките сетови на податоци кои се користат за кинеско преттренинг во Табела Големината на нашиот сет на податоци е многу поголема од претходните.Според нашето знаење, ова е првиот голем, мултимодален и мултидомен корпус за кинески претренинг. 3. 2. Ние имплементираме софистицирана пред-обработка за да добиеме чисти податоци. За текстуални податоци, прво ги отстрануваме ознаките на HTML и дуплицираме ознаки за препишување, а ние само ги задржуваме знаците и ознаките за препишување кои се на кинески и англиски јазик. Ние ги отстрануваме темите кои се пократки од 5 знаци и содржината е пократка од 15 знаци. Понатаму ги применуваме внатрешната детекција на спам за да ги отстраниме речениците кои содржат зборови поврзани со одредени политички прашања, порнографија, или зборови во листата на валкани, глупави и други лоши зборови. За да се зачува лингвистичкото прифаќање на текстовите, ние имплементираме јазик модел за да ги 3 М6 рамка Мултимодалниот претренинг ја искористува моќта на само-вниманието базирана трансформаторска архитектура и претренинг на големи податоци.Ние се стремиме да го надариме моделот со силна способност за крос-модално разбирање и генерирање. , which refers to улти- одреден за- улти- Одалитет ултиматумот ega-transformer. M6 M M M M M M 3.1 Визуелни и лингвистички влезови Основните мултимодални методи за преттренирање ги трансформираат сликите за да содржат секвенци преку откривање на објекти. Сепак, перформансите на детекторите на објектите, како и експресивноста на нивните 'рбетници, силно влијаат на конечниот перформанс на преттренираните модели во надолу. Ние забележуваме дека голем дел од сликите содржат само неколку објекти. Земете ги сликите од податоците од е-трговијата како пример. Ние случајно земаме 1M слики и извршуваме откривање на објекти на сликите. Резултатите покажуваат дека над 90% од сликите содржат помалку од 5 објекти. Исто така, објектите имаат високо преклопување едни со други. За да се намали таквото влијание, се свртиме кон , на , на Ние го користиме WordPiece [ , на ] and masking to the word sequence and embed them with an embedding layer, following BERT 4 11 24 34 45 [6] Затоа што 3.2 Унифициран енкодер-декодер Ние ги интегрираме вградувањата на сликата ei и зборот embeddings et во крос-модалната секвенца за вградување e = {ei, et }. Ние ја испраќаме секвенцата до грбот на трансформаторот за екстракција на високо ниво на карактеристики. За да ги разликуваме нивните претставувања, ги додаваме соодветните сегментни вградувања за различни модалитети. трансформаторски блокови базирани на само-внимание за нашето обединето крос-модално претставување за учење. За да бидеме поконкретни, градежниот блок е идентичен со оној на BERT или GPT, кој се состои од само-внимание и точка-напредна мрежа (FFN). На врвот на грбот на трансформаторот, додаваме излезен слој за предвидување на зборови и на тој начин ги врзуваме неговите тегови со оние на вградениот слој. Во унифицираната рамка, ние користиме различни стратегии за маскирање за да овозможиме кодирање и декодирање. Влезот е сегментиран во три делови, вклучувајќи визуелни влезови, маскирани лингвистички влезови и целосни лингвистички влезови. Ние применуваме двонасочно маскирање на двете визуелни влезови и маскирани лингвистички влезови, и ние применуваме каузално маскирање на целосните лингвистички влезови. 3.3 Пред-тренинг методи Ние го претренираме моделот со мултитаски поставување, вклучувајќи пренос од текст до текст, пренос од слика до текст и мултимодалност до текст пренос. Како што е прикажано на фигурата Моделот учи да врши деноазирање на текстот и моделирање на јазикот во поставувањето на пренос од текст на текст. Во деноазирањето на текстот, го маскираме внесувањето на текстот со пропорција, што во пракса е 15% по BERT [ ]. Конкретно, ние маскираме континуиран опсег на текст со една маска, а моделот треба да научи да ја декодира целата секвенца. Ова го охрабрува моделот да научи и за враќање и за предвидување на должината. Покрај тоа, со цел да се подобри способноста на моделот во генерацијата, додаваме поставување на јазично моделирање, каде што кодирачот не прима влезови и декодерот учи да генерира зборови врз основа на претходниот контекст. Text-to-text Transfer 3, во 6 Трансферот од слика до текст е сличен на сликата под наслов, каде што моделот ги прима визуелните информации како влез и учи да генерира соодветен опис.Во оваа поставка, го додаваме претходно споменатиот редослед на карактеристики на патч на влезот и го оставаме маскираниот влез празен. Моделот ги кодира карактеристиките на патчот и го декодира соодветниот текст. Image-to-text transfer Врз основа на поставувањето на преносот од слика до текст, дополнително додаваме маскирани лингвистички влезови, и така моделот треба да научи да го генерира целниот текст врз основа и на визуелните информации и на бучните лингвистички информации. Multimodality-to-text transfer 3.4 Скалирање до 10 и 100 милијарди параметри Го зголемуваме големината на моделот на 10 милијарди параметри и 100 милијарди параметри, кои се нарекуваат M6-10B и M6-100B. Зголемувањето на големината на моделот обезбедува многу поголем капацитет за моделот за да може да научи знаење од повеќе податоци. За да бидеме поконкретни, ние го зголемуваме големината на скриените состојби и бројот на слоеви. За подобро искористување на меморијата на GPU, ние применуваме мешано-прецизно обука и проверка на активација за да ја зачуваме меморијата. Сепак, моделот не може да се вклопи во еден GPU, и така користиме паралелизам на моделот за да ги поделиме мрежите за пренос и вниманието на повеќе GPUs по имплементацијата на Megatron-LM [36] Затоа што However, directly scaling up to M6-100B is much more difficult as there are more challenges for the computation resources. Alternatively, inspired by the recent progress in sparse activations [ , на , на ], ние ги комбинираме Mixture-of-Experts (MoE) со M6 за да ја изградиме верзијата од 100 милијарди параметри. Имајте на ум дека оригиналниот MoE бара мрежа-tensorflow, како и TPUs. Ова поставува граници за голем број истражувачи без такви ресурси. ] за да се изврши паралелизам на модели со GPUs. Ние ги демонстрираме клучните статистички податоци на моделите на различни скали во Табела 10 20 35 43 4. Конкретно, за разлика од конвенционалниот слој на FFN, слојот на MoE е паралелна комбинација на повеќе слоеви на FFN, од кои секој делува како експерт. Ова исто така се нарекува експерт паралелизам. Моделот прво учи ретка мрежа за враќање за да ги насочи токените до специфични експерти. Така, секој токен се испраќа само на мал сет на експерти и пресметката може да биде многу помала во споредба со онаа во густите модели. Овој тип на модел е високо ефикасен бидејќи реализира паралелизам на податоците и експертскиот паралелизам меѓу работниците. Пресметката на слојот на MoE за специфичен токен x може да се опише како подолу: каде g(·) се однесува на функцијата на ретка градење, а T се однесува на индексите на топ-к вредностите на g(·). In expert parallelism, the parameters of experts do not share across workers, while those of other parts are identical across workers. Therefore, it is necessary to perform all-to-all communication across workers at the MoE layers in order to dispatch tokens to selected experts and combine them to their original experts. While Lepikhin et al. ФЕДУС и др. имплементирајте го MoE на TPU со еден експерт во секој MoE слој на TPU, ние го имплементираме нашиот модел на Nvidia GPU каде што има неколку експерти во секој MoE слој на GPU за целосно да се искористи меморијата. Бидејќи комуникацијата на сите до сите зема многу време, оптимизацијата за подобрување на ефикасноста е многу значајна. Ние имплементираме серија на оптимизација, вклучувајќи полупрецизна комуникација. Клучен проблем е балансирање на товарот, што означува дека токените можат да се соберат само на неколку експерти поради динамичкото рутирање. , ние се применуваат експерт капацитет, кој се однесува на бројот на токени за експерт (C = N - c / m, каде што C се однесува на експерт капацитет, N се однесува на бројот на токени во серија, c се однесува на фактор на капацитет (кој е хиперпараметар обично поголем од 1.0) и m се однесува на бројот на експерти), за да се ублажи овој проблем. токени надвор од капацитетот на експерт се фрлаат од пресметката и тие се испраќаат до следниве слоеви преку преостанати врски. [ 20 ] [10] На пример [10] На пример Покрај оптимизацијата во комуникацијата на сите до сите, ние ги споредуваме првите 2 и првите 1 и откриваме дека тие можат да постигнат слични перформанси на моделот во збунетост, додека последните конвергираат малку побавно. Ефикасноста на првите 1 ги овозможува побрзите пресметки. Покрај тоа, ние исто така ги применуваме методите за оптимизација на меморијата за поголема ефикасност. Откриваме дека градиентното исечување на глобално ниво може да ги зголеми трошоците за комуникацијата на сите, бидејќи ги пресметува нормите низ сите експерти, и така применуваме локално исечување за заштеда на меморијата. Ние имплементираме M6-100B со околу 100 милијарди параметри на 128 Nvidia A100s и брзината на преттренирање достиг Демонстрираме дека користењето на структурата на MoE за скалирање на големината на моделот е ефикасно и може да постигне слични перформанси како и на M6-10B, најголемиот густ модел, во рок од 2-3 пати пократок.Негативниот дневник на M6-100B достигнува −2.297, во споредба со M6-10B кој достигнува −2.253 но со двојно повеќе време.2 Ова покажува дека моделот M6 базиран на MoE има предности во однос на времето во споредба со густите модели со многу повеќе FLOP. 4 Апликации 4.1 Text-to-Image Generation Претходните студии се фокусираа главно на генерација на ограничен домен, меѓу кои и генеративни противречни мрежи (GANs) [ , на ] се доминирани методи. По Рамеш et al. , ние користиме рамка од две фази за генерација на текст до слика, вклучувајќи дискретно учење за претставување и јазично моделирање. 14 48 [32] во Во првата фаза, ние се фокусираме на трансформирање на слики во секвенци на дискретни кодови.Постојат голем број на алтернативи за дискретни генерација на код, вклучувајќи VQVAE [ И на крајот на краиштата, ]. Во втората фаза, неопходно е да се изгради модел на јазик за да се научи да се генерира текст и секвенца на код. Во финетунирањето, ние ги додаваме слоевите за вградување и излез на кодот на преттренираниот M6. Ние ја концитираме секвенцата на зборот и горенаведената генерирана секвенца на код како влез, и ја поставивме целта за авторегресивно моделирање на јазикот за обуката. Во фазата на заклучување, ние ја внесуваме текстуалната секвенца, а моделот генерира кодови авторегресивно со топ-к примерок. 41 9 We construct a dataset for text-to-image generation in E-commerce. Specifically, we collect over 50 million product titles and images from the mobile Taobao. We apply a series of processing methods on the images to filter the unqualified. We filter the images with complex background features (characters, patterns, etc.) with the in-house white-background image detector and OCR model. We then filter the images with over 3 objects with our in-house object detector based on Faster R-CNN [ ]. На крајот добиваме 1.8m висококвалитетни парови на производи за слика-текст за финетирање. Во споредба со сликите во општите домени, нашите собрани податоци имаат следниве карактеристики. сликата и текстот се високо корелираат бидејќи текстот ги опишува клучните карактеристики на производот, и нема сложена позадина во сликите, што е полесно да се научи во споредба со сликите во јавните сетови на податоци како MSCOCO 33 [Прочитај повеќе] Ние покажуваме два примери во фигура и фигура It can be found that the generated images have high quality and the generated objects resemble the real ones. Furthermore, in Figure , откриваме дека моделот е способен да замисли предмети според прашањето Способноста на имагинацијата дава простор за креативен дизајн во реалниот свет индустриски сценарија, како што се дизајн на облека, дизајн на чевли, итн. 4 5. 6 military style camouflage high heels(军旅风迷彩高跟鞋 We also finetune M6 under our proposed framework on another dataset which contains 3 million images crawled from the Internet, which cover more general domains. And we find that the model can adapt to different domains. As shown in Figure the model is able to generate clip arts of robots . This reveals the versatility of the framework in text-to-image generation. 7, на 4.2 Visual Question Answering We demonstrate our experimental results on a visual question answering dataset, and we illustrate how we directly apply the pre-trained M6 to the VQA application. We leverage the FMIQA dataset [ ] како кинески визуелен КА бенчмарк, кој бара од моделот да го генерира одговорот даден слика и прашање. Ние имплементираме модел базиран на трансформатор како нашата основна линија. За оценување, ние рачно го поделиме тест сет со случајно земање примероци 200 од базата на податоци, бидејќи нема официјално објавување на тест сет, и ја оценуваме целокупната точност со човечка проценка. The pretrained M6-base outperforms the baseline by a large margin (+6.2%), which indicates the effectiveness of multimodal pretraining. Scaling up the model to M6-10B further brings 5.2% improvement. 13 5. Furthermore, we show that simply finetuning on such a small VQA dataset may limit the potential of M6. Therefore, we directly leverage M6 for the VQA application. We find that the model is able to recognize general features and provide more related knowledge based on its understanding. Though the model pretrained on pseudo-parallel image-text pairs cannot directly answer questions about detailed features, such as color, number, etc., it is able to answer questions related to background knowledge. We demonstrate some examples in Figure 8. 4.3 Капеција на слики Image captioning requires the model to generate a caption that describes the given image, which examines the model ability of cross-modal generation. We construct a dataset (named E-Commerce IC) containing pairs of product descriptions and product images from Taobao. Since too long or too short descriptions may be noisy, we discard pairs with a description longer than 100 words or less than 10 words. To avoid dirty generations, we further use an in-house tool to filter descriptions that may contain dirty words (i.e., pornographic or violent words). Finally, E-Commerce IC contains about 260k text-image pairs. We finetune the model with the image-to-text transfer task on E-Commerce IC. Ние го споредуваме нашиот модел со почетната линија на трансформаторот во човечката евалуација. Бараме неколку анотатори со лингвистичка позадина да го проценат од три перспективи: граматика (без разлика дали текстот е течен без граматичка грешка), коректност (без разлика дали текстот е верен на сликата), богатство (без разлика дали текстот е информативен и атрактивен). За време на евалуацијата, случајно земаме 100 слики од тест сет. За секоја слика, од анотаторот се бара да го оцени текстот генериран од различни модели. The results in Table show that M6-base outperforms the baseline in all of the metrics. We find that all models achieve high scores in grammar. However, in both correctness and richness, M6-base outperforms the baseline model by a large margin (+18.2% and +14.4%), indicating that multimodal pretraining helps to generate more faithful, informative and attractive texts. Scaling up the model to M6-10B further improves the correctness and richness (about 14.7% and 7.0%). Figure 9 illustrates two examples of image caption. 6 4.4 Одговор на прашањето To demonstrate the potential availability in the applications of intelligent chatbots, we further employ the M6 model to generate long answers in the style of forum discussion. Human-generated questions are collected from various Chinese forums, which are input to the model to generate the answer. At the stage of inference, we append a question mark and a token in the prompt, which better triggers the model to generate an answer. To facilitate the generation of longer and more informative texts, we pick more complex questions. “Answer:” Figure Моделот може да ги илустрира сопствените искуства на човекот кои се поврзани со прашањето и, исто така, укажува на одговорот на крајот. Овој генериран текст ги збуни човечките анотатори и го поминал Тестот на Туринг. 10 4.5 Poem Generation We apply the pretrained model to Chinese poem generation. The model is able to generate genres with format constraints. Ancient Chinese poetry has various specific formats. We adopt the simplest constraints that The poem shall be consisted of at least 4 lines. The total number of lines shall be even. Each line must have exactly 5 or 7 words. All lines shall have the same number of words. Text generation under format constraint is done in a search framework that we generate short sentences ending with punctuation until the number of words meets the constraint. We repeat this process until the model generates an " " token, or the number of lines exceeds a limit of 16. Figure illustrates an example of a generated poem. 11 4.6 Image-Text Matching Ние ја оценуваме способноста на моделот во крос-модалното пребарување. Конкретно, изградуваме сет на податоци (наречен E-Commerce ITM) кој содржи парови од текстови и слики од мобилниот Taobao. Секој пар припаѓа на една точка. собираме 235K производи во индустријата за облека од Taobao. За секој производ, покрај сликата на производот, добиваме прашање со препишување на насловот на производот. Конкретно, вршиме идентификување на името на насловот користејќи внатрешна алатка, која ги извлекува термините кои го опишуваат стилот, бојата, категоријата и текстурата на производот. Овие термини потоа се вклопуваат во прашање на природен јазик, кое се користи во споредба на слика со текст. Должината на секое прашање е помеѓу 6 и 12 зборови. Парите на прашањето и соодветната слика на производот се означени како позитивни примероци. Негативните примероци се конструираат со случајно заменување на прашањето во оригиналните парови. We require the model to perform binary classification to discriminate positive and negative samples. We compare our model with InterBert [ ], which is also a Chinese multi-modal pretrained model effective in cross-modal classification downstream tasks. The InterBert utilizes object-based features and has been pretrained on Taobao product image-text data as well. 25 The results are shown in Table It should be noted that the InterBert and M6-base are both implemented with transformer-based architecture and have similar model scales. However, M6-base still outperforms InterBert by 10.3%. In experiments, we find the product images generally contain relatively fewer detected objects, which may harm the performance on this task. In contrast, M6 avoids this problem by employing the patch features and achieves much better performance. 7. 5 RELATED WORK Огромниот успех на претренирањето на НЛП, вклучувајќи го и BERT [ ], GPT [ , , ], and also some other related studies [ , , , , на ], ги инспирира истражувањата во крос-модалното учење за претставување. Исто така, неодамнешните студии покажуваат дека севкупната архитектура на Трансформер [ ] can be extended to different fields, including computer vision [ , ]. Затоа, наједноставното решение за интегрирање на неодамнешните методи за пред-тренинг и учење на крос-модално претставување е проширувањето на BERT. Од перспектива на архитектурата, има главно два типа, вклучувајќи модел на еден тек и модел на двојен тек. Конкретно, моделот на еден тек е едноставен и постепено станува главна архитектура. Овие модели главно се разликуваат во дизајнот на задачите за пред-тренинг или изградбата на карактеристиките на влезот im-age. ] и Unicoder-VL [ ] simply use BERT and are pretrained with the aforementioned tasks. UNITER [ ] pretrains the model with an additional task of word-region alignment. Oscar [ ] го подобрува усогласувањето помеѓу објектите и нивните соодветни зборови или фрази. VILLA [ ] further improves model performance by adding their proposed adversarial learning methods to pretraining and finetuning. Except for pretraining tasks, some studies focus on the features of images. Most pretraining methods for multimodal representation learning utilize the features generated by a trained object detector, say Faster R-CNN [ ]. PixelBERT [ ] прифаќа сурови слики како влез и ги извлекува нивните латентни претставувања со учење ResNet [ ] or ResNext [ ]. FashionBERT [ ] splits the images into patches with a trained ResNet without co-training. Besides single-stream models, dual-stream models also can achieve outstanding performance, such as VilBERT [ ], ЛКМЕРТ [ ] and InterBERT [ ]. ViLBERT-MT [ ] enhances model performance with multi-task finetuning. ERNIE-ViL [ ] enhances the model with the application of scene graph information. In spite of these successful cases, it still requires further researches to unmask the success of multimodal pretraining. 6 2 30 31 1 7 19 27 49 42 3 8 23 22 4 24 11 33 17 15 46 12 28 40 25 29 50 6 Заклучоци Во оваа работа, ние предлагаме најголем сет на податоци M6-Corpus за пред-тренинг на кинески, кој се состои од повеќе од 1.9TB слики и 292GB текстови. Сетот на податоци има големо опфаќање на домени, вклучувајќи енциклопедија, одговарање на прашања, дискусија на форуми, заеднички crawl, итн Ние предлагаме метод наречен M6 кој е способен да обработува информации од повеќе модалитети и да извршува едномодално и кросмодално разбирање и генерирање. Моделот е скалиран до голем модел со 10B и 100B параметри со софистицирано распоредување, а двата модела се најголемите мултимодални пред-тренирани модели. Ние го применуваме моделот на серија на апликации надолу, пока Во иднина, ќе продолжиме да ги подготвуваме екстремно големите модели со зголемување на скалата на податоците и моделите за да ги истражиме границите на перформансите, а исто така се трудиме да бараме повеќе апликации надолу за понатамошна генерализација. Референци [1] Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang, Xiaodong Liu, Yu Wang, Jianfeng Gao, Songhao Piao, Ming Zhou, et al. 2020. Unilmv2: Псевдо-маскирани јазични модели за единствен јазик модел пред-тренинг. ПМЛР 642–652 International Conference on Machine Learning [2] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. 2020. Language models are few-shot learners. (2020). arXiv претпријатие arXiv:2005.14165 [3] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. 2020. End-to-end object detection with transformers. In Спрингер, 213 – 229 Европска конференција за компјутерско видување [4] Y en-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng и Jingjing Liu. 2020 УНИТЕР: Универзално учење за претставување на слика-текст. . 104–120. ECCV 2020 [5] Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang, and Guoping Hu. 2020. Revisiting pre-trained models for chinese natural language processing. (2020). arXiv претпријатие arXiv:2004.13922 [6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In . 4171–4186. NAACL-HLT 2019 [7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. 2019. Unified Language Model Pre-training for Natural Language Understanding and Generation. In . 13042–13054. Неврит 2019 Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xi-aohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. 2020. (2020). arXiv preprint arXiv:2010.11929 [9] Patrick Esser, Robin Rombach, and Björn Ommer. 2020. Taming Transformers for High-Resolution Image Synthesis. arXiv [Одговор на CV] :2012.09841 [10] William Fedus, Barret Zoph, and Noam Shazeer. 2021. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. abs/2101.03961 (2021). арXiv Кореј :2101.03961 https://arxiv.org/abs/2101.03961 [11] Zhe Gan, Yen-Chun Chen, Linjie Li, Chen Zhu, Yu Cheng, and Jingjing Liu. 2020. Large-Scale Adversarial Training for Vision-and-Language Representation Learning. In . Невропатија 2020 [12] Dehong Gao, Linbo Jin, Ben Chen, Minghui Qiu, Peng Li, Yi Wei, Yi Hu, и Hao Wang. 2020. Fashionbert: Текстот и сликата се совпаѓаат со адаптивна загуба за крос-модално враќање. . 2251–2260. SIGIR 2020 [13] Haoyuan Gao, Junhua Mao, Jie Zhou, Zhiheng Huang, Lei Wang, and Wei Xu. 2015. Are you talking to a machine? dataset and methods for multilingual image question answering. (2015). arXiv претпријатие arXiv:1505.05612 [14] Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative adversarial networks. (2014). arXiv preprint arXiv:1406.2661 [15] Kaiming He, Xiangyu Zhang, Shaoqing Ren и Jian Sun. 2016 Длабоко преостанато учење за препознавање на слики. во 770 до 778 година. CVPR 2016 [16] Pengcheng He, Xiaodong Liu, Jianfeng Gao, и Weizhu Chen. 2020. De-berta: Декодирање-подобрена берт со исклучено внимание. 2020 година. arXiv preprint arXiv:2006.03654 [17] Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu и Jianlong Fu. 2020. пиксел-берт: Усогласување на пикселите на сликата со текстот со длабоки мултимодални трансформатори. (2020). arXiv preprint arXiv:2004.00849 [18] Zihang Jiang, Weihao Yu, Daquan Zhou, Yunpeng Chen, Jiashi Feng и Shuicheng Yan. 2020. Convbert: Подобрување на бертот со динамичка конволуција базирана на опсег. 2020 година. arXiv претпријатие arXiv:2008.02496 [19] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, и Radu Soricut. 2019. Алберт: Малку BERT за само-надгледувано учење на јазични репрезентации. abs/1909.11942 (2019). Кореј [20] Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer, and Zhifeng Chen. 2020. Gshard: Scaling giant models with conditional computation and automatic sharding. 2020 година. arXiv претпријатие arXiv:2006.16668 Mike Lewis, Shruti Bhosale, Tim Dettmers, Naman Goyal, и Luke Zettle-moyer. 2021. база слоеви: поедноставување на обука на големи, слаби модели. abs/2103.16716 (2021). CoRR [22] Gen Li, Nan Duan, Yuejian Fang, Daxin Jiang, и Ming Zhou. 2019. Unicoder-VL: Универзален кодер за визија и јазик преку крос-модална пред-обука. апс/1908.06066 (2019) Кореј [23] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, и Kai-Wei Chang. апс / 08.03557 (2019) CoRR [24] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, and Jianfeng Gao. 2020. Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks. abs/2004.06165 (2020). CoRR [25] Junyang Lin, An Yang, Yichang Zhang, Jie Liu, Jingren Zhou, and Hongxia Yang. 2020. Interbert: Vision-and-language interaction for multi-modal pretraining. (2020). arXiv претпријатие arXiv:2003.13198 [26] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár и C. Lawrence Zitnick. 2014 Microsoft COCO: заеднички објекти во контекст. . 740–755. ECCV 2014 година [27] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. 2019. RoBERTa: A Robustly Optimized BERT Pretraining Approach. Бр. од 07.06.2019 година CoRR [28] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. 2019. ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. In . 13–23. Неврит 2019 [29] Jiasen Lu, Vedanuj Goswami, Marcus Rohrbach, Devi Parikh, and Stefan Lee. 2019. 12-in-1: Multi-Task Vision and Language Representation Learning. Јануари 2019 година. Кореј [30] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving language understanding by generative pre-training. (2018). URL https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ languageunsupervised/language understanding paper. pdf https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ [31] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, и Ilya Sutskever. [n.d.]. Јазичните модели се ненадгледувани мултитаски ученици. ([n.d.]). [32] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, and Ilya Sutskever. 2021. Zero-Shot Text-to-Image Generation. arXiv [Одговор на CV] Број: 2102 1202 [33] Shaoqing Ren, Kaiming He, Ross B. Girshick, и Jian Sun. 2015 Побрзо R-CNN: кон откривање на објекти во реално време со регионални мрежи. . 91–99. NeurIPS 2015 [34] Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016. Neural Machine Translation of Rare Words with Subword Units. In . ACL 2016 [35] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, и Jeff Dean. 2017. Огромно големи невронски мрежи: ретка мешавина на слој на експерти. (2017). arXiv претпријатие arXiv:1701.06538 [36] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper и Bryan Catanzaro. 2019. Megatron-LM: Обука за модели на повеќе милијарди параметриски јазици со користење на паралелизам на модели. (2019 година) arXiv preprint arXiv:1909.08053 [37] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. 2019. MASS: Masked Sequence to Sequence Pre-training for Language Generation. In . 5926–5936. ICML 2019 година [38] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei, and Jifeng Dai. 2020. VL-BERT: Pre-training of Generic Visual-Linguistic Representations. In . ICLR 2020 [39] Maosong Sun, Jingyang Li, Zhipeng Guo, Z Yu, Y Zheng, X Si, and Z Liu. 2016. Thuctc: an efficient chinese text classifier. (2016). Репозиториум на GitHub [40] Hao Tan и Mohit Bansal. 2019. LXMERT: Учење крос-модалност кодер репрезентации од трансформатори. во 5099 до 5110 EMNLP-IJCNLP 2019 година [41] Aäron van den Oord, Oriol Vinyals, и Koray Kavukcuoglu. 2017. Невронски дискретно претставување учење. во . Нипс [42] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention is All you Need. In од 5998 до 6008 Неврит 2017 [43] Ang Wang, Xianyan Jia, Le Jiang, Jie Zhang, Yong Li, и Wei Lin. 2020 година. arXiv претпријатие arXiv:2011.09208 [44] Wei Wang, Bin Bi, Ming Yan, Chen Wu, Zuyi Bao, Jiangnan Xia, Liwei Peng, и Luo Si. 2019 Structbert: Вклучување на јазични структури во пред-обука за длабоко разбирање на јазикот. (2019 година) arXiv preprint arXiv:1908.04577 [45] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. 2016 Невронски машински преведувачки систем на Google: Преминување на јазот помеѓу човечкиот и машинскиот превод. (2016 година) arXiv претпријатие arXiv:1609.08144 [46] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, and Kaiming He. 2017. Aggregated residual transformations for deep neural networks. In . 1492–1500. CVPR 2017 година [47] Liang Xu, Xuanwei Zhang, и Qianqian Dong. 2020. CLUECorpus2020: Големиот кинески корпус за пред-тренинг Модел на јазикот. 2020 година. arXiv претпријатие arXiv:2003.01355 [48] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. 2018. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In 1316 – 1324 година Конференција на IEEE за компјутерска визија и препознавање на модели [49] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov, and Quoc V. Le. 2019. XLNet: Generalized Autoregressive Pretraining for Language Understanding. In од 5754 до 5764. Неврит 2019 [50] Fei Yu, Jiji Tang, Weichong Yin, Yu Sun, Hao Tian, Hua Wu, and Haifeng Wang. 2020. Ernie-vil: Knowledge enhanced vision-language representations through scene graph. (2020). arXiv претпријатие arXiv:2006.16934 [51] Luowei Zhou, Hamid Palangi, Lei Zhang, Houdong Hu, Jason J. Corso, and Jianfeng Gao. 2020. Unified Vision-Language Pre-Training for Image Captioning and VQA. In . 13041–13049. Аеродром 2020 This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv