M6: Den kinesiske AI, der forstår tekst og billeder i skala

Forfattere af: Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, China) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Group, China) An Yang, ya235025@alibaba-inc.com (Alibaba Group, China) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba Group, China) Ming Ding, dm18@mails.tsinghua.edu.cn (Tsinghua University, China) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, China) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, China) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Group, China) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, China) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, China) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, China) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, China) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Group, China) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, China) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Group, China) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, China) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Group, China) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, China) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Group, China) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Group, China) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Group, China) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, China) Jie Tang, jietang@tsinghua.edu.cn (Tsinghua University, China) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Group, China) Forfattere af: Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, Kina) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Group, Kina) An Yang, ya235025@alibaba-inc.com (Alibaba Group, Kina) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba Group, Kina) Ming Ding, dm18@mails.tsinghua.edu.cn (Tsinghua Universitet, Kina) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, Kina) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, Kina) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Group, China) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, Kina) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, Kina) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, Kina) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, Kina) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua Universitet, Kina) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Group, Kina) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, Kina) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Group, Kina) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, Kina) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Group, Kina) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, Kina) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Group, Kina) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Group, Kina) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Group, Kina) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, Kina) Jie Tang, jietang@tsinghua.edu.cn (Tsinghua Universitet, Kina) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Group, Kina) Abstrakt I dette arbejde bygger vi det største datasæt til multimodal præ-træning på kinesisk, som består af over 1,9TB billeder og 292GB tekster, der dækker en bred vifte af domæner. Med henvisning til ulti- Odalighed til afslut- Odalighed Ultralyd egotransformator, for en samlet forudtræning af dataene fra enkeltmodaliteter og flere modaliteter. Vi skalerer modelstørrelsen op til 10 milliarder og parameters, and build the largest pretrained model in Chinese. We apply the model to a series of downstream applications, and demonstrate its outstanding performance in comparison with strong baselines. Furthermore, we specifically design a downstream task of text-guided image generation, and show that the finetuned M6 can create high-quality images with high resolution and abundant details. M6 M M M M M M 100 billion Nøgleord Multimodal Pretraining; Multitask; Text-to-Image Generation 1 Introduktion Prætraining er blevet et fokus i forskning i naturlig sprogbehandling (NLP) [ , der , der , der , der , der , der , der , der , , der ]. Den seneste GPT-3 med over 175 milliarder parametre demonstrerer, at store modeller trænet på big data har ekstremt stor kapacitet og det kan overgå state-of-the-art i downstream opgaver især i nul-shot indstillingen. , der , der , der , der , der , der , der , der , der ] har skabt nye state-of-the-art præstationer til forskellige cross-modal downstream opgaver. 1 2 7 16 18 19 27 31 37 44 49 4 11 17 22 24 25 28 29 38 51 Det er en skam, at de seneste undersøgelser fokuserer på forhåndsuddannelse på engelsk data. Der mangler både store datasæt i kinesisk og store modeller forhåndsuddannede på kinesisk data. Derfor udvikler vi i dette arbejde et stort datasæt M6-Corpus, der består af over 1,9TB billeder og 292GB tekster. Til vores bedste viden er dette det største datasæt på kinesisk til forhåndsuddannelse i både multimodalitet og naturligt sprog. Datasættet indsamlet fra websiderne består af forskellige typer data og dækker en bred vifte af domæner, herunder encyklopædi, spørgsmålssvar, forumdiskussion, produktbeskrivelse osv. Vi designer også sofistikerede rengøringsprocedurer for at sikre, at dataene er af høj kvalitet. Desuden for at udnytte en sådan stor mængde data af høj kvalitet tilstrækkeligt foreslår vi at bygge en ekstremt stor model, der kan behandle data af flere modaliteter og tilpasse sig forskellige typer downstream-opgaver. Således foreslår vi en ny model kaldet M6, der refererer til MultiModality-to-MultiModality Multitask Mega-transformer. Modellen er baseret på transformatoren, og den er forududdannet med flere opgaver. Pretraining giver modellen evnen til at forstå og generere single-modality og multimodality. Baseret på arkitekturen af M6, bygger vi og , som skaleres op til 10 milliarder og 100 milliarder pa-rameter henholdsvis. Vi anvender modellen til en række downstream applikationer, herunder produktbeskrivelsesgenerering, visuel spørgsmålssvar, fællesskabsspørgsmålssvar, kinesisk digtgenerering osv., og vores eksperimentelle resultater viser, at M6 overgår en række stærke baseline. M6 - 10B M6-100B M6 - 100B Et andet bidrag fra dette arbejde er, at vi først integrerer præ-træning med tekst-til-billedgenerering. For at være mere specifik anvender vi et uddannet vektorkvantiseret generativt modsætningsnetværk til at repræsentere billeder med diskrete billedkoder, og vi bruger derefter den forududdannede M6 til at lære forholdet mellem tekster og koder. [32] af For at opsummere er M6's bidrag som følger: Vi indsamler og opbygger de største kinesiske multi-modale præ-træningsdata i branchen, som omfatter 300 GB tekst og 2 TB billeder. Vi foreslår M6 til multimodal prætraining på kinesisk, og vi skalerer modelstørrelsen til op til 10 og 100 milliarder parametre. M6 er alsidig og overgår stærke baseline med 11,8 % i VQA, 18,4 % i image-subtitling og 10,3 % i image-text matching. Med omhyggeligt udformede storskala distribuerede træningsoptimeringer har M6 tydelige fordele i træningshastighed og reducerer træningskostnaderne betydeligt, hvilket skaber muligheden for en mere udbredt anvendelse af multi-modal fortræning. 2 Datasæt Vi indsamler og udvikler det største multi-modalitet- og tekstdatasæt på kinesisk i øjeblikket, hvilket er et af de vigtigste bidrag i dette papir.I dette afsnit identificerer vi først begrænsningerne af eksisterende datasæt og beskriver derefter konstruktions- og forbehandlingsproceduren for vores foreslåede datasæt. 2.1 Eksisterende datasæt Opbygningen af en storskala corpus med høj kvalitet og do-main dækning er afgørende for kinesisk præ-træning. I de tidlige tidligere værker er den kinesiske Wikipedia1 et af de mest almindeligt anvendte datasæt til at træne kinesiske sprogmodeller. Den indeholder 1,6 GB tekster (omkring 0,4 B tokens) dækker omkring 1 M encyklopædi poster. Et andet corpus med en sammenlignelig størrelse er THUCTC[ ] datasæt, som omfatter 740K nyhedsartikler. Men med den hurtigt voksende kapacitet af nyere sprogmodeller er skalaen af disse eksisterende datasæt klart utilstrækkelig. Brug ikke-udgivet udvidede data, der er 10 gange større end CN-Wikipedia til at foruddanne deres kinesiske sprogmodel. 39 [5] Det er udgivet en 100GB corpus kaldet CLUECorpus2020, som er genopbygget fra den flersprogede Common Crawl datasæt. Men skalaen af datasæt er stadig utilstrækkelig til at lette super-stor skala forberedelse sammenlignet med eksisterende engelske forberedte modeller. For eksempel GPT-3 indeholder 175B parametre og er uddannet på 570GB tekster. I mellemtiden, datasæt bør indeholde billed-tekst par i stedet for almindelige tekster til multi-modal forberedelse. [47] 2.2 Standarder for et datasæt af høj kvalitet To perform large-scale multi-modal pretraining and learn complex world knowledge in Chinese, the dataset is highly required to provide both plain texts and image-text pairs on super large scale, covering a wide range of domains. In order to perform large-scale multi-modal pretraining in Chinese, we focus on the construction of large-scale datasets in Chinese. Specifically, while we unify our pretraining for both natural language and multimodalities, we construct large datasets of both plain texts and image-text pairs. We are interested in obtaining large-scale data that covers a wide range of domains, so that it is possible for the model to learn the complex world knowledge of different fields. Also, we aim to collect data of multiple modalities for the cross-modal pretraining. This raises the difficulty for the construction of a large-scale dataset as the data for multimodal pretraining are usually image-text pairs, where in each pair the text provides a detailed description of a fraction of the image. Selvom der er en enorm mængde tekstressourcer og billeder på verdensomspændende web, antas corpus for multimodal præ-træning at være bedre, når de opfylder følgende egenskaber: (1). sætningerne skal være flydende naturligt sprog inden for en normal længde, og bør ikke indeholde meningsløse tokens, såsom markeringer, duplikerede punkteringsmærker, tilfældige kombinationer af tegn osv.; (2) billederne skal være naturlige og realistiske, og opløsningerne af billederne skal være identificerbare for mennesker; (3) både tekster og billeder bør ikke indeholde ulovligt indhold, såsom pornografi, vold osv.; (4) billederne og teksterne skal være semantisk relevante; (5) datasæt bør dække en bred vifte af felter, sige sport, politik, videnskab osv., og derfor kan det give modellen tilstrækkelig verdenskendskab. 2.3 Datasætkonstruktion Baseret på ovenstående krav indsamler vi data fra både almindelige tekster og billedtekstpar. Der findes forskellige typer data, herunder encyklopædi, crawled webside, community question answering, forum, produktbeskrivelse osv. Vi præsenterer detaljerne i tabel Den indsamlede corpus består af både almindelige tekster og billedtekstpar, som er kompatible med de designet tekst-kun og multi-modal præ-træning opgaver. Også, data har en stor dækning over domæner, såsom videnskab, underholdning, sport, politik, sund fornuft af livet, osv. Vi har også sammenlignet nogle karakteristika af vores corpus med eksisterende datasæt, der anvendes til kinesisk præ-træning i tabel Størrelsen af vores datasæt er meget større end de foregående. Efter vores viden er dette den første store, multimodale og multidomæne corpus til kinesisk præ-træning. 3. 2. Vi implementerer sofistikeret præprocessing for at opnå rene data. For tekstdata fjerner vi først HTML-markeringer og duplikerede punktmærker, og vi reserverer kun tegn og punktmærker, der er på kinesisk og engelsk. Vi fjerner emner, der er kortere end 5 tegn og indhold, der er kortere end 15 tegn. Vi anvender yderligere in-house spam detektion til at fjerne sætninger, der indeholder ord relateret til visse politiske spørgsmål, pornografi, eller ord i listen over beskidte, naughty, og andre dårlige ord. For at bevare den sproglige accept af teksterne, vi implementerer en sprogmodel til at vurdere deres forvirring, og sætninger med høj forvirring bortskaffes. Kun billeder med mindst 5000 pixels er reserveret til forhåndstræning. En sekvens af klassi 3 M6 rammer Multimodal prætraining udnytter både kraften i selv-attention-baseret transformatorarkitektur og prætraining på store data. Vi bestræber os på at udstyre modellen med stærk evne til tværmodal forståelse og generering. som henviser til afslut- Uddannelse til- afslut- Odalighed Ultralyd Ikke en transformator. M6 M M M M M M 3.1 Å visuelle og sproglige input De vigtigste multimodale forberedelsesmetoder omdanner billeder til karaktersekvenser via objektdetektion. Imidlertid påvirker objektdetektorernes ydeevne samt deres rygsøjles udtryksfuldhed stærkt den endelige ydeevne af de forberedte modeller i downstream-opgaver. Vi observerer, at en stor del af billederne kun indeholder nogle få objekter. Tag billederne fra e-handelsdataene som et eksempel. Vi prøver tilfældigt 1M-billeder og udfører objektdetektion på billederne. Resultaterne viser, at over 90% af billederne indeholder færre end 5 objekter. Desuden har objekterne en høj overlapning med hinanden. For at lindre en sådan indflydelse vender vi os til en simpel, men effektiv løsning efter Gao et al. [\12\(#bookmark28)] og Dosovit , der , der Vi bruger WordPiece [ , [ ] og maske til ordet sekvens og indlejre dem med et indlejringslag, efter BERT 4 11 24 34 45 [6] Det er 3.2 Unified Encoder-Decoder tilgængelighed Vi integrerer billedembeddings ei og ordet embeddings et i den tværmodale indlejringssekvens e = {ei, et }. Vi sender sekvensen til transformatorens rygsøjle til højniveaufunktionekstraktion. For at differentiere deres repræsentationer tilføjer vi tilsvarende segmentembeddings til forskellige modaliteter. transformatorblokke baseret på selvopmærksomhed til vores unificerede cross-modal repræsentationsindlæring. For at være mere specifik, er bygningsblokken identisk med den af BERT eller GPT, som består af selvopmærksomhed og pointwise feed-forward netværk (FFN). På toppen af transformator rygsøjlen tilføjer vi et outputlag til ordforudsigelse, og dermed binder vi dets vægte til dem af indlejringslaget. Indgangen er segmenteret i tre dele, herunder visuelle input, maskerede sproglige input og komplette sproglige input. Vi anvender bidirektionel maskering til både de visuelle input og maskerede sproglige input, og vi anvender kausal maskering til de komplette sproglige input. 3.3 Forberedelsesmetoder Vi fortræner modellen med multitask-opstillingen, herunder tekst-til-tekst-overførsel, billed-til-tekst-overførsel og multimodalitet-til-tekst-overførsel. Som vist i figuren modellen lærer at udføre text denoising og sprog modellering i indstillingen af tekst-til-tekst overførsel. i text denoising, vi maskerer input tekst med en proportion, som er 15% i praksis efter BERT [ ]. Specifikt maskerer vi et kontinuerligt spektrum af tekst med en enkelt maske, og modellen skal lære at afkode hele sekvensen. Dette tilskynder modellen til at lære både genopretning og længdeforudsigelse. Desuden, for at forbedre modelens evne i generation, tilføjer vi et sæt af sprogmodellering, hvor koderen modtager ingen input, og dekoderen lærer at generere ord baseret på den foregående kontekst. Text-to-text Transfer 3 , 6 Billed-til-tekst-overførsel ligner billedtekst, hvor modellen modtager den visuelle information som input, og lærer at generere en tilsvarende beskrivelse.I denne indstilling tilføjer vi den ovennævnte patch feature-sekvens til input og efterlader den maskerede input tom. Image-to-text transfer Baseret på opsætningen af billed-til-tekst-overførsel tilføjer vi desuden maskerede sproglige input, og således skal modellen lære at generere målteksten baseret på både de visuelle oplysninger og de støjende sproglige oplysninger. Multimodality-to-text transfer 3.4 Skalering op til 10 og 100 milliarder parametre Vi skalerer modelstørrelsen op til 10 milliarder parametre og 100 milliarder parametre, som kaldes M6-10B og M6-100B. Den øgede modelstørrelse giver en meget større kapacitet for modellen, at den kan lære viden fra flere data. To be more specific, we increase the size of hidden states and the number of layers. To better leverage GPU memory, we apply mixed-precision training and activation checkpointing to save memory. Still, the model cannot be fit into one single GPU, and thus we use model parallelism to split the feed-forward networks and attention heads to multiple GPUs following the implementation of Megatron-LM [36] Det er However, directly scaling up to M6-100B is much more difficult as there are more challenges for the computation resources. Alternatively, inspired by the recent progress in sparse activations [ , der , der ], vi kombinerer Mixture-of-Experts (MoE) med M6 for at opbygge versionen af 100 milliarder parametre. Bemærk, at den oprindelige MoE kræver mesh-tensorflow såvel som TPU'er. Dette sætter grænser for en række forskere uden sådanne ressourcer. ] to perform model parallelism with GPUs. We demonstrate the key statistics of the models of different scales in Table 10 20 35 43 4. Specifikt, i modsætning til det konventionelle FFN-lag, er MoE-laget en parallel kombination af flere FFN-lag, som hver især fungerer som en ekspert. Dette kaldes også ekspertparallelisme. Modellen lærer først et sparsomt gating-netværk for at rute tokenerne til specifikke eksperter. Således sendes hver token kun til et lille sæt eksperter, og beregningen kan være meget mindre sammenlignet med den i tætte modeller. Denne type model er meget effektiv, da den realiserer dataparallelisme og ekspertparallelisme på tværs af arbejdere. Beregningen af MoE-laget for et specifikt token x kan beskrives nedenfor: hvor g(·) refererer til den knappe gating-funktion, og T refererer til indekserne for top-k-værdier af g(·). MoE's output er en lineær kombination af beregningen af udvalgte ekspert FFN'er f (·). I ekspertparallelisme deles eksperternes parametre ikke på tværs af arbejdstagere, mens de af andre dele er identiske på tværs af arbejdstagere. Derfor er det nødvendigt at udføre all-to-all-kommunikation på tværs af arbejdstagere på MoE-lagene for at sende tokens til udvalgte eksperter og kombinere dem med deres oprindelige eksperter. Mens Lepikhin et al. af Fedus et al. implement the MoE on TPUs with one expert in each MoE layer on a TPU, we implement our model on Nvidia GPUs where there are several experts in each MoE layer on a GPU so as to fully utilize the memory. As all-to-all communication takes up a large amount of time, the optimization to improve efficiency is highly significant. We implement a series of optimization, including half-precision communication. A key problem is load balancing, which denotes that tokens can gather to only a few experts due to dynamic routing. Following Fedus et al. , vi anvender ekspertkapacitet, som refererer til antallet af tokens for en ekspert (C = N - c / m, hvor C refererer til ekspertkapacitet, N refererer til antallet af tokens i en batch, c refererer til kapacitetsfaktor (som er en hyperparameter normalt større end 1.0) og m refererer til antallet af eksperter), for at lindre dette problem. [20 ] [10 ] [10 ] Ud over optimering i all-to-all-kommunikation kombinerer vi top-2 gating og top-1 gating og finder, at de kan opnå lignende modelpræstationer i forvirring, mens sidstnævnte konvergerer lidt langsommere. Effektiviteten af top-1 gating muliggør hurtigere beregning. Desuden anvender vi også metoder til hukommelsesoptimering for højere effektivitet. Vi finder, at gradient klipning globalt kan øge omkostningerne på all-to-all-kommunikation, da det beregner normer over alle eksperter, og således anvender vi lokal klipning til hukommelsesbesparelse. Vi implementerer M6-100B med omkring 100 milliarder parametre på 128 Nvidia A100s og hastigheden af præ-træning når 1440 prøver/s (prøver af sekvenslæng Vi viser, at brugen af MoE-strukturen til modelstørrelse er effektiv, og den kan opnå lignende ydeevne som M6-10B, den største tætte model, inden for 2-3 gange kortere tid. Den negative log perplexity af M6-100B når −2.297, sammenlignet med M6-10B, der når −2.253 men med dobbelt tid.2 Dette viser, at den MoE-baserede M6 model har fordele på tidspunktet i forhold til tætte modeller med mange flere FLOP'er. 4 Ansøgninger 4.1 Tekst-til-billede generation Tidligere undersøgelser fokuserede hovedsageligt på generation på et begrænset domæne, blandt hvilke Generative Adversarial Nets (GANs) [ , der ] er dominerede metoder. Efter Ramesh et al. Vi udnytter en to-trins ramme for tekst-til-billedgenerering, herunder diskret repræsentationsindlæring og sprogmodellering. 14 48 [32] af I første fase fokuserer vi på at omdanne billeder til sekvenser af diskrete koder. Der er en række alternativer til diskret kode generation, herunder VQVAE [ ] and VQGAN [ ].I det andet trin er det nødvendigt at opbygge en sprogmodel for at lære at generere tekst og kode sekvens. I finetuning tilføjer vi kode indlejring og output lag til den forudtrænede M6. Vi konkasserer ordsekvensen og den ovennævnte genererede kode sekvens som input, og vi sætter målet for autoregressiv sprogmodellering til træningen. På inferensstadiet indtaster vi tekstsekvensen, og modellen genererer koder autoregressivt med top-k sampling. 41 9 Vi bygger et datasæt til tekst-til-billedgenerering i e-handel. Specifikt indsamler vi over 50 millioner produkttitler og billeder fra den mobile Taobao. Vi anvender en række behandlingsmetoder på billederne for at filtrere de ukvalificerede. Vi filtrerer billederne med komplekse baggrundsfunktioner (tegn, mønstre osv.) med den interne hvide baggrundsbilleddetektor og OCR-model. Vi filtrerer derefter billederne med over 3 objekter med vores interne objektdetektor baseret på Faster R-CNN [ ]. Vi får endelig 1,8m højkvalitets produktbillede-tekstpar til finetuning. Sammenlignet med billederne i de generelle domæner har vores indsamlede data følgende egenskaber. Billedet og teksten er stærkt korreleret, da teksten beskriver produktets centrale funktioner, og der er ingen kompleks baggrund i billederne, hvilket er lettere at lære sammenlignet med billederne i de offentlige datasæt som MSCOCO 33 [26 ] Det er Vi viser to eksempler i figur and Figure Det kan konstateres, at de genererede billeder er af høj kvalitet, og de genererede objekter ligner de virkelige. , finder vi, at modellen er i stand til at forestille sig elementer i henhold til forespørgslen Den fantasi evne giver plads til kreativt design i den virkelige verden industrielle scenarier, såsom tøj design, sko design, osv. 4 5. 6 Militær stil camouflage høje hæle(军旅风迷彩高跟鞋) We also finetune M6 under our proposed framework on another dataset which contains 3 million images crawled from the Internet, which cover more general domains. And we find that the model can adapt to different domains. As shown in Figure modellen er i stand til at generere clip arts af robotter. Dette afslører den alsidighed af rammen i tekst-til-billed generation. 7 og 7 4.2 Visual Question Answering We demonstrate our experimental results on a visual question answering dataset, and we illustrate how we directly apply the pre-trained M6 to the VQA application. We leverage the FMIQA dataset [ ] as the Chinese visual QA benchmark, which requires the model to generate the answer given an image and a question. We implement a transformer-based model as our baseline. For the evaluation, we split the test set manually by random sampling 200 from the dataset as there is no official release of the test set, and we evaluate the overall accuracy by human evaluation. The results are demonstrated in Table Den forudtrænede M6-base overgår baseline med en stor margin (+6,2 %), hvilket indikerer effektiviteten af multimodal prætraining. 13 5. Desuden viser vi, at simpelthen finetuning på et så lille VQA-datasæt kan begrænse potentialet for M6. Derfor udnytter vi M6 direkte til VQA-applikationen. Vi finder, at modellen er i stand til at genkende generelle funktioner og give mere relateret viden baseret på sin forståelse. Selvom modellen forududdannet på pseudo-parallelle billed-tekstpar ikke direkte kan besvare spørgsmål om detaljerede funktioner, såsom farve, tal osv., er den i stand til at besvare spørgsmål relateret til baggrundskendskab. 8. 4.3 Image Captioning Image captioning requires the model to generate a caption that describes the given image, which examines the model ability of cross-modal generation. We construct a dataset (named E-Commerce IC) containing pairs of product descriptions and product images from Taobao. Since too long or too short descriptions may be noisy, we discard pairs with a description longer than 100 words or less than 10 words. To avoid dirty generations, we further use an in-house tool to filter descriptions that may contain dirty words (i.e., pornographic or violent words). Finally, E-Commerce IC contains about 260k text-image pairs. We finetune the model with the image-to-text transfer task on E-Commerce IC. We compare our model with a baseline of transformer in the human evaluation. We ask several annotators with the linguistic background to evaluate from three perspectives: grammar (whether a text is fluent without grammatical error), correctness (whether a text is faithful to the image), richness (whether a text is informative and attractive). During the evaluation, we randomly sample 100 images from the test set. For each image, an annotator is asked to score the text generated by different models. The scores are within the range of [0, 5]. The results in Table show that M6-base outperforms the baseline in all of the metrics. We find that all models achieve high scores in grammar. However, in both correctness and richness, M6-base outperforms the baseline model by a large margin (+18.2% and +14.4%), indicating that multimodal pretraining helps to generate more faithful, informative and attractive texts. Scaling up the model to M6-10B further improves the correctness and richness (about 14.7% and 7.0%). Figure 9 illustrates two examples of image caption. 6 4.4 Question Answering For at demonstrere den potentielle tilgængelighed i applikationerne af intelligente chatbots anvender vi yderligere M6-modellen til at generere lange svar i stil med forumdiskussion. Menneskeligt genererede spørgsmål indsamles fra forskellige kinesiske fora, som er input til modellen for at generere svaret. i prompt, som bedre udløser modellen for at generere et svar.For at lette genereringen af længere og mere informative tekster vælger vi mere komplekse spørgsmål. “Answer:” Figure demonstrates an example of general question answer-ing. The model can illustrate a man’s own experiences that are related to the question and also point out the answer at the end. This generated text confused human annotators and passed the Turing Test. It shows that the model can not only answer general questions but also generate long fluency text. 10 4.5 Poetiske generationer We apply the pretrained model to Chinese poem generation. The model is able to generate genres with format constraints. Ancient Chinese poetry has various specific formats. We adopt the simplest constraints that The poem shall be consisted of at least 4 lines. Det samlede antal linjer skal være lige. Hver linje skal have præcis 5 eller 7 ord. All lines shall have the same number of words. Text generation under format constraint is done in a search framework that we generate short sentences ending with punctuation until the number of words meets the constraint. We repeat this process until the model generates an " " token, or the number of lines exceeds a limit of 16. Figure illustrates an example of a generated poem. 11 4.6 Image-Text Matching We evaluate the model’s ability in cross-modal retrieval. Specifically, we construct a dataset (named E-Commerce ITM) containing pairs of texts and images from the mobile Taobao. Each pair belongs to a single item. we collect 235K products in the clothing industry from Taobao. For each product, aside from the product image, we obtain a query by rewriting the product title. Specifically, we conduct named entity recognition on the title using an in-house tool, which extracts the terms describing the style, color, category and texture of the product. These terms are then concatenated into a natural language query, which is used in image-text matching. The length of each query is between 6 to 12 words. The pairs of the query and corresponding product image are labeled as positive samples. The negative samples are constructed by randomly substituting the query in the original pairs. We require the model to perform binary classification to discriminate positive and negative samples. We compare our model with InterBert [ ], which is also a Chinese multi-modal pretrained model effective in cross-modal classification downstream tasks. The InterBert utilizes object-based features and has been pretrained on Taobao product image-text data as well. 25 The results are shown in Table It should be noted that the InterBert and M6-base are both implemented with transformer-based architecture and have similar model scales. However, M6-base still outperforms InterBert by 10.3%. In experiments, we find the product images generally contain relatively fewer detected objects, which may harm the performance on this task. In contrast, M6 avoids this problem by employing the patch features and achieves much better performance. 7. 5 Relateret arbejde The tremendous success of NLP pretraining, including BERT [ ], GPT [ , , ], and also some other related studies [ , , , , ], inspires the research in cross-modal representation learning. Also, recent studies show that the ubiquitous Transformer architecture [ ] can be extended to different fields, including computer vision [ , ]. Therefore, the simplest solution to incorporate recent pretraining methods and cross-modal representation learning is the extension of BERT. From the perspective of architecture, there are mainly two types, including single-stream model and dual stream model. Specifically, single-stream model is simple and it gradually becomes the mainstream architecture. These models mostly differ in their designs of pretraining tasks or the construction of input im-age features. Basically, they are mainly pretrained masked language modeling, masked object classification, and image-text matching. VisualBERT [ ] and Unicoder-VL [ ] simply use BERT and are pretrained with the aforementioned tasks. UNITER [ ] pretrains the model with an additional task of word-region alignment. Oscar [ ] enhances the alignment between objects and their corresponding words or phrases. VILLA [ ] further improves model performance by adding their proposed adversarial learning methods to pretraining and finetuning. Except for pretraining tasks, some studies focus on the features of images. Most pretraining methods for multimodal representation learning utilize the features generated by a trained object detector, say Faster R-CNN [ ]. PixelBERT [ ] accepts raw images as input and extract their latent representations with a learnable ResNet [ ] or ResNext [ ]. FashionBERT [ ] splits the images into patches with a trained ResNet without co-training. Besides single-stream models, dual-stream models also can achieve outstanding performance, such as VilBERT [ ] , LXMERT [ ] og InterBERT [ ]. ViLBERT-MT [ ] enhances model performance with multi-task finetuning. ERNIE-ViL [ ] forbedrer modellen med anvendelsen af scene graf information. På trods af disse vellykkede tilfælde, det stadig kræver yderligere forskning for at afsløre succesen af multimodal præ-træning. 6 2 30 31 1 7 19 27 49 42 3 8 23 22 4 24 11 33 17 15 46 12 28 40 25 29 50 6 CONCLUSIONS In this work, we propose the largest dataset M6-Corpus for pre-training in Chinese, which consists of over 1.9TB images and 292GB texts. The dataset has large coverage over domains, including encyclopedia, question answering, forum discussion, common crawl, etc. We propose a method called M6 that is able to process information of multiple modalities and perform both single-modal and cross-modal understanding and generation. The model is scaled to large model with 10B and 100B parameters with sophisticated deployment, and both models are the largest multimodal pretrained models. We apply the model to a series of downstream applications, showing its versatility. More specifically, we design a downstream task of text-guided image generation, and the finetuned M6 can reach superior performance by producing images of high quality. In the future, we will continue the pretraining of extremely large models by increasing the scale of data and models to explore the limit of performance, and we also endeavor to search for more downstream applications for further generalization. REFERENCES [1] Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang, Xiaodong Liu, Yu Wang, Jianfeng Gao, Songhao Piao, Ming Zhou, et al. 2020. Unilmv2: Pseudo-masked language models for unified language model pre-training. In . PMLR, 642–652. Internationale konference om maskinlæring [2] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. 2020. (2020). arXiv preprint arXiv:2005.14165 [3] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. 2020. End-to-end object detection with transformers. In . Springer, 213–229. Europæisk konference om computer vision [4] Y en-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng, and Jingjing Liu. 2020. UNITER: UNiversal Image-TExt Representation Learning. In . 104–120. ECCV 2020 [5] Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang og Guoping Hu. 2020. Det er (2020) arXiv preprint arXiv:2004.13922 [6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In . 4171–4186. NAACL-HLT 2019 [7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou og Hsiao-Wuen Hon. 2019. 13042 til 13054. Neuropædi 2019 [8] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xi-aohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. 2020. An image is worth 16x16 words: Transformers for image recognition at scale. (2020). arXiv preprint arXiv:2010.11929 [9] Patrick Esser, Robin Rombach, and Björn Ommer. 2020. Taming Transformers for High-Resolution Image Synthesis. arXiv [Læs mere CV] Forrige artikel2012.09841 [10] William Fedus, Barret Zoph, og Noam Shazeer. 2021. Switch Transformers: Skalering til trillion parametermodeller med enkel og effektiv sparsitet. abs/2101.03961 (2021). arXiv Korr Tilbage til 2101.03961 https://arxiv.org/abs/2101.03961 [11] Zhe Gan, Yen-Chun Chen, Linjie Li, Chen Zhu, Yu Cheng og Jingjing Liu. . NeurIPS 2020 [12] Dehong Gao, Linbo Jin, Ben Chen, Minghui Qiu, Peng Li, Yi Wei, Yi Hu, and Hao Wang. 2020. Fashionbert: Text and image matching with adaptive loss for cross-modal retrieval. In . 2251–2260. Sæson 2020 [13] Haoyuan Gao, Junhua Mao, Jie Zhou, Zhiheng Huang, Lei Wang og Wei Xu. 2015 Du taler til en maskine? datasæt og metoder til flersproget billed spørgsmål besvarelse. (2015). arXiv forprint arXiv:1505.05612 [14] Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville og Yoshua Bengio. (2014). arXiv preprint arXiv:1406.2661 [15] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep Residual Learning for Image Recognition. In . 770–778. CVPR 2016 [16] Pengcheng He, Xiaodong Liu, Jianfeng Gao, og Weizhu Chen. 2020. De-berta: Dekoding-forbedret beret med løsrevet opmærksomhed. (2020). arXiv forudskrivning arXiv:2006.03654 [17] Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu og Jianlong Fu. 2020. Pixel-bert: Justering af billed pixels med tekst ved hjælp af dybe multi-modale transformatorer. (2020). arXiv forprint arXiv:2004.00849 [18] Zihang Jiang, Weihao Yu, Daquan Zhou, Yunpeng Chen, Jiashi Feng, og Shuicheng Yan. 2020. Convbert: Forbedring af bert med span-baseret dynamisk konvolution. (2020). arXiv preprint arXiv:2008.02496 [19] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. 2019. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. Højesteret 1909 (11942) CoRR [20] Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer, and Zhifeng Chen. 2020. Gshard: Scaling giant models with conditional computation and automatic sharding. (2020). arXiv preprint arXiv:2006.16668 [21] Mike Lewis, Shruti Bhosale, Tim Dettmers, Naman Goyal og Luke Zettle-moyer. 2021. BASE Layers: Simplifying Training of Large, Sparse Models. abs/2103.16716 (2021). CoRR [22] Gen Li, Nan Duan, Yuejian Fang, Daxin Jiang og Ming Zhou. 2019. Unicoder-VL: En universel koder for vision og sprog ved tværmodal præ-træning. abs/1908.06066 (2019). CoRR [23] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, and Kai-Wei Chang. 2019. VisualBERT: A Simple and Performant Baseline for Vision and Language. abs/1908.03557 (2019). CoRR [24] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, and Jianfeng Gao. 2020. Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks. Iværksættelse af forordning (EF) nr. 1304/2004 af 6. juni 2006 om: Korr [25] Junyang Lin, An Yang, Yichang Zhang, Jie Liu, Jingren Zhou og Hongxia Yang. (2020). arXiv preprint arXiv:2003.13198 [26] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. 2014. Microsoft COCO: Common Objects in Context. In . 740–755. ECCV 2014 [27] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. 2019. RoBERTa: A Robustly Optimized BERT Pretraining Approach. Højesteret 11679 (2019) Korr [28] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. 2019. ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. In af 13-23. Neuropædi 2019 [29] Jiasen Lu, Vedanuj Goswami, Marcus Rohrbach, Devi Parikh, and Stefan Lee. 2019. 12-in-1: Multi-Task Vision and Language Representation Learning. abs/1912.02315 (2019). Korr [30] Alec Radford, Karthik Narasimhan, Tim Salimans og Ilya Sutskever. 2018. (2018). URL https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ languageunsupervised/language understanding paper. pdf https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ [31] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei og Ilya Sutskever. [n.d.]. Sprogmodeller er uovervågede multitask lærere. ([n.d.]). [32] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, and Ilya Sutskever. 2021. Zero-Shot Text-to-Image Generation. arXiv [Læs mere CV] Tilbage til 12092 [33] Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. 2015. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. In . 91–99. NeurIPS 2015 [34] Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016. Neural Machine Translation of Rare Words with Subword Units. In . ACL 2016 [35] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton og Jeff Dean. 2017. (2017). arXiv preprint arXiv:1701.06538 [36] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper og Bryan Catanzaro. 2019. Megatron-LM: Træning Multi-Billion Parameter Language Models Using Model Parallelism. (2019) af arXiv forprint arXiv:1909.08053 [37] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu og Tie-Yan Liu. 2019. MASS: Maskeret sekvens til sekvens forberedelse til sproggeneration. . 5926–5936. ICML 2019 [38] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei og Jifeng Dai. . ICLR 2020 [39] Maosong Sun, Jingyang Li, Zhipeng Guo, Z Yu, Y Zheng, X Si, and Z Liu. 2016. Thuctc: an efficient chinese text classifier. (2016) af GitHub Repository [40] Hao Tan and Mohit Bansal. 2019. LXMERT: Learning Cross-Modality Encoder Representations from Transformers. In . 5099–5110. EMNLP-IJCNLP i 2019 [41] Aäron van den Oord, Oriol Vinyals, og Koray Kavukcuoglu. 2017. Neural Diskret Repræsentation Learning. i . Nips [42] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser og Illia Polosukhin. 5998 til 6008. Neuropædi 2017 [43] Ang Wang, Xianyan Jia, Le Jiang, Jie Zhang, Yong Li og Wei Lin. 2020. Det er (2020) arXiv preprint arXiv:2011.09208 [44] Wei Wang, Bin Bi, Ming Yan, Chen Wu, Zuyi Bao, Jiangnan Xia, Liwei Peng og Luo Si. 2019 Structbert: Indlejring af sprogstrukturer i præ-træning for dyb sprogforståelse. (2019) af arXiv forprint arXiv:1908.04577 [45] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. 2016. (2016). arXiv forprint arXiv:1609.08144 [46] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu og Kaiming He. 2017 Aggregerede resterende transformationer for dybe neurale netværk. . 1492–1500. CVPR 2017 [47] Liang Xu, Xuanwei Zhang og Qianqian Dong. 2020. CLUECorpus2020: En storskala kinesisk Corpus for Pre-trainingLanguage Model. (2020). arXiv preprint arXiv:2003.01355 [48] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang og Xiaodong He. 2018. Attngan: Fine-kornet tekst til billedgenerering med opmærksomme generative modstandsnetværk. . 1316–1324. Proceedings of the IEEE conference on computer vision and pattern recognition [49] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov og Quoc V. Le. 2019. XLNet: Generaliseret autoregressiv forberedelse til sprogforståelse. 5754 til 5764. Neuropædi 2019 [50] Fei Yu, Jiji Tang, Weichong Yin, Yu Sun, Hao Tian, Hua Wu og Haifeng Wang. Det er (2020) arXiv forprint arXiv:2006.16934 [51] Luowei Zhou, Hamid Palangi, Lei Zhang, Houdong Hu, Jason J. Corso, and Jianfeng Gao. 2020. Unified Vision-Language Pre-Training for Image Captioning and VQA. In . 13041–13049. AAAI 2020 This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv Dette papir er Under CC by 4.0 Deed (Attribution 4.0 International) licens. available on arxiv