Poznaj M6: Chińska sztuczna inteligencja, która rozumie tekst i obrazy w skali

Autorzy : Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, China) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Group, China) An Yang, ya235025@alibaba-inc.com (Alibaba Group, China) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba Group, China) Ming Ding, dm18@mails.tsinghua.edu.cn (Tsinghua University, China) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, China) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, China) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Group, China) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, China) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, China) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, China) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, China) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Group, China) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, China) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Group, China) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, China) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Group, China) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, China) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Group, China) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Group, China) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Group, China) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, China) Jie Tang, jietang@tsinghua.edu.cn (Tsinghua University, China) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Group, China) Autorzy : Junyang Lin, junyang.ljy@alibaba-inc.com (Grupa Alibaba, Chiny) Rui Men, menrui.mr@alibaba-inc.com (Grupa Alibaba, Chiny) An Yang, ya235025@alibaba-inc.com (Grupa Alibaba, Chiny) Chang Zhou, ericzhou.zc@alibaba-inc.com (Grupa Alibaba, Chiny) Ming Ding, dm18@mails.tsinghua.edu.cn (Uniwersytet Tsinghua, Chiny) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, China) Peng Wang, zheluo.wp@alibaba-inc.com (Grupa Alibaba, Chiny) Ang Wang, wangang.wa@alibaba-inc.com (Grupa Alibaba, Chiny) Le Jiang, jiangle.jl@alibaba-inc.com (Grupa Alibaba, Chiny) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, China) Jie Zhang, wanglin.zj@alibaba-inc.com (Grupa Alibaba, Chiny) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, Chiny) Xu Zou, zoux18@mails.tsinghua.edu.cn (Uniwersytet Tsinghua, Chiny) Zhikang Li, zhikang.lzk@alibaba-inc.com (Grupa Alibaba, Chiny) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, Chiny) Jie Liu, sanshuai.lj@alibaba-inc.com (Grupa Alibaba, Chiny) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, Chiny) Huiling Zhou, zhule.zhl@alibaba-inc.com (Grupa Alibaba, Chiny) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, Chiny) Jin Yu, kola.yu@alibaba-inc.com (Grupa Alibaba, Chiny) Yong Li, jiufeng.ly@alibaba-inc.com (Grupa Alibaba, Chiny) Wei Lin, weilin.lw@alibaba-inc.com (Grupa Alibaba, Chiny) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, China) Jie Tang, jietang@tsinghua.edu.cn (Uniwersytet Tsinghua, Chiny) Hongxia Yang, yang.yhx@alibaba-inc.com (Grupa Alibaba, Chiny) abstrakcyjna W tej pracy zbudowaliśmy największy zbiór danych dla multimodalnego szkolenia wstępnego w języku chińskim, który składa się z ponad 1,9TB obrazów i 292GB tekstów obejmujących szeroką gamę domen. W odniesieniu do Ostatecznie - Odolność do Ostatecznie - Odolność Ultitask Ega-transformator, w celu ujednolicenia wstępnego szkolenia w zakresie danych dotyczących pojedynczych i wielomodalnych. parametrów i zbudować największy wstępnie wyszkolony model w języku chińskim. Stosujemy model do szeregu zastosowań w dalszym ciągu i demonstrujemy jego doskonałą wydajność w porównaniu z silnymi liniami wyjściowymi. Ponadto specyficznie zaprojektujemy w dalszym ciągu zadanie generowania obrazów z przewodem tekstowym i pokazujemy, że wyrafinowany M6 może tworzyć wysokiej jakości obrazy o wysokiej rozdzielczości i obfitych szczegółach. M6 M M M M M M 100 billion Słowa kluczowe Multimodal Pretraining; Multitask; Generacja tekstu do obrazu 1 Wprowadzenie Przetwarzanie języka naturalnego (Natural Language Processing, NLP) , , , , , , , , , , ]. Niedawny GPT-3 z ponad 175 miliardami parametrów pokazuje, że duże modele przeszkolone na dużych danych mają niezwykle dużą pojemność i może wykonać najnowocześniejsze zadania w dół, zwłaszcza w ustawieniu zero-shot. , , , , , , , , , Stworzyli nowe, najnowocześniejsze występy dla różnych zadań cross-modalnych w dół. 1 2 7 16 18 19 27 31 37 44 49 4 11 17 22 24 25 28 29 38 51 Szkoda, że najnowsze badania koncentrują się na wstępnym szkoleniu nad danymi w języku angielskim. Brakuje zarówno dużych zbiorów danych w języku chińskim, jak i dużych modeli wstępnych szkoleń nad danymi w języku chińskim. W związku z tym w tej pracy opracowujemy duży zbiór danych M6-Corpus, który składa się z ponad 1,9 TB obrazów i 292 GB tekstów. Jak wiemy, jest to największy zbiór danych w języku chińskim do wstępnego szkolenia zarówno w zakresie multimodalności, jak i języka naturalnego. Zbiór danych zebrany z stron internetowych składa się z różnych typów danych i obejmuje dużą skalę domen, w tym encyklopedii, odpowiedzi na pytania, dyskusji na forum, opisu produktu itp. Ponadto, aby wystarczająco wykorzystać tak dużą ilość danych o wysokiej jakości, proponujemy zbudować niezwykle duży model, który może przetwarzać dane o wielu modelach i dostosować się do różnych rodzajów zadań w dalszym ciągu. W ten sposób proponujemy nowy model o nazwie M6, odnoszący się do MultiModality-to-MultiModality Multitask Mega-transformer. Model opiera się na transformatorze i jest wstępnie przeszkolony z wieloma zadaniami. i , które są skalowane do 10 miliardów i 100 miliardów pa-rametrów odpowiednio. Stosujemy model do szeregu dalszych zastosowań, w tym generowania opisu produktu, odpowiedzi na wizualne pytania, odpowiedzi na pytania społecznościowe, generowania chińskich wierszy itp., A nasze eksperymentalne wyniki pokazują, że M6 przewyższa serię silnych linii wyjściowych. M6 – 10B M6 – 100B M6 – 100B Innym wkładem tej pracy jest to, że najpierw włączamy pre-trening z generowaniem tekstu do obrazu. , wykorzystujemy dwustopniowe ramy do generowania obrazów. Aby być bardziej konkretnym, stosujemy wyszkoloną wektorowo kwantowaną sieć przeciwstawną do reprezentowania obrazów z dyskretnymi kodami obrazu, a następnie używamy przeszkolonego M6 do nauki relacji między tekstami a kodami. [32] Podsumowując, wkład M6 jest następujący: Zbieramy i budujemy największe chińskie wielomodalne dane pre-treningowe w branży, które obejmują 300 GB tekstów i 2 TB obrazów. Proponujemy M6 do multimodalnego pretrainingu w języku chińskim i skalujemy rozmiar modelu do 10 i 100 miliardów parametrów. M6 jest wszechstronny i przekracza mocne linie bazowe o 11,8% w zakresie VQA, 18,4 w zakresie podsumowań obrazu i 10,3% w zakresie dopasowania obrazu do tekstu. Dzięki starannie zaprojektowanym, rozproszonym optymalizacjom szkoleniowym, M6 ma oczywiste zalety w zakresie szybkości szkolenia i znacząco obniża koszty szkolenia, tworząc możliwość szerszego wykorzystania wielomodalnego pretrainingu. 2 Dane Zbieramy i opracowujemy największy obecnie zbiór danych wielomodalnych i tekstowych w języku chińskim, co jest jednym z kluczowych wkładów niniejszego artykułu.W tej sekcji najpierw identyfikujemy ograniczenia istniejących zbiorów danych, a następnie opisujemy procedurę budowy i wstępnego przetwarzania proponowanego zbioru danych. 2.1 Existing Datasets Budowa dużego korpusu o wysokiej jakości i obsłudze do-main ma kluczowe znaczenie dla chińskiego przedszkolenia. W wczesnych poprzednich pracach, chińska Wikipedia1 jest jednym z najczęściej używanych zbiorów danych do szkolenia chińskich modeli językowych. Zawiera 1,6 GB tekstów (około 0,4 B tokenów) obejmujących około 1M wpisów encyklopedii. Innym korpusem o porównywalnej wielkości jest THUCTC[ ] zestaw danych, który obejmuje 740K artykułów informacyjnych. Jednak z szybko rosnącą pojemnością ostatnich modeli językowych, skala tych istniejących zestawów danych jest wyraźnie niewystarczająca. Wykorzystuje nieudostępnione rozszerzone dane, które są 10 razy większe niż CN-Wikipedia, aby przygotować ich chiński model językowy. 39 [5] Właśnie Wydano korpus o pojemności 100 GB o nazwie CLUECorpus2020, który jest odświeżony z wielojęzycznego zestawu danych Common Crawl. Jednak skala zbiorów danych jest nadal niewystarczająca do ułatwienia super-szerokiego przedtreningu w porównaniu z istniejącymi angielskimi modelami przedtrenowanymi. Na przykład GPT-3 zawiera parametry 175B i jest szkolony na tekstach o pojemności 570 GB. Tymczasem zestaw danych powinien zawierać pary obrazu-tekstu zamiast zwykłych tekstów do wielomodalnego przedtreningu. [47] » 2.2 Standardy dla wysokiej jakości zbioru danych Aby przeprowadzić wielomodalne szkolenie wstępne na dużą skalę i nauczyć się złożonej wiedzy o świecie w języku chińskim, zbiór danych jest bardzo wymagany, aby zapewnić zarówno proste teksty, jak i pary obrazów-tekstów na super dużej skali, obejmując szeroką gamę domen. Aby przeprowadzić wielomodalne szkolenie wstępne na dużą skalę w języku chińskim, koncentrujemy się na budowie dużych zbiorów danych w języku chińskim. W szczególności, podczas gdy jednoczymy nasze szkolenie wstępne zarówno dla języka naturalnego, jak i multimodalności, budujemy duże zbiory danych zarówno z tekstów prostych, jak i par obrazów-tekstów. Jesteśmy zainteresowani uzyskaniem dużych danych, które obejmują szeroką gamę domen, dzięki czemu Chociaż istnieje ogromna ilość zasobów tekstowych i obrazów na całym świecie, corpus dla multimodalnego pretrainingu jest uważany za lepszy, gdy spełnia następujące właściwości: (1). zdania powinny być płynnym językiem naturalnym w normalnej długości i nie powinny zawierać bezsensownych znaczników, takich jak znaczniki, podwójne znaki punktowe, losowe kombinacje znaków itp.; (2) obrazy powinny być naturalne i realistyczne, a rozdzielczość obrazów powinna być rozpoznawalna przez ludzi; (3) zarówno teksty, jak i obrazy nie powinny zawierać nielegalnych treści, takich jak pornografia, przemoc itp.; (4) obrazy i teksty powinny być semantycznie istotne; (5) zestawy danych powinny obejmować szeroki zakres dziedzin, np. sport, polityka, nauka itp., i dlatego mogą dać modelowi wystarczającą wiedzę na temat świata. 2.3 Dataset Construction Na podstawie powyższych wymagań gromadzimy dane zarówno z tekstów prostych, jak i pary obraz-tekst. Istnieją różne rodzaje danych, w tym encyklopedia, przeglądana strona internetowa, odpowiedzi na pytania społeczności, forum, opis produktu itp. Zebrany korpus składa się zarówno z prostych tekstów, jak i pary obrazów-tekstów, które są kompatybilne z zaprojektowanymi zadaniami pre-treningowymi tylko tekstem i wielomodalnymi. Ponadto dane mają duży zasięg w różnych dziedzinach, takich jak nauka, rozrywka, sport, polityka, sens życia itp. Porównaliśmy również niektóre cechy naszego korpusu z istniejącymi zestawami danych używanymi do chińskiego pre-treningu w tabeli Wielkość naszego zestawu danych jest znacznie większa niż w poprzednich.Na naszą wiedzę, jest to pierwszy duży, multimodalny i multi-domain corpus dla chińskiego pre-treningu. 3. 2. Wdrażamy wyrafinowane przetwarzanie wstępne, aby uzyskać czyste dane. W przypadku danych tekstowych najpierw usuwa się znaczniki HTML i podwójne znaczniki punktowe, a my rezerwujemy tylko znaki i znaczniki punktowe, które są w języku chińskim i angielskim. Usuwamy tematy, które są krótsze niż 5 znaków i treści krótsze niż 15 znaków. Dalej stosujemy wewnętrzne wykrywanie spamu, aby usunąć zdania zawierające słowa związane z pewnymi kwestiami politycznymi, pornografią lub słowami na liście brudnych, niegrzecznych i innych złych słów. Aby zachować akceptację językową tekstów, wdrażamy model językowy, aby ocenić ich nieporozumienia, a 3 M6 Framework Multimodalne szkolenie wstępne wykorzystuje zarówno moc architekturę transformatora opartą na samodzielnej uwadze, jak i szkolenie wstępne na dużej skali danych. Staramy się dać modelowi silną zdolność do zrozumienia i generowania w różnych modelach. , który odnosi się do Ostatecznie - Odchudzanie to- Ostatecznie - Odolność Ultitask Nie jest transformatorem. M6 M M M M M M 3.1 Wstępy wizualne i językowe Główne metody multimodalnego pretrainingu przekształcają obrazy w sekwencje za pośrednictwem wykrywania obiektów. Jednakże wydajność detektorów obiektów, a także ekspresywność ich kręgosłupa silnie wpływają na końcową wydajność modeli pretrainowanych w zadaniach w dalszym ciągu. Obserwujemy, że duża część obrazów zawiera tylko kilka obiektów. Weźmy na przykład obrazy danych e-commerce. Przykładowo pobieramy próbki obrazów 1M i wykonujemy wykrywanie obiektów na obrazach. Wyniki pokazują, że ponad 90% obrazów zawiera mniej niż 5 obiektów. Ponadto obiekty mają wysokie pokrycie ze sobą. Aby złagodzić takie wpływy, zwracamy się do prostego, ale skutecznego rozwiązania następującego po Gao et al. [\12\ , , Wykorzystujemy do tego WordPiece [ , [ ] i maskowanie do słów sekwencji i osadzić je warstwą osadzania, po BERT 4 11 24 34 45 [6] W tym 3.2 Jednolity koder-dekoder Integrujemy wbudowane obrazy ei i słowo wbudowane et do sekwencji wbudowy cross-modal e = {ei, et }. Wysyłamy sekwencję do kręgosłupa transformatora w celu ekstrakcji funkcji na wysokim poziomie. Aby odróżnić ich reprezentacje, dodajemy odpowiednie wbudowane segmenty dla różnych form. bloki transformatorów oparte na samodzielnej uwadze dla naszego zjednoczonego uczenia się reprezentacji międzymodalnej. Aby być bardziej konkretnym, blok budowlany jest identyczny z blokem BERT lub GPT, który składa się z samodzielnej uwagi i punktowej sieci przesyłowej (FFN). Na górze kręgosłupa transformatora dodajemy warstwę wyjściową do przewidywania słów, a tym samym wiążemy jej ciężary z tymi warstwy osadowej. W ujednoliconej ramie stosujemy różne strategie maskujące, aby umożliwić kodowanie i dekodowanie. Wstęp jest podzielony na trzy części, w tym wkłady wizualne, wkłady językowe maskujące i wkłady językowe kompletne. Stosujemy dwukierunkowe maskowanie zarówno wkłady wizualne, jak i wkłady językowe maskujące, a także stosujemy maskowanie przyczynowe do wkłady językowe kompletne. 3.3 Metody przygotowawcze Przedtrenujemy model za pomocą konfiguracji wielozadaniowej, w tym transferu tekstu do tekstu, transferu obrazu do tekstu i transferu multimodalności do tekstu. Jak pokazano na rysunku model uczy się wykonywać denozygowanie tekstu i modelowanie językowe w ustawieniach transferu tekstu do tekstu. W denozygowaniu tekstu maskujemy tekst wejściowy proporcją, która w praktyce wynosi 15% po BERT [ ]. W szczególności maskujemy ciągły zakres tekstu jedną maską, a model powinien nauczyć się dekodować całą sekwencję. To zachęca model do uczenia się zarówno odzyskiwania, jak i przewidywania długości. Ponadto, aby poprawić zdolność modelu w generacji, dodajemy ustawienie modelowania językowego, w którym koder nie otrzymuje żadnych wejść, a dekoder uczy się generowania słów na podstawie poprzedniego kontekstu. Text-to-text Transfer 3 , 6 Image-to-text transfer is similar to image captioning, where the model receives the visual information as the input, and learns to generate a corresponding description. In this setting, we add the aforementioned patch feature sequence to the input and leave the masked input blank. The model encodes the patch features, and decodes the corresponding text. Image-to-text transfer W oparciu o konfigurację przesyłania obrazu do tekstu, dodajemy dodatkowo maskowane wejścia językowe, a zatem model powinien nauczyć się generowania tekstu docelowego na podstawie zarówno informacji wizualnych, jak i hałaśliwych informacji językowych. Multimodality-to-text transfer 3.4 Skalowanie do 10 i 100 miliardów parametrów Rozmiar modelu zwiększamy do 10 miliardów parametrów i 100 miliardów parametrów, które są nazywane M6-10B i M6-100B. Zwiększenie rozmiaru modelu zapewnia znacznie większą pojemność dla modelu, że może uczyć się wiedzy z większej ilości danych. Aby być bardziej konkretnym, zwiększamy rozmiar ukrytych stanów i liczbę warstw. Aby lepiej wykorzystać pamięć GPU, stosujemy szkolenie o mieszanej precyzji i kontrolę aktywacji, aby zaoszczędzić pamięć. [36] Wszyscy Jednak bezpośrednie skalowanie do M6-100B jest znacznie trudniejsze, ponieważ istnieje więcej wyzwań dla zasobów obliczeniowych. , , ], łączymy Mixture-of-Experts (MoE) z M6 aby zbudować wersję 100 miliardów parametrów. Należy zauważyć, że oryginalny MoE wymaga przepływu siatki, a także TPU. To ustanawia ograniczenia dla wielu badaczy bez takich zasobów. , aby wykonać równoległość modeli z GPU. Przedstawiamy kluczowe statystyki modeli różnych skali w Tabeli 10 20 35 43 4. W szczególności, w przeciwieństwie do konwencjonalnej warstwy FFN, warstwa MoE jest równoległym połączeniem wielu warstw FFN, z których każda działa jako ekspert. Jest to również nazywane równoległością ekspertów. Model najpierw uczy się słabej sieci, aby skierować tokeny do określonych ekspertów. Tak więc każdy token jest wysyłany tylko do małego zestawu ekspertów, a obliczenia mogą być znacznie mniej porównywane z tymi w gęstych modelach. Ten rodzaj modelu jest wysoce wydajny, ponieważ realizuje równoległość danych i równoległość ekspertów między pracownikami. Obliczenie warstwy MoE dla określonego tokena x można opisać poniżej: gdzie g(·) odnosi się do funkcji sparse gating, a T odnosi się do indeksów wartości top-k g(·). wydajność MoE jest liniową kombinacją obliczeń wybranych ekspertów FFNs f (·). W paralelizmie ekspertów parametry ekspertów nie dzielą się między pracownikami, podczas gdy parametry innych części są identyczne między pracownikami. Dlatego konieczne jest przeprowadzenie komunikacji all-to-all między pracownikami na warstwach MoE, aby wysłać tokeny do wybranych ekspertów i połączyć je z ich oryginalnymi ekspertami. oraz Fedus et al. Wdrożenie MoE na TPU z jednym ekspertem w każdej warstwie MoE na TPU, wdrażamy nasz model na GPU Nvidia, gdzie istnieje kilka ekspertów w każdej warstwie MoE na GPU, aby w pełni wykorzystać pamięć. Ponieważ komunikacja all-to-all zajmuje dużą ilość czasu, optymalizacja w celu poprawy wydajności jest bardzo znacząca. Wdrażamy serię optymalizacji, w tym komunikację półprecyzyjną. Kluczowym problemem jest bilansowanie obciążenia, co oznacza, że tokeny mogą zbierać się tylko do kilku ekspertów z powodu dynamicznego routingu. , stosujemy zdolność eksperta, która odnosi się do liczby tokenów dla eksperta (C = N - c / m, gdzie C odnosi się do zdolności eksperta, N odnosi się do liczby tokenów w partii, c odnosi się do czynnika zdolności (który jest hiperparametrem zwykle większym niż 1.0) i m odnosi się do liczby ekspertów), aby złagodzić ten problem. [20 ] [10] » [10] » Oprócz optymalizacji w komunikacji all-to-all, porównujemy top-2 gating i top-1 gating i stwierdzamy, że mogą one osiągnąć podobną wydajność modelu w niepewności, podczas gdy te ostatnie zbiegają się nieco wolniej. Skuteczność top-1 gating umożliwia szybsze obliczenia. Ponadto stosujemy również metody optymalizacji pamięci dla większej wydajności. Stwierdzamy, że gradientowe cięcie na całym świecie może zwiększyć koszty na komunikację all-to-all, ponieważ oblicza normy we wszystkich ekspertach, a zatem stosujemy lokalne cięcie do oszczędzania pamięci. Wdrażamy M6-100B z około 100 miliardami parametrów na 128 Nvidia A100 i szybkość pretrainingu osiąga 1440 próbek/s (próbki długości Wykazaliśmy, że wykorzystanie struktury MoE do skalowania rozmiaru modelu jest skuteczne i może osiągnąć podobną wydajność do M6-10B, największego modelu gęstego, w ciągu 2-3 razy krótszego czasu. 4 Aplikacje 4.1 Generacja tekstu do obrazu Poprzednie badania koncentrowały się głównie na generowaniu na ograniczonym obszarze, wśród których Generative Adversarial Nets (GANs) [ , [ ] są dominujące metody. po Ramesh et al. , wykorzystujemy dwustopniowe ramy do generowania tekstu do obrazu, w tym dyskretne uczenie się reprezentacji i modelowanie językowe. 14 48 [32] » W pierwszym etapie skupiamy się na przekształcaniu obrazów w sekwencje dyskretnych kodów. Istnieje wiele alternatyw dla generowania dyskretnego kodu, w tym VQVAE [ i węgierskie [ ]. In the second stage, it is necessary to build a language model to learn to generate text and code sequence. In the finetuning, we add code embedding and output layers to the pretrained M6. We concat the word sequence and the aforementioned generated code sequence as the input, and we set the objective of autoregressive language modeling for the training. At the stage of inference, we input the text sequence, and the model generates codes autoregressively with top-k sampling. The last step is to transform the code sequence to an image with the generator from the first stage. 41 9 Konstruujemy zestaw danych do generowania tekstu do obrazu w handlu elektronicznym. W szczególności gromadzimy ponad 50 milionów tytułów produktów i obrazów z mobilnego Taobao. Stosujemy serię metod przetwarzania na obrazach, aby filtrować niekwalifikowane. Filtrujemy obrazy ze złożonymi funkcjami tła ( znakami, wzorami itp.) za pomocą wewnętrznego detektora obrazu z białym tłem i modelu OCR. Następnie filtrować obrazy z ponad 3 obiektami za pomocą naszego wewnętrznego detektora obiektów opartego na Faster R-CNN [ ]. Wreszcie otrzymujemy 1,8 m wysokiej jakości pary obrazu-tekstu produktu do wyrafinowania. W porównaniu z obrazami w ogólnych domenach, nasze zebrane dane mają następujące cechy. Obraz i tekst są bardzo powiązane, ponieważ tekst opisuje kluczowe cechy produktu, a w obrazach nie ma skomplikowanego tła, co jest łatwiejsze w porównaniu z obrazami w publicznych zestawach danych, takich jak MSCOCO 33 [26]. Przedstawiamy dwa przykłady na rysunku i figury Można stwierdzić, że wygenerowane obrazy są wysokiej jakości, a wygenerowane obiekty przypominają rzeczywiste. , stwierdzamy, że model jest w stanie wyobrazić sobie elementy zgodnie z zapytaniem Zdolność wyobraźni daje przestrzeń do kreatywnego projektowania w rzeczywistych scenariuszach przemysłowych, takich jak projektowanie odzieży, projektowanie butów itp. 4 5. 6 Kamuflaż wysokich obcasów w stylu wojskowym(軍旅风迷彩高跟鞋) We also finetune M6 under our proposed framework on another dataset which contains 3 million images crawled from the Internet, which cover more general domains. And we find that the model can adapt to different domains. As shown in Figure Model jest w stanie generować roboty clip art. To pokazuje wszechstronność ramki w generowaniu tekstu do obrazu. 7 , 4.2 Visual Question Answering Przedstawiamy nasze eksperymentalne wyniki na zbiorze danych odpowiadających na wizualne pytania i ilustrujemy, w jaki sposób bezpośrednio stosujemy wstępnie przeszkolony M6 do aplikacji VQA. Wykorzystujemy zbiór danych FMIQA [ ] as the Chinese visual QA benchmark, which requires the model to generate the answer given an image and a question. We implement a transformer-based model as our baseline. For the evaluation, we split the test set manually by random sampling 200 from the dataset as there is no official release of the test set, and we evaluate the overall accuracy by human evaluation. The results are demonstrated in Table Wstępnie wytrenowana baza M6 wyprzedza linię wyjściową o znaczną marżę (+6,2%), co wskazuje na skuteczność multimodalnego przedtreningu. 13 5. Furthermore, we show that simply finetuning on such a small VQA dataset may limit the potential of M6. Therefore, we directly leverage M6 for the VQA application. We find that the model is able to recognize general features and provide more related knowledge based on its understanding. Though the model pretrained on pseudo-parallel image-text pairs cannot directly answer questions about detailed features, such as color, number, etc., it is able to answer questions related to background knowledge. We demonstrate some examples in Figure 8. 4.3 Image Captioning Image captioning requires the model to generate a caption that describes the given image, which examines the model ability of cross-modal generation. We construct a dataset (named E-Commerce IC) containing pairs of product descriptions and product images from Taobao. Since too long or too short descriptions may be noisy, we discard pairs with a description longer than 100 words or less than 10 words. To avoid dirty generations, we further use an in-house tool to filter descriptions that may contain dirty words (i.e., pornographic or violent words). Finally, E-Commerce IC contains about 260k text-image pairs. We finetune the model with the image-to-text transfer task on E-Commerce IC. We compare our model with a baseline of transformer in the human evaluation. We ask several annotators with the linguistic background to evaluate from three perspectives: grammar (whether a text is fluent without grammatical error), correctness (whether a text is faithful to the image), richness (whether a text is informative and attractive). During the evaluation, we randomly sample 100 images from the test set. For each image, an annotator is asked to score the text generated by different models. The scores are within the range of [0, 5]. Wyniki na stole show that M6-base outperforms the baseline in all of the metrics. We find that all models achieve high scores in grammar. However, in both correctness and richness, M6-base outperforms the baseline model by a large margin (+18.2% and +14.4%), indicating that multimodal pretraining helps to generate more faithful, informative and attractive texts. Scaling up the model to M6-10B further improves the correctness and richness (about 14.7% and 7.0%). Figure 9 illustrates two examples of image caption. 6 4.4 Odpowiedzi na pytania Aby zademonstrować potencjalną dostępność w aplikacjach inteligentnych chatbotów, wykorzystujemy model M6 do generowania długich odpowiedzi w stylu dyskusji na forum. Pytania generowane przez człowieka są zbierane z różnych chińskich forów, które są wejściem do modelu, aby wygenerować odpowiedź. in the prompt, which better triggers the model to generate an answer. To facilitate the generation of longer and more informative texts, we pick more complex questions. „Odpowiedź”: Figure demonstrates an example of general question answer-ing. The model can illustrate a man’s own experiences that are related to the question and also point out the answer at the end. This generated text confused human annotators and passed the Turing Test. It shows that the model can not only answer general questions but also generate long fluency text. 10 4.5 Poem Generation We apply the pretrained model to Chinese poem generation. The model is able to generate genres with format constraints. Ancient Chinese poetry has various specific formats. We adopt the simplest constraints that The poem shall be consisted of at least 4 lines. The total number of lines shall be even. Każda linia musi zawierać dokładnie 5 lub 7 słów. All lines shall have the same number of words. Text generation under format constraint is done in a search framework that we generate short sentences ending with punctuation until the number of words meets the constraint. We repeat this process until the model generates an " " token, lub liczba linii przekracza limit 16. Jest to przykład stworzonego wiersza. 11 4.6 Image-Text Matching Oceniamy zdolność modelu do odzyskiwania międzymodalnego. W szczególności budujemy zestaw danych (nazywany E-Commerce ITM) zawierający pary tekstów i obrazów z mobilnego Taobao. Każda para należy do pojedynczego przedmiotu. zbieramy 235K produktów w przemyśle odzieżowym z Taobao. Dla każdego produktu, oprócz obrazu produktu, otrzymujemy zapytanie poprzez ponowne napisanie tytułu produktu. W szczególności przeprowadzamy rozpoznanie nazwanej jednostki na tytule za pomocą wewnętrznego narzędzia, które wyodrębnia terminy opisujące styl, kolor, kategorię i teksturę produktu. Terminy te są następnie połączone w zapytanie w języku naturalnym, które jest używane w dopasowaniu obrazu do tekstu. Długość każdego zapytania wynosi od 6 do 12 słów. Para zapytania i odpowiedni obraz produktu są oznaczone jako pozytywne próbki. Wymagamy, aby model wykonywał klasyfikację binarną w celu rozróżnienia próbek pozytywnych i negatywnych. ], which is also a Chinese multi-modal pretrained model effective in cross-modal classification downstream tasks. The InterBert utilizes object-based features and has been pretrained on Taobao product image-text data as well. 25 Wyniki przedstawiono w tabeli It should be noted that the InterBert and M6-base are both implemented with transformer-based architecture and have similar model scales. However, M6-base still outperforms InterBert by 10.3%. In experiments, we find the product images generally contain relatively fewer detected objects, which may harm the performance on this task. In contrast, M6 avoids this problem by employing the patch features and achieves much better performance. 7. 5 RELATED WORK The tremendous success of NLP pretraining, including BERT [ ], GPT [ , , ], and also some other related studies [ , , , , ], inspires the research in cross-modal representation learning. Also, recent studies show that the ubiquitous Transformer architecture [ ] can be extended to different fields, including computer vision [ , ]. Therefore, the simplest solution to incorporate recent pretraining methods and cross-modal representation learning is the extension of BERT. From the perspective of architecture, there are mainly two types, including single-stream model and dual stream model. Specifically, single-stream model is simple and it gradually becomes the mainstream architecture. These models mostly differ in their designs of pretraining tasks or the construction of input im-age features. Basically, they are mainly pretrained masked language modeling, masked object classification, and image-text matching. VisualBERT [ ] i Unicoder-VL [ ] simply use BERT and are pretrained with the aforementioned tasks. UNITER [ ] pretrains the model with an additional task of word-region alignment. Oscar [ ] enhances the alignment between objects and their corresponding words or phrases. VILLA [ ] further improves model performance by adding their proposed adversarial learning methods to pretraining and finetuning. Except for pretraining tasks, some studies focus on the features of images. Most pretraining methods for multimodal representation learning utilize the features generated by a trained object detector, say Faster R-CNN [ ]. PixelBERT [ ] accepts raw images as input and extract their latent representations with a learnable ResNet [ ] or ResNext [ ]. FashionBERT [ ] splits the images into patches with a trained ResNet without co-training. Besides single-stream models, dual-stream models also can achieve outstanding performance, such as VilBERT [ ], LXMERT [ ] and InterBERT [ ]. ViLBERT-MT [ ] enhances model performance with multi-task finetuning. ERNIE-ViL [ ] enhances the model with the application of scene graph information. In spite of these successful cases, it still requires further researches to unmask the success of multimodal pretraining. 6 2 30 31 1 7 19 27 49 42 3 8 23 22 4 24 11 33 17 15 46 12 28 40 25 29 50 6 konkluzje W niniejszej pracy proponujemy największy zbiór danych M6-Corpus do pre-treningów w języku chińskim, składający się z ponad 1,9TB obrazów i 292GB tekstów. Zbiór danych ma duże pokrycie domen, w tym encyklopedii, odpowiedzi na pytania, dyskusji na forum, wspólnego crawlowania itp. Proponujemy metodę o nazwie M6, która jest w stanie przetwarzać informacje o wielu modalach i wykonywać zarówno jedno-modalne, jak i cross-modalne zrozumienie i generowanie. Model jest skalowany na duży model z parametrami 10B i 100B z zaawansowanym wdrażaniem, a oba modele są największymi multimodalnymi modelami pre-treningowymi. Stosujemy model do serii aplikacji wstecznych, pokazując jego wszechstronność. W przyszłości będziemy kontynuować przygotowywanie bardzo dużych modeli, zwiększając skalę danych i modeli, aby zbadać granice wydajności, a także staramy się szukać więcej aplikacji w dalszym ciągu w celu dalszej uogólnienia. REFERENCES [1] Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang, Xiaodong Liu, Yu Wang, Jianfeng Gao, Songhao Piao, Ming Zhou, et al. 2020. Unilmv2: Pseudo-maskowane modele językowe dla jednolitego modelu językowego. . PMLR, 642–652. International Conference on Machine Learning [2] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. 2020. Language models are few-shot learners. I tak (2020) arXiv preprint arXiv:2005.14165 [3] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. 2020. End-to-end object detection with transformers. In Springer, 213 – 229 European Conference on Computer Vision [4] Y en-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng, and Jingjing Liu. 2020. UNITER: UNiversal Image-TExt Representation Learning. In . 104–120. ECCV 2020 [5] Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang i Guoping Hu. (2020). arXiv preprint arXiv:2004.13922 [6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In . 4171–4186. NAACL-HLT 2019 [7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. 2019. Unified Language Model Pre-training for Natural Language Understanding and Generation. In . 13042–13054. Neuropsy 2019 [8] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xi-aohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. 2020. An image is worth 16x16 words: Transformers for image recognition at scale. (2020). arXiv preprint arXiv:2010.11929 [9] Patrick Esser, Robin Rombach, and Björn Ommer. 2020. Taming Transformers for High-Resolution Image Synthesis. arXiv [cs.CV] Źródło: 20199841 [10] William Fedus, Barret Zoph i Noam Shazeer. 2021. przełączanie transformatorów: skalowanie do trylionów modeli parametrów z prostą i wydajną oszczędnością. abs/2101.03961 (2021). arXiv CoRR :2101.03961 https://arxiv.org/abs/2101.03961 [11] Zhe Gan, Yen-Chun Chen, Linjie Li, Chen Zhu, Yu Cheng, and Jingjing Liu. 2020. Large-Scale Adversarial Training for Vision-and-Language Representation Learning. In . NeurIPS 2020 [12] Dehong Gao, Linbo Jin, Ben Chen, Minghui Qiu, Peng Li, Yi Wei, Yi Hu, and Hao Wang. 2020. Fashionbert: Text and image matching with adaptive loss for cross-modal retrieval. In 2251 – 2260 r. SIGIR 2020 [13] Haoyuan Gao, Junhua Mao, Jie Zhou, Zhiheng Huang, Lei Wang i Wei Xu. (2015 r.) arXiv preprint arXiv:1505.05612 [14] Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative adversarial networks. (2014 roku) arXiv preprint arXiv:1406.2661 [15] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep Residual Learning for Image Recognition. In . 770–778. CVPR 2016 [16] Pengcheng He, Xiaodong Liu, Jianfeng Gao i Weizhu Chen. 2020. De-berta: dekodowanie wzmocnione z odłączoną uwagą. I tak (2020) arXiv preprint arXiv:2006.03654 [17] Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu i Jianlong Fu. 2020 Pixel-bert: Porównanie pikseli obrazu z tekstem przez głębokie wielomodalne transformatory. I tak (2020) arXiv preprint arXiv:2004.00849 [18] Zihang Jiang, Weihao Yu, Daquan Zhou, Yunpeng Chen, Jiashi Feng, and Shuicheng Yan. 2020. Convbert: Improving bert with span-based dynamic convolution. (2020). arXiv preprint arXiv:2008.02496 [19] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma i Radu Soricut. 2019 ALBERT: Trochę BERT dla samodzielnego uczenia się reprezentacji językowych. abs/1909.11942 (2019). korr [20] Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer, and Zhifeng Chen. 2020. Gshard: Scaling giant models with conditional computation and automatic sharding. I tak (2020) arXiv preprint arXiv:2006.16668 [21] Mike Lewis, Shruti Bhosale, Tim Dettmers, Naman Goyal, and Luke Zettle-moyer. 2021. BASE Layers: Simplifying Training of Large, Sparse Models. abs/2103.16716 (2021). CoRR [22] Gen Li, Nan Duan, Yuejian Fang, Daxin Jiang i Ming Zhou. 2019. Unicoder-VL: Uniwersalny koder dla wizji i języka poprzez pre-trening międzymodalny. abs/1908.06066 (2019) CoRR [23] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, and Kai-Wei Chang. 2019. VisualBERT: A Simple and Performant Baseline for Vision and Language. abs/1908.03557 (2019) CoRR [24] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, and Jianfeng Gao. 2020. Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks. abs/2004.06165 (2020). CoRR [25] Junyang Lin, An Yang, Yichang Zhang, Jie Liu, Jingren Zhou, and Hongxia Yang. 2020. Interbert: Vision-and-language interaction for multi-modal pretraining. (2020). arXiv preprint arXiv:2003.13198 [26] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. 2014. Microsoft COCO: Common Objects in Context. In 740 – 755 zł. ECCV 2014 [27] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer i Veselin Stoyanov. 2019. abs/1907.11692 (2019). korr [28] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. 2019. ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. In . 13–23. Neuropsy 2019 [29] Jiasen Lu, Vedanuj Goswami, Marcus Rohrbach, Devi Parikh, and Stefan Lee. 2019. 12-in-1: Multi-Task Vision and Language Representation Learning. wrz/1912.02315 (2019) CoRR [30] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving language understanding by generative pre-training. (w roku 2018 ) URL languageunsupervised/language understanding paper. pdf https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ [31] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. [n.d.]. Language models are unsupervised multitask learners. ([n. d.]). [32] Aditya Ramesh, Michał Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen i Ilya Sutskever. 2021 Zero-Shot Text-to-Image Generation. arXiv [cs.CV] :2102.12092 [33] Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. 2015. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. In . 91–99. Neuropsy 2015 [34] Rico Sennrich, Barry Haddow i Alexandra Birch. 2016 Neural Machine Translation of Rare Words with Subword Units. . ACL 2016 [35] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton i Jeff Dean. 2017. (2017). arXiv preprint arXiv:1701.06538 [36] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper i Bryan Catanzaro. (2019). arXiv preprint arXiv:1909.08053 [37] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu i Tie-Yan Liu. 2019. MASS: Maskowane sekwencje do sekwencji wstępnego szkolenia dla generacji języków. . 5926 – 5936. ICML 2019 [38] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei i Jifeng Dai. . ICLR 2020 [39] Maosong Sun, Jingyang Li, Zhipeng Guo, Z Yu, Y Zheng, X Si, and Z Liu. 2016. Thuctc: an efficient chinese text classifier. (2016 r.) repozytorium github [40] Hao Tan i Mohit Bansal. 2019. LXMERT: Uczenie się reprezentacji koderów międzymodalnych od Transformersów. 5099 do 5110. EMNLP-IJCNLP 2019 [41] Aäron van den Oord, Oriol Vinyals i Koray Kavukcuoglu. 2017. . NIPS [42] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser i Illia Polosukhin. 5998 – 698 zł. Neuropsy 2017 [43] Ang Wang, Xianyan Jia, Le Jiang, Jie Zhang, Yong Li i Wei Lin. I tak (2020) arXiv preprint arXiv:2011.09208 [44] Wei Wang, Bin Bi, Ming Yan, Chen Wu, Zuyi Bao, Jiangnan Xia, Liwei Peng i Luo Si. 2019 Structbert: Włączanie struktur językowych do szkolenia wstępnego w celu głębokiego zrozumienia języka. (2019). arXiv preprint arXiv:1908.04577 [45] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey i in. 2016. (2016 r.) arXiv preprint arXiv:1609.08144 [46] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, and Kaiming He. 2017. Aggregated residual transformations for deep neural networks. In w latach 1492–1500. CVPR 2017 [47] Liang Xu, Xuanwei Zhang, and Qianqian Dong. 2020. CLUECorpus2020: A Large-scale Chinese Corpus for Pre-trainingLanguage Model. I tak (2020) arXiv preprint arXiv:2003.01355 [48] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. 2018. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In . 1316–1324. Konferencja IEEE na temat wizji komputerowej i rozpoznawania wzorów [49] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov, and Quoc V. Le. 2019. XLNet: Generalized Autoregressive Pretraining for Language Understanding. In . 5754 – 5764. Neuropsy 2019 [50] Fei Yu, Jiji Tang, Weichong Yin, Yu Sun, Hao Tian, Hua Wu, and Haifeng Wang. 2020. Ernie-vil: Knowledge enhanced vision-language representations through scene graph. I tak (2020) arXiv preprint arXiv:2006.16934 [51] Luowei Zhou, Hamid Palangi, Lei Zhang, Houdong Hu, Jason J. Corso i Jianfeng Gao. w latach 13041–13049. AAAI 2020 Niniejszy dokument jest dostępny w archiwum pod licencją CC by 4.0 Deed (Attribution 4.0 International). Ten dokument jest Licencja CC by 4.0 Deed (Attribution 4.0 International). available on arxiv