M6 ile Tanışın: Kitap ve Görüntüleri Ölçüde Anlayan Çinli AI

Yazarlar : Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Group, China) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Group, China) An Yang, ya235025@alibaba-inc.com (Alibaba Group, China) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba Group, China) Ming Ding, dm18@mails.tsinghua.edu.cn (Tsinghua University, China) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, China) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, China) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Group, China) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Group, China) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Group, China) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Group, China) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Group, China) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Group, China) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Group, China) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Group, China) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Group, China) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Group, China) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Group, China) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Group, China) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Group, China) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Group, China) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Group, China) Jie Tang, jietang@tsinghua.edu.cn (Tsinghua University, China) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Group, China) Yazarlar : Junyang Lin, junyang.ljy@alibaba-inc.com (Alibaba Grubu, Çin) Rui Men, menrui.mr@alibaba-inc.com (Alibaba Grubu, Çin) An Yang, ya235025@alibaba-inc.com (Alibaba Grubu, Çin) Chang Zhou, ericzhou.zc@alibaba-inc.com (Alibaba Grubu, Çin) Ming Ding, dm18@mails.tsinghua.edu.cn (Tsinghua Üniversitesi, Çin) Yichang Zhang, yichang.zyc@alibaba-inc.com (Alibaba Group, China) Peng Wang, zheluo.wp@alibaba-inc.com (Alibaba Group, China) Ang Wang, wangang.wa@alibaba-inc.com (Alibaba Grubu, Çin) Le Jiang, jiangle.jl@alibaba-inc.com (Alibaba Grubu, Çin) Xianyan Jia, xianyan.xianyanjia@alibaba-inc.com (Alibaba Grubu, Çin) Jie Zhang, wanglin.zj@alibaba-inc.com (Alibaba Grubu, Çin) Jianwei Zhang, zhangjianwei.zjw@alibaba-inc.com (Alibaba Grubu, Çin) Xu Zou, zoux18@mails.tsinghua.edu.cn (Tsinghua University, China) Zhikang Li, zhikang.lzk@alibaba-inc.com (Alibaba Grubu, Çin) Xiaodong Deng, xiaodongdeng.dxd@alibaba-inc.com (Alibaba Grubu, Çin) Jie Liu, sanshuai.lj@alibaba-inc.com (Alibaba Grubu, Çin) Jinbao Xue, zhiji.xjb@alibaba-inc.com (Alibaba Grubu, Çin) Huiling Zhou, zhule.zhl@alibaba-inc.com (Alibaba Grubu, Çin) Jianxin Ma, jason.mjx@alibaba-inc.com (Alibaba Grubu, Çin) Jin Yu, kola.yu@alibaba-inc.com (Alibaba Grubu, Çin) Yong Li, jiufeng.ly@alibaba-inc.com (Alibaba Grubu, Çin) Wei Lin, weilin.lw@alibaba-inc.com (Alibaba Grubu, Çin) Jingren Zhou, jingren.zhou@alibaba-inc.com (Alibaba Grubu, Çin) Jie Tang, jietang@tsinghua.edu.cn (Tsinghua University, China) Hongxia Yang, yang.yhx@alibaba-inc.com (Alibaba Grubu, Çin) abstraklık Bu çalışmada, Çince'de multimodal ön eğitim için en büyük veritabanı oluşturuyoruz ve bu veritabanı geniş bir alan aralığı kapsayan 1.9TB'dan fazla resim ve 292GB'dan oluşur. ile ilgili olarak Sonuç- Odacılık Sonuç- Odalya Ultrasonları Egotransformatör, tek modalitenin ve çok modalitenin verileriyle ilgili birleşik ön eğitim için. model boyutunu 10 milyar’a kadar ölçüyoruz ve parametreleri, ve Çin'de en büyük önceden eğitilmiş model oluşturmak. modelini bir dizi aşağıdaki uygulamaya uygularız ve güçlü temel çizgilerle karşılaştırıldığında olağanüstü performansını gösteririz. Ayrıca, metin yönlendirilen görüntü üretimi aşağıdaki görevi özel olarak tasarlıyoruz ve M6'nın yüksek çözünürlük ve bol ayrıntılarla yüksek kaliteli görüntü oluşturabileceğini gösteriyoruz. M6 M M M M M M 100 billion Anahtar Kelimeler Multimodal Pre-Training; Multitask; Text-to-Image Üretimi 1 Giriş Doğal Dil İşleme (NLP) Araştırmalarında Önemli Oldu ve ve ve ve ve ve ve ve ve ve ]. The recent GPT-3 with over 175 billion parameters demonstrates that large models trained on big data have extremely large capacity and it can outperform the state-of-the-arts in downstream tasks especially in the zero-shot setting. Also, the rapid development of pretraining in NLP sparkles cross-modal pretraining. A number of studies [ ve ve ve , ve ve , ve ve ] have created new state-of-the-art performances for various cross-modal downstream tasks. 1 2 7 16 18 19 27 31 37 44 49 4 11 17 22 24 25 28 29 38 51 Bu nedenle, bu çalışmada, 1.9TB görüntüleri ve 292GB metinlerden oluşan büyük ölçekli bir M6-Corpus veritabanı geliştirdik. Bildiğimiz en iyi şekilde, bu, hem multimodalite hem de doğal dilde önceden eğitim için en büyük Çinli veritabanı. Web sayfalarından toplanan veritabanı, verilerin yüksek kalitede olmasını sağlamak için sofistike temizlik prosedürleri tasarlıyoruz. Ayrıca, bu kadar büyük miktarda yüksek kaliteli veriyi yeterince kullanabilmek için, çok sayıda modülün verilerini işleyebilecek ve aşağıdaki görevler için farklı türlere adapte edilebilecek son derece büyük bir model oluşturmayı öneriyoruz. Böylece, MultiModality-to-MultiModality Multitask Mega-transformörüne atıfta bulunan M6 adlı yeni bir model öneriyoruz. Model transformatör üzerine kurulmuştur ve çoklu görevlerle önceden eğitilmiştir. ve 10 milyar ve 100 milyar para-rametreye kadar ölçülür. Çinli veriler üzerine önceden eğitilmiş en büyük son model. modelini ürün açıklaması üretimi, görsel soru yanıtlama, topluluk soru yanıtlama, Çinli şiir üretimi vb. gibi bir dizi aşağıdaki uygulamaya uyguluyoruz ve deney sonuçlarımız M6'nın güçlü bir dizi başlangıç çizgisini aştığını göstermektedir. M6-10B Hakkında M6-100B Hakkında M6-100B Bu çalışmanın bir diğer katkısı, önce metin-bilgi üretimi ile önceden eğitim içerdiğimizdir. , resim üretimi için iki aşamalı bir çerçeveyi kullanırız. Daha spesifik olmak için, ayrıntılı resim kodları ile görüntüleri temsil etmek için eğitilmiş bir vektor kuantumlandırılmış generatif adversarial ağı kullanırız ve daha sonra metinler ve kodlar arasındaki ilişkileri öğrenmek için önceden eğitilmiş M6'yı kullanırız. [32] Hakkında Özetle, M6'nın katkıları şu şekilde: Endüstride 300GB metin ve 2TB görüntüleri içeren en büyük Çin multi-modal ön eğitim verilerini topluyoruz ve oluşturuyoruz. Çin'de multimodal ön eğitimi için M6'yı öneriyoruz ve model boyutunu 10 ve 100 milyar parametreye kadar ölçüyoruz. M6 çok yönlü ve VQA'da %11.8'lik, resim-tekst eşleştirme açısından %18.4'lik ve resim-tekst eşleştirme açısından %10.3'lik güçlü başlangıç çizgilerini aşmaktadır. Dikkatli bir şekilde tasarlanmış büyük ölçekli dağıtılmış eğitim optimizasyonları ile, M6 eğitim hızında açık avantajlara sahiptir ve eğitim maliyetlerini büyük ölçüde azaltır ve çok yönlü ön eğitimi daha yaygın bir şekilde kullanma olasılığı yaratır. 2 Bilgileri Bu makalenin önemli katkılarından biri olan şu anda en büyük çok modellik ve metin veritabanını çince olarak topluyoruz ve geliştiriyoruz.Bu bölümde öncelikle mevcut veritabanlarının sınırlamalarını belirliyoruz ve daha sonra önerdiğimiz veritabanının yapısal ve ön işleme prosedürünü tanımlıyoruz. 2.1 Mevcut veriler Çin öncesi eğitimi için yüksek kaliteli ve ana kapsamlı büyük ölçekli bir korpusun inşa edilmesi çok önemlidir. Önceki çalışmalarda, Çinli Wikipedia1 Çinli dil modellerini eğitmek için en sık kullanılan veritabanlardan biridir. 1.6 GB metin içerir (yaklaşık 0.4B tokenler), yaklaşık 1 milyon encyclopedia girişini kapsar. Benzer boyutlu bir başka korpus THUCTC'dir. ] Dataset, 740K haber makaleleri içerir. Ancak, son dil modellerinin hızla artan kapasitesiyle, bu mevcut veri setlerinin ölçeği açıkça yetersizdir. Çin dil modeli için CN-Wikipedia'den 10 kat daha büyük olan yayınlanmamış genişletilmiş verileri kullanmak. 39 5 ) CLUECorpus2020, çok dilli Common Crawl veritabanından geri dönüştürülen 100 GB'lık bir korpus yayınladı. Bununla birlikte, veritabanının ölçeği, mevcut İngilizce önceden eğitilmiş modellerle karşılaştırıldığında süper büyük ölçekli ön eğitimi kolaylaştırmak için hala yetersizdir. Örneğin, GPT-3 175B parametreleri içerir ve 570 GB metinde eğitilir. Bu arada, veritabanı, çok modal ön eğitimi için basit metinler yerine görüntü-tekst çiftleri içermelidir. [47] Hakkında 2.2 Yüksek kaliteli bir veri kümesi için standartlar Büyük ölçekli multi-modal ön eğitimi gerçekleştirmek ve karmaşık dünya bilgisini öğrenmek için, veritabanı, hem basit metinler hem de süper büyük ölçekte resim-tekst çiftleri sağlamak için çok gereklidir. Çin'de büyük ölçekli multi-modal ön eğitimi gerçekleştirmek için, Çin'de büyük ölçekli veri setlerinin inşa edilmesine odaklanıyoruz. Özellikle, hem doğal dil hem de multimodalite için önceden eğitiminizi birleştirirken, hem basit metin hem de resim-tekst çiftleri için büyük veri setlerini oluşturuyoruz. Çeşitli alanları kapsayan büyük ölçekli veri elde etmeye ilgi duyuyoruz, böylece modelin farklı alanların karmaşık dünyasını öğrenmesi mümkündür. Ayrıca, cross-modal ön eğitimi için birden fazla modellik verilerini toplamak için hedef World Wide Web'de muazzam miktarda metin kaynakları ve görüntüler olmasına rağmen, multimodal önceden eğitim için corpus aşağıdaki özellikleri karşılayınca daha iyi olduğunu varsayılır: (1). cümleler normal uzunluğun içinde akıcı doğal dil olmalıdır ve işaretler, çifte işaretleme işaretleri, rastgele karakter kombinasyonları vb. gibi anlamsız işaretler içermemelidir; (2) resimler doğal ve gerçekçi olmalıdır ve resimlerin çözünürlükleri insan tarafından tanımlanabilir olmalıdır; (3) hem metinler hem de resimler, pornografi, şiddet vb. gibi yasadışı içerikler içermemelidir; (4) resimler ve metinler semantik olarak ilgili olmalıdır; (5) veri kümeleri, örneğin, spor, siyaset, bilim vb. gibi geniş bir yelpazede olmalıdır ve bu nedenle modeli yeterli dünya bilgisi ile donatabilir. 2.3 Bilgisayar İnşaatı Based on the requirements above, we collect data of both plain texts and image-text pairs. There are different types of data, including encyclopedia, crawled webpage, community question answering, forum, product description, etc. We present the details in Table Toplanan corpus, hem basit metinler hem de resim-tekst çiftlerinden oluşur, bu da sadece metin ve çokmodal öncülük görevleri ile uyumludur. Ayrıca, veriler bilim, eğlence, spor, siyaset, yaşam aklı, vb. gibi alanlar üzerinde geniş kapsamlıdır. Bildiğimiz kadarıyla, bu, Çin öncesi eğitim için ilk büyük ölçekli, multimodal ve çok alanlı korpusudur. 3. 2. Temiz verileri elde etmek için sofistike ön işleme uyguluyoruz. Metin verileri için, önce HTML işaretlerini ve çift parça işaretlerini kaldırıyoruz ve sadece Çince ve İngilizce'de bulunan karakterleri ve parça işaretlerini saklı tutuyoruz. 5 karakterden daha kısa olan ve 15 karakterden daha kısa olan konuları kaldırıyoruz. Daha sonra içerideki spam algılamasını, belirli siyasi konularla ilgili kelimeler, pornografi veya kirli, pis ve diğer kötü kelimeler listesinde kelimeler içeren cümleleri kaldırıyoruz. Metinlerin dilsel kabulünü korumak için, karışıklıklarını değerlendirmek için bir dil modelini uyguluyoruz ve yüksek karışıklıkları olan cümleler atılır. En az 5000 pikselli resimler önceden eğitilmek için tasarlanmıştır. Yabancı resimler ve çevrimiçi resimler 3 M6 Çerçeve Multimodal pretraining leverages both the power of self-attention-based transformer architecture and pretraining on large-scale data. We endeavor to endow the model with strong capability of cross-modal understanding and generation. In this section, we describe the details of our proposed pretrained model , which refers to Sonuç- İstihdam - Sonuç- Odalya Ultrasonları ega-transformer. M6 M M M M M M 3.1 Görsel ve dil içeriği The mainstream multimodal pretraining methods transform images to feature sequences via object detection. However, the performance of the object detectors as well as the expressivity of their backbones strongly impact the final performance of the pretrained models in the downstream tasks. We observe that a large proportion of the images contain only a few objects. Take the images of the data of e-commerce as an example. We randomly sample 1M images and perform object detection on the images. The results show that over 90% of the images contain fewer than 5 objects. Also, the objects have high overlapping with each other. To alleviate such influence, we turn to a simple but effective solution following Gao et al. [\[12\]](#_bookmark28) and Dosovitskiy et al. [\[8\]](#_bookmark24). In general, we split an image into patches and extract features of the 2D patches with a trained feature extractor, say ResNet-50. Then we line up the representations to a sequence by their positions. The processing of the input word sequence is much simpler. We follow the similar preprocessing procedures in the previous work [ ve ve WordPiece’i kullanmak için [ ve ] and masking to the word sequence and embed them with an embedding layer, following BERT 4 11 24 34 45 6 ) 3.2 Birleşik Encoder-Decoder Resim embeddings ei ve kelime embeddings et'i çarpı-modal embedding sırasına entegre ediyoruz e = {ei, et }. Çeşitliliği yüksek düzeyde özelliği çıkarmak için transformatör omurganına gönderiyoruz. temsillerini ayırt etmek için, farklı modaliteler için ilgili segment embeddings'leri ekliyoruz. Daha spesifik olmak gerekirse, bina bloku BERT veya GPT'nin kendine dikkat ve nokta yönlü iletken ağı (FFN) içerdiği ile aynıdır. transformatör sırt çubuğunun üstünde, kelime tahminleri için bir çıkış katmanı ekliyoruz ve böylece ağırlıklarını ekleme katmanının ağırlıklarına bağlarız. Birleşik çerçevede, kodlama ve kodlama için farklı maskeleme stratejileri kullanırız. Giriş, görsel girişler, maskeli dil girişleri ve tam dil girişleri de dahil olmak üzere üç bölüme bölünmüştür. Hem görsel girişlere hem de maskeli dil girişlerine iki yönlü maskeleme uygularız ve tüm dil girişlerine nedensel maskeleme uygularız. 3.3 Hazırlık yöntemleri Model, metin-tekst transferini, resim-tekst transferini ve multimodalite-tekst transferini içeren çoklu görev ayarları ile önceden eğitiyoruz. böylece model farklı modelliklerdeki bilgileri işleyebilir ve hem tek-modal hem de cross-modal anlayış ve üretimi gerçekleştirebilir. Şekilde gösterildiği gibi the model learns to perform text denoising and language modeling in the setting of text-to-text transfer. In text denoising, we mask the input text by a proportion, which is 15% in practice following BERT [ ]. Daha spesifik olarak, tek bir maske ile sürekli bir metin aralığını maske ediyoruz ve model bütün sırayı çözmeyi öğrenmelidir. Bu, modeli hem kurtarma hem de uzunluk tahminini öğrenmeye teşvik eder. Ayrıca, nesil model yeteneğini geliştirmek için, kodlayıcı hiçbir giriş almaz ve dekodör önceki bağlamda kelimeler oluşturmayı öğrenir. Text-to-text Transfer 3 , 6 Resim-tekst aktarımı, modelin içeriği olarak görsel bilgileri aldığını ve ilgili bir açıklama oluşturmayı öğrendiği resim-tekst aktarımına benzerdir.Bu ayarda, iletiye yukarıda bahsedilen patch özelliği sırasını ekliyoruz ve maskeli giriş boş bırakıyoruz.Model, patch özelliklerini kodlar ve ilgili metni çözür. Image-to-text transfer Görüntü-tekst transferinin kurulumuna dayanarak, maske edilmiş dil içeriği ekliyoruz ve böylece model hem görsel bilgi hem de gürültülü dil bilgileri temelinde hedef metni oluşturmayı öğrenmelidir. Multimodality-to-text transfer 3.4 10 ve 100 milyar parametreye kadar ölçeklendirme Model boyutunu 10 milyar parametrelere ve 100 milyar parametrelere, M6-10B ve M6-100B olarak adlandırıyoruz. model boyutunun arttırılması, modelin daha fazla veriden bilgi edinebileceği çok daha büyük bir kapasite sağlar. Daha spesifik olmak için, gizli durumların boyutunu ve katmanların sayısını arttırıyoruz. GPU belleğini daha iyi kullanmak için, hafızayı korumak için karışık hassasiyetli eğitim ve etkinleştirme kontrol noktası uyguladık. yine de, model tek bir GPU'ya yerleştirilemez ve dolayısıyla model paralelizmini kullanarak iletken ağları ve dikkatleri Megatron-LM uygulamasının ardından birden fazla GPU'ya bölünürüz. 36 Ancak, doğrudan M6-100B'ye kadar genişletmek, hesaplama kaynakları için daha fazla zorluk olduğu için çok daha zordur. ve ve ], we combine Mixture-of-Experts (MoE) with M6 to build the version of 100 billion parameters. Note that the original MoE requires mesh-tensorflow as well as TPUs. This sets limits for a number of researchers without such resources. Thus we implement the M6-100B with MoE with our in-house framework Whale [ ] to perform model parallelism with GPUs. We demonstrate the key statistics of the models of different scales in Table 10 20 35 43 4. Özellikle, geleneksel FFN tabakasından farklı olarak, MoE tabakası, her biri bir uzman olarak hareket eden çok sayıda FFN tabakasının paralel bir kombinasyonudur. Bu da uzman paralelizm olarak adlandırılır. Model, önce tokenleri belirli uzmanlara yönlendirmek için zayıf bir kaplama ağı öğrenir. Böylece her token yalnızca uzmanların küçük bir kümesine gönderilir ve hesaplama yoğun modellerde olanlarla çok daha az karşılaştırılabilir. Bu tür model, çalışanlar arasındaki veri paralelizminin ve uzman paralelizmin farkında olduğu için son derece verimlidır. Belirli bir token x için MoE tabakasının hesaplanması aşağıda açıklanabilir: g(·) zayıf gating fonksiyonuna ve T g(·) en üst k değerlerinin endekslerine atıfta bulunur. MoE'nin çıkışı, seçilen uzman FFN'lerin f (·) hesaplanmasının lineer bir kombinasyonudur. Uzman paralelinde, uzmanların parametreleri çalışanlar arasında paylaşılmazken, diğer bölümlerin parametreleri çalışanlar arasında aynıdır. Bu nedenle, seçilen uzmanlara tokenler göndermek ve bunları orijinal uzmanlarına birleştirmek için MoE katmanlarında çalışanlar arasındaki tüm iletişimleri gerçekleştirmek gereklidir. Fedus et al. TPU'da her MoE katmanında bir uzmanla MoE'yi TPU'da uyguladığımızda modelimizi GPU'da her MoE katmanında birden fazla uzman olan Nvidia GPU'larda uyguluyoruz, böylece hafızayı tam olarak kullanabiliriz. Tüm tüm iletişim çok zaman alırken, verimliliği artırmak için optimizasyon çok önemli. Yarım hassas iletişim de dahil olmak üzere bir dizi optimizasyon uyguluyoruz. Anahtar bir sorun yük dengelemesidir. , bir uzman için token sayısına atıfta bulunan uzman kapasitesini (C = N - c / m, C uzman kapasitesine atıfta bulunur, N bir gruptaki token sayısına atıfta bulunur, c kapasite faktörüne atıfta bulunur (genellikle bir hiperparametredir) ve m bu sorunu hafifletmek için uzman sayısına atıfta bulunur). bir uzman kapasitesinden çıkan tokenler hesaplamadan düşer ve kalan bağlantılar aracılığıyla sonraki katmanlara gönderilir. [ 20 ] [ 10 ] [ 10 ] Tüm iletişim alanında optimizasyonun yanı sıra, en iyi 2 gating ve en iyi 1 gating'i karşılaştırdık ve şaşkınlık içinde benzer model performansını elde edebildiğini, ikincilerin biraz daha yavaş bir şekilde birleştiğini bulduk. en iyi 1 gating'in verimliliği daha hızlı hesaplama sağlar. Ayrıca daha yüksek verimlilik için hafıza optimizasyon yöntemlerini de uyguladık. Dünya çapında tüm uzmanların standartlarını hesapladıkça gradient klipping'in tüm tüm iletişim alanlarında maliyetleri artırabildiğini ve böylece hafıza tasarrufu için yerel klipping'i uyguladık. 128 Nvidia A100'de yaklaşık 100 milyar parametreli M6-100B'yi uyguladık ve önceden eğitimin hızı 1440 örnek/s'ye ulaştı (şekil uzun Model boyutlarını ölçmek için MoE yapısını kullanmanın etkili olduğunu ve en büyük yoğun model olan M6-10B'ye benzer performanslar elde edebildiğini 2-3 kat daha kısa bir süre içinde gösteriyoruz. M6-100B'nin negatif log karmaşıklığı -2.297'ye ulaşırken, M6-10B'nin -2.253'e ulaşması ancak iki kat daha fazla zaman ile.2 Bu, MoE tabanlı M6 modelinin çok daha fazla FLOP'a sahip yoğun modellerle karşılaştırıldığında zaman bazında avantajları olduğunu göstermektedir. 4 Uygulamalar 4.1 Görüntü oluşturma Önceki çalışmalar esas olarak sınırlı bir alan üzerinde üretime odaklanmıştır, bunların arasında Generative Adversarial Nets (GANs) [ ve Ramses et al. tarafından açılan tüm konuları arattır Diskli temsil öğrenimi ve dil modelleme de dahil olmak üzere metin-bilgi üretimi için iki aşamalı bir çerçeveyi kullanıyoruz. 14 48 [32] İlk aşamada, görüntüleri ayrıntılı kod sekanslarına dönüştürmeye odaklanıyoruz.VQVAE de dahil olmak üzere, ayrıntılı kod üretimi için bir dizi alternatif var. ve Vakıflar’da ]. In the second stage, it is necessary to build a language model to learn to generate text and code sequence. In the finetuning, we add code embedding and output layers to the pretrained M6. We concat the word sequence and the aforementioned generated code sequence as the input, and we set the objective of autoregressive language modeling for the training. At the stage of inference, we input the text sequence, and the model generates codes autoregressively with top-k sampling. The last step is to transform the code sequence to an image with the generator from the first stage. 41 9 E-ticaret alanında metin-bilgi üretimi için bir veritabanı oluşturuyoruz. Özellikle Taobao mobil cihazından 50 milyondan fazla ürün başlığı ve resim topluyoruz. Resimlere yeterli olmayanları filtrelemek için bir dizi işleme yöntemi uyguluyoruz. Resimleri karmaşık arka plan özellikleri (karakterler, desenler, vb.) ile beyaz arka plan görüntüleme detektörü ve OCR modeli ile filtreliyoruz. Daha sonra resimleri 3'den fazla nesne ile filtreliyoruz. ]. Sonunda finetuning için 1.8m yüksek kaliteli ürün resim-tekst çifti elde ediyoruz. genel alanlardaki resimlerle karşılaştırıldığında, toplanan verilerimiz aşağıdaki özelliklere sahiptir. resim ve metin, ürünün ana özelliklerini tanımlarken yüksek derecede ilişkilidir ve resimlerde karmaşık bir arka plan yoktur, bu da MSCOCO gibi kamu verilerindeki resimlerle karşılaştırıldığında öğrenmek daha kolaydır 33 [26 gün önce] We demonstrate two examples in Figure ve figür Oluşturulan görüntülerin yüksek kalitede olduğunu ve oluşturulan nesnelerin gerçek nesnelere benzediğini göreceksiniz. , we find that the model is able to imagine items according to the query ), which do not exist in the real world. The imagination ability provides room for creative design in real-world industrial scenarios, such as clothing design, shoe design, etc. 4 5. 6 Askeri tarzı yüksek topuklu ayakkabılar (军旅风迷彩高跟鞋) We also finetune M6 under our proposed framework on another dataset which contains 3 million images crawled from the Internet, which cover more general domains. And we find that the model can adapt to different domains. As shown in Figure Bu model, robotların klip sanatlarını oluşturabilir. bu, metin-bilgi üretimi için çerçeve çok yönlülüğünü ortaya koyar. 7, 4.2 Görsel soru cevapları Deneysel sonuçlarımızı bir görsel soru cevap veritabanında gösteriyoruz ve önceden eğitilmiş M6'yı doğrudan VQA uygulamasına nasıl uyguladığımızı gösteriyoruz. We leverage the FMIQA dataset [ ] as the Chinese visual QA benchmark, which requires the model to generate the answer given an image and a question. We implement a transformer-based model as our baseline. For the evaluation, we split the test set manually by random sampling 200 from the dataset as there is no official release of the test set, and we evaluate the overall accuracy by human evaluation. The results are demonstrated in Table Ön eğitilmiş M6 bazı, başlangıç seviyesini büyük bir marjla (+6,2 %) aştı, bu da multimodal ön eğitimin etkinliğini gösterdi. 13 5. Buna ek olarak, böyle küçük bir VQA veritabanına basitçe düzeltmenin M6'nın potansiyelini sınırlayabileceğini gösteriyoruz. Bu nedenle, VQA uygulaması için doğrudan M6'yı kullanıyoruz. Modelin genel özellikleri tanımlayabildiğini ve anlayışına dayanarak daha fazla ilgili bilgi sağladığını bulduk. Pseudo-paralel görüntü-tekst çiftleri üzerinde önceden eğitilmiş olan model, renk, sayı vb. gibi ayrıntılı özellikler hakkında soruları doğrudan cevaplayamamasına rağmen, arka plan bilgisi ile ilgili soruları cevaplayabiliyor. 8. 4.3 Image Captioning E-Ticaret IC olarak adlandırılan bir veri kümesi oluşturuyoruz. Taobao ürün açıklamaları ve ürün görüntüleri içeren çiftleri içeren bir veri kümesi oluşturuyoruz. Çok uzun veya çok kısa açıklamalar gürültülü olabilir, 100 kelime veya 10 kelimeyi geçmeyen bir açıklama ile çiftleri atıyoruz. Kirli nesillerden kaçınmak için, kirli kelimeler (yani, pornografik veya şiddetli kelimeler içerebilir) içeren açıklamaları filtrelemek için dahili bir araç kullanıyoruz. Son olarak, E-Ticaret IC yaklaşık 260k metin görüntüleme çiftleri içerir. E-Ticaret IC'de resim-tekst aktarma görevi ile modeli düzelttik. We compare our model with a baseline of transformer in the human evaluation. We ask several annotators with the linguistic background to evaluate from three perspectives: grammar (whether a text is fluent without grammatical error), correctness (whether a text is faithful to the image), richness (whether a text is informative and attractive). During the evaluation, we randomly sample 100 images from the test set. For each image, an annotator is asked to score the text generated by different models. The scores are within the range of [0, 5]. Sonuçlar masada show that M6-base outperforms the baseline in all of the metrics. We find that all models achieve high scores in grammar. However, in both correctness and richness, M6-base outperforms the baseline model by a large margin (+18.2% and +14.4%), indicating that multimodal pretraining helps to generate more faithful, informative and attractive texts. Scaling up the model to M6-10B further improves the correctness and richness (about 14.7% and 7.0%). Figure 9 illustrates two examples of image caption. 6 4.4 Question Answering To demonstrate the potential availability in the applications of intelligent chatbots, we further employ the M6 model to generate long answers in the style of forum discussion. Human-generated questions are collected from various Chinese forums, which are input to the model to generate the answer. At the stage of inference, we append a question mark and a token in the prompt, which better triggers the model to generate an answer. To facilitate the generation of longer and more informative texts, we pick more complex questions. “Answer:” Figure demonstrates an example of general question answer-ing. The model can illustrate a man’s own experiences that are related to the question and also point out the answer at the end. This generated text confused human annotators and passed the Turing Test. It shows that the model can not only answer general questions but also generate long fluency text. 10 4.5 Poem Generation Çin şiir üretimi için önceden eğitilmiş model uyguluyoruz. model format kısıtlamaları ile türler üretebilir. Ancient Chinese poetry has various specific formats. We adopt the simplest constraints that The poem shall be consisted of at least 4 lines. The total number of lines shall be even. Her cümlenin tam olarak 5 veya 7 kelime olması gerekir. Tüm satırların aynı sayıda kelime olması gerekir. Format kısıtlaması altında metin üretimi bir arama çerçevesinde yapılır ki, kelimelerin sayısı kısıtlamayı karşılana kadar kısa cümleler oluştururuz. " token, or the number of lines exceeds a limit of 16. Figure illustrates an example of a generated poem. 11 4.6 Image-Text Matching We evaluate the model’s ability in cross-modal retrieval. Specifically, we construct a dataset (named E-Commerce ITM) containing pairs of texts and images from the mobile Taobao. Each pair belongs to a single item. we collect 235K products in the clothing industry from Taobao. For each product, aside from the product image, we obtain a query by rewriting the product title. Specifically, we conduct named entity recognition on the title using an in-house tool, which extracts the terms describing the style, color, category and texture of the product. These terms are then concatenated into a natural language query, which is used in image-text matching. The length of each query is between 6 to 12 words. The pairs of the query and corresponding product image are labeled as positive samples. The negative samples are constructed by randomly substituting the query in the original pairs. We require the model to perform binary classification to discriminate positive and negative samples. We compare our model with InterBert [ ], which is also a Chinese multi-modal pretrained model effective in cross-modal classification downstream tasks. The InterBert utilizes object-based features and has been pretrained on Taobao product image-text data as well. 25 The results are shown in Table InterBert ve M6 bazlarının her ikisi de transformatör tabanlı mimari ile uygulanır ve benzer model ölçeklerine sahiptir. Bununla birlikte, M6 bazı yine de InterBert'i 10.3% daha iyi performans gösterir. Deneylerde, ürün görüntüleri genel olarak nispeten daha az algılanan nesneleri içerdiğini bulduk, bu da bu görevin performansına zarar verebilir. Buna karşılık, M6 patch özelliklerini kullanarak bu sorunu önler ve çok daha iyi performans elde eder. 7. 5 RELATED WORK The tremendous success of NLP pretraining, including BERT [ ], GPT [ , , ], and also some other related studies [ , , , , Ayrıca, son araştırmalar, Transformer mimarisinin her yerde olduğunu göstermektedir [ ] bilgisayar görüşü de dahil olmak üzere farklı alanlara genişletilebilir [ , ]. Therefore, the simplest solution to incorporate recent pretraining methods and cross-modal representation learning is the extension of BERT. From the perspective of architecture, there are mainly two types, including single-stream model and dual stream model. Specifically, single-stream model is simple and it gradually becomes the mainstream architecture. These models mostly differ in their designs of pretraining tasks or the construction of input im-age features. Basically, they are mainly pretrained masked language modeling, masked object classification, and image-text matching. VisualBERT [ ] and Unicoder-VL [ ] simply use BERT and are pretrained with the aforementioned tasks. UNITER [ ] pretrains the model with an additional task of word-region alignment. Oscar [ ] enhances the alignment between objects and their corresponding words or phrases. VILLA [ ] further improves model performance by adding their proposed adversarial learning methods to pretraining and finetuning. Except for pretraining tasks, some studies focus on the features of images. Most pretraining methods for multimodal representation learning utilize the features generated by a trained object detector, say Faster R-CNN [ Pişmanlık [ ] accepts raw images as input and extract their latent representations with a learnable ResNet [ ] or ResNext [ ]. FashionBERT [ ] splits the images into patches with a trained ResNet without co-training. Besides single-stream models, dual-stream models also can achieve outstanding performance, such as VilBERT [ ], LXMERT [ ] and InterBERT [ ]. ViLBERT-MT [ ] enhances model performance with multi-task finetuning. ERNIE-ViL [ Bu başarılı durumlara rağmen, multimodal ön eğitimin başarısını ortaya çıkarmak için hala daha fazla araştırma gerektirir. 6 2 30 31 1 7 19 27 49 42 3 8 23 22 4 24 11 33 17 15 46 12 28 40 25 29 50 6 CONCLUSIONS Bu çalışmada, 1.9TB'den fazla görüntü ve 292GB'den fazla metinden oluşan, Çince'de önceden eğitim için en büyük veri kümesi M6-Corpus'u öneriyoruz. Veritabanı, soru cevaplama, forum tartışması, ortak crawl vb. gibi alanlar üzerinde geniş kapsamlı bir kapsama sahiptir. M6 olarak adlandırılan bir yöntem öneririz ve hem tek-modal hem de çarpı-modal anlayış ve üretimi gerçekleştirir. Model 10B ve 100B parametreleri ile büyük bir modelde ölçeklenir ve her iki model de en büyük multimodal önceden eğitilmiş modellerdir. Modeli bir dizi aşağıdaki uygulamaya uyguluyoruz. Daha spesifik olarak, metinle yönlendirilmiş görüntü üretimi için bir aşağıdaki görevi tasarlıyoruz ve ince ayarlanmış M6 yüksek kalitede görüntü üreterek In the future, we will continue the pretraining of extremely large models by increasing the scale of data and models to explore the limit of performance, and we also endeavor to search for more downstream applications for further generalization. REFERENCES [1] Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang, Xiaodong Liu, Yu Wang, Jianfeng Gao, Songhao Piao, Ming Zhou, et al. 2020. Unilmv2: Pseudo-masked language models for unified language model pre-training. In PMLR 642–652 sayısı International Conference on Machine Learning [2] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell ve diğerleri. 2020 için. arXiv preprint arXiv:2005.14165 [3] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. 2020. End-to-end object detection with transformers. In . Springer, 213–229. Bilgisayar Görüşü Avrupa Konferansı [4] Y en-Chun Chen, Linjie Li, Licheng Yu, Ahmed El Kholy, Faisal Ahmed, Zhe Gan, Yu Cheng ve Jingjing Liu. 2020 UNITER: Evrensel Görüntü-Tekst Özetleme Öğrenimi. . 104–120. Gümrük 2020 [5] Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang, and Guoping Hu. 2020. Revisiting pre-trained models for chinese natural language processing. 2020 için. arXiv preprint arXiv:2004.13922 [6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In . 4171–4186. NAACL-HLT 2019 [7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. 2019. Unified Language Model Pre-training for Natural Language Understanding and Generation. In . 13042–13054. Nürnberg 2019 [8] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xi-aohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. 2020. An image is worth 16x16 words: Transformers for image recognition at scale. 2020 için. arXiv ön baskı arXiv:2010.11929 [9] Patrick Esser, Robin Rombach, and Björn Ommer. 2020. Taming Transformers for High-Resolution Image Synthesis. arXiv [cs.CV] :2012.09841 [10] William Fedus, Barret Zoph, ve Noam Shazeer. 2021. Switch Transformers: Basit ve verimli azalma ile trilyonlarca parametre modeline ölçeklendirme. abs/2101.03961 (2021). arXiv Kuralları 0 0 0 0 0 0 0 0 0 0 0 https://arxiv.org/abs/2101.03961 [11] Zhe Gan, Yen-Chun Chen, Linjie Li, Chen Zhu, Yu Cheng, and Jingjing Liu. 2020. Large-Scale Adversarial Training for Vision-and-Language Representation Learning. In . NeurIPS 2020 [12] Dehong Gao, Linbo Jin, Ben Chen, Minghui Qiu, Peng Li, Yi Wei, Yi Hu ve Hao Wang. 2020 Fashionbert: Metin ve görüntü adaptatif kaybı ile eşleşen cross-modal arama. 2251 ile 2260 arasında. SIGIR 2020 [13] Haoyuan Gao, Junhua Mao, Jie Zhou, Zhiheng Huang, Lei Wang, ve Wei Xu. 2015 Bir makine ile konuşuyor musunuz? veri kümesi ve çok dilli görüntü sorusu cevap yöntemleri. (2015 yılında) arXiv ön baskı arXiv:1505.05612 [14] Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative adversarial networks. (2014 yılında) arXiv preprint arXiv:1406.2661 [15] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep Residual Learning for Image Recognition. In 770 ile 778 arasında. CVPR 2016 [16] Pengcheng He, Xiaodong Liu, Jianfeng Gao, ve Weizhu Chen. 2020 De-berta: Çözülmüş dikkat ile kodlama geliştirilmiş çubuk. 2020 için. arXiv ön baskı arXiv:2006.03654 [17] Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu, and Jianlong Fu. 2020. Pixel-bert: Aligning image pixels with text by deep multi-modal transformers. 2020 için. arXiv preprint arXiv:2004.00849 [18] Zihang Jiang, Weihao Yu, Daquan Zhou, Yunpeng Chen, Jiashi Feng, ve Shuicheng Yan. 2020 Convbert: Genişleme tabanlı dinamik konvolisyon ile bert geliştirme. (2020). arXiv ön baskı arXiv:2008.02496 [19] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma ve Radu Soricut. 2019 ALBERT: Dil temsillerinin kendiliğinden öğrenilmesi için biraz BERT. abs/1909.11942 (2019) CoRR [20] Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer ve Zhifeng Chen. (2020). arXiv preprint arXiv:2006.16668 [21] Mike Lewis, Shruti Bhosale, Tim Dettmers, Naman Goyal, and Luke Zettle-moyer. 2021. BASE Layers: Simplifying Training of Large, Sparse Models. abs/2103.16716 (2021 ) CoRR [22] Gen Li, Nan Duan, Yuejian Fang, Daxin Jiang, and Ming Zhou. 2019. Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training. abs/1908.06066 (2019). CoRR [23] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, and Kai-Wei Chang. 2019. VisualBERT: A Simple and Performant Baseline for Vision and Language. abs/1908.03557 (2019). Kuralları [24] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi ve Jianfeng Gao. abs/2004.06165 (2020). Kuralları [25] Junyang Lin, An Yang, Yichang Zhang, Jie Liu, Jingren Zhou, and Hongxia Yang. 2020. Interbert: Vision-and-language interaction for multi-modal pretraining. (2020). arXiv ön baskı arXiv:2003.13198 [26] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár ve C. Lawrence Zitnick. 2014 Microsoft COCO: Bağlamda Yaygın Objeler. . 740–755. ECCV 2014 [27] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer ve Veselin Stoyanov. abs07.11692 Hakkında Bilgiler Kuralları [28] Jiasen Lu, Dhruv Batra, Devi Parikh, ve Stefan Lee. 2019 ViLBERT: Görüş ve Dil Görevleri için Task-Agnostic Visiolinguistic Representations Pretraining. . 13–23. NeurIPS 2019 [29] Jiasen Lu, Vedanuj Goswami, Marcus Rohrbach, Devi Parikh ve Stefan Lee. 2019 12-in-1: Çoklu Görev Vizyonu ve Dil Gösterimi Öğrenimi. abs/1912.02315 (2019). Kuralları [30] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving language understanding by generative pre-training. (2018). URL languageunsupervised/language understanding paper. pdf https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/ [31] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei ve Ilya Sutskever. [n.d.]. Dil modelleri gözetimsiz çok görevli öğrencileri. ([n.d.]) [32] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen ve Ilya Sutskever. 2021 Zero-Shot Text-to-Image Generation. arXiv [CV Hakkında] İsim: 2102 1202 [33] Shaoqing Ren, Kaiming He, Ross B. Girshick ve Jian Sun. 2015 Hızlı R-CNN: Bölge teklif ağları ile gerçek zamanlı nesne algılama yönünde. 91 ile 99. Nürnberg 2015 [34] Rico Sennrich, Barry Haddow ve Alexandra Birch. 2016 Neural Machine Translation of Rare Words with Subword Units. . ACL 2016 [35] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton ve Jeff Dean. (2017 yılında) arXiv ön baskı arXiv:1701.06538 [36] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper ve Bryan Catanzaro. (2019 yılında) arXiv ön baskı arXiv:1909.08053 [37] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. 2019. MASS: Masked Sequence to Sequence Pre-training for Language Generation. In . 5926–5936. ICML 2019 [38] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei ve Jifeng Dai. . İkizler 2020 [39] Maosong Sun, Jingyang Li, Zhipeng Guo, Z Yu, Y Zheng, X Si ve Z Liu. 2016 Thuctc: etkili bir Çin metin sınıflayıcısı. (2016 yılında) GitHub Repository [40] Hao Tan and Mohit Bansal. 2019. LXMERT: Learning Cross-Modality Encoder Representations from Transformers. In 5099 ile 5110 arasında. EMNLP-IJCNLP 2019 Yorumları [41] Aäron van den Oord, Oriol Vinyals ve Koray Kavukcuoglu. 2017 Nöral Diskret Gösterim Öğrenimi. . Nipsi [42] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser ve Illia Polosukhin. . 5998–6008. Nürnberg 2017 [43] Ang Wang, Xianyan Jia, Le Jiang, Jie Zhang, Yong Li ve Wei Lin. 2020 Balina: Birleşik dağıtılmış eğitim çerçevesi. (2020). arXiv preprint arXiv:2011.09208 [44] Wei Wang, Bin Bi, Ming Yan, Chen Wu, Zuyi Bao, Jiangnan Xia, Liwei Peng, and Luo Si. 2019. Structbert: Incorporating language structures into pre-training for deep language understanding. (2019 yılında) arXiv ön baskı arXiv:1908.04577 [45] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. 2016 Google'ın sinir makine çeviri sistemi: İnsan ve makine çeviri arasındaki boşluğu kapatmak. (2016 yılında) arXiv ön baskı arXiv:1609.08144 [46] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu ve Kaiming He. 2017 Derin nöral ağlar için toplam kalan dönüşümler. . 1492–1500. cvp 2017 [47] Liang Xu, Xuanwei Zhang ve Qianqian Dong. 2020 CLUECorpus2020: Pre-trainingLanguage Model için Büyük ölçekli bir Çin Corpus. 2020 için. arXiv ön baskı arXiv:2003.01355 [48] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang ve Xiaodong He. 2018 Attngan: Dikkatli oluşturucu düşman ağları ile görüntü üretimi için ince tahıllı metin. 1316 ile 1324 arasında. Bilgisayar Görüşü ve Tasarım Tanıma Hakkında IEEE Konferansı [49] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime G. Carbonell, Ruslan Salakhutdinov ve Quoc V. Le. 2019 XLNet: Dil Anlamı için Genel Otoregresif Ön Eğitimi. 5754 ile 5764 arasında. NeurIPS 2019 [50] Fei Yu, Jiji Tang, Weichong Yin, Yu Sun, Hao Tian, Hua Wu, and Haifeng Wang. 2020. Ernie-vil: Knowledge enhanced vision-language representations through scene graph. 2020 için. arXiv preprint arXiv:2006.16934 [51] Luowei Zhou, Hamid Palangi, Lei Zhang, Houdong Hu, Jason J. Corso, and Jianfeng Gao. 2020. Unified Vision-Language Pre-Training for Image Captioning and VQA. In 13041 – 13049 sayısı AAAI 2020 Bu kağıt under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv Bu kağıt CC by 4.0 Deed (Attribution 4.0 International) lisansı altında. Arşivde kullanılabilir