DALL·E Research Paper: Högkvalitativ bildgenerering utan att använda någon av utbildningsetiketterna

Författare : Aditya Ramesh Mikhail Pavlov Gabriel Goh Skott Gray För Chelsea Voss Följ Alec Radford Mark Chen Ilja Sutskever Författare : Aditya Ramesh Mikhail Pavlov Gabriel Goh Skott Gray För Chelsea Voss Följ Alec Radford Mark Chen Ilja Sutskever Zero-Shot Text-to-Image Generation för användare 1 Introduktion Moderna maskininlärningsmetoder till text till bild syntes - uppsatsen började med arbetet med (som som visade att ritningen (som ) generativ modell, när utökas till villkor på bildtexter, kan också generera nya visuella scener. (som ) senare visade att med hjälp av ett generativt adversarial nätverk ( och ), i stället för en återkommande variationell auto-kodare, förbättrad bildfidelitet. (som ) visade att detta system inte bara kunde generera objekt med igenkännbara egenskaper, utan också kunde Generalisera till utestängda kategorier. Människan et al. 2015 Gregor och al. 2015 Reed och al. 2016b Goodfellow och al. 2014 Reed och al. 2016b Nollskott Under de närmaste åren fortsatte framstegen med att använda en kombination av metoder.Dessa inkluderar förbättring av generativ modellarkitektur med modifieringar som multi-scale generatorer ( och och ), integrera uppmärksamhet och auxiliary förluster ( och ) och utnyttja ytterligare källor till konditionering information utöver bara text ( och och och och och och ) Zhang och al. 2017 2018 Xu och al. 2018 Reed och al . 2016A Li och al. 2019 Koh et al. 2021 och separat, (som ) föreslå en energibaserad ram för konditionell bildgenerering som uppnådde en stor förbättring i provkvalitet jämfört med kontempora metoder. Deras tillvägagångssätt kan införliva förtränade diskriminerande modeller, och de visar att den kan utföra text-till-bildsgenerering när den tillämpas på en undertexteringsmodell som förtränats på MS-COCO. (som ) föreslår också en metod som involverar optimering av ingången till en förtränad tvärmodal maskerad språkmodell. (som Prover kan fortfarande drabbas av allvarliga artefakter som objektförvrängning, ologisk objektplacering eller onaturlig blandning av förgrunds- och bakgrundselement. Nguyen och al. 2017 för och al . 2020 Människan et al. 2015 De senaste framstegen som drivs av storskaliga generativa modeller föreslår en möjlig väg för ytterligare förbättringar.Specificera, när beräkning, modellstorlek och data skalas noggrant, autoregressiva transformatorer ( och ) har uppnått imponerande resultat i flera domäner såsom text ( och och bilder ( och ) och ljud ( och och ) Vasa och al. 2017 Radford och al. 2019 Chen och al. 2020 Gävle och al. 2020 Till jämförelse har text-till-bildgenerering vanligtvis utvärderats på relativt små datamängder som MS-COCO och CUB-200 ( och Kan datasetstorlek och modellstorlek vara den begränsande faktorn för nuvarande tillvägagångssätt?I det här arbetet visar vi att träning av en 12 miljarder parameter-eter-autoregressiv transformator på 250 miljoner bild-textpar som samlats in från internet resulterar i en flexibel, hög fidelitet generativ modell av bilder som kan styras genom naturligt språk. Hälsningar och al. 2010 Det resulterande systemet uppnår högkvalitativ bildgenerering på det populära MS-COCO-dataset Det är bättre än tidigare arbete som utbildats på dataset av mänskliga utvärderare 90% av tiden. Vi finner också att det kan utföra komplexa uppgifter som bild-till-bild-översättning på en rudimentär nivå. och ), snarare framträder som en förmåga av en enda, stor generativ modell. Nollskott Isola och al. 2017 2 Metoden Vårt mål är att träna en transformator (Vaswani et al., 2017) för att självregressivt modellera text- och bildtokens som ett enda flöde av data. Men att använda pixlar direkt som bildtokens skulle kräva en överdriven mängd minne för högupplösta bilder. sannolikhetsmål tenderar att prioritera modellering av kortdistansberoende mellan pixlar (Salimans et al., 2017), så mycket av modelleringskapaciteten skulle spenderas på att fånga högfrekventa detaljer i stället för den låga frekvensstruktur som gör objekt visuellt igenkännliga för oss. We address these issues by using a two-stage training procedure, similar to (Oord et al., 2017; Razavi et al., 2019): Vi tränar en diskret variationell autoencoder (dVAE)1 för att komprimera varje 256×256 RGB-bild till ett 32×32-gitter av bildtokens, varav varje element kan anta 8192 möjliga värden. • Stage 1. Vi förknippar upp till 256 BPE-kodade texttokens med 32 × 32 = 1024 bildtokens och tränar en autoregressiv transformator för att modellera den gemensamma distributionen över text- och bildtokens • Stage 2. Den övergripande proceduren kan ses som att maximera beviset lägre gräns (ELB) (Kingma & Welling, 2013; Rezende et al., 2014) på den gemensamma sannolikheten för modellfördelningen över bilder x, captions y, och tokens z för den kodade RGB-bilden. Var är: • qφ betecknar fördelningen över de 32 × 32 bildtokens som genereras av dVAE-kodaren som ges RGB-bilden x 2 ; • pθ betecknar fördelningen över de RGB-bilder som genereras av dVAE-dekodern med de bildtokens; och • pψ betecknar den gemensamma distributionen över de text- och bildtokens som modelleras av transformatorn. Observera att bindningen endast håller för β = 1, medan vi i praktiken finner det användbart att använda större värden (Higgins et al., 2016). Steg ett: Lär dig den visuella kodboken I den första etappen av utbildningen maximerar vi ELB i förhållande till φ och θ, vilket motsvarar att träna en dVAE på bilderna ensamma. Vi ställer in den inledande föregående pψ till den enhetliga kategoriska fördelningen över K = 8192-kodbokens vektorer, och qφ till att vara kategoriska fördelningar parameteriserade av 8192-logiterna vid samma rumsliga position i 32×32-gridutgången av kodaren. ELB blir nu svår att optimera: eftersom qψ är en diskret fördelning och vi inte kan använda reparameteriseringsgradienten för att maximera den. Oord et al. (2017); Razavi et al. (2019) adresserar detta med hjälp av ett online-klustertilldelningsförfarande i kombination med den raka uppskattaren (Bengio et al., Vi använder istället gumbel-softmax avslappning (Jang et al., 2016; Maddison et al., 2016), ersätter förväntan över qφ med en över q τ φ , där avslappningen blir tät som temperaturen τ → 0. Den avslappnade ELB maximeras med hjälp av Adam (Kingma & Ba, 2014) med exponentiellt vägda iterata medelvärden. Bilaga A.2 ger en fullständig beskrivning av hyperparametrarna, men vi fann följande vara särskilt viktigt för stabil träning: Vi fann att annealing τ till 1/16 var tillräckligt för att täcka klyftan mellan den avslappnade validering ELB och den sanna validering ELB med qφ intsead av q τ φ . • Användningen av 1 × 1 konvolutions i slutet av kodaren och början av dekodern.Vi fann att minska den mottagande fältstorleken för konvolutionsen runt avslappningen ledde till att den generaliserade bättre till den sanna ELB • Multiplikation av utgående aktiveringar från kodaren och decoder resblockerar med en liten konstant, för att säkerställa stabil träning vid initialisering. Vi fann också att öka KL-vikten till β = 6,6 främjar bättre användning av kodböcker och i slutändan leder till ett mindre rekonstruktionsfel i slutet av träningen.4 Steg två: Lär dig det föregående I det andra steget fixar vi och , och lära sig den tidigare distributionen över text- och bildtokens genom att maximera ELB med avseende på Här är, är representerad av en 12 miljarder parameter sparse transformator ( och och ) φ θ ψ pps Barn och al. 2019 Med tanke på ett text-bildpar, vi BPE-kodning ( och ) den nedgraderade undertexten med högst 256 tokens med ordförrådsstorlek 16*,*384, och kodar bilden med hjälp av 32 x 32 = 1024 tokens med ordförrådsstorlek 8192. Bildtokens erhålls med hjälp av argmax-sampling från dVAE-kodningslogiterna, utan att lägga till något gumbelbrus.[6](#_bookmark14) Slutligen är text- och bildtokens sammanflätade och modellerade autoregressivt som en enda dataström. Sennrich och al. 2015 5 Transformern är en decoder-only modell där varje im-age token kan närvara till alla text tokens i någon av dess 64 självuppmärksamhet skikt. Det finns tre olika typer av självuppmärksamhetsmasker som används i modellen.Den del av uppmärksamhetsmaskerna som motsvarar text-till-text-uppmärksamhet är den vanliga kausalmasken, och den del för bild-till-bild-uppmärksamhet använder antingen en rad, kolumn eller konvolutionell uppmärksamhetsmask. B1 För 7 Vi begränsar längden på en texttext till 256 tokens, även om det inte är helt klart vad man ska göra för de "padding" positionerna mellan den sista texttoken och start-of-bildtoken. Ett alternativ är att ställa in loggen för dessa tokens till −∞ i självuppmärksamhetsoperationerna. Istället väljer vi att lära oss en särskild padding token separat för var och en av de 256 textpositionerna. Denna token används endast när ingen text token är tillgänglig. I preliminära experiment på Conceptual Captions (Sharma et al., 2018), fann vi att detta resulterade i högre valideringsförlust, men bättre prestanda på out-of-distribution captions. Vi normaliserar de korsentropiska förlusterna för text- och bildtokens med det totala antalet av varje typ i en batch av data. Eftersom vi är främst intresserade av bildmodellering, multiplicerar vi korsentropiska förlusten för texten med 1/ / ,000 bilder för validering, och fann inga tecken på övermontering vid konvergens. 8 och den korsentropiska förlusten för bilden med 7 Målet är optimerat med Adam med exponentiellt vägda iteratmedelvärden; Bilaga B.2 beskriver träningsförfarandet mer i detalj. B2 för 2.3 Datainsamling Våra preliminära experiment för modeller upp till 1,2 miljarder parametrar utfördes på Conceptual Captions, en datamängd av 3,3 miljoner text-bildpar som utvecklades som en förlängning till MS-COCO ( och och ) Lin och al. 2014 För att skala upp till 12 miljarder parametrar skapade vi en datamängd av en liknande skala till JFT-300M ( och ) genom att samla in 250 miljoner text-bildpar från internet. Denna datamängd innehåller inte MS-COCO, men innehåller Konceptuella rubriker och en filtrerad undergrupp av YFCC100M ( och Eftersom MS-COCO skapades från sistnämnda innehåller våra utbildningsdata en bråkdel av MS-COCO-valideringsbilderna (men ingen av rubrikerna). och finner att det inte har någon märkbar påverkan på resultaten. Vi ger ytterligare detaljer om datainsamlingsprocessen i bilaga . Sun och al. 2017 Thomee et al. 2016 3 C 4.2 Träning med blandad precision För att spara GPU-minne och öka genomströmningen lagras de flesta parametrar, Adam-moment och aktiveringar i 16-bitars precision.Vi använder också aktiveringskontroll och återberäknar aktiveringarna inom resblocken under bakåtpasset. Vi tror att den grundläggande orsaken till denna instabilitet är underflödet i 16-bitarsgradienterna. presenterar en uppsättning riktlinjer som vi har utvecklat för att undvika underflöde vid utbildning av storskaliga generativa modeller. Här beskriver vi en av dessa riktlinjer: per-resblock gradient scaling. D Liknar tidigare arbete ( och Vi fann att normerna för aktiveringsgradienterna från resblocken ökar monotont när vi flyttar från de tidigare resblocken till de senare. När modellen görs djupare och bredare, kan de sanna exponenterna för aktiveringsgradienterna för senare res-block falla under den minsta exponenten för 16-bitarsformatet. Vi fann att eliminering av un-derflow möjliggjorde stabil träning till konvergens. Liu och al. 2020 8 Underflödet Standard förlust skala ( och ) kan undvika underflöde när intervallet som sträcker sig från de minsta och största aktiveringsgradienterna (i absolut värde) passar inom exponentområdet för 16-bitarsformatet.På NVIDIA V100-GPU:er är detta exponentområde specificerat av fem bitar. Micke och al. 2017 Vår fix, som visas i figuren Detta kan ses som ett praktiskt alternativ till ett mer allmänt ramverk för blandad precisionsutbildning som kallas Flexpoint ( och ), med fördelen att specialiserade GPU-kärl inte behövs. (som ) hade självständigt utvecklat liknande förfarande för träning av kon-volutionella nätverk i 4-bitars precision. 4 Köster och al . 2017 Sun och al. 2020 5.2 Distribuerad optimering Vår 12 miljarder parametermodell förbrukar cirka 24 GB minne när den lagras i 16-bitars precision, vilket överstiger minnet hos en 16 GB NVIDIA V100 GPU. och Som framgår av figuren Parameterskärning gör det möjligt för oss att nästan helt dölja latensen för kommunikationen inom maskinen genom att överlappa den med datorintensiva operationer. Rajbhandari et al. 2019 5 På kluster som används för att träna modellen är bandbredden mellan maskinerna mycket lägre än bandbredden mellan GPU: er på samma maskin. Detta gör kostnaden för operationen som används för att genomsnittlig gradient mellan maskinerna (all-reducera) den huvudsakliga flaskhalsen under träningen. och och ) Fåglar och al. 2019 I vår implementering beräknar varje GPU i en maskin de lågt rankade faktorerna för dess parameter shard gradienter beroende på dess angränsande GPU:er. När de låga faktorerna har beräknats, ställer varje maskin sin felbuffert till den återstående mellan den okomprimerade gradienten genomsnittligt över sina åtta GPU: er (erhållen från reducera-scatter), och den dekomprimerade gradienten erhållen från de låga faktorerna. 9 PowerSGD ersätter den stora kommunikationsoperationen för en okomprimerad parametergradient med två, mycket mindre kommunikationsoperationer för sina lågt rankade faktorer. För en given kompressionsklass r och transformatoraktiveringsstorlek dmodell ges kompressionshastigheten med 1 − 5r/(8dmodell) (se bilaga E.1). Tabell 1 visar att vi kan uppnå en kompressionshastighet på cirka 85%, oberoende av modellstorlek. I bilaga , vi beskriver olika detaljer som var nödvändiga för att få PowerSGD att fungera bra i skala. E.2 För • Spara minne genom att ackumulera gradienten i felbuffern under backpropagation, snarare än att sammanfoga separata buffertar. • Minimera fall där vi noll ut felbuffertar (t.ex. på grund av icke-ändliga värden stött på blandad precision backpropagation, eller när vi återupptar träning från en kontrollpunkt). • Förbättra numerisk stabilitet genom att använda Householder orthogonalization istället för Gram-Schmidt, tillsammans med tillägget av en liten multipel av identitetsmatrisen till ingången. • Undvik underflöde genom att använda ett anpassat 16-bitars flytande punktformat för felbuffrarna, deras låga rangfaktorer och de all-reducera kommunikationsoperationer som involverar dem. Vi hittade också den varma startproceduren för Matrix beskrivs i (som ) att vara onödigt: vi kunde få likvärdiga resultat genom att fixa till en slumpmässig gaussisk matris i början av träningen, och aldrig uppdatera den. Q Fåglar och al. 2019 Q 10 2.6 Sample generation Liknande till (som För att göra detta måste man använda sig av en förhandsgranskning med hjälp av en förhandsgranskningsmetod ( och ) Med tanke på en undertexter och en datumbild, tilldelar kontrastmodellen en poäng baserat på hur väl bilden matchar undertexten. visar effekten av att öka antalet prover från vilken vi väljer toppen Denna process kan ses som en typ av språkstyrd sökning ( och ), och liknar också den auxiliära text-bild matchande förlust som föreslås av (som Om inte annat anges, erhålls alla prover som används för både kvalitativa och kvantitativa resultat utan temperaturreduktion (dvs. med hjälp av = 1) (med undantag för figur ) och använda reranking med Det är 512. Röv och al. 2019 Radford och al. 2021 6 N k Andreas och al. 2017 Xu och al. 2018 t 2 N 3. Experiments 4.1 Kvantitativa resultat We evaluate our model zero-shot by comparing it to three prior approaches: AttnGAN ( , ), DM- GAN ( , ), and DF-GAN ( och ), den sista av vilka rapporterar den bästa Inception Score ( och ) och Fréchet Inception Distance ( , ) på MS-COCO. figur qualitatively compares sam- ples from our model to those from prior work. Xu et al. 2018 Zhu et al. 2019 Tao och al. 2020 Salimans et al. 2016 Heusel et al. 2017 3 We also conduct a human evaluation similar to the one used in ( ) to compare our approach to DF-GAN, the results of which are shown in Figure . Given a caption, the sample from our model receives the majority vote for better matching the caption 93% of the time. It also receives the majority vote for being more realistic 90% of the time. Koh et al. 2021 7 Figure (a) shows that our model also obtains an FID score on MS-COCO within 2 points of the best prior approach, despite having never been trained on the captions. Our training data incorporates a filtered subset of YFCC100M, and we found that it includes about 21% of the images in the MS-COCO validation set from a de-duplication procedure described in the next section. To isolate this effect, we compute the FID statistics for the validation set both with these images (solid lines) and without them (dashed lines), finding no significant change in the results. 9 Träning av transformatorn på tokens från dVAE encoder tillåter oss att tilldela sin modelleringskapacitet till den låga frekvensinformation som gör bilder visuellt recognisable för oss. men det är också en nackdel för modellen, eftersom den tunga kompression gör det omöjligt att producera högfrekventa detaljer. För att testa effekten av detta på de kvantitativa utvärderingarna, beräknar vi FID och IS i figur (a) efter att ha tillämpat ett Gaussian-filter med varierande radie på både valideringsbilderna och proverna från modellerna.Vårt tillvägagångssätt uppnår den bästa FID med en marginal på ca 6 punkter med en liten blur av radie 1. 9 Our model fares significantly worse on the CUB dataset, for which there is a nearly 40-point gap in FID between our model and the leading prior approach (Figure (b)). We found an 12% overlap rate for this dataset, and again ob- served no significant difference in the results after removing these images. We speculate that our zero-shot approach is less likely to compare favorably on specialized distributions such as CUB. We believe that fine-tuning is a promising direction for improvement, and leave this investigation to future work. Samples from our model for captions in this dataset are shown in Figure . 9 8 Finally, Figure (c) shows clear improvements in FID and IS for MS-COCO as the sample size used for reranking with the contrastive model is increased. This trend continues up to a sample size of 32, after which we observe diminishing returns 9 3.2. Data Overlap Analysis Vi använde den dedupliceringsmetod som beskrivs i (som ) to determine which images to remove. For each validation image, we find the closest image in the training data using a contrastive model specifically trained for this task. We then sort the images in descending order by closeness to their nearest matches in the training data. After inspecting the results by hand, we determine the images to remove by manually selecting a conservative threshold designed to minimize the false negative rate. Radford et al. 2021 3.3. Qualitative Findings We found that our model has the ability to generalize in ways that we did not originally anticipate. When given the caption “a tapir made of accordion...” (Figure ), modellen verkar rita en tapir med en akordeon för en kropp, eller en akordeon vars tangentbord eller bas är i form av en tapirs stam eller ben. 2a Vår modell verkar också kunna kombinatorisk generalisering, till exempel vid rendering av text (Figur ) or when probed on sentences like “an illustration of a baby hedgehog in a christmas sweater walking a dog” (Figure För att göra detta krävs att man utför en variabel ( och ; , Vi noterar dock att modellen utför inkonsekvent på uppgiften, ibland ritar båda djuren med jultröjor, eller ritar en hedgehog som går en mindre hedgehog. 2b 2c Smolensky 1990 Greff et al. 2020 To a limited degree of reliability, we also find our model to be capable of zero-shot image-to-image translation controllable by natural language (Figure 2d). When the model is given the caption “the exact same cat on the top as a sketch at the bottom” and the top 15 × 32 part of the image token grid for a photo of a cat, it is able to draw a sketch of a similar looking cat on the bottom. Detta fungerar med flera andra typer av transformationer, inbegripet inneslutande bildoperationer (t.ex. att ändra färgen på bilden, omvandla den till gråskala eller vända den uppåt) och stilöverföring (t.ex. att rita katten på ett hälsningskort, en poststämpel eller en mobiltelefon).Vissa transformationer, till exempel de som bara innebär att ändra djurets färg, tyder på att modellen kan utföra en rudimentär typ av objektsegmentering. . G 4. Conclusion We investigate a simple approach for text-to-image generation based on an autoregressive transformer, when it is executed at scale. We find that scale can lead to improved generalization, both in terms of zero-shot performance relative to previous domain-specific approaches, and in terms of the range of capabilities that emerge from a single generative model. Our findings suggest that improving generalization as a function of scale may be a useful driver for progress on this task. erkännande We would like to thank Matthew Knight for reviewing the code release for this work, and Rewon Child, John Schul- man, Heewoo Jun, and Prafulla Dhariwal for helpful early feedback on the paper. We would also like to thank Jong Wook Kim for writing the PyTorch package for the con- trastive model described in (som ) att vi brukade omarbeta proverna från vår modell. Radford och al. 2019 References Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J., Devin, M., Ghemawat, S., Irving, G., Isard, M., et al. Tensorflow: A system for large-scale machine learning. In och } 12th USENIX symposium on operating systems design { } , pp. 265–283, 2016. och genomförandet ( OSDI 16 ) Andreas, J., Klein, D. och Levine, S. Lärande med latent språk. , 2017. arXiv preprint arXiv:1711.00482 Bengio, Y., Léonard, N., och Courville, A. Uppskattning eller spridning av gradienter genom stochastiska neuroner för konditionell beräkning. , 2013. arXiv preprint arXiv:1308.3432 Bowman, S. R., Vilnis, L., Vinyals, O., Dai, A. M., Joze-fowicz, R., och Bengio, S. Generera meningar från ett kontinuerligt utrymme. , 2015. arXiv preprint arXiv:1511.06349 Chen, M., Radford, A., Child, R., Wu, J., Jun, H., Luan, D., och Sutskever, I. Generativ förträning från pixlar. , pp. 1691–1703. PMLR, 2020. International Conference on Machine Learning Child, R., Gray, S., Radford, A., and Sutskever, I. Gen- erating long sequences with sparse transformers. , 2019. arXiv förutskrift arXiv:1904.10509 Cho, J., Lu, J., Schwenk, D., Hajishirzi, H., och Kemb- havi, A. X-lxmert: Måla, undertexter och svara på frågor med multi-modala transformatorer. , 2020. arXiv förutskrift arXiv:2009.11278 Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., and Fei-Fei, L. Imagenet: A large-scale hierarchical image database. In , s. 248–255 Ieee, 2009 2009 IEEE conference on computer vision and pattern recognition Dhariwal, P., Jun, H., Payne, C., Kim, J. W., Radford, A., och Sutskever, I. Jukebox: En generativ modell för musik. , 2020. arXiv förutskrift arXiv:2005.00341 Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Ben- gio, Y. Generative adversarial networks. , 2014. arXiv preprint arXiv:1406.2661 Greff, K., van Steenkiste, S., and Schmidhuber, J. On the binding problem in artificial neural networks. , 2020. arXiv preprint arXiv:2012.05208 Gregor, K., Danihelka, I., Graves, A., Rezende, D., and Wierstra, D. Draw: A recurrent neural network for im- age generation. In , s. 1462–1471. PMLR, 2015 International Conference on Machine Learning He, K., Zhang, X., Ren, S., and Sun, J. Identity mappings in deep residual networks. In , sidan 630–645. Springer, 2016 European conference on computer vision Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., and Hochreiter, S. Gans trained by a two time-scale update rule converge to a local nash equilibrium. Det är 2017. arXiv preprint arXiv:1706.08500 Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Mohamed, S., och Lerchner, A. beta- vae: Att lära sig grundläggande visuella begrepp med en begränsad variationsram. Isola, P., Zhu, J.-Y., Zhou, T., och Efros, A. A. Bild-till-bild översättning med villkorliga motståndsnätverk. , pp. 1125–1134, 2017. Procedurer från IEEE-konferensen om datavision och mönsterigenkänning Jang, E., Gu, S., och Poole, B. Kategorisk repa- rameterisering med gumbel-softmax. och 2016. arXiv förutskrift arXiv:1611.01144 Kingma, D. P. och Ba, J. Adam: En metod för stochastisk optimering. och 2014. arXiv preprint arXiv:1412.6980 Kingma, D. P. och Welling, M. Auto-kodning variationella bayes. och 2013. arXiv förskrivning arXiv:1312.6114 Koh, J. Y., Baldridge, J., Lee, H., och Yang, Y. Text-to-bildgenerering grundad av finkornig användaruppmärksamhet. , sidan 237–246, 2021. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision Köster, U., Webb, T. J., Wang, X., Nassar, M., Bansal, A. K., Constable, W. H., Elibol, O. H., Gray, S., Hall, S., Hornof, L., et al. Flexpoint: Ett adaptivt numeriskt format för effektiv träning av djupa neurala nätverk. , 2017. arXiv förutskrift arXiv:1711.02213 LeCun, Y., Bottou, L., Bengio, Y., och Haffner, P. Gradient-baserat lärande tillämpas på dokumentigenkänning. , 86(11):2278–2324, 1998 Proceed- ings of the IEEE Li, W., Zhang, P., Zhang, L., Huang, Q., He, X., Lyu, S., och Gao, J. Objektdriven text-till-bild syntes via motståndarutbildning. , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition pp. 12174–12182, 2019. Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ra- manan, D., Dollár, P., och Zitnick, C. L. Microsoft coco: vanliga objekt i sammanhang. , pp. 740–755. Springer, 2014. Europeisk konferens om datorsyn Liu, L., Liu, X., Gao, J., Chen, W., och Han, J. Förstå svårigheten med att träna transformatorer. och 2020. arXiv preprint arXiv:2004.08249 Loshchilov, I. och Hutter, F. Avkopplad viktnedbrytning regu- larization. Det är 2017. arXiv förutskrift arXiv:1711.05101 Maddison, C. J., Mnih, A., and Teh, Y. W. The concrete distribution: A continuous relaxation of discrete random variables. , 2016. arXiv preprint arXiv:1611.00712 Mansimov, E., Parisotto, E., Ba, J. L., och Salakhutdinov, R. Generera bilder från rubriker med uppmärksamhet. , 2015. arXiv förutskrift arXiv:1511.02793 Micikevicius, P., Narang, S., Alben, J., Diamos, G., Elsen, E., Garcia, D., Ginsburg, B., Houston, M., Kuchaiev, O., Venkatesh, G., et al. Blandad precisionsträning. Det är 2017. arXiv förutskrift arXiv:1710.03740 Nguyen, A., Clune, J., Bengio, Y., Dosovitskiy, A., och Yosinski, J. Plug & play generativa nätverk: konditionell iterativ generation av bilder i latent utrymme. , pp. 4467–4477, 2017. IEEE-konferensen om datorsyn och mönsterigenkänning Oord, A. v. d., Vinyals, O., and Kavukcuoglu, K. Neu- ral discrete representation learning. Det är 2017. arXiv preprint arXiv:1711.00937 Provilkov, I., Emelianenko, D., and Voita, E. Bpe-dropout: Simple and effective subword regularization. och 2019. arXiv preprint arXiv:1910.13267 Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., och Sutskever, I. Språkmodeller är övervakade multitask-lärare. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., and Sutskever, I. Learning transferable visual models from natural language supervision. 2021. Rajbhandari, S., Rasley, J., Ruwase, O., and He, Y. Zero: Memory optimization towards training a trillion parame- ter models. och 2019. arXiv förutskrift arXiv:1910.02054 Razavi, A., Oord, A. v. d., och Vinyals, O. Generera olika bilder med hög trohet med vq-vae-2. , 2019. arXiv preprint arXiv:1906.00446 Reed, S., Akata, Z., Mohan, S., Tenka, S., Schiele, B., and Lee, H. Learning what and where to draw. För 2016a. arXiv preprint arXiv:1610.02454 Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., och Lee, H. Generativa motsatta text till bild syntes. , pp. 1060–1069. PMLR, 2016b. International Conference on Machine Learning Rezende, D. J., Mohamed, S., and Wierstra, D. Stochastic backpropagation and approximate inference in deep gen- erative models. In , pp. 1278–1286. PMLR, 2014. Internationell konferens om maskininlärning Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., and Chen, X. Improved techniques for training gans. , 2016. arXiv preprint arXiv:1606.03498 Salimans, T., Karpathy, A., Chen, X., and Kingma, D. P. Pixelcnn++: Improving the pixelcnn with discretized lo- gistic mixture likelihood and other modifications. Det är 2017. arXiv förutskrift arXiv:1701.05517 Sennrich, R., Haddow, B., och Birch, A. Neural maskinöversättning av sällsynta ord med underordsenheter. och 2015. arXiv förutskrift arXiv:1508.07909 Sharma, P., Ding, N., Goodman, S., and Soricut, R. Con- ceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In , pp. 2556– 2565, 2018. Proceedings of the 56th Annual Meeting of the Association for Compu- tational Linguistics (Volume 1: Long Papers) Smolensky, P. Tensor product variable binding and the representation of symbolic structures in connectionist systems. , 46(1-2):159–216, 1990 Artificiell intelligens Sun, C., Shrivastava, A., Singh, S., and Gupta, A. Revisiting unreasonable effectiveness of data in deep learning era. In , pp. 843–852, 2017. Proceedings of the IEEE international conference on computer vision Sun, X., Wang, N., Chen, C.-Y., Ni, J., Agrawal, A., Cui, X., Venkataramani, S., El Maghraoui, K., Srinivasan, V. V., and Gopalakrishnan, K. Ultra-low precision 4-bit training of deep neural networks. , 33, 2020. Framsteg i Neural Information Processing Systems Tao, M., Tang, H., Wu, S., Sebe, N., Wu, F., and Jing, X.-Y. Df-gan: Deep fusion generative adversarial networks for text-to-image synthesis. och 2020. arXiv förutskrift arXiv:2008.05865 Thomee, B., Shamma, D. A., Friedland, G., Elizalde, B., Ni, K., Polen, D., Borth, D., och Li, L.-J. Yfcc100m: De nya data i multimedia forskning. , 59(2):64–73, 2016 Communications of the ACM Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. Attention is all you need. , 2017. arXiv preprint arXiv:1706.03762 Vogels, T., Karimireddy, S. P., and Jaggi, M. Powersgd: Practical low-rank gradient compression for distributed optimization. , 2019. arXiv förutskrift arXiv:1905.13727 Welinder, P., Branson, S., Mita, T., Wah, C., Schroff, F., Belongie, S., and Perona, P. Caltech-ucsd birds 200. 2010. Xu, T., Zhang, P., Huang, Q., Zhang, H., Gan, Z., Huang, X., and He, X. Attngan: Fine-grained text to image gener- ation with attentional generative adversarial networks. In , sidan 1316–1324, 2018. Proceedings of the IEEE conference on computer vision and pattern recognition Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., och Metaxas, D. N. Stackgan: Text till fotorealistisk bildsyntes med staplade generativa motstridiga nätverk. , sidan 5907–5915, 2017. IEEE:s internationella konferens om datorsyn Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., och Metaxas, D. N. Stackgan++: Realistisk bildsyntes med staplade generativa motståndarnätverk. , 41(8):1947–1962, 2018. IEEE transactions on pattern analysis and machine intelligence Zhu, M., Pan, P., Chen, W., and Yang, Y. Dm-gan: Dy- namic memory generative adversarial networks for text- to-image synthesis. In , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Sidan 5802–5810, 2019 A. Detaljer för Discrete VAE A.1. Architecture dVAE-kodaren och dekodern är konvolutionära (LeCun et al., 1998) ResNets (He et al., 2016) med bottleneck-stil resblocks. Modellerna använder huvudsakligen 3 × 3 convolutions, med 1 × 1 convolutions längs skip-anslutningar där antalet funktionskartor ändras mellan input och output av en resblock. Den första konvolutionen av kodaren är 7 × 7, och den sista konvolutionen av kodaren (som producerar 32 × 32 × 8192 utgången som används som logits för de kategoriska fördelningarna för bild tokens) är 1 × 1. Båda de första och sista konvolutionserna av dekodern är 1 × 1. Encoder använder max-pooling (vilket vi fann att ge bättre ELB-genomsnitt än pooling) för att nedmontera funktionsk A.2. Training The dVAE is trained on the same dataset as the transformer, using the data augmentation code given in Listing Flera mängder bryts ner under träning, som alla använder ett cosine schema: 1 1. The KL weight is increased from 0 to 6.6 over the first 5000 updates. (som Använd ett liknande schema baserat på sigmoidfunktionen. β Bowman et al. 2015 2. The relaxation temperature τ is annealed from 1 to 1/16 over the first 150,000 updates. Using a linear annealing schedule for this typically led to divergence. 3. The step size is annealed from 1 · 10−4 to 1.25 · 10−6 over 1,200,000 updates. Nedbrytningsscheman för avkopplingstemperatur och stegstorlek är särskilt viktiga för stabilitet och framgångsrik optimering. Vi uppdaterar parametrarna med AdamW (Loshchilov & Hutter, 2017) med β1 = 0,9, β2 = 0,999, = 10−8 och viktförfallsmultiplikator 10−4 . Vi använder exponentiellt vägda iterata medelvärden för parametrarna med sönderfallskoefficient 0.999. Rekonstruktionsbegreppet i ELB är en gemensam fördelning över 256 × 256 × 3 värden för bildpunkterna, och KL-begreppet är en gemensam fördelning över 32 × 32 positioner i rymdgridutgången av kodaren. Vi delar den totala förlusten med 256 × 256 × 3, så att vikten av KL-begreppet blir β/192, där β är KL-vikten. Modellen är utbildad i blandad precision standard (dvs. global förlustskalering på 64 16 GB A.3. The Logit-Laplace Distribution The 1 and 2 reconstruction objectives are commonly used when training VAEs. These objectives correspond to using Laplace and Gaussian distributions for ln ( Vänta i ekvationen Det finns en konstig missmatchning i detta modelleringsval: pixelvärden ligger inom ett begränsat intervall, men båda dessa fördelningar stöds av hela den verkliga linjen. l l pθ x och z 1 Vi presenterar en variant av Laplace-distributionen som också stöds av ett begränsat intervall. Detta löser avvikelsen mellan intervallet av de pixelvärden som modelleras och stödet för distributionen som används för att modellera dem. Vi överväger pdf-filen för den slumpmässiga variabeln som erhålls genom att tillämpa sigmoidfunktionen på en Laplace-distribuerad slumpmässig variabel. Denna pdf är definierad på (0*,* 1) och ges av we call it the Vi använder logaritmen i ekvationens RHS as the reconstruction term for the training objective of the dVAE. Logit-Laplace för distribution 2 Dekodern för dVAE producerar sex funktionskartor som representerar tillräcklig statistik för logit-Laplace-distributionen för RGB-kanalerna i bilden som rekonstrueras. parameter for the RGB channels, and the last three represent ln . Before feeding an image into the dVAE encoder, we transform its values using : [0*,* 255] → ( 1 − ), which is given by µ b ϕ ϵ, ϵ Detta begränsar intervallet av pixelvärden som ska modelleras av dVAE-dekodern till (*ε,* 1 *ε*), vilket undviker numeriska problem som härrör från *x*(1 *x*) i ekvation [2] (#_bookmark82). Vi använder *ε* = 0*.*1. För att rekonstruera en bild för manuell inspektion eller beräkningsmetrik ignorerar vi ln *b* och beräknar *x* ̈ = *φ*−1(sigmoid(*μ*)), där *μ* ges av de tre första funktionskartorna utdata av dVAE-dekodern.[11] (#_bookmark84) B. Detaljer för Transformers B.1. Architecture Our model is a decoder-only sparse transformer of the same kind described in (som ), with broadcasted row and column embeddings for the part of the context for the image tokens. A complete description of the embedding scheme used in our model is shown in Figure . We use 64 attention layers, each of which uses 62 attention heads with a per-head state size of 64. Barn och al. 2019 10 The model uses three kinds of sparse attention masks, which we show in Figure 11. The convolutional attention mask (Figure 11(d)) is only used in the last self-attention layer. Otherwise, given the index i of a self-attention layer (with i ∈ [1, 63]), we use the column attention mask (Figure 11(c)) if i − 2 mod 4 = 0, and row attention otherwise. E.g., the first four self-attention layers use “row, column, row, row”, respectively. With the exception of the convolutional attention mask, which we found to provide a small boost in performance over the row and dense causal attention masks when used in the final self-attention layer, this is the same configuration used in (som ). Barn och al. 2019 B. 2 Utbildning When training the transformer, we apply data augmentation to the images before encoding them using the dVAE encoder. We use slightly different augmentations from the ones used to train the dVAE; the code used for this is given in Listing . We also apply 10% BPE dropout when BPE-encoding the captions for training. The model is trained using per-resblock scaling (see Section ) och gradientkompression (se avsnitt ) with total compression rank 896 (so that each GPU uses a compression rank of 112 for its parameter shards). As shown in Table Detta resulterar i en kompressionshastighet på ca 86%, som vi analyserar i avsnittet . 2 2.4 2.5 1 E.1 We update the parameters using AdamW with *β*1 = 0*.*9, *β*2 = 0*.*96, *ϵ* = 10−8, and weight decay multiplier 4*.*5 10−2. We clip the decompressed gradients by norm using a threshold of 4, prior to applying the Adam update. Gradient clipping is only triggered during the warm-up phase at the start of training. To conserve memory, most Adam moments (see Section [D](#_bookmark89) for details) are stored in 16-bit formats, with a 1-6-9 format for the running mean (i.e., 1 bit for the sign, 6 bits for the exponent, and 9 bits for the significand), and a 0-6-10 format for the running variance. We clip the estimate for running variance by value to 5 before it is used to update the parameters or moments. Finally, we apply exponentially weighted iterate averaging by asynchronously copying the model parameters from the GPU to the CPU once every 25 updates, using a decay coefficient of 0.99. Vi tränade modellen med 1024, 16 GB NVIDIA V100-GPU och en total batchstorlek på 1024, för totalt 430*000 uppdateringar. Vid träningsstart använde vi ett linjärt schema för att rampa upp stegstorleken till 4*.*5 10−4 över 5000 uppdateringar, och halverade stegstorleken varje gång träningsförlusten dök upp på platå. Vi gjorde detta totalt fem gånger, slutar träningen med en sista stegstorlek som var 32 gånger mindre än den ursprungliga. C. Detaljer för datainsamling In order to train the 12-billion parameter transformer, we created a dataset of a similar scale to JFT-300M by collecting 250 million text-image pairs from the internet. As described in Section Denna datasats innehåller Conceptual Captions, text-bildparen från Wikipedia och en filtrerad delmängd av YFCC100M. Vi använder en delmängd av text, bild och gemensamma text- och bildfilter som beskrivs i (som ) to construct this dataset. These filters include discarding instances whose captions are too short, are classified as non-English by the Python package cld3, or that consist primarily of boilerplate phrases such as “photographed on ”, where matches various formats for dates that we found in the data. We also discard instances whose images have aspect ratios not in [1*/ ,* 2]. If we were to use to very tall or wide images, then the square crops used during training would likely exclude objects mentioned in the caption. 2.3 Sharma et al. 2018 2 D. Riktlinjer för blandad precisionsutbildning The most challenging part of this project was getting the model to train in 16-bit precision past one billion parameters. We were able to do this after detecting for underflow in various parts of training, and revising the code to eliminate it. We developed a set of guidelines as a result of this process that we present here. 12 1. Vår modell använder 128 gradientskalor, en för var och en av dess resblock. 213, where är antalet data-parallella repliker (dvs. antalet GPU:er). I vår konfiguration multipliceras varje gradskala med 21*/*1000 vid varje parameteruppdatering Use per-resblock gradient scaling (Figure ) instead of standard loss scaling. 4 M M 4 whe√n __t__here are no nonfinite values for any parameter gradient in that resblock. Otherwise, we divide the grad scale by 2 and skip the update. We also disallow consecutive divisions of the same grad scale within a window of 125 updates. All grad scales are clamped to the range \[*M* 27*, M* 224\] after being updated. Figure [12](#_bookmark91) shows the gradient scales in the early phase of training for a 2.8-billion parameter model. 2. I synnerhet lagra alla vinster, bias, inbäddningar och inbäddningar i 32-bitars precision, med 32-bitars gradienter (inklusive för fjärrkommunikation) och 32-bitars Adam-momenter. Vi inaktiverar gradientkomprimering för dessa parametrar (även om PowerSGD inte skulle vara meningsfullt för 1D-parametrar som vinster och inbäddningar). Logiterna för text- och bildtokens beräknas och lagras i 32-bitars precision. Vi fann att lagring av inbäddningarna i 16-bitars precision ibland orsakade avvikelser tidigt i optimering, och användningen av 16-bitars logiter resulterade i ett litet skifte i träningskurvan, så vi bytte till att använda 32-bit Only use 16-bit precision where it is really necessary for performance. 3. För data-parallell utbildning måste vi dela gradienterna med det totala antalet data-parallella arbetare . One way to do this is to divide the loss by the per-machine batch size, and then divide the parameter gradients by innan du summerar dem över maskinerna (med all-reducera). För att spara tid och utrymme, beräknas och lagras gradienterna vanligtvis med 16-bitars precision. är stor, kan denna uppdelning resultera i underflöde innan gradienterna summeras. Å andra sidan, om vi försöker summera gradienterna först och sedan dela dem senare, kan vi stöta på överflöde i all-reducera. Avoid underflow when dividing the gradient. M M M Our solution for this problem attempts to minimize the loss of information in the division prior to the all-reduce, without danger of overflow. To do this, we divide the loss by the overall batch size (which includes som en faktor) i stället för den per-maskin batchstorlek, och multiplicera gradientskalorna med för att kompensera, som beskrivs i (1). Sedan, före all-reduktionsoperationen, delar vi gradienterna med en konstant som ställdes in för hand för att undvika både underflöde och överflöde. Detta gjordes genom att inspektera histogram av exponenterna (dvs. bas-2 logaritmer) av de absoluta värdena för de skalära komponenterna i gradienterna per parameter. Eftersom gradientskalan håller gradienterna nära den högra änden av exponentområdet i 16-bitarsformatet fann vi att samma konstant fungerade bra för alla parametrar i modellen med 16-bitarsgradienter. När vi använde PowerSGD valde vi olika konstanter för och matrices. M M P Q E. Details for Distributed Optimization Vi använder PowerSGD ( , ) för att komprimera gradienterna med avseende på alla parametrar utom inbäddningar, inbäddningar, vinster och bias. , härleder vi ett uttryck för minskningen av mängden data som kommuniceras som en funktion av kompressionsklass och modellstorlek. , presenterar vi en detaljerad översikt över vår anpassning av PowerSGD, och de modifieringar vi var tvungna att göra för att fixa prestanda regressioner, varav vissa bara manifesterar sig på en miljard-parameter skala. Vogels et al. 2019 E.1 E.2 E.1. Bandwidth Analysis Gradientkomprimering använder faktoriseringen G ≈ P Qt, där P och Q båda har rang r. I stället för att använda en enda all-reduktion för att överföra G använder vi två mindre all-reduktioner för att överföra både P och Qt i följd. Därför är komprimeringsförhållandet summan av storlekarna på P- och Q-matriserna dividerat med summan av storlekarna på G-matriserna. Vi delar längs axel 1 för alla parametrar utom för den andra MLP-matrisen. Derivationen av komprimeringsförhållandet i vår konfiguration ges i tabell 2. Vi noterar att valet av shardaxlar ändrar komprimeringsförhållandet för MLP-matriserna. Slutligen utesluter denna analys inbäddningar, inbäddningar, vin E.2. genomförandedetaljer Vi beskriver steg i vår implementering av PowerSGD i detalj, eftersom dessa detaljer var avgörande för att få det att fungera effektivt och tillförlitligt på en miljardparametrar skala. Vår träningsinställning använder en kombination av parameter sharding och gradientkompression, som beskrivs i avsnittet . During backpropagation, while recomputing the activations and computing the gradients for the current resblock, we prefetch the parameters for the preceding resblock using all-gather. Once each GPU has computed the gradient with respect to a full parameter matrix, we compute the average of the slice of the gradient corresponding to the GPU’s parameter shard, and discard the full gradient immediately to conserve memory. This average is taken over all of the GPUs on a machine using reduce-scatter. 2.5 Om det inte finns några oändliga värden i resultatet av reduc-scatter (vilket kan orsakas av överflöd i backpropagation eller reduc-scatter), delar vi resultatet med resblocks gradientskala och lägger till det till felbuffern (dvs. buffern som används för felkorrigering). Annars gör vi ingenting och fortsätter med backpropagation; ett enda oändligt värde i gradienten innebär att hela uppdateringen kommer att hoppas, vilket händer cirka 5% av tiden. Lägga till gradienterna direkt till felbuffern undviker redundant tilldelning av en annan uppsättning buffertar av storlek lika med parameter shard gradienter. B2 för När redundans-scatter-operationerna för resblocket är klara schemalägger vi operationerna för att beräkna matriser från felbuffrarna och de matriser, vars värden är fasta i början av utbildningen (se avsnitt ). Both the och matrices are stored in 1-6-9 format and have their values scaled by predetermined constants, as discussed in Section . P Q 2.5 P Q D När varje GPU har beräknat matrices for the parameter shards in a resblock, they are averaged with the matriser från GPU: er med samma ordinal på alla andra maskiner, med hjälp av en enda, grupperad all-reducera operation. Denna all-reducera utförs i 1-6-9-format, med hjälp av en anpassad kärna. Gruppering resulterar i bättre bandbredd utnyttjande, eftersom det undviker att schemalägga många all-reducera samtal för mindre, enskilda parametrar, som var och en bär något överhuvud. Vi klämmer eventuella oändligheter i resultaten av all-reducera till det maximala värdet av 1-6-9-formatet (vilket är något mindre än 16), behåller tecknet. Med vårt val av skalningsfaktorer för and Matriser, denna klämning händer mycket sällan. P P P Q 5. × Once the all-reduce operation for the Matriserna för en resblock är klara, vi orthogonaliserar kolumnerna i de resulterande matriserna. Vi använder en anpassad Householder orthogonalization kernel istället för Gram-Schmidt, eftersom vi fann att den senare var numeriskt instabil. × Två för att säkerställa att resultatet inte är nära rank-deficit, där = 10−6 Här är × är en rektangulär matris av samma storlek som matris till vilken den läggs; den innehåller den identitetsmatris och har nollor någon annanstans. den ortogonaliserade matrices are stored in 1-6-9 format, but without scaling. P Jag är r P ϵ Im r P r r P 6. en gång matriser för en resblock har orthogonaliserats, vi schemalägger operationer för att beräkna den nya P Q matriser från felbuffrarna och den och matriser. P 7. en gång den nya matriser för en resblock har beräknats, vi schemalägger en annan grupperad all-reducera, liknande vad vi gjorde för matriser. Som i steg (4), klämmer vi alla oändligheter i resultaten av all-reducera till det maximala värdet av 1-6-9-formatet, behåller tecknet. och . Q P P Qt Gradienterna för alla parametrar som inte är komprimerade grupperas tillsammans i en enda, 32-bitars precision all-reducera. förklarar varför vi använder 32-bitars precision för dessa parametrar och deras gradienter. D 9. Once all GPUs on a machine have finished steps (7) and (8) for every resblock in the model, the values of the and matriser för samma parameter shard på alla maskiner kommer att vara identiska. Vi beräknar sedan den globala gradientnormen, som är summan av två kvantiteter: (a) summan av de kvadratiska Frobenius normerna av matrices over all of the parameter shards on a machine, and (b) the sum of the squared norms of the gradients for the parameter shards that do not use compression, taken over all such parameter shards on a machine. We need to compute this value for gradient clipping (see Section och ) P Q Q B2 för När vi beräknar den globala normen synkroniserar vi också informationen från steg (2) om vilken parameter shardgradient som innehöll oändliga värden efter reduc-scatter. Efter att ha gjort detta har vi två bitar av information för varje parameter shard: (a) om dess felbuffert från steg (2) innehåller oändliga värden på den aktuella GPU:en, och (b) om eller innehåller oändliga värden. Vi kan inte förlita oss på värdena för och matriser för att bestämma (b), eftersom vi klämmer in oändligheterna som beskrivs i steg (4). Om vi finner att gradienten i förhållande till någon parameterskärning på maskinen innehåller icke-ändliga värden, ställer vi den globala normen till oändlighet. P Q P Q När alla all-reduktioner har slutförts och den globala normen har beräknats kan vi tillämpa parameteruppdateringarna.Liksom backpropagation fortsätter parameteruppdateringarna resblock-by-resblock.Det första steget är att beräkna de dekomprimerade gradienterna genom att bilda produkten för alla parametrar i en given resblock. För att undvika överflöde beräknas dessa produkter med 32-bitars precision. Vi kan sedan tillämpa Adam-uppdateringen på parametrarna med hjälp av dekomprimerade gradienterna och den globala normen beräknad i steg (9). Om den globala normen inte är ändlig, hoppas uppdateringen till parametrarna och Adam-momenterna. Vi noterar att den dekomprimerade gradienten måste delas med skalan av Matrix (det är matris lagras utan skalning efter orthogonalisering). PQt Q P Det andra steget är att uppdatera till felbuffertarna. Först använder vi resultaten från steg (10) för att kontrollera om and matrisen för en given parameter shard innehåller endast ändliga värden. Om så är fallet, så delar vi den dekomprimerade gradienten med det totala antalet maskiner, och subtraherar den från det aktuella värdet för felbuffern. Detta ställer felbuffern till skillnaden mellan den "lokala" gradienten som är genomsnittlig över GPU: erna på maskinen med hjälp av reduc-scatter, och den "avlägsna" dekomprimerade gradienten (dvs. "felet"). eller innehåller obegränsade värden, så kontrollerar vi om felbuffern beräknad i steg (2) bara innehåller ändliga värden. Om den gör det, behåller vi dess värde och gör ingenting. Om den inte gör det, ställer vi det till noll. Syftet med denna tråkiga logik är att ställa in en felbuffert till noll endast när vi måste göra det, eftersom den har blivit förorenad med obegränsade värden. Vi fann att felbuffertar som ställs till noll för ofta av gradientskalande händelser leder till prestanda regressioner. P Q P Q Parameterdelarna vars gradienter inte är komprimerade uppdateras separat. Vi noterar också följande viktiga optimeringar: Det finns flera möjligheter för överlappning mellan beräkning och kommunikation i ovanstående steg.Till exempel, medan vi kör steg (2) för resblock , kan vi gå vidare till steg (3)–(8) för alla resblockeringar Att utnyttja möjligheter till överlappning är nödvändigt för att uppnå bra prestanda. i J > I Vi slänger ut specifika operationer som kan uttömma allt tillgängligt minne. Till exempel förslänger vi bara parametrarna från föregående resblock när redundans-scatter-operationerna är klara för den aktuella. Annars riskerar vi att minnet går ut genom att hålla fast vid alla parametrar. Vi slänger också Adam-uppdateringarna, så att vi inte dekomprimerar alla gradienterna på en gång. Det finns två platser i genomförandet där transpositionen spelar roll: (a) valet av shardaxeln för MLP-matriserna och (b) om vi beräknar den låga faktoriseringen för en gradient eller dess transposition. Anta att gradienten G är m × n och dess låga rangfaktorer P och Qt är m × r och r × n, respektive, med r m, n. För att göra orthogonalisering billigare transponerar vi G lämpligt så att m <= n. E1 för At first glance, it may seem like a limitation that the NCCL all-gather and reduce-scatter primitives shard along axis 0 only. We may need to transpose some matrices before and after communication operations because of (a) and (b), which would require additional time and potentially special care to avoid out-of-memory errors. In fact, we never actually needed to do this. This is because we stored some of the parameters in their transposed formats and exploited the transpose_a and transpose_b parameters of the matrix multiplication kernels used in forward propagation, backpropagation, and steps (1)–(13) above. This allowed us to avoid explicit transposition while retaining the freedom to choose how to handle (a) and (b). I steg (12) ovan noterar vi att inställningen av felbuffertar till noll för ofta kan orsaka prestandaåterfall. Vi ville undvika att göra detta när vi återupptar träning från en kontrollpunkt, vilket händer oftare för större jobb eftersom det är troligt att en maskin kommer att misslyckas periodiskt. Naivt skulle detta kräva att felbuffertarna laddas upp från alla maskinerna tillsammans med modellkontrollpunkterna. Eftersom vi använder totalt 128 maskiner för träning, skulle detta leda till 128 gånger större lagringsanvändning, vilket är extremt slöseri. Lyckligtvis är detta onödigt, eftersom felkorrigering endast beror på summan av felbuffertar. Denna egenskap följer av linjäritet och sekvensen av operationer som används av PowerSGD. Därför räcker det att lagra summan av felbuffertar som tas över alla GPU: er med samma ordinal. När vi återupptar från en kontrollpunkt kan vi dela felbuffertarna med det totala antalet maskiner och sända dem. F. Detaljer för mänskliga utvärderingsförsök Vi börjar med en lista med 1000 rubriker och genererar en provbild per modell per rubrik. Rubriker och provbilder används sedan för att skapa 1000 bildjämförelseuppgifter per experiment, som vi lämnade in till Amazon Mechanical Turk. Varje uppgift besvarades av fem olika arbetare. Arbetstagare ombads jämföra två bilder och svara på två frågor om dem: (1) vilken bild är mest realistisk och (2) vilken bild matchar bäst den delade rubriken. En arbetstagares svar diskvalificerades på grund av en hög grad av oenighet med andra arbetstagare i kombination med en snabb svarhastighet (med många inlämningstider under 4 sekunder); alla andra arbetstagares svar behölls. 13 G. Zero-Shot bild-till-bild översättning Figurer shows further examples of zero-shot image-to-image translation, which we discussed in Section . We did not anticipate that this capability would emerge, and made no modifications to the training procedure to encourage it. 14 3.3 Detta papper är licens enligt CC by 4.0 Deed (Attribution 4.0 International). Tillgänglig i Arkiv Detta papper är licens enligt CC by 4.0 Deed (Attribution 4.0 International). Tillgänglig i Arkiv