DALL·E Research Paper: Hoge kwaliteit beeldgeneratie zonder gebruik van een van de trainingslabels

De auteurs: Aditya Ramesh Mikhail Pavlov Gabriel Goh Scott Gray Chelsea Voss Alec Radford Mark Chen Ilya Sutskever De auteurs: Aditya Ramses Michaël Pavlov Gabriël Goh door Scott Gray met Chelsea Voss van Alec Radford Mark Chen Ilja Sutskever Zero-Shot Text-to-Image generatie 1 Inleiding Moderne machine learning benaderingen van tekst tot beeld synthese begonnen met het werk van ( van Wie heeft aangetoond dat de ( van ) generatief model, wanneer uitgebreid tot conditie op afbeeldingen, zou ook nieuwe visuele scènes kunnen genereren. ( van ) later aangetoond dat het gebruik van een generatief adversariaal netwerk ( - het ), in plaats van een terugkerende variationele auto-encoder, verbeterde beeld betrouwbaarheid. ( van ) toonde aan dat dit systeem niet alleen objecten met herkenbare eigenschappen kon genereren, maar Generaliseren naar held-out categorieën. Mansjov et al. 2015 Griek en al. 2015 Reed et al. 2016b Goodfellow en al. 2014 Reed et al. 2016b 0 schoten In de loop van de komende jaren is de vooruitgang voortgezet met behulp van een combinatie van methoden. Deze omvatten het verbeteren van de generatieve modelarchitectuur met modificaties zoals multi-scale gen-erators ( - het • , integratie van aandacht en hulpverliezen ( - het ), en het benutten van aanvullende bronnen van conditionering informatie verder dan alleen tekst ( - het • - het • - het ) van Zhang en al. 2017 2018 Xu en al. 2018 Reed En van al. 2016A Li en al. 2019 Koh et al. 2021 van afzonderlijk, ( van ) stelt een op energie gebaseerd kader voor voorwaardelijke beeldgeneratie voor dat een grote verbetering van de steekproefkwaliteit heeft verkregen ten opzichte van contemporaire methoden. hun benadering kan vooraf getrainde discriminerende modellen opnemen, en ze tonen aan dat het in staat is om tekst-tot-beeldgeneratie uit te voeren wanneer het wordt toegepast op een op MS-COCO vooraf getraind ondertiteld model. ( van ) stelt ook een methode voor waarbij de input wordt geoptimaliseerd naar een vooraf getraind cross-modal gemaskeerd taalmodel. ( van Voorbeelden kunnen nog steeds last hebben van ernstige artefacten zoals objectverstoring, onlogische objectenplaatsing of onnatuurlijke vermenging van voorgrond- en achtergrondelementen. Nguyen et al. 2017 Cho En van al. 2020 Mansjov et al. 2015 Recente vooruitgang gevoed door grootschalige generatieve modellen suggereert een mogelijke route voor verdere verbeteringen. specifiek, wanneer de berekening, modelgrootte en gegevens worden geschaald zorgvuldig, autoregressieve transformatoren ( - het ) hebben indrukwekkende resultaten bereikt in verschillende domeinen zoals tekst ( - het De foto’s ( - het ) en audio ( - het ) van Vaswani et al. 2017 Radford en al. 2019 Chen en al. 2020 Dharma en al. 2020 In vergelijking hiermee is tekst-to-beeldgeneratie meestal geëvalueerd op relatief kleine datasets zoals MS-COCO en CUB-200 ( - het Kunnen datasetgrootte en modelgrootte de beperkende factor zijn van de huidige benaderingen?In dit werk tonen we aan dat het trainen van een 12 miljard parameter-ether autoregressieve transformator op 250 miljoen beeld-tekstparen verzameld van het internet resulteert in een flexibel, hoog-fideliteits generatief model van afbeeldingen dat via natuurlijke taal kan worden gecontroleerd. Welkom en al. 2010 Het resulterende systeem bereikt beeldgeneratie van hoge kwaliteit op de populaire MS-COCO-dataset , zonder gebruik te maken van een van de trainingslabels. Het is de voorkeur ten opzichte van voorafgaand werk getraind op de dataset door menselijke evaluatoren 90% van de tijd. We vinden ook dat het in staat is om complexe taken zoals beeld-op-beeldvertaling op een rudimentair niveau uit te voeren. - het ), eerder ontstaan als een mogelijkheid van een enkel, groot generatief model. 0 schoten Isola et al. 2017 2 De methode Ons doel is om een transformator (Vaswani et al., 2017) te trainen om de tekst- en beeldtokens autoregressief te modelleren als een enkele stroom van gegevens. Echter, het gebruik van pixels rechtstreeks als beeldtokens zou een buitensporige hoeveelheid geheugen vereisen voor hoge resolutie beelden. We behandelen deze problemen met behulp van een tweestapsopleidingsprocedure, vergelijkbaar met (Oord et al., 2017; Razavi et al., 2019): We trainen een discrete variationele auto-encoder (dVAE)1 om elk 256×256 RGB-beeld te comprimeren in een 32×32-grid van beeldtokens, waarvan elk element 8192 mogelijke waarden kan aannemen. • Stage 1. We verweven tot 256 BPE-gecodeerde teksttokens met de 32 × 32 = 1024 beeldtokens en trainen een autoregressieve transformator om de gezamenlijke distributie over de tekst- en beeldtokens te modelleren • Stage 2. De algemene procedure kan worden gezien als het maximaliseren van het bewijs lager bound (ELB) (Kingma & Welling, 2013; Rezende et al., 2014) op de gezamenlijke waarschijnlijkheid van de modelverdeling over afbeeldingen x, captions y, en de tokens z voor de gecodeerde RGB-afbeelding. Waar : qφ verwijst naar de distributie over de 32 × 32 beeldtokens gegenereerd door de dVAE-encoder gegeven de RGB-beeld x 2 ; • pθ verwijst naar de distributie over de RGB-beelden gegenereerd door de dVAE-decoder gegeven de beeld tokens; en • pψ geeft de gezamenlijke distributie over de door de transformator gemodelleerde tekst- en beeldtokens aan. Merk op dat de bundel alleen voor β = 1 vasthoudt, terwijl we in de praktijk het nuttig vinden om grotere waarden te gebruiken (Higgins et al., 2016). Stap één: het leren van het visuele codebook In de eerste fase van de training maximaliseren we de ELB met betrekking tot φ en θ, wat overeenkomt met het trainen van een dVAE op de afbeeldingen alleen. We stellen de initiële voorafgaande pψ in op de uniforme categorische distributie over de K = 8192 codebook vectoren, en qφ zijn categorische distributies geparameteriseerd door de 8192 logits op dezelfde ruimtelijke positie in de 32×32 grid output door de encoder. De ELB wordt nu moeilijk te optimaliseren: aangezien qψ een discrete distributie is en we de reparameterisatiegradiënt niet kunnen gebruiken om het te maximaliseren. Oord et al. (2017); Razavi et al. (2019) behandelen dit met behulp van een online cluster toewijzingsprocedure gekoppeld aan de We gebruiken in plaats daarvan de gumbel-softmax relaxatie (Jang et al., 2016; Maddison et al., 2016), het vervangen van de verwachting over qφ met een over q τ φ , waar de relaxatie strak wordt als de temperatuur τ → 0. De ontspannen ELB wordt geoptimaliseerd met Adam (Kingma & Ba, 2014) met exponentieel gewogen iteratieve gemiddelden. Bijlage A.2 geeft een volledige beschrijving van de hyperparameters, maar we vonden het volgende vooral belangrijk voor stabiele training: • Specifieke annuleringsschema's voor de ontspanningstemperatuur en stapgrootte.We vonden dat annulering τ tot 1/16 voldoende was om de kloof te sluiten tussen de ontspannen validatie ELB en de echte validatie ELB met qφ intsead van q τ φ . • Het gebruik van 1 × 1 convoluties aan het einde van de encoder en het begin van de decoder.We vonden dat het verminderen van de receptieve veldgrootte voor de convoluties rond de relaxatie leidde tot het beter generaliseren naar de echte ELB • Vermenigvuldiging van de uitgaande activeringen van de encoder en decoder resblocks met een kleine constante, om stabiele training bij initialisatie te garanderen. We ontdekten ook dat het verhogen van het KL-gewicht tot β = 6,6 een beter gebruik van codebooks bevordert en uiteindelijk leidt tot een kleinere reconstructiefout aan het einde van de training.4 Fase twee: het leren van het voorgaande In de tweede fase regelen we en , en leer de voorafgaande distributie over de tekst- en beeldtokens door de ELB te maximaliseren met betrekking tot En hier, is vertegenwoordigd door een 12 miljard parameter sparse transformer ( - het ) van φ θ ψ pps Kinderen en al. 2019 Met behulp van een tekst-beeldpaar, we BPE-coderen ( - het ) de ondertitel met een maximum van 256 tokens met woordenschatgrootte 16*,*384, en codeer het beeld met 32 x 32 = 1024 tokens met woordenschatgrootte 8192. De beeldtokens worden verkregen met behulp van argmax-sampling van de dVAE-encoderlogits, zonder enige gumbelgeluid toe te voegen.[6](#_bookmark14) Ten slotte worden de tekst- en beeldtokens verweven en autoregressief gemodelleerd als een enkele stroom gegevens. Sennrich et al. 2015 5 De transformator is een decoder-only model waarin elke im-age token kan voldoen aan alle tekst tokens in een van de 64 zelf-attentie lagen. Het deel van de aandachtmaskers dat overeenkomt met de tekst-op-tekst-opmerking is het standaard causale masker, en het deel voor de beeld-op-beeld-opmerking gebruikt een rij, kolom of convolutionele aandachtmasker. B.1 van 7 We beperken de lengte van een tekstondertitel tot 256 tokens, hoewel het niet helemaal duidelijk is wat te doen voor de "padding" posities tussen de laatste tekst token en de start-of-image token. Een optie is om de logits voor deze tokens in de self-attention-operaties op −∞ in te stellen. In plaats daarvan kiezen we ervoor om een speciale padding token afzonderlijk voor elk van de 256 tekstposities te leren. Deze token wordt alleen gebruikt wanneer er geen teksttoken beschikbaar zijn. In voorlopige experimenten op Conceptual Captions (Sharma et al., 2018), ontdekten we dat dit resulteerde in een hoger validatieverlies, maar betere prestaties op off-distribution-titels. We normaliseren de cross-entropy verliezen voor de tekst en beeld tokens door het totale aantal van elk type in een batch van gegevens. / ,000 afbeeldingen voor validatie, en geen tekenen van overmatiging bij convergentie gevonden. 8 en het kruis-entropieverlies voor het beeld door 7 Het doel is geoptimaliseerd met Adam met exponentieel gewogen iteratieve gemiddelde; Appendix B.2 beschrijft de trainingsprocedure in meer detail. B.2 van 2.3 Gegevensverzameling Onze voorlopige experimenten voor modellen tot 1,2 miljard parameters werden uitgevoerd op Conceptual Captions, een dataset van 3,3 miljoen tekst-afbeeldingsparen dat werd ontwikkeld als een uitbreiding van MS-COCO ( - het ) van Lin en al. 2014 Om tot 12 miljard parameters te scalen, creëerden we een dataset van een soortgelijke schaal als JFT-300M ( - het ) door het verzamelen van 250 miljoen tekst-afbeeldingsparen van het internet. Deze dataset omvat niet MS-COCO, maar omvat Conceptual Captions en een gefilterde subset van YFCC100M ( - het Aangezien MS-COCO is gemaakt uit de laatste, onze training gegevens bevatten een fractie van de MS-COCO validatie beelden (maar geen van de titels). en vindt dat het geen aanzienlijke invloed heeft op de resultaten.We geven nadere details over het gegevensverzamelingsproces in bijlage . Sun et al. 2017 Thomas en al. 2016 3 C 3.2 Mixed-precision training Om het GPU-geheugen te besparen en de doorvoer te vergroten, worden de meeste pa-rameters, Adam-momenten en activaties opgeslagen met 16-bits nauwkeurigheid.We gebruiken ook activatie-checkpointing en herberekenen de activaties binnen de resblocks tijdens de achteruitgang.Het krijgen van het model om te trainen in 16-bits precisie voorbij een miljard parameters, zonder afwijkingen, was het meest uitdagende deel van dit project. Wij geloven dat de oorzaak van deze instabiliteit onderstroom is in de 16-bits gradiënten. presenteert een reeks richtlijnen die we hebben ontwikkeld om onderstroming te voorkomen bij het trainen van grootschalige generatieve modellen. D Vergelijkbaar met vorige werkzaamheden ( - het We ontdekten dat de normen van de activeringsgradiënten van de resblocks monotoon verdwijnen naarmate we van de eerdere resblocks naar de latere bewegen. Naarmate het model dieper en breder wordt gemaakt, kunnen de ware exponenten van de activeringsgradiënten voor latere res-blokken onder de minimale exponent van het 16-bits formaat vallen. We ontdekten dat het elimineren van un-derflow een stabiele training naar convergentie mogelijk maakte. Liu et al. 2020 8 onderstroom Standaard verlies scalen ( - het ) is in staat om onderstroming te voorkomen wanneer het bereik dat wordt gespreid door de kleinste en grootste activatiegradiënten (in absolute waarde) binnen het exponentiebereik van het 16-bits formaat past. Op NVIDIA V100-GPU's wordt dit exponentiebereik gespecificeerd door vijf bits. Mickevicius en al. 2017 Onze oplossing, die wordt weergegeven in de figuur Dit kan worden gezien als een praktisch alternatief voor een meer algemeen kaderwerk voor gemengd-nauwkeurigheidstraining genaamd Flexpoint ( - het ), met het voordeel dat gespecialiseerde GPU-kernels niet nodig zijn. ( van ) had onafhankelijk een soortgelijke procedure ontwikkeld voor het trainen van con-volutionele netwerken in 4-bits nauwkeurigheid. 4 Koester En van al. 2017 Sun en al. 2020 2.5. gedistribueerde optimalisatie Onze 12 miljard parametermodel verbruikt ongeveer 24 GB geheugen wanneer opgeslagen in 16-bits nauwkeurigheid, wat groter is dan het geheugen van een 16 GB NVIDIA V100 GPU. - het Zoals weergegeven in de figuur , parameter sharding stelt ons in staat om de latentie van de communicatie binnen de machine bijna volledig te verbergen door het te overlappen met computerintensieve operaties. Raad van de Raad en al. 2019 5 Op de cluster die werd gebruikt om het model te trainen, is de bandbreedte tussen machines veel lager dan de bandbreedte tussen GPU's op dezelfde machine. Dit maakt de kosten van de operatie die wordt gebruikt om de gradiënt tussen de machines te gemiddeld (all-reduceren) de belangrijkste bottleneck tijdens de training. We konden deze kosten drastisch verminderen door de graden met behulp van PowerSGD ( - het ) van Vogels en al. 2019 In onze implementatie berekent elke GPU in een machine de lage rangfactoren voor de parameter shard gradiënten, afhankelijk van de naburige GPU's. Zodra de lage rangfactoren zijn berekend, stelt elke machine zijn foutbuffer op het residu tussen de ongecomprimeerde gradiënt gemiddeld over zijn acht GPU's (verworven uit reduc-scatter), en de gedecomprimeerde gradiënt verkregen uit de lage rangfactoren. 9 PowerSGD vervangt de grote communicatieoperatie voor een ongecomprimeerde parametergradiënt met twee, veel kleinere communicatieoperaties voor zijn lage rangfactoren. Voor een gegeven compressierang r en transformatoractivatiegrootte dmodel wordt de compressiepercentage gegeven door 1 − 5r/(8dmodel) (zie Bijlage E.1). Tabel 1 toont aan dat we een compressiepercentage van ongeveer 85% kunnen bereiken, ongeacht de modelgrootte. In bijlage , beschrijven we verschillende details die nodig waren om PowerSGD goed te laten presteren op schaal. E.2 van • geheugen besparen door de gradiënt te accumuleren in de foutbuffers tijdens backpropagatie, in plaats van afzonderlijke buffers samen te voegen. • Het minimaliseren van voorbeelden waarin we de foutbuffers nul hebben (bijv. als gevolg van onbegrensde waarden die worden geconfronteerd tijdens gemengde-nauwkeurige backpropagatie, of bij het hervatten van training vanuit een controlepunt). Verbetering van de numerieke stabiliteit door gebruik te maken van Householder orthogonalisatie in plaats van Gram-Schmidt, samen met de toevoeging van een klein multiplex van de identiteitsmatrix aan de input. • Vermijd onderstroming door gebruik te maken van een aangepast 16-bits drijvend puntformaat voor de foutbuffers, hun lage rangfactoren en de communicatie-operaties die ze omvatten. We hebben ook de warm-startprocedure voor de matrix described in ( van ) onnodig te zijn: we konden gelijkwaardige resultaten verkrijgen door naar een willekeurige Gaussiaanse matrix aan het begin van de training, en nooit bij te werken. Q Vogels en al. 2019 Q 10 2.6 Sample generatie Vergelijkbaar met ( van , we heranken de monsters die zijn getrokken uit de transformator met behulp van een vooraf getraind contrastmodel ( - het Gegeven een ondertitel en een candi-datum afbeelding, toewijst het contrastmodel een score op basis van hoe goed de afbeelding overeenkomt met de ondertitel. toont het effect van het verhogen van het aantal monsters Van waaruit we de top selecteren images. This process can be seen as a kind of language-guided search ( - het ), en is ook vergelijkbaar met de auxiliaire tekst-afbeelding matching verlies voorgesteld door ( van Tenzij anders vermeld, worden alle monsters die worden gebruikt voor zowel kwalitatieve als kwantitatieve resultaten verkregen zonder temperatuurvermindering (d.w.z. met behulp van = 1) (except for Figure ) en gebruik reranking met Het is 512. Rutte et al. 2019 Radford en al. 2021 6 N k Andreas en al. 2017 Xu en al. 2018 t 2 N 3. Experiments 3.1 Kwantitatieve resultaten We evaluate our model zero-shot by comparing it to three prior approaches: AttnGAN ( , ), DM- GAN ( , ) en DF-GAN ( , ), the last of which reports the best Inception Score ( - het ) en Fréchet Inception Distance ( , ) op MS-COCO. figuur kwalitatief vergelijkt sam- ples van ons model met die van eerdere werkzaamheden. Xu en al. 2018 Zhu et al. 2019 Tao en al. 2020 Salimans et al. 2016 Heusel et al. 2017 3 We voeren ook een menselijke evaluatie uit, vergelijkbaar met die welke wordt gebruikt in ( ) om onze benadering te vergelijken met DF-GAN, waarvan de resultaten worden getoond in Figuur Geef een ondertitel, de steekproef van ons model ontvangt de meerderheidsstemming voor beter overeenkomen met de ondertitel 93% van de tijd. Koh et al. 2021 7 Figuur (a) shows that our model also obtains an FID score on MS-COCO within 2 points of the best prior approach, despite having never been trained on the captions. Our training data incorporates a filtered subset of YFCC100M, and we found that it includes about 21% of the images in the MS-COCO validation set from a de-duplication procedure described in the next section. To isolate this effect, we compute the FID statistics for the validation set both with these images (solid lines) and without them (dashed lines), finding no significant change in the results. 9 Het trainen van de transformator op de tokens van de dVAE en-coder stelt ons in staat om zijn modelcapaciteit toe te wijzen aan de laagfrequente informatie die beelden visueel voor ons herkenbaar maakt. (a) na het toepassen van een Gaussian filter met variabele straal op zowel de validatie beelden en monsters van de modellen. Onze aanpak bereikt de beste FID door een marge van ongeveer 6 punten met een lichte blur van straal 1. De kloof tussen onze aanpak en anderen heeft de neiging te vergroten als de blur straal wordt verhoogd. We krijgen ook de hoogste IS wanneer de blur straal groter is dan of gelijk is aan twee. 9 Ons model tarieven aanzienlijk slechter op de CUB dataset, waarvoor er een bijna 40-punten kloof in FID tussen ons model en de toonaangevende voorgaande aanpak (Figuur (b)). We vonden een overlappercentage van 12% voor deze dataset, en opnieuw geen significant verschil in de resultaten na het verwijderen van deze afbeeldingen. We speculeren dat onze zero-shot benadering minder waarschijnlijk gunstig zal vergelijken op gespecialiseerde distributies zoals CUB. We geloven dat fine-tuning een veelbelovende richting is voor verbetering, en laten dit onderzoek voor toekomstig werk. . 9 8 Finally, Figure (c) shows clear improvements in FID and IS for MS-COCO as the sample size used for reranking with the contrastive model is increased. This trend continues up to a sample size of 32, after which we observe diminishing returns 9 3.2. Data Overlap Analysis We hebben de deduplicatieprocedure gebruikt die wordt beschreven in ( ) om te bepalen welke afbeeldingen te verwijderen. Voor elke validatie afbeelding vinden we het dichtstbijzijnde beeld in de trainingsgegevens met behulp van een contrasterend model dat speciaal voor deze taak is getraind. We sorteren vervolgens de afbeeldingen in neerwaartse volgorde op basis van de nabijheid van hun dichtstbijzijnde overeenkomsten in de trainingsgegevens. Radford et al. 2021 3.3. Qualitative Findings We found that our model has the ability to generalize in ways that we did not originally anticipate. When given the caption “a tapir made of accordion...” (Figure ), the model appears to draw a tapir with an accordion for a body, or an accordion whose keyboard or bass are in the shape of a tapir’s trunk or legs. This suggests that it has developed a rudimentary ability to compose unusual concepts at high levels of abstraction. 2a Our model also appears to be capable of combinatorial gen- eralization, such as when rendering text (Figure ) of wanneer onderzocht op zinnen zoals "een illustratie van een baby-haai in een kerstjager die een hond loopt" (Figuur De voorwaarden voor het uitvoeren van variabele bind-ing ( , ; , We merken echter op dat het model inconsistent werkt op de taak, soms het tekenen van beide dieren met kerstshirts, of het tekenen van een zeehond die een kleinere zeehond loopt. 2b 2c Smolensky 1990 Graaf en al. 2020 To a limited degree of reliability, we also find our model to be capable of zero-shot image-to-image translation controllable by natural language (Figure 2d). When the model is given the caption “the exact same cat on the top as a sketch at the bottom” and the top 15 × 32 part of the image token grid for a photo of a cat, it is able to draw a sketch of a similar looking cat on the bottom. This works with several other kinds of transformations, in- cluding image operations (e.g., changing the color of the image, converting it to grayscale, or flipping it upside-down) and style transfer (e.g., drawing the cat on a greeting card, a postage stamp, or a cell phone case). Some transformations, such as those that involve only changing the color of the animal, suggest that the model is capable of performing a rudimentary kind of object segmentation. We provide addi- tional examples of zero-shot image-to-image translation in Section . G 4. Conclusion We onderzoeken een eenvoudige aanpak voor tekst-tot-beeldgeneratie op basis van een autoregressieve transformator, wanneer deze op schaal wordt uitgevoerd. We vinden dat schaal kan leiden tot verbeterde generalisatie, zowel in termen van nul-schotprestaties ten opzichte van eerdere domeinspecifieke benaderingen, als in termen van het bereik van mogelijkheden dat voortkomt uit een enkel generatief model. Acknowledgements We willen Matthew Knight bedanken voor het beoordelen van de code release voor dit werk, en Rewon Child, John Schul-man, Heewoo Jun, en Prafulla Dhariwal voor nuttige vroege feedback op het papier. ( van ) that we used to rerank the samples from our model. Radford et al. 2019 References Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J., Devin, M., Ghemawat, S., Irving, G., Isard, M., et al. Tensorflow: Een systeem voor grootschalig machine learning. Het De 12th USENIX symposium on operating systems design { De , pp. 265–283, 2016. and implementation ( OSDI 16) Andreas, J., Klein, D. en Levine, S. Leren met latente taal. Het jaar 2017. arXiv preprint arXiv:1711.00482 Bengio, Y., Léonard, N., and Courville, A. Estimating or propagating gradients through stochastic neurons for con- ditional computation. , 2013. arXiv preprint arXiv:1308.3432 Bowman, S. R., Vilnis, L., Vinyals, O., Dai, A. M., Joze- fowicz, R., and Bengio, S. Generating sentences from a continuous space. In het jaar 2015. arXiv preprint arXiv:1511.06349 Chen, M., Radford, A., Child, R., Wu, J., Jun, H., Luan, D., and Sutskever, I. Generative pretraining from pixels. In , pp. 1691–1703. PMLR, 2020. Internationale conferentie machine learning Child, R., Gray, S., Radford, A., and Sutskever, I. Gen- erating long sequences with sparse transformers. , 2019. arXiv voorprint arXiv:1904.10509 Cho, J., Lu, J., Schwenk, D., Hajishirzi, H., and Kemb- havi, A. X-lxmert: Paint, caption and answer ques- tions with multi-modal transformers. In 2020 dus. arXiv preprint arXiv:2009.11278 Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., and Fei-Fei, L. Imagenet: A large-scale hierarchical image database. In , pp. 248–255. Ieee, 2009. 2009 IEEE conference on computer vision and pattern recognition Dhariwal, P., Jun, H., Payne, C., Kim, J. W., Radford, A., en Sutskever, I. Jukebox: Een generatief model voor muziek. , 2020. arXiv preprint arXiv:2005.00341 Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Ben- gio, Y. Generative adversarial networks. , 2014. arXiv preprint arXiv:1406.2661 Greff, K., van Steenkiste, S., and Schmidhuber, J. On the binding problem in artificial neural networks. , 2020. arXiv vooruitdrukking arXiv:2012.05208 Gregor, K., Danihelka, I., Graves, A., Rezende, D., and Wierstra, D. Draw: A recurrent neural network for im- age generation. In , pp. 1462–1471. PMLR, 2015. International Conference on Machine Learning He, K., Zhang, X., Ren, S., and Sun, J. Identity mappings in deep residual networks. In , pagina 630-645 Springer, 2016 European conference on computer vision Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., en Hochreiter, S. Gans getraind door een twee tijdschaal update regel convergeert tot een lokale nash evenwicht. , 2017. arXiv preprint arXiv:1706.08500 Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Mohamed, S., and Lerchner, A. beta- vae: Learning basic visual concepts with a constrained variational framework. 2016. Isola, P., Zhu, J.-Y., Zhou, T., and Efros, A. A. Image-to- image translation with conditional adversarial networks. In , pp. 1125–1134, 2017. Procedures van de IEEE-conferentie over computergebruik en patroonherkenning Jang, E., Gu, S., and Poole, B. Categorical repa- rameterization with gumbel-softmax. Het jaar 2016. arXiv preprint arXiv:1611.01144 Kingma, D. P. and Ba, J. Adam: A method for stochastic optimization. , 2014. arXiv voorprint arXiv:1412.6980 Kingma, D. P. en Welling, M. Auto-codering variationele bayes. , 2013. arXiv preprint arXiv:1312.6114 Koh, J. Y., Baldridge, J., Lee, H., en Yang, Y. Tekst-tot-afbeelding generatie geaard door fijn gegroeide gebruikers aandacht. , pp. 237–246, 2021. Procedures van de IEEE/CVF Winter Conference on Applications of Computer Vision Köster, U., Webb, T. J., Wang, X., Nassar, M., Bansal, A. K., Constable, W. H., Elibol, O. H., Gray, S., Hall, S., Hornof, L., et al. Flexpoint: An adaptive numerical format for efficient training of deep neural networks. , 2017. arXiv preprint arXiv:1711.02213 LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. Gradient- based learning applied to document recognition. , 86(11):2278 tot en met 2324, 1998. Proceed- ings of the IEEE Li, W., Zhang, P., Zhang, L., Huang, Q., He, X., Lyu, S., and Gao, J. Object-driven text-to-image synthesis via adversarial training. In , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition pagina 12174 tot en met 12182, 2019. Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ra- manan, D., Dollár, P., and Zitnick, C. L. Microsoft coco: Common objects in context. In , pp. 740–755. Springer, 2014. Europese conferentie Computer Vision Liu, L., Liu, X., Gao, J., Chen, W., and Han, J. Understand- ing the difficulty of training transformers. In 2020 dus. arXiv preprint arXiv:2004.08249 Loshchilov, I. and Hutter, F. Decoupled weight decay regu- larization. Het jaar 2017. arXiv voorprint arXiv:1711.05101 Maddison, C. J., Mnih, A., and Teh, Y. W. The concrete distribution: A continuous relaxation of discrete random variables. , 2016. arXiv preprint arXiv:1611.00712 Mansimov, E., Parisotto, E., Ba, J. L., en Salakhutdinov, R. Het genereren van afbeeldingen uit opschriften met aandacht. In het jaar 2015. arXiv preprint arXiv:1511.02793 Micikevicius, P., Narang, S., Alben, J., Diamos, G., Elsen, E., Garcia, D., Ginsburg, B., Houston, M., Kuchaiev, O., Venkatesh, G., et al. Mixed precision training. Het jaar 2017. arXiv preprint arXiv:1710.03740 Nguyen, A., Clune, J., Bengio, Y., Dosovitskiy, A., and Yosinski, J. Plug & play generative networks: Condi- tional iterative generation of images in latent space. In , pp. 4467–4477, 2017 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Oord, A. v. d., Vinyals, O., en Kavukcuoglu, K. Neu-al discreet vertegenwoordiging leren. Het jaar 2017. arXiv preprint arXiv:1711.00937 Provilkov, I., Emelianenko, D., en Voita, E. Bpe-dropout: eenvoudige en effectieve subwoordenregularisatie. in 2019. arXiv preprint arXiv:1910.13267 Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. Language models are unsupervised multitask learners. 2019. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., and Sutskever, I. Learning transferable visual models from natural language supervision. 2021. Rajbhandari, S., Rasley, J., Ruwase, O., and He, Y. Zero: Memory optimization towards training a trillion parame- ter models. , 2019. arXiv preprint arXiv:1910.02054 Razavi, A., Oord, A. v. d., and Vinyals, O. Generating diverse high-fidelity images with vq-vae-2. , 2019. arXiv preprint arXiv:1906.00446 Reed, S., Akata, Z., Mohan, S., Tenka, S., Schiele, B., and Lee, H. Learning what and where to draw. , 2016a. arXiv preprint arXiv:1610.02454 Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., and Lee, H. Generative adversarial text to image synthesis. In , pp. 1060–1069. PMLR, 2016b. International Conference on Machine Learning Rezende, D. J., Mohamed, S., en Wierstra, D. Stochastic backpropagation en geschatte inferentie in diepe gen-eratieve modellen. , pp. 1278–1286. PMLR, 2014. International conference on machine learning Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., and Chen, X. Improved techniques for training gans. , 2016. arXiv preprint arXiv:1606.03498 Salimans, T., Karpathy, A., Chen, X., and Kingma, D. P. Pixelcnn++: Improving the pixelcnn with discretized lo- gistic mixture likelihood and other modifications. , 2017. arXiv preprint arXiv:1701.05517 Sennrich, R., Haddow, B., and Birch, A. Neural machine translation of rare words with subword units. In het jaar 2015. arXiv preprint arXiv:1508.07909 Sharma, P., Ding, N., Goodman, S., en Soricut, R. Conceptuele aanduidingen: Een gereinigde, hypernimeerde, beeldalt-tekstdataset voor automatisch afbeelding ondertekenen. , pp. 2556– 2565, 2018. Procedures van de 56e Jaarvergadering van de Vereniging voor Computational Linguistics (Volume 1: Long Papers) Smolensky, P. Tensor product variabele binding en de representatie van symbolische structuren in connectivistische systemen. , 46(1-2):159–216, 1990. Artificial intelligence Sun, C., Shrivastava, A., Singh, S., and Gupta, A. Revisiting unreasonable effectiveness of data in deep learning era. In , pp. 843–852, 2017. Proceedings of the IEEE international conference on computer vision Sun, X., Wang, N., Chen, C.-Y., Ni, J., Agrawal, A., Cui, X., Venkataramani, S., El Maghraoui, K., Srinivasan, V. V., en Gopalakrishnan, K. Ultra-laag precisie 4-bits training van diepe neurale netwerken. , 33, 2020. Vooruitgang in neurale informatiesystemen Tao, M., Tang, H., Wu, S., Sebe, N., Wu, F., and Jing, X.-Y. Df-gan: Deep fusion generative adversarial networks for text-to-image synthesis. In 2020 dus. arXiv voorprint arXiv:2008.05865 Thomee, B., Shamma, D. A., Friedland, G., Elizalde, B., Ni, K., Poland, D., Borth, D., and Li, L.-J. Yfcc100m: The new data in multimedia research. , 59(2):64–73, 2016. Communications of the ACM Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., en Polosukhin, I. Aandacht is alles wat je nodig hebt. , 2017. arXiv preprint arXiv:1706.03762 Vogels, T., Karimireddy, S. P., and Jaggi, M. Powersgd: Practical low-rank gradient compression for distributed optimization. , 2019. arXiv preprint arXiv:1905.13727 Welinder, P., Branson, S., Mita, T., Wah, C., Schroff, F., Belongie, S., en Perona, P. Caltech-ucsd vogels 200. Xu, T., Zhang, P., Huang, Q., Zhang, H., Gan, Z., Huang, X., and He, X. Attngan: Fine-grained text to image gener- ation with attentional generative adversarial networks. In , pp. 1316–1324, 2018. Proceedings of the IEEE conference on computer vision and pattern recognition Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., and Metaxas, D. N. Stackgan: Text to photo-realistic image synthesis with stacked generative adversarial net- works. In , pp. 5907–5915, 2017. Proceedings of the IEEE international confer- ence on computer vision Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., and Metaxas, D. N. Stackgan++: Realistic image synthe- sis with stacked generative adversarial networks. , 41(8):1947–1962, 2018. IEEE transactions on pattern analysis and machine intelligence Zhu, M., Pan, P., Chen, W., and Yang, Y. Dm-gan: Dy- namic memory generative adversarial networks for text- to-image synthesis. In , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition pp. 5802–5810, 2019. A. Details for Discrete VAE A.1 De architectuur The dVAE encoder and decoder are convolutional (LeCun et al., 1998) ResNets (He et al., 2016) with bottleneck-style resblocks. The models primarily use 3 × 3 convolutions, with 1 × 1 convolutions along skip connections in which the number of feature maps changes between the input and output of a resblock. The first convolution of the encoder is 7 × 7, and the last convolution of the encoder (which produces the 32 × 32 × 8192 output used as the logits for the categorical distributions for the image tokens) is 1 × 1. Both the first and last convolutions of the decoder are 1 × 1. The encoder uses max-pooling (which we found to yield better ELB than average-pooling) to downsample the feature maps, and the decoder uses nearest-neighbor upsampling. The precise details for the architectures are given in the files dvae/encoder.py and dvae/decoder.py of the code release. A.2. Training The dVAE is trained on the same dataset as the transformer, using the data augmentation code given in Listing . Several quantities are decayed during training, all of which use a cosine schedule: 1 1. het gewicht is increased from 0 to 6.6 over the first 5000 updates. ( van ) use a similar schedule based on the sigmoid function. β Bowman et al. 2015 2. The relaxation temperature τ is annealed from 1 to 1/16 over the first 150,000 updates. Using a linear annealing schedule for this typically led to divergence. 3. The step size is annealed from 1 · 10−4 to 1.25 · 10−6 over 1,200,000 updates. De vervalschema's voor de ontspanningstemperatuur en de stapgrootte zijn vooral belangrijk voor stabiliteit en succesvolle optimalisatie. We updaten de parameters met AdamW (Loshchilov & Hutter, 2017) met β1 = 0,9, β2 = 0,999, = 10−8 en gewicht verval vermenigvuldiger 10−4 . We gebruiken exponentieel gewogen iterate gemiddelde voor de parameters met vervalcoëfficiënt 0.999. De reconstructie term in de ELB is een gezamenlijke distributie over de 256 × 256 × 3 waarden voor de afbeelding pixels, en de KL term is een gezamenlijke distributie over de 32 × 32 posities in de ruimtelijke grid output door de encoder. We verdelen het totale verlies door 256 × 256 × 3, zodat het gewicht van de KL term wordt β/192, waar β is het gewicht van KL. Het model wordt getraind in gemengde-nauwkeurigheid standaard (dat wil zeggen A.3. de Logit-Laplace distributie De 1 and 2 reconstruction objectives are commonly used when training VAEs. These objectives correspond to using Laplace and Gaussian distributions for ln ( Zieken ) in Equation , respectively. There is a strange mismatch in this modeling choice: pixel values lie within a bounded interval, but both of these distributions are supported by the entire real line. Hence, some amount of likelihood will be placed outside the admissible range of pixel values. l l pθ x en z 1 We present a variant of the Laplace distribution that is also supported by a bounded interval. This resolves the discrepancy between the range of the pixel values being modeled and the support of the distribution used to model them. We consider the pdf of the random variable obtained by applying the sigmoid function to a Laplace-distributed random variable. This pdf is defined on (0*,* 1) and is given by we call it the We gebruiken het logaritme van de RHS van de vergelijking as the reconstruction term for the training objective of the dVAE. Logit-Laplace distributie op de markt. 2 De decoder van de dVAE produceert zes functiekaarten die de voldoende statistieken van de logit-Laplace-distributie voor de RGB-kanalen van het te reconstrueren beeld vertegenwoordigen. parameter for the RGB channels, and the last three represent ln Voordat we een afbeelding in de dVAE-encoder voeren, transformeren we de waarden met behulp van : [0*,* 255) → ( 1 − ) die wordt gegeven door µ b ϕ ϵ, ϵ Dit beperkt het bereik van de pixelwaarden die door de dVAE-decoder moeten worden gemodelleerd tot (*ε,* 1 *ε*), wat numerieke problemen vermijdt die voortvloeien uit de *x*(1 *x*) in de vergelijking [2] (#_bookmark82). We gebruiken *ε* = 0*.*1. Om een afbeelding voor handmatige inspectie of berekeningsmetricen te reconstrueren, negeren we ln *b* en berekenen we *x* ̈ = *φ*−1(sigmoid(*μ*)), waarbij *μ* wordt gegeven door de eerste drie functiekaartenuitvoer door de dVAE-decoder.[11] (#_bookmark84) B. Details for Transformer B.1 De architectuur Our model is a decoder-only sparse transformer of the same kind described in ( van ), met uitgezonden rij en kolom embeddings voor het deel van de context voor de beeld tokens. Een volledige beschrijving van de embedding schema gebruikt in ons model wordt weergegeven in Figuur . We use 64 attention layers, each of which uses 62 attention heads with a per-head state size of 64. Kinderen en al. 2019 10 The model uses three kinds of sparse attention masks, which we show in Figure 11. The convolutional attention mask (Figure 11(d)) is only used in the last self-attention layer. Otherwise, given the index i of a self-attention layer (with i ∈ [1, 63]), we use the column attention mask (Figure 11(c)) if i − 2 mod 4 = 0, and row attention otherwise. E.g., the first four self-attention layers use “row, column, row, row”, respectively. With the exception of the convolutional attention mask, which we found to provide a small boost in performance over the row and dense causal attention masks when used in the final self-attention layer, this is the same configuration used in ( ). Kinderen en al. 2019 B. 2 Opleiding When training the transformer, we apply data augmentation to the images before encoding them using the dVAE encoder. We use slightly different augmentations from the ones used to train the dVAE; the code used for this is given in Listing We passen ook 10% BPE-drop-out toe bij het BPE-coderen van de titels voor training. ) and gradient compression (see Section ) met een totale compressieranglijst van 896 (zodat elke GPU een compressieranglijst van 112 gebruikt voor zijn parameterfragmenten). , this results in a compression rate of about 86%, which we analyze in Section . 2 2.4 2.5 1 E.1 We update the parameters using AdamW with *β*1 = 0*.*9, *β*2 = 0*.*96, *ϵ* = 10−8, and weight decay multiplier 4*.*5 10−2. We clip the decompressed gradients by norm using a threshold of 4, prior to applying the Adam update. Gradient clipping is only triggered during the warm-up phase at the start of training. To conserve memory, most Adam moments (see Section [D](#_bookmark89) for details) are stored in 16-bit formats, with a 1-6-9 format for the running mean (i.e., 1 bit for the sign, 6 bits for the exponent, and 9 bits for the significand), and a 0-6-10 format for the running variance. We clip the estimate for running variance by value to 5 before it is used to update the parameters or moments. Finally, we apply exponentially weighted iterate averaging by asynchronously copying the model parameters from the GPU to the CPU once every 25 updates, using a decay coefficient of 0.99. We trained the model using 1024, 16 GB NVIDIA V100 GPUs and a total batch size of 1024, for a total of 430*,*000 updates. At the start of training, we use a linear schedule to ramp up the step size to 4*.*5 10−4 over 5000 updates, and halved the step size each time the training loss appeared to plateau. We did this a total of five times, ending training with a final step size that was 32 times smaller than the initial one. We reserved about 606*,*000 images for validation, and did not observe overfitting at any point during training. C. Details voor gegevensverzameling Om de 12 miljard parametertransformator te trainen, creëerden we een dataset van een schaal die vergelijkbaar is met JFT-300M door 250 miljoen paar tekst-afbeeldingen van het internet te verzamelen. , this dataset incorporates Conceptual Captions, the text-image pairs from Wikipedia, and a filtered subset of YFCC100M. We use a subset of the text, image, and joint text and image filters described in ( ) to construct this dataset. These filters include discarding instances whose captions are too short, are classified as non-English by the Python package cld3, or that consist primarily of boilerplate phrases such as “photographed on ”, where matches various formats for dates that we found in the data. We also discard instances whose images have aspect ratios not in [1*/ Als we zouden gebruiken voor zeer hoge of brede afbeeldingen, dan de vierkante gewassen gebruikt tijdens de training zou waarschijnlijk uitsluiten objecten genoemd in de ondertitel. 2.3 Sharma et al. 2018 2 D. Richtlijnen voor mixed-precision training Het meest uitdagende deel van dit project was om het model in 16-bits nauwkeurigheid te trainen voorbij een miljard parameters.We konden dit doen na het detecteren van onderstromen in verschillende delen van de training en het herzien van de code om het te elimineren.We ontwikkelden een reeks richtlijnen als gevolg van dit proces dat we hier presenteren. 12 1. Ons model maakt gebruik van 128 gradiëntschalen, één voor elk van de resblocks. 213 waar is the number of data-parallel replicas (i.e., the number of GPUs). In our setup, each grad scale is multiplied by 21*/*1000 at every parameter update Use per-resblock gradient scaling (Figure ) instead of standard loss scaling. 4 M M 4 whe√n __t__hier zijn geen oneindige waarden voor een parametergradiënt in die resblock. anders delen we de grad-schaal We verbieden ook opeenvolgende divisies van dezelfde grad-schaal binnen een venster van 125 updates. Alle grad-schaalen worden na het bijwerken geklemd tot het bereik \[*M* 27*, M* 224\]. Figuur [12](#_bookmark91) toont de gradiënt-schaalen in de vroege fase van de training voor een parametermodel van 2,8 miljard. 2. In het bijzonder slaan we alle winsten, vooroordelen, embeddings en unembeddings in 32-bits nauwkeurigheid op, met 32-bits gradiënten (met inbegrip van voor afstandscommunicatie) en 32-bits Adam-momenten. We schakelen gradiëntcompressie voor deze parameters uit (hoewel PowerSGD geen zin zou hebben voor 1D-parameters zoals winsten en vooroordelen). De logits voor de tekst- en beeldtokens worden berekend en opgeslagen met 32-bits nauwkeurigheid. We ontdekten dat het opslaan van de embeddings in 16-bits nauwkeurigheid soms vroege afwijkingen in optimalisatie veroorzaakte en het gebruik van 16-bits logits resulteerde in een kleine verschuiving in de trainingscurve, dus Only use 16-bit precision where it is really necessary for performance. 3. Voor data-parallel training moeten we de gradiënten verdelen door het totale aantal data-parallel werknemers Een manier om dit te doen is om het verlies te verdelen door de batchgrootte per machine, en vervolgens de parametergradiënten te verdelen door voordat ze over de machines worden opgesomd (met behulp van all-reduce). Om tijd en ruimte te besparen, worden de gradiënten meestal berekend en opgeslagen met 16-bits nauwkeurigheid. is large, this division could result in underflow before the gradients are summed. On the other hand, if we attempt to sum the gradients first and then divide them later, we could encounter overflow in the all-reduce. Avoid underflow when dividing the gradient. M M M Onze oplossing voor dit probleem probeert het verlies van informatie in de divisie vóór de all-reduce te minimaliseren, zonder gevaar van overstroming. as a factor) rather than the per-machine batch size, and multiply the gradient scales by to compensate, as described in (1). Then, prior to the all-reduce operation, we divide the gradients by a constant that was tuned by hand to avoid both underflow and overflow. This was done by inspecting histograms of the exponents (i.e., base-2 logarithms) of the absolute values of the scalar components of the per-parameter gradients. Since the gradient scaling keeps the gradients close to right end of the exponent range of the 16-bit format, we found that the same constant worked well for all parameters in the model with 16-bit gradients. When using PowerSGD, we chose different constants for the en matrices. M M P Q E. Details for Distributed Optimization We gebruiken PowerSGD ( - het ) to compress the gradients with respect to all parameters except the embeddings, unembeddings, gains, and biases. In Section , we derive an expression for the reduction in the amount of data communicated as a function of the compression rank and model size. In Section , we present a detailed overview of our adaptation of PowerSGD, and the modifications we had to make in order to fix performance regressions, some of which only manifest at billion-parameter scale. Vogels en al. 2019 E1 van E.2 E.1 Bandbreedteanalyse Gradient compressie maakt gebruik van de factorisatie G ≈ P Qt , waarbij P en Q beide rang r. In plaats van een enkele all-reduce te gebruiken om G over te dragen, gebruiken we twee, kleinere all-reduces om zowel P als Qt opeenvolgend over te dragen. Daarom is de compressieverhouding de som van de groottes van de P- en Q-matrices gedeeld door de som van de groottes van de G-matrices. We splitsen de as 1 voor alle parameters behalve voor de tweede MLP-matrice. De derivatie van de compressieverhouding in onze setup wordt gegeven in Tabel 2. We merken op dat de keuze van shard-asses de compressieverhouding voor de MLP-matrices verandert. Ten slotte sluit deze analyse de E.2 Uitvoering Details We beschrijven de stappen in onze implementatie van PowerSGD in detail, omdat deze details van cruciaal belang waren om het op een miljardenparameterschaal efficiënt en betrouwbaar te laten werken. Onze training setup maakt gebruik van een combinatie van parameter sharding en gradiënt compressie, zoals beschreven in sectie . During backpropagation, while recomputing the activations and computing the gradients for the current resblock, we prefetch the parameters for the preceding resblock using all-gather. Once each GPU has computed the gradient with respect to a full parameter matrix, we compute the average of the slice of the gradient corresponding to the GPU’s parameter shard, and discard the full gradient immediately to conserve memory. This average is taken over all of the GPUs on a machine using reduce-scatter. 2.5 Als er geen oneindige waarden zijn in het resultaat van de reduc-scatter (die kunnen worden veroorzaakt door overstroming in backpropagatie of de reduc-scatter), delen we het resultaat door de gradiënt van de resblock en voegen we het toe aan de foutbuffer (dat wil zeggen de buffer die wordt gebruikt voor foutcorrectie). Anders doen we niets en gaan we door met backpropagatie; een enkele oneindige waarde in de gradient betekent dat de hele update wordt overgeslagen, wat ongeveer 5% van de tijd gebeurt. Het toevoegen van de gradiënten rechtstreeks aan de foutbuffers voorkomt redundant toewijzing van een andere set van buffers van grootte gelijk aan de parameter shard gradienten. B.2 Nadat de reduc-scatter-operaties voor de resblock zijn voltooid, plannen we de operaties om de matrices from the errors buffers and the matrices, waarvan de waarden aan het begin van de training worden vastgesteld (zie 2) Beide de en matrices worden opgeslagen in 1-6-9 formaat en hebben hun waarden schaald door vooraf bepaalde constanten, zoals besproken in Sectie . P Q 2.5 P Q D Nadat elke GPU de matrices voor de parameter fragmenten in een resblock, ze zijn gemiddeld met de matrices from the GPUs with the same ordinal on all other machines, using a single, grouped all-reduce operation. This all-reduce is carried out in the 1-6-9 format, using a custom kernel. The grouping results in better bandwidth utilization, since it avoids scheduling many all-reduce calls for smaller, individual parameters, each of which carries some overhead. We clamp any infinities in the results of the all-reduce to the maximum value of the 1-6-9 format (which is slightly less than 16), retaining the sign. With our choice of scaling factors for the en matrices, deze klemmen gebeurt zeer zelden. P P P Q 5. × Eenmaal de all-reduce-operatie voor de matrices voor een resblock zijn voltooid, we orthogonaliseren de kolommen van de resulterende matrices. We gebruiken een aangepaste Householder orthogonalisatie kernel in plaats van Gram-Schmidt, omdat we hebben gevonden dat de laatste numerieks onstabiel is. We voegen ook × to in order to ensure that the result is not near rank-deficient, where = 10−6. Here, × is een rechthoekige matrix van dezelfde grootte als de matrix waarop het is toegevoegd; het bevat de identiteitsmatrix en heeft nullen elders. matrices are stored in 1-6-9 format, but without scaling. P Ik heb r P ϵ in het r P R r P 6 Eenmaal matrices voor een resblock zijn orthogonaliseren, we plannen de operaties om de nieuwe P Q matrices van de foutbuffers en de matrices. P 7 Eenmaal de nieuwe matrices for a resblock have been computed, we schedule another grouped all-reduce, similar to what we did for the matrices. As in step (4), we clamp all infinities in the results of the all-reduce to the maximum value of the 1-6-9 format, retaining the sign. The error buffers for the resblock have now been decomposed into low-rank factors en . Q P P Qt De gradiënten voor alle parameters die niet worden gecomprimeerd, worden gegroepeerd in één, 32-bits precisie all-reduce. legt uit waarom we 32-bits nauwkeurigheid gebruiken voor deze parameters en hun gradiënten. D Zodra alle GPU's op een machine de stappen (7) en (8) voor elke resblock in het model hebben voltooid, worden de waarden van de en matrices voor dezelfde parameter shard op alle machines zullen identiek zijn. We berekenen vervolgens de globale gradiëntnorm, die de som van twee hoeveelheden is: (a) de som van de vierkante Frobenius-normen van de matrices over all of the parameter shards on a machine, and (b) the sum of the squared norms of the gradients for the parameter shards that do not use compression, taken over all such parameter shards on a machine. We need to compute this value for gradient clipping (see Section ) van P Q Q B.2 van Terwijl we de wereldwijde norm berekenen, synchroniseren we ook de informatie uit stap (2) over welke parameter shard gradiënten onbegrensde waarden bevatten na de reduc-scatter.Na dit te doen hebben we twee stukken informatie voor elke parameter shard: (a) of de foutbuffer van stap (2) onbegrensde waarden bevat op de huidige GPU, en (b) of of bevat oneindige waarden. We kunnen niet vertrouwen op de waarden van de en matrices to determine (b), since we clamp infinities as described in step (4). If we find that the gradient with respect to any parameter shard on the machine contains nonfinite values, then we set the global norm to infinity. P Q P Q Nadat alle all-reducties zijn voltooid en de wereldwijde norm is berekend, kunnen we de parameter-updates toepassen.Zoals backpropagatie, gaan de parameter-updates resblock-by-resblock.De eerste stap is om de gedecomprimeerde gradiënten te berekenen door het product te vormen voor alle parameters in een gegeven resblock. Om overstroming te voorkomen, worden deze producten berekend met 32-bits nauwkeurigheid. We kunnen vervolgens de Adam-update toepassen op de parameters met behulp van de gedecomprimeerde gradiënten en de wereldwijde norm berekend in stap (9). Als de wereldwijde norm niet eindig is, wordt de update naar parameters en Adam-momenten overgeslagen. We merken op dat de gedecomprimeerde gradiënt moet worden gedeeld door de schaal van de matrix (the matrix wordt opgeslagen zonder scaling na orthogonalisatie). PQT Q P De tweede stap is de update naar de foutbuffers.Eerst gebruiken we de resultaten van stap (10) om te controleren of de en matrices voor een gegeven parameter shard bevatten alleen eindige waarden. Als dit het geval is, dan delen we de gedecomprimeerde gradiënt door het totale aantal machines, en trekken het af van de huidige waarde voor de foutbuffer. Dit stelt de foutbuffer op het verschil tussen de "lokale" gradiënt gemiddeld over de GPU's op de machine met behulp van reduc-scatter, en de "afstands" gedecomprimeerde gradiënt (dwz de "fout"). of bevat oneindige waarden, dan controleren we of de foutbuffer berekend in stap (2) alleen eindige waarden bevat. Als het doet, dan behouden we zijn waarde en doen we niets. Als het niet doet, dan stellen we het op nul. Het doel van deze vervelende logica is om een foutbuffer op nul te stellen alleen als we dat moeten doen, omdat het is verontreinigd met oneindige waarden. We hebben ontdekt dat foutenbuffers die te vaak worden ingesteld op nul door gradiënt schaalgebeurtenissen leiden tot prestatie regressie. P Q P Q De parameterfragmenten waarvan de gradiënten niet zijn gecomprimeerd, worden afzonderlijk bijgewerkt. We merken ook de volgende belangrijke optimalisaties op: Er zijn verschillende mogelijkheden voor overlap tussen computing en communicatie in de bovenstaande stappen.Bijvoorbeeld, terwijl we stap (2) uitvoeren voor resblock , we can proceed to steps (3)–(8) for all resblocks Het benutten van overlappingsmogelijkheden is noodzakelijk om goede prestaties te bereiken. i J > I We gooien specifieke operaties die alle beschikbare geheugen kunnen uitputten.Bijvoorbeeld, we prefetch de parameters van de vorige resblock alleen wanneer de reduc-scatter operaties voor de huidige zijn voltooid. Anders lopen we het risico dat het geheugen uitvalt door vast te houden aan de volledige parameters. 3. There are two places in the implementation where the transposition matters: (a) the choice of shard axis for the MLP matrices and (b) whether we compute the low-rank factorization for a gradient or its transpose. The former influences the bandwidth analysis, which we present in Section . The latter influences the cost of the orthogonalization. Suppose that the gradient G is m × n and its low-rank factors P and Qt are m × r and r × n, respectively, with r m, n. To make orthogonalization cheaper, we transpose G appropriately so that m <= n. E1 van Op het eerste gezicht lijkt het misschien een beperking dat de NCCL all-gather en reduce-scatter primitives alleen langs as 0 scheuren. We moeten misschien enkele matrices voor en na communicatieoperaties transposeren vanwege (a) en (b), wat extra tijd en potentieel speciale zorg zou vereisen om fouten buiten het geheugen te voorkomen. In feite hadden we dit nooit echt nodig. Dit komt omdat we sommige van de parameters in hun transpose-formaten opslaan en de transpose_a en transpose_b-parameters van de matrixmultiplicatie-kernels exploiteerden die worden gebruikt in forward propagation, backpropagation en stappen (1)-13) hierboven. Dit stelde ons in staat om expliciete transpositie te vermijden terwijl we de vrijheid behouden om te kiezen hoe we (a) en ( In stap (12) hierboven merken we op dat het instellen van de foutbuffers tot nul te vaak prestatie regressie kan veroorzaken. We wilden dit vermijden bij het hervatten van training vanuit een checkpoint, wat vaker gebeurt voor grotere banen omdat het waarschijnlijk is dat een machine periodiek faalt. Naïef, dit zou het uploaden van de foutbuffers van alle machines samen met de model checkpoints vereisen. Aangezien we in totaal 128 machines voor training gebruiken, zou dit leiden tot 128 keer meer opslaggebruik, wat uiterst verspilling is. Gelukkig is dit niet nodig, omdat de foutcorrectie alleen afhankelijk is van de som van de foutbuffers. Deze eigenschap volgt uit de lineariteit en de volgorde van operaties die door PowerSGD worden gebruikt. Daarom volstaat het om de som van de foutbuffers op te slaan die over alle GPU's zijn genomen met hetzelfde ordinaal. Wanneer we vanuit een checkpoint opnieuw beginnen, kunnen we de foutbuffers verdelen door het totale aantal machines en ze uitzenden. F. Details for Human Evaluation Experiments We beginnen met een lijst van 1000 ondertitelingen en genereren één voorbeeldbeeldbeeld per model per ondertiteling. Ondertitelingen en voorbeeldbeelden worden vervolgens gebruikt om 1000 beeldvergelijkingstaken per experiment te maken, die we aan Amazon's Mechanical Turk hebben ingediend. Elke taak werd beantwoord door vijf verschillende werknemers. De antwoorden van één werknemer werden gediskwalificeerd vanwege een hoge mate van onenigheid met andere werknemers, gecombineerd met een snelle responssnelheid (met veel indientijden van minder dan 4 seconden); alle andere antwoorden van werknemers werden bewaard. 13 G. Zero-Shot Image-to-Image Translation Figuur toont verdere voorbeelden van zero-shot image-to-image vertaling, die we besproken in Section We hadden niet verwacht dat deze mogelijkheid zou verschijnen, en hebben geen wijzigingen aan de trainingsprocedure gedaan om het aan te moedigen. 14 3.3 Dit document is verkrijgbaar onder CC by 4.0 Deed (Attribution 4.0 International) licentie. Dit document is verkrijgbaar onder CC by 4.0 Deed (Attribution 4.0 International) licentie.