Výskumný dokument DALL·E: Generácia vysokokvalitných obrázkov bez použitia žiadnych školiacich štítkov

Autori : Aditya Ramesh Mikhail Pavlov Gabriel Goh Scott Gray Chelsea Voss Alec Radford Mark Chen Ilya Sutskever Autori : Aditya Rámesová Mikuláš Pavlov Gabriel Goh Scott Grayová Chelsea Vossová Alec Radfordová Mark Čen Ilya Sutskeverová Zero-Shot Text-to-Image Generácia 1. úvod Moderné prístupy strojového učenia k syntéze textu k obrazu - teza začala prácou (Súkromné ktorý ukázal, že táto (Súkromné ) generatívny model, keď je rozšírený na podmienku na obrázkových titulkoch, by mohol tiež generovať nové vizuálne scény. (Súkromné ) neskôr preukázal, že pomocou generatívnej nepriateľskej siete ( , , ), rather than a recurrent variational auto-encoder, improved image fidelity. (Súkromné Ukázalo sa, že tento systém môže nielen generovať objekty s rozpoznateľnými vlastnosťami, ale aj Generalizovať do držaných kategórií. Štefánik a al. 2015 Grécko et al. 2015 Reed a al. 2016b Dobrý deň a al. 2014 Reed a al. 2016b Nulová streľba Počas nasledujúcich niekoľkých rokov pokračoval pokrok pomocou kombinácie metód. Tieto zahŕňajú zlepšenie generatívnej modelárskej architektúry s modifikáciami, ako sú viaceré škály generátorov ( , , · , integrácia pozornosti a pomocné straty ( , , ), a využívanie ďalších zdrojov podmienených informácií okrem textu ( , , · , , · , , ) sa Ján a al. 2017 2018 Ján a Al. 2018 Reedová et al. 2016a Li a al. 2019 Koh a al. 2021 a samostatne, (Súkromné ) navrhnúť rámec založený na energii pre podmienenú generáciu obrazu, ktorý dosiahol veľké zlepšenie kvality vzorky v porovnaní s metódami kontemplácie pórov. Ich prístup môže zahŕňať predtrénované diskriminačné modely a ukazujú, že je schopný vykonávať generáciu textu na obrázok, keď sa aplikuje na model podpisu, ktorý bol predtrénovaný na MS-COCO. (Súkromné ) tiež navrhuje metódu, ktorá zahŕňa optimalizáciu vstupu do predtrénovaného cross-modálneho maskovaného jazykového modelu. (Súkromné Vzorky môžu stále trpieť závažnými artefaktmi, ako je objektové skreslenie, nelogické umiestnenie objektu alebo neprirodzené miešanie prvkov pozadia a pozadia. Ján a al. 2017 Cho a al 2020 Štefánik a al. 2015 Najnovšie pokroky poháňané veľkoobjemovými generatívnymi modelmi naznačujú možnú cestu k ďalším zlepšeniam. špecificky, pri výpočte, veľkosti modelov a dát sú škálované starostlivo, autoregresívne transformátory ( , , ) dosiahli pôsobivé výsledky v niekoľkých oblastiach, ako je text ( , , Obrázky ( , , ) a audio ( , , ) sa Štefanec et al. 2017 Radford a ďalší. 2019 Chen a al. 2020 Štefánik a al. 2020 Pre porovnanie, generovanie textu na obrázok bolo zvyčajne vyhodnotené na relatívne malých dátových súboroch, ako sú MS-COCO a CUB-200 ( , , Môže veľkosť dátového súboru a veľkosť modelu byť obmedzujúcim faktorom súčasných prístupov?V tejto práci demonštrujeme, že tréning 12 miliárd parametrických autoregresívnych transformátorov na 250 miliónoch párov obrázkov a textu zozbieraných z internetu má za následok flexibilný, vysoko verný generatívny model obrázkov ovládaných pomocou prirodzeného jazyka. Dobrý deň et al. 2010 Výsledný systém dosahuje vysokokvalitnú obrazovú generáciu na populárnej databáze MS-COCO , bez použitia žiadnej z tréningových štítkov. Uprednostňuje sa pred predchádzajúcou prácou vyškolenou na databáze ľudskými hodnotiteľmi 90% času. Zistili sme tiež, že je schopný vykonávať zložité úlohy, ako je preklad obrazu do obrazu na rudimentárnej úrovni. Toto predtým vyžadovalo vlastné prístupy ( , , ), skôr sa objavuje ako schopnosť jedného, veľkého generatívneho modelu. Nulová streľba Ostrovy et al. 2017 2. metóda Naším cieľom je vycvičiť transformátora (Vaswani et al., 2017) na autoregresívne modelovanie textových a obrazových tokenov ako jediného prúdu údajov. Avšak použitie pixelov priamo ako obrazových tokenov by vyžadovalo nadmerné množstvo pamäte pre obrázky s vysokým rozlíšením. Ciele pravdepodobnosti majú tendenciu uprednostňovať modelovanie krátkodobých závislostí medzi pixelmi (Salimans et al., 2017), takže veľká časť modelovacej kapacity by bola vynaložená na zachytávanie vysokofrekvenčných detailov namiesto nízkofrekvenčnej štruktúry, ktorá robí objekty vizuálne rozpoznateľnými pre nás. Tieto problémy riešime pomocou dvojstupňového školiaceho postupu, podobného (Oord et al., 2017; Razavi et al., 2019): Trénujeme diskrétny variácie auto-kodér (dVAE)1 komprimovať každý 256×256 RGB obraz do mriežky 32×32 obrazových tokenov, z ktorých každý prvok môže predpokladať 8192 možných hodnôt. • Stage 1. Pripájame až 256 BPE kódovaných textových tokenov s 32 × 32 = 1024 obrazovými tokenmi a trénujeme autoregresívny transformátor na modelovanie spoločnej distribúcie cez textové a obrazové tokeny • Stage 2. Celkový postup možno vnímať ako maximalizáciu dôkazu nižšieho limitu (ELB) (Kingma & Welling, 2013; Rezende et al., 2014) o spoločnej pravdepodobnosti rozdelenia modelu cez obrázky x, kapitoly y a tokeny z pre kódovaný RGB obraz. Modelujeme toto rozdelenie pomocou faktorizácie pθ,ψ(x, y, z) = pθ(x Átha y, z)pψ(y, z), ktorá prináša nižší limit Kde sa: • qφ označuje distribúciu cez 32 × 32 obrazové tokeny generované kódovačom dVAE daným obrazom RGB x 2 ; • pθ označuje distribúciu cez RGB obrazy generované dekodérom dVAE, ktorý dáva obrazové tokeny; a • pψ označuje spoločnú distribúciu cez textové a obrazové tokeny modelované transformátorom. Upozorňujeme, že zväzok drží len pre β = 1, zatiaľ čo v praxi sa nám zdá užitočné použiť väčšie hodnoty (Higgins et al., 2016). Prvá fáza: učenie sa vizuálnej kodek In the first stage of training, we maximize the ELB with respect to φ and θ, which corresponds to training a dVAE on the images alone. We set the initial prior pψ to the uniform categorical distribution over the K = 8192 codebook vectors, and qφ to be categorical distributions parameterized by the 8192 logits at the same spatial position in the 32×32 grid output by the encoder. The ELB now becomes difficult to optimize: as qψ is a discrete distribution, and we cannot use the reparameterization gradient to maximize it. Oord et al. (2017); Razavi et al. (2019) address this using an online cluster assignment procedure coupled with the straight-through estimator (Bengio et al., 2013). Namiesto toho používame relaxáciu gumbel-softmax (Jang et al., 2016; Maddison et al., 2016), nahradením očakávania nad qφ jedným nad q τ φ , kde relaxácia stúpa ako teplota τ → 0. Pravdepodobnosť pθ sa hodnotí pomocou rozdelenia log-laplace (pozri prílohu A.3 pre deriváciu). Uvoľnený ELB sa maximalizuje pomocou Adam (Kingma & Ba, 2014) s exponenciálne váženým iteratívnym priemerom. Príloha A.2 poskytuje úplný opis hyperparametrov, ale zistili sme, že nasledujúce sú obzvlášť dôležité pre stabilný tréning: • Specific annealing schedules for the relaxation temperature and step size. We found that annealing τ to 1/16 was sufficient to close the gap between the relaxed validation ELB and the true validation ELB with qφ intsead of q τ φ . • Použitie konvolúcií 1 × 1 na konci kódovača a na začiatku dekodéra. Zistili sme, že zníženie veľkosti recepčného poľa pre konvolúcie okolo relaxácie viedlo k tomu, že sa lepšie zovšeobecňuje na skutočný ELB • Množenie odchádzajúcich aktivácií z kódovača a dekodéra resblokov malou konštantou, aby sa zabezpečilo stabilné školenie pri inicializácii. Zistili sme tiež, že zvýšenie hmotnosti KL na β = 6,6 podporuje lepšie používanie kódovacích kníh a nakoniec vedie k menšej rekonštrukčnej chybe na konci tréningu.4 Druhá fáza: učenie sa predchádzajúceho V druhej fáze sme sa rozhodli a , a naučiť sa predchádzajúcu distribúciu cez textové a obrazové tokeny tým, že maximalizuje ELB vo vzťahu k a tu, je zastúpená 12 miliónmi parametrov sparse transformátora ( , , ) sa φ θ ψ pps Dieťa a al. 2019 Vzhľadom k tomu, text-obrázok pár, sme BPE-kódovanie ( , , ) nižšie uvedený titulok s použitím maximálne 256 tokenov s veľkosťou slovníka 16*,*384 a kódovanie obrazu pomocou 32 x 32 = 1024 tokenov s veľkosťou slovníka 8192. obrazové tokeny sa získavajú pomocou vzorkovania argmax z logitov kódovača dVAE, bez pridania hluku gumbel.[6](#_bookmark14) Nakoniec sú textové a obrazové tokeny zamieňané a modelované autoregresívne ako jediný prúd údajov. Sennrich a ďalší. 2015 5 Transformátor je model iba na dekódovanie, v ktorom sa každý token im-age môže pripojiť ku všetkým textovým tokenom v ktorejkoľvek zo svojich 64 vrstiev sebahodnotenia. Časť masiek pozornosti zodpovedajúcich pozornosti textu k textu je štandardná kauzálna maska a časť pozornosti obrazu k obrazu používa buď riadok, stĺpec alebo konvolučnú pozornosť. B1 → 7 Obmedzujeme dĺžku textového podpisu na 256 žetónov, hoci nie je úplne jasné, čo robiť pre "padding" pozície medzi posledným textovým žetónom a štartovým žetónom obrázka. Jednou z možností je nastaviť záznamy pre tieto tokeny na −∞ v operáciách sebahodnotenia. Namiesto toho sme sa rozhodli naučiť špeciálny padding token samostatne pre každú z 256 textových pozícií. Tento token sa používa len vtedy, keď nie je k dispozícii žiadny textový token. V predbežných experimentoch na koncepčných titulkoch (Sharma et al., 2018) sme zistili, že to viedlo k vyššej strate validácie, ale k lepšiemu výkonu na titulkoch mimo distribúcie. Normalizujeme krížové straty pre textové a obrazové tokeny celkovým počtom každého druhu v dávke údajov.Keďže nás predovšetkým zaujíma modelovanie obrazu, násobíme krížovú stratu pre text o 1/ / ,000 snímok na overenie a nenašli žiadne známky nadmerného zosúladenia pri konvergencii. 8 a krížová strata entropie pre obraz o 7 Cieľ je optimalizovaný pomocou Adam s exponenciálne váženým iteratívnym priemerom; Príloha B.2 podrobnejšie opisuje tréningový postup. B2 → 2.3 Zber údajov Naše predbežné experimenty pre modely až do 1,2 miliardy parametrov boli vykonané na Conceptual Captions, databáze 3,3 milióna textových a obrazových párov, ktorá bola vyvinutá ako rozšírenie MS-COCO ( , , ) sa Ľan a al. 2014 Pre škálovanie až do 12 miliárd parametrov sme vytvorili dátový súbor podobného rozsahu ako JFT-300M ( , , Z tohto dôvodu je potrebné zvážiť, že v tomto prípade nie je potrebná žiadna iná metóda, ktorá by mohla spôsobiť zlyhanie, ako je metóda COCO, ale je potrebné zistiť, či existuje iná metóda ako COCO ( , , Vzhľadom k tomu, že MS-COCO bol vytvorený z posledného, naše údaje o výcviku zahŕňajú zlomok MS-COCO overovacích obrázkov (ale žiadne z titulkov). a zistíte, že nemá významný vplyv na výsledky. Ďalšie podrobnosti o procese zhromažďovania údajov uvádzame v prílohe . Slnko a al. 2017 Tomáš a al. 2016 3 C 4.3 Precízne tréningy Aby sme ušetrili pamäť GPU a zvýšili priepustnosť, väčšina parametrov, okamihov Adama a aktivácií sa ukladajú s 16-bitovou presnosťou. Používame tiež kontrolu aktivácie a rekuperáciu aktivácií v resblockoch počas spätného prechodu. Veríme, že koreňovou príčinou tejto nestability je nedostatok prúdu v 16-bitových gradientoch. predstavuje súbor usmernení, ktoré sme vyvinuli, aby sme sa vyhli podplyneniu pri výcviku generatívnych modelov vo veľkom meradle. D Podobne ako predchádzajúca práca ( , , Zistili sme, že normy aktivačných gradientov z resblokov sa monotónne zvyšujú, keď sa pohybujeme od skorších resblokov k neskorším. Keďže sa model robí hlbším a širším, skutočné exponenty aktivačných gradientov pre neskoršie res-bloky môžu klesnúť pod minimálny exponent 16-bitového formátu. Zistili sme, že odstránenie odtoku umožnilo stabilný tréning na konvergenciu. Liu a al. 2020 8 Podprsenka Štandardná škála strát ( , , ) je schopný vyhnúť sa podplyneniu, keď rozsah roztiahnutý najmenšími a najväčšími gradientmi aktivácie (v absolútnej hodnote) zapadá do exponentného rozsahu 16-bitového formátu.Na GPU NVIDIA V100 je tento exponentný rozsah špecifikovaný piatimi bitmi. Mikuláš a al. 2017 Naše riešenie, ktoré je znázornené na obrázku , zahŕňa použitie sadzobníka "gradientovej stupnice" pre každý resblock v modeli. Toto možno považovať za praktickú alternatívu k všeobecnejšej rámcovej práci pre zmiešané presné školenie nazývané Flexpoint ( , , ), s výhodou, že špecializované GPU kery nie sú potrebné. zistili sme, že (Súkromné ) nezávisle vyvinul podobný postup pre výcvik konštrukčných sietí v 4-bitovej presnosti. 4 Košík a al 2017 Slnko a al. 2020 5.2 Distribúcia optimalizácie Náš 12-miliardový parametrický model spotrebuje približne 24 GB pamäte pri ukladaní v 16-bitovej presnosti, čo prevyšuje pamäť 16 GB NVIDIA V100 GPU. , , Ako je znázornené na obrázku , parameter sharding nám umožňuje takmer úplne skryť latenciu komunikácie vnútri stroja tým, že sa prekrýva s výpočtovo náročnými operáciami. Babišová et al. 2019 5 Na klastre používanom na výcvik modelu je šírka pásma medzi strojmi oveľa nižšia ako šírka pásma medzi GPU na tom istom stroji. To spôsobuje, že náklady na prevádzku použité na priemerný gradient medzi strojmi (všetko znižuje) hlavnú fľašovú medzeru počas výcviku. , , ) sa Vtáčikovia et al. 2019 V našej implementácii každá GPU v stroji vypočíta faktory nízkeho stupňa pre svoje gradienty parametrických štrbín v závislosti od susedných GPU. Akonáhle sú vypočítané faktory nízkeho stupňa, každý stroj nastaví svoj chybový buffer na zvyšok medzi nekomprimovaným gradientom priemerom nad svojimi ôsmimi GPU (získaným z redukčného rozptylu) a dekomprimovaným gradientom získaným z faktorov nízkeho stupňa. 9 PowerSGD nahrádza veľkú komunikačnú operáciu pre nekomprimovaný gradient parametrov dvoma, oveľa menšími komunikačnými operáciami pre svoje nízke faktory. Pre daný typ kompresie r a dmodel veľkosti aktivácie transformátora je rýchlosť kompresie daná 1 − 5r/(8dmodel) (pozri prílohu E.1). Tabuľka 1 ukazuje, že môžeme dosiahnuť rýchlosť kompresie približne 85%, bez ohľadu na veľkosť modelu. v prílohe , popíšeme rôzne detaily, ktoré boli potrebné na to, aby PowerSGD fungoval dobre v rozsahu. E2 → • Úspora pamäte akumuláciou gradientu do nárazníkov chýb počas spätného šírenia, namiesto zlúčenia samostatných nárazníkov. • Minimalizácia prípadov, v ktorých vynecháme chybové rezervy (napr. v dôsledku nekonečných hodnôt, s ktorými sa stretávame počas spätného šírenia so zmiešanou presnosťou, alebo pri obnovení tréningu z kontrolného bodu). • Zlepšenie číselnej stability pomocou ortogonalizácie držiteľa domu namiesto Gram-Schmidta spolu s pridaním malého násobku matice identity do vstupu. • Vyhnite sa podplyneniu pomocou vlastného 16-bitového formátu plávajúceho bodu pre vyrovnávače chýb, ich nízke faktory a všetky komunikačné operácie, ktoré s nimi súvisia. Tiež sme našli teplý štartovací postup pre Matrix opísaný v (Súkromné ) byť zbytočné: dokázali sme dosiahnuť ekvivalentné výsledky fixáciou na náhodnú gausijskú maticu na začiatku tréningu a nikdy ju neaktualizovať. Q Vtáčikovia et al. 2019 Q 10 2.6 Vzorková generácia Podobné (Súkromné , prevrátenie vzoriek vytiahnutých z transformátora pomocou predtrénovaného kontrastného modelu ( , , Vzhľadom na titulok a dátum snímky, kontrastný model priradí skóre na základe toho, ako dobre sa obrázok zhoduje s titulkom. ukazuje účinok zvýšenia počtu vzoriek z ktorého vyberieme vrchol Tento proces možno považovať za druh jazykovo riadeného vyhľadávania ( , , ), a je tiež podobný pomocnému textovému obrazu, ktorý zodpovedá strate navrhnutej (Súkromné Ak nie je uvedené inak, všetky vzorky použité na získanie kvalitatívnych aj kvantitatívnych výsledkov sa získavajú bez zníženia teploty (t. j. = 1) (okrem obrázku ) a používať reranking s • 512 Rozprávky et al. 2019 Radford a ďalší. 2021 6 N k Andrej a al. 2017 Ján a Al. 2018 t 2 N 3 Experimenty 3.1 Kvantitatívne výsledky V tomto článku sa pozrieme na tri základné metódy, ktoré sa používajú pri liečbe rakoviny pľúc: ( , Zvláštne požiadavky ( , ), a DF-GAN ( , , ), the last of which reports the best Inception Score ( , ) and Fréchet Inception Distance ( , ) on MS-COCO. Figure kvalitatívne porovnáva sam- ples z nášho modelu s tými z predchádzajúcej práce. Ján a Al. 2018 Zhu et al. 2019 Tao et al. 2020 Salimans a al 2016 Štefanov a al. 2017 3 We also conduct a human evaluation similar to the one used in (Súkromné ) porovnať náš prístup k DF-GAN, ktorého výsledky sú znázornené na obrázku . Given a caption, the sample from our model receives the majority vote for better matching the caption 93% of the time. It also receives the majority vote for being more realistic 90% of the time. Koh a al. 2021 7 Figure (a) shows that our model also obtains an FID score on MS-COCO within 2 points of the best prior approach, despite having never been trained on the captions. Our training data incorporates a filtered subset of YFCC100M, and we found that it includes about 21% of the images in the MS-COCO validation set from a de-duplication procedure described in the next section. To isolate this effect, we compute the FID statistics for the validation set both with these images (solid lines) and without them (dashed lines), finding no significant change in the results. 9 Výcvik transformátora na tokeny z dVAE encoder nám umožňuje priradiť jeho modelovaciu kapacitu k nízkofrekvenčným informáciám, ktoré robia obrázky pre nás vizuálne recognisable. však, to tiež znevýhodňuje model, pretože ťažké kompresie znemožňuje produkovať vysokofrekvenčné detaily. (a) po aplikácii Gausského filtra s rôznym polomerom na validačné obrázky a vzorky z modelov. Náš prístup dosahuje najlepší FID o rozpätie približne 6 bodov s miernym rozmazaním polomerov 1. 9 Naše modelové ceny sú výrazne horšie na databáze CUB, pre ktorú existuje takmer 40-bodový rozdiel vo FID medzi naším modelom a predchádzajúcim prístupom (obrázok (b)). We found an 12% overlap rate for this dataset, and again ob- served no significant difference in the results after removing these images. We speculate that our zero-shot approach is less likely to compare favorably on specialized distributions such as CUB. We believe that fine-tuning is a promising direction for improvement, and leave this investigation to future work. Samples from our model for captions in this dataset are shown in Figure . 9 8 Finally, Figure (c) shows clear improvements in FID and IS for MS-COCO as the sample size used for reranking with the contrastive model is increased. This trend continues up to a sample size of 32, after which we observe diminishing returns 9 3.2. Data Overlap Analysis We used the deduplication procedure described in ( ) to determine which images to remove. For each validation image, we find the closest image in the training data using a contrastive model specifically trained for this task. We then sort the images in descending order by closeness to their nearest matches in the training data. After inspecting the results by hand, we determine the images to remove by manually selecting a conservative threshold designed to minimize the false negative rate. Radfordová a al 2021 3.3 Kvalitatívne zistenia We found that our model has the ability to generalize in ways that we did not originally anticipate. When given the caption “a tapir made of accordion...” (Figure ), the model appears to draw a tapir with an accordion for a body, or an accordion whose keyboard or bass are in the shape of a tapir’s trunk or legs. This suggests that it has developed a rudimentary ability to compose unusual concepts at high levels of abstraction. 2a Our model also appears to be capable of combinatorial gen- eralization, such as when rendering text (Figure ) or when probed on sentences like “an illustration of a baby hedgehog in a christmas sweater walking a dog” (Figure ). Prompts like the latter require the model to perform variable bind- ing ( , ; , Všimneme si však, že model na úlohe vykonáva nekonzistentne, niekedy kreslí obe zvieratá s vianočnými svetermi alebo kreslí jedného jedného menšieho jedného. 2b 2c Smolenský 1990 Greff et al. 2020 To a limited degree of reliability, we also find our model to be capable of zero-shot image-to-image translation controllable by natural language (Figure 2d). When the model is given the caption “the exact same cat on the top as a sketch at the bottom” and the top 15 × 32 part of the image token grid for a photo of a cat, it is able to draw a sketch of a similar looking cat on the bottom. This works with several other kinds of transformations, in- cluding image operations (e.g., changing the color of the image, converting it to grayscale, or flipping it upside-down) and style transfer (e.g., drawing the cat on a greeting card, a postage stamp, or a cell phone case). Some transformations, such as those that involve only changing the color of the animal, suggest that the model is capable of performing a rudimentary kind of object segmentation. We provide addi- tional examples of zero-shot image-to-image translation in Section . G 4. Conclusion Zistili sme, že škála môže viesť k zlepšeniu zovšeobecnenia, a to ako z hľadiska výkonu nulového nárazu v porovnaní s predchádzajúcimi prístupmi špecifickými pre doménu, tak z hľadiska rozsahu schopností, ktoré vyplývajú z jedného generatívneho modelu. uznanie We would like to thank Matthew Knight for reviewing the code release for this work, and Rewon Child, John Schul- man, Heewoo Jun, and Prafulla Dhariwal for helpful early feedback on the paper. We would also like to thank Jong Wook Kim for writing the PyTorch package for the con- trastive model described in ( ) že sme používali prevrátenie vzoriek z nášho modelu. Radford et al. 2019 References Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J., Devin, M., Ghemawat, S., Irving, G., Isard, M., et al. Tensorflow: Systém pre rozsiahle strojové učenie. ohľadu } 12th USENIX Symposium o dizajne operačných systémov { → , pp. 265–283, 2016. and implementation ( Osdi 16) Andreas, J., Klein, D., and Levine, S. Learning with latent language. , 2017. arXiv preprint arXiv:1711.00482 Bengio, Y., Léonard, N., and Courville, A. Estimating or propagating gradients through stochastic neurons for con- ditional computation. , 2013. arXiv preprint arXiv:1308.3432 Bowman, S. R., Vilnis, L., Vinyals, O., Dai, A. M., Joze- fowicz, R., and Bengio, S. Generating sentences from a continuous space. v roku 2015. arXiv predtlač arXiv:1511.06349 Chen, M., Radford, A., Child, R., Wu, J., Jun, H., Luan, D., and Sutskever, I. Generative pretraining from pixels. In , s. 1691–1703 PMLR, 2020 International Conference on Machine Learning Child, R., Gray, S., Radford, A., and Sutskever, I. Gen- erating long sequences with sparse transformers. , 2019. arXiv preprint arXiv:1904.10509 Cho, J., Lu, J., Schwenk, D., Hajishirzi, H., a Kemb- havi, A. X-lxmert: Maľovanie, titulky a odpovede na otázky s multi-modálnymi transformátormi. v roku 2020. arXiv preprint arXiv:2009.11278 Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., a Fei-Fei, L. Imagenet: A large-scale hierarchical image database. In , str. 248 až 255. Ieee, 2009 2009 IEEE conference on computer vision and pattern recognition Dhariwal, P., Jun, H., Payne, C., Kim, J. W., Radford, A., and Sutskever, I. Jukebox: A generative model for music. , 2020. predtlač arXiv arXiv:2005.00341 Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., a Ben- gio, Y. Generatívne nepriateľské siete. , 2014. arXiv predtlač arXiv:1406.2661 Greff, K., van Steenkiste, S., a Schmidhuber, J. O probléme viazania v umelých neurálnych sieťach. , 2020. arXiv preprint arXiv:2012.05208 Gregor, K., Danihelka, I., Graves, A., Rezende, D., and Wierstra, D. Draw: A recurrent neural network for im- age generation. In , pp. 1462–1471. PMLR, 2015. International Conference on Machine Learning He, K., Zhang, X., Ren, S., and Sun, J. Identity mappings in deep residual networks. In , pp. 630–645. Springer, 2016. Európska konferencia o počítačovom videní Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., and Hochreiter, S. Gans trained by a two time-scale update rule converge to a local nash equilibrium. , 2017. arXiv preprint arXiv:1706.08500 Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Mohamed, S., and Lerchner, A. beta- vae: Learning basic visual concepts with a constrained variational framework. 2016. Isola, P., Zhu, J.-Y., Zhou, T., a Efros, A. A. Preklad obrazu do obrazu s podmienenými nepriateľskými sieťami. , pp. 1125–1134, 2017. Proceedings of the IEEE conference on computer vi- sion and pattern recognition Jang, E., Gu, S., a Poole, B. Kategorická repa- rameterizácia s gumbel-softmax. v roku 2016. arXiv predtlač arXiv:1611.01144 Kingma, D. P. a Ba, J. Adam: Metóda stochastického optimalizácie. , 2014. arXiv preprint arXiv:1412.6980 Kingma, D. P. a Welling, M. Automatické kódovanie variabilných zátok. , 2013. arXiv predtlač arXiv:1312.6114 Koh, J. Y., Baldridge, J., Lee, H., and Yang, Y. Text-to- image generation grounded by fine-grained user attention. In , str. 237 až 246, 2021. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision Köster, U., Webb, T. J., Wang, X., Nassar, M., Bansal, A. K., Constable, W. H., Elibol, O. H., Gray, S., Hall, S., Hornof, L., et al. Flexpoint: An adaptive numerical format for efficient training of deep neural networks. , 2017. arXiv preprint arXiv:1711.02213 LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. Gradient- based learning applied to document recognition. , 86(11):2278–2324, 1998. Proceed- ings z IEEE Li, W., Zhang, P., Zhang, L., Huang, Q., He, X., Lyu, S., and Gao, J. Object-driven text-to-image synthesis via adversarial training. In , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition pp. 12174–12182, 2019. Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ra- manan, D., Dollár, P., and Zitnick, C. L. Microsoft coco: Common objects in context. In , pp. 740–755. Springer, 2014. Európska konferencia o počítačovom videní Liu, L., Liu, X., Gao, J., Chen, W., and Han, J. Understand- ing the difficulty of training transformers. v roku 2020. arXiv preprint arXiv:2004.08249 Loshchilov, I. a Hutter, F. Odlúčená hmotnosť rozkladu regu- larizácia. v roku 2017. arXiv preprint arXiv:1711.05101 Maddison, C. J., Mnih, A., a Teh, Y. W. Konkrétna distribúcia: Kontinuálne uvoľňovanie diskrétnych náhodných premenných. , 2016. arXiv predtlač arXiv:1611.00712 Mansimov, E., Parisotto, E., Ba, J. L., a Salakhutdinov, R. Generovanie obrázkov z titulkov s pozornosťou. v roku 2015. arXiv predtlač arXiv:1511.02793 Micikevicius, P., Narang, S., Alben, J., Diamos, G., Elsen, E., Garcia, D., Ginsburg, B., Houston, M., Kuchaiev, O., Venkatesh, G., et al. Zmiešané presné školenie. v roku 2017. arXiv predtlač arXiv:1710.03740 Nguyen, A., Clune, J., Bengio, Y., Dosovitskiy, A., and Yosinski, J. Plug & play generative networks: Condi- tional iterative generation of images in latent space. In , pp. 4467–4477, 2017. Konferencia IEEE o počítačovom videní a rozpoznávaní vzorov Oord, A. v. d., Vinyals, O., a Kavukcuoglu, K. Neu-ral diskrétne učenie reprezentácie. , 2017. arXiv preprint arXiv:1711.00937 Provilkov, I., Emelianenko, D., and Voita, E. Bpe-dropout: Simple and effective subword regularization. , 2019. arXiv preprint arXiv:1910.13267 Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., a Sutskever, I. Jazykové modely sú bez dozoru multitask učeníci. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., and Sutskever, I. Learning transferable visual models from natural language supervision. 2021. Rajbhandari, S., Rasley, J., Ruwase, O., and He, Y. Zero: Memory optimization towards training a trillion parame- ter models. , 2019. arXiv predtlač arXiv:1910.02054 Razavi, A., Oord, A. v. d., a Vinyals, O. Generovanie rozmanitých obrazov s vysokou vernosťou s vq-vae-2. v roku 2019. arXiv preprint arXiv:1906.00446 Reed, S., Akata, Z., Mohan, S., Tenka, S., Schiele, B., a Lee, H. Naučiť sa, čo a kde kresliť. , 2016a. arXiv predtlač arXiv:1610.02454 Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., and Lee, H. Generative adversarial text to image synthesis. In , pp. 1060–1069. PMLR, 2016b. Medzinárodná konferencia o strojovom učení Rezende, D. J., Mohamed, S., and Wierstra, D. Stochastic backpropagation and approximate inference in deep gen- erative models. In , pp. 1278–1286. PMLR, 2014. International conference on machine learning Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., a Chen, X. Zlepšené techniky pre tréning gans. v roku 2016. arXiv predtlač arXiv:1606.03498 Salimans, T., Karpathy, A., Chen, X., and Kingma, D. P. Pixelcnn++: Improving the pixelcnn with discretized lo- gistic mixture likelihood and other modifications. , 2017. arXiv preprint arXiv:1701.05517 Sennrich, R., Haddow, B., and Birch, A. Neural machine translation of rare words with subword units. , 2015. arXiv preprint arXiv:1508.07909 Sharma, P., Ding, N., Goodman, S., a Soricut, R. Konceptuálne názvy: Vyčistená, hyperonymizovaná obrazová databáza alt textu pre automatické podpísanie obrázkov. , str. 2556 – 2565, 2018 Proceedings of the 56th Annual Meeting of the Association for Compu- tational Linguistics (Volume 1: Long Papers) Smolensky, P. Tensor product variable binding and the representation of symbolic structures in connectionist systems. , 46 (1-2): 159–216, 1990 Artificial intelligence Sun, C., Shrivastava, A., Singh, S., a Gupta, A. Revízia neprimeranú účinnosť údajov v dobe hlbokého učenia. , pp. 843–852, 2017. Medzinárodná konferencia IEEE o počítačovom videní Sun, X., Wang, N., Chen, C.-Y., Ni, J., Agrawal, A., Cui, X., Venkataramani, S., El Maghraoui, K., Srinivasan, V. V., and Gopalakrishnan, K. Ultra-low precision 4-bit training of deep neural networks. , 33, 2020. Advances in Neural Information Processing Systems Tao, M., Tang, H., Wu, S., Sebe, N., Wu, F., and Jing, X.-Y. Df-gan: Deep fusion generative adversarial networks for text-to-image synthesis. , 2020. arXiv predtlač arXiv:2008.05865 Thomee, B., Shamma, D. A., Friedland, G., Elizalde, B., Ni, K., Poland, D., Borth, D., and Li, L.-J. Yfcc100m: The new data in multimedia research. , 59(2):64 – 73, 2016 Informácie o ACM Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. Attention is all you need. v roku 2017. arXiv preprint arXiv:1706.03762 Vogels, T., Karimireddy, S. P., and Jaggi, M. Powersgd: Practical low-rank gradient compression for distributed optimization. , 2019. arXiv predtlač arXiv:1905.13727 Welinder, P., Branson, S., Mita, T., Wah, C., Schroff, F., Belongie, S., and Perona, P. Caltech-ucsd birds 200. 2010. Xu, T., Zhang, P., Huang, Q., Zhang, H., Gan, Z., Huang, X., and He, X. Attngan: Fine-grained text to image gener- ation with attentional generative adversarial networks. In , str. 1316 – 1324, 2018 Proceedings of the IEEE conference on computer vision and pattern recognition Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., a Metaxas, D. N. Stackgan: Text na fotorealistickú syntézu obrazu so stohovanými generatívnymi nepriateľskými sieťami. , pp. 5907–5915, 2017. Proceedings of the IEEE international confer- ence on computer vision Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., a Metaxas, D. N. Stackgan++: Realistická syntéza obrazu so stohovanými generatívnymi nepriateľskými sieťami. , 41(8):1947 – 1962, 2018 IEEE transactions on pattern analysis and machine intelligence Zhu, M., Pan, P., Chen, W., and Yang, Y. Dm-gan: Dy- namic memory generative adversarial networks for text- to-image synthesis. In , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition pp. 5802–5810, 2019. A. Podrobnosti pre Diskrétne VAE A.1. Architecture The dVAE encoder and decoder are convolutional (LeCun et al., 1998) ResNets (He et al., 2016) with bottleneck-style resblocks. The models primarily use 3 × 3 convolutions, with 1 × 1 convolutions along skip connections in which the number of feature maps changes between the input and output of a resblock. The first convolution of the encoder is 7 × 7, and the last convolution of the encoder (which produces the 32 × 32 × 8192 output used as the logits for the categorical distributions for the image tokens) is 1 × 1. Both the first and last convolutions of the decoder are 1 × 1. The encoder uses max-pooling (which we found to yield better ELB than average-pooling) to downsample the feature maps, and the decoder uses nearest-neighbor upsampling. The precise details for the architectures are given in the files dvae/encoder.py and dvae/decoder.py of the code release. A.2. Training dVAE je vyškolený na tej istej databáze ako transformátor, pomocou kódu zväčšenia údajov uvedeného v zozname . Several quantities are decayed during training, all of which use a cosine schedule: 1 1. hmotnosť KL sa zvýšila z 0 na 6,6 počas prvých 5000 aktualizácií. ( ) use a similar schedule based on the sigmoid function. β Bowman et al. 2015 2. The relaxation temperature τ is annealed from 1 to 1/16 over the first 150,000 updates. Using a linear annealing schedule for this typically led to divergence. Veľkosť kroku sa zväčšuje z 1 · 10−4 na 1,25 · 10−6 cez 1 200 000 aktualizácií. The decay schedules for the relaxation temperature and the step size are especially important for stability and successful optimization. We update the parameters using AdamW (Loshchilov & Hutter, 2017) with β1 = 0.9, β2 = 0.999, = 10−8 , and weight decay multiplier 10−4 . We use exponentially weighted iterate averaging for the parameters with decay coefficient 0.999. The reconstruction term in the ELB is a joint distribution over the 256 × 256 × 3 values for the image pixels, and the KL term is a joint distribution over the 32 × 32 positions in the spatial grid output by the encoder. We divide the overall loss by 256 × 256 × 3, so that the weight of the KL term becomes β/192, where β is the KL weight. The model is trained in mixed-precision using standard (i.e., global) loss scaling on 64 16 GB NVIDIA V100 GPUs, with a per-GPU batch size of 8, resulting in a total batch size of 512. It is trained for a total of 3,000,000 updates. A.3. The Logit-Laplace Distribution na 1 and 2 reconstruction objectives are commonly used when training VAEs. These objectives correspond to using Laplace and Gaussian distributions for ln ( | a) v rovnici V tejto modelovacej voľbe existuje zvláštna nezhodu: hodnoty pixelov ležia v obmedzenom rozsahu, ale obe tieto distribúcie sú podporované celou reálnou čiarou. l l PTZ x y, z 1 Predstavujeme variant distribúcie Laplace, ktorý je podporovaný aj obmedzeným intervalom. Týmto sa vyrieši rozdiel medzi rozsahom modelovaných pixelových hodnôt a podporou distribúcie, ktorá sa používa na ich modelovanie. Zvažujeme pdf náhodnej premenné získanej aplikáciou sigmoidnej funkcie na náhodnú premennú distribuovanú Laplace. Tento pdf je definovaný na (0*,* 1) a je daný we call it the Používame logaritmus RHS rovnice ako termín rekonštrukcie pre vzdelávací cieľ dVAE. logit-Laplace distribution. 2 Dekodér dVAE produkuje šesť funkčných máp, ktoré predstavujú dostatočnú štatistiku distribúcie logit-Laplace pre RGB kanály rekonštruovaného obrazu. parameter pre RGB kanály a posledné tri predstavujú ln . Before feeding an image into the dVAE encoder, we transform its values using : [0*,* 255) → ( 1 - ), which is given by µ b ϕ a že, ϵ This restricts the range of the pixel values to be modeled by the dVAE decoder to (*ϵ,* 1 *ϵ*), which avoids numerical problems arising from the *x*(1 *x*) in Equation [2](#_bookmark82). We use *ϵ* = 0*.*1. To reconstruct an image for manual inspection or computing metrics, we ignore ln *b* and compute *x*ˆ = *ϕ*−1(sigmoid(*µ*)), where *µ* is given by the first three feature maps output by the dVAE decoder.[11](#_bookmark84) B. Details for Transformer B.1. Architecture Our model is a decoder-only sparse transformer of the same kind described in (Súkromné ), with broadcasted row and column embeddings for the part of the context for the image tokens. A complete description of the embedding scheme used in our model is shown in Figure Používame 64 vrstiev pozornosti, z ktorých každá používa 62 hláv pozornosti s veľkosťou stavu 64 na hlavu. Child et al. 2019 10 The model uses three kinds of sparse attention masks, which we show in Figure 11. The convolutional attention mask (Figure 11(d)) is only used in the last self-attention layer. Otherwise, given the index i of a self-attention layer (with i ∈ [1, 63]), we use the column attention mask (Figure 11(c)) if i − 2 mod 4 = 0, and row attention otherwise. E.g., the first four self-attention layers use “row, column, row, row”, respectively. With the exception of the convolutional attention mask, which we found to provide a small boost in performance over the row and dense causal attention masks when used in the final self-attention layer, this is the same configuration used in ( ) sa Child et al. 2019 B.2 Školenie When training the transformer, we apply data augmentation to the images before encoding them using the dVAE encoder. We use slightly different augmentations from the ones used to train the dVAE; the code used for this is given in Listing Používame tiež 10% BPE drop-out pri BPE-kódovaní titulkov pre tréning.Model je vyškolený pomocou škálovania na odpoveď (pozri sekciu ) a gradientná kompresia (pozri časť ) s celkovým stupňom kompresie 896 (tak, že každá GPU používa stupňom kompresie 112 pre svoje rozdelenie parametrov). , this results in a compression rate of about 86%, which we analyze in Section . 2 2.4 2.5 1 E1 → Parametre aktualizujeme pomocou AdamW s *β*1 = 0*.*9, *β*2 = 0*.*96, *ε* = 10−8, a multiplikátor dekompresie hmotnosti 4*.*5 10−2. Odstránime dekomprimované gradienty podľa normy s použitím prahovej hodnoty 4, pred aplikáciou aktualizácie Adam. Odstránenie gradientu sa spúšťa iba počas fázy zahrievania na začiatku tréningu. Na zachovanie pamäte sa väčšina Adamových momentov (pozri časť [D](#_bookmark89) pre podrobnosti) ukladá v 16-bitových formátoch, s formátom 1-6-9 pre bežiaci priemer (t.j. 1 bit pre znak, 6 bit pre exponenta a 9 bitov pre význam), a formát 0-6-10 pre bežiacu varianciu. We trained the model using 1024, 16 GB NVIDIA V100 GPUs and a total batch size of 1024, for a total of 430*,*000 updates. At the start of training, we use a linear schedule to ramp up the step size to 4*.*5 10−4 over 5000 updates, and halved the step size each time the training loss appeared to plateau. We did this a total of five times, ending training with a final step size that was 32 times smaller than the initial one. We reserved about 606*,*000 images for validation, and did not observe overfitting at any point during training. C. Podrobnosti o zhromažďovaní údajov Aby sme vycvičili 12 miliárd parametrov transformátora, vytvorili sme dátový súbor podobného rozsahu ako JFT-300M zhromažďovaním 250 miliónov textových a obrazových párov z internetu. , this dataset incorporates Conceptual Captions, the text-image pairs from Wikipedia, and a filtered subset of YFCC100M. We use a subset of the text, image, and joint text and image filters described in (Súkromné Tieto filtre zahŕňajú vynechanie inštancií, ktorých nadpisy sú príliš krátke, sú klasifikované ako neanglické balíkom Python cld3, alebo ktoré pozostávajú predovšetkým z fráz boilerplate, ako napríklad „fotografované na “, kde zodpovedá rôznym formátom dátumov, ktoré sme našli v údajoch. Ak by sme mali používať veľmi vysoké alebo široké obrázky, potom by štvorcové plodiny použité počas tréningu pravdepodobne vylúčili objekty uvedené v titulku. 2.3 Sharma et al. 2018 2 D. Guidelines for Mixed-Precision Training The most challenging part of this project was getting the model to train in 16-bit precision past one billion parameters. We were able to do this after detecting for underflow in various parts of training, and revising the code to eliminate it. We developed a set of guidelines as a result of this process that we present here. 12 1. Náš model používa 128 gradientových stupníc, po jednom pre každý z jeho resblokov. 213, where je počet dátových paralelných replík (t. j. počet GPU). V našom nastavení sa každá stupnica stupnice násobí 21*/*1000 pri každej aktualizácii parametrov Use per-resblock gradient scaling (Figure ) instead of standard loss scaling. 4 M M 4 whe√n __t__tu nie sú žiadne nekonečné hodnoty pre žiadny gradient parametrov v tomto resbloku. by 2 and skip the update. We also disallow consecutive divisions of the same grad scale within a window of 125 updates. All grad scales are clamped to the range \[*M* 27*, M* 224\] after being updated. Figure [12](#_bookmark91) shows the gradient scales in the early phase of training for a 2.8-billion parameter model. 2. In particular, store all gains, biases, embeddings, and unembeddings in 32-bit precision, with 32-bit gradients (including for remote communication) and 32-bit Adam moments. We disable gradient compression for these parameters (though PowerSGD would not make sense for 1D parameters like gains and biases). The logits for the text and image tokens are computed and stored in 32-bit precision. We found that storing the embeddings in 16-bit precision sometimes caused divergence early in optimization, and using 16-bit logits resulted in a small shift in the training curve, so we switched to use 32-bit precision out of an abundance of caution. Only use 16-bit precision where it is really necessary for performance. 3. Pre dátový paralelný výcvik je potrebné rozdeliť gradienty celkovým počtom dátových paralelných pracovníkov Jedným zo spôsobov, ako to urobiť, je rozdeliť stratu veľkosťou dávky na stroj a potom rozdeliť gradienty parametrov pred ich zhrnutím cez stroje (pomocou all-reduce). Aby sa ušetril čas a priestor, gradienty sa zvyčajne vypočítavajú a ukladajú s 16-bitovou presnosťou. is large, this division could result in underflow before the gradients are summed. On the other hand, if we attempt to sum the gradients first and then divide them later, we could encounter overflow in the all-reduce. Avoid underflow when dividing the gradient. M M M Our solution for this problem attempts to minimize the loss of information in the division prior to the all-reduce, without danger of overflow. To do this, we divide the loss by the overall batch size (which includes ako faktor) namiesto veľkosti batérie na stroj a násobte gradientové stupnice na kompenzáciu, ako je popísané v (1). Potom, pred operáciou all-redukcie, rozdelíme gradienty konštantou, ktorá bola nastavená ručne, aby sa zabránilo tak podtoku, ako aj nadtoku. To bolo vykonané kontrolou histogramov exponentov (t. j. base-2 logaritmy) absolútnych hodnôt skalárnych zložiek gradientov jednotlivých parametrov. Keďže gradientové škálovanie udržuje gradienty blízko pravého konca rozsahu exponentov 16-bitového formátu, zistili sme, že tá istá konštanta fungovala dobre pre všetky parametre v modeli s 16-bitovými gradientmi. Pri použití PowerSGD sme si vybrali rôzne konštanty pre and a matrice. M M P Q E. Podrobnosti o distribuovanej optimalizácii Používame PowerSGD ( , ) to compress the gradients with respect to all parameters except the embeddings, unembeddings, gains, and biases. In Section , odvodíme výraz pre zníženie množstva komunikovaných údajov ako funkciu stupňa kompresie a veľkosti modelu. , prezentujeme podrobný prehľad našej adaptácie PowerSGD a úprav, ktoré sme museli vykonať, aby sme opravili regresie výkonu, z ktorých niektoré sa prejavujú len v miliardovom meradle. Vogels et al. 2019 E1 → E2 → E.1. analýza šírky pásma Gradientná kompresia používa faktorizáciu G ≈ P Qt , kde P a Q majú obaja poradie r. Namiesto toho, aby sme použili jeden all-reduktor na prenos G, používame dva menšie all-reduktory na prenos oboch P a Qt v rade. Preto je kompresný pomer súčtom veľkostí matríc P a Q rozdelených súčtom veľkostí matríc G. Rozdeľujeme pozdĺž osi 1 pre všetky parametre okrem druhej matrice MLP. Výsledok kompresného pomeru v našom nastavení je uvedený v tabuľke 2. Upozorňujeme, že výber osí šarže mení kompresný pomer pre matrice MLP. Nakoniec táto analýza vylučuje vkladanie, oddelenie, zisky a predsudky, pre ktoré nepou E.2. Implementation Details Podrobne popisujeme kroky pri implementácii systému PowerSGD, pretože tieto detaily boli rozhodujúce pri jeho efektívnom a spoľahlivom fungovaní v miliardovom meradle. Naše nastavenie výcviku používa kombináciu štiepenia parametrov a kompresie gradientu, ako je popísané v časti Počas spätného šírenia, pri opätovnom výpočte aktivácií a výpočte gradientov pre aktuálny resblock, prefetchujeme parametre pre predchádzajúci resblock pomocou all-gather.Akonáhle každá GPU vypočítala gradient vo vzťahu k plnej parametrov matice, vypočítame priemerný diel gradientu zodpovedajúci parameterovému fragmentu GPU a okamžite vyhodíme celý gradient na zachovanie pamäte.Tento priemer sa berie na všetky GPU na stroji pomocou redukčného rozptylu. 2.5 Ak v dôsledku redukčného rozptylu nie sú žiadne nekonečné hodnoty (ktoré by mohli byť spôsobené pretečením v backpropagácii alebo v redukčnom rozptyle), výsledok rozdelíme gradientovou stupnicou resbloku a pridáme ho k chybovému bufferu (t. j. bufferu používanému na opravu chýb). V opačnom prípade nerobíme nič a pokračujeme v backpropagácii; jediná nekonečná hodnota v gradiente znamená, že celá aktualizácia bude vynechaná, čo sa stane približne 5% času. ; the larger exponent range ensures that this division does not result in underflow. Adding the gradients directly to the error buffers avoids redundantly allocating another set of buffers of size equal to the parameter shard gradients. B2 → Akonáhle sú operácie redukcie rozptylu pre resblock dokončené, naplánujeme operácie na výpočet matice z chybových bufferov a matice, ktorých hodnoty sú stanovené na začiatku školenia (pozri časť (Obe tieto a matrices are stored in 1-6-9 format and have their values scaled by predetermined constants, as discussed in Section . P Q 2.5 P Q D Potom, čo každá GPU vypočítala matice pre parameter fragmenty v resbloku, sú priemerom s matice z GPU s rovnakým ordinálom na všetkých ostatných strojoch, pomocou jednej, zoskupenej operácie all-redukcie. Toto all-redukcie sa vykonáva vo formáte 1-6-9 pomocou vlastného jadra. Zoskupenie má za následok lepšie využitie šírky pásma, pretože zabraňuje plánovaniu mnohých all-redukčných hovorov pre menšie, individuálne parametre, z ktorých každý nesie nejaký overhead. Akékoľvek nekonečnosti v výsledkoch all-redukcie upevňujeme na maximálnu hodnotu formátu 1-6-9 (čo je o niečo menej ako 16), pričom zachovávame znak. S našou voľbou faktorov škálovania pre a Matrixy, toto upchatie sa vyskytuje veľmi zriedkavo. P P P Q 5. × Po operácii all-reduce pre matice pre resblock sú hotové, ortogonalizujeme stĺpce výsledných matíc. Používame vlastné Householder orthogonalization kernel namiesto Gram-Schmidt, ako sme zistili, že táto je numericky nestabilná. × to s cieľom zabezpečiť, aby výsledok nebol blízko rank-deficit, kde = 10−6 tu × je obdĺžniková matica rovnakej veľkosti ako matrix, ku ktorému je pridaná; obsahuje matice identity a má nuly inde. orthogonalized Matice sú uložené vo formáte 1-6-9, ale bez škálovania. P Emej r P ϵ na r P R R R P 6. Once the matice pre resblock boli ortogonalizované, naplánujeme operácie na výpočet nového P Q Matice z chybových bufferov a a matrice. P 7. raz nový matice pre resblock boli vypočítané, naplánujeme ďalší zoskupený all-reduce, podobný tomu, čo sme urobili pre resblock matice. Ako v kroku (4), spájame všetky nekonečnosti v výsledkoch all-redukcie na maximálnu hodnotu formátu 1-6-9 a zachovávame znak. a . Q P P Qt Gradienty pre všetky parametre, ktoré nie sú stlačené, sú zoskupené do jedného, 32-bitového presného all-reduktora. vysvetľuje, prečo pre tieto parametre a ich gradienty používame 32-bitovú presnosť. D Po dokončení krokov (7) a (8) pre každý resblock v modeli, hodnoty and Matice pre rovnaký parameter na všetkých strojoch budú identické. potom vypočítajeme globálnu normu gradientu, ktorá je súčtom dvoch množstiev: (a) súčet štvorcových Frobeniusových noriem matrice nad všetkými parametrickými zlomkami na stroji a (b) súčet štvorcových noriem gradientov pre parametrické zlomky, ktoré nepoužívajú kompresiu, prevzaté nad všetkými takými parametrickými zlomkami na stroji. ) sa P Q Q B2 → 10. While computing the global norm, we also synchronize the information from step (2) about which parameter shard gradients contained nonfinite values after the reduce-scatter. After doing this, we have two pieces of information for each parameter shard: (a) whether its error buffer from step (2) contains nonfinite values on the current GPU, and (b) whether alebo contains nonfinite values. We cannot rely on the values of the a matice na určenie (b), pretože upevňujeme nekonečnosti, ako je popísané v kroku (4). Ak zistíme, že gradient vo vzťahu k akémukoľvek parameterovému fragmentu na stroji obsahuje nekonečné hodnoty, potom nastavíme globálnu normu na nekonečnosť. P Q P Q Po dokončení všetkých redukcií a vypočítaní globálnej normy môžeme použiť aktualizácie parametrov.Rovnako ako backpropagácia, aktualizácie parametrov pokračujú resblock-by-resblock.Prvým krokom je vypočítať dekomprimované gradienty vytvorením produktu pre všetky parametre v danom resbloku. Aby sa zabránilo preplneniu, tieto produkty sa vypočítajú s 32-bitovou presnosťou. Potom môžeme aplikovať aktualizáciu Adama na parametre pomocou dekomprimovaných gradientov a globálnej normy vypočítanej v kroku (9). Ak globálna norma nie je konečná, aktualizácia na parametre a Adamove momenty sa vynechá. Upozorňujeme, že dekomprimovaný gradient sa musí rozdeliť stupnicou Matrix (Matrix) je matice je uložená bez škálovania po orthogonalizácii). pkt Q P Druhým krokom je aktualizácia na vyrovnávacie hodnoty chýb. Po prvé, používame výsledky z kroku (10) na kontrolu, či a matice pre daný parameter shard obsahujú iba konečné hodnoty. Ak je to tak, potom dekomprimovaný gradient delíme celkovým počtom strojov a odpočítajme ho od aktuálnej hodnoty pre chybový buffer.Toto nastaví chybový buffer na rozdiel medzi „lokálnym“ gradientom priemerom nad GPU na stroji pomocou redukčného rozptylu a „vzdialeným“ dekomprimovaným gradientom (t. j. „erou“). alebo contains nonfinite values, then we check if the error buffer computed in step (2) contains only finite values. If it does, then we preserve its value and do nothing. If it does not, then we set it to zero. The purpose of this tedious logic is to set an error buffer to zero only when we must do so, because it has been contaminated with nonfinite values. We found that error buffers getting set to zero too frequently by gradient scaling events leads to performance regressions. P Q P Q 13. The parameter shards whose gradients are not compressed are updated separately. We also note the following important optimizations: 1. There are several opportunities for overlap between compute and communication in the above steps. For example, while we are running step (2) for resblock , môžeme prejsť na kroky (3)–(8) pre všetky resbloky Využívanie príležitostí pre prekrývanie je nevyhnutné na dosiahnutie dobrého výkonu. i J > I 2. rozptyľujeme špecifické operácie, ktoré môžu vyčerpať všetku dostupnú pamäť. Napríklad, rozptyľujeme parametre z predchádzajúceho resbloku len vtedy, keď sú pre aktuálny rozptyľovací operácie ukončené. V opačnom prípade riskujeme vyčerpanie pamäte tým, že sa držíme plných parametrov. 3. There are two places in the implementation where the transposition matters: (a) the choice of shard axis for the MLP matrices and (b) whether we compute the low-rank factorization for a gradient or its transpose. The former influences the bandwidth analysis, which we present in Section Predpokladajme, že gradient G je m × n a jeho nízke faktory P a Qt sú m × r a r × n, resp. s r m, n. Aby sa ortogonalizácia stala lacnejšou, transponujeme G primerane tak, aby m <= n. E1 → Na prvý pohľad sa to môže zdať ako obmedzenie, že NCCL all-zhromažďovanie a redukcia-rozptyľovanie primitivy rozdeliť pozdĺž osi 0 iba. Môžeme potrebovať transponovať niektoré matrice pred a po komunikačných operáciách kvôli (a) a (b), ktoré by vyžadovali dodatočný čas a potenciálne špeciálnu starostlivosť, aby sa zabránilo out-of-memory chyby. V skutočnosti sme nikdy skutočne museli urobiť to. To je preto, že sme uložili niektoré parametre v ich transponovaných formátoch a využili transpose_a a transpose_b parametre matrice násobenie jadier používaných v prednej propagácie, backpropagation, a kroky (1)-13) vyššie. To nám umožnilo vyhnúť explicit 4. In step (12) above, we note that setting the error buffers to zero too often can cause performance regressions. We wanted to avoid doing this when resuming training from a checkpoint, which happens more frequently for larger jobs as it is likely that a machine will periodically fail. Naively, this would require uploading the error buffers from all of the machines along with the model checkpoints. Since we use a total of 128 machines for training, this would lead to 128 times greater storage usage, which is extremely wasteful. Našťastie je to zbytočné, pretože korekcia chýb závisí len od súčtu chybových vyrovnávačov. Táto vlastnosť vyplýva z linearity a postupnosti operácií používaných PowerSGD. Preto stačí uložiť súčty chybových vyrovnávačov prijatých na všetkých GPU s rovnakým ordinálom. Keď obnovíme z kontrolného bodu, môžeme rozdeliť chybové vyrovnávače celkovým počtom strojov a vysielať ich. F. Podrobnosti o ľudských hodnotiacich pokusoch Začneme zoznamom 1000 titulkov a vytvoríme jeden vzorový obrázok na model na titulok. Názvy a vzorové obrázky sa potom používajú na vytvorenie 1000 úloh porovnania obrázkov na experiment, ktoré sme predložili spoločnosti Amazon Mechanical Turk. Na každú úlohu odpovedalo päť rôznych pracovníkov. Pracovníci boli požiadaní, aby porovnali dva obrázky a odpovedali na dve otázky o nich: (1) ktorý obrázok je najrealistickejší a (2) ktorý obrázok najlepšie zodpovedá zdieľanému titulku. Odpovede jedného pracovníka boli diskvalifikované z dôvodu vysokej miery nesúhlasu s ostatnými pracovníkmi v kombinácii s rýchlou rýchlosťou odpovede (s mnohými časmi predloženia menej ako 4 sekundy); všetky ostatné odpovede pracovníkov boli zachované. 13 G. Zero-Shot preklad obrazu do obrazu figúrka zobrazuje ďalšie príklady nulového prekladu obrazu do obrazu, ktoré sme diskutovali v sekcii Neočakávali sme, že sa táto schopnosť objaví, a neurobili sme žiadne zmeny vo výcvikovom postupe, aby sme ju povzbudili. 14 3.3 Tento dokument je k dispozícii v archíve pod licenciou CC by 4.0 Deed (Attribution 4.0 International). Tento dokument je k dispozícii v archíve pod licenciou CC by 4.0 Deed (Attribution 4.0 International).