DALL·E Research Paper: High Quality Image Generation nang hindi gamitin ang anumang mga training label

ang mga author: Aditya Ramesh Mikhail Pavlov Gabriel Goh Scott Gray Chelsea Voss Alec Radford Mark Chen Ilya Sutskever ang mga author: Mga pahinang tumuturo sa pamamagitan ng Mikhail Pavlov si Gabriel Goh Si Scott Gray ang Mga pahinang tumuturo sa pamamagitan ng Alec Radford si Mark Chen Si Ilya Sutskever Mga pahinang tumuturo sa Text-to-Image 1. ang introduction Modern machine learning approaches sa text to image synthesis nagsimula sa trabaho ng (Ang Narinig ko sa kanya na ang drawing (Ang Ang generative model, kapag itinatag sa condition sa image captions, ay maaaring lumikha ng mga bagong visual scenes. (Ang (Idinirekta sa pamamagitan ng isang generative adversarial network) , ), sa halip ng isang recurrent variational auto-encoder, na-improved image fidelity. (Ang Nagpakita na ang sistema na ito ay maaaring hindi lamang lumikha ng mga objekto na may nakikita na mga katangian, ngunit din ay maaaring Pumunta sa mga kategorya. Ang mga tao at al. 2015 Si Greg at ang al. 2015 Ipinanganak ang al. 2016b Goodfellow et al. 2014 Ipinanganak ang al. ang 2016b ang shoot Over the next few years, progress continued using a combi- nation of methods. These include improving the generative model architecture with modifications like multi-scale gen- erators ( na ang sa pamamagitan ng , integrating attention at auxiliary losses ( na ang ), at gamitin ang mga sumusunod na mga sumber ng conditioning na impormasyon sa iba't ibang teksto ( na ang sa pamamagitan ng na ang sa pamamagitan ng na ang ang mga ito) Zhang et al. 2017 2018 Sino ang al. 2018 ang reed sa al. 2016 ang Si Li at si Al. 2019 sa pamamagitan ng al. 2021 sa mga separado, (Ang ) inihahanda ng isang energy-based framework para sa conditional image generation na nakuha ng isang malaking pagbutihin sa sample quality relating sa contem-porary methods. Ang kanilang pangangasiwa ay maaaring magkaroon ng pre-trained discriminative models, at sila ay nagpapakita na ito ay maaaring gawin text-to-image generation kapag ginamit sa isang subtitling model na pre-trained sa MS-COCO. More recently, (Ang Nag-aalok din ng isang paraan na naglalaman ng optimize- ing ang input sa isang pre-trained cross-modal masked language model. Habang ang mga pangunahing pag-unlad sa visual fidelity ay natagpuan bilang resulta ng trabaho mula noong (Ang ), ang mga sample ay maaaring masakit mula sa mga malubhang artefact tulad ng object distortion, illogical object placement, o unnatural blending ng background at background elements. Ang mga ito ay al. 2017 sa iyo sa al. 2020 Ang mga tao at al. 2015 Ang maliliit na negosyo sa mga sumusunod na sektor ay kinakailangan: pagproseso ng produktong agrikultural ( na ang ) ay nakuha ng impressive mga resulta sa ilang mga domain tulad ng teksto ( na ang Ang mga imahe kasama sa loob ng ( na ang ( sa pamamagitan ng audio) na ang ang mga ito) Ang mga ito ay al. 2017 Si Radford at al. 2019 Si Chen at si Al. 2020 Nagsimula ang pag-ibig et al. 2020 Para sa pagitan, ang pag-generate ng text-to-image ay karaniwang inilathala sa mga relatively maliit na dataset tulad ng MS-COCO at CUB-200 ( na ang Maaari ba ang size ng dataset at ang size ng modelo ay ang limitasyon na faktor ng mga kasalukuyang pag-unlad? Sa trabaho na ito, nag-demonstrate na ang pagsasanay ng isang 12 bilyong parameter auto-regressive transformer sa 250 milyong mga pares ng imahe-teksto na nakuha mula sa internet ay nagdudulot sa isang flexible, mataas na fidelity generative model ng imahe na kontrolado sa pamamagitan ng natural na wika. Salamat sa al. 2010 Ang resulta na sistema ay nagtatagumpay ng mataas na kalidad ng imahe sa popular na dataset ng MS-COCO Ang pag-aaral na ito ay nagsisimula sa pag-aaral ng mga mag-aaral ng mga mag-aaral ng mga mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ng mag-aaral ( na ang Ito ay ang pinaka-stereotypical paraan ng sekswal na panliligalig, ngunit din ang rarest. ang shoot Isa sa mga al. 2017 2 ang metriko Ang aming target ay magtraining isang transformer (Vaswani et al., 2017) upang auto-regressively model ang mga token ng teksto at larawan bilang isang single stream ng data. Gayunpaman, ang paggamit ng mga pixels direkta bilang mga token ng larawan ay nangangailangan ng isang karaniwang halaga ng memory para sa mga imahe ng mataas na resolusyon. Ang mga target ng probabilidad ay nagtatagumpay sa pag-modeling short-range dependencies sa pagitan ng mga pixels (Salimans et al., 2017), kaya ang karamihan ng kapasidad ng modeling ay ginagamit sa pagkuha ng mga detalye ng mataas na frequency sa halip ng low-frequency na gumagawa ng mga objekto na visual na nakikita sa amin. Ipinanganak namin ang mga problema na ito sa pamamagitan ng paggamit ng isang dalawang-stage training procedure, tulad ng (Oord et al., 2017; Razavi et al., 2019): Nagtrabaho namin ang isang diskret na variational autoencoder (dVAE)1 upang i-compress ang bawat 256×256 RGB na imahe sa isang 32×32 grid ng imahe tokens, ang bawat elemento ng kung saan ay maaaring magsisimula 8192 posible na mga halaga. • Stage 1. Nag-concatenate hanggang sa 256 BPE-coded text tokens sa 32 × 32 = 1024 image tokens, at magtrabaho ng isang autoregressive transformator upang model ang joint distribution sa pamamagitan ng text at image tokens • Stage 2. Ang pangkalahatang proseso ay maaaring makita bilang maximizing ang evidence lower bound (ELB) (Kingma & Welling, 2013; Rezende et al., 2014) sa joint probability ng model distribution sa pamamagitan ng mga imahe x, captions y, at ang tokens z para sa encoded RGB image. Kami modelin ang distribution na ito gamit ang factorization pθ,ψ(x, y, z) = pθ(x Átha y, z)pψ(y, z), na nagbibigay ang lower bound Nasaan ang: • qφ denotes ang paghahatid sa pamamagitan ng 32 × 32 image tokens generated sa pamamagitan ng dVAE encoder na ibinigay ng RGB image x 2 ; • pθ denotes ang pag-distribusyon sa pamamagitan ng RGB imahe generated sa pamamagitan ng dVAE decoder na ibinigay ng mga image tokens; at • pψ ay nagpapakita ng joint distribution sa pamamagitan ng mga token ng teksto at imahe na modeled sa pamamagitan ng transformer. Note that the bound only holds for β = 1, while in practice we find it helpful to use larger values (Higgins et al., 2016). The following subsections describe both stages in further detail.3 Etape 1: Pag-aaral ng Visual Codebook Sa unang phase ng pagsasanay, i-maximize ang ELB sa pagitan ng φ at θ, na kung saan ay katumbas sa pagsasanay ng isang dVAE sa mga imahe lamang. I-set ang unang pre pψ sa uniform categorical distribution sa pamamagitan ng K = 8192 codebook vectors, at qφ sa kategorical distribution parameterized sa pamamagitan ng 8192 logits sa parehong spatial na posisyon sa 32×32 grid output sa pamamagitan ng encoder. Ang ELB ngayon ay naging mahirap upang i-optimize: bilang qψ ay isang diskret na distribution, at hindi namin gamitin ang reparameterization gradient upang i-maximize ito. Oord et al. (2017); Razavi et al. (2019) address ito gamit ang isang online cluster assignment procedure kasama ang straight-through estimator (Bengio Sa halip, ginagamit namin ang gumbel-softmax relaxation (Jang et al., 2016; Maddison et al., 2016), na-substitute ang expectation sa pamamagitan ng qφ sa pamamagitan ng isa sa pamamagitan ng q τ φ , kung saan ang relaxation ay matatagpuan bilang ang temperatura τ → 0. Ang pagkakataon para sa pθ ay na-evaluate gamit ang log-laplace distribution (tingnan ang Appendix A.3 para sa isang derivation). Ang relaxed ELB ay maximized gamit ang Adam (Kingma & Ba, 2014) na may exponentially na-weighted iterate averaging. Appendix A.2 ay nagbibigay ng isang kumpletong paglalarawan ng mga hyperparameter, ngunit natagpuan namin ang mga sumusunod na ito ay lalo na mahalaga para sa stable training: • Ang mga spesifikal na mga schedule ng annealing para sa temperatura ng relaksasyon at ang size ng step. Natagpuan namin na ang annealing τ sa 1/16 ay kapaki-pakinabang upang maiwasan ang gap sa pagitan ng relaxed validation ELB at ang tunay na validation ELB na may qφ intsead ng q τ φ . • Ang paggamit ng 1 × 1 convolutions sa katapusan ng encoder at ang simula ng decoder. Natagpuan namin na ang pagbabago ng size ng receptive field para sa mga convolutions sa paligid ng relaxation ay nangangahulugan ito na generalizing mas mahusay sa tunay na ELB • I-multiply ang mga outgoing activations mula sa encoder at decoder resblocks sa isang maliit na konstante, upang magbigay ng isang stable training sa initialization. Kami din natagpuan na ang pagbabago ng KL na timbang sa β = 6.6 ay nag-aalok ng mas mahusay na paggamit ng codebook at sa katapusan ay nagdadalang sa isang mas maliit na pag-reconstruction error sa katapusan ng training.4 2.2.Phase 2: Pag-aaral ng mga nangungunang Sa ikalawang stage, nagtatrabaho kami sa at ang , at malaman ang pre-distribusyon sa pamamagitan ng text at image tokens sa pamamagitan ng maximizing ang ELB sa pagitan ng dito ay, Nagtatapos sa tuldok sa tuldok ( na ang ang mga ito) φ θ ψ ang pps Mga anak at al. 2019 Pagkatapos ng pag-aaral, ang pag-aaral ay binubuo ng BPA ( na ang ) ang mga subtitle na ginagamit sa maximum 256 tokens sa size ng vocabulary 16*,*384, at i-codify ang imahe gamit ang 32 x 32 = 1024 tokens sa size ng vocabulary 8192. Ang imahe tokens ay inihahanda gamit ang argmax sampling mula sa dVAE encoder logits, nang walang paghahatid ng anumang gumbel noise.[6](#_bookmark14) Sa katapusan, ang text at image tokens ay concatenated at modeled autoregressively bilang isang single stream ng data. Nagsimula si Sennrich et al. 2015 5 Ang transformer ay isang modelo na lamang sa decoder kung saan ang bawat im-age token ay maaaring sumali sa lahat ng mga token ng teksto sa anumang isa sa kanyang 64 self-attention layers. Ang bahagi ng mga mask ng atensyon na katumbas sa text-to-text atensyon ay ang standard causal mask, at ang bahagi para sa image-to-image atensyon ay gumagamit o isang row, column, o convolutional attention mask. B1 ang 7 Kami limitahan ang length ng isang text caption sa 256 tokens, kahit na ito ay hindi kamakailanman malalaman kung ano ang gawin para sa mga "padding" posisyon sa pagitan ng unang text token at ang start-of-image token. Ang isa sa mga pagpipilian ay i-set ang mga logits para sa mga token na ito sa −∞ sa mga operasyon ng self-attention. Sa halip, pinili namin ang pag-aaral ng isang espesyal na padding token para sa bawat isa sa 256 mga posisyon ng teksto. Ang token na ito ay ginagamit lamang kapag walang mga token ng teksto ay magagamit. Sa mga preliminary na eksperimento sa Conceptual Captions (Sharma et al., 2018), natagpuan namin na ito ay nagdadala sa mas mataas na pag-validation, ngunit mas mahusay na pagganap sa out-of-distribution captions. Normalize namin ang cross-entropy losses para sa mga token ng teksto at imahe sa pamamagitan ng total na bilang ng bawat uri sa isang batch ng data. Dahil kami ay may pangunahing interes sa pag-modeling ng imahe, nag-multiply ang cross-entropy loss para sa teksto sa 1/ / ,000 mga imahe para sa pag-validasyon, at hindi natagpuan ng mga tanda ng overfitting sa convergence. 8 at ang cross-entropy loss para sa imahe ng 7 Ang objective ay optimized gamit ang Adam na may exponentially-weighted iterate averaging; Appendix B.2 ay naglalarawan ng proseso ng pagsasanay sa karagdagang detalye. B2 ang 2.3 Pagkakaiba ng Data Ang aming mga preliminary na mga eksperimento para sa mga modelo ng hanggang sa 1.2 bilyong mga parameter ay ginawa sa Conceptual Captions, isang dataset ng 3.3 milyong mga pares ng text-image na binuo bilang isang extension sa MS-COCO ( na ang ang mga ito) Ipinanganak ang al. 2014 Para sa pag-scale ng hanggang sa 12 bilyon na mga parameter, lumikha namin ang isang dataset ng isang tampok na tampok sa JFT-300M ( na ang Ang mga sumusunod na mga patakaran ay kinakailangan upang mapagkukunan ang mga patakaran na ito, at ang mga patakaran na ito ay kinakailangan upang mapagkukunan ang mga patakaran na ito. ( na ang Dahil ang MS-COCO ay nilikha mula sa katapusan, ang aming mga data ng pag-training ay naglalaman ng isang bahagi ng mga imahe ng pag-validasyon ng MS-COCO (ngunit walang ang mga titulo). Hindi lamang ang katotohanan, ngunit ito ay, bilang isang gulay, ay lamang ang pinaka-cool na bagay na manufactured sa pamamagitan ng Ina Earth. . Sino ang al. 2017 Ang mga ito ay al. 2016 3 C 4.2 Ang pagsasanay ng presyon Upang i-save ang GPU memory at i-increase ang throughput, ang karamihan ng mga pa-rameters, Adam moments, at activations ay i-save sa 16-bit na presyon. Kami ay gumagamit din ng activation checkpointing at i-recalculate ang activations sa loob ng resblocks sa panahon ng backward pass. Gawin ang modelo upang i-train sa 16-bit pre-sion sa loob ng isang bilyong parameter, nang walang diverging, ay ang pinakamagandang bahagi ng proyekto na ito. Kami ay naniniwala na ang root cause ng instability na ito ay sa underflow sa 16-bit gradients. Ipinapakita ang isang set ng mga guidelines na natuklasan namin upang maiwasan ang underflow sa pagsasanay ng malalaking generative models. Sa ngayon, naglalarawan namin ang isa sa mga guidelines na ito: per-resblock gradient scaling. D Maaring gumawa ng anotasyon ( na ang ), natagpuan namin na ang mga normang ng activation gradients mula sa resblocks de-crease monotonously kapag kami ay pumunta mula sa mga unang resblocks sa mga sumusunod. Bilang ang modelo ay ginawa mas mataas at mas mataas, ang tunay na exponents ng activation gradients para sa lateral res-blocks ay maaaring mababa sa ilalim ng minimum exponent ng 16-bit na format. Natagpuan namin na ang pag-eliminating ng un-derflow ay nagbibigay sa isang stable training sa convergence. Sino ang al. 2020 8 ang underflow Mga pahinang tumuturo ( na ang Sa mga GPU ng NVIDIA V100, ang range ng exponent na ito ay itinuturing sa pamamagitan ng limang bit. Habang ito ay matatagpuan para sa pagsasanay ng mga modelo ng vanilla language ng parehong size, natagpuan namin na ang range ay mas maliit para sa text-to-image model. Nagsimula si Miko et al. 2017 Ang mga ito, na ipinapakita sa Figure Ang mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod ( na ang ), na may katangian na hindi kinakailangan ng mga specialized GPU ker-nels. kami natagpuan na (Ang ) ay independiyenteng binuo ng parehong proseso para sa pagsasanay ng kon-volutional network sa 4-bit na presyon. 4 Pag-iisip sa al. 2017 Sino ang al. 2020 5.2 Ang mga disenyo ng optimization Ang aming 12 bilyon na modelo ng parameter ay gumagamit ng tungkol sa 24 GB ng aklat kapag ibinigay sa 16 bit na presyon, na kung saan ay higit sa aklat ng isang 16 GB NVIDIA V100 GPU. na ang (Kasi ang ibig sabihin sa Figure , ang parameter sharding ay nagbibigay-daan sa amin upang halos ganap na i-hide ang latency ng komunikasyon sa intra-machine sa pamamagitan ng pag-upload ito sa computer-intensive operations. Nagsimula ang pag-ibig et al. 2019 5 Ang mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod ( na ang ang mga ito) Ang mga ito ay al. 2019 Sa aming pag-implementasyon, ang bawat GPU sa isang makina ay nag-calculate ang mga low-rank factors para sa kanyang parameter shard gradients depending sa kanyang susunod na GPUs. Kapag ang mga low-ranking factor ay inilathala, ang bawat machine ay lumikha ng kanyang error buffer sa residual sa pagitan ng uncompressed gradient na may average sa pamamagitan ng kanyang 8 GPUs (maabot mula sa reduc-scatter), at ang decompressed gradient na inilathala mula sa mga low-ranking factors. 9 Ang PowerSGD ay nagbibigay ng dalawang, mas maliit na mga operasyon ng komunikasyon para sa isang uncompressed parameter gradient para sa isang malaking operasyon ng komunikasyon para sa mga low-range na mga factor. Para sa isang ibinigay na compression rank r at transformer activation size dmodel, ang rate ng compression ay ibinigay ng 1 − 5r/(8dmodel) (tingnan ang Appendix E.1). Table 1 ay nagpapakita na maaari naming makakuha ng isang rate ng compression ng tungkol sa 85%, kahit na ang size ng modelo. sa appendix , naglalarawan namin ang iba't-ibang mga detalye na kailangan upang makakuha ng PowerSGD upang bumuo na sa scale. Ang mga ito ay kabilang sa: E2 ang • I-save ang memory sa pamamagitan ng pag-akumular ng gradient sa mga bug buffer sa panahon ng backpropagation, hindi sa pag-alok ng mga partikular na buffer. • I-minimize ang mga halimbawa kung saan ang mga buffer ng error ay nulo (halimbawa, dahil sa mga non-endite na mga halaga na natagpuan sa panahon ng mixed-precision backpropagation, o kapag nagpatuloy ang training mula sa isang checkpoint). • Improve ang numerical stability sa pamamagitan ng paggamit ng Householder orthogonalization sa halip ng Gram-Schmidt, kasama ang paghahatid ng isang maliit na multiple ng identity matrix sa input. • Iwasan ang underflow sa pamamagitan ng paggamit ng isang custom 16-bit floating point format para sa mga bug buffer, ang kanilang mga low-ranking factor, at ang lahat-reduced communication operations na naglalaman ng mga ito. Nagsimula na rin ang warming procedure para sa Ang matrix ay inilarawan sa (Ang ) upang maging hindi kinakailangan: kami ay maaaring makakuha ng katumbas na resulta sa pamamagitan ng pag-fixing sa isang random gaussian matrix sa simula ng pagsasanay, at hindi mai-update ito. Q Ang mga ito ay al. 2019 Q 10 2.6 Mga generasyon ng sample Similar sa (Ang Pagkatapos ng pagsusuri ng pag-aaral, ang mga imahe ay inilagay sa isang pag-aaral na nagtatagumpay sa isang laboratoryo ( na ang Sa pagitan ng isang caption at isang candi-date na imahe, ang contrastive model ay naghahatid ng isang score batay sa kung paano malaki ang imahe matches ang caption. ay nagpapakita ng epekto ng pagtaas ng bilang ng mga sample sa pamamagitan ng kung saan kami ay piliin ang top Pumili ng kategorya, gaya ng mga gasolinahan o grocery. ( na ang ), at ay katulad din sa mga auxiliary text-image matching loss na inihayag ng ( Kung hindi kinikilala ang iba, ang lahat ng mga sample na ginagamit para sa parehong mga resulta ng kalidad at kalidad ay inihahanda nang walang pag-reduction ng temperatura (i.e., gamit ang = 1) (kabilang sa Figure (Tingnan mo na rin ang reranking sa sa loob ng 512. Ang mga ito ay al. 2019 Si Radford at al. 2021 6 N k Si Andreas at al. 2017 Sino ang al. 2018 t 2 N 3. Experiments 3.1. Quantitative Results We evaluate our model zero-shot by comparing it to three prior approaches: AttnGAN ( , Mga pahinang tumuturo ( na ang ), and DF-GAN ( na ang Mga pahinang tumuturo sa pag-aaral ( na ang ) and Fréchet Inception Distance ( , ) on MS-COCO. Figure qualitatively compares sam- ples from our model to those from prior work. Xu et al. 2018 Zhu et al. 2019 Ang mga tao at al. 2020 Salimans et al. 2016 Heusel et al. 2017 3 We also conduct a human evaluation similar to the one used in ( ) upang i-compare ang aming pamamaraan sa DF-GAN, ang mga resulta ng kung saan ay ipinapakita sa Figure Sa pamamagitan ng isang caption, ang sample mula sa aming modelo ay makakuha ng ang majority vote para sa mas mahusay na matugunan ng caption 93% ng oras. Ito ay makakuha ng ang majority vote para sa mas realistic 90% ng oras. Koh et al. 2021 7 Figure (a) shows that our model also obtains an FID score on MS-COCO within 2 points of the best prior approach, despite having never been trained on the captions. Our training data incorporates a filtered subset of YFCC100M, and we found that it includes about 21% of the images in the MS-COCO validation set from a de-duplication procedure described in the next section. To isolate this effect, we compute the FID statistics for the validation set both with these images (solid lines) and without them (dashed lines), finding no significant change in the results. 9 Ang pagsasanay ng transformer sa tokens mula sa dVAE en-coder ay nagbibigay-daan sa amin upang i-allocate ang kanyang kapasidad ng modeling sa mga low-frequency na impormasyon na gumagawa ng mga imahe visually recognisable para sa amin. Gayunpaman, ito ay din disadvantage sa modelo, dahil ang malakas na compression ay nagpapakita ito ay hindi maaaring lumikha ng high-frequency mga detalye. Upang i-test ang epekto ng ito sa mga quantitative evaluations, gumagamit namin ang FID at IS sa Fig- ure (a) after applying a Gaussian filter with varying radius to both the validation images and samples from the models. Our approach achieves the best FID by a margin of about 6 points with a slight blur of radius 1. The gap between our approach and others tends to widen as the blur radius is increased. We also obtain the highest IS when the blur radius is greater than or equal to two. 9 Our model fares significantly worse on the CUB dataset, for which there is a nearly 40-point gap in FID between our model and the leading prior approach (Figure (b)). Kami ay natagpuan ng isang 12% overlap rate para sa dataset na ito, at pagkatapos ng pag-unlad ng mga imahe na ito ay hindi nagbibigay ng anumang pangunahing pagkakaiba sa mga resulta. Kami ay nag-spekulate na ang aming zero-shot approach ay mas malaki na magkakaibang magkakaiba sa mga specialized distribution tulad ng CUB. Kami ay naniniwala na ang fine-tuning ay isang pangangailangan na direksyon para sa pagbutihin, at inihayag ang pananaliksik na ito para sa future work. Mga sample mula sa aming modelo para sa captions sa dataset na ito ay ipinapakita sa Figure . 9 8 Pagkatapos, ang figure (c) shows clear improvements in FID and IS for MS-COCO as the sample size used for reranking with the contrastive model is increased. This trend continues up to a sample size of 32, after which we observe diminishing returns 9 3.2.2 Pag-analiksik ng mga data We used the deduplication procedure described in ( ) to determine which images to remove. For each validation image, we find the closest image in the training data using a contrastive model specifically trained for this task. We then sort the images in descending order by closeness to their nearest matches in the training data. After inspecting the results by hand, we determine the images to remove by manually selecting a conservative threshold designed to minimize the false negative rate. Radford et al. 2021 3.3. Qualitative Findings We found that our model has the ability to generalize in ways that we did not originally anticipate. When given the caption “a tapir made of accordion...” (Figure ), the model appears to draw a tapir with an accordion for a body, or an accordion whose keyboard or bass are in the shape of a tapir’s trunk or legs. This suggests that it has developed a rudimentary ability to compose unusual concepts at high levels of abstraction. 2a Our model also appears to be capable of combinatorial gen- eralization, such as when rendering text (Figure ) o kapag inilathala sa mga sentensya tulad ng "ang isang ilustrasyon ng isang baby hedgehog sa isang Christmas sweater na naglalakbay ng isang dog" (Figure ). Prompts like the latter require the model to perform variable bind- ing ( , ; na ang Hindi lang ng maraming, at hindi mabilang na walking patay, na maaaring gumawa ng anumang bilang ng pagbuo ng mga modernong armas sa pamamagitan ng numero. 2b 2c ang smolensky 1990 Greff et al. 2020 To a limited degree of reliability, we also find our model to be capable of zero-shot image-to-image translation controllable by natural language (Figure 2d). When the model is given the caption “the exact same cat on the top as a sketch at the bottom” and the top 15 × 32 part of the image token grid for a photo of a cat, it is able to draw a sketch of a similar looking cat on the bottom. This works with several other kinds of transformations, in- cluding image operations (e.g., changing the color of the image, converting it to grayscale, or flipping it upside-down) and style transfer (e.g., drawing the cat on a greeting card, a postage stamp, or a cell phone case). Some transformations, such as those that involve only changing the color of the animal, suggest that the model is capable of performing a rudimentary kind of object segmentation. We provide addi- tional examples of zero-shot image-to-image translation in Section . G 4. Conclusion We investigate a simple approach for text-to-image generation based on an autoregressive transformer, when it is executed at scale. We find that scale can lead to improved generalization, both in terms of zero-shot performance relative to previous domain-specific approaches, and in terms of the range of capabilities that emerge from a single generative model. Our findings suggest that improving generalization as a function of scale may be a useful driver for progress on this task. ang recognition Gusto naming salamat si Matthew Knight para sa pag-review ng code release para sa trabaho na ito, at si Rewon Child, si John Schul-man, si Heewoo Jun, at si Prafulla Dhariwal para sa tulong na early feedback sa papel. Gusto naming masama rin si Jong Wook Kim para sa pag-script ng PyTorch package para sa ang con-trastive model na inilarawan sa (Ang ) that we used to rerank the samples from our model. Radford et al. 2019 ang reference Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J., Devin, M., Ghemawat, S., Irving, G., Isard, M., et al. Tensorflow: A system for large-scale machine learning. In { } 12th USENIX symposium on operating systems design { na ang , pp. 265–283, 2016. and implementation ( OSDI 16) Andreas, J., Klein, D., and Levine, S. Learning with latent language. , 2017. arXiv preprint arXiv:1711.00482 Bengio, Y., Léonard, N., at Courville, A. Ang pag-estimate o pagpapadala ng gradients sa pamamagitan ng stochastic neurons para sa con-ditional computing. , 2013. arXiv preprint arXiv:1308.3432 Bowman, S. R., Vilnis, L., Vinyals, O., Dai, A. M., Joze-fowicz, R., at Bengio, S. Paggawa ng mga sentensya mula sa isang continuous space. Ano ang 2015. arXiv preprint arXiv:1511.06349 Chen, M., Radford, A., Child, R., Wu, J., Jun, H., Luan, D., and Sutskever, I. Generative pretraining from pixels. In , p. 1691–1703 PMLR, 2020. International Conference sa Machine Learning Child, R., Gray, S., Radford, A., at Sutskever, I. Gen- erating long sequences na may mababang transformers. , 2019. arXiv preprint arXiv:1904.10509 Cho, J., Lu, J., Schwenk, D., Hajishirzi, H., at Kemb- havi, A. X-lxmert: Paint, caption at tumugon sa mga tanong na may multi-modal transformers. , 2020. arXiv preprint arXiv:2009.11278 Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., and Fei-Fei, L. Imagenet: A large-scale hierarchical image database. In , p. 248–255. ieee, 2009 2009 IEEE conference on computer vision and pattern recognition Dhariwal, P., Jun, H., Payne, C., Kim, J. W., Radford, A., and Sutskever, I. Jukebox: A generative model for music. Ano ang 2020. arXiv preprint arXiv:2005.00341 Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Ben- gio, Y. Generative adversarial networks. , 2014. ang napili ng mga taga-hanga: arXiv: 1406.2661 Greff, K., van Steenkiste, S., and Schmidhuber, J. On the binding problem in artificial neural networks. , 2020. arXiv preprint arXiv:2012.05208 Gregor, K., Danihelka, I., Graves, A., Rezende, D., at Wierstra, D. Draw: Ang isang recurrent neural network para sa im- edad generation. , p. 1462–1471. ang PMLR, 2015. International Conference on Machine Learning He, K., Zhang, X., Ren, S., and Sun, J. Identity mappings in deep residual networks. In , pp. 630–645. Springer, 2016. European conference on computer vision Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., at Hochreiter, S. Gans na-trained sa pamamagitan ng isang dalawang-time-scale update rule converge sa isang local nash equilibrium. , 2017. arXiv preprint arXiv:1706.08500 Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Mohamed, S., and Lerchner, A. beta- vae: Learning basic visual concepts with a constrained variational framework. 2016. Isola, P., Zhu, J.-Y., Zhou, T., at Efros, A. A. Image-to- image translation sa conditional adversarial networks. , pp. 1125–1134, 2017. Proceedings of the IEEE conference on computer vi- sion and pattern recognition Jang, E., Gu, S., and Poole, B. Categorical repa- rameterization with gumbel-softmax. , 2016. arXiv preprint arXiv:1611.01144 Kingma, D. P. and Ba, J. Adam: A method for stochastic optimization. Ang taong 2014. arXiv preprint arXiv:1412.6980 Kingma, D. P. at Welling, M. Auto-coding variational bayes. , 2013. arXiv preprint arXiv:1312.6114 Koh, J. Y., Baldridge, J., Lee, H., and Yang, Y. Text-to- image generation grounded by fine-grained user attention. In , pp. 237–246, 2021. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision Köster, U., Webb, T. J., Wang, X., Nassar, M., Bansal, A. K., Constable, W. H., Elibol, O. H., Gray, S., Hall, S., Hornof, L., et al. Flexpoint: An adaptive numerical format for efficient training of deep neural networks. , 2017. arXiv preprint arXiv:1711.02213 LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. Gradient- based learning applied to document recognition. , 86(11):2278–2324, 1998. Proceed- ings of the IEEE Li, W., Zhang, P., Zhang, L., Huang, Q., He, X., Lyu, S., at Gao, J. Object-driven text-to-image synthesis sa pamamagitan ng adversarial training. , Procedures ng IEEE/CVF Conference sa Computer Vision at Pattern Recognition Mga pahinang tumuturo sa 12174–12182, 2019. Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ra- manan, D., Dollár, P., at Zitnick, C. L. Microsoft coco: Common objects in context. , pp. 740–755. Springer, 2014. European conference on computer vision Liu, L., Liu, X., Gao, J., Chen, W., and Han, J. Understand- ing the difficulty of training transformers. , 2020. arXiv preprint arXiv:2004.08249 Loshchilov, I. at Hutter, F. Disappointed weight decay regu- larization. Ano ang 2017. arXiv preprint arXiv:1711.05101 Maddison, C. J., Mnih, A., at Teh, Y. W. The concrete distribution: A continuous relaxation of discrete random variables. , 2016. arXiv preprint arXiv:1611.00712 Mansimov, E., Parisotto, E., Ba, J. L., and Salakhutdinov, R. Generating images from captions with attention. , 2015. arXiv preprint arXiv:1511.02793 Micikevicius, P., Narang, S., Alben, J., Diamos, G., Elsen, E., Garcia, D., Ginsburg, B., Houston, M., Kuchaiev, O., Venkatesh, G., et al. Mixed precision training. , 2017. arXiv preprint arXiv:1710.03740 Nguyen, A., Clune, J., Bengio, Y., Dosovitskiy, A., at Yosinski, J. Plug & play generative networks: Conditional iterative generation ng imahe sa latent space. , pp. 4467–4477, 2017. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Oord, A. v. d., Vinyals, O., and Kavukcuoglu, K. Neu- ral discrete representation learning. , 2017. arXiv preprint arXiv:1711.00937 Provilkov, I., Emelianenko, D., and Voita, E. Bpe-dropout: Simple and effective subword regularization. , 2019. arXiv preprint arXiv:1910.13267 Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. Language models are unsupervised multitask learners. 2019. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., and Sutskever, I. Learning transferable visual models from natural language supervision. 2021. Rajbhandari, S., Rasley, J., Ruwase, O., at He, Y. Zero: Memory optimization para sa pagsasanay ng isang trilyon ng mga modelo ng parameter. , 2019. arXiv preprint arXiv:1910.02054 Razavi, A., Oord, A. v. d., and Vinyals, O. Generating diverse high-fidelity images with vq-vae-2. Ano ang 2019. arXiv preprint arXiv:1906.00446 Reed, S., Akata, Z., Mohan, S., Tenka, S., Schiele, B., and Lee, H. Learning what and where to draw. , 2016a. arXiv preprint arXiv:1610.02454 Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., and Lee, H. Generative adversarial text to image synthesis. In , pp. 1060–1069. PMLR, 2016b. International Conference on Machine Learning Rezende, D. J., Mohamed, S., and Wierstra, D. Stochastic backpropagation and approximate inference in deep gen- erative models. In , p. 1278–1286. ang PMLR, 2014. International conference on machine learning Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., and Chen, X. Improved techniques for training gans. , 2016. arXiv preprint arXiv:1606.03498 Salimans, T., Karpathy, A., Chen, X., and Kingma, D. P. Pixelcnn++: Improving the pixelcnn with discretized lo- gistic mixture likelihood and other modifications. , 2017. arXiv preprint arXiv:1701.05517 Sennrich, R., Haddow, B., and Birch, A. Neural machine translation of rare words with subword units. Ano ang 2015. arXiv preprint arXiv:1508.07909 Sharma, P., Ding, N., Goodman, S., and Soricut, R. Con- ceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In , pp. 2556– 2565, 2018. Proceedings of the 56th Annual Meeting of the Association for Compu- tational Linguistics (Volume 1: Long Papers) Smolensky, P. Tensor product variable binding and the representation of symbolic structures in connectionist systems. , 46(1-2):159–216, 1990. Artificial intelligence Sun, C., Shrivastava, A., Singh, S., and Gupta, A. Revisiting unreasonable effectiveness of data in deep learning era. In , pp. 843–852, 2017. Proceedings of the IEEE international conference on computer vision Sino, X., Wang, N., Chen, C.-Y., Ni, J., Agrawal, A., Cui, X., Venkataramani, S., El Maghraoui, K., Srinivasan, V. V., at Gopalakrishnan, K. Ultra-low precision 4-bit training ng mga deep neural networks. , 33, 2020. Pagbabago sa Neural Information Processing Systems Tao, M., Tang, H., Wu, S., Sebe, N., Wu, F., and Jing, X.-Y. Df-gan: Deep fusion generative adversarial networks for text-to-image synthesis. , 2020. arXiv preprint arXiv:2008.05865 Thomee, B., Shamma, D. A., Friedland, G., Elizalde, B., Ni, K., Poland, D., Borth, D., and Li, L.-J. Yfcc100m: The new data in multimedia research. , 59(2):64–73, 2016. Communications of the ACM Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. Attention is all you need. , 2017. arXiv preprint arXiv:1706.03762 Vogels, T., Karimireddy, S. P., and Jaggi, M. Powersgd: Practical low-rank gradient compression for distributed optimization. , 2019. arXiv preprint arXiv:1905.13727 Welinder, P., Branson, S., Mita, T., Wah, C., Schroff, F., Belongie, S., and Perona, P. Caltech-ucsd birds 200. 2010. Xu, T., Zhang, P., Huang, Q., Zhang, H., Gan, Z., Huang, X., at He, X. Attngan: Fine-grained text to image gener-action with attentive generative adversarial networks. , pahina 1316–1324, 2018. Procedures ng IEEE conference sa computer vision at pattern recognition Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., and Metaxas, D. N. Stackgan: Text to photo-realistic image synthesis with stacked generative adversarial net- works. In , pp. 5907–5915, 2017. Proceedings of the IEEE international confer- ence on computer vision Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., at Metaxas, D. N. Stackgan++: Realistic image synthesis with stacked generative adversarial networks. , 41(8):1947–1962, 2018. IEEE transactions on pattern analysis and machine intelligence Zhu, M., Pan, P., Chen, W., and Yang, Y. Dm-gan: Dy- namic memory generative adversarial networks for text- to-image synthesis. In , Procedures ng IEEE/CVF Conference sa Computer Vision at Pattern Recognition pp. 5802–5810, 2019. A. Mga detalye para sa Discrete VAE 1. ang architecture The dVAE encoder and decoder are convolutional (LeCun et al., 1998) ResNets (He et al., 2016) with bottleneck-style resblocks. The models primarily use 3 × 3 convolutions, with 1 × 1 convolutions along skip connections in which the number of feature maps changes between the input and output of a resblock. The first convolution of the encoder is 7 × 7, and the last convolution of the encoder (which produces the 32 × 32 × 8192 output used as the logits for the categorical distributions for the image tokens) is 1 × 1. Both the first and last convolutions of the decoder are 1 × 1. The encoder uses max-pooling (which we found to yield better ELB than average-pooling) to downsample the feature maps, and the decoder uses nearest-neighbor upsampling. The precise details for the architectures are given in the files dvae/encoder.py and dvae/decoder.py of the code release. A.2. Training The dVAE is trained on the same dataset as the transformer, using the data augmentation code given in Listing . Several quantities are decayed during training, all of which use a cosine schedule: 1 1. The KL weight is increased from 0 to 6.6 over the first 5000 updates. (Ang ) use a similar schedule based on the sigmoid function. β Bowman et al. 2015 Ang temperatura ng relaksasyon τ ay inilathala mula sa 1 sa 1/16 sa unang 150,000 updates. Gamit ng isang linear annealing schedule para sa ito ay karaniwang nangangahulugan sa divergence. 3. The step size is annealed from 1 · 10−4 to 1.25 · 10−6 over 1,200,000 updates. Ang mga schedule ng pag-unlad para sa temperatura ng relaksasyon at ang size ng step ay lalo na mahalaga para sa stability at lumang optimization. We update the parameters using AdamW (Loshchilov & Hutter, 2017) with β1 = 0.9, β2 = 0.999, = 10−8 , and weight decay multiplier 10−4 . We use exponentially weighted iterate averaging for the parameters with decay coefficient 0.999. The reconstruction term in the ELB is a joint distribution over the 256 × 256 × 3 values for the image pixels, and the KL term is a joint distribution over the 32 × 32 positions in the spatial grid output by the encoder. We divide the overall loss by 256 × 256 × 3, so that the weight of the KL term becomes β/192, where β is the KL weight. The model is trained in mixed-precision using standard (i.e., global) loss scaling on 64 16 GB NVIDIA V100 GPUs, with a per-GPU batch size of 8, resulting in a total batch size of 512. It is trained for a total of 3,000,000 updates. A.3. The Logit-Laplace Distribution ang 1 at 2 reconstruction objectives are commonly used when training VAEs. These objectives correspond to using Laplace and Gaussian distributions for ln ( | ) in Equation , respectively. There is a strange mismatch in this modeling choice: pixel values lie within a bounded interval, but both of these distributions are supported by the entire real line. Hence, some amount of likelihood will be placed outside the admissible range of pixel values. l l pθ x y, z 1 We present a variant of the Laplace distribution that is also supported by a bounded interval. This resolves the discrepancy between the range of the pixel values being modeled and the support of the distribution used to model them. We consider the pdf of the random variable obtained by applying the sigmoid function to a Laplace-distributed random variable. This pdf is defined on (0*,* 1) and is given by we call it the We use the logarithm of the RHS of Equation Ang pag-aaral ay para sa pag-aaral ng dVAE. logit-Laplace distribution. 2 The decoder of the dVAE produces six feature maps representing the sufficient statistics of the logit-Laplace distribution for the RGB channels of the image being reconstructed. The first three feature maps represent the parameter for the RGB channels, and the last three represent ln . Before feeding an image into the dVAE encoder, we transform its values using : [0*,* 255] → ( 1 ang (Ang mga ito ay ibinigay sa µ b ϕ ϵ, ϵ Ito ay limitasyon ang range ng mga halaga ng mga pixel na magmodelo ng dVAE decoder sa (*ε,* 1 *ε*), na inihayag ng mga numero na mga problema na nagsisimula mula sa *x*(1 *x*) sa Equation [2] (#_bookmark82). Gamitin namin *ε* = 0*.*1. Upang i-reconstruct ng isang imahe para sa manual inspection o computing metrics, i-ignorize ang ln *b* at calculate *x* ̈ = *φ*−1(sigmoid(*μ*)), kung saan *μ* ay ibinigay sa pamamagitan ng unang tatlong feature map output ng dVAE decoder.[11] (#_bookmark84) B. Details for Transformer B.1. Architecture Our model is a decoder-only sparse transformer of the same kind described in (Ang ), with broadcasted row and column embeddings for the part of the context for the image tokens. A complete description of the embedding scheme used in our model is shown in Figure . We use 64 attention layers, each of which uses 62 attention heads with a per-head state size of 64. Mga anak at al. 2019 10 The model uses three kinds of sparse attention masks, which we show in Figure 11. The convolutional attention mask (Figure 11(d)) is only used in the last self-attention layer. Otherwise, given the index i of a self-attention layer (with i ∈ [1, 63]), we use the column attention mask (Figure 11(c)) if i − 2 mod 4 = 0, and row attention otherwise. E.g., the first four self-attention layers use “row, column, row, row”, respectively. With the exception of the convolutional attention mask, which we found to provide a small boost in performance over the row and dense causal attention masks when used in the final self-attention layer, this is the same configuration used in (Ang ang mga ito) Child et al. 2019 2. ang training When training the transformer, we apply data augmentation to the images before encoding them using the dVAE encoder. We use slightly different augmentations from the ones used to train the dVAE; the code used for this is given in Listing . We also apply 10% BPE dropout when BPE-encoding the captions for training. The model is trained using per-resblock scaling (see Section ) at gradient compression (tingnan ang seksyon ) na may total na kompresyon ranking 896 (bagaman ang bawat GPU ay gumagamit ng isang kompresyon ranking ng 112 para sa kanyang parameter shards). , this results in a compression rate of about 86%, which we analyze in Section . 2 2.4 2.5 1 E.1 I-update ang mga parameter gamit ang AdamW na may *β*1 = 0*.*9, *β*2 = 0*.*96, *ε* = 10−8, at weight decay multiplier 4*.*5 10−2. I-clip ang decompressed gradients sa pamamagitan ng norm na gumagamit ng isang threshold ng 4, bago gamitin ang Adam update. Gradient clipping ay i-activate lamang sa panahon ng warming-up phase sa simula ng pagsasanay. Upang i-conserve memory, ang karamihan ng mga momento ng Adam (tingnan ang Section [D](#_bookmark89) para sa mga detalye) ay ibinigay sa 16-bit na mga format, na may isang 1-6-9 format para sa run average (i.e., 1 bit para sa sign, 6 bits para sa exponent, at We trained the model using 1024, 16 GB NVIDIA V100 GPUs and a total batch size of 1024, for a total of 430*,*000 updates. At the start of training, we use a linear schedule to ramp up the step size to 4*.*5 10−4 over 5000 updates, and halved the step size each time the training loss appeared to plateau. We did this a total of five times, ending training with a final step size that was 32 times smaller than the initial one. We reserved about 606*,*000 images for validation, and did not observe overfitting at any point during training. C. Details for Data Collection Upang i-train ang 12 bilyon na transformer ng mga parameter, natuklasan namin ang isang dataset ng isang skala na katulad sa JFT-300M sa pamamagitan ng pagkuha ng 250 milyong pares ng text-image mula sa internet. , this dataset incorporates Conceptual Captions, the text-image pairs from Wikipedia, and a filtered subset of YFCC100M. We use a subset of the text, image, and joint text and image filters described in ( Ang mga filter na ito ay binubuo ng mga instansya na ang mga captions ay mas maliit, ay tinutukoy bilang non-English sa pamamagitan ng Python package cld3, o na nagkakahalaga sa pangunahing boilerplate phrases tulad ng "photographed on ", kung saan matches iba't ibang mga format para sa mga petsa na natagpuan namin sa data. ,* 2]. If we were to use to very tall or wide images, then the square crops used during training would likely exclude objects mentioned in the caption. 2.3 Si Sharma at al. 2018 2 D. Guidelines for Mixed-Precision Training The most challenging part of this project was getting the model to train in 16-bit precision past one billion parameters. We were able to do this after detecting for underflow in various parts of training, and revising the code to eliminate it. We developed a set of guidelines as a result of this process that we present here. 12 1. Our model uses 128 gradient scales, one for each of its resblocks. All of the gradient scales are initialized to 213, where is the number of data-parallel replicas (i.e., the number of GPUs). In our setup, each grad scale is multiplied by 21*/*1000 at every parameter update Use per-resblock gradient scaling (Figure ) instead of standard loss scaling. 4 M M 4 whe√n __t__here are no nonfinite values for any parameter gradient in that resblock. Otherwise, we divide the grad scale by 2 and skip the update. We also disallow consecutive divisions of the same grad scale within a window of 125 updates. All grad scales are clamped to the range \[*M* 27*, M* 224\] after being updated. Figure [12](#_bookmark91) shows the gradient scales in the early phase of training for a 2.8-billion parameter model. 2. Halimbawa, i-storage ang lahat ng mga gains, biases, embeddings, at unembeddings sa 32-bit na presyon, na may 32-bit gradients (tama rin para sa remote communication) at 32-bit Adam moments. I-deactivate ang gradient compression para sa mga parameter na ito (ang mga PowerSGD ay hindi makikita para sa 1D parameter tulad ng gains at biases). Ang mga logits para sa mga token ng teksto at imahe ay naka-calculate at i-storage sa 32-bit na presyon. Natagpuan namin na i-storage ng mga embeddings sa 16-bit na presyon ay karaniwang nagdiriwang divergence sa optimization, at ang paggamit ng 16-bit logits ay nagdiriwang sa isang maliit na pagbabago sa training curve, kaya kami Only use 16-bit precision where it is really necessary for performance. 3. Para sa data-paralel training, kailangan naming i-divide ang gradients sa total na bilang ng data-paralel workers . One way to do this is to divide the loss by the per-machine batch size, and then divide the parameter gradients by before summing them over the machines (using all-reduce). To save time and space, the gradients are usually computed and stored in 16-bit precision. When is large, this division could result in underflow before the gradients are summed. On the other hand, if we attempt to sum the gradients first and then divide them later, we could encounter overflow in the all-reduce. Avoid underflow when dividing the gradient. M M M Our solution for this problem attempts to minimize the loss of information in the division prior to the all-reduce, without danger of overflow. To do this, we divide the loss by the overall batch size (which includes as a factor) rather than the per-machine batch size, and multiply the gradient scales by to compensate, as described in (1). Then, prior to the all-reduce operation, we divide the gradients by a constant that was tuned by hand to avoid both underflow and overflow. This was done by inspecting histograms of the exponents (i.e., base-2 logarithms) of the absolute values of the scalar components of the per-parameter gradients. Since the gradient scaling keeps the gradients close to right end of the exponent range of the 16-bit format, we found that the same constant worked well for all parameters in the model with 16-bit gradients. When using PowerSGD, we chose different constants for the and ang mga matrix. M M P Q E. Details for Distributed Optimization We use PowerSGD ( , ) to compress the gradients with respect to all parameters except the embeddings, unembeddings, gains, and biases. In Section , we derive an expression for the reduction in the amount of data communicated as a function of the compression rank and model size. In Section , we present a detailed overview of our adaptation of PowerSGD, and the modifications we had to make in order to fix performance regressions, some of which only manifest at billion-parameter scale. Ang mga ito ay al. 2019 E1 ang E.2 E.1. pag-analisa ng bandwidth Gradient compression uses the factorization G ≈ P Qt , where P and Q both have rank r. Instead of using a single all-reduce to transmit G, we use two, smaller all-reduces to transmit both P and Qt in succession. Hence, the compression ratio is the sum of the sizes of the P and Q matrices divided by the sum of the sizes of the G matrices. We shard along axis 1 for all parameters except for the second MLP matrix. The derivation of the compression ratio in our setup is given in Table 2. We note that the choice of shard axis changes the compression ratio for the MLP matrices. Finally, this analysis excludes the embeddings, unembeddings, gains, and biases, for which we do not use compression. The total fraction of the bandwidth used by these parameters becomes smaller as the model size is increased. E.2. Implementation Details Nag-describe ang mga patakaran sa aming pag-implementasyon ng PowerSGD sa detalye, dahil ang mga detalye na ito ay mahalaga sa pagkuha ng ito upang gumagana sa isang efficient at reliably sa isang bilyon-parameter-scale. Ang aming training setting ay gumagamit ng isang kombinasyon ng parameter sharding at gradient compression, tulad ng inilarawan sa Seksyon . During backpropagation, while recomputing the activations and computing the gradients for the current resblock, we prefetch the parameters for the preceding resblock using all-gather. Once each GPU has computed the gradient with respect to a full parameter matrix, we compute the average of the slice of the gradient corresponding to the GPU’s parameter shard, and discard the full gradient immediately to conserve memory. This average is taken over all of the GPUs on a machine using reduce-scatter. 2.5 Kung walang walang infinite na mga halaga sa resulta ng reduc-scatter (na maaaring sanhi ng overflow sa backpropagation o ang reduc-scatter), i-divide ang resulta sa pamamagitan ng resblock's gradient scale, at sumali ito sa error buffer (si, ang buffer na ginagamit para sa error correction). Sa halip na, hindi natin gawin ang anumang bagay at pumunta sa backpropagation; isang single non-finite na halaga sa gradient ay nangangahulugan na ang buong update ay ibaba, na kung saan ay nangangailangan ng tungkol sa 5% ng oras. ang error buffer ay gumagamit ng parehong format 1-6-9 na ginagamit para sa average ng Adam, na ibinigay namin sa Section ; the larger exponent range ensures that this division does not result in underflow. Adding the gradients directly to the error buffers avoids redundantly allocating another set of buffers of size equal to the parameter shard gradients. B.2 Kapag ang reduc-scatter operations para sa resblock ay dumating, i-schedule ang operations upang i-calculate ang resblock. ang mga matrix mula sa mga bug buffers at ang mga matris, na ang mga halaga ng mga ito ay naka-fixed sa simula ng pagsasanay (tingnan ang seksyon (Ang dalawang at ang matrices are stored in 1-6-9 format and have their values scaled by predetermined constants, as discussed in Section . P Q 2.5 P Q D Kapag ang lahat ng mga GPU ay naka-calculate matrices for the parameter shards in a resblock, they are averaged with the ang mga matrix mula sa mga GPU na may parehong ordinal sa lahat ng iba pang mga machine, gamit ang isang single, grouped all-reduction operation. Ang all-reduction na ito ay ginawa sa format 1-6-9, gamit ang isang custom kernel. Ang grouping ay nagpapakita sa mas mahusay na pagganap ng bandwidth, dahil ito ay tinutukoy sa pag-programming ng maraming all-reduction calls para sa mas maliit na, individual na mga parameter, na ang bawat isa ay may ilang overhead. Nag-clamp ang anumang infinities sa mga resulta ng all-reduction sa maximum na halaga ng format 1-6-9 (na kung saan ay mas mababa kaysa sa 16), na nagbibigay ng mga sign. Sa aming pagpipilian ng mga factor ng scaling para sa at ang Matrix, ang clamping na ito ay karaniwang lumikha. P P P Q 5. × Once ang all-reducce operation para sa Matrix para sa isang resblock ay dumating, kami orthogonalize ang mga columns ng mga resulta ng matrix. Kami gumagamit ng isang custom Householder orthogonalization kernel hindi sa Gram-Schmidt, dahil natagpuan namin na ang latter ay numerically unstable. × 2 ang Kung ang mga ito ay hindi nakakaapekto sa pag-aaral, kung saan 6 sa loob ng isang araw, × ay isang rectangular matrix ng sama-sama sa size na ang ang matrix na ito ay idinagdag; ito ay naglalaman ng identity matrix and has zeros elsewhere. The orthogonalizalied ang mga matris ay ibinigay sa format 1-6-9, ngunit walang pag-scale. P sa akin r P ϵ sa r P ang r P 6. ang isang ang mga matrices para sa isang resblock ay orthogonalized, kami schedule ang mga operasyon upang i-calculate ang bagong P Q Ang mga error buffers at ang ang mga matrix. P 7. Once the new Ang mga matris para sa isang resblock ay inilathala, kami ay inihayag ng isang iba pang grouped all-reduce, tulad ng kung ano ang ginawa namin para sa Matrix. Tulad ng step (4), i-clamp ang lahat ng infinities sa mga resulta ng all-reduce sa maximum na halaga ng format ng 1-6-9, na nagbibigay ang sign. Ang bug buffers para sa resblock ay ngayon na-decompose sa low-rank factors at ang . Q P P ang qt Ang mga gradient para sa lahat ng mga parameter na hindi na compressed ay grupo kasama sa isang single, 32-bit precision all-reduce. naglalarawan kung bakit ginagamit namin ang presyon ng 32-bit para sa mga parameter na ito at ang kanilang gradients. D 9. Once all GPUs on a machine have finished steps (7) and (8) for every resblock in the model, the values of the at ang Matrix para sa parehong parameter shard sa lahat ng mga makinarya ay identical. pagkatapos ay inilagay namin ang global gradient norm, na kung saan ay ang halaga ng dalawang halaga: (a) ang halaga ng square Frobenius norms ng Matrix sa pamamagitan ng lahat ng mga parameter shards sa isang machine, at (b) ang halaga ng mga square norms ng gradients para sa mga parameter shards na hindi gumagamit ng compression, nakaupo sa pamamagitan ng lahat ng mga parameter shards sa isang machine. ang mga ito) P Q Q B2 ang Sa panahon ng pag-calculate ng global norm, sining-synchronize namin ang impormasyon mula sa step (2) tungkol sa kung ano ang parameter shard gradients ay naglalaman ng nonfinite na mga halaga pagkatapos ng reduc-scatter. Pagkatapos ng gawin na ito, mayroon kaming dalawang bahagi ng impormasyon para sa bawat parameter shard: (a) kung ang kanyang error buffer mula sa step (2) ay naglalaman ng nonfinite na mga halaga sa kasalukuyang GPU, at (b) kung o sa Ang mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod at ang matrices to determine (b), since we clamp infinities as described in step (4). If we find that the gradient with respect to any parameter shard on the machine contains nonfinite values, then we set the global norm to infinity. P Q P Q 11. Once all of the all-reduces have finished and the global norm has been computed, we can apply the parameter updates. Like backpropagation, the parameter updates proceed resblock-by-resblock. The first step is to compute the decompressed gradients by forming the product for all parameters in a given resblock. To avoid overflow, these products are computed in 32-bit precision. We can then apply the Adam update to the parameters using the decompressed gradients and the global norm computed in step (9). If the global norm is not finite, then the update to the parameters and Adam moments is skipped. We note that the decompressed gradient must be divided by the scale of the ang matrix ( ang matrix ay ibinigay nang walang scaling pagkatapos ng orthogonalization). ang pqt Q P 12. The second step is the update to the error buffers. First, we use the results from step (10) to check if the and Ang mga matrices para sa isang given parameter shard ay naglalaman lamang ng finite na mga halaga. Kung ito ay ang kaso, pagkatapos ay i-divide ang decompressed gradient sa total na bilang ng mga makina, at i-subtract ito mula sa kasalukuyang halaga para sa error buffer. Ito ay itakda ang error buffer sa pagitan ng ang "local" gradient na may average sa GPUs sa machine na gumagamit ng reduc-scatter, at ang "remote" decompressed gradient (i.e., ang "error"). Kung o sa Nagtataka kung ano ang ibig sabihin ng pag-ibig upang pumunta sa banyo, at kung ano ang ibig sabihin ng pag-ibig upang pumunta sa banyo, at kung ano ang ibig sabihin ng pag-ibig upang pumunta sa banyo, at kung ano ang ibig sabihin ng pag-ibig upang pumunta sa banyo, at kung ano ang ibig sabihin ng pag-ibig upang pumunta sa banyo, at kung ano ang ibig sabihin ng pag-ibig upang pumunta sa banyo, at kung ano ang ibig sabihin ng pag-ibig upang pumunta sa banyo. P Q P Q Ang mga parameter shards na ang mga gradients ay hindi na-compressed ay in-update separately. We also note the following important optimizations: May ilang mga pagkakataon para sa pag-upload sa pagitan ng computing at komunikasyon sa mga patakaran sa itaas. Halimbawa, habang kami ay gumagana ang patakaran (2) para sa resblock , maaari naming pumunta sa mga step (3)–(8) para sa lahat ng resblocks Ang pag-exploit ng mga pagkakataon para sa overlap ay kinakailangan upang makakuha ng mahusay na pagganap. i ang > i Ang pag-aayos ng mga pag-aayos ay maaaring magpapatuloy ang lahat ng available memory. Halimbawa, kami lamang magpapatuloy ang mga parameter mula sa nakaraang resblock kapag ang mga pag-aayos ng reduc-scatter ay nagsisimula para sa kasalukuyang ito. Kung hindi, kami ay may risk ng pag-aayos ng memory sa pamamagitan ng pag-aayos sa lahat ng mga parameter. Kami din magpapatuloy ang mga update ng Adam, upang hindi namin decompress ang lahat ng mga gradients sa isang beses. 3. There are two places in the implementation where the transposition matters: (a) the choice of shard axis for the MLP matrices and (b) whether we compute the low-rank factorization for a gradient or its transpose. The former influences the bandwidth analysis, which we present in Section Ang ikatlong ito ay nagpapakita na ang gradient G ay m × n at ang kanyang mga low-rank factors P at Qt ay m × r at r × n, respectively, na may r m, n. Upang gawin ang orthogonalization mas madali, i-transpose ang G sa katunayan upang m <= n. E.1 Sa unang tingin, ito ay maaaring magiging isang limitasyon na ang NCCL all-gathering at reduc-scatter primitives shard along axis 0 lamang. Maaari naming mag-transpose ang ilang mga matrices bago at pagkatapos ng mga operasyon ng komunikasyon dahil sa (a) at (b), na kung saan ay nangangailangan ng karagdagang oras at posibleng espesyal na pag-atake upang makuha ang mga error sa out-of-memory. Sa katotohanan, hindi namin na kailangan upang gawin ito. Ito ay dahil kami ay nag-alagad ng ilang ng mga parameter sa kanilang mga transpose format at inihahanda ang transpose_a at transpose_b parameter ng mga matrice multiplication kernels na ginagamit sa forward propagation, backpropagation, at mga hakbang (1)–(13) sa itaas. Ito ay nagbibigay 4. sa step (12) sa itaas, tinatanggap namin na ang pag-set ng error buffers sa zero too often can cause performance regressions. Kami ay nais upang hindi gawin ito kapag nagsimula ang pagsasanay mula sa isang checkpoint, na kung saan ay karaniwang lumabas para sa mas mataas na mga trabaho dahil may karaniwang posibilidad na ang isang machine ay magkakaroon ng periodic failure. Naively, ito ay nangangailangan ng pag-upload ng error buffers mula sa lahat ng mga makina kasama ang mga model checkpoints. Dahil ginagamit namin ang isang total ng 128 makina para sa pagsasanay, ito ay nagdadala sa 128 beses na mas mataas na paggamit ng storage, na kung saan ay napakasakit na mahal. Fortunately, this is unnecessary, as error correction depends only on the sum of the error buffers. This property follows from linearity and the sequence of operations used by PowerSGD. Hence, it suffices to store the sums of the errors buffers taken across all GPUs with the same ordinal. When resuming from a checkpoint, we can divide the error buffers by the total number of machines and broadcast them. F. Mga Detalye para sa Human Evaluation Experiments Nagsimula kami sa isang listahan ng 1000 mga subtitle at lumikha ng isang sample na larawan sa bawat modelo sa bawat subtitle. Ang subtitle at sample na imahe ay ginagamit pagkatapos upang lumikha ng 1000 mga paghahatid ng imahe sa bawat eksperimento, na inilathala kami sa Amazon's Mechanical Turk. Ang bawat task ay na-respond sa pamamagitan ng limang iba't ibang mga trabaho. Ang mga nagtatrabaho ay kinakailangan upang lumikha ng dalawang imahe at mag-sagot ng dalawang mga tanong tungkol sa mga ito: (1) kung ano ang imahe ay pinaka-realistic, at (2) kung ano ang imahe ay karaniwang matugunan sa pag-share ng subtitle. Ang mga eksperimento na ibinigay sa mga trabaho ay nagpapakita sa Figure Ang mga solusyon ng isang worker ay disqualified dahil sa isang mataas na rate ng disagreement sa iba pang mga worker kasama ang isang mabilis na solusyon speed (na may maraming mga oras ng pag-submission sa ilalim ng 4 segundo); lahat ng iba pang worker mga solusyon ay tinatanggap. 13 G. Zero-Shot Image-to-Image Translation ng mga imahe Figure nagpapakita ng higit pa ng mga halimbawa ng translation ng zero-shot image-to-image, na tinutukoy namin sa Seksyon . We did not anticipate that this capability would emerge, and made no modifications to the training procedure to encourage it. 14 3.3 This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv This paper is Sa ilalim ng CC by 4.0 Deed (Attribution 4.0 International) lisensya. Available sa archive