DALL·E څیړنې کاغذ: د لوړ کيفيت انځور تولید پرته د روزنې لیبل کارولو پرته

د نویسنده: Aditya Ramesh د مایکل Pavlov جابري Goh سکاټ ګری د چیلسی Voss د الک Radford مارک Chen د نندارتون د نویسنده: د ریموټ د مایکل Pavlov جابري Goh سکاټ ګری د چیلسی Voss د الک Radford مارک Chen د نندارتون د Zero-Shot Text-to-Image نسل 1. د نندارتون عصري ماشین زده کړې لارښوونه text to image synthesis پیل شو د کار د ( ), کوم چې ښيي چې د ډرایو (د فورمه ) د جنراتور ماډل، کله چې د انځور ټاپونو کې شرایط ته پراختیا شي، کولی شي د نوي بصری سټینونه هم تولید کړي. (د فورمه ) وروسته ښيي چې د generative adversarial شبکې په کارولو سره ( د ), په پرتله د تکرار variational اتوماتیک کوډر، د انځور د تصدیق ښه. (د فورمه ) ښيي چې دا سیسټم نه یوازې د ځانګړو ځانګړتیاوو سره د اجزاو تولید کړي، خو هم کولای شي په ټول ډول ډولونو کې شامل شي. د نندارتون او al. 2015 ګرځنده او al. 2015 Reed او ال. د 2016B ښه راغلاست او al. 2014 Reed او ال. د 2016B د نړيوال په راتلونکي کلونو کې، پرمختګ د ترکیبو په کارولو سره ادامه کړ. دا شامل دي چې د ګرځنده ماډل آرکټیکټیک سره بدلونونه لکه د ډیری کچه د جنراتورونه ( د د )، د مراقبت او د ساتنې ضایعاتو شامل کول ( د )، او د اضافي سرچینو څخه د معلوماتو د شرایطو څخه بهر یوازې متن ( د د د د د همدارنګه د جنګ او ال. 2017 2018 یو او یو. 2018 د Reed او د د 2016A لی او ال. 2019 کور او ال. 2021 په انفرادي ډول، ( ) د شرایطي انځور د توليد لپاره د انرژۍ پر بنسټ جوړښت وړاندې کوي چې د نمونې کیفیت په پرتله د Contem-porary روشونو په پرتله لوی ښه راغلاست. دوی لارښوونې کولی شي مخکښ discriminative ماډلونه شامل کړي، او دوی ښيي چې دا کولی شي text-to-image توليد کړي کله چې په MS-COCO کې مخکښ شوي نمونې ماډل کې کارول کیږي. نور وروستيو، (د فورمه ) هم د يو پروژې وړاندیز کوي چې د مخکښ cross-modal مخکښ ژور ماډل ته د انټرنټ په اړه د ګټورولو شامل دي. په داسې حال کې چې د بصری اعتبار په اړه د مهمو زیاتوالي د کار په پایله کې شتون لري. (د فورمه ) نمونې کولی شي په داسې حال کې هم د سخت artefacts لکه Object غلطت، غیر منطقي Object ځای، او يا غیر طبيعي مخلوط د مخکښ او مخکښ عناصر له امله درلوده. د نندارتون او ال 2017 د او د 2020 د نندارتون او al. 2015 د وروستیو پرمختګونه د لوی کچه تولیدی ماډلونو له خوا د پیاوړي پرمختګونو وړاندیز کوي. په ځانګړې توګه، کله چې کمپیوټر، ماډل اندازه، او د معلوماتو په کچه کچول کیږي په دقت کې، د اتریژیزو تبادلې ( د ) په مختلفو ډومینونو کې د اغیزمنو پایلې ترلاسه کړ لکه text ( د ), images ( د ) او audio ( د همدارنګه د نندارتون او al. 2017 ریډورډ et al. 2019 د چين او al. 2020 د نندارتون او al. 2020 By comparison, text-to-image generation has typically been evaluated on relatively small datasets such as MS-COCO and CUB-200 ( د ). آیا د ډاټا سیټ اندازه او ماډل اندازه د اوسني لارښوونې محدود عوامل وي؟ په دې کار کې، موږ ښيي چې د انټرنیټ څخه جمع شوي 250 میلیونه انځور-نقانونه جفتو کې د 12 میلیارده پارامتر-ایتر اتروګراسیو ترانسپورټر روزنه د انځورونو د انعطاف وړ، لوړ اعتبار د تولید ماډل له لارې د طبيعي ژورلو له لارې کنټرول کیږي. Welinder et al. 2010 د پایلو سیستم د مشهور MS-COCO ډاټا سیټ کې د لوړ کیفیت انځور توليدوي ، پرته له کوم د روزنې لیبلونو کارولو پرته. دا ترټولو ترټولو ترټولو غوره دی چې د ډیټاټاټ په اړه د انسان ارزیابیونکي له 90٪ وخت کې روزل شوي کارونه. موږ هم په پایله کې لرو چې دا کولی شي د پیچلي کارونو لکه د انځور-to-صور ترانسپورت په لومړني کچه ترسره کړي. دا مخکې د ګمرکولو لارښوونې ته اړتيا لري ( د ), په پرتله د یو واحد، لوی generative ماډل وړتیا په توګه وده ورکړي. د نړيوال د انډول او ال. 2017 2. د نمونوي زموږ هدف دا ده چې د ترانسپورټر (Vaswani et al., 2017) ته د متن او انځور ټوکنونو د واحد ډاټا جریان په توګه د اتوماتیک ماډل کولو لپاره روزل کړي. په هرصورت، په مستقیم ډول د انځور ټوکنونو په توګه پیکسلونه کارولو لپاره د عالي حل انځورونو لپاره غیرقانوني مقدار یادښت ته اړتيا لري. احتمالي هدفونه معمولا د پیکسلونو په منځ کې د مختصر رینج بستېو ماډل کولو ترټولو ترټولو ترټولو ترټولو غوره کړي (Salimans et al., 2017), نو د ماډل کولو ظرفیت د لوړ فریکونسي معلوماتو په ځای د ټیټ فریکونسي جوړښت چې ما ته د اجزاو په بصری ډول تشخیص ورکوي. موږ د دوامداره روزنې پروسه په کارولو سره د دې ستونزو سره حل کوو، ورته چې (Oord et al., 2017; Razavi et al., 2019): موږ د مختلفو بدلونونو اتوماتیک کوډر (dVAE)1 تمرین کوو ترڅو هر 256×256 RGB انځور د 32×32 انځور ټکینګ بڼې ته کم کړي، کوم چې هر عنصر د 8192 امکاناتو وړاندیز کولی شي. دا د انټرنیټ اندازې سره د 192 فابريکه کموي په بصری کیفیت کې لوی خراب کولو پرته (د انځور 1 وګورئ). • Stage 1. We concatenate up to 256 BPE-encoded text tokens with the 32 × 32 = 1024 image tokens, and train an autoregressive transformer to model the joint distribution over the text and image tokens • Stage 2. په ټولیزه پروسه کې کولی شي د ټیکنونو په اړه د ټیکنونو د ټیکنونو (ELB) (Kingma & Welling, 2013; Rezende et al., 2014) د انځورونو x، captions y، او د کوډ شوي RGB انځور لپاره د ټیکنونو z په اړه د نمونې ټیکنونو (Kingma & Welling, 2013; Rezende et al., 2014) په ګډه احتمالي توګه لیدل شي. موږ د factorization pθ،ψ(x، y، z) = pθ(x Átha y، z)pψ(y، z)، چې د ټیکنونو ټیکنونو د ټیکنونو په کارولو سره د دې توزیع نمونې کله چې: • qφ د dVAE انډولر له خوا د RGB انځور x 2 له خوا تولید شوي 32 × 32 انځور ټوکنونو په اړه توزیع کاوه؛ • pθ د dVAE decoder له خوا تولید شوي RGB انځورونو په اړه د توزیع ته اشاره کوي چې د انځور ټکینونه ورکوي؛ او • pψ د ټیکن ټیکنونو په اړه د ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن ټیکن. په یاد ولرئ چې محدودیت یوازې د β = 1 لپاره لري، مګر په عملياتو کې موږ د لوی ارزښتونو په کارولو سره مرسته کوو (Higgins et al., 2016). د لاندې زیربنا د دوو مرحلهونو په تفصيل کې بیان کوي.3 2.1 مرحله لومړی: د Visual Codebook زده کول د روزنې لومړي مرحله کې، موږ د ELB په اړه φ او θ، چې یوازې د انځورونو په اړه د dVAE روزنې سره مطابقت لري، اعظمي کړي. موږ د لومړنۍ مخکې pψ ته د K = 8192 codebook وکتورونو په پرتله یوځای کټګوریل توزیع ته تنظیم کوو، او qφ به د 8192 logits په ورته فضا ځای کې د 32×32 grid پایلو کې په پرتله کټګوریل شوي کټګوریل توزیعونه وي. د ELB اوس د ګټورولو لپاره سخت وي: لکه څنګه چې qψ د بې ساري توزیع دی، او موږ کولی شو د reparameterization gradient کارولو لپاره د دې لپاره کار واخلئ. Oord et al. (2017); Razavi et al. (2019) د آنلاین کټګوری موږ په بدیل کې د gumbel-softmax آرامۍ کاروي (Jang et al., 2016; Maddison et al., 2016), د qφ په اړه د انتظار د q τ φ په اړه یو بدلون، چې په دې کې د آرامۍ د تودوخه د تودوخه τ → 0. د pθ احتمال د log-laplace توزیع په کارولو سره تبادله کیږي (د derivation لپاره د اضافي A.3 وګورئ). د آرام ELB د Adam (Kingma & Ba, 2014) په کارولو سره د عادلانه وزن شوي iterate متوسط سره maximized. Appendix A.2 د hyperparameters بشپړ توضیحات وړاندې کوي، مګر موږ په ځانګړي ډول د مستحکم روزنې لپاره په ځانګړي ډول مهم وي: • د رخصتۍ د حرارت درجه او پړاو اندازه لپاره ځانګړي رخصتۍ جدولونه. موږ ښيي چې رخصتۍ τ ته 1/16 د رخصتۍ validation ELB او د حقیقي validation ELB سره qφ intsead د q τ φ تر منځ د رخصتۍ بندولو لپاره کافی دی. • د کوډر په پای کې او د کوډر په پیل کې د 1 × 1 convolutions کارول. موږ په پایله کې چې د relaxation په څیر د convolutions لپاره د receptive field size کمولو دا په حقیقت کې د ELB ته ښه عمومي کړي. • د کوډر او decoder resblocks څخه د اخستلو فعاليتونه د کوچني ثابت په لټه کې ورکړئ، د لومړني کولو په وخت کې ثابته روزنې تضمین کړي. موږ هم ښيي چې د KL وزن د β = 6.6 ته وده ورکولو د codebook کارولو ښه کولو ته وده ورکوي او په پایله کې د روزنې په پایله کې د کوچني rekonstruction غلطۍ ته وده ورکوي.4 2.2. د دوهم مرحله: د مخکښ یادونه په دویم مرحله کې، موږ او ، او د متن او انځور ټکینونو په اړه د مخکښ توزیع زده کړئ د ELB په اړه د لوړولو له لارې . Here, د 12 میلیارده parameter sparse ترانسپورت ( د همدارنګه φ θ ψ د PPS د ماشومانو او ال. 2019 لکه څنګه چې موږ د BPE-coding ( د ) د ټوکن څخه کم تر 256 ټوکنونه کاروي د کلمې اندازه 16 * * 384 سره، او د انځور کوډ کړئ د 32 x 32 = 1024 ټکین سره د کلمې اندازه 8192 سره. د انځور ټکینونه د dVAE کوډر لګټونو څخه د argmax نمونه کولو په کارولو سره ترلاسه شوي دي، د Gumbel صدا اضافه نه کوي.[6] (#_bookmark14) په پایله کې، د متن او انځور ټکینونه د معلوماتو په یوه واحد جریان په توګه د انټرروګریسیو ماډل شوي دي. د نندارتون او al. 2015 5 د ترانسپورټر د decoder-only ماډل دی چې په دې کې هر im- age token کولی شي د خپل 64 self-attention layers په هر ډول کې د ټولو متن tokens ته اړتيا لري. د بشپړ آرکټیکټیکټ په Ap- پینګکس کې بیان شوی دی. . There are three different kinds of self-attention masks used in the model. The part of the attention masks corresponding to the text-to-text attention is the standard causal mask, and the part for the image-to-image attention uses either a row, column, or convolutional attention mask. د B1 7 موږ د متن ټیکټ اوږدوالی ته 256 ټکین ته محدود کوو، که څه هم په بشپړه توګه واضح نه ده چې د وروستۍ متن ټکین او د انځور پیل ټکین ترمنځ د "پادنگ" پوزیشنونو لپاره څه کړي. یو اختیاري دا ده چې د دې ټوکنونو لپاره د لیګټونه په ځان تمرکز عملیاتونو کې −∞ ته تنظیم کړئ. په عوض، موږ د 256 متن ځایونو په هر ډول لپاره د ځانګړي پوډینګ ټوکن د زده کولو لپاره انتخاب کوو. دا ټوکن یوازې کله چې هیڅ ټوکن شتون نلري کارول کیږي. په Conceptual Captions (Sharma et al., 2018) په لومړنۍ تجربو کې، موږ ښیي چې دا د تصدیق کمښت لوړ کړي، مګر د توزیع څخه بهر د ټوکنونو کې ښه کړنو. موږ د متن او انځور ټوکنونو د cross-entropy کڅوړې د ډیټابیس کې د هر ډول په مجموعي کڅوړې سره normalizes. Since we are primarily interested in image modeling, we multiply the cross-entropy loss for the text by 1/ / ،000 انځورونه د تصدیق لپاره، او د convergence په وخت کې د overfitting نشه نلري. 8 and the cross-entropy loss for the image by 7 8. د اټکل د اډیم په کارولو سره د اټکل اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ اوټریټ. د 2 2.3. د معلوماتو د جمعولو زموږ د 1.2 میلیارده پارامترونو لپاره د ماډلونو لپاره لومړني تجربو په Conceptual Captions کې ترسره شوي دي، د 3.3 میلیارده متن - انځور جفتونو ډاټا سیټ چې د MS-COCO پراختیا په توګه پراختیا شوي دي ( د همدارنګه لین او ال. 2014 د 12 میلیارده پارامترونو ته اندازه کولو لپاره، موږ د JFT-300M په څیر د ډاټا سیټ جوړ کړ ( د ) د انټرنیټ څخه د 250 میلیونه ټیک ټیک ټیټ انځورونه راټول کړي. دا ډاټا سیټ د MS-COCO نه شامل دي، مګر د Conceptual Captions او د YFCC100M چاپیریال لاندې سیټونه شامل دي ( د ). لکه څنګه چې MS-COCO له دې وروستيو څخه جوړ شو، زموږ د روزنې ډاټا شامل دي د MS-COCO تصدیق انځورونه (ګر د نومونو څخه نه). موږ د دې لپاره په برخه کې ښودل شوي کچه پایلې کې کنټرول کوو and find that it has no appreciable bearing on the results. We provide further details about the data collection process in Appendix . د سور او ال. 2017 د نندارتون او al. 2016 3 C 2.4. Mixed-Precision Training د GPU حافظه خوندي کولو او د رسولو زیاتولو لپاره، ډیری پیرامیټرونه، د اډم وختونه، او فعاليتونه په 16 بټ دقت کې ذخیره شوي دي. موږ هم د فعاليت چیک پینټینګ کاروي او د ریبلوکونو کې د فعاليتونو په وخت کې راټول کړي. د موډل لپاره د 16 بټ پیرامیټونو په اوږدو کې د 1 میلیارده پارامترونو په اوږدو کې، د تفریحی کولو پرته، د دې پروژې تر ټولو چټک برخه وه. موږ باور لرو چې د دې غیرقانوني سبب د 16 بټ gradients په زیر جریان کې وي. ښيي د لارښوونې ټولګه چې موږ جوړ شو ترڅو په پراخه کچه د جنراتور ماډلونو روزنې کې د زیربنا څخه مخنیوي. دلته، موږ د دغو لارښوونې څخه یو بیان کوو: per-resblock gradient scaling. D لکه څنګه چې د مخکښ کار ( د )، موږ په پایله کې چې د resblocks څخه د فعاليت gradients نندارتونونو په نندارتون کې راټول کیږي لکه څنګه چې موږ د مخکښ resblocks څخه د مخکښ resblocks ته لاړ شئ. لکه څنګه چې د نمونوي په عالي او پراخه توګه جوړ شي، د وروسته res- بلوکونو لپاره د فعاليت gradients حقیقي exponents کولی شي د 16-bit فارمټ لږ تر لږه exponent نیسي. په پایله کې، دوی ته د 0 ته راټول شي، یو phe- نانوون نومول کیږي. موږ پایله کوو چې د un-derflow حذف کولو لپاره د konvergence لپاره د ثابت روزنې اجازه ورکړي. لوي او ال. 2020 8 underflow د معياري کټګورۍ کټګورۍ ( د ) is able to avoid underflow when the range spanned by the smallest and largest activation gradients (in absolute value) fits within the exponent range of the 16-bit format. On NVIDIA V100 GPUs, this exponent range is specified by five bits. While this is sufficient for training vanilla language models of the same size, we found the range to be too small for the text-to-image model. د مایکروسافټ او al. 2017 زموږ حل، چې په انځور کې ښيي ، د ګراډینټ کچه د هر resblock په ماډل کې د ګراډینټ کچه کارولو شامل دي. دا د ګراډینټ کچه لپاره د ګراډینټ کچه کارولو لپاره د ګراډینټ کچه کارولو لپاره د ګراډینټ کچه کارولو لپاره د ګراډینټ کچه کارولو لپاره د ګراډینټ کچه کارولو لپاره د ګراډینټ کچه کارولو لپاره د ګراډینټ کچه کارولو لپاره د ګراډینټ کچه ( د )، سره د ګټې چې تخصصي GPU کارپوهونه اړتیا نلري. موږ دا کشف کړ (د فورمه ) had independently developed similar procedure for training con- volutional networks in 4-bit precision. 4 کڅوړه او د 2017 د سور او ال. 2020 2.5. د توزیع شوي غوره کولو زموږ د 12 میلیارده پارامتر ماډل د 16 بټ دقت کې ذخیره کولو په اړه 24 GB حافظه مصرف کوي، کوم چې د 16 GB NVIDIA V100 GPU د حافظه څخه زیات دی. موږ د پارامتر sharding په کارولو سره دا حل کوو ( د ) لکه څنګه چې په انځور کې ښيي ، parameter sharding به موږ ته اجازه ورکوي چې تقریبا په بشپړه توګه د ماشین په داخله اړیکو د اوږدوالي سره د کمپيوټر-توليدونو په کارولو سره پوښښ. د نندارتون او ال. 2019 5 د ګرځنده ماډل لپاره کارول شوي کټګورۍ کې، د بیلابیلو بیلابیلو ماشینونه د ګرځنده بیلابیلو ماشینونو په پرتله ډیر کم دي. دا د ګرځنده کارولو لګښت کارول کیږي چې د ماشینونو په منځ کې د ګراډینټ په منځ کې کارول کیږي (د ټولو کمولو) د اصلي بوتل د روزنې په وخت کې. موږ کولی شو د ګرځنده ګرځنده کارولو سره د PowerSGD کارولو سره دا لګښت کم کړي. ( د همدارنګه پرانیستې او ال. 2019 زموږ د عملیاتو کې، په ماشین کې د هر GPU د پارامتر shard gradients لپاره د ټیټ رینج عوامل محاسبه کوي- په اړه د خپل ختیځ GPUونو په اړه. Once the low-rank factors are computed, each machine sets its error buffer to the residual between the uncompressed gradient averaged over its eight GPUs (obtained from reduce-scatter), and the decompressed gradient obtained from the low-rank factors. 9 PowerSGD د لوی اړیکو عملیات لپاره د غیر فشار شوي پارامتر gradient سره دوه، ډیر کوچني اړیکو عملیاتونه د خپل ټیټ رینج عوامل له امله بدلوي. د یو ډاټا کمپرسۍ رینج r او د ترانسپورت فعاليت اندازه dmodel لپاره، د کمپرسۍ کچه د 1 − 5r / (8dmodel) (د بیلګه E.1 وګورئ) دی. جدول 1 ښيي چې موږ کولی شو د 85٪ په اړه د کمپرسۍ کچه ترلاسه کړي، د ماډل اندازه له مخې. په اضافي ، موږ د مختلفو معلوماتو په اړه بیان کوو چې اړتیا لري چې د PowerSGD په کچه ښه کار وکړي. دا شامل دي: د 2 • د یادښت د backpropagation په وخت کې د بریښنا پمپونو کې د gradient اکسي، نه د انفرادي پمپونو په پرتله. • د انټرنټونو د کمولو لپاره چې موږ د بریښنا پافوررونو څخه کم کړي (د بیلګې په توګه، د غیر محدود ارزښتونو له امله چې د مخلوط دقت backpropagation په لټه کې دي، یا کله چې د چیک پټ څخه روزنې ته وده ورکړي). • د ګرام-Schmidt بدلون په کارولو سره د هټډر orthogonalization کارولو له لارې د شمول د شمولیت مټیکس د کوچني ډیری اضافه کولو سره شمول د شمولیت orthogonalization. • د بریښنا پمپونو، د دوی د ټیټ رینج عوامل، او د دوی په ګډون د ټولې کمېسيون مواصلات لپاره د ګمرکولو 16 بټیټ پلټنې ټیټ فارم کارولو له لارې د زیربنا څخه مخنیوی کول. موږ هم د تودوخې پیل کولو پروسه وګورئ د matrix په اړه (د فورمه ) ته اړتیا نلري: موږ کولی شو له خوا د fixing برابرې پايلې ترلاسه کړي د روزنې په پیل کې په لټه کې Gaussian مټریکس ته ونیسئ، او هیڅکله دا تازه نه کوي. Q Vogels et al. 2019 Q 10 2.6 د نمونې نسل Similar to (د فورمه ), we rerank the samples drawn from the transformer using a pretrained contrastive model ( د ). د نښلیدو او د تاریخ انځور له امله، د تناوبو ماډل په اساس د انځور د نښلیدو سره څومره برابروي. انځور ښيي د نمونې شمېر زیاتولو اغیز له کوم چې موږ غوره کوو انځورونه. دا پروسه کولی شي د ژور څیړنې ډول وګورئ ( د ) ، او هم په ورته ډول دی چې د مسلکي متن-تصاویر سره مطابقت کولی شي چې د (د فورمه که څه هم بل ندي، ټول نمونهونه چې د کیفیتي او مقداري پايلې لپاره کارول شوي دي د حرارت درجه کمولو پرته ترلاسه شوي دي. = 1) (د انځور په پرتله) ) او د Reranking سره کارول = د 512 د نندارتون او ال. 2019 ریډورډ et al. 2021 6 N k د اندرس او ال. 2017 یو او یو. 2018 t 2 N 3. Experiments 3.1. Quantitative Results We evaluate our model zero-shot by comparing it to three prior approaches: AttnGAN ( , ), DM- GAN ( , ), and DF-GAN ( , ), the last of which reports the best Inception Score ( , ) and Fréchet Inception Distance ( د ) په MS-COCO. انځور qualitatively compares sam- ples from our model to those from prior work. یو او یو. 2018 Zhu et al. 2019 Tao et al. 2020 Salimans او د 2016 Heusel et al. 2017 3 We also conduct a human evaluation similar to the one used in ( ) to compare our approach to DF-GAN, the results of which are shown in Figure . Given a caption, the sample from our model receives the majority vote for better matching the caption 93% of the time. It also receives the majority vote for being more realistic 90% of the time. Koh et al. 2021 7 Figure (a) ښيي چې زموږ د ماډل د MS-COCO په اړه د FID پايلې د غوره مخکښ لارښوونې څخه د 2 پايلې په پرتله ترلاسه کوي، په هرصورت چې موږ هیڅکله د نومونو په اړه روزل شوي ندي. زموږ روزنې ډاټا د YFCC100M فلټر شوي زیربنا شامل دي، او موږ ښيي چې دا د MS-COCO تصدیق سیټ کې د 21٪ د انځورونو په اړه شامل دي چې د راتلونکي برخه کې بیان شوي de-duplication پروسه له امله. د دې اغیز په انفرادي کولو لپاره، موږ د تصدیق سیټ لپاره د FID اټکلونو په اړه د دغو انځورونو سره او د دوی سره (سایلو لړۍ) پرته (اچلو لړۍونه) حساب کوو، د پايلې په اړه هیڅ 9 د dVAE انکوډر څخه د ټیکنونو په اړه د ټرانسپورټر روزنه موږ ته اجازه ورکوي چې د دې ماډل کولو ظرفیت ته د ټیټ فریکونسۍ معلوماتو ته تادیه کړي چې د انځورونو له موږ ته د بصری توګه recognisable ورکوي. په هرصورت، دا د ماډل هم ناڅاپي کوي، ځکه چې د سخت کمښت دا د لوړ فریکونسۍ تفصيلاتو تولید کولو لپاره غیر فعال کوي. د دې اغیزې په کچه ارزښتونو کې ازمايښت کولو لپاره، موږ د FID او IS په انځور کې محاسبه کوو (a) after applying a Gaussian filter with varying radius to both the validation images and samples from the models. Our approach achieves the best FID by a margin of about 6 points with a slight blur of radius 1. The gap between our approach and others tends to widen as the blur radius is increased. We also obtain the highest IS when the blur radius is greater than or equal to two. 9 Our model fares significantly worse on the CUB dataset, for which there is a nearly 40-point gap in FID between our model and the leading prior approach (Figure (b)). We found an 12% overlap rate for this dataset, and again ob- served no significant difference in the results after removing these images. We speculate that our zero-shot approach is less likely to compare favorably on specialized distributions such as CUB. We believe that fine-tuning is a promising direction for improvement, and leave this investigation to future work. Samples from our model for captions in this dataset are shown in Figure . 9 8 په پای کې، Figure (ج) د MS-COCO لپاره د FID او IS په واضح ډول پرمختګونه ښيي لکه څنګه چې د تناوبو ماډل سره د راټولولو لپاره کارول شوي نمونې اندازه زیات کیږي. دا ټینډ د نمونې اندازه 32 ته دوام ورکوي، وروسته چې موږ د کمولو موخې وګورئ 9 3.2. Data Overlap Analysis We used the deduplication procedure described in ( ) to determine which images to remove. For each validation image, we find the closest image in the training data using a contrastive model specifically trained for this task. We then sort the images in descending order by closeness to their nearest matches in the training data. After inspecting the results by hand, we determine the images to remove by manually selecting a conservative threshold designed to minimize the false negative rate. Radford et al. 2021 3.3. Qualitative Findings We found that our model has the ability to generalize in ways that we did not originally anticipate. When given the caption “a tapir made of accordion...” (Figure ), the model appears to draw a tapir with an accordion for a body, or an accordion whose keyboard or bass are in the shape of a tapir’s trunk or legs. This suggests that it has developed a rudimentary ability to compose unusual concepts at high levels of abstraction. 2a Our model also appears to be capable of combinatorial gen- eralization, such as when rendering text (Figure ) or when probed on sentences like “an illustration of a baby hedgehog in a christmas sweater walking a dog” (Figure ). Prompts like the latter require the model to perform variable bind- ing ( , ; , ) - دا د هګۍ هګۍ دی چې د کریسمس سټریټ کې دی، نه د سگې. موږ په هرصورت په یاد ولرئ چې د ماډل په کار کې غیرقانوني کار کوي، ځینې وختونه د دوو حیواناتو سره د کریسمس سټریټونه ډیزاین کوي، یا یو هګۍ ډیزاین کوي چې د کوچنۍ هګۍ پیښو کوي. د 2B 2c Smolensky 1990 ګرځنده او al. 2020 To a limited degree of reliability, we also find our model to be capable of zero-shot image-to-image translation controllable by natural language (Figure 2d). When the model is given the caption “the exact same cat on the top as a sketch at the bottom” and the top 15 × 32 part of the image token grid for a photo of a cat, it is able to draw a sketch of a similar looking cat on the bottom. This works with several other kinds of transformations, in- cluding image operations (e.g., changing the color of the image, converting it to grayscale, or flipping it upside-down) and style transfer (e.g., drawing the cat on a greeting card, a postage stamp, or a cell phone case). Some transformations, such as those that involve only changing the color of the animal, suggest that the model is capable of performing a rudimentary kind of object segmentation. We provide addi- tional examples of zero-shot image-to-image translation in Section . G 4. Conclusion We investigate a simple approach for text-to-image generation based on an autoregressive transformer, when it is executed at scale. We find that scale can lead to improved generalization, both in terms of zero-shot performance relative to previous domain-specific approaches, and in terms of the range of capabilities that emerge from a single generative model. Our findings suggest that improving generalization as a function of scale may be a useful driver for progress on this task. تصدیق We would like to thank Matthew Knight for reviewing the code release for this work, and Rewon Child, John Schul- man, Heewoo Jun, and Prafulla Dhariwal for helpful early feedback on the paper. We would also like to thank Jong Wook Kim for writing the PyTorch package for the con- trastive model described in (د فورمه ) that we used to rerank the samples from our model. Radford et al. 2019 References Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J. ، Devin ، M. ، Ghemawat ، S. ، Irving ، G. ، Isard ، M. ، et al. Tensorflow: د لوی اندازه ماشین زده کړې لپاره یو سیستم. په { د 12th USENIX symposium on operating systems design { } , pp. 265–283, 2016. and implementation ( OSDI 16) Andreas، J.، Klein، D. او Levine، S. د مخکښ زبانونو سره زده کړې. د 2017 کال arXiv preprint arXiv:1711.00482 Bengio, Y., Léonard, N., and Courville, A. Estimating or propagating gradients through stochastic neurons for con- ditional computation. د 2013 کال. arXiv مخکښ arXiv:1308.3432 Bowman, S. R., Vilnis, L., Vinyals, O., Dai, A. M., Joze- fowicz, R., and Bengio, S. Generating sentences from a continuous space. د 2015 کال. arXiv preprint arXiv:1511.06349 Chen, M., Radford, A., Child, R., Wu, J., Jun, H., Luan, D., and Sutskever, I. Generative pretraining from pixels. In , pp. 1691–1703. PMLR, 2020. International Conference on Machine Learning Child، R.، Gray، S.، Radford، A. او Sutskever، I. د لګولو اوږد سیسټمونو سره ضخامتو تبادلې. , 2019. arXiv preprint arXiv:1904.10509 Cho، J.، Lu، J.، Schwenk، D.، Hajishirzi، H.، او Kemb- havi، A. X-lxmert: د څو-مودال ترانسپورتونو سره پوهیږئ. , 2020. arXiv مخکښ arXiv:2009.11278 Deng، J، Dong، W، Socher، R، Li، L.-J، Li، K، او Fei-Fei، L. Imagenet: د لوی کچه جغرافیایی انځور بیس. په , pp. 248–255. Ieee, 2009. 2009 IEEE conference on computer vision and pattern recognition Dhariwal, P., Jun, H., Payne, C., Kim, J. W., Radford, A., and Sutskever, I. Jukebox: A generative model for music. , 2020. arXiv preprint arXiv:2005.00341 Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Ben- gio, Y. Generative adversarial networks. , 2014. arXiv مخکښ arXiv:1406.2661 Greff, K., van Steenkiste, S., and Schmidhuber, J. On the binding problem in artificial neural networks. د 2020 کال. arXiv preprint arXiv:2012.05208 Gregor, K., Danihelka, I., Graves, A., Rezende, D., and Wierstra, D. Draw: A recurrent neural network for im- age generation. In , pp. 1462–1471. PMLR, 2015. International Conference on Machine Learning He, K., Zhang, X., Ren, S., and Sun, J. Identity mappings in deep residual networks. In , pp. 630–645. Springer, 2016. European conference on computer vision Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., and Hochreiter, S. Gans trained by a two time-scale update rule converge to a local nash equilibrium. , 2017. arXiv preprint arXiv:1706.08500 Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Mohamed, S., and Lerchner, A. beta- vae: Learning basic visual concepts with a constrained variational framework. 2016. Isola, P., Zhu, J.-Y., Zhou, T., and Efros, A. A. Image-to- image translation with conditional adversarial networks. In , pp. 1125–1134, 2017. Proceedings of the IEEE conference on computer vi- sion and pattern recognition Jang, E., Gu, S., and Poole, B. Categorical repa- rameterization with gumbel-softmax. , 2016. arXiv preprint arXiv:1611.01144 Kingma, D. P. and Ba, J. Adam: A method for stochastic optimization. , 2014. arXiv preprint arXiv:1412.6980 Kingma, D. P. and Welling, M. Auto-encoding variational bayes. د 2013 کال. arXiv preprint arXiv:1312.6114 Koh، J. Y.، Baldridge، J.، Lee، H.، او Yang، Y. Text-to- انځور د توليد له خوا د ګرځنده ګرځنده کاروونکي تمرکز. په , pp. 237–246, 2021. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision Köster, U., Webb, T. J., Wang, X., Nassar, M., Bansal, A. K., Constable, W. H., Elibol, O. H., Gray, S., Hall, S., Hornof, L., et al. Flexpoint: An adaptive numerical format for efficient training of deep neural networks. , 2017. arXiv preprint arXiv:1711.02213 LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. Gradient- based learning applied to document recognition. , 86(11):2278–2324, 1998. Proceed- ings of the IEEE Li، W.، Zhang، P.، Zhang، L.، Huang، Q.، He، X.، Lyu، S.، او Gao، J. Object-driven text-to-image synthesis له لارې د مخالف تمرین. په , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition pp. 12174–12182, 2019. Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ra- manan, D., Dollár, P., and Zitnick, C. L. Microsoft coco: Common objects in context. In , pp. 740–755. Springer, 2014. د کمپيوټر بصری اروپايي کنفرانس Liu, L., Liu, X., Gao, J., Chen, W., and Han, J. Understand- ing the difficulty of training transformers. , 2020. arXiv preprint arXiv:2004.08249 Loshchilov, I. and Hutter, F. Decoupled weight decay regu- larization. , 2017. arXiv preprint arXiv:1711.05101 Maddison, C. J., Mnih, A., and Teh, Y. W. The concrete distribution: A continuous relaxation of discrete random variables. , 2016. arXiv preprint arXiv:1611.00712 Mansimov, E., Parisotto, E., Ba, J. L., and Salakhutdinov, R. Generating images from captions with attention. , 2015. arXiv مخکښ arXiv:1511.02793 Micikevicius, P., Narang, S., Alben, J., Diamos, G., Elsen, E., Garcia, D., Ginsburg, B., Houston, M., Kuchaiev, O., Venkatesh, G., et al. Mixed precision training. , 2017. arXiv preprint arXiv:1710.03740 Nguyen, A., Clune, J., Bengio, Y., Dosovitskiy, A., and Yosinski, J. Plug & play generative networks: Condi- tional iterative generation of images in latent space. In ، پی. 4467-4477، 2017 د کمپيوټر بصیرت او نمونې تشخیص په اړه د IEEE کنفرانس پروسه Oord ، A. v. d. ، Vinyals ، O. ، او Kavukcuoglu ، K. Neu- د غیرقانوني نمونې زده کړې. د 2017 کال arXiv preprint arXiv:1711.00937 Provilkov, I., Emelianenko, D., and Voita, E. Bpe-dropout: Simple and effective subword regularization. , 2019. arXiv preprint arXiv:1910.13267 Radford، A.، Wu، J.، Child، R.، Luan، D.، Amodei، D. او Sutskever، I. د زبانونو ماډلونه د ډیری وختونو زده کونکو غیر نظارت دي. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., and Sutskever, I. Learning transferable visual models from natural language supervision. 2021. Rajbhandari، S.، Rasley، J.، Ruwase، O.، او He، Y. Zero: د یادښت د ترمینل لپاره د ترمینل parameter ماډلونو روزل. , 2019. arXiv preprint arXiv:1910.02054 Razavi, A., Oord, A. v. d., and Vinyals, O. Generating diverse high-fidelity images with vq-vae-2. , 2019. arXiv preprint arXiv:1906.00446 Reed, S., Akata, Z., Mohan, S., Tenka, S., Schiele, B., and Lee, H. Learning what and where to draw. , 2016a. arXiv preprint arXiv:1610.02454 Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., and Lee, H. Generative adversarial text to image synthesis. In , pp. 1060–1069. PMLR, 2016b. International Conference on Machine Learning Rezende، D. J.، Mohamed، S.، او Wierstra، D. د Stochastic backpropagation او په عمیق gen- erative ماډلونو کې د تقاضا. , pp. 1278–1286. PMLR, 2014. International conference on machine learning Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., and Chen, X. Improved techniques for training gans. , 2016. arXiv preprint arXiv:1606.03498 Salimans، T.، Karpathy، A.، Chen، X.، او Kingma، D. P. Pixelcnn++: د pixelcnn سره د منطقي مخلوط احتمال او نورو تعدیلاتو د ښه کولو. د 2017 کال arXiv preprint arXiv:1701.05517 Sennrich, R., Haddow, B., and Birch, A. Neural machine translation of rare words with subword units. , 2015. arXiv preprint arXiv:1508.07909 Sharma, P., Ding, N., Goodman, S., and Soricut, R. Con- ceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In , pp. 2556– 2565, 2018. Proceedings of the 56th Annual Meeting of the Association for Compu- tational Linguistics (Volume 1: Long Papers) Smolensky, P. Tensor product variable binding and the representation of symbolic structures in connectionist systems. ، 46(1-2):159–216, 1990 د مصنوعي هوښيار Sun، C.، Shrivastava، A.، Singh، S.، او Gupta، A. د ډیجیټل زده کړې په عمر کې د معلوماتو غیرقانوني اغیزمنيت په لټه کې. ، pp. 843-852 ، 2017. Proceedings of the IEEE international conference on computer vision Sun, X., Wang, N., Chen, C.-Y., Ni, J., Agrawal, A., Cui, X., Venkataramani, S., El Maghraoui, K., Srinivasan, V. V., and Gopalakrishnan, K. Ultra-low precision 4-bit training of deep neural networks. , 33, 2020. Advances in Neural Information Processing Systems Tao, M., Tang, H., Wu, S., Sebe, N., Wu, F., and Jing, X.-Y. Df-gan: Deep fusion generative adversarial networks for text-to-image synthesis. , 2020. arXiv preprint arXiv:2008.05865 Thomee, B., Shamma, D. A., Friedland, G., Elizalde, B., Ni, K., Poland, D., Borth, D., and Li, L.-J. Yfcc100m: The new data in multimedia research. , 59(2):64–73, 2016. Communications of the ACM Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. Attention is all you need. , 2017. arXiv preprint arXiv:1706.03762 Vogels, T., Karimireddy, S. P., and Jaggi, M. Powersgd: Practical low-rank gradient compression for distributed optimization. , 2019. arXiv preprint arXiv:1905.13727 Welinder، P.، Branson، S.، Mita، T.، Wah، C.، Schroff، F.، Belongie، S. او Perona، P. Caltech-ucsd پرندې 200. Xu، T.، Zhang، P.، Huang، Q.، Zhang، H.، Gan، Z.، Huang، X. او He، X. Attngan: د انځور جوړولو لپاره د ټیکټونو په ټیکټونو کې د مخکښ جنراتور شبکې په کارولو سره. په , pp. 1316–1324, 2018. Proceedings of the IEEE conference on computer vision and pattern recognition Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., and Metaxas, D. N. Stackgan: Text to photo-realistic image synthesis with stacked generative adversarial net- works. In , pp. 5907–5915, 2017. د کمپيوټر بصیرت په اړه د IEEE نړیوال کنفرانس Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., and Metaxas, D. N. Stackgan++: Realistic image synthe- sis with stacked generative adversarial networks. , 41(8):1947–1962, 2018. IEEE transactions on pattern analysis and machine intelligence Zhu, M., Pan, P., Chen, W., and Yang, Y. Dm-gan: Dy- namic memory generative adversarial networks for text- to-image synthesis. In , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition pp. 5802–5810, 2019. A. د Discrete VAE لپاره تفصيلات A.1 د آرشیفیت The dVAE encoder and decoder are convolutional (LeCun et al., 1998) ResNets (He et al., 2016) with bottleneck-style resblocks. The models primarily use 3 × 3 convolutions, with 1 × 1 convolutions along skip connections in which the number of feature maps changes between the input and output of a resblock. The first convolution of the encoder is 7 × 7, and the last convolution of the encoder (which produces the 32 × 32 × 8192 output used as the logits for the categorical distributions for the image tokens) is 1 × 1. Both the first and last convolutions of the decoder are 1 × 1. The encoder uses max-pooling (which we found to yield better ELB than average-pooling) to downsample the feature maps, and the decoder uses nearest-neighbor upsampling. The precise details for the architectures are given in the files dvae/encoder.py and dvae/decoder.py of the code release. A.2. Training The dVAE is trained on the same dataset as the transformer, using the data augmentation code given in Listing . Several quantities are decayed during training, all of which use a cosine schedule: 1 1. The KL weight is increased from 0 to 6.6 over the first 5000 updates. ( ) use a similar schedule based on the sigmoid function. β Bowman et al. 2015 2. The relaxation temperature τ is annealed from 1 to 1/16 over the first 150,000 updates. Using a linear annealing schedule for this typically led to divergence. 3. The step size is annealed from 1 · 10−4 to 1.25 · 10−6 over 1,200,000 updates. د رخصتۍ د حرارت درجه او د ګام اندازه د ثبات او بریالیتوب لپاره په ځانګړي ډول مهم دي. موږ د پارامترونو په کارولو سره AdamW (Loshchilov & Hutter, 2017) سره β1 = 0.9, β2 = 0.999, = 10−8 ، او د وزن کثافاتو کثافاتو 10−4 کاروي. موږ د پارامترونو لپاره د کثافاتو کثافاتو کثافاتو 0.999 سره د انټرنټ معیارونه کاروي. په ELB کې د rekonstruction معیار د انځور پیکسلونو لپاره د 256 × 256 × 3 ارزښتونو په ګډه توزیع دی، او د KL معیار د کوډر له خوا د فضا د ریت د محصول کې د 32 × 32 موقعیتونو په ګډه توزیع دی. موږ د مجموعي کثافاتو له خوا 256 × 256 × 3 تقسیم کوو چې د KL معیار وزن β/192 وي، چې β د KL وزن دی. د ماډ A.3. The Logit-Laplace Distribution د 1 او 2 د rekonstruction هدفونه عموما په VAE روزنې کې کارول کیږي. دا هدفونه د Laplace او Gaussian توزیعونو لپاره د ln کارولو سره مطابقت لري. ( | ) in Equation , respectively. There is a strange mismatch in this modeling choice: pixel values lie within a bounded interval, but both of these distributions are supported by the entire real line. Hence, some amount of likelihood will be placed outside the admissible range of pixel values. l l د تیلو x y, z 1 موږ د Laplace توزیع یو متنوع وړاندې کوو چې د محدود intervals لخوا هم ملاتړ کیږي. دا د نمونوي شوي پیکسل ارزښتونو لړ او د دوی د نمونوي لپاره کارول شوي توزیع ملاتړ ترمنځ اختلاف حل کوي. موږ د تصادفي متغیر د pdf په پام کې ونیسئ چې د sigmoid فعالیت د Laplace توزیع شوي تصادفي متغیر ته غوښتل کیږي. دا pdf په (0*,* 1) کې تعریف شوي او د we call it the موږ د مساوي RHS لګاریت استعمال کوو لکه څنګه چې د dVAE د روزنې هدف لپاره د تجهيز وخت. logit-Laplace distribution. 2 The decoder of the dVAE produces six feature maps representing the sufficient statistics of the logit-Laplace distribution for the RGB channels of the image being reconstructed. The first three feature maps represent the parameter for the RGB channels, and the last three represent ln د انځور په dVAE کوډر کې د تغذیه مخکې، موږ د هغې ارزښتونه د کارولو سره بدلون : [0*,* 255] → ( 1 − ، کوم چې د µ b ϕ ϵ, ϵ دا د پیکسل ارزښتونو لړ محدود کوي چې د dVAE decoder لخوا ماډل شوي دي (*ε،* 1 *ε*)، کوم چې په مساوي کې د *x*(1 *x*) له امله د شمولیت ستونزې مخنیوی کوي [2] (#_bookmark82). موږ *ε* = 0*.*1 کاروي. د ګرځنده تفتیش یا محاسبات لپاره د انځور rekonstruction لپاره، موږ ln *b* او calculate *x* ̈ = *φ*−1(sigmoid(*μ*))، چې *μ* د dVAE decoder له خوا د لومړي درې ځانګړتیاو نقشهونه له خوا ورکړل کیږي.[11] (#_bookmark84) B. د Transformer لپاره تفصيلات B.1. Architecture Our model is a decoder-only sparse transformer of the same kind described in ( )، د انځور ټکینونو لپاره د کنټرول برخه لپاره د سپارلو لړۍ او لړۍ انډولونو سره. د زموږ د ماډل کې کارول شوي انډول سیسټم بشپړ تفصیل په انځور کې ښودل کیږي موږ د 64 تمرکز کچه کاروي، کوم چې هر ډول د 62 تمرکز سر سره د هر سر د حالت اندازه 64 کاروي. د ماشومانو او ال. 2019 10 د نمونوي په کارولو کې د نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې ( ). د ماشومانو او ال. 2019 B.2 د روزنې کله چې د ترانسپورټر روزنه، موږ د dVAE انډولر په کارولو سره د انځورونو لپاره د ډاټا انډول کولو مخکې د ډاټا انډول کولو کاروي. موږ د dVAE روزنه کولو لپاره کارول شوي ډاټا انډولونو څخه لږ بل کاروي. د دې لپاره کارول شوي کوډ په لیست کې دی . موږ هم د 10٪ BPE droppout کاروي کله چې د روزنې لپاره د BPE کوډونو لپاره. د ماډل د per-resblock scaling کارولو سره روزل کیږي (د برخه وګورئ) ) او gradient compression (د برخه وګورئ ) سره د مجموعي کمپرسۍ کچه 896 (په دې توګه هر GPU د پارامتر کڅوړې لپاره د 112 کمپرسۍ کڅوړې کاروي). لکه څنګه چې په جدول کې ښيي ، دا د 86٪ په اړه د کمولو کچه رامینځته کوي، چې موږ په برخه کې تحلیل کوو . 2 2.4 2.5 1 د 1 We update the parameters using AdamW with *β*1 = 0*.*9, *β*2 = 0*.*96, *ϵ* = 10−8, and weight decay multiplier 4*.*5 10−2. We clip the decompressed gradients by norm using a threshold of 4, prior to applying the Adam update. Gradient clipping is only triggered during the warm-up phase at the start of training. To conserve memory, most Adam moments (see Section [D](#_bookmark89) for details) are stored in 16-bit formats, with a 1-6-9 format for the running mean (i.e., 1 bit for the sign, 6 bits for the exponent, and 9 bits for the significand), and a 0-6-10 format for the running variance. We clip the estimate for running variance by value to 5 before it is used to update the parameters or moments. Finally, we apply exponentially weighted iterate averaging by asynchronously copying the model parameters from the GPU to the CPU once every 25 updates, using a decay coefficient of 0.99. موږ د ماډل سره 1024، 16GB NVIDIA V100 GPUs او د 1024 کلې بیلګې اندازه سره د 430 * * 000 اپ ڈیټونو لپاره روزل شوي. د روزنې پیل کولو په وخت کې، موږ د linear جدول کاروي ترڅو د مرحله اندازه ته 4 * * 5 10−4 ته د 5000 اپ ڈیټونو په پرتله وده ورکړي، او هر وخت چې د روزنې ضايعې ته وده ورکړي، د مرحله اندازه نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې نږدې وده ورکړي. موږ په ټولیزه توګه د روزنې په پرتله د پایله مرحله اندازه چې د لومړنۍ څخه 32 ځله کوچنۍ وي. موږ د 606 C. د معلوماتو د جمع لپاره تفصيلات In order to train the 12-billion parameter transformer, we created a dataset of a similar scale to JFT-300M by collecting 250 million text-image pairs from the internet. As described in Section ، دا ډاټا سیټ Conceptual Captions، د ویکیپیڈیا څخه د متن او انځور جوړو شامل دي، او د YFCC100M یو فلټر شوي بیس سیټ. موږ د متن، انځور، او مشترکه متن او انځور فلټرونو یو بیس سیټ کاروي چې په (د فورمه ) to construct this dataset. These filters include discarding instances whose captions are too short, are classified as non-English by the Python package cld3, or that consist primarily of boilerplate phrases such as “photographed on ”, where matches various formats for dates that we found in the data. We also discard instances whose images have aspect ratios not in [1*/ ، * 2). که موږ به د ډیری لوړ یا پراخه انځورونو لپاره کار واخلئ، نو د روزنې په وخت کې کارول شوي مربع نباتات به احتمالا په نامتو کې ذکر شوي اشیاء راټول کړي. 2.3 Sharma et al. 2018 2 D. د مرکزي دقت روزنې لارښوونې The most challenging part of this project was getting the model to train in 16-bit precision past one billion parameters. We were able to do this after detecting for underflow in various parts of training, and revising the code to eliminate it. We developed a set of guidelines as a result of this process that we present here. 12 1. Our model uses 128 gradient scales, one for each of its resblocks. All of the gradient scales are initialized to 213, where is the number of data-parallel replicas (i.e., the number of GPUs). In our setup, each grad scale is multiplied by 21*/*1000 at every parameter update Use per-resblock gradient scaling (Figure ) instead of standard loss scaling. 4 M M 4 whe√n __t__here are no nonfinite values for any parameter gradient in that resblock. Otherwise, we divide the grad scale by 2 and skip the update. We also disallow consecutive divisions of the same grad scale within a window of 125 updates. All grad scales are clamped to the range \[*M* 27*, M* 224\] after being updated. Figure [12](#_bookmark91) shows the gradient scales in the early phase of training for a 2.8-billion parameter model. 2. په ځانګړې توګه، ټول ګیټونه، بډایزونه، انبوهاتونه، او انبوهاتونه په 32 بټ دقت کې ذخیره کړئ، د 32 بټ ګراډینټونو سره (په شمول د ریموټ مواصلاتو لپاره) او د 32 بټ ایډم ګامونه. موږ د دغو پارامترونو لپاره د ګراډینټ کمښت غیر فعال کړئ (چې PowerSGD به د 1D پارامترونو لکه ګیټونو او بډایزونو لپاره معنوي نه وي). د متن او انځور ټوکنونو لپاره د ګراډینټونه محاسبه شوي او په 32 بټ دقت کې ذخیره شوي دي. موږ ښودلي چې د انبوهاتونو په 16 بټ دقت کې ذخیره کول ځینې وختونه د غوره کولو په تیریدو کې د 16 بټ ګراډین Only use 16-bit precision where it is really necessary for performance. 3. د ډاټا paralel روزنې لپاره، موږ ته اړتیا لرئ چې gradients د ډاټا paralel کارکوونکو ټول تعداد سره تقسیم کړئ د دې لپاره یو لاره دا ده چې د کڅوړې د هر ماشین د بیلګې اندازه له خوا تقسیم کړئ، او بیا د پارامتر gradients له خوا تقسیم کړئ مخکې له دې چې د ماشينونو په اړه شمول شي (د ټولو کمولو کارولو سره). د وخت او فضا ذخیره کولو لپاره، د ګراډینټونه عموما د 16 بټ دقت سره محاسبه شوي او ذخیره شوي. کله چې په بل کې، که موږ هڅه کوو چې لومړی د ګراډینټونو په شمول او بیا وروسته د دوی په شمول، موږ کولی شو په ټولو کمولو کې د سپارلو په لټه کې وي. Avoid underflow when dividing the gradient. M M M زموږ حل د دې ستونزو لپاره هڅه کوي چې د ټولو کمولو مخکې د برخه کې د معلوماتو ضایع کمولو ته کم کړي، د لګولو خطر له الرې. د دې لپاره، موږ د ضایعاتو سره د مجموعي لګښت اندازه (که شامل دي) تقسیم کول لکه څنګه چې د فابريکې په پرتله د فابريکې په پرتله د فابريکې په پرتله د فابريکې په پرتله. د کمولو لپاره، لکه څنګه چې په (1) کې بیان شوي دي. بیا، د ټولو کمولو عملیاتو مخکې، موږ د ګراډینټونو له خوا یو پایله چې په لاس سره تنظیم شوي دي ترڅو په دوامداره توګه underflow او overflow مخنیوی وکړي. دا له لارې ترسره شو چې د ګراډینټونو د هر پارامتر ګراډینټونو اسکارټ ارزښتونو د ګراډینټ ګراډینټونو histograms (د اساس-2 لګاریتمونه) څارنه کوي. ځکه چې ګراډینټ سکینټونه ګراډینټونه د 16 بټی فورمې د ګراډینټینټ رینج په راستې پای کې ساتل کوي، موږ ښودلي چې ورته پایله د 16 بټی ګراډینټونو په ماډل کې د ټولو پارامتر and matrices. M M P Q E. د توزیع شوي غوره کولو تفصیل موږ د PowerSGD ( , ) د ټولو پارامترونو په اړه د ګراډینټونو د کمولو لپاره، د انډولونو، غیر انډولونو، ګیټونو او پارامترونو پرته. په برخه کې ، موږ د کمولو لپاره د معلوماتو مقدار کمولو لپاره د کمولو درجه او د نمونوي اندازه د فعالیت په توګه د معلوماتو مقدار کمولو لپاره د نښلیدو پایله کوو. , we present a detailed overview of our adaptation of PowerSGD, and the modifications we had to make in order to fix performance regressions, some of which only manifest at billion-parameter scale. پرانیستې او ال. 2019 د 1 د 2 E.1. Bandwidth Analysis ګراډینټ compression د factorization G ≈ P Qt کاروي ، په کوم کې P او Q هر دوې رګونه لري. د ګرډینټ انتقال کولو لپاره د یو واحد ټول کمولو کارولو په ځای کې، موږ د دوو کوچني ټول کمولو کاروي ترڅو د P او Qt په دوامداره توګه انتقال کړي. له همدې امله، د کمولو نسبت د P او Q مټریټونو اندازهونو شمیره دی چې د G مټریټونو اندازهونو شمیره دي. موږ د دویمې MLP مټریټ څخه غیر د ټولو پارامترونو لپاره د اکسي 1 په اوږدو کې کښته کوو. زموږ تنظیم کې د کمولو نسبت د پایلو په جدول کې دی. موږ په یاد ولرئ چې د shard Axis انتخاب د MLP مټریټونو لپاره د کمولو نسبت بدلون کوي. په پای کې E.2. Implementation Details We describe the steps in our implementation of PowerSGD in detail, since these details were crucial in getting it to work efficiently and reliably at billion-parameter scale. 1. زموږ روزنې تنظیم د پارامتر sharding او gradient compression ترکیب کاروي، لکه څنګه چې په برخه کې بیان شوي دي کله چې هر GPU د بشپړ پارامتر مټریکس په اړه د gradient محاسبه کوي او د اوسني resblock لپاره gradients محاسبه کوي، موږ د مخکښ resblock لپاره پارامترونه د ټولو جمع کولو په کارولو سره prefetch کوو. کله چې هر GPU د بشپړ پارامتر مټریکس په اړه د gradient محاسبه کوي، موږ د GPU د پارامتر مټریټ سره مطابقت لرونکي gradient په منځنۍ توګه محاسبه کوو، او فورا د بشپړ gradient له دې امله چې د یادښت ساتل شي. دا متوسط د reduc-scatter په کارولو سره په ماشین کې د ټولو GPUونو په اړه لیږدول کیږي. 2.5 2. که د reduc-scatter پایلې کې د غیر محدود ارزښتونه شتون نلري (که کولی شي د backpropagation یا reduc-scatter پرچون له امله وي)، موږ د پایلې سره د resblock gradient کچه برخه واخلئ او دا ته د غلطی پمپ ته اضافه کوو (په دې توګه، د غلطی اصلاح لپاره کارول شوي پمپ). په بل ډول، موږ هیڅ کار نه لرو او د backpropagation سره ونیسئ؛ په gradient کې یو واحد غیر محدود ارزښت معنی لري چې ټول تازه کولو له لاسه ورکړي، کوم چې د وخت په اړه د 5٪ کې ترسره کیږي. د غلطی پمپ د 1-6-9 په ورته فارم کې کاروي چې د آدم متوسط لپاره کارول کیږي، چې موږ په برخه کې بیان کوو ; د لوی exponent لړ تضمین کوي چې دا تقسیم د underflow له امله نه کوي. د gradients په مستقیم ډول د غلطی پمپونو ته اضافه کول د پارامتر shard gradients برابر اندازه یو بل سیټ پمپونو ته اړتيا ته اړتيا نه کوي. د 2 3. کله چې د resblock لپاره د reduc-scatter عملیاتو بشپړ شوي دي، موږ د عملیاتو د محاسبه matrices from the errors buffers and the matrices، چې د ارزښتونه د روزنې په پیل کې مقرر شوي دي (د برخه وګورئ) ). Both the and مټریټونه په 1-6-9 شکل کې ذخیره شوي دي او د دوی ارزښتونه د مخکښ پایلو سره اندازه شوي دي، لکه څنګه چې په برخه کې بحث شوي . P Q 2.5 P Q D 4. کله چې هر GPU د محاسبه په resblock کې د پارامتر برخې لپاره مټریټونه، دوی د د GPUs څخه د ورته ordinal سره په ټولو نورو ماشینونو کې مټریټونه، د یو واحد، ګروپ شوی د ټولو کمولو عملیاتو په کارولو سره. دا ټول کمولو په 1-6-9 فارم کې ترسره کیږي، د ګمرک کنټرول په کارولو سره. د ګروپ کولو په پایله کې د بیلګې په پرتله ښه کارول کیږي، ځکه چې دا د کوچني، انفرادي پارامترونو لپاره ډیری ټول کمولو تماسونه ترتیب کولو څخه مخنیوی کوي، کوم چې هر ډول یو کمولو لري. موږ د ټولو کمولو په پایله کې د ټولو کمولو په حد کې د 1-6-9 فارم (که د 16 څخه لږ ده) تر لږه ارزښت ته اړتیاوو. زموږ انتخاب سره د کثافاتو لپاره د کثافاتو لپاره او د مارتینسونو، دا د کلکولو په نږدې نږدې نږدې نږدې ځي. P P P Q 5. × Once the all-reduce operation لپاره د matrices for a resblock have finished, we orthogonalize the columns of the resulting matrices. We use a custom Householder orthogonalization kernel rather than Gram-Schmidt, as we found the latter to be numerically unstable. We also add × د in order to ensure that the result is not near rank-deficient, where = 10−6. Here, × دا ده چې د ورته اندازه د rectangular matrix matrix to which it is added; it contains the identity matrix and has zeros elsewhere. The orthogonalizalied مټریټونه په 1-6-9 فارم کې ذخیره شوي دي، مګر د اندازه کولو پرته. P ϵIm r P ϵ د r P د R P 6. کله چې د matrices for a resblock have been orthogonalized, we schedule the operations to compute the new P Q د بریښنا پافلر او د matrices. P 7. کله چې د نوي د resblock لپاره مټریټونه محاسبه شوي دي، موږ د یو بل ګروپ شوی ټول-reduce، په ورته ډول چې موږ د matrices. لکه څنګه چې په مرحله (4) کې، موږ د ټولو-reduce پایلو کې د ټولو infinities ته د 1-6-9 فورمه د اعظمي ارزښت ته ډکوي، د نښلیدو خوندي کړي. د resblock لپاره د غلطی بکسونه اوس په ټیټ رینج عوامل کې پراختیا شوي دي and . Q P P د QT 8. د ټولو پارامترونو لپاره د ګریډینټونه چې کمښت نه شوي دي په یو واحد، 32-bit دقت ټول کمښت کې یوځای شوي دي. دا توضیح کوي چې چرا موږ د دې پارامترونو او د دوی gradients لپاره 32-bit دقت کاروي. D 9. کله چې د ماشین د ټولو GPUونو لپاره د ماډل کې د هر resblock لپاره د ګامونه (7) او (8) بشپړ کړي، د او په ټول ماشینونو کې د ورته پارامتر shard لپاره مټریټونه به ورته وي. موږ بیا د نړیوال gradient نندارتون محاسبه کوو، کوم چې د دوو مقدارونو شمیره ده: (a) د مربع Frobenius نندارتونونو شمیره matrices over all of the parameter shards on a machine, and (b) the sum of the squared norms of the gradients for the parameter shards that do not use compression, taken over all such parameter shards on a machine. We need to compute this value for gradient clipping (see Section همدارنګه P Q Q د 2 10. While computing the global norm, we also synchronize the information from step (2) about which parameter shard gradients contained nonfinite values after the reduce-scatter. After doing this, we have two pieces of information for each parameter shard: (a) whether its error buffer from step (2) contains nonfinite values on the current GPU, and (b) whether or غیر محدود ارزښتونه لري. موږ کولی شو د ارزښتونو په اړه اعتماد نه او matrices to determine (b), since we clamp infinities as described in step (4). If we find that the gradient with respect to any parameter shard on the machine contains nonfinite values, then we set the global norm to infinity. P Q P Q 11. کله چې ټول ټولې کمښتونه بشپړ شوي دي او د نړیوال معياري محاسبه شوي، موږ کولی شو د پارامتر تازه کولو په کارولو کې وي. لکه څنګه چې backpropagation، د پارامتر تازه کولو ته resblock-by-resblock ته ورسیږي. لومړی مرحله دا ده چې د محصول جوړولو له لارې د decompressed gradients محاسبه کړئ د ځینو resblock ټول پارامترونو لپاره. د لګولو مخنیوی لپاره، دا محصولات د 32 بټ دقت سره محاسبه شوي دي. موږ کولی شو د decompressed gradients په کارولو سره د پارامترونو لپاره د اډم تازه کولو په کارولو سره او په ګام (9) کې محاسبه شوي کلالي معياري په کارولو سره. که د کلالي معياري پایله نه ده، نو د پارامترونو او اډم وختونو ته تازه کولو له لاسه ورکړ. موږ په یاد ولرئ چې د decompressed gradient باید د کلالي معياري سره تقسیم شي. د مارتريکس (The matrix د orthogonalization وروسته د کثافاتو پرته ذخیره کیږي). د پی سی Q P 12. The second step is the update to the error buffers. First, we use the results from step (10) to check if the او د يو ځانګړي پارامتر shard لپاره مټریټونه یوازې محدود ارزښتونه لري. که په دې صورت کې، نو موږ د decompressed gradient له خوا د ماشينونو ټول شمېر برخه واخلئ، او دا د غلطی پمپ لپاره د اوسني ارزښت څخه اخلي. دا د غلطی پمپ ته د "local" gradient په منځنۍ توګه په ماشین کې د reduc-scatter په کارولو سره او د "Remote" decompressed gradient (یا د "د غلطی") تر منځ د فرق ته تنظیموي. که هر or contains nonfinite values, then we check if the error buffer computed in step (2) contains only finite values. If it does, then we preserve its value and do nothing. If it does not, then we set it to zero. The purpose of this tedious logic is to set an error buffer to zero only when we must do so, because it has been contaminated with nonfinite values. We found that error buffers getting set to zero too frequently by gradient scaling events leads to performance regressions. P Q P Q 13. د پارامتر ټانکونه چې د ګراډینټونه پرته کم شوي دي د انفرادي تازه شوي دي. موږ هم د لاندې مهم optimizations په یاد ولرئ: 1. There are several opportunities for overlap between compute and communication in the above steps. For example, while we are running step (2) for resblock ، موږ کولی شو د ټولو resblocks لپاره د ګامونو (3)–(8) ته ورسیږي . Exploiting opportunities for overlap is necessary to achieve good performance. i j > i 2. موږ د ځانګړي عملیاتو په ګوته کوو چې ممکن د ټول موجود حافظه خوندي کړي. د بیلګې په توګه، موږ یوازې د مخکښ resblock پارامترونو په ګوته کوو کله چې د اوسني لپاره د reduc-scatter عملیاتو بشپړ شوي دي. په غیره کې، موږ د بشپړ پارامترونو په ګوته کولو له لارې د حافظه خوندي کوو. موږ هم د Adam اپ ڈیټونه په ګوته کوو، نو موږ د ټولو gradients په ګوته کوو. 3. د پیژندنې په دوو ځایونه شتون لري چې transposition مهمه ده: (a) د MLP مارتینونو لپاره د shard اکسي انتخاب او (b) که موږ د gradient لپاره د ټیټ رینج factorization محاسبه کوو یا دا transpose. د لومړي اغیزې د باندوډیټ تحلیل، چې موږ په برخه کې وړاندې کوو . The latter influences the cost of the orthogonalization. Suppose that the gradient G is m × n and its low-rank factors P and Qt are m × r and r × n, respectively, with r m, n. To make orthogonalization cheaper, we transpose G appropriately so that m <= n. د 1 په لومړي بڼه کې، دا ممکن د محدودیت په څیر وي چې د NCCL ټول جمع او کم-scatter لومړیوټونه یوازې د اکسي 0 په اوږدو کې کڅوړه کوي. موږ ممکن د اړیکو فعالیتونو مخکې او وروسته ځینې مارتريزونه د (a) او (b) له امله بدلون ته اړتيا لري، کوم چې اضافي وخت او احتمالي ځانګړي مراقبت ته اړتيا لري ترڅو د حافظه غلطاتو څخه مخنیوی شي. په حقیقت کې، موږ هیڅکله دا نه اړتيا لري. دا ځکه چې موږ ځینې پارامترونه په خپل transposed فارمونو کې ذخیره وکړه او transpose_a او transpose_b پارامترونه د مارتريز کڅوړه کڅوړه کارول کیږي چې په forward propagation، backpropagation، او مرحلو کې (1) 4. په پړاو کې (12) په پرتله، موږ په یاد ولرئ چې د بریښنا پمپونو د لټون کولو لپاره ډیری وختونه کولی شي کولی شي د کړنو پیژندلونه وده ورکړي. موږ غواړم چې کله چې د چیک پټ څخه روزنې ته وده ورکړئ، چې د لوی کارونو لپاره ډیر اغیزمن شي ځکه چې احتمال لري چې یو ماشین به په وخت کې ناکام شي. ناخودانه، دا به د ټولو ماشينونو څخه د ماډل چک پټونو سره د بریښنا پمپونو اپلوډ کولو ته اړتیا ولرئ. لکه څنګه چې موږ د روزنې لپاره 128 ماشينونه کاروئ، دا به د 128 ګروپ لوی ذخیره کولو کارولو ته وده ورکړي، کوم چې ډیر ضایع ده. خوشحاله، دا اړتیا نلري، لکه څنګه چې د بریښنالیک اصلاح یوازې د بریښنالیک پمپونو ټولې پورې اړه لري. دا ځانګړتیاوې له linearity او د عملونو لړ له خوا د PowerSGD کارول کیږي. له همدې امله، دا د بریښنالیک پمپونو د ټولې GPUونو سره د ورته ordinal لګښت ذخیره کولو ته کافی دی. کله چې له یو چک پټ څخه د بریښنالیک پمپونو له خوا کولی شو چې د ماشینونو په مجموعي شمیره برخه واخلئ او دوی ته ورسیږي. F. د انسان ارزیابی تجربو په اړه تفصيلات موږ د 1000 نندارتونونو لیست سره پیل کوو او په هر ماډل کې یو نمونه انځور تولید کوو. د نندارتونونو او نندارتون انځورونه وروسته د تجربو په اړه د 1000 انځور مقایسه کارو لپاره کارول کیږي، کوم چې موږ د ایمیزون Mechanical Turk ته سپارښتنه کوو. هر کارکوونکي د پنج مختلفو کارکوونکو لخوا ځواب ورکړي. کارکوونکو ته د دوو انځورونو په پرتله او د دوی په اړه د دوو پوښتنو ځواب کوو: (1) هغه انځور چې ترټولو واقعي دی، او (2) هغه انځور چې ترټولو ښه د مشترکه نندارتون سره مطابقت کوي. د کارکوونکو لپاره وړاندیز شوي تجربې ترتیب په انځور کې ښودل کیږي یو کارکوونکي ځوابونه له امله د نورو کارکوونکو سره د ناقانونه لوړ کچه، سره د چټک ځواب سرعت سره (د 4 ثانیو لاندې ډیری وړاندې کولو وختونه) disqualified دي؛ ټول نورو کارکوونکو ځوابونه خوندي شوي دي. 13 G. Zero-Shot انځور په انځور کې ترجمه فورمه ښيي نور مثالونه د انځور-to-صور مترجم، چې موږ په برخه کې بحث شوي موږ انتظار نه کړ چې د دې وړتیا ته وده ورکړي، او د روزنې پروسه کې د دې ته وده ورکولو لپاره هیڅ بدلون نه کړ. 14 3.3 دا کاغذ د CC by 4.0 Deed (Attribution 4.0 International) لائسنس لاندې archiv کې شتون لري. This paper is د CC by 4.0 Deed (Attribution 4.0 نړیوال) لائسنس لاندې. available on arxiv