DALL·E истражувачки документ: Висококвалитетно генерирање на слики без користење на било кој од етикетите за обука

Автори на: Aditya Ramesh Mikhail Pavlov Gabriel Goh Scott Gray Chelsea Voss Alec Radford Mark Chen Ilya Sutskever Автори на: Адија Рамеш Михаил Павлов Габриел Го Скот Греј Челзи Вос Алек Радфорд Марк Чен Илија Сутскевер Zero-Shot Text-to-Image генерација 1. Introduction Modern machine learning approaches to text to image syn- thesis started with the work of ( ), who showed that the DRAW ( на Генеративниот модел, кога се проширува на условите на сликите, исто така може да генерира нови визуелни сцени. ( на ) подоцна покажа дека со користење на генеративна противречија мрежа ( , на ), наместо рекурентен варијационален авто-кодер, подобрена верност на сликата. ( на ) покажа дека овој систем не само што може да генерира објекти со препознатливи својства, туку исто така може да Генерализирајте ги категориите за задржување. Меси и Ал. 2015 Греј и Ал. 2015 Рид и Ал. 2016Б Поздрав и Ал. 2014 Рид и Ал. 2016Б нула пукање Во текот на следните неколку години, напредокот продолжи да се користи комбинација на методи.Овие вклучуваат подобрување на генеричката модел архитектура со модификации како што се мулти-скали генетски ератори ( , на · , интегрирање на вниманието и помошни загуби ( , на ) и искористување на дополнителни извори на условни информации надвор од само текстот ( , на · , на · , на ) на Јанко и Ал. 2017 2018 Јас и Ал. 2018 Рид и Ал. 2016а Лил и Ал. 2019 Ко и Ал. 2021 одделно од, ( на ) предложи рамка базирана на енергија за условно генерирање на слики која постигна големо подобрување во квалитетот на примерокот во однос на методите за контрола на порите. Нивниот пристап може да вклучи пред-тренирани дискриминациски модели, и тие покажуваат дека е способен да изврши генерација на текст до слика кога се применува на модел за потписи пред-трениран на MS-COCO. ( на ) исто така предложи метод кој вклучува оптимизирање на внесот на преттрениран крос-модален маскиран јазик модел. ( на ), примероците сè уште можат да страдаат од тешки артефакти како што се објект деформација, нелогично поставување на објекти, или неприродно мешање на преден и позадински елементи. Нејмар и Ал. 2017 Чо и Ал. 2020 Меси и Ал. 2015 Неодамнешниот напредок, поттикнат од големите генеративни модели, сугерира можен пат за понатамошни подобрувања.Специфично, кога компјутерите, големината на моделите и податоците се скалираат внимателно, авторегресивните трансформатори ( , на ) постигнаа импресивни резултати во неколку домени, како што се текстот ( , на Слики од слики ( , на ) и аудио ( , на ) на Василиј и Ал. 2017 Радомир и др. 2019 Џејн и Ал. 2020 Давидовиќ и Ал. 2020 За споредба, генерацијата на текст до слика обично е оценета на релативно мали збирки на податоци како што се MS-COCO и CUB-200 ( , на Во оваа работа, ние демонстрираме дека обуката на 12 милијарди пара-етер авторегресивен трансформатор на 250 милиони парови слика-текст собрани од интернет резултира со флексибилен, високо-верност генеративен модел на слики контролирани преку природен јазик. Поздрав и Ал. 2010 Резултатниот систем постигнува висококвалитетно генерирање на слики на популарниот MS-COCO сет на податоци Покрај тоа, се препорачува да се преземат сите потребни мерки за подобрување на квалитетот на животната средина, без да се користи ниту една од етикетите за обука. Тоа е предност во однос на претходната работа обучена на базата на податоци од страна на човечки евалуатори 90% од времето. Ние, исто така, откриваме дека е во состојба да изврши комплексни задачи како што се превод на слика-на-слика на рудиментално ниво. , на ), наместо да се појави како способност на еден, голем генеративен модел. нула пукање Исланд и Ал. 2017 2 Метод Нашата цел е да обучиме трансформатор (Vaswani et al., 2017) за авторегресивно моделирање на токените на текстот и сликата како еден поток на податоци. Сепак, користењето на пиксели директно како токени на сликата ќе бара прекумерна количина на меморија за слики со висока резолуција. Целите на веројатноста имаат тенденција да приоритизираат моделирање на зависности од краток опсег помеѓу пикселите (Salimans et al., 2017), така што голем дел од капацитетот за моделирање ќе се потроши за зафаќање на детали со висока фреквенција наместо на структурата со ниска фреквенција што ги прави објектите визуелно препознатливи за нас. Ние ги решаваме овие прашања со користење на процедура за обука во две фази, слична на (Oord et al., 2017; Razavi et al., 2019): Ние обучуваме дискретен варијационален автокодер (dVAE)1 за да ја компресираме секоја 256×256 RGB слика во мрежа од 32×32 токени за слика, од кои секој елемент може да претпостави 8192 можни вредности. • Stage 1. Ние преклопуваме до 256 BPE-кодирани текстуални токени со 32 × 32 = 1024 токени за слика и обучуваме авторегресивен трансформатор за да ја моделираме заедничката дистрибуција над текстот и токените за слика • Stage 2. Општата постапка може да се разгледа како максимизирање на доказите за пониска граница (ELB) (Kingma & Welling, 2013; Rezende et al., 2014) за заедничката веројатност на дистрибуцијата на моделот преку слики x, captions y, и токените z за кодирана RGB слика. Каде е: qφ ја означува дистрибуцијата на 32 × 32 токените на сликата генерирани од dVAE енкодерот даден на RGB сликата x 2 ; • pθ ја означува дистрибуцијата на RGB сликите генерирани од dVAE декодерот што ги дава токените на сликата; и pψ ја означува заедничката дистрибуција на текстот и токените на сликата моделирани од трансформаторот. Имајте на ум дека врската се држи само за β = 1, додека во пракса сметаме дека е корисно да се користат поголеми вредности (Higgins et al., 2016). Прва фаза: Научете го визуелниот кодекс Во првата фаза на обука, го максимизираме ELB во однос на φ и θ, што одговара на обука на dVAE на сликите само. Ние го поставивме почетниот претходен pψ на еднаква категорична дистрибуција над векторите на K = 8192 кодекс, и qφ да бидат категорични дистрибуции параметризирани од страна на 8192 логити во истата просторна позиција во 32×32 мрежата излез од страна на кодирачот. ELB сега станува тешко да се оптимизира: како qψ е дискретна дистрибуција, и не можеме да го користиме градиентот на репаметеризација за да го максимизираме. Oord et al. (2017); Razavi et al. (2019) се справи со ова со користење на онлајн процедура за доделување на кластери во комбинација со Наместо тоа, го користиме релаксацијата gumbel-softmax (Jang et al., 2016; Maddison et al., 2016), заменувајќи го очекувањето над qφ со еден над q τ φ , каде што релаксацијата станува тесна како температура τ → 0. Опуштениот ELB е максимизиран со користење на Адам (Kingma & Ba, 2014) со експоненцијално тежок итеративен просек. Прилог А.2 дава целосен опис на хиперпараметри, но најдовме следново да биде особено важно за стабилна обука: • Specific annealing schedules for the relaxation temperature and step size. We found that annealing τ to 1/16 was sufficient to close the gap between the relaxed validation ELB and the true validation ELB with qφ intsead of q τ φ . • Употребата на 1 × 1 конволуции на крајот на енкодерот и на почетокот на декодерот. Откривме дека намалувањето на големината на рецептивното поле за конволуциите околу релаксацијата доведе до тоа подобро да се генерализира на вистинскиот ELB • Множење на излезните активации од енкодер и декодер resblocks со мала константа, за да се обезбеди стабилна обука при иницијализација. Исто така, откривме дека зголемувањето на тежината на КЛ до β = 6.6 промовира подобра употреба на кодовите и на крајот доведува до помала грешка во реконструкцијата на крајот на обуката.4 Втората фаза: учење на претходните Во втората фаза, ние го поправаме и , и да научат претходната дистрибуција над текстот и слика токени со максимизирање на ELB во однос на . Here, е претставен од страна на 12 милијарди параметар слаб трансформатор ( , на ) на φ θ ψ ппс Детето и Ал. 2019 Со оглед на текстот-изображение пар, ние BPE-кодирање ( , на ) пониски наслов со користење на најмногу 256 токени со големина на вокабулар 16*,*384, и кодирајте ја сликата користејќи 32 x 32 = 1024 токени со големина на вокабулар 8192. токените за вокабулар се добиваат со користење на argmax земање примероци од двае логитите за кодирање, без додавање на бучава од gumbel.[6](#_bookmark14) На крајот, текстот и токените за вокабулар се преклопуваат и авторегресивно се моделираат како еден поток на податоци. Сенатор и др. 2015 5 Трансформаторот е модел само за декодер во кој секој им-ера токен може да се придружи на сите текстуални токени во кој било од неговите 64 слоеви на само-внимание. Постојат три различни видови на маски за само-внимание кои се користат во моделот.Делот од маските за внимание што одговара на вниманието од текст до текст е стандардна каузална маска, а делот за внимание од слика до слика користи или ред, колона или конволуционална маска за внимание. Б1 7 Ние ја ограничуваме должината на текстуалниот потпис на 256 токени, иако не е сосема јасно што да се направи за позициите за "падење" помеѓу последниот текстуален токен и токенот за почеток на сликата. Една опција е да се постават дневниците за овие токени на −∞ во операциите за само-внимание. Наместо тоа, избираме да научиме посебен токен за падење одделно за секоја од 256 текстови позиции. Овој токен се користи само кога нема текстуални токени на располагање. Во прелиминарните експерименти на Концептуални наслови (Sharma et al., 2018), откривме дека ова резултира со поголема загуба на валидација, но подобри перформанси на потписи надвор од дистрибуцијата. Ние ги нормализираме загубите на крос-ентропијата за текстот и токените на сликата со вкупниот број на секој вид во партијата на податоци. / ,000 слики за валидација, и не се пронајдени знаци на преоптоварување на конвергенција. 8 и загубата на крос-ентропијата за сликата од 7 Објективата е оптимизирана со користење на Адам со експоненцијално тежок итератен просек; Прилог Б.2 ја опишува процедурата за обука во повеќе детали. Б2 2.3 Собирање на податоци Нашите прелиминарни експерименти за модели до 1,2 милијарди параметри беа спроведени на Концептуални наслови, сет на податоци од 3,3 милиони парни текстови и слики кои беа развиени како продолжение на MS-COCO ( , на ) на Лин и Ал. 2014 За да се скали до 12 милијарди параметри, создадовме сет на податоци од слична скала на JFT-300M ( , на На овој веб-сајт можете да ги користите веб-сајтовите кои ги користите за да ги користите веб-сајтовите кои ги користите за да ги користите веб-сајтовите кои ги користите ( , на Како што MS-COCO е создаден од вториот, нашите податоци за обука вклучуваат дел од сликите за валидација на MS-COCO (но ниту еден од насловите). и утврди дека нема значително влијание врз резултатите. Ние обезбедуваме дополнителни детали за процесот на собирање на податоци во Прилог . Сонцето и Ал. 2017 Томи и Ал. 2016 3 C 2.4 Тренинг со мешана прецизност To save GPU memory and increase throughput, most pa- rameters, Adam moments, and activations are stored in 16-bit precision. We also use activation checkpointing and recompute the activations within the resblocks during the backward pass. Getting the model to train in 16-bit preci- sion past one billion parameters, without diverging, was the most challenging part of this project. Веруваме дека коренската причина за оваа нестабилност е недостиг на протокот во 16-битните градиенти. претставува сет на насоки што ги развивме за да избегнеме недостиг при обука на генеративни модели на големо ниво. D Слично на претходната работа ( , на ), откривме дека нормите на градиентите на активација од resblocks се намалуваат монотоно како што се движиме од претходните resblocks на подоцнежните. Како што моделот е направен подлабоко и пошироко, вистинските експоненти на градиентите на активирање за подоцнежните res-блокови може да паднат под минималниот експонент на 16-битниот формат. Откривме дека елиминирањето на un-derflow овозможува стабилна обука за конвергенција. Луѓето и Ал. 2020 8 Потеклото Стандардна скала за губење ( , на ) е во можност да се избегне underflow кога опсегот опфатен со најмалите и најголемите градиенти за активирање (во апсолутна вредност) се вклопува во опсегот на експонентот на 16-битниот формат. На NVIDIA V100 GPUs, овој опсег на експонентот е назначен со пет битови. Микиќ и др. 2017 Нашето решение, што е прикажано на сликата Покрај тоа, се препорачува да се преземат посебни мерки за подобрување на квалитетот на животната средина, како и за подобрување на квалитетот на животната средина, како и за подобрување на квалитетот на животната средина ( , на ), со предност дека не се потребни специјализирани GPU кери. ( на ) независно развила слична процедура за обука на конвенционални мрежи со 4-битна прецизност. 4 Костур и Ал. 2017 Сонцето и Ал. 2020 2.5 Дистрибуирана оптимизација Нашите 12 милијарди параметарски модел троши околу 24 GB на меморија кога се складира во 16-битна прецизност, што го надминува меморијата на 16 GB NVIDIA V100 GPU. , на Како што е прикажано на фигурата , параметарското скратување ни овозможува речиси целосно да ја скриеме латенцијата на комуникацијата во рамките на машината со преклопување со компјутерски интензивни операции. Рајбхадари и др. 2019 5 Покрај тоа, за да се постигне подобрување на квалитетот на уредот, потребно е да се преземат мерки за подобрување на квалитетот на уредот, со цел да се намали нивото на штедење и да се намали нивото на штедење на уредот. ( , на ) на Птиците и Ал. 2019 Во нашата имплементација, секој GPU во машината ги пресметува факторите со низок ранг за своите параметарски градиенти на шард во зависност од соседните GPUs. Откако ќе се пресметаат факторите со низок ранг, секоја машина го поставува својот буфер за грешка на остатокот помеѓу некомпресираниот градиент просечен во текот на своите осум GPU-и (добиени од редуцирање-расфрлање) и декомпресираниот градиент добиен од факторите со низок ранг. 9 PowerSGD ја заменува големата комуникациска операција за некомпресиран параметарски градиент со две, многу помали комуникациски операции за своите ниско рангирани фактори. За даден ранг на компресија r и dмодел на големина на активирање на трансформаторот, стапката на компресија е дадена со 1 − 5r/(8dмодел) (види Прилог Е.1). Табела 1 покажува дека можеме да постигнеме стапка на компресија од околу 85%, без оглед на големината на моделот. Во прилог , ние ги опишуваме разни детали кои беа неопходни за да се добие PowerSGD да функционира добро на скала. Е2 • Заштеда на меморија со акумулирање на градиентот во буферите за грешки за време на репродукцијата, наместо спојување на одделни буфери. • Минимизирање на случаите во кои ги нулираме буферите за грешки (на пример, поради неограничени вредности со кои се соочуваме за време на мешана прецизна репродукција, или кога продолжуваме со обуката од контролна точка). • Подобрување на нумеричката стабилност со користење на Householder orthogonalization наместо Gram-Schmidt, заедно со додавање на мал множител на матрицата на идентитет на влезот. • Избегнување на недоликување со користење на прилагоден 16-битен формат на пловечка точка за буферите за грешки, нивните фактори со низок ранг и сите комуникациски операции што ги вклучуваат. Ние, исто така, го пронајдовме процесот на топло започнување за Матрицата е опишана во ( на ) да бидат непотребни: можевме да добиеме еквивалентни резултати со фиксирање на случаен гаузиски матрица на почетокот на обуката, и никогаш не го ажурира. Q Птиците и Ал. 2019 Q 10 2.6 Примерна генерација Слично на ( на (Погледнете го видеото за да го погледнете видеото за да го погледнете видеото за да го погледнете видеото) , на Даден е натпис и слика со датум, контрастивниот модел доделува резултат врз основа на тоа колку добро сликата одговара на натписот. покажува ефектот на зголемување на бројот на примероци од кои го избираме врвот Овој процес може да се види како еден вид пребарување насочено кон јазикот ( , на ), и исто така е сличен на помошниот текст-слика соодветна загуба предложена од ( на ). Unless otherwise stated, all samples used for both qualitative and quantitative results are obtained without temperature reduction (i.e., using = 1) (освен за фигура ) и користите реранкирање со Во 512 година. Ракометот и Ал. 2019 Радомир и др. 2021 6 N k Андреј и Ал. 2017 Јас и Ал. 2018 t 2 N 3. Experiments 3.1 Квантитативни резултати We evaluate our model zero-shot by comparing it to three prior approaches: AttnGAN ( , на ), DM- GAN ( , ), and DF-GAN ( , ), the last of which reports the best Inception Score ( , на ) and Fréchet Inception Distance ( , ) on MS-COCO. Figure qualitatively compares sam- ples from our model to those from prior work. Xu et al. 2018 Zhu et al. 2019 Tao et al. 2020 Salimans и Ал. 2016 Heusel et al. 2017 3 We also conduct a human evaluation similar to the one used in ( на ) за да го споредиме нашиот пристап кон DF-GAN, чии резултати се прикажани на сликата . Given a caption, the sample from our model receives the majority vote for better matching the caption 93% of the time. It also receives the majority vote for being more realistic 90% of the time. Koh et al. 2021 7 Figure (а) покажува дека нашиот модел, исто така, добива FID резултат на MS-COCO во рамките на 2 поени од најдобриот претходниот пристап, и покрај тоа што никогаш не биле обучени за насловите. Нашите податоци за обука вклучуваат филтриран поднабор на YFCC100M, и откривме дека тоа вклучува околу 21% од сликите во MS-COCO валидација сет од процедура за де-дупликација опишана во следниот дел. 9 Обуката на трансформаторот на токените од dVAE енкодер ни овозможува да го доделиме својот капацитет за моделирање на информациите со ниска фреквенција што ги прави сликите визуелно препознатливи за нас. Сепак, тоа исто така го оштетува моделот, бидејќи тешката компресија го прави неспособен да произведе детали со висока фреквенција. (a) after applying a Gaussian filter with varying radius to both the validation images and samples from the models. Our approach achieves the best FID by a margin of about 6 points with a slight blur of radius 1. The gap between our approach and others tends to widen as the blur radius is increased. We also obtain the highest IS when the blur radius is greater than or equal to two. 9 Our model fares significantly worse on the CUB dataset, for which there is a nearly 40-point gap in FID between our model and the leading prior approach (Figure (б)).Најдовме стапка на преклопување од 12% за овој сет на податоци, и повторно не обезбеди значителна разлика во резултатите по отстранувањето на овие слики. Ние шпекулираме дека нашиот пристап со нула снимање е помалку веројатно да се спореди поволно на специјализирани дистрибуции како што се CUB. Ние веруваме дека финото прилагодување е ветува насока за подобрување, и оставете го ова истражување за идната работа. Примери од нашиот модел за наслови во овој сет на податоци се прикажани во Слика . 9 8 Finally, Figure (c) shows clear improvements in FID and IS for MS-COCO as the sample size used for reranking with the contrastive model is increased. This trend continues up to a sample size of 32, after which we observe diminishing returns 9 3.2 Анализа на преклопување на податоци We used the deduplication procedure described in ( на ) to determine which images to remove. For each validation image, we find the closest image in the training data using a contrastive model specifically trained for this task. We then sort the images in descending order by closeness to their nearest matches in the training data. After inspecting the results by hand, we determine the images to remove by manually selecting a conservative threshold designed to minimize the false negative rate. Radford et al. 2021 3.3. Qualitative Findings We found that our model has the ability to generalize in ways that we did not originally anticipate. When given the caption “a tapir made of accordion...” (Figure ), the model appears to draw a tapir with an accordion for a body, or an accordion whose keyboard or bass are in the shape of a tapir’s trunk or legs. This suggests that it has developed a rudimentary ability to compose unusual concepts at high levels of abstraction. 2a Our model also appears to be capable of combinatorial gen- eralization, such as when rendering text (Figure ) или кога се испитуваат фрази како "илустрација на бебе еж во божиќен џемпер шетајќи куче" (Слика) ). Prompts like the latter require the model to perform variable bind- ing ( , ; , ) – it is the hedge- hog that is in the christmas sweater, not the dog. We note, however, that the model performs inconsistently on the task, sometimes drawing both animals with christmas sweaters, or drawing a hedgehog walking a smaller hedgehog. 2b 2C Smolensky 1990 Greff et al. 2020 To a limited degree of reliability, we also find our model to be capable of zero-shot image-to-image translation controllable by natural language (Figure 2d). When the model is given the caption “the exact same cat on the top as a sketch at the bottom” and the top 15 × 32 part of the image token grid for a photo of a cat, it is able to draw a sketch of a similar looking cat on the bottom. Ова функционира со неколку други видови трансформации, вклучувајќи операции на сликата (на пример, менување на бојата на сликата, конвертирање во сива скала или свртување нагоре надолу) и трансфер на стил (на пример, цртање на мачката на поздравна картичка, поштенски печат или кутија за мобилен телефон). Некои трансформации, како оние кои вклучуваат само менување на бојата на животното, сугерираат дека моделот е способен да изврши рудиментален вид на сегментирање на објекти. . G 4. Conclusion We investigate a simple approach for text-to-image generation based on an autoregressive transformer, when it is executed at scale. We find that scale can lead to improved generalization, both in terms of zero-shot performance relative to previous domain-specific approaches, and in terms of the range of capabilities that emerge from a single generative model. Our findings suggest that improving generalization as a function of scale may be a useful driver for progress on this task. Признанија We would like to thank Matthew Knight for reviewing the code release for this work, and Rewon Child, John Schul- man, Heewoo Jun, and Prafulla Dhariwal for helpful early feedback on the paper. We would also like to thank Jong Wook Kim for writing the PyTorch package for the con- trastive model described in ( ) that we used to rerank the samples from our model. Radford et al. 2019 Референци Абади, М., Бархам, П., Чен, Ј., Чен, З., Дејвис, А., Дин, J., Devin, M., Ghemawat, S., Irving, G., Isard, M., et al. Tensorflow: A system for large-scale machine learning. In { } 12th USENIX symposium on operating systems design { } , стр. 265 до 283, 2016 година. and implementation ( OSDI 16 ) Andreas, J., Klein, D., и Levine, S. Учење со латентен јазик. , 2017. arXiv preprint arXiv:1711.00482 Bengio, Y., Léonard, N., and Courville, A. Estimating or propagating gradients through stochastic neurons for con- ditional computation. Во 2013 година. arXiv preprint arXiv:1308.3432 Bowman, S. R., Vilnis, L., Vinyals, O., Dai, A. M., Joze- fowicz, R., and Bengio, S. Generating sentences from a continuous space. , 2015. arXiv preprint arXiv:1511.06349 Chen, M., Radford, A., Child, R., Wu, J., Jun, H., Luan, D., and Sutskever, I. Generative pretraining from pixels. In , pp. 1691–1703. PMLR, 2020. Меѓународна конференција за машинско учење Child, R., Gray, S., Radford, A., and Sutskever, I. Gen- erating long sequences with sparse transformers. Во 2019 година. arXiv preprint arXiv:1904.10509 Cho, J., Lu, J., Schwenk, D., Hajishirzi, H., and Kemb- havi, A. X-lxmert: Paint, caption and answer ques- tions with multi-modal transformers. , 2020. arXiv претпријатие arXiv:2009.11278 Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., and Fei-Fei, L. Imagenet: Голема иерархиска база на податоци за слики. , pp. 248–255. Ieee, 2009. 2009 IEEE conference on computer vision and pattern recognition Dhariwal, P., Jun, H., Payne, C., Kim, J. W., Radford, A., and Sutskever, I. Jukebox: A generative model for music. , 2020. arXiv preprint arXiv:2005.00341 Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Ben- gio, Y. Generative adversarial networks. Во 2014 година. arXiv preprint arXiv:1406.2661 Greff, K., van Steenkiste, S., and Schmidhuber, J. On the binding problem in artificial neural networks. Во 2020 година. arXiv preprint arXiv:2012.05208 Gregor, K., Danihelka, I., Graves, A., Rezende, D., and Wierstra, D. Draw: A recurrent neural network for im- age generation. In , pp. 1462–1471. PMLR, 2015. International Conference on Machine Learning He, K., Zhang, X., Ren, S., and Sun, J. Identity mappings in deep residual networks. In , pp. 630–645. Springer, 2016. European conference on computer vision Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., and Hochreiter, S. Gans trained by a two time-scale update rule converge to a local nash equilibrium. Во 2017 година. arXiv preprint arXiv:1706.08500 Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Mohamed, S., and Lerchner, A. beta- vae: Learning basic visual concepts with a constrained variational framework. 2016. Isola, P., Zhu, J.-Y., Zhou, T., and Efros, A. A. Image-to- image translation with conditional adversarial networks. In , стр. 1125–1134, 2017 година Proceedings of the IEEE conference on computer vi- sion and pattern recognition Jang, E., Gu, S., and Poole, B. Categorical repa- rameterization with gumbel-softmax. , 2016. arXiv preprint arXiv:1611.01144 Kingma, D. P. and Ba, J. Adam: A method for stochastic optimization. , 2014. arXiv претпријатие arXiv:1412.6980 Кингма, Д. П. и Велинг, М. Авто-кодирање на варијационални заливи. Во 2013 година. arXiv preprint arXiv:1312.6114 Koh, J. Y., Baldridge, J., Lee, H., и Yang, Y. Генерација на текст до слика основана од вниманието на корисникот со фино зрно. , pp. 237–246, 2021. Зимска конференција на IEEE/CVF за апликации на компјутерско видување Köster, U., Webb, T. J., Wang, X., Nassar, M., Bansal, A. K., Constable, W. H., Elibol, O. H., Gray, S., Hall, S., Hornof, L., et al. Flexpoint: An adaptive numerical format for efficient training of deep neural networks. , 2017. arXiv preprint arXiv:1711.02213 LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. Gradient- based learning applied to document recognition. , 86(11):2278–2324, 1998. Proceed- ings of the IEEE Li, W., Zhang, P., Zhang, L., Huang, Q., He, X., Lyu, S., and Gao, J. Object-driven text-to-image synthesis via adversarial training. In , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Страници 12174–12182, 2019 Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ra- manan, D., Dollár, P., and Zitnick, C. L. Microsoft coco: Common objects in context. In , pp. 740–755. Springer, 2014. European conference on computer vision Liu, L., Liu, X., Gao, J., Chen, W., and Han, J. Understand- ing the difficulty of training transformers. , 2020. arXiv preprint arXiv:2004.08249 Loshchilov, I. and Hutter, F. Decoupled weight decay regu- larization. , 2017. arXiv preprint arXiv:1711.05101 Maddison, C. J., Mnih, A., and Teh, Y. W. The concrete distribution: A continuous relaxation of discrete random variables. Во 2016 година. arXiv preprint arXiv:1611.00712 Mansimov, E., Parisotto, E., Ba, J. L., and Salakhutdinov, R. Generating images from captions with attention. Во 2015 година. arXiv preprint arXiv:1511.02793 Micikevicius, P., Narang, S., Alben, J., Diamos, G., Elsen, E., Garcia, D., Ginsburg, B., Houston, M., Kuchaiev, O., Venkatesh, G., et al. Mixed precision training. , 2017. arXiv preprint arXiv:1710.03740 Nguyen, A., Clune, J., Bengio, Y., Dosovitskiy, A., и Yosinski, J. Plug & play генеративни мрежи: условна итеративна генерација на слики во латентен простор. , pp. 4467–4477, 2017. IEEE конференција за компјутерска визија и препознавање на модели Oord, A. v. d., Vinyals, O., and Kavukcuoglu, K. Neu- ral discrete representation learning. Во 2017 година. arXiv preprint arXiv:1711.00937 Provilkov, I., Emelianenko, D., and Voita, E. Bpe-dropout: Simple and effective subword regularization. , 2019. arXiv preprint arXiv:1910.13267 Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. Language models are unsupervised multitask learners. 2019. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., и Sutskever, I. Учење преносливи визуелни модели од надзор на природниот јазик. Rajbhandari, S., Rasley, J., Ruwase, O., and He, Y. Zero: Memory optimization towards training a trillion parame- ter models. , 2019. arXiv preprint arXiv:1910.02054 Razavi, A., Oord, A. v. d., и Vinyals, O. Генерирање на различни слики со висока веродостојност со vq-vae-2. Во 2019 година. arXiv preprint arXiv:1906.00446 Reed, S., Akata, Z., Mohan, S., Tenka, S., Schiele, B., and Lee, H. Learning what and where to draw. , 2016a. arXiv preprint arXiv:1610.02454 Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., и Lee, H. Генеративни противречни текст за синтеза на слики. во , стр. 1060–1069. ПМЛР, 2016б. International Conference on Machine Learning Rezende, D. J., Mohamed, S., and Wierstra, D. Stochastic backpropagation and approximate inference in deep gen- erative models. In , pp. 1278–1286. PMLR, 2014. Меѓународна конференција за машинско учење Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., and Chen, X. Improved techniques for training gans. , 2016. arXiv претпријатие arXiv:1606.03498 Salimans, T., Karpathy, A., Chen, X., и Kingma, D. P. Pixelcnn++: Подобрување на pixelcnn со дискретираната логичка веројатност на мешање и други модификации. Во 2017 година. arXiv претпријатие arXiv:1701.05517 Sennrich, R., Haddow, B., and Birch, A. Neural machine translation of rare words with subword units. , 2015. arXiv претпријатие arXiv:1508.07909 Sharma, P., Ding, N., Goodman, S., and Soricut, R. Con- ceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In , pp. 2556– 2565, 2018. Proceedings of the 56th Annual Meeting of the Association for Compu- tational Linguistics (Volume 1: Long Papers) Smolensky, P. Tensor производ променливи врзување и претставувањето на симболични структури во конекционистички системи. , 46(1-2):159–216, 1990. Artificial intelligence Sun, C., Shrivastava, A., Singh, S., and Gupta, A. Revisiting unreasonable effectiveness of data in deep learning era. In , pp. 843–852, 2017. Proceedings of the IEEE international conference on computer vision Sun, X., Wang, N., Chen, C.-Y., Ni, J., Agrawal, A., Cui, X., Venkataramani, S., El Maghraoui, K., Srinivasan, V. V., and Gopalakrishnan, K. Ultra-low precision 4-bit training of deep neural networks. 33 од 2020 година. Advances in Neural Information Processing Systems Тао, М., Танг, Х., Ву, С., Себе, Н., Ву, Ф., и Џинг, X.-Y. Df-gan: Длабока фузија генеративни противнички мрежи за текст-на-слика синтеза. , 2020. arXiv preprint arXiv:2008.05865 Thomee, B., Shamma, D. A., Friedland, G., Elizalde, B., Ni, K., Poland, D., Borth, D., and Li, L.-J. Yfcc100m: The new data in multimedia research. , 59(2):64–73, 2016. Комуникации на АЦМ Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. Attention is all you need. Во 2017 година. arXiv preprint arXiv:1706.03762 Vogels, T., Karimireddy, S. P., и Jaggi, M. Powersgd: Практична компресија со низок ранг за дистрибуирана оптимизација. , 2019. arXiv preprint arXiv:1905.13727 Welinder, P., Branson, S., Mita, T., Wah, C., Schroff, F., Belongie, S., and Perona, P. Caltech-ucsd birds 200. 2010. Xu, T., Zhang, P., Huang, Q., Zhang, H., Gan, Z., Huang, X., и He, X. Attngan: Фино-гранираниот текст за генерирање на слики со внимателни генеративни непријателски мрежи. , pp. 1316–1324, 2018. Proceedings of the IEEE conference on computer vision and pattern recognition Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., and Metaxas, D. N. Stackgan: Text to photo-realistic image synthesis with stacked generative adversarial net- works. In , pp. 5907–5915, 2017. Proceedings of the IEEE international confer- ence on computer vision Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., and Metaxas, D. N. Stackgan++: Realistic image synthe- sis with stacked generative adversarial networks. , 41(8):1947–1962, 2018. IEEE трансакции за анализа на модели и машина интелигенција Zhu, M., Pan, P., Chen, W., and Yang, Y. Dm-gan: Dy- namic memory generative adversarial networks for text- to-image synthesis. In , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition 5802–5810 од 2019 година. A. Details for Discrete VAE А. 1 Архитектура dVAE енкодерот и декодерот се конволуционални (LeCun et al., 1998) ResNets (He et al., 2016) со resblocks во стилот на bottleneck. Моделите главно користат 3 × 3 конволуции, со 1 × 1 конволуции по должината на скок врски во кои бројот на карактеристики мапи се менува помеѓу влезот и излезот на resblock. Првата конволуција на енкодерот е 7 × 7, а последната конволуција на енкодерот (која го произведува 32 × 32 × 8192 излезот кој се користи како логити за категоричните дистрибуции за сликата токени) е 1 × 1. И првата и последната конволуција на декодерот се 1 × 1. Енкодерот користи max-pooling (што откривме да II. Обука за обука The dVAE is trained on the same dataset as the transformer, using the data augmentation code given in Listing Неколку количини се распаѓаат за време на обуката, од кои сите користат cosine распоред: 1 1. The KL weight is increased from 0 to 6.6 over the first 5000 updates. ( на ) use a similar schedule based on the sigmoid function. β Bowman et al. 2015 Температурата на релаксација τ се намалува од 1 до 1/16 во текот на првите 150.000 ажурирања. 3. The step size is annealed from 1 · 10−4 to 1.25 · 10−6 over 1,200,000 updates. The decay schedules for the relaxation temperature and the step size are especially important for stability and successful optimization. We update the parameters using AdamW (Loshchilov & Hutter, 2017) with β1 = 0.9, β2 = 0.999, = 10−8 , and weight decay multiplier 10−4 . We use exponentially weighted iterate averaging for the parameters with decay coefficient 0.999. The reconstruction term in the ELB is a joint distribution over the 256 × 256 × 3 values for the image pixels, and the KL term is a joint distribution over the 32 × 32 positions in the spatial grid output by the encoder. We divide the overall loss by 256 × 256 × 3, so that the weight of the KL term becomes β/192, where β is the KL weight. The model is trained in mixed-precision using standard (i.e., global) loss scaling on 64 16 GB NVIDIA V100 GPUs, with a per-GPU batch size of 8, resulting in a total batch size of 512. It is trained for a total of 3,000,000 updates. A.3. The Logit-Laplace Distribution The 1 and 2 reconstruction objectives are commonly used when training VAEs. These objectives correspond to using Laplace and Gaussian distributions for ln ( | во еднаквост , respectively. There is a strange mismatch in this modeling choice: pixel values lie within a bounded interval, but both of these distributions are supported by the entire real line. Hence, some amount of likelihood will be placed outside the admissible range of pixel values. l l pθ x y, z 1 Ние претставуваме варијанта на дистрибуцијата на Лаплас која исто така е поддржана со ограничен интервал. Ова го решава несогласувањето помеѓу опсегот на вредностите на пикселите што се моделираат и поддршката на дистрибуцијата што се користи за да се моделираат. Ние го разгледуваме pdf-то на случаен променлив добиен со примена на функцијата sigmoid на случаен променлив дистрибуиран од Лаплас. Овој pdf е дефиниран на (0*,* 1) и е даден од Ние тоа го нарекуваме We use the logarithm of the RHS of Equation како рок за реконструкција за целта за обука на dVAE. logit-Laplace distribution. 2 The decoder of the dVAE produces six feature maps representing the sufficient statistics of the logit-Laplace distribution for the RGB channels of the image being reconstructed. The first three feature maps represent the параметар за RGB канали, а последните три претставуваат ln . Before feeding an image into the dVAE encoder, we transform its values using : [0*,* 255] → ( 1 – ), which is given by µ b ϕ ϵ, ϵ This restricts the range of the pixel values to be modeled by the dVAE decoder to (*ϵ,* 1 *ϵ*), which avoids numerical problems arising from the *x*(1 *x*) in Equation [2](#_bookmark82). We use *ϵ* = 0*.*1. To reconstruct an image for manual inspection or computing metrics, we ignore ln *b* and compute *x*ˆ = *ϕ*−1(sigmoid(*µ*)), where *µ* is given by the first three feature maps output by the dVAE decoder.[11](#_bookmark84) Детали за трансформаторот Б.1 Архитектура Our model is a decoder-only sparse transformer of the same kind described in ( ), with broadcasted row and column embeddings for the part of the context for the image tokens. A complete description of the embedding scheme used in our model is shown in Figure . We use 64 attention layers, each of which uses 62 attention heads with a per-head state size of 64. Детето и Ал. 2019 10 The model uses three kinds of sparse attention masks, which we show in Figure 11. The convolutional attention mask (Figure 11(d)) is only used in the last self-attention layer. Otherwise, given the index i of a self-attention layer (with i ∈ [1, 63]), we use the column attention mask (Figure 11(c)) if i − 2 mod 4 = 0, and row attention otherwise. E.g., the first four self-attention layers use “row, column, row, row”, respectively. With the exception of the convolutional attention mask, which we found to provide a small boost in performance over the row and dense causal attention masks when used in the final self-attention layer, this is the same configuration used in ( на ). Детето и Ал. 2019 B.2. Training Кога го обучуваме трансформаторот, ние ги применуваме зголемувањето на податоците на сликите пред да ги кодираме користејќи го dVAE енкодерот. Ние, исто така, се применуваат 10% BPE drop-out кога BPE-кодирање на насловите за обука. ) и градиентна компресија (види Дел ) with total compression rank 896 (so that each GPU uses a compression rank of 112 for its parameter shards). As shown in Table , this results in a compression rate of about 86%, which we analyze in Section . 2 2.4 2.5 1 E.1 We update the parameters using AdamW with *β*1 = 0*.*9, *β*2 = 0*.*96, *ϵ* = 10−8, and weight decay multiplier 4*.*5 10−2. We clip the decompressed gradients by norm using a threshold of 4, prior to applying the Adam update. Gradient clipping is only triggered during the warm-up phase at the start of training. To conserve memory, most Adam moments (see Section [D](#_bookmark89) for details) are stored in 16-bit formats, with a 1-6-9 format for the running mean (i.e., 1 bit for the sign, 6 bits for the exponent, and 9 bits for the significand), and a 0-6-10 format for the running variance. We clip the estimate for running variance by value to 5 before it is used to update the parameters or moments. Finally, we apply exponentially weighted iterate averaging by asynchronously copying the model parameters from the GPU to the CPU once every 25 updates, using a decay coefficient of 0.99. We trained the model using 1024, 16 GB NVIDIA V100 GPUs and a total batch size of 1024, for a total of 430*,*000 updates. At the start of training, we use a linear schedule to ramp up the step size to 4*.*5 10−4 over 5000 updates, and halved the step size each time the training loss appeared to plateau. We did this a total of five times, ending training with a final step size that was 32 times smaller than the initial one. We reserved about 606*,*000 images for validation, and did not observe overfitting at any point during training. C. Details for Data Collection In order to train the 12-billion parameter transformer, we created a dataset of a similar scale to JFT-300M by collecting 250 million text-image pairs from the internet. As described in Section , овој сет на податоци ги вклучува Концептуални наслови, парите текст-слика од Википедија, и филтриран подсет на YFCC100M. Ние користиме подсет на текст, слика и заеднички текст и слика филтри опишани во ( на ) to construct this dataset. These filters include discarding instances whose captions are too short, are classified as non-English by the Python package cld3, or that consist primarily of boilerplate phrases such as “photographed on ”, where matches various formats for dates that we found in the data. We also discard instances whose images have aspect ratios not in [1*/ ,* 2]. If we were to use to very tall or wide images, then the square crops used during training would likely exclude objects mentioned in the caption. 2.3 Sharma et al. 2018 2 D. Guidelines for Mixed-Precision Training The most challenging part of this project was getting the model to train in 16-bit precision past one billion parameters. We were able to do this after detecting for underflow in various parts of training, and revising the code to eliminate it. We developed a set of guidelines as a result of this process that we present here. 12 1. Нашиот модел користи 128 градиентни скали, по еден за секој од неговите resblocks. 213, where е бројот на паралелни реплики на податоци (т.е. бројот на GPUs). Во нашата конфигурација, секоја скала на степен се множи со 21*/*1000 на секое ажурирање на параметрите Use per-resblock gradient scaling (Figure ) instead of standard loss scaling. 4 M M 4 whe√n __t__тука нема неограничени вредности за било кој градиент на параметар во тој resblock. by 2 and skip the update. We also disallow consecutive divisions of the same grad scale within a window of 125 updates. All grad scales are clamped to the range \[*M* 27*, M* 224\] after being updated. Figure [12](#_bookmark91) shows the gradient scales in the early phase of training for a 2.8-billion parameter model. 2. In particular, store all gains, biases, embeddings, and unembeddings in 32-bit precision, with 32-bit gradients (including for remote communication) and 32-bit Adam moments. We disable gradient compression for these parameters (though PowerSGD would not make sense for 1D parameters like gains and biases). The logits for the text and image tokens are computed and stored in 32-bit precision. We found that storing the embeddings in 16-bit precision sometimes caused divergence early in optimization, and using 16-bit logits resulted in a small shift in the training curve, so we switched to use 32-bit precision out of an abundance of caution. Only use 16-bit precision where it is really necessary for performance. 3. За обука за паралелни податоци, треба да ги поделиме градиентите со вкупниот број на паралелни работници за податоци Еден начин да го направите ова е да го поделите губењето со големината на партијата по машина, а потоа да ги поделите градиентите на параметрите со before summing them over the machines (using all-reduce). To save time and space, the gradients are usually computed and stored in 16-bit precision. When Од друга страна, ако се обидеме прво да ги сумираме градиентите, а потоа да ги поделиме подоцна, можеме да се соочиме со прелив во сите-редуцирање. Avoid underflow when dividing the gradient. M M M Нашето решение за овој проблем се обидува да го минимизира загубата на информации во поделбата пред сите-редуцира, без опасност од претерување. како фактор) наместо големина на партијата по машина, и множете ги скалите на градиентот со за да се компензира, како што е опишано во (1). Потоа, пред операцијата на сите-редуцирање, ги поделиме градиентите со константа која беше прилагодена рачно за да се избегнат и подтокот и прекутокот. Ова беше направено со инспекција на хистограми на експонентите (т.е. база-2 логаритми) на апсолутните вредности на скаларните компоненти на градиентите на секој параметар. Бидејќи скалирањето на градиентите ги држи градиентите блиску до десниот крај на експонентниот опсег на 16-битниот формат, откривме дека истата константа добро работеше за сите параметри во моделот со 16-битни градиенти. и Матриците M M P Q Е. Детали за дистрибуирана оптимизација На пример, ние користиме PowerSGD ( , на ) за да се компресираат градиентите во однос на сите параметри освен вградувањата, не-вградувањата, добивките и предрасудите. , извлекуваме израз за намалување на количината на податоците комуницирани како функција на рангот на компресија и големината на моделот. , претставуваме детален преглед на нашата адаптација на PowerSGD, и модификациите што моравме да ги направиме за да ги поправиме регресиите на перформансите, од кои некои се манифестираат само на скала од милијарди параметри. Птиците и Ал. 2019 Е1 Е2 Е.1.Анализа на опсегот на бендот Градиентно компресирање користи факторизација G ≈ P Qt , каде што P и Q и двете имаат ранг r. Наместо да користите еден сите-редуцира да се пренесе G, ние користиме две помали сите-редуцира да се пренесат и P и Qt во последователност. Затоа, соодносот на компресија е збир на големини на P и Q матрици поделени со збир на големини на G матрици. Ние се раздели по оската 1 за сите параметри, освен за вториот MLP матрица. Потекнувањето на соодносот на компресија во нашата поставка е дадена во Табела 2. Ние забележуваме дека изборот на оските на шард го менува соодносот на компресија за MLP матрици. Конечно, оваа E.2. Детали за имплементација Ние ги опишуваме чекорите во нашата имплементација на PowerSGD во детали, бидејќи овие детали беа од клучно значење за тоа да работи ефикасно и сигурно на скала од милијарди параметри. Нашата обука поставување користи комбинација на параметар sharding и градиент компресија, како што е опишано во Дел За време на репропагацијата, додека ги пресметуваме активациите и ги пресметуваме градиентите за тековниот resblock, ги префеткуваме параметрите за претходниот resblock користејќи all-gather.Once each GPU has calculated the gradient with respect to a full parameter matrix, we calculate the average of the slice of the gradient corresponding to the GPU's parameter shard, and discard the full gradient immediately to preserve memory.This average is taken over all of the GPUs on a machine using reduc-scatter. 2.5 Ако нема бесконечни вредности во резултатот од редуцирањето (што би можело да биде предизвикано од преливање во редуцирањето или редуцирањето), ќе го поделиме резултатот со скалата на градиентот на реблокирањето и ќе го додадеме на буферот за грешки (т.е. буферот кој се користи за корекција на грешките). во спротивно, ние не правиме ништо и ќе продолжиме со редуцирање; една единствена бесконечна вредност во градиентот значи дека целото ажурирање ќе биде прескокнато, што се случува околу 5% од времето. Додавањето на градиентите директно на буферите за грешки избегнува редундантно доделување на друг сет на буфери со големина еднаква на градиентите на параметарскиот шард. Б2 Откако ќе се завршат операциите за редуцирање за resblock, ќе ги закажеме операциите за пресметување на матрици од грешките буфери и матрици, чии вредности се фиксираат на почетокот на обуката (види ). Both the и матриците се чуваат во формат 1-6-9 и нивните вредности се скалираат со предодредени константи, како што е дискутирано во Делот . P Q 2.5 P Q D 4. Once each GPU has computed the matrices for the parameter shards in a resblock, they are averaged with the матрици од GPUs со ист ordinal на сите други машини, со користење на една, групирана all-reduce операција. Оваа all-reduce се изведува во 1-6-9 формат, со користење на прилагодено јадро. Групирањето резултира со подобра употреба на опсегот на опсегот, бидејќи го избегнува закажувањето на многу all-reduce повици за помали, поединечни параметри, од кои секој носи некоја површина. Ние ги заглавуваме сите бесконечности во резултатите на all-reduce до максималната вредност на форматот 1-6-9 (што е малку помалку од 16), задржувајќи го знакот. Со нашиот избор на фактори за скалирање за и Матрици, ова стегање се случува многу ретко. P P P Q 5. × Once the all-reduce operation for the Матриците за resblock се завршени, ние ги ортогонализираме колоните на резултирачките матрици. Ние користиме прилагодено јадро за ортогонализација на Householder наместо Gram-Schmidt, бидејќи откривме дека последното е нумерички нестабилно. × двајца за да се осигура дека резултатот не е блиску до ранг-дефицит, каде што = 10−6. тука е × е правоаголна матрица со иста големина како матрицата во која е додадена; таа содржи матрицата на идентитетот и има нули на друго место. Матриците се чуваат во 1-6-9 формат, но без скалирање. P Имам r P ϵ на r P Р Р P 6. еднаш матриците за resblock се ортогонализирани, ние ги планираме операциите за да го пресметаме новиот P Q матрици од буферите за грешки и Матриците P 7. Once the new матриците за resblock се пресметани, ние планираме уште еден групиран all-reduce, сличен на она што го направивме за resblock. матрици. Како и во чекор (4), ние ги затегнуваме сите бесконечности во резултатите од сите-редуцира до максималната вредност на формата 1-6-9, задржувајќи го знакот. и . Q P P Qt Градиентите за сите параметри кои не се компресирани се групираат заедно во една, 32-битна прецизност. објаснува зошто користиме 32-битна прецизност за овие параметри и нивните градиенти. D Откако сите GPU на машината ќе ги завршат чекорите (7) и (8) за секој resblock во моделот, вредностите на и Матриците за истиот параметар на сите машини ќе бидат идентични. Потоа ја пресметуваме глобалната градиентна норма, која е збирот на две количини: (а) збирот на квадратните норми на Frobenius на матрици над сите параметарски фрагменти на машина, и (б) збир на квадратните норми на градиентите за параметарските фрагменти кои не користат компресија, преземени над сите такви параметарски фрагменти на машина. ) на P Q Q Б2 Додека ја пресметуваме глобалната норма, исто така ги синхронизираме информациите од чекор (2) за тоа кои градиенти на параметарскиот скрат содржат неограничени вредности по намалувањето.По ова, имаме две информации за секој параметарски скрат: (а) дали неговиот буфер за грешки од чекор (2) содржи неограничени вредности на тековната GPU, и (б) дали или contains nonfinite values. We cannot rely on the values of the и матрици за да се утврди (б), бидејќи ги зацврстуваме бесконечностите како што е опишано во чекор (4). Ако најдеме дека градиентот во однос на било кој параметарски фрагмент на машината содржи бесконечни вредности, тогаш ја поставуваме глобалната норма на бесконечност. P Q P Q Откако сите намалувања се завршени и глобалната норма е пресметана, можеме да ги примениме ажурирањата на параметрите. Како и репропагацијата, ажурирањата на параметрите продолжуваат resblock-by-resblock. за сите параметри во даден resblock. За да се избегне преоптоварување, овие производи се пресметуваат со 32-битна прецизност. Потоа можеме да го примениме ажурирањето на Адам на параметрите користејќи ги декомпресираните градиенти и глобалната норма пресметана во чекор (9). Ако глобалната норма не е конечна, тогаш ажурирањето на параметрите и Адам моментите се прескокнува. Матрицата (The Matrix матрицата се чува без скалирање по orthogonalization). ПКТ Q P Вториот чекор е ажурирање на буферите за грешки. Прво, ги користиме резултатите од чекор (10) за да провериме дали и матриците за даден параметарски шпарт содржат само конечни вредности. Ако тоа е случај, тогаш го делиме декомпресираниот градиент со вкупниот број на машини и го одземаме од тековната вредност за буфер за грешка. Ова го поставува буферот за грешка на разликата помеѓу „локалниот“ градиент просечен над GPU-ите на машината со користење на редуциран-сцатер и „оддалечениот“ декомпресиран градиент (т.е. „грешката“). или содржи бесконечни вредности, а потоа проверуваме дали буферот за грешки пресметан во чекор (2) содржи само конечни вредности. Ако тоа го правиме, тогаш ја задржуваме својата вредност и не правиме ништо. Ако не го правиме, тогаш го поставуваме на нула. Целта на оваа досадна логика е да поставиме буфер за грешки на нула само кога мораме да го направиме тоа, бидејќи е контаминиран со бесконечни вредности. P Q P Q Параметарските фрагменти чии градиенти не се компресирани се ажурираат одделно. Исто така, ги забележуваме следниве важни оптимизации: Постојат неколку можности за преклопување помеѓу пресметката и комуникацијата во горенаведените чекори. на пример, додека работиме на чекор (2) за resblock , можеме да продолжиме со чекорите (3)–(8) за сите resblocks Искористувањето на можностите за преклопување е неопходно за постигнување на добри перформанси. i J > I На пример, ние само ги префеткуваме параметрите од претходниот resblock кога операциите за редуцирање-расфрлање се завршени за тековниот. во спротивно, ризикуваме да исчезнеме од меморијата со држење до сите параметри. Ние исто така ги префеткуваме ажурирањата на Адам, така што не ги декомпресираме сите градиенти одеднаш. Постојат две места во имплементацијата каде што транспозицијата има значење: (а) изборот на оската на шард за MLP матриците и (б) дали ја пресметуваме факторизацијата со низок ранг за градиент или неговата транспозиција. Последното влијае на цената на ортогонализацијата. Да претпоставиме дека градиентот G е m × n и неговите фактори со низок ранг P и Qt се m × r и r × n, со r m, n. За да се направи ортогонализација поевтина, ние го транспонираме G соодветно така што m <= n. Е1 At first glance, it may seem like a limitation that the NCCL all-gather and reduce-scatter primitives shard along axis 0 only. We may need to transpose some matrices before and after communication operations because of (a) and (b), which would require additional time and potentially special care to avoid out-of-memory errors. In fact, we never actually needed to do this. This is because we stored some of the parameters in their transposed formats and exploited the transpose_a and transpose_b parameters of the matrix multiplication kernels used in forward propagation, backpropagation, and steps (1)–(13) above. This allowed us to avoid explicit transposition while retaining the freedom to choose how to handle (a) and (b). Во чекор (12) погоре, забележуваме дека поставувањето на буферите за грешки на нула премногу често може да предизвика регресија на перформансите. Сакавме да го избегнеме ова кога продолжуваме со обуката од контролна точка, што се случува почесто за поголеми работни места, бидејќи е веројатно дека машината периодично ќе пропадне. За среќа, ова е непотребно, бидејќи корекцијата на грешките зависи само од збирот на буферите за грешки. Ова својство произлегува од линеарноста и секвенцата на операции што ги користи PowerSGD. Значи, доволно е да се зачуваат сумите на буферите за грешки преземени низ сите GPU со ист ordinal. Кога продолжуваме од контролна точка, можеме да ги поделиме буферите за грешки со вкупниот број на машини и да ги емитираме. Детали за експериментите за човечка евалуација Започнуваме со листа од 1000 натписи и генерираме една слика за примерок по модел по натпис. Потоа се користат натписи и слики за примерок за да се создадат 1000 задачи за споредба на слики по експеримент, кои ги поднесовме на Amazon Mechanical Turk. Секоја задача беше одговорена од пет различни работници. Работниците беа замолени да споредат две слики и да одговорат на две прашања за нив: (1) која слика е најреална и (2) која слика најдобро одговара на споделениот натпис. Одговорите на еден работник беа дисквалификувани поради висок процент на несогласување со другите работници во комбинација со брза брзина на одговор (со многу време на поднесување под 4 секунди); сите други работнички одговори беа зачувани. 13 G. Zero-Shot Превод на слики на слики Фигура shows further examples of zero-shot image-to-image translation, which we discussed in Section . We did not anticipate that this capability would emerge, and made no modifications to the training procedure to encourage it. 14 3.3 This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv This paper is под лиценца CC by 4.0 Deed (Attribution 4.0 International). Достапни за архивирање