Дослідницька стаття DALL·E: Виробництво високоякісного зображення без використання жодної етикетки навчання

Автори : Aditya Ramesh Mikhail Pavlov Gabriel Goh Scott Gray Chelsea Voss Alec Radford Mark Chen Ilya Sutskever Автори : Адіта Рамеш Михайло Павлов Габріель Гох Скотт Грей Челсі Восс Алек Радфорд Марк Чен Ілля Сутскевер Zero-Shot Text-to-Image генерація 1 Введення Сучасні підходи до машинного навчання з тексту до зображення - дисертація почалася з роботи (від який показав, що проект (від ) генеративна модель, коли розширюється до умов на зображеннях, також може генерувати нові візуальні сцени. (від (подальше за те, що використовується генеративна протиборча мережа) , ), а не повторний варіаційний автокодер, поліпшена вірність зображення. (від ) показав, що ця система може не тільки генерувати об'єкти з впізнаваними властивостями, але і Узагальнювати до загальних категорій. Маніфест та ін. 2015 Григорій та ін. 2015 Рід та ін. 2016б Доброзичливий та ін. 2014 Рід та ін. 2016б нульовий постріл Протягом наступних декількох років прогрес продовжувався за допомогою комбінації методів.Ці включають в себе вдосконалення генеративної модельної архітектури з модифікаціями, такими як багатомасштабні генетичні ератори ( , · , інтеграція уваги та допоміжних втрат ( , , а також використання додаткових джерел умовної інформації за межами просто тексту ( , · , · , ) Чен Іл. 2017 2018 Юрій та Ал. 2018 РІД та Ал. 2016А Лі та Аль. 2019 Кох та Ал. 2021 В окремих, (від ) запропонувати енергетичну структуру для умовного створення зображень, яка отримала значне поліпшення якості зразка порівняно з методами контемпора. Їх підхід може включати в себе попередньо підготовлені дискримінаційні моделі, і вони показують, що він здатний виконувати генерацію тексту до зображення при застосуванні до моделі підпису, попередньо підготовленої на MS-COCO. (від ) також пропонує метод, який включає в себе оптимізацію введення до попередньо підготовленої крос-модальної маскуваної мовної моделі. (від ), зразки все ще можуть страждати від серйозних артефактів, таких як спотворення об'єкта, нелогічне розташування об'єкта або неприродне змішування елементів переднього та заднього фонів. Хмельницький та ін. 2017 ЧО та Ал. 2020 Маніфест та ін. 2015 Зазначимо, що в сучасних технологіях, як і в сучасних технологіях, існує величезна ймовірність того, що при використанні технологій, які використовуються для обчислення, обчислення і обчислення даних ( , У деяких випадках, наприклад, у випадках, що стосуються текстів ( , зображення ( , а також аудіо ( , ) Василь та ін. 2017 Редфорд та ін. 2019 Чен та ін. 2020 Джамала та ін. 2020 Для порівняння, генерація тексту-зображення зазвичай оцінюється на відносно невеликих наборах даних, таких як MS-COCO і CUB-200 ( , У цій роботі ми демонструємо, що навчання 12 мільярдів параметричних авторегресивних трансформаторів на 250 мільйонах пар зображення-тексту, зібраних з інтернету, призводить до гнучкої, високої вірогідності генеративної моделі зображень, що можна контролювати за допомогою природної мови. Доброго дня та ін. 2010 Результатна система забезпечує високу якість зображення на популярному наборі даних MS-COCO Згідно з даними видання, в результаті випробувань, що відбуваються в результаті випробувань, в результаті випробувань в результаті випробувань в результаті випробувань в результаті випробувань в результаті випробувань в результаті випробувань в результаті випробувань в результаті випробувань в результаті випробувань в результаті випробувань в результаті випробувань ( , ), скоріше виникаючи як здатність однієї, великої генеративної моделі. нульовий постріл Ісландія та ін. 2017 2 Метод Наша мета полягає в навчанні трансформатора (Vaswani et al., 2017) для авторегресивного моделювання токенів тексту та зображень як єдиного потоку даних. Однак, використання пікселів безпосередньо як токенів зображень вимагатиме надмірної кількості пам'яті для зображень високої роздільної здатності. цілі ймовірності, як правило, пріоритетують моделювання короткорічних залежностей між пікселями (Salimans et al., 2017), тому велика частина можливостей моделювання буде витрачена на захоплення високочастотних деталей замість низькочастотної структури, яка робить об'єкти візуально розпізнаваними для нас. Ми вирішуємо ці питання, використовуючи процедуру підготовки в два етапи, подібну до (Oord et al., 2017; Razavi et al., 2019): Ми тренуємо дискретний варіаційний автокодер (dVAE)1 для стиснення кожного зображення 256×256 RGB в сітку зображень 32×32, кожен з яких може припускати 8192 можливих значення. • Stage 1. Ми об'єднуємо до 256 BPE-кодованих текстових токенів з токенами зображення 32 × 32 = 1024 і тренуємо авторегресивний трансформатор для моделювання спільного розподілу над токенами тексту та зображення. • Stage 2. Загальна процедура може розглядатися як максимізація доказів нижчої межі (ELB) (Kingma & Welling, 2013; Rezende et al., 2014) щодо спільної ймовірності розподілу моделі над зображеннями x, captions y, і токенами z для кодованого RGB зображення. де : qφ означає розподіл по 32 × 32 токенів зображення, що генеруються дВАE-кодером, наданим зображенням RGB x 2 ; • pθ означає розподіл по RGB зображень, що генеруються декодером dVAE, наданим токенами зображення; і • pψ означає спільне розподіл над текстовими і ізольованими токенами, модельованими трансформатором. Зверніть увагу, що зв'язок тримає тільки для β = 1, тоді як на практиці ми вважаємо за корисне використовувати більші значення (Higgins et al., 2016). Перший етап: вивчення візуального кодексу На першому етапі навчання ми максимізуємо ELB по відношенню до φ і θ, що відповідає тренуванню dVAE тільки на зображеннях. Ми встановлюємо початковий попередній pψ до однорідного категоріального розподілу над векторами K = 8192 кодексу, і qφ до категоріального розподілу, параметризованого 8192 логітами в тому ж просторовому положенні в 32×32 сітковому виході кодувачем. ELB тепер стає важко оптимізувати: як qψ є дискретним розподілом, і ми не можемо використовувати градиєнт репаметеризації, щоб максимізувати його. Oord et al. (2017); Razavi et al. (2019) вирішують це за допомогою онлайн-процедури присвоєння кластерів у поєднанні Замість цього ми використовуємо релаксацію gumbel-softmax (Jang et al., 2016; Maddison et al., 2016), замінюючи очікування над qφ на один над q τ φ , де релаксація стає вузькою, оскільки температура τ → 0. Розслаблений ELB максимізується за допомогою Adam (Kingma & Ba, 2014) з експоненціально зваженим ітеративним середнім. Додаток A.2 дає повний опис гіперпараметрів, але ми виявили наступне особливо важливим для стабільного тренування: • Специфічні графіки анулювання для температури релаксації та розміру кроку.Ми виявили, що анулювання τ до 1/16 було достатньо, щоб закрити проміжок між розслабленою валідацією ELB і справжньою валідацією ELB з qφ intsead q τ φ . • Використання конволяцій 1 × 1 в кінці кодувальника і на початку декодера.Ми виявили, що зменшення розміру рецептивного поля для конволяцій навколо релаксації призвело до того, що він краще узагальнювався до справжнього ELB • Помноження вихідних активацій від кодування і реблокування декодера на невелику постійну, щоб забезпечити стабільне навчання при ініціалізації. Ми також виявили, що збільшення ваги КЛ до β = 6,6 сприяє кращому використанню кодеків і в кінцевому підсумку призводить до меншої помилки реконструкції наприкінці тренування.4 Другий етап: вивчення попереднього На другому етапі ми виправляємо та , і вивчити попередній розподіл над текстовими і ізольованими токенами, максимізуючи ELB щодо Ось тут, Наприклад, в даний час налічується приблизно 12 мільярдів мікроорганізмів ( , ) φ θ ψ ппс Дитина та ін. 2019 Наприклад, якщо ви хочете, щоб у вас була копія тексту (BPE-code) , ) нижчезакладений субтитр, що використовує максимум 256 токенів з розміром словника 16*,*384, і кодуйте зображення за допомогою 32 x 32 = 1024 токенів з розміром словника 8192. токени зображення отримуються за допомогою зразкового збору argmax з логітів кодувальника dVAE, без додавання будь-якого шуму gumbel.[6](#_bookmark14) Нарешті, текстові і зображувальні токени з'єднуються і моделюються авторегресивно як єдиний потік даних. Савченко та ін. 2015 5 Трансформер - це модель тільки для декодерів, в якій кожен токен ім-віку може відповідати всім текстовим токенам в будь-якому з його 64 шарів самооцінки. Частина масок уваги, що відповідає увазі тексту до тексту, є стандартною причинною маскою, а частина для уваги зображення до образу використовує або ряд, стовпчик, або конволюційну маску уваги. Б1 7 Ми обмежуємо довжину текстового підпису до 256 токенів, хоча не зовсім ясно, що робити з позиціями "падіння" між останнім текстовим токеном і токеном початку зображення. Один з варіантів полягає в тому, щоб встановити логіти для цих токенів до −∞ в операціях самоосвіти. Замість цього ми вибираємо вивчити спеціальний токен підшипника окремо для кожної з 256 текстових позицій. Цей токен використовується тільки тоді, коли немає текстового токена. У попередніх експериментах з концептуальних заголовків (Sharma et al., 2018), ми виявили, що це призвело до більшої втрати валідації, але кращої продуктивності на заголовках поза розподілом. Ми нормалізуємо крос-ентропічні втрати для токенів тексту та зображення на загальну кількість кожного виду в партії даних.Оскільки ми в першу чергу зацікавлені в моделюванні зображень, ми помножуємо крос-ентропічну втрату для тексту на 1/ / ,000 зображень для перевірки, і не знайшли ознак перевантаження при конвергенції. 8 і втрата крос-ентропії для зображення на 7 Об'єктив оптимізовано за допомогою Адама з експоненціально зваженим ітеративним середнім; Додаток B.2 детальніше описує процедуру навчання. Б.2 2.3 Збір даних Наші попередні експерименти з моделями до 1,2 мільярда параметрів були проведені на концептуальних заголовках, наборі даних 3,3 мільйона пар тексту та зображень, які були розроблені як розширення MS-COCO ( , ) Лін та Аль. 2014 Для того, щоб масштабувати до 12 мільярдів параметрів, ми створили набір даних аналогічного масштабу до JFT-300M ( , У цьому документі міститься інформація, що міститься в документах, що містяться в документах, що містяться в документах, що містяться в документах, що містяться в документах, що містяться в документах, що містяться в документах, що містяться в документах, що містяться в документах, що містяться в документах, що містяться в документах, що містяться в документах, які містяться в документах, які містяться в документах, які містяться в документах, які містяться в документах, які містяться в документах, які містяться в документах, які містяться в документах, які містяться в документах, які містяться в документах, які містяться в документах, які містяться в документах, які містяться в , Оскільки MS-COCO був створений з останнього, наші дані про навчання включають частину зображень з валідації MS-COCO (але жодного з заголовків). і виявити, що він не має помітного впливу на результати. Ми надаємо додаткові подробиці про процес збору даних в Додатку . Сонячний та ін. 2017 Тетяна та ін. 2016 3 C 2.4.3 Навчання по змішаній точності Щоб зберегти пам'ять GPU і збільшити пропускну здатність, більшість па-раметерів, моментів Адама та активацій зберігаються з 16-бітною точністю.Ми також використовуємо контрольну точку активації та відраховуємо активації в межах реблоків під час зворотного проходження. Ми вважаємо, що основною причиною цієї нестабільності є недостатній потік в 16-бітному градієнті. Представляє набір рекомендацій, які ми розробили, щоб уникнути недопливу при навчанні великомасштабних генеративних моделей. D Подібне до попередньої роботи ( , ), ми виявили, що норми градієнтів активації від реблоків де-ростуть монотонно, коли ми переходимо від попередніх реблоків до пізніх. Оскільки модель зроблена глибше і ширше, справжні експоненти активаційних градиєнтів для пізніх ре-блоків можуть впасти нижче мінімального експонента 16-бітного формату. Ми виявили, що усунення відпливу дозволяло стабільне навчання конвергенції. Луї та Ал. 2020 8 Підпорядкований Стандартний розмір втрати ( , ) здатний уникнути підпливу, коли діапазон, розтягнутий найменшими і найбільшими градієнтами активації (в абсолютному значенні), вписується в діапазон експонентів 16-бітного формату.На GPU NVIDIA V100 цей діапазон експонентів визначається п'ятьма бітами. Миколай та ін. 2017 Наше рішення, яке показано на фігурі Наприклад, якщо ви хочете, щоб ваш робочий стіл був настільки потужним, що він може бути використаний в будь-якому місці, наприклад, в інтер'єрі, наприклад, в інтер'єрі, наприклад, в інтер'єрі, наприклад, в інтер'єрі ( , ), з перевагою, що спеціалізовані GPU-користувачі не потрібні. (від ) самостійно розробив подібну процедуру підготовки кон-волюційних мереж з 4-бітною точністю. 4 Костел та Ал. 2017 Сонячний та ін. 2020 5.2 Розподілена оптимізація Наші 12 мільярдів параметрів моделі споживає близько 24 ГБ пам'яті, коли зберігається в 16-бітному точності, що перевищує пам'ять 16 ГБ NVIDIA V100 GPU. , Як показано на фігурі , параметрове розбивання дозволяє майже повністю приховати затримку внутрішньомашинного зв'язку, перекриваючи його обчислювально-інтенсивними операціями. Рахманін та ін. 2019 5 Згідно з даними досліджень, середній показник середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показника середнього показ , ) Птахи та ін. 2019 У нашому впровадженні кожен GPU в машині обчислює коефіцієнти низького рангу для його градієнтів параметрів в залежності від сусідніх GPU. Після обчислення факторів низького рангу кожна машина встановлює свій буфер помилки на залишок між нескладеним градиєнтом, середнім за її вісім GPU (отриманим від зниження-розсіяння), і декомпресованим градиєнтом, отриманим від факторів низького рангу. 9 PowerSGD замінює велику комунікаційну операцію для некомпресованого градієнта параметрів двома, набагато меншими, комунікаційними операціями за своїми факторами низького рангу. Для даного класу компресії r і моделі розміру активації трансформатора, швидкість компресії дається 1 − 5r/(8dmodel) (див. Додаток E.1). Таблиця 1 показує, що ми можемо досягти швидкості компресії близько 85%, незалежно від розміру моделі. У додатку , ми описуємо різні деталі, які були необхідні для того, щоб PowerSGD виконували добре в масштабі. Е2 • Збереження пам'яті шляхом накопичення градиента в буфери помилок під час зворотного розповсюдження, а не об'єднання окремих буферів. • Мінімізація випадків, коли ми нульовуємо буфери помилок (наприклад, через нескінченні значення, що зустрічаються під час змішаної точності зворотного розповсюдження, або при відновленні навчання з контрольної точки). • Поліпшення чисельної стабільності шляхом використання ортогоналізації домашнього утримувача замість Gram-Schmidt, разом з додаванням невеликого множини матриці ідентичності до введення. • Уникнення підпливу, використовуючи налаштований 16-бітний формат плаваючої точки для буферів помилок, їхніх факторів низького рангу та операцій зв'язку, що пов'язані з ними. Ми також знайшли теплий старт процедури для Матриця, описана в (від ) бути непотрібними: ми змогли отримати еквівалентні результати шляхом фіксації до випадкової гаусійської матриці на початку тренування, і ніколи не оновлюючи її. Q Птахи та ін. 2019 Q 10 2.6 Зразкове покоління Подібні (від Використовуючи пристрій, що використовується для обробки зображень, використовується пристрій, що використовується для обробки ( , З огляду на підпис і зображення з датою, контрастна модель присвоює оцінку на основі того, наскільки добре зображення відповідає підпису. показує ефект збільшення кількості зразків з яких вибираємо вершину Подібний процес можна розглядати як різновид мовного пошуку ( , ), і також схожий на допоміжний текстовий зображення, що відповідає втрати, запропоновані (від Якщо не вказано інше, всі зразки, що використовуються для отримання як якісних, так і кількісних результатів, отримуються без зниження температури (тобто за допомогою 1) (за винятком зображення (або використовуйте ретрансляцію з Всього 512 Закарпаття та Ал. 2019 Редфорд та ін. 2021 6 N k Андрій та ін. 2017 Юрій та Ал. 2018 t 2 N 3. Experiments 3.1 Кількісні результати We evaluate our model zero-shot by comparing it to three prior approaches: AttnGAN ( , ), DM- GAN ( , Наприклад, у ДФО ( , ), the last of which reports the best Inception Score ( , ) and Fréchet Inception Distance ( , ) on MS-COCO. Figure qualitatively compares sam- ples from our model to those from prior work. Xu et al. 2018 Юрій та ін. 2019 Tao et al. 2020 Салімани et al. 2016 Хмельницький та ін. 2017 3 We also conduct a human evaluation similar to the one used in (від ) для порівняння нашого підходу до DF-GAN, результати якого показано на малюнку Згідно з підписом, зразок з нашої моделі отримує більшість голосів за краще відповідність підпису 93% часу. Кох та Ал. 2021 7 Figure (a) shows that our model also obtains an FID score on MS-COCO within 2 points of the best prior approach, despite having never been trained on the captions. Our training data incorporates a filtered subset of YFCC100M, and we found that it includes about 21% of the images in the MS-COCO validation set from a de-duplication procedure described in the next section. To isolate this effect, we compute the FID statistics for the validation set both with these images (solid lines) and without them (dashed lines), finding no significant change in the results. 9 Навчання трансформатора на токенах з dVAE енкодера дозволяє нам виділити його здатність моделювання на низькочастотну інформацію, яка робить зображення візуально відновлюваними для нас. Однак це також несприятливо для моделі, оскільки важке стиснення робить його неможливим для виробництва високочастотних деталей. (a) after applying a Gaussian filter with varying radius to both the validation images and samples from the models. Our approach achieves the best FID by a margin of about 6 points with a slight blur of radius 1. The gap between our approach and others tends to widen as the blur radius is increased. We also obtain the highest IS when the blur radius is greater than or equal to two. 9 Наша модель ціни значно гірше на наборах даних CUB, для яких існує майже 40-точковий розрив в FID між нашою моделлю і провідним попереднім підходом (рис. (b)) Ми знайшли 12% скорочення перекриття для цього набору даних, і знову, після видалення цих зображень не було значної різниці в результатах. Ми спекулюємо, що наш підхід з нульовим пострілом менш ймовірно, щоб порівняти сприятливо на спеціалізованих дистрибутивах, таких як CUB. Ми вважаємо, що тонкий налаштування є перспективним напрямком для поліпшення, і залишити це дослідження для подальшої роботи. . 9 8 Finally, Figure (c) показує чіткі поліпшення FID та IS для MS-COCO, оскільки збільшується розмір зразка, який використовується для перекладинки з контрастивною моделлю. 9 3.2. Data Overlap Analysis We used the deduplication procedure described in (від ) to determine which images to remove. For each validation image, we find the closest image in the training data using a contrastive model specifically trained for this task. We then sort the images in descending order by closeness to their nearest matches in the training data. After inspecting the results by hand, we determine the images to remove by manually selecting a conservative threshold designed to minimize the false negative rate. Радфорд et al. 2021 3.3. Qualitative Findings We found that our model has the ability to generalize in ways that we did not originally anticipate. When given the caption “a tapir made of accordion...” (Figure ), the model appears to draw a tapir with an accordion for a body, or an accordion whose keyboard or bass are in the shape of a tapir’s trunk or legs. This suggests that it has developed a rudimentary ability to compose unusual concepts at high levels of abstraction. 2a Our model also appears to be capable of combinatorial gen- eralization, such as when rendering text (Figure ) або при дослідженні таких речень, як "ілюстрація дитячого оленя в різдвяному джинсі, що ходить собакою" (рис. Наприклад, при використанні змінних вимірювальних показників ( , ; , ) – it is the hedge- hog that is in the christmas sweater, not the dog. We note, however, that the model performs inconsistently on the task, sometimes drawing both animals with christmas sweaters, or drawing a hedgehog walking a smaller hedgehog. 2b 2c Smolensky 1990 Greff et al. 2020 To a limited degree of reliability, we also find our model to be capable of zero-shot image-to-image translation controllable by natural language (Figure 2d). When the model is given the caption “the exact same cat on the top as a sketch at the bottom” and the top 15 × 32 part of the image token grid for a photo of a cat, it is able to draw a sketch of a similar looking cat on the bottom. Це працює з декількома іншими видами трансформацій, включаючи операції зображення (наприклад, зміна кольору зображення, перетворення його в сірий колір або обертання його вгору вниз) і перенесення стилю (наприклад, нанесення кішки на привітальну картку, поштовий штамп або корпус мобільного телефону). Деякі трансформації, такі як ті, що включають тільки зміну кольору тварини, свідчать про те, що модель здатна виконувати рудиментарний тип сегментації об'єктів. . G 4. Conclusion We investigate a simple approach for text-to-image generation based on an autoregressive transformer, when it is executed at scale. We find that scale can lead to improved generalization, both in terms of zero-shot performance relative to previous domain-specific approaches, and in terms of the range of capabilities that emerge from a single generative model. Our findings suggest that improving generalization as a function of scale may be a useful driver for progress on this task. Acknowledgements We would like to thank Matthew Knight for reviewing the code release for this work, and Rewon Child, John Schul- man, Heewoo Jun, and Prafulla Dhariwal for helpful early feedback on the paper. We would also like to thank Jong Wook Kim for writing the PyTorch package for the con- trastive model described in ( ) that we used to rerank the samples from our model. Radford et al. 2019 References Абаді, М., Бархам, П., Чен, Дж., Чен, З., Девіс, А., Дін, J., Devin, M., Ghemawat, S., Irving, G., Isard, M., et al. Tensorflow: A system for large-scale machine learning. In { 12th USENIX symposium on operating systems design { , pp. 265–283, 2016. and implementation ( Осі 16 ) Andreas, J., Klein, D., і Levine, S. Навчання з латентною мовою. , 2017. arXiv попередній запис arXiv:1711.00482 Bengio, Y., Léonard, N., and Courville, A. Estimating or propagating gradients through stochastic neurons for con- ditional computation. У 2013 році. arXiv preprint arXiv:1308.3432 Bowman, S. R., Vilnis, L., Vinyals, O., Dai, A. M., Joze- fowicz, R., and Bengio, S. Generating sentences from a continuous space. У 2015 році. arXiv preprint arXiv:1511.06349 Chen, M., Radford, A., Child, R., Wu, J., Jun, H., Luan, D., and Sutskever, I. Generative pretraining from pixels. In , pp. 1691–1703. PMLR, 2020. Міжнародна конференція з машинного навчання Child, R., Gray, S., Radford, A., and Sutskever, I. Gen- erating long sequences with sparse transformers. , 2019. arXiv preprint arXiv:1904.10509 Cho, J., Lu, J., Schwenk, D., Hajishirzi, H., and Kemb- havi, A. X-lxmert: Paint, caption and answer ques- tions with multi-modal transformers. , 2020. arXiv попереднє видання arXiv:2009.11278 Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., і Fei-Fei, L. Imagenet: A large-scale hierarchical image database. In , pp. 248–255. Ieee, 2009. 2009 IEEE conference on computer vision and pattern recognition Dhariwal, P., Jun, H., Payne, C., Kim, J. W., Radford, A., і Sutskever, I. Jukebox: генеративна модель для музики. , 2020. arXiv preprint arXiv:2005.00341 Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Ben- gio, Y. Generative adversarial networks. 2014 року. arXiv препринт arXiv:1406.2661 Greff, K., van Steenkiste, S., and Schmidhuber, J. On the binding problem in artificial neural networks. У 2020 році. arXiv preprint arXiv:2012.05208 Gregor, K., Danihelka, I., Graves, A., Rezende, D., and Wierstra, D. Draw: A recurrent neural network for im- age generation. In , pp. 1462–1471. PMLR, 2015. International Conference on Machine Learning He, K., Zhang, X., Ren, S., and Sun, J. Identity mappings in deep residual networks. In , pp. 630–645. Springer, 2016. European conference on computer vision Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., і Hochreiter, S. Ганс, навчені двома правилами оновлення в часовому масштабі, збігаються до локального балансу nash. , 2017. arXiv preprint arXiv:1706.08500 Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Mohamed, S., і Lerchner, A. beta- vae: вивчення основних візуальних концепцій з обмеженою варіаційною структурою. Isola, P., Zhu, J.-Y., Zhou, T., and Efros, A. A. Image-to- image translation with conditional adversarial networks. In , pp. 1125–1134, 2017. Proceedings of the IEEE conference on computer vi- sion and pattern recognition Jang, E., Gu, S., and Poole, B. Categorical repa- rameterization with gumbel-softmax. , 2016. arXiv preprint arXiv:1611.01144 Kingma, D. P. and Ba, J. Adam: A method for stochastic optimization. , 2014. arXiv preprint arXiv:1412.6980 Кінгма, Д. П. і Веллінг, М. Автокодування варіаційних байів. , 2013. arXiv попередній запис arXiv:1312.6114 Koh, J. Y., Baldridge, J., Lee, H., і Yang, Y. Генерація тексту до зображення, заснована на увазі користувачів з тонким зерном. , pp. 237–246, 2021. Зимова конференція IEEE/CVF з застосування комп'ютерного зору Köster, U., Webb, T. J., Wang, X., Nassar, M., Bansal, A. K., Constable, W. H., Elibol, O. H., Gray, S., Hall, S., Hornof, L., et al. Flexpoint: Адаптивний чисельний формат для ефективного тренування глибоких нейронних мереж. , 2017. arXiv preprint arXiv:1711.02213 LeCun, Y., Bottou, L., Bengio, Y., і Haffner, P. Gradient-основане навчання застосовано до розпізнавання документів. , 86(11):2278–2324, 1998 рік Процедура - інженери IEEE Li, W., Zhang, P., Zhang, L., Huang, Q., He, X., Lyu, S., і Gao, J. Об'єктно-підвищений синтез тексту до зображення через супротивницьке навчання. , Конференція IEEE/CVF з комп'ютерного зору та розпізнавання зразків 12174 – 12182, 2019 р. Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ra- manan, D., Dollár, P., і Zitnick, C. L. Microsoft coco: загальні об'єкти в контексті. , pp. 740–755. Springer, 2014. Європейська конференція з комп'ютерного бачення Liu, L., Liu, X., Gao, J., Chen, W., and Han, J. Understand- ing the difficulty of training transformers. У 2020 році. arXiv preprint arXiv:2004.08249 Лошилов, І. і Хаттер, Ф. Роз'єднаний розпад ваги регулю- ларизація. , 2017. arXiv попередній запис arXiv:1711.05101 Maddison, C. J., Mnih, A., and Teh, Y. W. The concrete distribution: A continuous relaxation of discrete random variables. 2016 року. arXiv попереднє видання arXiv:1611.00712 Mansimov, E., Parisotto, E., Ba, J. L., і Salakhutdinov, R. Створення зображень з назви з увагою. У 2015 році. arXiv попередній запис arXiv:1511.02793 Micikevicius, P., Narang, S., Alben, J., Diamos, G., Elsen, E., Garcia, D., Ginsburg, B., Houston, M., Kuchaiev, O., Venkatesh, G., et al. Змішане точне навчання. 2017 року. arXiv препринт arXiv:1710.03740 Nguyen, A., Clune, J., Bengio, Y., Dosovitskiy, A., and Yosinski, J. Plug & play generative networks: Condi- tional iterative generation of images in latent space. In , pp. 4467–4477, 2017 року Конференція IEEE з комп'ютерного бачення та розпізнавання зразків Oord, A. v. d., Vinyals, O., and Kavukcuoglu, K. Neu- ral discrete representation learning. , 2017. arXiv preprint arXiv:1711.00937 Provilkov, I., Emelianenko, D., and Voita, E. Bpe-dropout: Simple and effective subword regularization. , 2019. arXiv preprint arXiv:1910.13267 Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. Language models are unsupervised multitask learners. 2019. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., and Sutskever, I. Learning transferable visual models from natural language supervision. 2021. Rajbhandari, S., Rasley, J., Ruwase, O., і He, Y. Zero: Оптимізація пам'яті для підготовки трильйонів моделей параметрів. , 2019. arXiv попереднє видання arXiv:1910.02054 Razavi, A., Oord, A. v. d., і Vinyals, O. Створення різноманітних зображень високої вірогідності за допомогою vq-vae-2. , 2019. arXiv preprint arXiv:1906.00446 Reed, S., Akata, Z., Mohan, S., Tenka, S., Schiele, B., і Lee, H. Дізнатися, що і де малювати. , 2016a. arXiv препринт arXiv:1610.02454 Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., and Lee, H. Generative adversarial text to image synthesis. In , pp. 1060–1069. PMLR, 2016b. International Conference on Machine Learning Rezende, D. J., Mohamed, S., and Wierstra, D. Stochastic backpropagation and approximate inference in deep gen- erative models. In , pp. 1278–1286. PMLR, 2014. International conference on machine learning Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., і Chen, X. Вдосконалені методики для тренування гус. , 2016. arXiv preprint arXiv:1606.03498 Salimans, T., Karpathy, A., Chen, X., and Kingma, D. P. Pixelcnn++: Improving the pixelcnn with discretized lo- gistic mixture likelihood and other modifications. 2017 року. arXiv preprint arXiv:1701.05517 Sennrich, R., Haddow, B., and Birch, A. Neural machine translation of rare words with subword units. , 2015. arXiv preprint arXiv:1508.07909 Sharma, P., Ding, N., Goodman, S., and Soricut, R. Con- ceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In , pp. 2556– 2565, 2018. Протоколи 56-го щорічного засідання Асоціації обчислювальної лінгвістики (том 1: Довгі документи) Smolensky, P. Tensor product variable binding and the representation of symbolic structures in connectionist systems. , 46(1-2):159–216, 1990. штучний інтелект Sun, C., Shrivastava, A., Singh, S., і Gupta, A. Перевірка необґрунтованої ефективності даних в епоху глибокого навчання. , pp. 843–852, 2017. Міжнародна конференція IEEE з комп'ютерного зору Sun, X., Wang, N., Chen, C.-Y., Ni, J., Agrawal, A., Cui, X., Venkataramani, S., El Maghraoui, K., Srinivasan, V. V., and Gopalakrishnan, K. Ultra-low precision 4-bit training of deep neural networks. , 33, 2020. Переваги нейронних систем обробки інформації Tao, M., Tang, H., Wu, S., Sebe, N., Wu, F., і Jing, X.-Y. Df-gan: глибоке злиття генеративних протиборчих мереж для синтезу тексту до зображення. , 2020. arXiv попереднє видання arXiv:2008.05865 Thomee, B., Shamma, D. A., Friedland, G., Elizalde, B., Ni, K., Польща, D., Borth, D., і Li, L.-J. Yfcc100m: Нові дані в мультимедійних дослідженнях. , 59(2):64–73, 2016. Communications of the ACM Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. Attention is all you need. , 2017. arXiv preprint arXiv:1706.03762 Vogels, T., Karimireddy, S. P., і Jaggi, M. Powersgd: Практична компресія з низьким рангом для розподіленої оптимізації. , 2019. arXiv попереднє видання arXiv:1905.13727 Welinder, P., Branson, S., Mita, T., Wah, C., Schroff, F., Belongie, S., і Perona, P. Caltech-ucsd птахів 200. Xu, T., Zhang, P., Huang, Q., Zhang, H., Gan, Z., Huang, X., і He, X. Attngan: тонкий текст для створення зображень з уважними генеративними ворожими мережами. , pp. 1316–1324, 2018. Конференція IEEE з комп'ютерного зору та розпізнавання зразків Чжан, Х., Сю, Т., Лі, Г., Чжан, С., Ван, Х., Хуанг, Х., і Метаксас, Д. Н. Стакган: Текст до фотореалістичного синтезу зображень з накопиченими генеративними ворожими мережами. , pp. 5907–5915, 2017. Proceedings of the IEEE international confer- ence on computer vision Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., and Metaxas, D. N. Stackgan++: Realistic image synthe- sis with stacked generative adversarial networks. , 41(8):1947–1962, 2018. IEEE transactions on pattern analysis and machine intelligence Zhu, M., Pan, P., Chen, W., and Yang, Y. Dm-gan: Dy- namic memory generative adversarial networks for text- to-image synthesis. In , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Сторінка 5802–5810, 2019 Деталі для Discrete VAE A.1. Architecture dVAE-кодери та декодери є конвульційними (LeCun et al., 1998) ResNets (He et al., 2016) з реблоками в стилі bottleneck. Моделі в основному використовують 3 × 3 конвольції, з 1 × 1 конвольціями уздовж стрибків зв'язків, в яких кількість карт функцій змінюється між введенням та виходом реблока. Перша конвольція кодера становить 7 × 7, а остання конвольція кодера (яка виробляє 32 × 32 × 8192 вихід, що використовується як логіти для категорійних розподілів для токенів зображення) становить 1 × 1. Обидва перші та останні конвольції декодера 1 × 1. Кодери використовують макс-получення (що ми виявили А. 2 Навчання The dVAE is trained on the same dataset as the transformer, using the data augmentation code given in Listing Під час тренування розпадаються декілька величин, всі з яких використовують козинний графік: 1 1 Вага КК is increased from 0 to 6.6 over the first 5000 updates. ( Використовуйте аналогічний графік, заснований на функції сигмоїд. β Bowman et al. 2015 2. The relaxation temperature τ is annealed from 1 to 1/16 over the first 150,000 updates. Using a linear annealing schedule for this typically led to divergence. 3. The step size is annealed from 1 · 10−4 to 1.25 · 10−6 over 1,200,000 updates. The decay schedules for the relaxation temperature and the step size are especially important for stability and successful optimization. We update the parameters using AdamW (Loshchilov & Hutter, 2017) with β1 = 0.9, β2 = 0.999, = 10−8 , and weight decay multiplier 10−4 . We use exponentially weighted iterate averaging for the parameters with decay coefficient 0.999. The reconstruction term in the ELB is a joint distribution over the 256 × 256 × 3 values for the image pixels, and the KL term is a joint distribution over the 32 × 32 positions in the spatial grid output by the encoder. We divide the overall loss by 256 × 256 × 3, so that the weight of the KL term becomes β/192, where β is the KL weight. The model is trained in mixed-precision using standard (i.e., global) loss scaling on 64 16 GB NVIDIA V100 GPUs, with a per-GPU batch size of 8, resulting in a total batch size of 512. It is trained for a total of 3,000,000 updates. A.3. The Logit-Laplace Distribution ТІ 1 and 2 цілі реконструкції зазвичай використовуються при навчанні ОАЕ. Ці цілі відповідають використанню розподілів Лапласа і Гаусіана для ( | в рівняннях Існує дивна невідповідність у цьому виборі моделювання: значення пікселів знаходяться в межах обмеженого діапазону, але обидва ці розподіли підтримуються цілою реальною лінією. l l pθ x y, z 1 We present a variant of the Laplace distribution that is also supported by a bounded interval. This resolves the discrepancy between the range of the pixel values being modeled and the support of the distribution used to model them. We consider the pdf of the random variable obtained by applying the sigmoid function to a Laplace-distributed random variable. This pdf is defined on (0*,* 1) and is given by Ми називаємо його Використовуємо логарифм рівняння RHS as the reconstruction term for the training objective of the dVAE. logit-Laplace distribution. 2 The decoder of the dVAE produces six feature maps representing the sufficient statistics of the logit-Laplace distribution for the RGB channels of the image being reconstructed. The first three feature maps represent the parameter for the RGB channels, and the last three represent ln . Before feeding an image into the dVAE encoder, we transform its values using : [0*,* 255) → ( 1 − що надається за µ b ϕ ϵ, ϵ This restricts the range of the pixel values to be modeled by the dVAE decoder to (*ϵ,* 1 *ϵ*), which avoids numerical problems arising from the *x*(1 *x*) in Equation [2](#_bookmark82). We use *ϵ* = 0*.*1. To reconstruct an image for manual inspection or computing metrics, we ignore ln *b* and compute *x*ˆ = *ϕ*−1(sigmoid(*µ*)), where *µ* is given by the first three feature maps output by the dVAE decoder.[11](#_bookmark84) Деталі для трансформатора Б. 1 Архітектура Наша модель являє собою декодер-тільки дрібний трансформатор того ж типу, описаний в (від ), with broadcasted row and column embeddings for the part of the context for the image tokens. A complete description of the embedding scheme used in our model is shown in Figure . We use 64 attention layers, each of which uses 62 attention heads with a per-head state size of 64. Дитина та ін. 2019 10 Модель використовує три типи рідкісних масок уваги, які ми показуємо на малюнку 11. Конвульційна маска уваги (рис. 11(d)) використовується тільки в останньому шарі самооцінки. В іншому випадку, з огляду на індекс i шару самооцінки (з i ∈ [1, 63]), ми використовуємо маску колонної уваги (рис. 11(c)) якщо i − 2 mod 4 = 0, а ряд уваги інакше. Наприклад, перші чотири шари самооцінки використовують "ріг, стовп, ряд, ряд", відповідно. За винятком конвульційної маски уваги, яку ми виявили, що забезпечує невелике підвищення продуктивності по ряду і щільні маски уваги при використанні в кінцевому шарі самооці (від ). Дитина та ін. 2019 B.2. Training Під час тренування трансформатора ми застосовуємо збільшення даних до зображень, перш ніж кодувати їх за допомогою дВАЕ-кодера.Ми використовуємо трохи різні збільшення, ніж ті, які використовуються для тренування дВАЕ; код, який використовується для цього, наведено в Списку Ми також застосовуємо 10% BPE drop-out при BPE-кодуванні назви для тренування. Модель тренується за допомогою масштабування за відповідним блокуванням (див. розділ ) and gradient compression (see Section ) with total compression rank 896 (so that each GPU uses a compression rank of 112 for its parameter shards). As shown in Table , це призводить до скороти компресії приблизно 86%, яку ми аналізуємо в розділі . 2 2.4 2.5 1 E.1 We update the parameters using AdamW with *β*1 = 0*.*9, *β*2 = 0*.*96, *ϵ* = 10−8, and weight decay multiplier 4*.*5 10−2. We clip the decompressed gradients by norm using a threshold of 4, prior to applying the Adam update. Gradient clipping is only triggered during the warm-up phase at the start of training. To conserve memory, most Adam moments (see Section [D](#_bookmark89) for details) are stored in 16-bit formats, with a 1-6-9 format for the running mean (i.e., 1 bit for the sign, 6 bits for the exponent, and 9 bits for the significand), and a 0-6-10 format for the running variance. We clip the estimate for running variance by value to 5 before it is used to update the parameters or moments. Finally, we apply exponentially weighted iterate averaging by asynchronously copying the model parameters from the GPU to the CPU once every 25 updates, using a decay coefficient of 0.99. Ми тренували модель, використовуючи 1024, 16 ГБ NVIDIA V100 GPU і загальний розмір партії 1024, для загальної кількості 430*,*000 оновлень. На початку тренування ми використовували лінійний графік, щоб підняти розмір кроку до 4*.*5 10−4 за 5000 оновлень, і наполовину розмір кроку кожного разу, коли втрата тренування з'явилася на плато. Ми зробили це в цілому п'ять разів, закінчивши тренування з кінцевим розміром кроку, який був 32 рази меншим, ніж початковий. C. Деталі збирання даних In order to train the 12-billion parameter transformer, we created a dataset of a similar scale to JFT-300M by collecting 250 million text-image pairs from the internet. As described in Section Цей набір даних включає в себе концептуальні заголовки, пари тексту і зображення з Вікіпедії, а також фільтрований піднабір YFCC100M. Ми використовуємо піднабір тексту, зображення та спільних текстових і зображувальних фільтрів, описаних у (від Ці фільтри включають викидання інстанцій, назви яких занадто короткі, які класифікуються як неанглійські пакетом Python cld3, або які складаються в основному з фраз котлоплат, таких як "фотографувалися на ", де відповідає різним форматам для дат, які ми знайшли в даних. Якщо ми будемо використовувати для дуже високих або широких зображень, то квадратні культури, використані під час тренування, ймовірно, виключать об'єкти, згадані в підписі. 2.3 Шарма та ін. 2018 2 D. Керівні принципи змішаної точності Найбільш складною частиною цього проекту було отримання моделі, щоб тренуватися з 16-бітною точністю понад мільярд параметрів.Ми змогли зробити це після виявлення недотоку в різних частинах навчання, і переглянути код, щоб усунути його. 12 1. Наша модель використовує 128 градусних шкал, по одному для кожного з його реблоків. 213 з яких is the number of data-parallel replicas (i.e., the number of GPUs). In our setup, each grad scale is multiplied by 21*/*1000 at every parameter update Use per-resblock gradient scaling (Figure ) instead of standard loss scaling. 4 M M 4 whe√n __t__here are no nonfinite values for any parameter gradient in that resblock. Otherwise, we divide the grad scale Ми також забороняємо послідовні поділи тієї ж шкали градусів у вікні з 125 оновлень. Всі шкали градусів стискаються до діапазону \[*M* 27*, M* 224\] після їх оновлення. Рисунок [12](#_bookmark91) показує шкали градусів на ранній стадії навчання для моделі параметрів 2,8 млрд. 2. In particular, store all gains, biases, embeddings, and unembeddings in 32-bit precision, with 32-bit gradients (including for remote communication) and 32-bit Adam moments. We disable gradient compression for these parameters (though PowerSGD would not make sense for 1D parameters like gains and biases). The logits for the text and image tokens are computed and stored in 32-bit precision. We found that storing the embeddings in 16-bit precision sometimes caused divergence early in optimization, and using 16-bit logits resulted in a small shift in the training curve, so we switched to use 32-bit precision out of an abundance of caution. Only use 16-bit precision where it is really necessary for performance. 3. Для паралельної підготовки даних ми повинні розділити градієнти на загальну кількість паралельних працівників даних Один з способів зробити це - розділити втрату на розмір партії на машину, а потім розділити градієнти параметрів на before summing them over the machines (using all-reduce). To save time and space, the gradients are usually computed and stored in 16-bit precision. When is large, this division could result in underflow before the gradients are summed. On the other hand, if we attempt to sum the gradients first and then divide them later, we could encounter overflow in the all-reduce. Avoid underflow when dividing the gradient. M M M Наше рішення цієї проблеми намагається звести до мінімуму втрату інформації в підрозділі перед повним скороченням, без ризику надливу. як фактор), а не розмір партії на машину, і помножуйте градуїєнтні шкали на to compensate, as described in (1). Then, prior to the all-reduce operation, we divide the gradients by a constant that was tuned by hand to avoid both underflow and overflow. This was done by inspecting histograms of the exponents (i.e., base-2 logarithms) of the absolute values of the scalar components of the per-parameter gradients. Since the gradient scaling keeps the gradients close to right end of the exponent range of the 16-bit format, we found that the same constant worked well for all parameters in the model with 16-bit gradients. When using PowerSGD, we chose different constants for the та matrices. M M P Q Деталі для розподіленої оптимізації Використовується для схуднення ( , ) to compress the gradients with respect to all parameters except the embeddings, unembeddings, gains, and biases. In Section , we derive an expression for the reduction in the amount of data communicated as a function of the compression rank and model size. In Section , ми представляємо детальний огляд нашої адаптації PowerSGD, а також модифікації, які нам довелося зробити, щоб виправити регресії продуктивності, деякі з яких проявляються тільки в мільярд-параметрів. Vogels et al. 2019 E.1 E.2 E.1. Bandwidth Analysis Градієнтна компресія використовує факторизацію G ≈ P Qt , де P і Q обидва мають рейтинг r. Замість того, щоб використовувати один все-редукс для передачі G, ми використовуємо два менших все-редуксів для передачі як P, так і Qt послідовно. Отже, співвідношення компресії є сумою розмірів матриць P і Q, розділених сумою розмірів матриць G. Ми розбиваємо уздовж осі 1 для всіх параметрів, крім другої матриці MLP. Виведення співвідношення компресії в нашому налаштуванні дано в Таблиці 2. Ми відзначаємо, що вибір осей шардів змінює співвідношення компресії для матриць MLP. Нарешті, цей аналіз виключа E.2. Деталі виконання We describe the steps in our implementation of PowerSGD in detail, since these details were crucial in getting it to work efficiently and reliably at billion-parameter scale. 1. Our training setup uses a combination of parameter sharding and gradient compression, as described in Section . During backpropagation, while recomputing the activations and computing the gradients for the current resblock, we prefetch the parameters for the preceding resblock using all-gather. Once each GPU has computed the gradient with respect to a full parameter matrix, we compute the average of the slice of the gradient corresponding to the GPU’s parameter shard, and discard the full gradient immediately to conserve memory. This average is taken over all of the GPUs on a machine using reduce-scatter. 2.5 Якщо в результаті зниження-розсіяння немає нескінченних значень (які можуть бути викликані переповненням у зворотній розповсюдженні або зниженні-розповсюдженні), ми ділимо результат за шкалою градієнту реблоку і додаємо його до буфера помилок (тобто буфера, який використовується для виправлення помилок). В іншому випадку ми нічого не робимо і продовжуємо зворотну розповсюдження; одне нескінченне значення в градієнті означає, що повне оновлення буде пропущено, що відбувається приблизно 5% часу. ; the larger exponent range ensures that this division does not result in underflow. Adding the gradients directly to the error buffers avoids redundantly allocating another set of buffers of size equal to the parameter shard gradients. Б.2 Після закінчення операцій зменшення розсіяння для resblock ми плануємо операції для обчислення matrices from the errors buffers and the матриці, значення яких фіксуються на початку навчання (див. розділ 2) обидва з них та матриці зберігаються у форматі 1-6-9 і мають значення, масштабовані заздалегідь визначеними константами, як розглянуто в розділі . P Q 2.5 P Q D Після того, як кожна ГПУ обчислила матриці для параметрів фрагментів в resblock, вони середні з матриці з GPU з однаковим ordinal на всіх інших машинах, використовуючи єдину, групову операцію all-reduce. Це all-reduce здійснюється у форматі 1-6-9 за допомогою індивідуального ядра. Групування призводить до кращої експлуатації пропускної здатності, оскільки воно уникає планування багатьох all-reduce викликів для менших, індивідуальних параметрів, кожен з яких несе певний перевищення. Ми стискаємо будь-які нескінченності в результатах all-reduce до максимальної вартості формату 1-6-9 (що трохи менше 16), зберігаючи знак. та Матриці, цей кріплення відбувається дуже рідко. P P P Q 5. × Коли операція all-reduce для матриці для resblock закінчилися, ми ортогоналізуємо стовпці отриманих матриць. Ми використовуємо власний ядро ортогоналізації Householder, а не Gram-Schmidt, оскільки ми виявили, що останнє є чисельно нестабільним. × два in order to ensure that the result is not near rank-deficient, where = 10−6. Here, × is a rectangular matrix of the same size as the матриці, до якої вона додана; вона містить матриці ідентичності і має нулі в інших місцях. Матриці зберігаються у форматі 1-6-9 без масштабування. P ІМ r P ϵ ІМ r P r r P 6.Одного разу матриці для реблоку були ортогоналізовані, ми плануємо операції для обчислення нового P Q matrices from the error buffers and the матриці . P 7. Once the new матриці для реблоку були обчислені, ми плануємо інший груповий все-редук, подібний до того, що ми зробили для матриці. Як і в кроці (4), ми закріплюємо всі нескінченності в результатах все-редукції до максимальної вартості формату 1-6-9, зберігаючи знак. та . Q P P QT Градієнти для всіх параметрів, які не стискаються, групуються разом в одну, 32-бітну точність. пояснює, чому ми використовуємо 32-бітну точність для цих параметрів та їх градієнтів. D Після того, як всі GPU на комп'ютері завершили кроки (7) і (8) для кожного реблокування в моделі, значення та Матриці для одного і того ж параметра на всіх машинах будуть однаковими.Ми потім обчислюємо глобальну норму градусу, яка є сумою двох величин: (а) сума квадратних норм Фробеніуса матриці над всіма параметричними фрагментами на машині, і (б) суму квадратних норм градиєнтів для параметричних фрагментів, які не використовують компресію, взяли на себе всі такі параметричні фрагменти на машині. ). P Q Q Б.2 Під час обчислення глобальної норми ми також синхронізуємо інформацію з кроку (2) про те, які градієнти параметрів містили нескінченні значення після зниження-розсіяння. Після цього ми маємо дві частини інформації для кожного параметра: (а) чи містить його буфер помилок з кроку (2) нескінченні значення на поточному GPU, і (б) чи або містить нескінченні значення. Ми не можемо покладатися на значення та матриці, щоб визначити (b), оскільки ми стискаємо нескінченності, як описано в кроці (4). Якщо ми виявимо, що градиент по відношенню до будь-якого параметра фрагмент на машині містить нескінченні значення, то ми встановимо глобальну норму на нескінченність. P Q P Q Після закінчення всіх скорочень і обчислення глобальної норми ми можемо застосувати оновлення параметрів. Як і зворотне поширення, оновлення параметрів продовжують реблокувати-за-переблокувати. for all parameters in a given resblock. To avoid overflow, these products are computed in 32-bit precision. We can then apply the Adam update to the parameters using the decompressed gradients and the global norm computed in step (9). If the global norm is not finite, then the update to the parameters and Adam moments is skipped. We note that the decompressed gradient must be divided by the scale of the Матриця (The Matrix матриця зберігається без масштабування після ортогоналізації). ПКТ Q P Другий крок - оновлення буферів помилок.Спочатку ми використовуємо результати з кроку (10) для перевірки, чи та матриці для даного параметра містить тільки кінцеві значення. Якщо це так, то ми ділимо декомпресований градиент на загальну кількість машин, і віднімемо його від поточної вартості для буфера помилки. Це встановлює буфер помилки на різницю між «локальним» градиєнтом, середнім по GPU на машині, використовуючи редуктор-скатер, і «віддаленим» декомпресованим градиєнтом (тобто «помилкою»). Якщо або contains nonfinite values, then we check if the error buffer computed in step (2) contains only finite values. If it does, then we preserve its value and do nothing. If it does not, then we set it to zero. The purpose of this tedious logic is to set an error buffer to zero only when we must do so, because it has been contaminated with nonfinite values. We found that error buffers getting set to zero too frequently by gradient scaling events leads to performance regressions. P Q P Q Параметричні фрагменти, градуси яких не стиснуті, оновлюються окремо. Ми також відзначаємо наступні важливі оптимізації: Є кілька можливостей для перекриття між обчисленням та комунікацією у вищезазначених кроках. Наприклад, поки ми працюємо на кроці (2) для реблокування , ми можемо перейти до кроків (3)–(8) для всіх реблоків Використання можливостей перекриття є необхідним для досягнення хороших результатів. i J > I Ми викидаємо конкретні операції, які можуть виснажити всю доступну пам'ять. Наприклад, ми викидаємо параметри з попереднього реблоку тільки тоді, коли операції редуктора-розсіяння закінчилися для поточного. В іншому випадку ми ризикуємо вичерпати пам'ять, тримаючись на повних параметрах. Є два місця у реалізації, де важливо транспонувати: (a) вибір осі шард для матриць MLP і (b) чи обчислюємо ми низькокласну факторизацію для градиента або його транспонування. Останнє впливає на вартість ортогоналізації. припустимо, що градиент G є m × n і його низькокласні фактори P і Qt є m × r і r × n, відповідно, з r m, n. Щоб зробити ортогоналізацію дешевше, ми транспонуємо G належним чином так, що m <= n. E.1 На перший погляд, це може здатися обмеженням, що NCCL все-збирати і зменшити-розсіяти примитиви розбиваються уздовж осі 0 тільки. Нам може знадобитися транспонувати деякі матриці до і після операцій зв'язку через (a) і (b), що вимагатиме додаткового часу і потенційно особливого догляду, щоб уникнути помилок поза пам'яттю. Насправді, ми ніколи насправді не потрібно робити це. Це тому, що ми зберігали деякі з параметрів в їх транспонованих форматах і використовували параметри транспонувати_a і транспонувати_b матриці множення ядра, які використовуються в попереду розповсюдження, зворотного поширення, і кроки (1)-13) вище. Це дозволило нам уникнути У кроці (12) вище ми відзначаємо, що встановлення важелів помилок до нуля занадто часто може призвести до регресії продуктивності. Ми хотіли уникнути цього при відновленні навчання з пункту перевірки, що відбувається частіше для більших завдань, оскільки є ймовірність, що машина періодично провалиться. Наївно, це вимагатиме завантаження важелів помилок з усіх машин разом з контрольними пунктами моделі. Оскільки ми використовуємо загалом 128 машин для навчання, це призведе до 128 разів більшого використання зберігання, що є надзвичайно марним. На щастя, це непотрібно, оскільки виправлення помилок залежить тільки від суми буферів помилок. Ця властивість випливає з лінійності та послідовності операцій, використовуваних PowerSGD. Отже, достатньо зберігати суми буферів помилок, взятих на всіх GPU з однаковим ординальним. При відновленні з пункту перевірки ми можемо розділити буфери помилок на загальну кількість машин і передати їх. F. Деталі для експериментів з оцінкою людини Ми починаємо зі списку 1000 заголовків і генеруємо один зразок зображення за моделлю за заголовком. Назви та зразки зображень потім використовуються для створення 1000 завдань порівняння зображень за експеримент, які ми подали до Amazon Mechanical Turk. Кожне завдання відповіли п'ять різних робітників. Працівникам було запропоновано порівняти два зображення і відповісти на два питання про них: (1) який зображення є найбільш реалістичним, і (2) який зображення найкраще відповідає спільному заголовку. . One worker’s answers were disqualified due to a high rate of disagreement with other workers combined with a fast answer velocity (with many submission times under 4 seconds); all other worker answers were kept. 13 G. Zero-Shot Переклад зображення на зображення фігури показує додаткові приклади нульового перекладу зображення на зображення, про які ми говорили в розділі Ми не очікували, що ця здатність з'явиться, і не вносили жодних змін до процедури навчання, щоб заохотити її. 14 3.3 This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv Цей документ є Ліцензія CC by 4.0 Deed (Attribution 4.0 International) Доступно в архіві