DALL·E судалгааны харьцуулалт: Өндөр чанарын зураг үүсгэхийн тулд сургалтын бүтэц ашиглахгүй

Зохиогчийн эрх : Aditya Ramesh Mikhail Pavlov Gabriel Goh Scott Gray Челси Voss Alec Radford Mark Chen Ilya Sutskever Зохиогчийн эрх : Эмэгтэй Ramesh Михаил Павлов Габриэль Goh Скот Грей Челси Voss Алек Рэдфорд Марк Чен Эмэгтэйчүүд Zero-Shot Text-to-Image генераци 1. Үйлчилгээ Modern machine learning approaches to text to image synthesis - Сэтгэгдэл үлдээх (Хөргөл ), Энэ нь зураг (Хөргөл ) Generative загвар, зураг бүтэц дээр нөхцөлд нэмэгдэж байгаа үед, мөн шинэ визуал үзэсгэлэн үүсгэх болно. (Хөргөл ) later demonstrated that using a generative adversarial network ( Нөхцөл ), өөрчилсөн өөрчилсөн автоматаар шифрлэдэг, дэлгэцийн найдвартай байдлыг сайжруулсан. (Хөргөл ) showed that this system could not only generate objects with recognizable properties, but also could Бүтээгдэхүүний бүтэц нь тусгаарлагдсан. Мэндэлсний болон ал. 2015 Гэрэл болон ал. 2015 Reed болон ал. 2016Б Goodfellow болон ал. 2014 Reed болон ал. 2016Б Зөвлөгөө Дараагийн хэд хэдэн жилийн турш, хөгжил нь олон тооны арга хэрэгсэл ашиглан үргэлжлүүлэн. Эдгээр нь олон тооны шинж чанартай загвар архитектурын шинэчлэлтүүдээр олон тооны шинж чанартай загвар ( Нөхцөл Үнэгүй ), анхаарал, туслах үсэг нэгтгэх ( Нөхцөл ), нэмэлт эх сурвалжаас ашиглан текстээс гадна өгөгдлийн тохиргоог ашиглах ( Нөхцөл Үнэгүй Нөхцөл Үнэгүй Нөхцөл Нөхцөл Зөвлөгөө & Ал. 2017 2018 Хуучин болон ал. 2018 Нөхцөл Илүү аль. 2016А Эдүүлбэр 2019 Эдүүлбэр 2021 Зөвхөн (Хөргөл ) эрчим хүчний суурилсан бүтэц үзүүлэлттэй зургийн үүсгэх нь дээж чанарын маш их сайжруулсан үзүүлэлтний чанарын сайжруулсан санал болгож байна. Тэдний арга хэрэгсэл pre-trained дискриминацийн загварууд нэгтгэх болно, тэд MS-COCO дээр pre-trained загваруудтай загваруудтай хэрэглэдэг үед текст-to-image генерацийг гүйцэтгэхийн тулд чадвартай гэж харуулж байна. (Хөргөл ) түүнчлэн optimiz- ing-ийг урьдчилан боловсруулсан кросс-модал хашаатай хэлний загвартай арга замыг санал болгож байна. Үүнээс хойш ажлын үр дүнд визуал найдвартай байдал нь ихэвчлэн нэмэгдэж байна. (Хөргөл ), дээж одоо ч арьс арьс, алдартай арьс байршуулалт, эсвэл арьс баруун элементүүд нь байгалийн хослол гэх мэт хатуу арьс арьс болно. Нөхцөл болон ал. 2017 Үнэгүй Илүү аль. 2020 Мэндэлсний болон ал. 2015 Хамгийн сүүлийн үеийн шинэчлэлүүд нь өргөн хүрээтэй генерацийн загваруудтай дэмжлэг үзүүлдэг. Тодорхойлолт, загварын хэмжээ, өгөгдлийн тоноглогдсон үед, авторегрессив трансформаторууд нь уян хатан тохиромжтой байдаг ( Нөхцөл ) текст гэх мэт хэд хэдэн газар дээр гайхалтай үр дүнг олж авсан ( Нөхцөл Бүтээгдэхүүн ( Нөхцөл ), болон аудио ( Нөхцөл Нөхцөл Байгалийн болон ал. 2017 Эмэгтэйчүүд 2019 Чен болон ал. 2020 Эдүүлбэр 2020 Баримтлуулалттай, текст нь зураг генерацийг харьцуулахад харьцуулагдсан нь MS-COCO, CUB-200 гэх мэт харьцуулалттай багатай өгөгдлийн багтаамжтай ( Нөхцөл ) Даатгалын хэмжээ, загварын хэмжээ нь одоогийн аргаар хязгаарлагдмал факторууд байж болох уу? Эдгээр ажиллагаанд бид интернетийн 250 сая зураг-текст бүлэгт дээр 12 тэрбум параметр авторегрессив трансформаторын сургалт нь байгалийн хэл дээр хянах боломжтой зураг нь гүнзгий, өндөр нарийвчлалтай генерацийн загварын үр дүнтэй юм. Тавтай морилно уу 2010 Өнгөрсөн систем нь алдартай MS-COCO өгөгдлийн баг дээр өндөр чанарын зураг үүсгэх боломжтой , сургалтын бүтэцээс ямар нэг ашиглахгүйгээр. Энэ нь 90% -ийг хэрэглэгчдийн мэдээллийн багц дээр өмнө боловсруулсан ажил нь хамгийн тохиромжтой юм. Бид бас зураг нь зургийн хэвлэл мэдээллийн түвшинд хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлб Нөхцөл ), түүнчлэн нэг, том генератив загварын хүчин чадалтай. Зөвлөгөө Исланд болон аль. 2017 2 Метод Бидний зорилго нь трансформатор (Vaswani et al., 2017) авторегрессив хэлбэрээр текст, зураг токенов нь нэг дамжуулан өгөгдлийн хэлбэрээр загварыг загварыг боловсруулах юм. Гэсэн хэдий ч, пикселийн шууд зураг токенов болгон ашиглах нь өндөр нарийвчлалтай зураг авахын тулд хязгааргүй хэмжээтэй хадгаламжийг шаарддаг. Амьдралын зорилго нь пикселийн хоорондын хооронд хязгаарлалт загварыг загварыг приоритет болгоно (Salimans et al., 2017), гэхдээ загварын хүчин чадал нь бидэнд үзэсгэлэнтэй зүйлсийг олгодог бага нарийвчлалтай бүтэц нь өндөр нарийвчлалтай өгөгдлийг авч ашиглаж болно. Бид Эдгээр асуудлуудыг хоёр үе шаттай сургалтын үйл явцыг ашигладаг (Oord et al., 2017; Razavi et al., 2019): Бид дискрет вариацийн автокодер (dVAE)1 нь 256×256 RGB зургийг 32×32 зураг токеновтай компрессийг боловсруулсан бөгөөд энэ нь 8192 боломжийн түвшин авч болно. Энэ нь визуал чанарын их ач холбогдолгүйгээр трансформаторын контекст хэмжээ 192-ийн түвшин багасгах болно. • Stage 1. Бид 32 × 32 = 1024 зураг токеновтай 256 BPE-д шифрлэгдсэн текст токеновтай, авторегрессив трансформатор нь текст болон зураг токенов дээр хоорондын хуваалцах загвартай. • Stage 2. Бүх үйл явц нь хамгийн бага бодис (ELB) (Kingma & Welling, 2013; Rezende et al., 2014) ширхэг x, captions y, болон tokens z дээр загваруулсан RGB зураг дээр загваруулсан загварууд дээр загварын хоосон чадварыг хамгийн их үзэж болно. Бид pθ,ψ(x, y, z) = pθ(xannoo y, z)pψ(y, z) нь factorization ашиглан энэ хуваалцах нь загварыг загваруулдаг. Хэрэв: • qφ нь RGB зураг x 2 хүлээн зөвшөөрсөн dVAE encoder-ийн үүсгэсэн 32 × 32 зураг токенов дээр дистрибуцийг хэлдэг ; • pθ нь зураг токенов хандах dVAE декодер-ийн үүсгэсэн RGB зураг дээр хуваалцаж; болон • pψ нь трансформаторын загвартай текст, зураг токенов дээр нэгтгэсэн хуваалцлыг хэлдэг. Үзүүлэлт нь зөвхөн β = 1 -ийг хамардаг боловч практик нь их үнэт хэрэглэхэд тусалдаг (Higgins et al., 2016). Дараа нь доорх хэсэгүүд нь хооронд дэлгэрэнгүй тайлбарладаг.3 2.1. Эхний үе шат: Визуал Codebook суралцах Оюутны эхний үе шатд, бид φ болон θ-ийн талаар ELB-ийг хамгийн их болгож байна. Энэ нь зөвхөн зураг дээр dVAE-ийг сургахын тулд тохируулж байна. Бид K = 8192 кодбук векторууд дээр богино категорийн хуваалцахын тулд эхний өмнө pψ-ийг тохируулсан бөгөөд qφ нь 32x32-ийн ширхэг output дээр 8192 логит-ийг параметрийг параметрийг хангасан категорийн хуваалцтай байх болно. ELB-ийг одоо сайжруулдаг: qψ нь хязгаарлалттай хуваалцтай бөгөөд бид энэ нь хамгийн их ашиглаж чадахгүй байна. Oord et al. (2017); Razavi et al. (2019) нь шууд дамжуулагчтай харьцуулагчтай онлайн цуглуулах үйл явдал ашиг Үүнээс гадна бид gumbel-softmax релаксацийг ашигладаг (Jang et al., 2016; Maddison et al., 2016), qφ-ээс илүү нарийвчлал нь q τ φ-ээс илүү нарийвчлалтай, түүнээс гадна релаксаци нь температурт τ → 0. pθ-ийн чадварыг log-laplace хуваалцлыг ашиглан үнэлэх болно. Хязгаарлагдмал ELB-ийг Адам (Kingma & Ba, 2014) нь экспоненцийг хамарсан хязгаарлагдмал дундажтай дундажтай ашиглан хамгийн их болгож байна. Ангилал A.2 hyperparameters нь бүрэн тодорхойлолт олгодог боловч бид дараах зүйлсийг тогтвортой сургалтын хувьд маш чухал гэж үзэж байна: • Арилжааны температур, шатанд хэмжээ нь тусгай арилжааны график. Бид арилжааны τ 1/16 нь арилжааны validation ELB болон qφ intsead нь арилжааны validation ELB хооронд хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаар • Encoder-ийн эцсийн болон декодер-ийн эхлэлд 1 × 1 конвольцийг ашиглах. Бид тавтай морилно уулын ойролцоогоор конвольцийг хүлээн зөвшөөрөх газар хэмжээгээр багасгахын тулд энэ нь зөв ELB-ийг илүү сайн ерөнхийдөөж байна. • Encoder болон decoder resblocks-аас идэвхтэй идэвхжүүлэлтүүд нь жижиг констанцтай ихэвхжүүлэх, эхлэхэд тогтвортой сургалт хангахын тулд. Бид бас KL жин нь β = 6.6 хүртэл нэмэгдүүлэх нь кодек бүтэц ашиглан илүү сайн ашиглах, эцэст нь сургалтын эцсийн дараа нь бага reconstruction error-ийг үүсгэдэг гэж олж байна.4 2.2. Хоёр дахь үе шат: Өмнөх суралцах Хоёр дахь үе шат, бид Нөхцөл , болон текст, зураг токенов дээр өмнө дистрибуцийг ELB-ийг хамгийн их ашиглан суралцах Энд 12 тэрбум parameter sparse трансформатор ( Нөхцөл Нөхцөл φ θ ψ Нөхцөл Хүүхдүүд болон ал. 2019 Бусад текст зургийн параар, бид BPE-coding ( Нөхцөл ) 256 токенов хамгийн их ашиглан доорх нэгийг ашиглах 16 * * 384 хэлбэрийн хэмжээтэй, 32 x 32 = 1024 хэлбэрийн хэмжээтэй токены ашиглан зураг шифрлэдэг 8192 хэлбэрийн хэмжээтэй. зураг токени нь dVAE шифрлэдэг логитээс argmax дээж авахын тулд, ямар ч gumbel шугам нэмэхгүйгээр авах болно.[6] (#_bookmark14) Өнгөрсөн, текст болон зураг токени нь авторегрессив хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэл Эмэгтэйчүүд et al. 2015 5 Трансформатор нь зөвхөн декодертай загвар юм. Энэ нь тус бүр im-age токенов нь 64 self-attention хавтгай дээрх бүх текст токеновтай байдаг. Бүх архитектур Ap-pendix-д тайлбарласан байна. Энэ загвард ашиглаж буй гурван янз бүрийн self-attention маск байдаг. Text-to-Text attention-тай харьцуулахад анхааралтай маск нь стандарт причинны маск бөгөөд Image-to-Image attention-тай анхааралтай хэсэг нь шугам, цуврал, эсвэл конволуцийн анхааралтай маск ашигладаг. Б1 7 Бид текст токеноос урт нь 256 токеноор хязгаарлагддаг боловч энэ нь хамгийн сүүлийн үеийн текст токеноос болон зураг эхлэх токеноос хооронд "падинг" байршуулалтыг хэрхэн хийх нь маш тодорхой биш юм. Одоогоор бид 256 текст байршуулалтаар тусгай тусгай хавтан олохыг сонгоно. Энэ нь текстийн хавтан ямар ч байдаг үед зөвхөн ашиглаж байна. Conceptual Captions (Sharma et al., 2018) дээр эхний туршилтад бид энэ нь илүү их баталгаажуулалт үхэх, гэхдээ дистрибутийн хавтан дээр илүү сайн гүйцэтгэлийн үр нөлөөтэй гэж үзэж байна. Бид текст, зураг токенов нь кросс энтропийн хоорондын хавтгай нь өгөгдлийн цуврал дахь тус бүр төрөл бүрийн нийт тоо нь нормализуулдаг. Бие бид ихэвчлэн зураг загвар нь сонирхож байгаа тул, бид текст нь кросс энтропийн хоорондын хоорондын хавтгай нь 1/ / ,000 зураг баталгаажуулахын тулд, конвергенцид overfitting ямар ч мэдрэмжийг олж байна. 8 болон зураг нь хязгаарлагдмал энтропийн үсэг 7 8. Ангилал нь Адам нь экспоненцийг жинтэй итерийн дундажтай ашиглан optimized байна; Ангилал B.2 сургалт үйл явцыг илүү нарийвчлалтай тайлбарладаг. Бид 606 орчим байрладаг Б2 2.3. мэдээлэл цуглуулах Бидний эхний туршилт нь 1.2 тэрбум параметр хүртэл загварууд Conceptual Captions, MS-COCO-ийг өргөтгөл болгон боловсруулсан 3.3 сая текст-ийр бүлэгтэй өгөгдлийн багц дээр хийсэн байна ( Нөхцөл Нөхцөл Бэлэн болон ал. 2014 12 тэрбум параметруудын масштаб хийхын тулд бид JFT-300M-ийн түвшинд харьцуулахад өгөгдлийн багц үүсгэдэг ( Нөхцөл ) Интернет-ийн 250 сая текст-хавтгай дөрвөлжин агуулахад. Энэ өгөгдлийн багц нь MS-COCO-ийг агуулдаг боловч Концептуал Хэмжээ болон YFCC100M-ийн шүүлтүүр дор багц агуулдаг ( Нөхцөл ). MS-COCO-аас үүсгэсэн бөгөөд бидний сургалтын өгөгдөл нь MS-COCO-ийн баталгаажуулалтын зургийг (амар ч ямар ч хэлбэлзэл) нэг хэсэгтэй агуулдаг. Бид Энэ нь Section-д танилцуулсан ихэнх үр дүнд хянах болно. Бид өгөгдлийн цуглуулах үйл явцыг талаар дэлгэрэнгүй мэдээллийг санал болгож байна . Зохиогчийн эрх 2017 Тавтай морилно 2016 3 C 2.4. Mixed тооны сургалт GPU-г хадгалах, дамжуулалтыг нэмэгдүүлэхын тулд ихэнх процессор, Адам минут, идэвхжүүлэлт нь 16-битын нарийвчлалтай хадгалах. Бид мөн идэвхжүүлэлтийн checkpointing ашиглаж, resblocks-ийн дотор идэвхжүүлэлтийг багасгах. 16-битын нарийвчлалтай 16 тэрбум параметрүүдээс багасгахын тулд загварууд нь энэ төслийн хамгийн алдартай хэсэг байсан. Бид энэ хязгааргүй байдал нь 16-бит gradients-д хязгааргүй байдал гэж бодож байна. Энэ нь өргөн хүрээтэй генерацийн загварыг боловсруулахын тулд бид боловсруулсан гарын авлага хоорондоо цуглуулж байна. Энд бид эдгээр гарын авлага нэгг тодорхойлосон байна: Per-resblock gradient scaling. D Хамгийн сүүлийн үеийн ( Нөхцөл ), бид resblocks-ээс идэвхжүүлэх gradients-ийн нормүүд нь бид өмнө resblocks-ээс дараагийн нь дамжуулан монотон хамаарна. загвар илүү гүнзгий, өргөн хийж байгаа тул дараагийн res-блокийг идэвхжүүлэхийн тулд идэвхжүүлэхийн gradients-ийн үнэхээр экспоненцийг 16-битын форматын хамгийн бага экспоненцийг багасгах боломжтой. Үүний үр дүнд, тэд нуулд хүрч болно, phenomenon гэж нэрлэдэг Бид un-derflow элсүүлэх конвергенцийн тогтвортой сургалт боломжийг олгодог гэж үзсэн. Тавтай морилно уу 2020 8 Өнгөрсөн Стандарт хатуу түлхүүр ( Нөхцөл ) найдвартай, хамгийн том идэвхжүүлэх градус (абсолют түвшинд) давхарга 16-битын формат нь экспоненцийн давхарганд тохиромжтой байх үед underflow-ийг избеж болно. NVIDIA V100 GPU-д энэ экспоненцийн давхарга нь 5 битээр тодорхойлогдсон байна. Энэ нь нэг хэмжээтэй ванилийн хэлний загварыг сургахын тулд хялбар боловч энэ давхарга text-to-image загварын хувьд бага байдаг. Микевичиус et al. 2017 Бидний тохиргоо, энэ зураг дээр харуулсан , өөрчилсөн түвшинд "градийн түвшин" ашигладаг. Энэ загвар нь Flexpoint гэж нэрлэгддэг өөрчилсөн түвшинд ашиглаж болно. Нөхцөл ), мэргэшсэн GPU керамик хэрэгцээг шаардлагагүй юм. Бид олж авсан (Хөргөл ) 4-битын нарийвчлалтай конвенциал сүлжээг сургахын тулд анагаах ухаалаг үйл явц боловсруулсан. 4 Өнгөрсөн Илүү аль. 2017 Зохиогчийн эрх 2020 2.5. Дистрибутирован optimization Бидний 12 тэрбум параметрний загвар нь 16 бит нарийвчлалтай хадгалах үед 24 ГБ-ийн памын хэрэглэдэг бөгөөд энэ нь 16 ГБ-ийн NVIDIA V100 GPU-ийн памынээс дээш байна. Бид параметр sharding ашиглан энэ талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаар Нөхцөл ) Фигур дээр харуулсан , параметр sharding нь машин хооронд холбооны латенцийг компьютерийн их үйл ажиллагаатай хамардаг. Байрлал жуулчлалын газар 2019 5 Хэрэглээний загвар дээр загварыг боловсруулахын тулд ашиглагддаг кластер дээр, гадаргуу нь машин дээрх GPU-ийн гадаргуу нь маш бага байдаг. Энэ нь машин хооронд гол бутлуур хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоолой. Бид PowerSGD ( Нөхцөл Нөхцөл Эмэгтэйчүүд et al. 2019 Бидний имплементацид, машин дахь бүр GPU нь түүний параметр shard gradients нь бага түвшин факторуудыг тооцох - түүний хаана GPU-ээс хамаарна. Хамгийн бага түвшин факторууд тооцогдсон дараа, бүр машин нь бага түвшин факторууд (Reduced-Scatter-аас олж авсан) болон бага түвшин факторуудад олж авсан түвшин хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын буурцагтай. 9 PowerSGD нь хязгааргүй параметр gradient нь том харилцаа холбооны үйл явцыг хоёр, бага түвшинд шингээх үйл явцыг өөрчилж байна. Тавтай морилно уу компрессийн түвшин r болон трансформатор идэвхжүүлэх хэмжээ dмодел нь компрессийн түвшин 1 − 5r/(8dmodel) (Анексид E.1 үзнэ үү). Тавцан 1 нь бид загварын түвшин 85% -ийн компрессийн түвшин олж чадна. Ангилал , бид PowerSGD-ийг томъёо сайн гүйцэтгэхийн тулд шаардлагатай янз бүрийн мэдээллийг тайлбарлав. Эдгээр нь: Э2 • Backpropagation үед алдаа буферүүдд gradient цуглуулах, өөр өөр буферүүдээс өөрчилж байна. • Үнэндээ тавтай морилно уу, бид хязгаарлагдмал буфферийг нульж байна (жишээ нь, хязгаарлагдмал үнэ цэнэтэй хооронд харах, эсвэл шалгах тоног төхөөрөмжээс сургалтын шинэчлэх үед). • Грам-Шмидт өөрсдийн Householder orthogonalization ашиглан тооцны тогтвортой байдлыг сайжруулах, жишээ нь identity matrix-ийн жижиг дугуй нэмэх. • Хязгаарлагч буфер, тэдний бага түвшинд факторууд, тэднийг хамардаг бүх түвшинд холбооны үйл ажиллагаа нь өөрчлөн 16-бит нисэх тоног төхөөрөмжийн формат ашиглан хязгаарлагддаг. Мөн бид халуун эхлэх үйл явцыг олж авсан Матриц хэлсэн (Хөргөл ) хязгааргүй байхын тулд: бид тогтвортой болгохын тулд эквивалент үр дүнг олж болно сургалт эхлэхэд хатуу гаусийн матриц руу, энэ нь ямар ч шинэчлэхгүй. Q Эмэгтэйчүүд et al. 2019 Q 10 2.6. Санал Generation Тавтай мод (Хөргөл ), бид трансформаторын загварууд нь урьдчилан сэргийлсэн контрастийн загварыг ашигладаг ( Нөхцөл ). Зөвлөгөө, зураглалын зургийг хангахын тулд контрастны загвар нь зургийн хэв маягтай харьцуулахад үр дүнд суурилсан. Зураг дээж тоо нэмэгдүүлэх нөлөө харуулж байна Үүнээс гадна бид шилдэг сонгох зураг. Энэ үйл явц нь хэлбэрээр хайлтын аргаар хайж болно ( Нөхцөл ), мөн санал болгож буй тусламжтай текст-хаалттай хаалттай хаалттай хаалттай (Хөргөл Эсвэл өөр хэлбэрийн хэлбэрийг хэлбэрийг хэлбэрийг хэлбэрийг хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлб = 1) (Хэвч зураг ) , Reranking нь ашиглах = 512 Тавтай морилно уу 2019 Эмэгтэйчүүд 2021 6 N k Андреас болон ал. 2017 Хуучин болон ал. 2018 t 2 N 3. Эксперимент 3.1. Quantitative Results We evaluate our model zero-shot by comparing it to three prior approaches: AttnGAN ( Нөхцөл Албан ёсны ( Нөхцөл ), болон DF-GAN ( Нөхцөл ), хамгийн сүүлийн үеийн нь хамгийн шилдэг эхний үр дүнг санал болгож байна ( Нөхцөл ) and Fréchet Inception Distance ( Нөхцөл ) on MS-COCO. Figure qualitatively compares sam- ples from our model to those from prior work. Xu et al. 2018 Zhu et al. 2019 Tao et al. 2020 Сайн байна уу et al. 2016 Heusel et al. 2017 3 Мөн бид хэрэглэгдсэн нь харьцуулахад харьцуулахад харьцуулахад ашиглаж байна (Хөргөл ) to compare our approach to DF-GAN, the results of which are shown in Figure . Given a caption, the sample from our model receives the majority vote for better matching the caption 93% of the time. It also receives the majority vote for being more realistic 90% of the time. Эдүүлбэр 2021 7 Үнэлгээ (a) shows that our model also obtains an FID score on MS-COCO within 2 points of the best prior approach, despite having never been trained on the captions. Our training data incorporates a filtered subset of YFCC100M, and we found that it includes about 21% of the images in the MS-COCO validation set from a de-duplication procedure described in the next section. To isolate this effect, we compute the FID statistics for the validation set both with these images (solid lines) and without them (dashed lines), finding no significant change in the results. 9 Training the transformer on the tokens from the dVAE en- coder allows us to allocate its modeling capacity to the low-frequency information that makes images visually rec- ognizable to us. However, it also disadvantages the model, since the heavy compression renders it unable to produce high-frequency details. To test the effect of this on the quantitative evaluations, we compute the FID and IS in Fig- ure (a) гаусийн шүүлтүүр нь өөрсдийн радиус нь гаусийн зураг болон загваруудын дээж нь өөрсдийн радиус ашиглах дараа. Бидний арга нь ойролцоогоор 6 томоохон маржин нь хамгийн шилдэг FID-ийг олж авах 1. Бидний арга болон бусад хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хо 9 Бидний загвар үнэ цэнэтэй CUB өгөгдлийн багц, бидний загвар, тэргүүлэх өмнөх арга хэрэгсэл хооронд FID-д 40-ийн тооны хязгаар байдаг (Хувцаслалт) (b)). We found an 12% overlap rate for this dataset, and again ob- served no significant difference in the results after removing these images. We speculate that our zero-shot approach is less likely to compare favorably on specialized distributions such as CUB. We believe that fine-tuning is a promising direction for improvement, and leave this investigation to future work. Samples from our model for captions in this dataset are shown in Figure . 9 8 Эцэст нь, фигура (c) shows clear improvements in FID and IS for MS-COCO as the sample size used for reranking with the contrastive model is increased. This trend continues up to a sample size of 32, after which we observe diminishing returns 9 3.2. Data Overlap Анализ Бид дедупликацийн үйл явцыг ашиглаж байна ( ) to determine which images to remove. For each validation image, we find the closest image in the training data using a contrastive model specifically trained for this task. We then sort the images in descending order by closeness to their nearest matches in the training data. After inspecting the results by hand, we determine the images to remove by manually selecting a conservative threshold designed to minimize the false negative rate. Эдүүлбэр et al. 2021 3.3. Qualitative Findings We found that our model has the ability to generalize in ways that we did not originally anticipate. When given the caption “a tapir made of accordion...” (Figure ), the model appears to draw a tapir with an accordion for a body, or an accordion whose keyboard or bass are in the shape of a tapir’s trunk or legs. This suggests that it has developed a rudimentary ability to compose unusual concepts at high levels of abstraction. 2a Бидний загвар нь комбинациал gene- eralization-ийг чадна гэж үздэг, жишээ нь текст (Figure ) or when probed on sentences like “an illustration of a baby hedgehog in a christmas sweater walking a dog” (Figure ). Prompts like the latter require the model to perform variable bind- ing ( , ; , ) – it is the hedge- hog that is in the christmas sweater, not the dog. We note, however, that the model performs inconsistently on the task, sometimes drawing both animals with christmas sweaters, or drawing a hedgehog walking a smaller hedgehog. 2b 2c Smolensky 1990 Гэрэл болон ал. 2020 To a limited degree of reliability, we also find our model to be capable of zero-shot image-to-image translation controllable by natural language (Figure 2d). When the model is given the caption “the exact same cat on the top as a sketch at the bottom” and the top 15 × 32 part of the image token grid for a photo of a cat, it is able to draw a sketch of a similar looking cat on the bottom. Энэ нь өөр өөр өөр өөр хувилбарууд нь ажилладаг, зураг үйл ажиллагаа (жишээ нь, зураг нь өнгө өөрчлөх, хавтгай хэлбэрээр өөрчлөх, эсвэл энэ нь доорх хэлбэрээр хуваалцах) болон загвар дамжуулах (жишээ нь, дурсгалын карт дээр хайрцаг хуваалцах, цамхаг, эсвэл гар утас хавтгай). Зарим хувилбарууд, жижиглэнгийн өнгө өөрчилж зэрэг, загвар нь алдартай төрөл бүрийн зүйлс сегментийг гүйцэтгэхийн тулд чадвартай гэж үздэг. . G 4. Эдүүлбэр Бид авторегрессив трансформатор дээр суурилсан текст нь зураг үүсгэхийн тулд хялбар арга замыг судалгаана. Бид scale-д гүйцэтгэлийг сайжруулах боломжтой гэж үзэж байна, өмнөх домоохон тусгай арга замыг харьцуулахад нуль нь үр дүнтэй гүйцэтгэлийг харьцуулахад, нэг генератив загвартай боломжийг харьцуулахад. Scale-ийн функцийг сайжруулахад сайжруулахын тулд бидний олох нь энэ үйл явцыг сайжруулах нь ашигтай хөдөлгөөн юм. Ажлын We would like to thank Matthew Knight for reviewing the code release for this work, and Rewon Child, John Schul- man, Heewoo Jun, and Prafulla Dhariwal for helpful early feedback on the paper. We would also like to thank Jong Wook Kim for writing the PyTorch package for the con- trastive model described in ( ) that we used to rerank the samples from our model. Radford et al. 2019 References Эмэгтэй, М., Бархам, П., Чен, Ж., Чен, З., Дэвис, А., Дин, J., Devin, M., Ghemawat, S., Irving, G., Isard, M., et al. Tensorflow: томъёо машин суралцах систем. Нөхцөл } 12th USENIX symposium on operating systems design { } , pp. 265–283, 2016. and implementation ( OSDI 16) Andreas, J., Klein, D., болон Levine, S. Латент хэл дээр суралцах. , 2017. arXiv preprint arXiv:1711.00482 Bengio, Y., Léonard, N., and Courville, A. Estimating or propagating gradients through stochastic neurons for con- ditional computation. , 2013. arXiv preprint arXiv:1308.3432 Bowman, S. R., Vilnis, L., Vinyals, O., Dai, A. M., Joze-fowicz, R., болон Bengio, S. Хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал хязгаарлагдмал. , 2015. arXiv preprint arXiv:1511.06349 Chen, M., Radford, A., Child, R., Wu, J., Jun, H., Luan, D., болон Sutskever, I. Пикселүүдээс урьдчилан сургалт , pp. 1691–1703. PMLR, 2020. International Conference on Machine Learning Child, R., Gray, S., Radford, A., and Sutskever, I. Gen- erating long sequences with sparse transformers. , 2019. arXiv preprint arXiv:1904.10509 Cho, J., Lu, J., Schwenk, D., Hajishirzi, H., болон Kemb- havi, A. X-lxmert: Multi-modal трансформаторуудтай зураг, нэхэмжлэл, асуултанд хариу. , 2020. arXiv preprint arXiv:2009.11278 Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., and Fei-Fei, L. Imagenet: A large-scale hierarchical image database. In , pp. 248–255. Ieee, 2009. 2009 IEEE conference on computer vision and pattern recognition Dhariwal, P., Jun, H., Payne, C., Kim, J. W., Radford, A., болон Sutskever, I. Jukebox: Музыкийн генератив загвар. 2020 оны arXiv препринт arXiv:2005.00341 Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Ben- gio, Y. Generative adversarial networks. 2014 оны. arXiv preprint arXiv:1406.2661 Greff, K., van Steenkiste, S., болон Schmidhuber, J. Хувийн нейрон сүлжээнд холболтын асуудал дээр. 2020 оны arXiv preprint arXiv:2012.05208 Gregor, K., Danihelka, I., Graves, A., Rezende, D., and Wierstra, D. Draw: A recurrent neural network for im- age generation. In , pp. 1462–1471. PMLR, 2015. машин суралцах олон улсын конференц He, K., Zhang, X., Ren, S., болон Sun, J. Гайхамшигтай түдгэлзүүлсэн сүлжээнд мэдэгдэх зураг. , хуудсууд. 630-645 Спрингер, 2016. European conference on computer vision Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., and Hochreiter, S. Gans trained by a two time-scale update rule converge to a local nash equilibrium. , 2017. arXiv preprint arXiv:1706.08500 Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Mohamed, S., and Lerchner, A. beta- vae: Learning basic visual concepts with a constrained variational framework. 2016. Isola, P., Zhu, J.-Y., Zhou, T., and Efros, A. A. Image-to- image translation with conditional adversarial networks. In , pp. 1125–1134, 2017. IEEE-ийн Компьютерийн вион, загварын мэдлэг талаархи конференцны үйл явдал Jang, E., Gu, S., and Poole, B. Categorical repa- rameterization with gumbel-softmax. 2016 оны. arXiv препринт arXiv:1611.01144 Kingma, D. P. болон Ba, J. Адам: Stochastic оптимизацийн арга. 2014 оны. arXiv preprint arXiv:1412.6980 Kingma, D. P. and Welling, M. Auto-encoding variational bayes. 2013 оны. arXiv препринт arXiv:1312.6114 Koh, J. Y., Baldridge, J., Lee, H., and Yang, Y. Text-to- image generation grounded by fine-grained user attention. In , pp. 237–246, 2021. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision Köster, U., Webb, T. J., Wang, X., Nassar, M., Bansal, A. K., Constable, W. H., Elibol, O. H., Gray, S., Hall, S., Hornof, L., et al. Flexpoint: An adaptive numerical format for efficient training of deep neural networks. 2017 оны arXiv preprint arXiv:1711.02213 LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. Gradient- based learning applied to document recognition. , 86(11):2278–2324, 1998. IEEE-ийн үйл явц Li, W., Zhang, P., Zhang, L., Huang, Q., He, X., Lyu, S., and Gao, J. Object-driven text-to-image synthesis via adversarial training. In , Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Хуудас 12174–12182, 2019. Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ra- manan, D., Dollár, P., болон Zitnick, C. L. Microsoft coco: контекстд ихэнх зүйлс. , pp. 740–755. Springer, 2014. Компьютерийн үзэсгэлэнт Европын конференц Liu, L., Liu, X., Gao, J., Chen, W., and Han, J. Understand- ing the difficulty of training transformers. 2020 оны arXiv препринт arXiv:2004.08249 Loshchilov, I. and Hutter, F. Decoupled weight decay regu- larization. 2017 оны arXiv preprint arXiv:1711.05101 Maddison, C. J., Mnih, A., and Teh, Y. W. The concrete distribution: A continuous relaxation of discrete random variables. , 2016. arXiv preprint arXiv:1611.00712 Mansimov, E., Parisotto, E., Ba, J. L., болон Salakhutdinov, R. Үзүүлэлтээс зураг бий болгох. , 2015. arXiv preprint arXiv:1511.02793 Micikevicius, P., Narang, S., Alben, J., Diamos, G., Elsen, E., Garcia, D., Ginsburg, B., Houston, M., Kuchaiev, O., Venkatesh, G., et al. Хөнгөн нарийвчлалтай сургалт. 2017 оны arXiv Preprint arXiv:1710.03740 Nguyen, A., Clune, J., Bengio, Y., Dosovitskiy, A., and Yosinski, J. Plug & play generative networks: Condi- tional iterative generation of images in latent space. In , хуудсууд. 4467-4477, 2017 IEEE-ийн Компьютерийн виз, загварын мэдэгдэх конференц Oord, A. v. d., Vinyals, O., and Kavukcuoglu, K. Neu- ral discrete representation learning. , 2017. arXiv preprint arXiv:1711.00937 Provilkov, I., Emelianenko, D., and Voita, E. Bpe-dropout: Simple and effective subword regularization. 2019 оны arXiv препринт arXiv:1910.13267 Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. Language models are unsupervised multitask learners. 2019. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., and Sutskever, I. Learning transferable visual models from natural language supervision. 2021. Rajbhandari, S., Rasley, J., Ruwase, O., and He, Y. Zero: Memory optimization towards training a trillion parame- ter models. 2019 оны arXiv preprint arXiv:1910.02054 Razavi, A., Oord, A. v. d., and Vinyals, O. Generating diverse high-fidelity images with vq-vae-2. 2019 оны arXiv preprint arXiv:1906.00446 Reed, S., Akata, Z., Mohan, S., Tenka, S., Schiele, B., болон Lee, H. Ямар ч, хаана олох. 2016А arXiv preprint arXiv:1610.02454 Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., and Lee, H. Generative adversarial text to image synthesis. In , pp. 1060–1069. PMLR, 2016b. International Conference on Machine Learning Rezende, D. J., Mohamed, S., and Wierstra, D. Stochastic backpropagation and approximate inference in deep gen- erative models. In , pp. 1278–1286. PMLR, 2014. International conference on machine learning Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., and Chen, X. Improved techniques for training gans. , 2016. arXiv preprint arXiv:1606.03498 Salimans, T., Karpathy, A., Chen, X., болон Kingma, D. P. Pixelcnn++: Pixelcnn-ийг дискрецийн логистик холимог чадварыг болон бусад хувилбаруудтай сайжруулах. , 2017. arXiv препринт arXiv:1701.05517 Sennrich, R., Haddow, B., and Birch, A. Neural machine translation of rare words with subword units. , 2015. arXiv Preprint arXiv:1508.07909 Sharma, P., Ding, N., Goodman, S., болон Soricut, R. Con- ceptual ач холбогдол: Автомат зургийн ач холбогдол авахын тулд очиж, гипернимед, зураг алт-текст өгөгдлийн багц. , pp. 2556– 2565, 2018. Proceedings of the 56th Annual Meeting of the Association for Compu- tational Linguistics (Volume 1: Long Papers) Smolensky, P. Tensor product variable binding and the representation of symbolic structures in connectionist systems. , 46 (1-2): 159-216, 1990 Artificial intelligence Sun, C., Shrivastava, A., Singh, S., болон Gupta, A. Өнгөрсөн оюутны эртний өгөгдлийн ач холбогдолгүй үр дүнгийн тойм. , pp. 843–852, 2017. IEEE Олон улсын Компьютерийн Визийн Конференц Sun, X., Wang, N., Chen, C.-Y., Ni, J., Agrawal, A., Cui, X., Venkataramani, S., El Maghraoui, K., Srinivasan, V. V., and Gopalakrishnan, K. Ultra-low precision 4-bit training of deep neural networks. Зохиогчийн эрх © 2020 Advances in Neural Information Processing Systems Tao, M., Tang, H., Wu, S., Sebe, N., Wu, F., болон Jing, X.-Y. Df-gan: текст нь зураг синтез нь гүнзгий суулгах генератив эсрэг сүлжээ. , 2020. arXiv preprint arXiv:2008.05865 Thomee, B., Shamma, D. A., Friedland, G., Elizalde, B., Ni, K., Польш, D., Borth, D., болон Li, L.-J. Yfcc100m: Multimedia судалгааны шинэ өгөгдөл. , 59(2):64–73, 2016. Communications of the ACM Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. Attention is all you need. , 2017. arXiv preprint arXiv:1706.03762 Vogels, T., Karimireddy, S. P., болон Jaggi, M. Powersgd: Хязгаарлагдмал оптимизацийг зориулсан практик хязгаарлагдмал компрессийн. 2019 оны arXiv preprint arXiv:1905.13727 Welinder, P., Branson, S., Mita, T., Wah, C., Schroff, F., Belongie, S., and Perona, P. Caltech-ucsd birds 200. 2010. Xu, T., Zhang, P., Huang, Q., Zhang, H., Gan, Z., Huang, X., болон He, X. Attngan: Ажлын Generative adversarial сүлжээг нь зураг генерацийг зориулсан хэт авианы текст. , pp. 1316–1324, 2018. Компьютерийн үзэсгэлэн, загварын мэдэгдэх IEEE-ийн конференци Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., and Metaxas, D. N. Stackgan: Text to photo-realistic image synthesis with stacked generative adversarial net- works. In , хуудсууд. 5907-5915, 2017 Proceedings of the IEEE international confer- ence on computer vision Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., and Metaxas, D. N. Stackgan++: Realistic image synthe- sis with stacked generative adversarial networks. , 41(8):1947–1962, 2018. IEEE transactions on pattern analysis and machine intelligence Zhu, M., Pan, P., Chen, W., and Yang, Y. Dm-gan: Dy- namic memory generative adversarial networks for text- to-image synthesis. In , IEEE/CVF-ийн Компьютерийн виз, загварын мэдлэг талаархи конференц Хуудас 5802–5810, 2019. A. Discrete VAE-ийн тодорхойлолт 1. Архитектур The dVAE encoder and decoder are convolutional (LeCun et al., 1998) ResNets (He et al., 2016) with bottleneck-style resblocks. The models primarily use 3 × 3 convolutions, with 1 × 1 convolutions along skip connections in which the number of feature maps changes between the input and output of a resblock. The first convolution of the encoder is 7 × 7, and the last convolution of the encoder (which produces the 32 × 32 × 8192 output used as the logits for the categorical distributions for the image tokens) is 1 × 1. Both the first and last convolutions of the decoder are 1 × 1. The encoder uses max-pooling (which we found to yield better ELB than average-pooling) to downsample the feature maps, and the decoder uses nearest-neighbor upsampling. The precise details for the architectures are given in the files dvae/encoder.py and dvae/decoder.py of the code release. A.2. Training The dVAE is trained on the same dataset as the transformer, using the data augmentation code given in Listing Ажлын хооронд хэд хэдэн хэмжээ хамардаг, бүх нь cosine график ашигладаг: 1 1. The KL weight is increased from 0 to 6.6 over the first 5000 updates. ( ) Sigmoid функц дээр суурилсан аналогтай график ашиглах. β Байгалийн болон ал. 2015 2. The relaxation temperature τ is annealed from 1 to 1/16 over the first 150,000 updates. Using a linear annealing schedule for this typically led to divergence. 3. The step size is annealed from 1 · 10−4 to 1.25 · 10−6 over 1,200,000 updates. Хөргөлтийн температур, шатанд хэмжээтэй бохирдлын график нь тогтвортой байдал, амжилттай оптимизацид маш чухал юм. We update the parameters using AdamW (Loshchilov & Hutter, 2017) with β1 = 0.9, β2 = 0.999, = 10−8 , and weight decay multiplier 10−4 . We use exponentially weighted iterate averaging for the parameters with decay coefficient 0.999. The reconstruction term in the ELB is a joint distribution over the 256 × 256 × 3 values for the image pixels, and the KL term is a joint distribution over the 32 × 32 positions in the spatial grid output by the encoder. We divide the overall loss by 256 × 256 × 3, so that the weight of the KL term becomes β/192, where β is the KL weight. The model is trained in mixed-precision using standard (i.e., global) loss scaling on 64 16 GB NVIDIA V100 GPUs, with a per-GPU batch size of 8, resulting in a total batch size of 512. It is trained for a total of 3,000,000 updates. A.3. Logit-Laplace хуваалцах The 1 and 2 реконструийг зорилгоор ихэвчлэн VAE-ийг боловсруулсан үед ашиглаж байна. Эдгээр зорилгоор Laplace болон Gaussian дистрибутийг ашиглаж байна. ( Зөвлөгөө ) in Equation , respectively. There is a strange mismatch in this modeling choice: pixel values lie within a bounded interval, but both of these distributions are supported by the entire real line. Hence, some amount of likelihood will be placed outside the admissible range of pixel values. l l Нөхцөл x y, z 1 We present a variant of the Laplace distribution that is also supported by a bounded interval. This resolves the discrepancy between the range of the pixel values being modeled and the support of the distribution used to model them. We consider the pdf of the random variable obtained by applying the sigmoid function to a Laplace-distributed random variable. This pdf is defined on (0*,* 1) and is given by Бид энэ гэж нэрлэдэг We use the logarithm of the RHS of Equation dVAE-ийн сургалтын зорилгоор реконструийн хугацаа гэж. logit-Laplace distribution. 2 The decoder of the dVAE produces six feature maps representing the sufficient statistics of the logit-Laplace distribution for the RGB channels of the image being reconstructed. The first three feature maps represent the parameter for the RGB channels, and the last three represent ln . Before feeding an image into the dVAE encoder, we transform its values using : [0*,* 255] → ( 1 - ), энэ нь дамжуулан µ b ϕ ϵ, ϵ This restricts the range of the pixel values to be modeled by the dVAE decoder to (*ϵ,* 1 *ϵ*), which avoids numerical problems arising from the *x*(1 *x*) in Equation [2](#_bookmark82). We use *ϵ* = 0*.*1. To reconstruct an image for manual inspection or computing metrics, we ignore ln *b* and compute *x*ˆ = *ϕ*−1(sigmoid(*µ*)), where *µ* is given by the first three feature maps output by the dVAE decoder.[11](#_bookmark84) B. Transformer нь тодорхойлолт B.1. Architecture Our model is a decoder-only sparse transformer of the same kind described in ( ), зураг токенов нь контекст хэсэгт зориулагдсан шугам, ширхэг орно. Бидний загвард ашигласан орно системийн бүрэн тодорхойлолт загвар дээр харуулсан . We use 64 attention layers, each of which uses 62 attention heads with a per-head state size of 64. Child et al. 2019 10 загвар нь гурван төрлийн хязгаарлагдмал анхааралны маск ашигладаг, бид зураг 11 дээр харуулсан байна. Конвульцийн анхааралны маск (Сарга 11(d)) зөвхөн эцсийн анхааралны хавтгай дээр ашиглаж байна. Дараа нь, анхааралтай хавтгай хавтгай (i ∈ [1, 63]-тэй) индекс i-ийг хэрэглэдэг бол, бид хавтгай анхааралны маск (Сарга 11(c)) хэрэглэдэг. i − 2 mod 4 = 0 болон шугам анхааралтай гэх мэт. Жишээлбэл, эцсийн анхааралтай хавтгай хавтгай дээр ашиглаж байгаа үед анхааралтай анхааралны маск нь жижиг нэмэгдэж, эцсийн анхааралны хавтгай дээр хэрэгл (Хөргөл ). Хүүхдүүд болон ал. 2019 B. 2 сургалт When training the transformer, we apply data augmentation to the images before encoding them using the dVAE encoder. We use slightly different augmentations from the ones used to train the dVAE; the code used for this is given in Listing . Бид мөн 10% BPE droppout-ийг BPE-ийг сургалтын зориулалтаар шифрлэдэг үед ашигладаг. загвар нь per-resblock scaling ашиглан сургаж байна (Section үзнэ үү ) and gradient compression (see Section ) нийт компрессийн түвшин нь 896 (тавтай морилно уу, бүр GPU нь 112 нь компрессийн түвшин ашигладаг). , this results in a compression rate of about 86%, which we analyze in Section . 2 2.4 2.5 1 E.1 Бид AdamW ашиглан параметрийг шинэчлэхэд *β*1 = 0*.*9, *β*2 = 0*.*96, *ε* = 10−8, болон жин хамаарах хувилбар 4*.*5 10−2. Адам шинэчлэхэд өмнө *β*1 = 0*.*9, *β*2 = 0**.*96, *ε* = 10−8 болон жин хамаарах хувилбар 4*.*5 10−2. Бид жин хамаарах хувилбар нь norm-д ашигладаг. Адам шинэчлэхэд зориулсан 1-6-9 форматтай. Gradient хувилбар нь туршилтын эхлэхэд зөвхөн дулаан хамардаг. Ухаалагыг хадгалахын тулд найдвартай Адам минут (D) (#_bookmark89) дэлгэрэнгүй мэдээллийг үзнэ үү) 16 бит хэлбэрээр хадга We trained the model using 1024, 16 GB NVIDIA V100 GPUs and a total batch size of 1024, for a total of 430*,*000 updates. At the start of training, we use a linear schedule to ramp up the step size to 4*.*5 10−4 over 5000 updates, and halved the step size each time the training loss appeared to plateau. We did this a total of five times, ending training with a final step size that was 32 times smaller than the initial one. We reserved about 606*,*000 images for validation, and did not observe overfitting at any point during training. C. мэдээлэл цуглуулах талаар дэлгэрэнгүй мэдээлэл In order to train the 12-billion parameter transformer, we created a dataset of a similar scale to JFT-300M by collecting 250 million text-image pairs from the internet. As described in Section , this dataset incorporates Conceptual Captions, the text-image pairs from Wikipedia, and a filtered subset of YFCC100M. We use a subset of the text, image, and joint text and image filters described in ( ) to construct this dataset. These filters include discarding instances whose captions are too short, are classified as non-English by the Python package cld3, or that consist primarily of boilerplate phrases such as “photographed on ”, where matches various formats for dates that we found in the data. We also discard instances whose images have aspect ratios not in [1*/ ,* 2]. If we were to use to very tall or wide images, then the square crops used during training would likely exclude objects mentioned in the caption. 2.3 Sharma et al. 2018 2 D. Guidelines for Mixed-Precision Training The most challenging part of this project was getting the model to train in 16-bit precision past one billion parameters. We were able to do this after detecting for underflow in various parts of training, and revising the code to eliminate it. We developed a set of guidelines as a result of this process that we present here. 12 1. Our model uses 128 gradient scales, one for each of its resblocks. All of the gradient scales are initialized to 213, where Энэ нь өгөгдлийн параллель репликүүдийн тоо юм (жишээ нь, GPU-ийн тоо). Бидний тохиргоог бидний параметр шинэчлэхэд 21*/*1000-тэй нэг градусын түлхүүртэй хуваалцах болно. Use per-resblock gradient scaling (Figure ) instead of standard loss scaling. 4 M M 4 whe√n __t__тууд нь resblock-д ямар ч параметр gradient-ийн хязгааргүй түвшин байдаг. Үнэндээ, бид grad түвшин хуваалцах болно Бид 125-ийн шинэчлэлтийн хавтгай дөрвөлжин хуваалцах боломжийг олгодог. Бүх градусын түлхүүр нь шинэчлэгдсэн дараа \[*M* 27*, M* 224\] хүрээтэй хамарсан. Зураг [12](#_bookmark91) 2.8 тэрбум параметрний загвардлын эхний үе шат дахь түлхүүр түлхүүрүүдийг харуулж байна. 2. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Only use 16-bit precision where it is really necessary for performance. 3. Data-Parallel сургалт нь gradients нь Data-Parallel ажилчдын нийт тоотай хуваалцах хэрэгтэй. . One way to do this is to divide the loss by the per-machine batch size, and then divide the parameter gradients by before summing them over the machines (using all-reduce). To save time and space, the gradients are usually computed and stored in 16-bit precision. When Энэ хувилбар нь том, энэ хувилбар нь gradients нэмэх өмнө underflow нь үр дүнтэй байж болох юм. Дараа нь бид эхлээд gradients нэмэх, дараа нь тэднийг хуваалцахын тулд туршиж байгаа бол, бид all-reduce-д overflow-ийг олж болно. Avoid underflow when dividing the gradient. M M M Our solution for this problem attempts to minimize the loss of information in the division prior to the all-reduce, without danger of overflow. To do this, we divide the loss by the overall batch size (which includes гэх мэт) өөрсдийн машин хуваалцны хэмжээ, градус түлхүүр нь ихэвчлэн Эдгээр тохиолдолд бид алдартай, хязгаарлагдмал үйл ажиллагаа явуулахын тулд (1). Дараа нь, алдартай үйл ажиллагаа явуулах өмнө бид хязгаарлагдмал, хязгаарлагдмал, хязгаарлагдмал үйл ажиллагаа явуулахын тулд гарын авлагатай константаар хуваалцсан. Энэ нь экспоненцийн гистограмм (түүнчлэн бааз-2 логаритам) нь алдартай компонентын абсолют үнэ цэнэлийг шалгаж байна. Зарим параметрний хязгаарлагдмал нь gradients 16-бит формат нь экспоненцийн диапазоны зөв эцсийн ойролцоо хадгалж, бид 16-биттай хязгаарлагдмалтай загвар дахь бүх параметрд сайн ажилладаг гэж үзэж байна. PowerSGD-ийг ашиглах үед бид 16-бит Нөхцөл Матриц M M P Q E. Distributed Оптимизацийн тодорхойлолт Бид PowerSGD ашигладаг ( Нөхцөл ) бүрийн параметрүүд нь gradients нь сав баглаа боодол, unembeddings, gains, and biases гэх мэт. , бид компрессийн түвшин болон загварын хэмжээний функцийг хэлбэрийн өгөгдлийн хэмжээний багасгах нь хэлбэрийг олж авах болно. In Section , бид PowerSGD-ийг өөрчилж, үйл ажиллагааны регрессийг тохируулахын тулд бид хийх ёстой өөрчилж, зарим нь миллиардын параметр дээр зөвхөн харуулж байна. Vogels et al. 2019 Э1 Э2 E.1. Bandwidth анализ Gradient компрессийг G ≈ P Qt-ийг хэрэглэдэг бөгөөд P болон Q хооронд r-тэй байдаг. G-ийг дамжуулахын тулд нэг бүх намайг ашиглах үед бид хоёр, багатай бүх намайг P болон Qt хооронд дамжуулахын тулд ашигладаг. Тиймээс компрессийн ач холбогдол нь P болон Q матрицын хэмжээ, G матрицын хэмжээтэй ач холбогдолтой ач холбогдолтой ач холбогдолтой ач холбогдолтой ач холбогдолтой юм. Бид MLP-ийн хоёр дахь матрицыг гадна бүх параметрүүдэд 1 хамарна. Бидний тохиргоог компрессийн ач холбогдолтой ач холбогдолтой ач холбогдолтой ач холбогдолтой 2. Бид харин MLP матрицын компрессийн ач холбогдолтой ач холбогдол E.2. Implementation Details We describe the steps in our implementation of PowerSGD in detail, since these details were crucial in getting it to work efficiently and reliably at billion-parameter scale. 1. Бидний сургалтын тохиргоо параметр sharding болон gradient компрессийн холимог ашигладаг. . During backpropagation, while recomputing the activations and computing the gradients for the current resblock, we prefetch the parameters for the preceding resblock using all-gather. Once each GPU has computed the gradient with respect to a full parameter matrix, we compute the average of the slice of the gradient corresponding to the GPU’s parameter shard, and discard the full gradient immediately to conserve memory. This average is taken over all of the GPUs on a machine using reduce-scatter. 2.5 2. Reducer-Scatter-ийн үр дүнд хязгаарлагдмал үнэ цэнэтэй биш бол (хязгаарлагдмал үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ цэнэтэй үнэ ц ; the larger exponent range ensures that this division does not result in underflow. Adding the gradients directly to the error buffers avoids redundantly allocating another set of buffers of size equal to the parameter shard gradients. Б2 3. resblock-ийн reduc-scatter үйл явцыг төгссөн дараа, бид үйл явцыг тооцох төлөвлөж байна матриц нь буурчлах буурчлах болон matrices, whose values are fixed at the start of training (see Section ) Дараа нь Нөхцөл matrices are stored in 1-6-9 format and have their values scaled by predetermined constants, as discussed in Section . P Q 2.5 P Q D 4. Дараа нь бүх GPU нь Матриц нь resblock-д параметр ширээний хувьд, тэд нь matrices from the GPUs with the same ordinal on all other machines, using a single, grouped all-reduce operation. This all-reduce is carried out in the 1-6-9 format, using a custom kernel. The grouping results in better bandwidth utilization, since it avoids scheduling many all-reduce calls for smaller, individual parameters, each of which carries some overhead. We clamp any infinities in the results of the all-reduce to the maximum value of the 1-6-9 format (which is slightly less than 16), retaining the sign. With our choice of scaling factors for the Нөхцөл Матрицууд, энэ хавхлага нь маш алдартай байдаг. P P P Q 5. × Once all-reducce үйл ажиллагаа нь resblock-ийн матриц нь дууссан байна, бид үр дүнтэй матрицын ширхэг ортогонализуулж байна. Бид Gram-Schmidt-ийг өөрчилж өөрчилсөн Householder orthogonalization ягаан тугалга ашиглаж байна. Бид сүүлийн үеийн нь нумерик нягтралтай гэж үзэж байна. Бид мөн нэмж × Өнгөрсөн in order to ensure that the result is not near rank-deficient, where = 10−6. Энд × Энэ нь орчуулагтай матриц юм. Матриц нь энэ нь нэмж байна; Энэ нь identity матриц, бусад газруудад нуль байдаг. orthogonalized Матриц нь 1-6-9 формат дээр хадгалагдаж байна, гэхдээ scalingгүй. P Эмэгтэй r P ϵ Нөхцөл r P R нь R P 6. Нэг удаа resblock-ийн матриц ортогоналиж байна, бид шинэ P Q Матрицууд нь error buffers болон Матриц P 7. Once the new resblock-ийн матриц нь тооцогдсон байна, бид бусад бүлэгт All-reduce-ийг төлөвлөж байна. matrices. As in step (4), we clamp all infinities in the results of the all-reduce to the maximum value of the 1-6-9 format, retaining the sign. The error buffers for the resblock have now been decomposed into low-rank factors Нөхцөл . Q P P Qt 8. Бүх параметрүүд нь gradients компрессийн биш нь нэг, 32-бит нарийвчлал All-Reducer-д багтаасан байна. Эдгээр параметрүүд болон тэдний түлхүүрүүдэд 32-битын нарийвчлал ашигладаг. D 9. Машины GPU-ийн бүх үйл явц (7) болон (8) загвар дахь бүх resblock-ийн хувьд дууссан дараа, Нөхцөл Эдгээр машин дээр нэг параметр shard-ийн матриц нь ижил байх болно. Дараа нь бид дөрвөлжин Frobenius-ийн норм нь а) дөрвөлжин Frobenius-ийн норм нь а) matrices over all of the parameter shards on a machine, and (b) the sum of the squared norms of the gradients for the parameter shards that do not use compression, taken over all such parameter shards on a machine. We need to compute this value for gradient clipping (see Section Нөхцөл P Q Q Б2 10. Глобал нормуудыг тооцоолох үед бид (2) шатанд өгөгдлийг синхронизолдаг. Reduce-Scatter-ийн дараа ямар нэг параметр shard gradients nonfinite үнэ цэнэтэй байна. Үүний дараа бид бүрийн параметр shard-ийн хувьд хоёр мэдээлэлтай байна: (а) (2) шатанд нь ямар нэг параметр shard нь одоогийн GPU-д nonfinite үнэ цэнэтэй байна уу, болон (б) ямар ч параметр shard-ийн or contains nonfinite values. We cannot rely on the values of the and matrices to determine (b), since we clamp infinities as described in step (4). If we find that the gradient with respect to any parameter shard on the machine contains nonfinite values, then we set the global norm to infinity. P Q P Q 11. Бүх All-Reductions эцсийн дараа, дэлхий даяар харьцуулагдсан, бид параметр шинэчлэлийг ашиглаж болно. Backpropagation шиг, параметр шинэчлэлийг resblock-by-resblock ажиллуулах болно. Эхний арга нь бүтээгдэхүүнийг үүсгэхийн тулд decompressed gradients тооцох Зарим resblock-ийн бүх параметрүүд нь. Хязгааргүй байхын тулд эдгээр бүтээгдэхүүнийг 32-бит нарийвчлалтай тооцох болно. Бид дараа нь decompressed gradients ашиглан параметрүүдд Адам шинэчлэлтийг ашиглаж, шаг (9). Глобал норма нь хязгааргүй бол параметрүүд болон Adam Moments-ийн шинэчлэлт нь хуваалцсан байна. Бид decompressed gradient-ийн түвшинд хуваалцсан байх ёстой. Матриц (The matrix is stored without scaling after orthogonalization). PQt Q P 12. Хоёр дахь шаг нь алдаа буфер дээр шинэчлэх юм. Эхлээд, бид шаг (10)-ийн үр дүнд ашигладаг. Нөхцөл matrices for a given parameter shard contain only finite values. If this is the case, then we divide the decompressed gradient by the total number of machines, and subtract it from the current value for the error buffer. This sets the error buffer to the difference between the “local” gradient averaged over the GPUs on the machine using reduce-scatter, and the “remote” decompressed gradient (i.e., the “error”). If either or Энэ нь хязгааргүй түвшин агуулдаг, дараа нь бид алдаа буфер нь зөвхөн хязгааргүй түвшин агуулдаг гэж шалгаж байна. Хэрэв энэ нь байгаа бол бид түүний түвшин хадгалж, ямар ч зүйл биш юм. Хэрэв энэ нь биш бол, дараа нь бид энэ нь нуль руу тохируулах. Энэ хязгааргүй логик нь алдаа буфер нь зөвхөн бид үүнийг хийх ёстой үед нуль руу тохируулах юм, учир нь энэ нь хязгааргүй түвшинтай байдаг. Бид алдаа буфер нь хязгааргүй түвшин тохируулах нь ихэвчлэн gradient scaling үйл явдал нь гүйцэтгэлийн регрессийг үүсгэдэг гэж олж байна. P Q P Q 13. Параметр ширхэг нь gradients компрессийн биш байх нь тусгай шинэчлэгдсэн байна. Бид дараах чухал optimizations гэж үзэж байна: 1. Эдгээр шатанд компьютерийн болон харилцаа холбооны хооронд харьцуулахад хэд хэдэн боломжууд байдаг. Жишээ нь, бид resblock нь шаг (2) ажиллуулах үед , бид бүх resblocks-ийн хувьд шаг (3) - (8) хийх боломжтой Дээрх боломжуудыг ашиглах нь сайн гүйцэтгэлийг олж авахын тулд шаардлагатай. i j > i 2. Бид тусгай үйл ажиллагаа явуулж, ямар ч боломжийг олгодог бүх хангамжийг олж болно. Жишээ нь, бид өмнө resblock-ийн параметрүүдээс зөвхөн Reduce-Scatter үйл ажиллагаа нь одоогийн нэг нь дууссан үед урьдчилан сэргийлэх болно. Үнэндээ, бид бүрэн параметрүүдтэй хадгалахын тулд хязгаарлагддаг. Бид мөн Adam-ийн шинэчлэлтийг олж авахын тулд бид бүх gradients нэг удаа decompressing биш юм. 3. Транспозицийн чухал зүйл нь имплементацид хоёр газар байдаг: (a) MLP матриц нь shard axis сонголт, (b) gradient-ийн бага зэрэг факторизацийг тооцох эсвэл түүний транспозицийг тооцох вэ? Сүүлийн нь orthogonalization зардал орхидог. Гэрэлтүүлэг G нь m × n бөгөөд түүний бага зэрэг факторууд P болон Qt нь m × r болон r × n, дагуу, r m, n. orthogonalization илүү хямд болгохын тулд бид m <= n гэж G тохиромжтой транспортолж байна. Э1 Эхний удаа, энэ нь NCCL-ийн бүх цуглуулах, редуцийг хуваалцах эх үүсвэрийг 0-ийн хооронд зөвхөн хуваалцахын тулд хязгаарлалттай байж болох юм. Бид (a) болон (b) -ийг өмнө болон дараах харилцаа холбооны үйл ажиллагаа явуулж чадна. Энэ нь нэмэлт цаг хугацаа, хязгаарлалттай хадгалах боломжийг шаарддаг. Үнэндээ, бид энэ хийх хэрэгтэйгүй байсан юм. Энэ нь тэдний transpose форматд параметрүүдийн зарим нэгг хадгалах, forward propagation, backpropagation, болон 1-(13) -ийг ашиглаж буй матриц multiplication нунтаг transpose_a болон transpose_b параметрийг ашиглаж байсан. Энэ нь (a) болон (b) нь хэрхэн ашиглахыг сонгох боломжийг олгодог. 4. Дээрх шаг (12), бид хэзээ ч хэзээ ч нунтаг буфферийг нунтагтай тохируулахын тулд гүйцэтгэлийн регрессийг үүсгэх болно гэж үзэж байна. Бид ч бас ихэвчлэн том ажлын хувьд илүү их байдаг бөгөөд энэ нь машин эвдэх боломжийг олгодог. Үнэндээ, энэ нь бүх машин, загварын буфферийн хамт буфферийн татаж авахын тулд шаарддаг. Бид сургалт хийхэд 128 машин ашиглаж байгаа тул энэ нь 128 удаа их хадгаламжийн хэрэглээг үүсгэх болно. Энэ нь маш алдартай юм. Үнэндээ, энэ нь шаардлагагүй юм, учир нь алдааны тохиргоог зөвхөн алдааны буферын ач холбогдолтой юм. Энэ шинж чанарыг PowerSGD-ийн ашигладаг шугам, үйл явцыг цуглуулж байна. Тиймээс энэ нь алдааны буферын ач холбогдолтой ач холбогдолтой ач холбогдолтой бүх GPU-г хадгалахын тулд хялбар юм. Ачаалаллын тоноглогдсон үед бид алдааны буферын ач холбогдолтой машин ихэнхтэй хуваалцах, тэднийг хуваалцах боломжтой. F. Details for Human Evaluation Experiments Бид 1000 нүцгэн жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай жагсаалттай байна. нэг ажилчдын хариултууд нь бусад ажилчдын маш их хариултуудтай, хурдан хариултын хурдтай (ямар ч 4 секундын дотор олон дамжуулах хугацаатай); бусад бүх ажилчдын хариултууд хадгалж байна. 13 G. Zero-Shot Image-to-Image Translation Үнэлгээ дэлгэрэнгүй жишээг үзнэ үү нэрийн зургийн зураг нь зургийн хувилбар, бид энэ хэсэгт үзсэн Бид энэ хүчин чадал нь идэвхжүүлэхийн тулд урьдчилан сэргийлж чадахгүй, энэ нь дэмжих сургалт үйл явцыг өөрчилж чадахгүй байна. 14 3.3 Энэ нийтлэл нь CC by 4.0 Deed (Attribution 4.0 International) лицензийн дагуу archiv дээр байдаг. This paper is CC by 4.0 Ажлын (Attribution 4.0 International) лицензийн дагуу. Архивууд