Daraasad cusub ayaa muujisay AI hadda waxay u ekaan kartaa qaababka farshaxanka si ka saxan abid

Shaxda Xiriirinta

Abstract iyo 1. Hordhac

2. Asalkii hore iyo shaqada la xidhiidha

3. Qaabka Hanjabaadda

4. Mimicry Style Adag

5. Dejinta Tijaabada

6. Natiijooyinka

   6.1 Natiijooyinka Ugu Muhiimsan: Dhammaan Ilaalinta Si Fudud Ayaa Loo Wareegay

   6.2 Falanqaynta

7. Dood iyo Saamayn Balaadhan, Mahadnaq, iyo Tixraacyo

A. Tusaalooyinka Farshaxanka oo faahfaahsan

B. Jiilka Miimicry Adag

C. Natiijooyin faahfaahsan

D. Farqiga u dhexeeya glaze Finetuning

E. Natiijooyinka ku yaal Glaze 2.0

F. Natiijooyinka ku saabsan ceeryaamo v2

G. Hababka loogu Shaqeeyo Style-ka

H. Ilaalinta Qaabka Jirta

I. Hababka Miimry Adag

J. Dejinta Tijaabada

K. Barashada Isticmaalaha

L. Xisaabinta Khayraadka

4 Mimicry Style Adag

Waxa aanu nidhaahnaa habka isku-dheellitirka qaabku waa mid adag haddii ay ku dayan karto qaabka farshaxanimada iyada oo la adeegsanayo farshaxan la ilaaliyo oo keliya. In kasta oo hababka jilitaanka adag ee hore loo soo jeediyay, waxaanu ku ogaanaynaa dhawr xaddidaad oo hababkan ah iyo qiimayntooda Qaybta 4.1. Waxaan markaa soo jeedinaynaa habab noo gaar ah (Qaybta 4.3) iyo qiimaynta (Qaybta 5) ee ka hadlaysa xaddidaadyadan.

4.1 Xaddidaadyada Hababka Iska-yeelka Hore ee Adag iyo Qiimayntooda

(1) Qaar ka mid ah ilaalinta isku-dheellitirka ah kama soo wada koobno hagaajinta hagaajinta . Inta badan kuwa been abuurka sameeya waa kuwo aan ujeedo lahayn maadaama ay iska indhatiraan codsiyadooda dhabta ah ee farshaxanada ee ah in aysan u isticmaalin farshaxankooda AI-abuurka (Heikkila¨, 2022). Ilaalada guulaysata waa in sidaas awgeed ay ka hortagtaa isku dayga wareegga wareegga ee ka imanaya been-abuurayaal macquul ah oo laga yaabo inuu tijaabiyo qalab kala duwan. Hase yeeshee, tijaabooyinka horudhaca ah, waxaan ku ogaanay in Glaze (Shan et al., 2023a) ay si aad ah uga xun tahay sheegashadii qiimeynta asalka ah, xitaa ka hor inta aysan si firfircoon isku dayin inay hareer marto. Ka dib markii aan la doodnay qorayaasha Glaze, waxaan helnay kala duwanaansho yar oo udhaxeysa qoraalkayaga hagaajinta shelf-ka-baxsan, iyo midka lagu isticmaalo qiimeynta asalka ah ee Glaze (taas oo ay qorayaashu nala wadaageen).[1] Kala duwanaanshiyahan yar yar ee hagaajinta ayaa ku filan inay si weyn hoos ugu dhigaan ilaalinta Glaze (eeg sawirka 2 ee tusaalooyinka tayada leh). Maaddaama qoraalkayaga hagaajinta shelf-ka-baxa aan loogu talagelin in lagu dhaafo ilaalinta qaab-samaynta, natiijooyinkani waxay mar horeba si maldahan u muujinayaan ilaalinta dusha sare iyo jilicsan ee agabyada jira ay bixiyaan: farshaxannadu wax xakameyn ah kuma laha qoraalka ganaaxa ama hyperparameters uu been-abuuruhu isticmaali doono, markaa ilaalintu waa in ay noqdaan kuwo ku adag dhamaan doorashooyinkan.

(2) Isku-dayga jilitaanka adag ee jira ayaa ah kuwo aad u hooseeya. Qiimaynta hore ee ilaalinta ayaa ku guul dareysata in ay ka turjunto awoodaha been-abuurayaasha kheyraadka dhexdhexaadka ah, kuwaas oo shaqaaleeya habab casri ah (xitaa kuwa ka baxsan shelf). Tusaale ahaan, Mist (Liang et al., 2023) waxay qiimeeyaan ka dhanka ah nadiifinta DiffPure iyadoo la adeegsanayo qaab nadiifin oo duugoobay iyo xallin hoose. Isticmaalka DiffPure oo wata nooc dhawaan ka dambeeyay, waxaan aragnaa horumaro la taaban karo. Glaze (Shan et al., 2023a) laguma qiimeeyo nooc kasta oo DiffPure ah, laakiin waxay sheeganaysaa ilaalinta ka soo horjeeda Upscaling, kaas oo marka hore ku cadaadiya sawirka JPEG ka dibna kor u qaadaya moodel gaar ah. Hase yeeshe, waxaan muujin doonaa in anagoo si fudud ugu beddelanayna isku-dhafka JPEG ee sanqadha Gaussian, waxaan u abuureynaa Noisy Upscaling sida kala duwanaansho heer sare ah oo lagu guuleysto meesha laga saaro ilaalinta isku-dhafka ah (eeg Jaantuska 26 isbarbardhigga labada hab).

(3) Qiimaynta hadda jirta waa mid aan dhammaystirnayn. Isbarbardhigga adkeynta ilaalintii hore waa caqabad sababtoo ah qiimeyntii asalka ahayd waxay isticmaashaa farshaxanno kala duwan, dardargelin, iyo habeynta hagaajinta. Waxaa intaa dheer, qiimaynaha qaarkood waxay ku tiirsan yihiin cabbirada otomaatiga ah (tusaale, isu ekaanshaha CLIP) kuwaas oo aan lagu kalsoonaan karin cabbiraadda qaab-samaynta (Shan et al., 2023a,b). Sababo la xiriira habacsanaanta hababka ilaalinta iyo mawduuca qiimaynta iska-yeelka, waxaanu rumaysanahay in loo baahan yahay qiimayn midaysan.

4.2 Qiimayn Midaysan oo Adag ee Hababka Miireedka Adag

Si wax looga qabto xaddidaadaha lagu soo bandhigay Qeybta 4.1, waxaan soo bandhigeynaa hab-maamuuska qiimeynta mideysan si si la isku halleyn karo loo qiimeeyo sida ilaalinta jira ay uga hortagayaan qaabab kala duwan oo fudud oo dabiici ah oo adag. Xalkayaga mid kasta oo ka mid ah xaddidaadyada tirooyinka ee kor ku xusan waa: (1) Weerarku wuxuu adeegsadaa farta wanaagsan ee "off-the-shelf" ee caanka ah ee qaabka isha furan ee ugu xooggan ee dhammaan ilaalinta ay sheeganayaan inay waxtar u leeyihiin: Faafinta Deggan 2.1. Qoraalkan hagaajinta waxaa si madaxbanaan loo doortaa mid ka mid ah ilaalintan, waxaana ula dhaqmaynaa sidii sanduuq madow. (2) Waxaan naqshadeynaa afar hab oo isku ekeysiiya oo adag, oo lagu sharaxay Qeybta 4.3. Waxaan mudnaanta siinaa fududaynta iyo fududaynta isticmaalka weeraryahannada khibradda yar annagoo isku darayna noocyo kala duwan oo qalab ah. 3

4.3 Hababkayada Miimry ee Adag

Waxaan hadda sharaxnay afar hab oo isku ekaysiiya oo adag oo aanu ugu talagalnay inaanu qiimayno adkaynta ilaalinta. Waxaan ugu horeyn mudnaanta siinaa hababka fudud ee u baahan kaliya ka baaraandegidda sawirada la ilaaliyo. Hababkani waxay soo bandhigaan khatar sare sababtoo ah waa la heli karaa, uma baahna khibrad farsamo, waxaana loo isticmaali karaa xaaladaha sanduuqa madow (tusaale haddii ganaaxa loo bixiyo adeeg API ahaan). Dhamaystirka, waxaanu sii soo jeedinaynaa hal hab oo sanduuq-cad ah, oo ay dhiirigelisay IMPRESS (Cao et al., 2024).

Waxaan ogaanay in hababka aan soo jeedinay loo tixgeliyey (ugu yaraan qayb ahaan) shaqadii hore ee lagu ogaaday in ay yihiin kuwo aan waxtar lahayn oo ka dhan ah ilaalinta qaab-dhismeedka (Shan et al., 2023a; Liang et al., 2023; Shan et al., 2023b ). Hase yeeshee, sida aan ku xusnay Qaybta 4.1, qiimaynahani waxa ay la kulmeen tiro xaddidaad ah. Markaa waxaanu dib u qiimaynaynaa hababkan (ama kala duwanaanshahooda) waxaanan muujin doonaa inay si weyn uga guulaysteen sidii hore loo sheegan jiray.

Hababka diyaarinta sanduuqa madow

✦ Gaussian buuqa . Sida tilaabo fudud oo hore loo qaaday, waxaanu ku darnaa qadar yar oo dhawaaqa Gaussian sawirada la ilaaliyo. Habkan waxaa loo isticmaali karaa ka hor nooc kasta oo faafinta sanduuqa madow.

✦ DiffPure . Waxaan isticmaalnaa moodooyinka-sawir-ka-sawir si aan meesha uga saarno dhibaatooyinka ay keeneen ilaalintu, sidoo kale loo yaqaan DiffPure (Nie et al., 2022) (eeg Lifaaqa I.1). Habkani waa sanduuq madow, laakiin wuxuu u baahan yahay laba nooc oo kala duwan: nadiifiyaha, iyo midka loo isticmaalo isku-dheellitirka qaabka. Waxaan u isticmaalnaa Stable Diffusion XL sifeeye ahaan.

✦ Kor u qaadis buuq badan . Waxaan soo bandhigeynaa kala duwanaansho fudud oo wax ku ool ah oo ka mid ah nadiifinta kor u qaadista labada heer ee lagu tixgeliyey Glaze (Shan et al., 2023a). Nidaamkoodu wuxuu marka hore sameeyaa isku-buufinta JPEG (si loo yareeyo xumaanta) ka dibna waxay isticmaalaan Stable Diffusion Upscaler (Rombach et al., 2022) (si loo yareeyo hoos u dhaca tayada). Hase yeeshee, waxaan ogaanay in kor u kaca ay dhab ahaantii weyneyso JPEG artifacts compression halkii laga saari lahaa. Si loo naqshadeeyo habka nadiifinta ka wanaagsan, waxaan aragnaa in Upscaler-ka lagu tababaray sawirada lagu kordhiyay dhawaaqa Gaussian. Sidaa darteed, waxaan nadiifineynaa sawirka la ilaaliyo annagoo marka hore codsanaya dhawaaqa Gaussian ka dibna codsanaya Upscaler. Habkan Kor-u-qaadista Sawaxantu ma soo bandhigto wax farshaxan ah oo la dareemi karo waxayna si weyn u yaraynaysaa ilaalinta (eeg sawirka 26 tusaale ahaan iyo Lifaaqa I.2 wixii faahfaahin ah).

Hababka sanduuqa cad.

✦ WACDARO ++. Dhamaystirka, waxaanu naqshadeynaa habka sanduuqa cad si aan u qiimeyno in habab badan oo adag ay sii kordhin karaan adkeynta qaabka isku ekaanshaha. Habkayagu wuxuu ku dhisan yahay IMPRESS (Cao et al., 2024) laakiin wuxuu qaataa shaqo lumis kale wuxuuna sii dabaqayaa kicinta taban (Miyake et al., 2023) iyo diidmada si loo hagaajiyo adkaanta nidaamka muunada (eeg Lifaaqa I.3 iyo Jaantuska 27 wixii faahfaahin ah).

[1] Labada qoraal ee hagaajinta waxay inta badan ku kala duwan yihiin doorashada maktabadda, moodeelka, iyo cabbirrada sare. Waxaan isticmaalnaa qoraalka HuggingFace caadiga ah iyo Stable Diffusion 2.1 (qaabka lagu qiimeeyay warqadda Glaze).