
 
 
 
 
 
 
 
 
 
 A szerzők: (1) Vishaal Udandarao, Tubingen AI Center, University of Tubingen, University of Cambridge, és egyenlő hozzájárulás; (2) Ameya Prabhu, Tubingen AI Center, University of Tubingen, University of Oxford, és egyenlő hozzájárulás; (3) Adhiraj Ghosh, Tubingen AI Center, Tubingen Egyetem (4) Yash Sharma, Tubingen AI Center, Tubingen Egyetem Philip H.S. Torr, az Oxfordi Egyetem Adel Bibi, Oxford Egyetem (7) Samuel Albanie, a Cambridge-i Egyetem és az egyenlő tanácsadó, a megrendelésről érmefordítással döntöttek; (8) Matthias Bethge, Tubingen AI Center, University of Tubingen és egyenlő tanácsadó, rendelés döntött egy érme flip. Authors: (1) Vishaal Udandarao, Tubingen AI Center, University of Tubingen, University of Cambridge, és egyenlő hozzájárulás; (2) Ameya Prabhu, Tubingen AI Center, University of Tubingen, University of Oxford, és egyenlő hozzájárulás; (3) Adhiraj Ghosh, Tubingen AI Center, Tubingen Egyetem (4) Yash Sharma, Tubingen AI Center, Tubingen Egyetem Philip H.S. Torr, az Oxfordi Egyetem Adel Bibi, Oxford Egyetem (7) Samuel Albanie, a Cambridge-i Egyetem és az egyenlő tanácsadó, a megrendelésről érmefordítással döntöttek; (8) Matthias Bethge, Tubingen AI Center, University of Tubingen és egyenlő tanácsadó, rendelés döntött egy érme flip. Baloldali asztal Absztrakt és 1. Bevezetés 2 Koncepciók az adatok előkészítésében és a frekvencia mennyiségi meghatározásában 3 Az előképzési frekvencia és a „Zero-Shot” teljesítmény összehasonlítása és a 3.1 kísérleti beállítás 3.2 Eredmény: Az előképzés gyakorisága előrejelzi a „Zero-Shot” teljesítményt 4 A koncepció frekvencia-teljesítmény skálázási tendenciájának stressztesztelése és 4.1 a hasonló minták ellenőrzése az előképzésben és a downstream adatokban 4.2 Tesztelési általánosítás tisztán szintetikus koncepciókra és adatelosztásokra 5 További betekintés az előképzési koncepció frekvenciáiból 6 A farok tesztelése: Hagyja, hogy érvényesüljön! 7 Kapcsolódó munkák 8 Következtetések és nyitott problémák, elismerések és hivatkozások Part I Appendix A. A koncepciófrekvencia a prompting stratégiák teljesítményének előrejelzése B. A koncepciós frekvencia előrejelzi a teljesítményt a nyomonkövetési mutatókon keresztül C. A koncepciós frekvencia a T2I modellek teljesítményének előrejelzése D. A koncepciófrekvencia csak a kép- és szöveges tartományokon átívelő koncepciók teljesítményének előrejelzése E. Kísérleti részletek Miért és hogyan használjuk a RAM-ot? G. Részletek a Misalignment Degree eredményekről H. T2I modellek: Értékelés I. A minősítés eredménye: Hagyd, hogy a döntés legyen! absztrakt A webes átkutatáson alapuló előképzési adatkészletek a multimodális modellek lenyűgöző „zero-shot” értékelési teljesítményének alapjául szolgálnak, mint például a CLIP a besoroláshoz/visszanyeréshez és a Stable-Diffusion a képgyártáshoz. az ilyen multimodális modellek esetében, mivel nem ismert, hogy az előképzési adathalmazok milyen mértékben foglalják magukban a „zéró lövés” értékelés során célzott lefelé irányuló koncepciókat. általánosítás Hogyan befolyásolja a multimodális modellek teljesítményét a downstream koncepciókban ezeknek a koncepcióknak a gyakorisága az előképzési adatkészletekben? Ezt a kérdést 34 modellen és öt szabványos előképzési adatkészleten (CC-3M, CC-12M, YFCC-15M, LAION-400M, LAION-Aesthetics) átfogóan vizsgáljuk, és több mint 300 GB adatartefaktumot generálunk. Folyamatosan megállapítjuk, hogy a „zero-shot” generalizációtól távol a multimodális modellek exponenciálisan több adatot igényelnek, hogy lineáris javulást érjenek el a „zero-shot” teljesítményben, a mintavétel hatástalan log-lineáris méretezési tendenciát követve. Ez a tendencia még akkor is fennáll, ha az előképzési és a downstream adatkészletek közötti mintaszintű hasonlóságot [79] ellenőrizzük, és tisztán szintetikus Összegyűjtött tanulmányunk exponenciálisan szükségessé teszi a képzési adatokat, ami azt jelenti, hogy a nagyméretű képzési paradigmák alatt a „zéró lövésű” általánosítási képességek kulcsa még megtalálhatatlan. Engedjék meg maguknak! 1 Bevezetés Az olyan multimodális modellek, mint a CLIP [91] és a Stable Diffusion [96] forradalmasították a downstream feladatok teljesítményét – a CLIP most a de facto szabvány a „zéró kép” képfelismeréshez [133, 72, 126, 48, 132] és a képszöveg-visszanyeréshez [46, 64, 24, 117, 129], míg a Stable Diffusion most a de facto szabvány a „zéró kép” szöveg-kép (T2I) generációhoz [93, 17, 96, 41]. Ebben a munkában ezt az empirikus sikert a zéró kép általánosításának lencséjén keresztül vizsgáljuk [69], ami a modell azon képességére utal, hogy a megtanult ismereteket új, láthatatlan fogalmakra alkalmazza. A jelenlegi multimodális modellek valóban képesek a „zéró lövés” általánosításra? Ennek kezelésére két fő tényezőt is magában foglaló összehasonlító elemzést végeztünk: (1) a modellek teljesítményét a különböző lefelé irányuló feladatokon belül, és (2) a tesztelési koncepciók gyakoriságát az előképzési adatkészletükben. Összeállítottunk egy átfogó 4,029 fogalomjegyzéket[1] 27 lefelé irányuló feladattól, amelyek az osztályozást, a visszanyerést és a képalkotást érintik, értékelve a teljesítményt ezekkel a fogalmakkal szemben. Elemzésünk öt nagyméretű előképzési adatkészletet ölelt fel különböző skálákkal, adatkurációs módszerekkel és forrásokkal (CC-3M [107], CC-12M [27], YFCC-15M [113], LAION-Aesthetics   Megállapítjuk, hogy ez a log-lineáris trend robusztus a korrelált tényezők (hasonló minták az előképzési és tesztadatokban [79]) és a különböző koncepciós eloszlásokon át történő teszteléshez, valamint a teljesen szintetikusan generált mintákhoz [51]. A modell teljesítménye lineárisan skálázódik, mivel az előképzési adatok koncepciós gyakorisága exponenciálisan növekszik Az E, A modell teljesítménye lineárisan skálázódik, mivel az előképzési adatok koncepciós gyakorisága exponenciálisan növekszik Eredményeink azt mutatják, hogy az olyan multimodális modellek lenyűgöző empirikus teljesítményét, mint a CLIP és a Stable Diffusion, nagyrészt a tesztelési koncepciók jelenléte tulajdoníthatja a hatalmas előkészítő adatkészletükben, így a jelentett empirikus teljesítményük nem jelent „zéró” általánosítást. Elemzésünkben tovább dokumentáljuk az előképzési adatokban talált fogalmak eloszlását, és megállapítjuk, hogy: Az összes előképzési adatkészleten belül a fogalmak eloszlása hosszadalmas (lásd 5. ábra az 5. szakaszban), ami azt jelzi, hogy a fogalmak nagy része ritka. • Concept Distribution: A koncepciók eloszlása a különböző előképzési adatkészletek között erősen összefügg (lásd az 5. szakasz 4. táblázatát), ami azt sugallja, hogy a webböngészések meglepően hasonló koncepcióelosztásokat eredményeznek a különböző előképzési adatkezelési stratégiák között, ami egyértelmű kiegyensúlyozási erőfeszítéseket igényel [11, 125]. • Concept Correlation across Pretraining Datasets: A fogalmak gyakran jelennek meg az egyik modalitásban, de nem a másikban, ami jelentős félbehangolást jelent (lásd az 5. szakasz 3. táblázatát). A kiadott adatartifaktumok segítik a kép-szöveg összehangolási erőfeszítéseit a skálán, pontosan jelezve azokat a példákat, amelyekben a modalitások félbehangolnak. • Image-Text Misalignment between Concepts in Pretraining Data: A multimodális modellek általánosítási teljesítményének egyszerű referenciaértéke érdekében, amely szabályozza a képzési készlet koncepciós gyakoriságát, bevezettünk egy új, hosszú farokú tesztadatkészletet. A nyílt forráskódú adatkészleteken (például LAION-2B [103], DataComp-1B [46]) és zárt forráskódú adatkészleteken (például OpenAI-WIT [91], WebLI [29]) képzett jelenlegi modellek jelentősen csökkentek a teljesítményben, ami azt bizonyítja, hogy megfigyeléseink a zárt forráskódú adatkészletekre is átkerülhetnek. „Hagyjátok, hogy megsérüljön!” Több korábbi munka [91, 46, 82, 42, 83, 74] vizsgálták az előképzési adatok szerepét a teljesítmény befolyásolásában. Mayilvahanan et al. [79] kimutatták, hogy a CLIP teljesítménye összefügg a képzés és a tesztadatok közötti hasonlósággal. Más tanulmányokban, mint például a kérdés-válaszolás [62] és a numerikus érvelés [94] a nagy nyelvi modellekben, a nagy vonat-tesztkészlet hasonlósága nem vett teljes mértékben figyelembe a megfigyelt teljesítményszintek [127]-et. A több előképzési kép-szöveg adatkészlet átfogó elemzése jelentősen hozzájárul ehhez a munkához, (1) azt mutatva, hogy a koncepciós gyakoriság meghatározza a nulla lövés teljesítményét, és (2) 
 
 Ez a dokumentum a CC BY 4.0 DEED licenc alatt érhető el. Ez a dokumentum a CC BY 4.0 DEED licenc alatt érhető el. Elérhető archívum [1] Az osztályozási feladatokhoz tartozó osztálykategóriák, a keresési feladatokhoz tartozó szöveges feliratokban szereplő objektumok és a generálási feladatokhoz tartozó szöveges feliratokban szereplő objektumok, lásd a 2. szakaszt a fogalmak meghatározásának további részleteiről.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

Ez a hanganyag a történet eredeti nyelvén készült!

Mit árul el a 300 GB-os AI-kutatás a „zero-shot” intelligencia valódi határairól

About Author

HOZZÁSZÓLÁSOK

HANG TAGOK

EZT A CIKKET BEMUTATTA

Related Stories

From Desk to HackerNoon: Your Ultimate Guide on How to Publish a Story

THE LAST DAY OF NEW YORK

How Emoji Credibility Indicators Add Context to HackerNoon Stories

HackerNoon Contributor Denisa Ganea on HackerNoon, Human Existence, and Everything in Between

From Desk to HackerNoon: Your Ultimate Guide on How to Publish a Story

THE LAST DAY OF NEW YORK

How Emoji Credibility Indicators Add Context to HackerNoon Stories

HackerNoon Contributor Denisa Ganea on HackerNoon, Human Existence, and Everything in Between

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps