Jak ConvNeXt dokazuje, že klasické modely AI mohou stále porazit transformátory

Autoři : , Facebook AI Research (FAIR); UC Berkeley Zhuang Liu Hanzi Mao , Facebook AI Research (FAIR) Chao-Yuan Wu, Facebook AI výzkum (FAIR) Christoph Feichtenhofer, Facebook AI Research (FAIR) Trevor Darrell, Univerzita v Berkeley , Facebook AI Research (FAIR) Saining Xie Kód: https://github.com/facebookresearch/ConvNeXt Autoři : Zhuang Liu , Facebook AI Research (FAIR); UC Berkeley Hanzi Mao , Facebook AI Research (FAIR) Chao-Yuan Wu, Facebook AI výzkum (FAIR) Christoph Feichtenhofer, Facebook AI Research (FAIR) Trevor Darrell, Univerzita v Berkeley Saining Xie, Facebook AI výzkum (FAIR) Kód: https://github.com/facebookresearch/ConvNeXt Abstraktní Transformability Roaring 20s segmentu vizuálního rozpoznání začala s zavedením Vision Transformers (ViTs), který rychle nahradil ConvNets jako nejmodernější model klasifikace obrazu. Vanilkový ViT, na druhé straně, čelí obtížím, když je aplikován na obecné počítačové vidění úkolů, jako je detekce objektů a sémantické segmentace. Je to hierarchické Transformers (např. Swin Transformers), který reintroducoval several ConvNet předsudky, takže Transformers prakticky životaschopný jako generické vidění páteř a demonstruje pozoruhodný výkon na široké škále vizuálních úkolů. Nicméně, účinnost takových hybridních přístupů je stále do značné míry důvěryhodný čisté vnitř 1 Úvod Při pohledu zpět do roku 2010 bylo desetiletí poznamenáno monumentálním pokrokem a dopadem hlubokého učení. Hlavním hnacím motorem byla renesance neurálních sítí, zejména konvolučních neurálních sítí (ConvNets). V průběhu desetiletí se pole vizuálního rozpoznávání úspěšně přesunulo od inženýrských funkcí k navrhování (ConvNet) architektur. Ačkoli vynález ConvNets vyškolených zpětnou propagací sahá až do 80. let. Až do konce roku 2012 jsme viděli jeho skutečný potenciál pro učení vizuálních funkcí. 42 Úvodní stránka > Alexandra [ ] precipitated the „ImageNet moment“ [ ], ushering in a new era of computer vision. The field has since evolved at a rapid speed. Representative ConvNets like VGGNet [ ], Incepce [ ], Růžička(X)t [ , , ], DenseNet [ Mobilní síť [ ], Efektivní síť [ Dřevěné dřevo [ Zaměřil se na různé aspekty přesnosti, účinnosti a škálovatelnosti a popularizoval mnoho užitečných designových principů. 40 59 64 68 28 87 36 34 71 54 Plná dominance ConvNets v počítačovém vidění nebyla náhodou: v mnoha aplikačních scénářích je strategie „klouzavého okna“ vnitřní pro vizuální zpracování, zejména při práci s obrazy s vysokým rozlišením. ConvNets mají několik vestavěných indukčních předsudků, které je činí vhodnými pro širokou škálu aplikací počítačového vidění. Nejdůležitější je překladová ekvivariance, což je žádoucí vlastnost pro úkoly, jako je detekce námitek. ConvNets jsou také vnitřně efektivní vzhledem k tomu, že při použití v režimu klouzavého okna jsou výpočty sdíleny. Po mnoho desetiletí to bylo výchozí použití ConvNets, obecně na omezených kategoriích objektů, jako jsou číslice [ Tváří v tvář ( , , a pěšáků) , , ]. vstupující do let 2010, regionální detektory [ , , , , , , ] dále pozvedl ConvNets na pozici základního stavebního bloku v systému vizuálního rozpoznávání. 62 43 58 76 19 63 23 24 27 57 Přibližně ve stejnou dobu se odysea designu neuronových sítí pro zpracování přirozeného jazyka (NLP) vydala velmi odlišnou cestou, protože Transformers nahradili opakující se neuronové sítě, aby se staly dominantní backbone architekturou. Navzdory rozdílu v úkolu zájmu mezi jazykovými a vizuálními doménami se obě proudy překvapivě shromáždily v roce 2020, protože zavedení Vision Transformers (ViT) zcela změnilo krajinu designu síťové architektury. Kromě počáteční „patchify“ vrstvy, která rozděluje obraz na sekvenci patchů, ViT nezavádí žádné obrazové specifické indukční předsudky a provádí minimální změny k původním NLP Transformers. Jed V tomto směru se používá hybridní přístup k překlenutí této mezery. Například strategie „klouzavého okna“ ( Pozornost v místních oknech) byla znovu zavedena do Transformers, což jim umožnilo chovat se podobně jako ConvNets. ] je milníkem v tomto směru, který poprvé demonstruje, že transformátory lze přijmout jako obecnou páteř vidění a dosáhnout špičkového výkonu v celé řadě úkolů počítačového vidění mimo klasifikaci obrazu. e.cz 45 Z tohoto pohledu bylo mnoho pokroků Transformers pro počítačové vidění zaměřeno na přivedení zpět konvolucí.Tyto pokusy však přicházejí s cenou: naivní implementace posuvného okna může být nákladná. ]; s pokročilými přístupy, jako je cyklická změna [ Na druhou stranu, je téměř ironické, že ConvNet již uspokojuje mnoho z těch požadovaných vlastností, ačkoli v přímém, no-frills způsobem.Jediný důvod, proč ConvNets zdá se, že ztrácí páru, je to, že (hierarchické) transformátory je překonávají v mnoha úkolech vize, a výkonový rozdíl je obvykle přičítán vyššímu škálovacímu chování transformátorů, přičemž klíčovou složkou je multi-head self-attention. 55 45 Na rozdíl od ConvNets, které se v posledních deseti letech postupně zlepšovaly, přijetí Vision Transformers bylo krok za krokem. Swinové transformátory ConvNets a hierarchické vize Transformers se stávají odlišnými a podobnými ve stejnou dobu: oba jsou vybaveny podobnými indukčními předsudky, ale výrazně se liší ve vzdělávacím postupu a designu architektury makro / mikro úrovně.V této práci zkoumáme architektonické rozdíly mezi ConvNets a Transformers a snažíme se identifikovat zmatné proměnné při porovnávání výkonu sítě.Náš výzkum má za cíl překlenout mezeru mezi pre-ViT a post-ViT éry pro ConvNets, stejně jako otestovat limity toho, co může čistá ConvNet dosáhnout. e.cz vs Pro tento účel začneme standardním ResNetem ( Způsob, jakým se vypořádat s tímto problémem, je jednoduchý a jednoduchý. „Způsob, jakým se vypořádat s tímto problémem, je velmi jednoduchý. „Způsob, jakým se vypořádat s tímto problémem, je jednoduchý. Náš průzkum je řízen klíčovou otázkou: Objevujeme několik klíčových složek, které přispívají k rozdílu výkonu na cestě. ConvNeXt. vyhodnocujeme ConvNeXts na různých úkolech vize, jako je klasifikace ImageNet [ ], detekce objektů/segmentace na COCO [ ], a sémantická segmentace na ADE20K [ ]. Překvapivě ConvNeXts, postavený výhradně ze standardních modulů ConvNet, soutěží s Transformers příznivě z hlediska přesnosti, škálovatelnosti a robustnosti napříč všemi hlavními referenčními parametry. ConvNeXt udržuje účinnost standardních ConvNets a plně konvoluční povaha jak pro školení, tak pro testování zjednodušuje implementaci. e.cz e.g Jak rozhodnutí o designu v Transformers ovlivňují výkony ConvNets? Čisté konvity 17 44 92 Doufáme, že nové pozorování a diskuse mohou vyzvat některé společné přesvědčení a povzbudit lidi, aby přehodnotili význam konvolucí v počítačovém vidění. Modernizace ConvNet: Roadmap V této sekci poskytujeme trajektorii od ResNet k ConvNet, která má podobnost s Transformers. Zvažujeme dvě velikosti modelu z hlediska FLOPs, jeden je ResNet-50 / Swin-T režim s FLOPs kolem 4*. *0 × 109.Pro zjednodušení představíme výsledky s modely složitosti ResNet-50 / Swin-T. Závěry pro modely s vyšší kapacitou jsou konzistentní a výsledky lze nalézt v příloze . 5×109 a druhý je ResNet-200 / Swin-B režim, který má FLOP kolem 15 C Na vysoké úrovni jsou naše průzkumy zaměřeny na zkoumání a sledování různých úrovní designů od Swin Transformeru při zachování jednoduchosti sítě jako standardní ConvNet. Naším výchozím bodem je model ResNet-50. Nejprve jsme jej vyškolili podobnými tréninkovými technikami používanými k výcviku transformátorů vidění a získali jsme mnohem lepší výsledky ve srovnání s původním modelem ResNet-50. To bude naše výchozí linie. Poté jsme studovali řadu návrhových rozhodnutí, která jsme shrnuli jako 1) makro design, 2) ResNeXt, 3) inverzní bottleneck, 4) velká velikost jádra a 5) různé vrstvy mikro designů. , ukazujeme postup a výsledky, které můžeme dosáhnout s každým krokem „modernizace sítě“. Vzhledem k tomu, že složitost sítě je úzce korelována s konečným výkonem, jsou FLOP přibližně kontrolovány v průběhu průzkumu, i když ve středních krocích mohou být FLOP vyšší nebo nižší než referenční modely. 2 2.1 Výcvikové techniky Kromě návrhu síťové architektury, tréninkový postup také ovlivňuje konečný výkon. Nejen, že Vision Transformers přinesl novou sadu modulů a architektonických návrhových rozhodnutí, ale také zavedli různé tréninkové techniky (např. AdamW optimalizátor) k vidění. To se týká především optimalizace strategie a souvisejících hyper-parametrů nastavení. Takže prvním krokem našeho průzkumu je trénovat základní model s tréninkovým postupem Vision Transformer, v tomto případě, ResNet-50/200. , , ] demonstrují, že soubor moderních tréninkových technik může výrazně zlepšit výkon jednoduchého modelu ResNet-50. ] a Swinův transformátor [ ].Školení je rozšířeno na 300 epoch z původních 90 epoch pro ResNets. používáme optimalizátor AdamW [ ], techniky zvyšování dat, jako je Mixup [ ], Cutmix [ ], RandZvýšení [ ], náhodné vymazání [ ], a schémata regularizace včetně Stochastické hloubky [ ] a štítek Smoothing [ Kompletní soubor hyperparametrů, které používáme, lze nalézt v příloze Samotný tento vylepšený tréninkový recept zvýšil výkon modelu ResNet-50 z 76,1% [ ] to 78.8% (+2.7%), implying that a significant portion of the performance difference between traditional ConvNets and vision Transformers may be due to the training techniques. We will use this fixed training recipe with the same hyperparameters throughout the “modernization” process. Each reported accuracy on the ResNet-50 regime is an average obtained from training with three different random seeds. 7 81 73 45 46 90 89 14 91 36 69 A.1 1 2.2 Makro design Nyní analyzujeme makro síťový design Swin Transformers. , , Použití víceúrovňového designu, kde každá fáze má jiné rozlišení mapy funkcí.Existují dvě zajímavé úvahy o designu: stupňový výpočetní poměr a struktura „stamové buňky“. 28 65 Původní konstrukce distribuce výpočtů přes fáze v ResNet byla do značné míry empirická. Těžká „res4“ fáze měla být kompatibilní s následnými úkoly, jako je detekce objektů, kde detektorová hlava pracuje na 14×14 funkční rovině. Swin-T na druhé straně následoval stejný princip, ale s mírně odlišným stupňovým výpočetním poměrem 1:1:3:1. U větších Swin Transformers je poměr 1:1:9:1. Changing stage compute ratio. sign, upravujeme počet bloků v každé fázi z (3, 4, 6, 3) v ResNet-50 na (3, 3, 9, 3), což také sladí FLOP s Swin-T. To zlepšuje přesnost modelu z 78,8% na 79,4%. , , a optimální design je pravděpodobné, že existuje. 53 54 Od nynějška budeme používat tento fázový výpočetní poměr. Typically, the stem cell design is concerned with how the input images will be processed at the network’s beginning. Due to the redundancy inherent in natural images, a common stem cell will aggressively downsample the input images to an appropriate feature map size in both standard ConvNets and vision Transformers. The stem cell in standard ResNet contains a 7×7 convolution layer with stride 2, followed by a max pool, which results in a 4× downsampling of the input images. In vision Transformers, a more aggressive “patchify” strategy is used as the stem cell, which corresponds to a large kernel size (e.g. kernel size = 14 or 16) and non-overlapping convolution. Swin Transformer uses a similar “patchify” layer, but with a smaller patch size of 4 to accommodate the architecture’s multi-stage design. We replace the ResNet-style stem cell Changing stem to “Patchify”. s patchify vrstvou implementovanou pomocí 4×4, krok 4 konvoluční vrstva. přesnost se změnila ze 79,4% na To naznačuje, že kmenová buňka v ResNet může být nahrazena jednodušší „patchify“ vrstvou à la ViT, což bude mít za následek podobný výkon. × We will use the “patchify stem” (4 4 nepřekrývající se konvolucí) v síti. 3.3 Zpětná vazba V této části se snažíme přijmout myšlenku ResNeXt [ ], která má lepší kompromis FLOP/přesnost než vanilkový ResNet. Jádrem je seskupená konvoluce, kde jsou konvoluční filtry rozděleny do různých skupin. Na vysoké úrovni je hlavním principem ResNeXt je „používat více skupin, rozšiřovat šířku“. Přesněji řečeno, ResNeXt používá seskupenou konvoluci pro 3×3 conv vrstvu v bloku. 87 V našem případě používáme hloubkovou konvoluci, zvláštní případ seskupené konvoluce, kde se počet skupin rovná počtu kanálů. ] a Xception [ ]. poznamenáváme, že hluboká konvoluce je podobná operaci váženého součtu v self-attention, která funguje na per-kanál 34 11 na základě, Kombinace hloubkového převodu a 1 × 1 převodu vede k oddělení prostorového a kanálového míchání, což je vlastnost sdílená transformátory vize, kde každá operace buď smíchá informace přes prostorovou nebo kanálovou dimenzi, ale I.E Použití hloubkové konvoluce účinně snižuje síťové FLOP a, jak se očekávalo, i přesnost. Podle strategie navržené v ResNeXt, zvyšujeme šířku sítě na stejný počet kanálů jako u Swin-T (z 64 na 96). Nyní budeme používat ResNeXt design. Inverzní Bottleneck Jeden důležitý design v každém bloku Transformeru je, že vytváří obrácenou lahvičku. ., skrytá dimenze bloku MLP je čtyřikrát širší než vstupní dimenze (viz obrázek ) se I.E 4 Interestingly, this Transformer design is connected to the inverted bottleneck design with an expansion ratio of 4 used in ConvNets. The idea was popularized by MobileNetV2 [ ], a následně získal trakci v několika pokročilých architekturách ConvNet [ , , 61 70 71 Zde zkoumáme inverzní design bottleneck. obrázek (a) na (b) ilustrovat konfigurace. Navzdory zvýšeným FLOP pro hloubkovou konvoluční vrstvu tato změna snižuje celkovou síťovou FLOP na 4,6G, což je způsobeno významným snížením FLOP v zkratce 1×1 conv vrstva zbývajících bloků.Zajímavé je, že to vede k mírně lepšímu výkonu (80,5 až 80,6 %).V režimu ResNet-200/Swin-B přináší tento krok ještě větší zisk (81,9 až 82,6 %) i při snížených FLOP. 3 Nyní budeme používat inverzní lahve. 2.5 Velká velikost jádra V této části průzkumu se zaměřujeme na chování velkých konvolučních jader. Jedním z nejvýraznějších aspektů transformátorů vize je jejich non-lokální sebepozornost, která umožňuje, aby každá vrstva měla globální receptivní pole. Zatímco velké velikosti jader byly v minulosti používány s ConvNets [ , , ], zlatý standard (popularizovaný VGGNet [ ]) je hromadit malé jádrové (3×3) conv vrstvy, které mají efektivní hardwarové implementace na moderních GPU [ ].Ačkoli Swin Transformers znovu zavedli místní okno do bloku self-attention, velikost okna je nejméně 7×7, výrazně větší než velikost jádra ResNe(X)t 3×3. 40 68 65 41 Chcete-li prozkoumat velké jádra, jedním z předpokladů je posunout pozice hloubkové conv vrstvy (obrázek (b) na (c)). To je rozhodnutí o návrhu, které je také zřejmé v Transformers: blok MSA je umístěn před vrstvy MLP. Vzhledem k tomu, že máme inverzní blok bottleneck, je to přirozená volba designu – komplexní / neefektivní moduly (MSA, velký jádrový conv) budou mít méně kanálů, zatímco efektivní, husté vrstvy 1×1 budou dělat těžké zvedání. Tento průběžný krok snižuje FLOP na 4,1G, což vede k dočasnému snížení výkonu na 79,9%. Moving up depthwise conv layer. 3 Při všech těchto přípravách je přínos přijetí větších konvolucí velikosti jádra významný. Experimentovali jsme s několika velikostmi jádra, včetně 3, 5, 7, 9 a 11.Síťový výkon se zvyšuje z 79,9% (3×3) na 80,6% (7×7), zatímco FLOP sítě zůstávají přibližně stejné.Dále pozorujeme, že přínos větších velikostí jádra dosahuje bodu nasycení na 7×7.Také toto chování jsme ověřili v modelu velké kapacity: model režimu ResNet-200 nevykazuje další zisk, když zvětšíme velikost jádra nad 7×7. Increasing the kernel size. × We will use 7 7 hloubkového konve v každém bloku. Zajímavé je, že významná část návrhových voleb provedených v Vision Transformeru může být mapována do instancí ConvNet. 2.6 Mikro design V této sekci zkoumáme několik dalších architektonických rozdílů v mikroskopickém měřítku – většina výzkumů se zde provádí na úrovni vrstev, se zaměřením na specifické volby aktivačních funkcí a normalizačních vrstev. Jedním z rozdílů mezi NLP a vizuálními architekturami jsou specifické funkce aktivace, které mají být použity. ] is still extensively used in ConvNets due to its simplicity and efficiency. ReLU is also used as an activation function in the original Transformer paper [ Gaussian Error Lineární jednotka (GELU) ], který lze považovat za hladší variantu ReLU, se používá v nejpokročilejších transformátorech, včetně Google BERT [ ] a OpenAI GPT-2 [ Zjistili jsme, že ReLU lze nahradit GELU také v našem ConvNet, ačkoli přesnost zůstává nezměněna (80.6%). Replacing ReLU with GELU 49 77 32 18 52 One minor distinction between a Transformer and a ResNet block is that Transformers have fewer activation functions. Consider a Transformer block with key/query/value linear embedding layers, the projection layer, and two linear layers in an MLP block. There is only one activation function present in the MLP block. In Fewer activation functions. Pro srovnání, je běžnou praxí připojit aktivační funkci ke každé konvoluční vrstvě, včetně konvulzí 1 × 1. Zde zkoumáme, jak se mění výkon, když se držíme stejné strategie. , odstraníme všechny vrstvy GELU z reziduálního bloku s výjimkou jedné mezi dvěma vrstvami 1 × 1, což replikuje styl bloku transformátoru. 4 Nyní použijeme jednu aktivaci GELU v každém bloku. Transformátorové bloky mají obvykle také méně normalizačních vrstev. Zde odstraňujeme dvě vrstvy BatchNorm (BN), zanecháváme pouze jednu vrstvu BN před conv 1 × 1 vrstvami. Všimněte si, že máme ještě méně normalizačních vrstev na blok než Transformers, protože empiricky zjistíme, že přidání jedné další vrstvy BN na začátku bloku nezlepšuje výkon. Fewer normalization layers. Boosty Břeclavská [ ] is an essential component in ConvNets as it improves the convergence and reduces overfitting. However, BN also has many intricacies that can have a detrimental effect on the model’s performance [ Existuje mnoho pokusů o vytvoření alternativní normalizace [ , , , , ] technik, ale BN zůstala preferovanou volbou ve většině úkolů vize.Na druhou stranu, jednodušší vrstva normalizace [ ] (LN) byl použit v transformátorech, což vedlo k dobrému výkonu v různých aplikačních scénářích. Substituting BN with LN. 38 84 60 75 83 5 Přímá náhrada LN za BN v původním ResNet bude mít za následek suboptimální výkon [ ].S veškerými modifikacemi v síťové architektuře a tréninkových technikách zde revidujeme dopad používání LN namísto BN. Pozorujeme, že náš model ConvNet nemá žádné potíže s tréninkem s LN; ve skutečnosti je výkon mírně lepší, získává přesnost 81.5%. 83 Od této chvíle budeme používat jednu LayerNorm jako naši volbu normalizace v každém zbytkovém bloku. V ResNet je prostorové odběru vzorků dosaženo zbytkovým blokem na začátku každé fáze, přičemž se používá 3×3 konve s krokem 2 (a 1×1 konve s krokem 2 na zkratkovém připojení). V Swin Transformers se mezi kroky přidává samostatná vrstva odběru vzorků. Separate downsampling layers. Další výzkum ukazuje, že přidání normalizačních vrstev všude tam, kde je změněno prostorové rozlišení, může pomoci stabilizovat trénink. To zahrnuje několik vrstev LN, které se také používají v transformátorech Swin: jednu před každou vrstvou odběru vzorků, jednu po kmenové vrstvě a jednu po konečném globálním průměru. Budeme používat samostatné vrstvy pro odběr vzorků.To nás přivádí k našemu konečnému modelu, který jsme nazvali ConvNeXt. A comparison of ResNet, Swin, and ConvNeXt block structures can be found in Figure . A comparison of ResNet-50, Swin-T and ConvNeXt-T’s detailed architecture specifications can be found in Table . 4 9 4 9 We have finished our first “playthrough” and discovered ConvNeXt, a pure ConvNet, that can outperform the Swin Transformer for ImageNet-1K classification in this compute regime. It is worth noting that Kromě toho, Our Con-vNeXt model has approximately the same FLOPs, #params., throughput, and memory use as the Swin Transformer, but does not require specialized modules such as shifted window attention or relative position biases. Closing remarks. all design choices discussed so far are adapted from vision Transformers. these designs are not novel even in the ConvNet literature — they have all been researched separately, but not collectively, over the last decade. These findings are encouraging but not yet completely convincing — our exploration thus far has been limited to a small scale, but vision Transformers’ scaling behavior is what truly distinguishes them. Additionally, the question of whether a ConvNet can compete with Swin Transformers on downstream tasks such as object detection and semantic segmentation is a central concern for computer vision practitioners. In the next section, we will scale up our ConvNeXt models both in terms of data and model size, and evaluate them on a diverse set of visual recognition tasks. 3. Empirical Evaluations on ImageNet We construct different ConvNeXt variants, ConvNeXt-T/S/B/L, to be of similar complexities to Swin-T/S/B/L [ ]. ConvNeXt-T/B je konečným produktem „modernizačního“ postupu na režimu ResNet-50/200. Kromě toho budujeme větší ConvNeXt-XL, abychom dále otestovali škálovatelnost ConvNeXt. , and the number of blocks in each stage. Following both ResNets and Swin Transformers, the number of channels doubles at each new stage. We summarize the configurations below: 45 C B ConvNeXt-T: C = (96*,* 192*,* 384*,* 768), B = (3*,* 3*,* 9*,* 3) ConvNeXt-S: = (96*,* 192*,* 384*,* 768), = (3*,* 3*,* 27*,* 3) C B ConvNeXt-B: C = (128*,* 256*,* 512*,* 1024), B = (3*,* 3*,* 27*,* 3) ConvNeXt-L: = (192*,* 384*,* 768*,* 1536), = (3*,* 3*,* 27*,* 3) C B ConvNeXt-XL: = (256*,* 512*,* 1024*,* 2048), = (3*,* 3*,* 27*,* 3) C B 3.1. Settings The ImageNet-1K dataset consists of 1000 object classes with 1.2M training images. We report ImageNet-1K top-1 accuracy on the validation set. We also conduct pre-training on ImageNet-22K, a larger dataset of 21841 classes (a superset of the 1000 ImageNet-1K classes) with ∼14M images for pre-training, and then fine-tune the pre-trained model on ImageNet-1K for evaluation. We summarize our training setups below. More details can be found in Appendix . A My trénujeme ConvNeXts pro 300 epochů pomocí AdamW [ ] with a learning rate of 4e-3. There is a 20-epoch linear warmup and a cosine decaying schedule afterward. We use a batch size of 4096 and a weight decay of 0.05. For data augmentations, we adopt common schemes including Mixup [ ], Cutmix [ ], RandAugment [ ], and Random Erasing [ ]. We regularize the networks with Stochastic Depth [ ] a štítek Smoothing [ ]. Layer Scale [ Na základě exponenciálního pohybujícího se průměru (Exponential Moving Average, EMA) ] jak zjistíme, že zmírňuje větší modely‘ přepracování. Training on ImageNet-1K. 46 90 89 14 91 37 69 74 51 We pre-train ConvNeXts on ImageNet-22K for 90 epochs with a warmup of 5 epochs. We do not use EMA. Other settings follow ImageNet-1K. Pre-training on ImageNet-22K. We fine-tune ImageNet-22K pre-trained models on ImageNet-1K for 30 epochs. We use AdamW, a learning rate of 5e-5, cosine learning rate schedule, layer-wise learning rate decay [ , ], no warmup, a batch size of 512, and weight decay of 1e-8. The default pre-training, fine-tuning, and testing resolution is 2242. Additionally, we fine-tune at a larger resolution of 3842, for both ImageNet-22K and ImageNet-1K pre-trained models. Fine-tuning on ImageNet-1K. 6 12 Compared with ViTs/Swin Transformers, ConvNeXts are simpler to fine-tune at different resolutions, as the network is fully-convolutional and there is no need to adjust the input patch size or interpolate absolute/relative position biases. 3.2. Results Table (upper) shows the result comparison with two recent Transformer variants, DeiT [ ] and Swin Transformers [ ], as well as two ConvNets from architecture search - RegNets [ ], Efektivní sítě [ ] and EfficientNetsV2 [ ]. ConvNeXt competes favorably with two strong ConvNet baselines (RegNet [ ] and Efficient-Net [ ]) z hlediska kompromisu přesnosti a výpočtu, jakož i odvodů. ConvNeXt také převyšuje Swin Transformer podobné složitosti někdy s podstatnou marží (např. 0,8% pro ConvNeXt-T). bez specializovaných modulů, jako jsou posunutá okna nebo relativní polohové předsudky, mají ConvNeXts také lepší průtok ve srovnání se Swin Transformers. ImageNet-1K. 1 73 45 54 71 72 54 71 across the board, A highlight from the results is ConvNeXt-B at 3842 : it outperforms Swin-B by 0.6% (85.1% vs. 84.5%), but with 12.5% higher inference throughput (95.7 vs. 85.1 image/s). We note that the FLOPs/throughput advantage of ConvNeXt-B over Swin-B becomes larger when the resolution increases from 2242 to 3842 . Additionally, we observe an improved result of 85.5% when further scaling to ConvNeXt-L. We present results with models fine-tuned from ImageNet-22K pre-training at Table (lower). These experiments are important since a widely held view is that vision Transformers have fewer inductive biases thus can per-form better than ConvNets when pre-trained on a larger scale. Our results demonstrate that properly designed ConvNets are inferior to vision Transformers when pre-trained with large dataset — ConvNeXts still perform on par or better than similarly-sized Swin Transformers, with slightly higher throughput. Additionally, our ConvNeXt-XL model achieves an accuracy of 87.8% — a decent improvement over ConvNeXt-L at 3842, demonstrating that ConvNeXts are scalable architectures. ImageNet-22K. 1 not On ImageNet-1K, EfficientNetV2-L, a searched architecture equipped with advanced modules (such as Squeeze-and-Excitation [ ]) and progressive training procedure achieves top performance. However, with ImageNet-22K pre-training, ConvNeXt is able to outperform EfficientNetV2, further demonstrating the importance of large-scale training. 35 In Appendix , we discuss robustness and out-of-domain generalization results for ConvNeXt. B 3.3. Isotropic ConvNeXt . ViT vs In this ablation, we examine if our ConvNeXt block design is generalizable to ViT-style [ , izotropní architektury, které nemají vrstvy odběru vzorků a udržují stejné rozlišení funkcí ( . 14×14) at all depths. We construct isotropic ConvNeXt-S/B/L using the same feature dimensions as ViT-S/B/L (384/768/1024). Depths are set at 18/18/36 to match the number of parameters and FLOPs. The block structure remains the same (Fig. Používáme výsledky dohlíženého výcviku z DeiT [ ] for ViT-S/B and MAE [ ] pro ViT-L, protože používají vylepšené školicí postupy oproti původním ViTs [ ]. ConvNeXt models are trained with the same settings as before, but with longer warmup epochs. Results for ImageNet-1K at 2242 resolution are in Table . We observe ConvNeXt can perform generally on par with ViT, showing that our ConvNeXt block design is competitive when used in non-hierarchical models. 20 e.g 4 73 26 20 2 4. Empirical Evaluation on Downstream Tasks We fine-tune Mask R-CNN [ ] and Cascade Mask R-CNN [ ] on the COCO dataset with ConvNeXt backbones. Following Swin Transformer [ ], používáme víceúrovňové školení, optimalizátor AdamW a 3× rozvrh.Další podrobnosti a nastavení hyperparametrů naleznete v příloze . Object detection and segmentation on COCO. 27 9 45 A.3 Table shows object detection and instance segmentation results comparing Swin Transformer, ConvNeXt, and traditional ConvNet such as ResNeXt. Across different model complexities, ConvNeXt achieves on-par or better performance than Swin Transformer. When scaled up to bigger models (ConvNeXt-B/L/XL) pre-trained on ImageNet-22K, in many cases ( . +1.0 AP) than Swin Transformers in terms of box and mask AP. 3 ConvNeXt je výrazně lepší e.g We also evaluate ConvNeXt backbones on the ADE20K semantic segmentation task with UperNet [ ]. All model variants are trained for 160K iterations with a batch size of 16. Other experimental settings follow [ (viz příloha for more details). In Table , we report validation mIoU with multi-scale testing. ConvNeXt models can achieve competitive performance across different model capacities, further validating the effectiveness of our architecture design. Semantic segmentation on ADE20K. 85 6 A.3 4 Pod podobnými FLOP jsou modely s hloubkovými konvolucemi známé jako pomalejší a spotřebovávají více paměti než ConvNets s pouze hustými konvolucemi. Remarks on model efficiency. It is natural to ask whether the design of ConvNeXt will render it practically inefficient. As demon-strated throughout the paper, the inference throughputs of ConvNeXts are comparable to or exceed that of Swin Trans-formers. This is true for both classification and other tasks requiring higher-resolution inputs (see Table , for com-parisons of throughput/FPS). Furthermore, we notice that training ConvNeXts requires less memory than training Swin Transformers. For example, training Cascade Mask-RCNN using ConvNeXt-B backbone consumes 17.4GB of peak memory with a per-GPU batch size of 2, while the reference number for Swin-B is 18.5GB. In comparison to vanilla ViT, both ConvNeXt and Swin Transformer exhibit a more favor-able accuracy-FLOPs trade-off due to the local computations. It is worth noting that this improved efficiency is a result of the , and is not directly related to the self-attention mechanism in vision Transformers. 1 3 ConvNet inductive bias 5 Související práce In both the pre- and post-ViT eras, the hybrid model combining convolutions and self-attentions has been actively studied. Prior to ViT, the focus was on augmenting a ConvNet with self-attention/non-local modules [ , , , ] to capture long-range dependencies. The original ViT [ ] nejprve studoval hybridní konfiguraci a velké množství následných prací se zaměřilo na opětovné zavedení konvolučních předchůdců do ViT, buď v ex-plicitním [ , , , , , , ] or implicit [ a módy. Hybrid models. 8 55 66 79 20 15 16 21 82 86 88 45 Han [Zobrazit ] show that local Transformer attention is equivalent to inhomogeneous dynamic depthwise conv. The MSA block in Swin is then replaced with a dynamic or regular depthwise convolution, achieving comparable performance to Swin. A concurrent work, ConvMixer [ ] demonstrates that, in small-scale settings, depthwise convolution can be used as a promising mixing strategy. ConvMixer uses a smaller patch size to achieve the best results, making the throughput much lower than other baselines. GFNet [ ] přijímá Fast Fourier Transform (FFT) pro mixování tokenů. FFT je také formou konvoluce, ale s globální velikostí jádra a kruhovým paddingem. Na rozdíl od mnoha nedávných designů Transformeru nebo ConvNet, jedním z hlavních cílů naší studie je poskytnout hluboký pohled na proces modernizace standardního ResNet a dosažení špičkového výkonu. Recent convolution-based approaches. et al. 25 4 56 6. Conclusions In the 2020s, vision Transformers, particularly hierarchical ones such as Swin Transformers, began to overtake ConvNets as the favored choice for generic vision backbones. The widely held belief is that vision Transformers are more accurate, efficient, and scalable than ConvNets. We propose ConvNeXts, a pure ConvNet model that can compete favorably with state-of-the-art hierarchical vision Transformers across multiple computer vision benchmarks, while retaining the simplicity and efficiency of standard ConvNets. In some ways, our observations are surprising while our ConvNeXt model itself is not completely new — many design choices have all been examined separately over the last decade, but not collectively. We hope that the new results reported in this study will challenge several widely held views and prompt people to rethink the importance of convolution in computer vision. Děkujeme Kaiming He, Eric Mintun, Xingyi Zhou, Ross Girshick a Yann LeCun za cenné diskuse a zpětnou vazbu. Acknowledgments. Appendix In this Appendix, we provide further experimental details (§ ), robustness evaluation results (§ ), more modernization experiment results (§ ), and a detailed network specification (§ ). We further benchmark model throughput on A100 GPUs (§ ). Finally, we discuss the limitations (§ ) and societal impact (§ ) of our work. A B C D E F G A. Experimental Settings A.1. ImageNet (Pre-)training We provide ConvNeXts’ ImageNet-1K training and ImageNet-22K pre-training settings in Table . The settings are used for our main results in Table (Section ). All ConvNeXt variants use the same setting, except the stochas-tic depth rate is customized for model variants. 5 1 3.2 For experiments in “modernizing a ConvNet” (Section Využíváme také stůl ’s setting for ImageNet-1K, except EMA is disabled, as we find using EMA severely hurts models with BatchNorm layers. 2 5 For isotropic ConvNeXts (Section ), the setting for ImageNet-1K in Table je také přijata, ale oteplování je ex-tended na 50 epochs, a stupnice vrstvy je zakázán pro izotropní ConvNeXt-S/B. Stochastické hloubky jsou 0,1/0.2/0.5 pro izotropní ConvNeXt-S/B/L. 3.3 A A.2. ImageNet Fine-tuning Seznamujeme nastavení pro jemné nastavení na ImageNet-1K v Tabulce . The fine-tuning starts from the final model weights obtained in pre-training, without using the EMA weights, even if in pre-training EMA is used and EMA accuracy is reported. This is because we do not observe improvement if we fine-tune with the EMA weights (consistent with observa-tions in [ ]). The only exception is ConvNeXt-L pre-trained on ImageNet-1K, where the model accuracy is significantly lower than the EMA accuracy due to overfitting, and we select its best EMA model during pre-training as the starting point for fine-tuning. 6 73 In fine-tuning, we use layer-wise learning rate decay [ , ] s každými 3 po sobě následujícími bloky tvořícími skupinu.Když je model jemně nastaven při rozlišení 3842, používáme poměr sklizně 1,0 (tj. bez sklizně) během testování následujícího [ , , , ], 6 12 2 74 80 instead of 0.875 at 2242. A.3. Downstream Tasks For ADE20K and COCO experiments, we follow the training settings used in BEiT [ ] and Swin [ ]. We also use MMDetection [ ] and MMSegmentation [ Používáme konečné modelové váhy (namísto váh EMA) z ImageNet pre-training jako síťové inicializace. 6 45 10 13 We conduct a lightweight sweep for COCO experiments including learning rate {1e-4, 2e-4}, layer-wise learning rate decay [ ] {0.7, 0.8, 0.9, 0.95}, and stochastic depth rate {0.3, 0.4, 0.5, 0.6, 0.7, 0.8}. We fine-tune the ImageNet-22K pre-trained Swin-B/L on COCO using the same sweep. We use the official code and pre-trained model weights [ ]. 6 3 The hyperparameters we sweep for ADE20K experiments include learning rate {8e-5, 1e-4}, layer-wise learning rate decay {0.8, 0.9}, and stochastic depth rate {0.3, 0.4, 0.5}. We report validation mIoU results using multi-scale testing. Additional single-scale testing results are in Table . 7 B. Robustness Evaluation Další výsledky hodnocení robustnosti pro modely ConvNeXt jsou uvedeny v tabulce . We directly test our ImageNet-1K trained/fine-tuned classification models on sev-eral robustness benchmark datasets such as ImageNet-A [ ], ImageNet-R [ ], ImageNet-Sketch [ ] a ImageNet-C/C ̄ [ , ] datasets. We report mean corruption error (mCE) for ImageNet-C, corruption error for ImageNet-C¯, and top-1 Accuracy for all other datasets. 8 33 30 78 31 48 ConvNeXt (in particular the large-scale model variants) exhibits promising robustness behaviors, outperforming state-of-the-art robust transformer models [ ] on several benchmarks. With extra ImageNet-22K data, ConvNeXt-XL demonstrates strong domain generalization capabilities ( . achieving 69.3%/68.2%/55.0% accuracy on ImageNet-A/R/Sketch benchmarks, respectively). We note that these ro-bustness evaluation results were acquired without using any specialized modules or additional fine-tuning procedures. 47 e.g C. Modernizing ResNets: detailed results Here we provide detailed tabulated results for the experiments, at both ResNet-50 / Swin-T and ResNet-200 / Swin-B regimes. The ImageNet-1K top-1 ac-curacies and FLOPs for each step are shown in Table and . ResNet-50 regime experiments are run with 3 ran-dom seeds. mod-ernization 10 11 For ResNet-200, the initial number of blocks at each stage is (3, 24, 36, 3). We change it to Swin-B’s (3, 3, 27, 3) at the step of changing stage ratio. This drastically reduces the FLOPs, so at the same time, we also increase the width from 64 to 84 to keep the FLOPs at a similar level. After the step of adopting depthwise convolutions, we further increase the width to 128 (same as Swin-B’s) as a separate step. Pozorování o režimu ResNet-200 jsou většinou v souladu s těmi o ResNet-50, jak je popsáno v hlavním článku. Jeden zajímavý rozdíl je, že reverzní rozměry přináší větší zlepšení v režimu ResNet-200 než v režimu ResNet-50 (+0,79%). . +0.14%). The performance gained by increasing kernel size also seems to saturate at kernel size 5 instead of 7. Using fewer normalization layers also has a bigger gain compared with the ResNet-50 regime (+0.46% . +0.14%). vs vs D. Detailed Architectures We present a detailed architecture comparison between ResNet-50, ConvNeXt-T and Swin-T in Table U rozdílně velkých ConvNeXts se od ConvNeXt-T liší pouze počet bloků a počet kanálů v každé fázi (viz oddíl for details). ConvNeXts enjoy the simplic-ity of standard ConvNets, but compete favorably with Swin Transformers in visual recognition. 9 3 E. Benchmarking on A100 GPUs Following Swin Transformer [ ], the ImageNet models’ inference throughputs in Table are benchmarked using a V100 GPU, where ConvNeXt is slightly faster in inference than Swin Transformer with a similar number of parameters. We now benchmark them on the more advanced A100 GPUs, which support the TensorFloat32 (TF32) tensor cores. We employ PyTorch [ ] version 1.10 to use the latest “Channel Last” memory layout [ ] for further speedup. 45 1 50 22 Výsledky prezentujeme v tabulce . Swin Transformers and ConvNeXts both achieve faster inference throughput than V100 GPUs, but ConvNeXts’ advantage is now significantly greater, sometimes . This preliminary study shows promising signals that ConvNeXt, employed with standard ConvNet modules and simple in design, could be practically more efficient models on modern hardwares. 12 up to 49% faster F. Limitations We demonstrate ConvNeXt, a pure ConvNet model, can perform as good as a hierarchical vision Transformer on image classification, object detection, instance and semantic segmentation tasks. While our goal is to offer a broad range of evaluation tasks, we recognize computer vision applica-tions are even more diverse. ConvNeXt may be more suited for certain tasks, while Transformers may be more flexible for others. A case in point is multi-modal learning, in which a cross-attention module may be preferable for modeling feature interactions across many modalities. Additionally, Transformers may be more flexible when used for tasks re-quiring discretized, sparse, or structured outputs. We believe the architecture choice should meet the needs of the task at hand while striving for simplicity. G. Societal Impact In the 2020s, research on visual representation learn-ing began to place enormous demands on computing re-sources. While larger models and datasets improve per-formance across the board, they also introduce a slew of challenges. ViT, Swin, and ConvNeXt all perform best with their huge model variants. Investigating those model designs inevitably results in an increase in carbon emissions. One important direction, and a motivation for our paper, is to strive for simplicity — with more sophisticated modules, the network’s design space expands enormously, obscuring critical components that contribute to the performance dif-ference. Additionally, large models and datasets present issues in terms of model robustness and fairness. Further investigation on the robustness behavior of ConvNeXt vs. Transformer will be an interesting research direction. In terms of data, our findings indicate that ConvNeXt models benefit from pre-training on large-scale datasets. While our method makes use of the publicly available ImageNet-22K dataset, individuals may wish to acquire their own data for pre-training. A more circumspect and responsible approach to data selection is required to avoid potential concerns with data biases. References [1] PyTorch Vision Models. Přihlášené: 2021-10-01. https://pytorch.org/ vision/stable/models.html [2] GitHub repository: Swin transformer. . , 2021. https://github com/microsoft/Swin-Transformer [3] GitHub repository: Swin transformátor pro detekci objektů. , 2021. https://github.com/SwinTransformer/Swin-Transformer-Object-Detection [4] Anonymous. Patches are all you need? , 2021. Openreview [5] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. , 2016. arXiv:1607.06450 [6] Hangbo Bao, Li Dong, and Furu Wei. BEiT: BERT pre-training of image transformers. , 2021. arXiv:2106.08254 [7] Irwan Bello, William Fedus, Xianzhi Du, Ekin Dogus Cubuk, Aravind Srinivas, Tsung-Yi Lin, Jonathon Shlens a Barret Zoph. , 2021. NeurIPS [8] Irwan Bello, Barret Zoph, Ashish Vaswani, Jonathon Shlens, and Quoc V Le. Attention augmented convolutional networks. In , 2019. ICCV [9] Zhaowei Cai and Nuno Vasconcelos. Cascade R-CNN: Delv-ing into high quality object detection. In , 2018. CVPR [10] Kai Chen, Jiaqi Wang, Jiangmiao Pang, Yuhang Cao, Yu Xiong, Xiaoxiao Li, Shuyang Sun, Wansen Feng, Ziwei Liu, Jiarui Xu, Zheng Zhang, Dazhi Cheng, Chenchen Zhu, Tian-heng Cheng, Qijie Zhao, Buyu Li, Xin Lu, Rui Zhu, Yue Wu, Jifeng Dai, Jingdong Wang, Jianping Shi, Wanli Ouyang, Chen Change Loy, and Dahua Lin. MMDetection: Open mmlab detection toolbox and benchmark. , 2019. arXiv:1906.07155 [11] François Chollet. Xception: Hluboké učení s hluboko oddělenými konvolucemi. V roce 2017. CVPR [12] Kevin Clark, Minh-Thang Luong, Quoc V Le a Christo-pher D Manning. ELECTRA: Předškolní text kóduje jako diskriminátory spíše než generátory. , 2020. ICLR [13] MMSegmentation contributors. MMSegmentation: Openmm-lab semantic segmentation toolbox and benchmark. https: ,2020. //github.com/open- mmlab/mmsegmentation [14] Ekin D Cubuk, Barret Zoph, Jonathon Shlens, and Quoc V Le. Randaugment: Practical automated data augmentation with a reduced search space. In , 2020. CVPR Workshops [15] Zihang Dai, Hanxiao Liu, Quoc V Le, and Mingxing Tan. Coatnet: Marrying convolution and attention for all data sizes. , 2021. neuropsychologie [16] Stéphane d’Ascoli, Hugo Touvron, Matthew Leavitt, Ari Mor-cos, Giulio Biroli, and Levent Sagun. ConViT: Improving vision transformers with soft convolutional inductive biases. , 2021. ICML [17] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. ImageNet: A large-scale hierarchical image database. In , 2009. CVPR [18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional trans-formers for language understanding. In , 2019. NAACL [19] Piotr Dollár, Serge Belongie, and Pietro Perona. The fastest pedestrian detector in the west. In , 2010. BMVC [20] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Syl-vain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In , 2021. ICLR [21] Haoqi Fan, Bo Xiong, Karttikeya Mangalam, Yanghao Li, Zhicheng Yan, Jitendra Malik, and Christoph Feichtenhofer. Multiscale vision transformers. , 2021. ICCV [22] Vitaly Fedyunin. Tutorial: Channel last memory format in PyTorch. , 2021. Accessed: 2021-10-01. https://pytorch.org/tutorials/ intermediate/memory_format_tutorial.html [23] Ross Girshick. Fast R-CNN. In , 2015. ICCV [24] Ross Girshick, Jeff Donahue, Trevor Darrell, and Jitendra Malik. Rich feature hierarchies for accurate object detection and semantic segmentation. In , 2014. CVPR [25] Qi Han, Zejia Fan, Qi Dai, Lei Sun, Ming-Ming Cheng, Ji-aying Liu, and Jingdong Wang. Demystifying local vision transformer: Sparse connectivity, weight sharing, and dy-namic weight. , 2021. arXiv:2106.04263 [26] Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. Masked autoencoders are scalable vision learners. , 2021. arXiv:2111.06377 [27] Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Gir-shick. Mask R-CNN. In , 2017. ICCV [28] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In , 2016. CVPR [29] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Identity mappings in deep residual networks. In , 2016. ECCV [30] Dan Hendrycks, Steven Basart, Norman Mu, Saurav Kada-vath, Frank Wang, Evan Dorundo, Rahul Desai, Tyler Zhu, Samyak Parajuli, Mike Guo, et al. The many faces of robust-ness: A critical analysis of out-of-distribution generalization. In , 2021. ICCV [31] Dan Hendrycks and Thomas Dietterich. Benchmarking neural network robustness to common corruptions and perturbations. In , 2018. ICLR [32] Dan Hendrycks a Kevin Gimpel. Gaussian error lineární jednotky (gelus). , 2016. arXiv:1606.08415 [33] Dan Hendrycks, Kevin Zhao, Steven Basart, Jacob Steinhardt a Dawn Song. Přírodní protichůdné příklady. , 2021. CVPR [34] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco An-dreetto, and Hartwig Adam. MobileNets: Efficient con-volutional neural networks for mobile vision applications. , 2017. arXiv:1704.04861 [35] Jie Hu, Li Shen, and Gang Sun. Squeeze-and-excitation networks. In V roce 2018. CVPR [36] Gao Huang, Zhuang Liu, Laurens van der Maaten, and Kil-ian Q Weinberger. Densely connected convolutional networks. In , 2017. CVPR [37] Gao Huang, Yu Sun, Zhuang Liu, Daniel Sedra, and Kilian Q Weinberger. Deep networks with stochastic depth. In , 2016. ECCV [38] Sergey Ioffe. batch renormalization: Ke snížení mini-batch závislosti v batch-normalizovaných modelů. , 2017. neuropsychologie [39] Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Joan Puigcerver, Jessica Yung, Sylvain Gelly, and Neil Houlsby. Big Transfer (BiT): General visual representation learning. In v roce 2020. ECCV [40] Alex Krizhevsky, Ilya Sutskever a Geoff Hinton. Imagenet klasifikace s hlubokými konvolučními neurálními sítěmi. , 2012. neuropsychologie [41] Andrew Lavin and Scott Gray. Fast algorithms for convolu-tional neural networks. In , 2016. CVPR [42] Yann LeCun, Bernhard Boser, John S Denker, Donnie Hen-derson, Richard E Howard, Wayne Hubbard, and Lawrence D Jackel. Backpropagation applied to handwritten zip code recognition. , 1989. Neural computation [43] Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner, et al. Gradientové učení aplikované na rozpoznávání dokumentů. v roce 1998. Proceedings of the IEEE [44] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO: Common objects in context. In v roce 2014. ECCV [45] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin a Baining Guo. [46] Ilya Loshchilov a Frank Hutter. Odstraněná regulace rozkladu hmotnosti. , 2019. ICLR [47] Xiaofeng Mao, Gege Qi, Yuefeng Chen, Xiaodan Li, Ranjie Duan, Shaokai Ye, Yuan He, and Hui Xue. Towards robust vision transformer. , 2021. arXiv preprint arXiv:2105.07926 [48] Eric Mintun, Alexander Kirillov, and Saining Xie. On in-teraction between augmentations and corruptions in natural corruption robustness. v roce 2021. neuropsychologie [49] Vinod Nair a Geoffrey E. Hinton. Opravené lineární jednotky zlepšují omezené boltzmannské stroje. , 2010. ICML [50] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. PyTorch: An imperative style, high-performance deep learning library. In , 2019. NeurIPS [51] Boris T Polyak and Anatoli B Juditsky. Acceleration of stochastic approximation by averaging. v roce 1992. SIAM Journal on Control and Optimization [52] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei a Ilya Sutskever. Jazykové modely jsou nezištní multi-task učitelé. [53] Ilija Radosavovic, Justin Johnson, Saining Xie, Wan-Yen Lo, and Piotr Dollár. On network design spaces for visual recognition. In , 2019. ICCV [54] Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaim-ing He a Piotr Dollár. Navrhování síťových designových prostor. v roce 2020. CVPR [55] Prajit Ramachandran, Niki Parmar, Ashish Vaswani, Irwan Bello, Anselm Levskaya, and Jonathon Shlens. Stand-alone self-attention in vision models. , 2019. neuropsychologie [56] Yongming Rao, Wenliang Zhao, Zheng Zhu, Jiwen Lu a Jie Zhou. globální filtrační sítě pro klasifikaci obrazu. v roce 2021. NeurIPS [57] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. In V roce 2015. NeurIPS [58] Henry A Rowley, Shumeet Baluja, and Takeo Kanade. Neural network-based face detection. , 1998. TPAMI [59] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, San-jeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. , 2015. IJCV [60] Tim Salimans and Diederik P Kingma. Weight normalization: A simple reparameterization to accelerate training of deep neural networks. In v roce 2016. neuropsychologie [61] Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zh-moginov, and Liang-Chieh Chen. Mobilenetv2: Inverted residuals and linear bottlenecks. In , 2018. CVPR [62] Pierre Sermanet, David Eigen, Xiang Zhang, Michael Math-ieu, Rob Fergus a Yann LeCun. Překonání: Integrované rozpoznávání, lokalizace a detekce pomocí konvolučních sítí. , 2014. ICLR [63] Pierre Sermanet, Koray Kavukcuoglu, Soumith Chintala, a Yann LeCun. detekce chodců s bez dozoru víceúrovňové funkční učení. , 2013. CVPR [64] Karen Simonyan a Andrew Zisserman. dvoustranné konvo-luční sítě pro rozpoznávání akcí ve videích. v roce 2014. NeurIPS [65] Karen Simonyan and Andrew Zisserman. Very deep convolu-tional networks for large-scale image recognition. In , 2015. ICLR [66] Aravind Srinivas, Tsung-Yi Lin, Niki Parmar, Jonathon Shlens, Pieter Abbeel a Ashish Vaswani. Bottleneck transformátory pro vizuální rozpoznání. , 2021. CVPR [67] Andreas Steiner, Alexander Kolesnikov, Xiaohua Zhai, Ross Wightman, Jakob Uszkoreit a Lucas Beyer. Jak vycvičit vaše vit? data, zvětšení a regulace v transformacích zraku. , 2021. arXiv preprint arXiv:2106.10270 [68] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke a Andrew Rabinovich. Jít hlouběji s konvolucemi. , 2015. CVPR [69] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, and Zbigniew Wojna. Rethinking the incep-tion architecture for computer vision. In , 2016. CVPR [70] Mingxing Tan, Bo Chen, Ruoming Pang, Vijay Vasudevan, Mark Sandler, Andrew Howard a Quoc V Le. V roce 2019. CVPR [71] Mingxing Tan a Quoc Le. Efficientnet: Přehodnocení modelové škálování pro konvoluční neurální sítě. V roce 2019. ICML [72] Mingxing Tan and Quoc Le. Efficientnetv2: Smaller models and faster training. In , 2021. ICML [73] Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, a Hervé Jégou. Výcvik data-efektivní obrazové transformátory a destilace prostřednictvím pozornosti. , 2020. arXiv:2012.12877 Hugo Touvron, Matthieu Cord, Alexandre Sablayrolles, Gabriel Synnaeve a Hervé Jégou. , 2021. ICCV [75] Dmitry Ulyanov, Andrea Vedaldi, a Victor Lempitsky. In-stance normalizace: Chybějící složka pro rychlé styliza-tion. v roce 2016. arXiv:1607.08022 Régis Vaillant, Christophe Monrocq a Yann Le Cun: Originální přístup k lokalizaci objektů v obrazech. , 1994. Vize, zpracování obrazu a signálu [77] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszko-reit, Llion Jones, Aidan N Gomez, Lukasz Kaiser a Illia Polosukhin. Pozornost je vše, co potřebujete. V roce 2017. neuropsychologie [78] Haohan Wang, Songwei Ge, Eric P Xing, and Zachary C Lipton. Learning robust global representations by penalizing local predictive power. V roce 2019. neuropsychologie [79] Xiaolong Wang, Ross Girshick, Abhinav Gupta a Kaiming He. V roce 2018. CVPR [80] Ross Wightman. GitHub úložiště: Pytorch image mod-els. V roce 2019. https://github.com/rwightman/pytorch-image-models [81] Ross Wightman, Hugo Touvron a Hervé Jégou. Resnet útočí zpět: Zlepšený tréninkový postup za hodinu. , 2021. arXiv: 2110.00476 [82] Haiping Wu, Bin Xiao, Noel Codella, Mengchen Liu, Xiyang Dai, Lu Yuan, and Lei Zhang. Cvt: Introducing convolutions to vision transformers. v roce 2021. ICCV [83] Yuxin Wu and Kaiming He. Group normalization. In V roce 2018. ECCV [84] Yuxin Wu a Justin Johnson. Přehodnocení „batch“ v batch-normě. v roce 2021. arXiv:2105.07576 [85] Tete Xiao, Yingcheng Liu, Bolei Zhou, Yuning Jiang a Jian Sun. Jednotné vnímání pro porozumění scéně. V roce 2018. ECCV [86] Tete Xiao, Mannat Singh, Eric Mintun, Trevor Darrell, Piotr Dollár, and Ross Girshick. Early convolutions help transform-ers see better. In , 2021. NeurIPS [87] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu a Kaiming He. Agregované zbytkové transformace pro hluboké neuronální sítě. V roce 2017. CVPR [88] Weijian Xu, Yifan Xu, Tyler Chang a Zhuowen Tu. Co-scale conv-attentional image transformers. , 2021. ICCV [89] Sangdoo Yun, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe, and Youngjoon Yoo. Cutmix: Regu-larization strategy to train strong classifiers with localizable features. In , 2019. ICCV [90] Hongyi Zhang, Moustapha Cisse, Yann N Dauphin a David Lopez-Paz. mixup: Beyond empirické minimalizace rizika. , 2018. ICLR [91] Zhun Zhong, Liang Zheng, Guoliang Kang, Shaozi Li, a Yi Yang. Náhodné vymazání dat zvětšení. , 2020. AAAI [92] Bolei Zhou, Hang Zhao, Xavier Puig, Tete Xiao, Sanja Fidler, Adela Barriuso a Antonio Torralba. Semantické chápání scén prostřednictvím datového souboru ADE20K. V roce 2019. IJCV Tento dokument je k dispozici v archivu pod licencí CC by 4.0 Deed (Attribution 4.0 International). Tento dokument je k dispozici v archivu pod licencí CC by 4.0 Deed (Attribution 4.0 International).