Ինչպե՞ս ConvNeXt- ը հավատում է, որ Classic AI մոդելները դեռ կարող են վերցնել Transformers- ը

Նրա գրասենյակներ : , Facebook AI Research (FAIR); UC Berkeley Zhuang Liu Hanzi Mao , Facebook AI Research (FAIR) Chao-Yuan Wu, Facebook AI Research (FAIR) Վիքիպահեստում Christoph Feichtenhofer, Facebook AI Research (FAIR) Վիքիպահեստում Trevor Darrell, UC Berkeley Վիքիպահեստում Saining Xie, Facebook AI Research (FAIR) Վիքիպահեստում Հեղինակային կոդը: https://github.com/facebookresearch/ConvNeXt Նրա գրասենյակներ : Zhuang Liu , Facebook AI Research (FAIR); UC Berkeley Hanzi Mao , Facebook AI Research (FAIR) Chao-Yuan Wu, Facebook AI Research (FAIR) Վիքիպահեստում Christoph Feichtenhofer, Facebook AI Research (FAIR) Վիքիպահեստում Trevor Darrell, UC Berkeley Վիքիպահեստում Saining Xie, Facebook AI Research (FAIR) Վիքիպահեստում Հեղինակային կոդը: https://github.com/facebookresearch/ConvNeXt Ապրիլ «Transformability Roaring 20s- ը» պլանտրաֆիկացիայի «Roaring 20s- ը» պլանտրաֆիկացիայի «Transformability» պլանտրաֆիկացիայի «Transformability» պլանտրաֆիկացիայի «Roaring 20s» պլանտրաֆիկացիայի «Transformability» պլանտրաֆիկացիայի «Transformability» պլանտրաֆիկացիայի «Transformability» պլանտրաֆիկացիայի «Transformability» պլանտրաֆիկացիայի «Transformability» պլանտրաֆիկացիայի «Transformability» պլանտրաֆիկացիայի «Transformability» պլանտրաֆիկացիայի «Transformability» պլանտրաֆիկացիայի «Transformability» պ 1. Հիմնադրություն «Այս դեկտեմբերի 20-ին, այն դեկտեմբերի 10-ին, որը նշված էր դեկտեմբերի 20-ին, հագուստը եւ ազդեցությունը հագուստային ուսուցման համար: Հիմնական ռեժիմը էր հագուստային ցանցերի, հատկապես ConvNets- ի (Convolutional Neural Networks) վերադառնալը: Այս դեկտեմբերի 10-ին, տեսական վերանայման տարածքը հաջողությամբ փոխվել է ինժեներային առանձնահատկություններից դիզայնային (ConvNet) դիզայնների համար: Երբ ConvNets- ի արտադրանքը, որը ուսուցվել է վերականգնման միջոցով, վերադառնալ է 1980-ին: ], այն չէ, որ մինչեւ 2012 թ. վերջը, որ մենք տեսել ենք իր ճշգրիտ հզորությունը տեսակի առանձնահատկությունների ուսուցման համար: 42 AlexNet- ի տեղադրման մասին [ ] precipitated the «ImageNet moment» [ «Այս ժամանակը» Հիմնական հոդված՝ «Այս տարի, ինչպիսիք են անգլերենը»[խմբագրել խմբագրել կոդը] Հիմնական հոդվածներ [ Հիմնական հոդվածը (x) Հիմա ], Դենսենտ [ Բջջային բջջային [ ], EfficientNet է [ «Ինչի՞ն է ջուրը» ] կենտրոնացել է ճշգրիտության, արդյունավետության եւ ծախսելիության տարբեր տեսակի վրա, եւ պլանավորել է բազմաթիվ օգտակար դիզայնի պայմանները: 40 59 64 68 28 87 36 34 71 54 ConvNets- ի ամբողջական վերահսկողությունը համակարգչային տեսության մեջ ոչ մի սխալ չէ: բազմաթիվ օգտագործման սերտիֆիկներում, «լուսանկարների» ռեժիմը բնական է տեսական բուժման համար, հատկապես, երբ աշխատում են բարձր լայնագրության մոդելների հետ: ConvNets- ի մի քանի տեղադրված ինտեգրված ինտեգրտական հարթակներ են, որոնք թույլ են տալիս նրանց հարթակել մի շարք համակարգչային տեսության ծրագրերի համար: Լավագույնը այն է, որ translation equivariance- ը, որը ցանկանում է գործառույթների համար, ինչպիսիք են բուժման բուժման համար: ConvNets- ը նաեւ բնականորեն արդյունավետ է, քանի որ, երբ օգտագործվում է սեղմվող տեսակի ձեւով, բուժման համակարգերը ]. Շատ տարիների ընթացքում դա ConvNets- ի ստանդարտ օգտագործումը է, հիմնականում սահմանափակ ախտացիայի կատեգորիաների վրա, ինչպիսիք են թվերը [ «Այս գծերը» Հիմա ] եւ երեխա ( Հիմա ]. 2010 թ.-ին ներսում, տարածաշրջանում հիմնված մետաղադրիչները [ Հիմա Հիմա Հիմա ConvNets- ը ավելին բարձրացվել է, որ տեղադրվել է Visual Recognition System- ի հիմնական բաղադրիչը: 62 43 58 76 19 63 23 24 27 57 Ավելի քան մի քանի տարի առաջ, գլուխային ցանցի նախագծման դիզայնը (NLP) գլուխային գլուխային մշակման համար (NLP) դիզայնի դիզայնի դիզայնը շատ տարբեր է, քանի որ Transformers- ը փոխել է վերականգնվող գլուխային ցանցերի դիզայնը, որպեսզի այն դիզայնը դիզայնի վերականգնում է: Բացի սխալների եւ տեսության դիզայնների միջեւ հետաքրքրության գործառույթների տարբերությունը, երկու գլուխները անմիջապես փոխվել են 2020-ին, քանի որ Vision Transformers- ի (ViT) ներկայացումը ամբողջապես փոխել է ցանցի դիզայնի դիզայնի դիզայնի դիզայնը: Բացի առաջին «pachify» գլուխը, որը կ Հիմնական հոդված՝ «Այս օր» (տեսանյութ) «Այս օր» ( Արդյոք, թե ինչպե՞ս պետք է անում, թե ինչպե՞ս պետք է անում, թե ինչպե՞ս պետք է անում: The Transformers- ը առաջին անգամ ցույց է տալիս, որ Transformers- ը կարող է օգտագործվել որպես գեներատային տեսության բաղադրիչ եւ հասնել state-of-the-art կատարումը մի շարք համակարգչային տեսության գործիքների վրա, որոնք ավելի շատ են, քան գեներատորագրությունը: Swin Transformers- ի հաջողությունը եւ արագ ընդունումը նաեւ բացահայտել է մեկ բան: Convolution- ի բաղադրիչը ոչինչ չի դարձնում անսահմանափակ, այլն, դա շատ ցանկանում է, եւ երբեք չի մոռացել: Հիմնական G 45 Այս տեսակի մեջ, Transformers- ի բազմաթիվ առաջադեմները համակարգչային տեսության համար նախատեսված են վերադառնալ convolutions- ի համար: Այս փորձները, սակայն, ստանում են ծախսերը: կախված կարող են լինել գեղեցիկ սխալները: ]; with advanced approaches such as cyclic shifting [ ], արագությունը կարող է ստուգվել, բայց համակարգը ավելի հարմարեցված է դիզայնում: Մինչեւ, այն, որ ConvNet- ը, երբեմն, շատ ցանկացած առանձնահատկությունները, նույնիսկ պարզ, ոչ թե անջատական ձեւով: ConvNets- ի միակ պատճառը, որ ConvNets- ը վախենում է, այն է, որ (ժերշկային) Transformers- ը շատ տեսակի աշխատանքներում վերադառնալով են նրանց, եւ կատարման տարբերությունը սովորաբար կասկածվում է Transformers- ի գերազանց ծախսման կատարման հետ, քանի որ Multi-Head Self-Attention- ը հիմնական մասը է: 55 45 Հաջորդ հոդվածըԱյս տարիների ընթացքում թարմացվել է թարմացվելը, որ թարմացվել է թարմացվելը (տեսանյութ) Հիմնական հոդված՝ Swin Transformer ConvNets- ը եւ հիերշիկ տեսակի Transformers- ը միասին տարբեր են եւ հարմար են: Նրանք բոլորը հարմար են միասին տպագրական հարմարություններով, բայց կարեւորորեն տարբեր են ուսուցման գործընթացում եւ macro/micro-level architecture- ի դիզայնում: Այս աշխատանքում մենք փորձում ենք հետազոտել ConvNets- ի եւ Transformers- ի միջեւ դիզայնային տարբերությունները եւ փորձում ենք տեսնել ցանցի արդյունավետության համեմատում բաղադրիչ տարբերակներ: Մեր հետազոտությունների նպատակն է ConvNets- ի pre-ViT- ի եւ post-ViT- ի դիզայնների միջեւ լայնությունը մոռացել, ինչպես նաեւ փորձել, թե ինչ կարող է ստանալ պրակ ConvNet- ը: Հիմնական G vs Այսպիսով, մենք սկսում ենք ստանդարտ ResNet ( Հիմնական հոդված՝ «Այս տարի» (տեսանյութ) Հիմնական հոդված՝ «Այս տարի» (տեսանյութ) Մեր հետազոտությունը հիմնված է մի հիմնական հարցով: Մենք գտնում ենք մի քանի հիմնական բաղադրիչներ, որոնք օգնում են կատարման տարբերությունը ճանապարհի ընթացքում: Հետեւաբար, մենք առաջարկում ենք մի ընտանիք ConvNeXt. Մենք գնահատում ենք ConvNeXts- ը տարբեր տեսակի աշխատանքների համար, ինչպիսիք են ImageNet- ի դասընթացը [ ], Object Detection/Segmentation է COCO [ ], եւ semantic segmentation վրա ADE20K [ ConvNeXt- ը, որը ամբողջապես կառուցված է ստանդարտ ConvNet- ի մոդուլների հետ, համոզված է Transformers- ի հետ ճշգրիտության, ծախսելիության եւ հզորության մասին բոլոր հիմնական մանրամասների վրա: ConvNeXt- ը պահպանում է ստանդարտ ConvNets- ի արդյունավետությունը, եւ ամբողջական ConvNets- ի հզորությունը, որը դասընթացների եւ փորձարկման համար շատ հեշտ է իրականացնել: Հիմնական G Հիմնական G Ինչպե՞ս են Transformers- ի դիզայնային լուծումներ ազդում ConvNets- ի կատարումը: pure ConvNets 17 44 92 Մենք հավատում ենք, որ նոր փնտրումները եւ խոսքերները կարող են խնամել որոշ մասնավոր հավատերը եւ խնամել մարդկանց վերցնել համակարգչային տեսության խնամքի կարեւորությունը: 2. Modernizing a ConvNet: a Roadmap- ը Այս մասում մենք առաջարկում ենք ճանապարհորդությունը, որը գնում է ResNet- ից ConvNet- ում, որը բաղադրվում է Transformers- ի հետ: Մենք տեսնում ենք երկու մոդելային չափերը FLOP- ի մասին, մեկը ResNet-50 / Swin-T ռեժիմի հետ FLOP- ի մոտ 4 *: .*0 × 109. Շնորհակալության համար, մենք առաջարկում ենք արդյունքները ResNet-50 / Swin-T հարմարավետության մոդելների հետ: Բարձր հզորության մոդելների հետ արտադրանքի արդյունքները համատեղելի են, եւ արդյունքները կարող են գտնվել Ապրիշում . 5×109 եւ այլը ResNet-200 / Swin-B ռեժիմ է, որը ունի FLOP- ի մոտ 15 C Բարձր մակարդակում, մեր ուսումնասիրությունները ուղղվում են հետազոտելու եւ հետազոտելու տարբեր մակարդակների դիզայնների Swin Transformer- ից, իսկ պահպանելով ցանցի հեշտությունը որպես ստանդարտ ConvNet: Մեր հետազոտության ճանապարհային քարտեզը հետեւյալն է: Մեր սկսած վայրը ResNet-50 մոդել է: Մենք առաջին անգամ ուսուցում ենք այն նման ուսուցման տեխնոլոգիաների հետ, որոնք օգտագործվում են Vision Transformers- ի ուսուցման համար եւ ստանում են շատ բարելավված արդյունքները, քան Original ResNet-50- ը: Սա կունենա մեր բազինալը: Այնուհետեւ մենք ուսումնասիրել ենք մի շարք նախագծման լուծումներ, որոնք մենք կասկածել ենք, ինչպիսիք են 1) makro դիզայնը, 2) ResNeXt- ը, 3) վերլուծված bottleneck- ը, 4) մեծ կունել չափը, եւ 5) տարբեր կոշիկ դիզայնները: , մենք ցույց ենք տալիս, որ գործընթացը եւ արդյունքները, որոնք մենք կարող ենք հասնել «լուսանկարների նորարարման» յուրաքանչյուր քայլում: Որպես որ ցանցային հարմարավետությունը ճշգրտված է վերջնական կատարման հետ, FLOPs- ը վերահսկվում են ընդամենը երկար ժամանակ, բայց intermediate- ում FLOPs- ը կարող է ավելի բարձր կամ ցածր լինել, քան մոդելները: Բոլոր մոդելները ուսուցվում են եւ գնահատվում են ImageNet-1K- ում: 2 2.1 Արդյունաբերական տեխնոլոգիաներ Բացի դիզայնի ցանցային դիզայնը, ուսուցման գործընթացը ազդում է նաեւ վերջնական կատարումը: Ոչ միայն Vision Transformers- ը տվել է նոր մոդելներ եւ դիզայնային դիզայնի լուծումներ, այլեւ ներառում է տարբեր ուսուցման տեխնոլոգիաներ (մ.մ. AdamW optimizer) տեսության համար: Սա հիմնականում ներառում է optimization պլաստիկ եւ հետազոտական hyper-parameter կարգավորումները: Այսպիսով, մեր exploration- ի առաջին քայլը պետք է ուսուցել Baseline մոդել հետ Vision Transformer- ի ուսուցման գործընթացը, այս դեպքում, ResNet-50/200: Recent studies [ Հիմա ] ցույց է տալիս, որ նորաձեւ դասընթացային տեխնոլոգիաների մի շարք կարող է կարեւորորեն բարելավել պարզ ResNet-50 մոդելի կատարումը: Մեր հետազոտում, մենք օգտագործում ենք դասընթացային սեղմություն, որը հարմար է DeiT- ի [ ] եւ Swin Transformer- ի (տեսանյութ) ]. Արդյունաբերությունը լայնացվել է 300 epochs- ից Original 90 epochs- ից ResNets- ի համար: Մենք օգտագործում ենք AdamW optimizer- ը [ ], տվյալների բարձրացման տեխնոլոգիաներ, ինչպիսիք են Mixup [ ], Cutmix [ ], RandAugment [ ], Վարչական սեղմման [ ], եւ regularization համակարգեր, այդ թվում `Stochastic Deep [ ] եւ Label Smoothing [ ]. Մենք օգտագործում ենք բոլոր hyperparameters կարող եք գտնել Appendix Արդյոք, այս բարելավված դասընթացը բարձրացել է ResNet-50 մոդելի կատարումը 76.1%-ից [ ] մինչեւ 78.8% (+2.7%), որը նշանակում է, որ կարեւոր մասը կատարման տարբերության միջեւ Traditional ConvNets եւ Vision Transformers կարող է լինել, քանի որ ուսուցման տեխնոլոգիաների. Մենք օգտագործենք այս փաթեթավորման դասընթացը նույն hyperparameter- ի հետ ամբողջ "մոդելացիոնացման" գործընթացում. 7 81 73 45 46 90 89 14 91 36 69 A1 Հիմնական 1 2.2 Macro դիզայնը Swin Transformers- ի մանրամասները (լուսանկարներ) Swin Transformers- ի մանրամասները Հիմա Հիմնական հարցը, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ 28 65 Հիմնական դիզայնը սերտիֆիկայի մատակարարման համար ResNet- ում հիմնականում հմոմատական էր: Սերտիֆիկի «res4» սերտիֆիկը դիզայնում էր այնպես, որ համատեղելի է սերտիֆիկայի մատակարարման համար, ինչպիսիք են սերտիֆիկայի դիզայնը, որտեղ սերտիֆիկի սերտիֆիկը աշխատում է 14×14 սերտիֆիկի սերտիֆիկի վրա: Swin-T- ը, այլն, հետեւել է նույն ռեժիմը, բայց մի քիչ տարբեր սերտիֆիկայի սերտիֆիկայի քանակը 1:1:3:1- ում: Երբ ավելի մեծ Swin Transformers- ում, սերտիֆիկը 1:1:9:1- ը: Changing stage compute ratio. Նշում ենք, որ մենք կարգավորում ենք բլոգների מספרը յուրաքանչյուր քայլում (3, 4, 6, 3) ResNet-50- ում (3, 3, 9, 3), որը նաեւ համատեղում է FLOPs- ի հետ Swin-T. Սա բարելավում է մոդելը ճշգրտությունը 78.8% - ից 79.4% - ում: Նշում է, որ հետազոտողները խոշորորեն հետազոտել են հաշվարկման մատակարարությունը [ Հիմա ], եւ ավելի օպտիմալ դիզայն կարող է լինել. 53 54 Այժմ մենք կօգտագործենք այս փաթեթային գործառույթը. Հիմնականորեն, բջջային բջջային դիզայնը զգում է, թե ինչպես է բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջջային բջջային բջջջային բջջային բջջային բջջային բջջջային բջջային բջջջային բջջջային բջջային բջջջային բջջջային բջջ Changing stem to “Patchify”. 4×4- ի օգտագործման պտուտակային սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուցման սառուց 79.5% -ը: Սա ցույց է տալիս, որ ResNet- ում բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջջային բջջային բջջային բջջջային բջջային բջջջային բջջջային բջջային բջջջային բջջջային բջջային բջջջային բջջային բջջջային բջջջային բջջջային բջջ × We will use the “patchify stem” (4 4 (լուսանկարներ) Ապրիլ 4 (լուսանկարներ) 2.3. ResNeXt-ify Այս մասում մենք փորձում ենք վերցնել ResNeXt- ի գաղափար [ ], որը ունի ավելի լավ FLOPs / ճշգրտության փոխանակման, քան վենիլի ResNet. Հիմնական բաղադրիչը միասնական convolution է, որտեղ convolutional ֆիլտերները կտրված են տարբեր թիմերի: Բարձր մակարդակում, ResNeXt- ի ճշգրտման ռեժիմը այն է, որ « օգտագործեք ավելի թիմեր, լայնացրեք լայնությունը». ավելի ճշգրտաբար, ResNeXt- ը օգտագործում է միասնական convolution համար 3×3 conv գոտի բլոգում: Երբ դա կարեւորորեն նվազեցնում է FLOPs, ցանցային լայնությունը լայնեցնում է հզորության ծախսերը: 87 Մենք օգտագործում ենք Deepwise Convolution- ը, որը մի մասնագիտական գործիք է համատեղված Convolution- ի, որտեղ թիմերի քանակը միասին է, քան Channel- ի քանակը: Deepwise Convolution- ը հայտնի է MobileNet- ի կողմից: ] եւ Xception [ ]. Մենք նշում ենք, որ լայնության Convolution- ը հարմար է քաշված քանակության գործառույթով Self-Attention- ում, որը աշխատում է Per-Channel- ի վրա: 34 11 Հիմնական Հիմնական տեղեկատվության համատեղը եւ 1 × 1 convs- ի համատեղը կատարում է տարածքի եւ canal mixing- ի միավորությունը, որը համատեղելի է Vision Transformers- ի հետ, որտեղ յուրաքանչյուր գործառույթը կամ համատեղում է տեղեկատվությունը տարածքի կամ canal- ի չափանիշներում, բայց Արդյոք Բարձր ճշգրտության օգտագործումը արդյունավետորեն նվազեցնում է ցանցային FLOP- ները եւ, ինչպիսիք են, ճշգրտությունը: Հետեւելով ResNeXt- ում առաջարկված ռեժիմը, մենք բարձրում ենք ցանցային լայնությունը, ինչպես նաեւ Swin-T- ի (64- ից 96- ից): Այսպիսով ցանցային արդյունավետությունը 80.5 %-ն է, իսկ FLOP- ները բարձր են (5.3G). Այժմ մենք օգտագործում ենք ResNeXt դիզայնը: 2.4. Inverted Bottleneck Ամեն Transformer բլոգում կարեւոր դիզայնը այն է, որ այն ստեղծում է վերլուծված bottleneck, ., the hidden dimension of the MLP block is four times wider than the input dimension (see Figure Ավելի Արդյոք 4 Այս Transformers- ի դիզայնը միասին կապվում է վերլուծված bottleneck- ի դիզայնի հետ, որը օգտագործվում է ConvNets- ում 4- ի լայնագրության քանակով: Այս դիզայնը popularized է MobileNetV2 [ ], եւ հետո ստացել է մի քանի առաջադեմ ConvNet դիզայնները [ Հիմա Արդյոք 61 70 71 Այստեղ մենք ուսումնասիրում ենք վերլուծված bottleneck դիզայնը. (a) է (b) նկարագրել տարբերակները: Բացի բարձրացյալ FLOP- ի համար, այդ փոխանակման համար ամբողջ ցանցի FLOP-ները կանգնած են 4.6G- ում, քանի որ ներբեռնման բլոգների կանգնած 1×1 conv- ի կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած կանգնած 3 Այսպիսով, մենք կարող ենք օգտագործել վերլուծված փաթեթներ. 2.5. Բարձր մետաղական չափերը Այս մասում ուսումնասիրության, մենք կենտրոնանում ենք գործառույթների մեծ convolutional սերունդների. Մեկը ամենամեծ առանձնահատկությունները տեսակի Transformers է իրենց ոչ-լատալ ինտեգրտության, որը թույլ է տալիս յուրաքանչյուր սերունդը ունի ամբողջական receptive field. Երբ մեծ սերունդ չափերը օգտագործվել են առաջ ConvNets [ Հիմա ], գլուխ ստանդարտը (հավատվել է VGGNet- ի կողմից [ ]) այն է, որ կտրում են փոքր կերելային չափի (3×3) conv մակարդակներ, որոնք ունեն արդյունավետ սարքի տեղադրման ժամանակակից GPU- ում [ ]. Although Swin Transformers reintroduced the local window to the self-attention block, the window size is at least 7×7, significantly larger than the ResNe(X)t kernel size of 3×3. Here we revisit the use of large kernel-sized convolutions for ConvNets. 40 68 65 41 Հիմնական պահանջը, որը պետք է ստանալ, այն է, որ մեծ բաղադրիչները (Figure 1): (b) մինչեւ (c)): Սա դիզայնի ընտրություն նաեւ Transformers- ում հասանելի է: MSA բլոգը տեղադրվում է MLP բլոգների առաջ: Երբ մենք ունենք վերլուծված bottleneck բլոգը, դա բնական դիզայնի ընտրություն է: բլոգային / չժանգոտվող մոդելները (MSA, մեծ բլոգային conv) կունենա ավելի քիչ մոդելներ, իսկ արդյունավետ, հզոր 1×1 բլոգները կունենա հզոր վերլուծություն: Այս intermediate քայլը նվազեցնում է FLOPs- ից 4.1G- ում, որը կատարվում է 79.9% - ի ժամանակական արդյունավետության նվազեցման համար: Moving up depthwise conv layer. 3 With all of these preparations, the benefit of adopting larger kernel-sized convolutions is significant. We experimented with several kernel sizes, including 3, 5, 7, 9, and 11. The network’s performance increases from 79.9% (3×3) to 80.6% (7×7), while the network’s FLOPs stay roughly the same. Additionally, we observe that the benefit of larger kernel sizes reaches a saturation point at 7×7. We verified this behavior in the large capacity model too: a ResNet-200 regime model does not exhibit further gain when we increase the kernel size beyond 7×7. Increasing the kernel size. × Մենք օգտագործում ենք 7 7 մետաղադրամներ, որոնք ներառում են յուրաքանչյուր բլոգում: Այս պահին, մենք ավարտել ենք մեր հետազոտությունը ցանցային դիզայնների macro-scale.Intriguingly, մի մեծ մասը դիզայն ընտրություններ ստացել է vision Transformer կարող է մուտակվել ConvNet- ի տեղադրման. 2.6 Micro դիզայն Այս մասում, մենք հետազոտում ենք մի քանի այլ դիզայնային տարբերությունները micro-scale- ում - ամենամեծ ուսումնասիրությունները այստեղ կատարվում են layer- ի մակարդակի վրա, կենտրոնացած է հատուկ ընտրությունները activation գործառույթների եւ normalization layers. Հիմնական հոդված՝ «Տեսանյութ» (տեսանյութ) - Հիմնական հոդված՝ «Տեսանյութ» (տեսանյութ) - Հիմնական հոդված՝ «Տեսանյութ» (տեսանյութ) - Հիմնական հոդված՝ «Տեսանյութ» (տեսանյութ) - Հիմնական հոդված՝ «Տեսանյութ» (տեսանյութ) - Հիմնական հոդված՝ «Տեսանյութ» (տեսանյութ) - «Տեսանյութ» (տեսանյութ) ]- ը դեռ լայնորեն օգտագործվում է ConvNets- ում իր հեշտության եւ արդյունավետության համար: ReLU- ը նաեւ օգտագործվում է որպես գործառույթը Original Transformer Papers- ում [ ]. The Gaus-sian Error Linear Unit, կամ GELU [ ], որը կարող է մտածել, որ ավելի փափուկ տարբերակը ReLU, օգտագործվում է առավել առաջատար Transformers, այդ թվում, Google- ի BERT [ ] and OpenAI’s GPT-2 [ Մենք գտնում ենք, որ ReLU- ը կարող է փոխվել GELU- ի հետ մեր ConvNet- ում, բայց ճշգրտությունը չի փոխվել (80.6%): Replacing ReLU with GELU 49 77 32 18 52 Մեկ փոքր տարբերությունը Transformer- ի եւ ResNet- ի բլոգի միջեւ այն է, որ Transformers- ում ավելի քիչ մատակարարման գործառույթներ են: Տեսեք Transformer- ի բլոգը մատակարարման բլոգների, մատակարարման բլոգի եւ երկու մատակարարման բլոգների հետ: MLP բլոգում միայն մեկ մատակարարման գործառույթն է: Fewer activation functions. Հետեւաբար, այն ամենամեծ գործառույթն է, որ միացնել է բաղադրիչ գործառույթը յուրաքանչյուր բաղադրիչ մակերեսին, այդ թվում `1 × 1 convs: Այստեղ մենք փորձում ենք, թե ինչպես կատարումը փոխվում է, երբ մենք անում ենք նույն սերտիֆիկայում: , մենք փնտրում ենք բոլոր GELU մակերեսները բլոգից, այլեւ մեկը երկու 1 × 1 մակերեսների միջեւ, վերլուծելով Transformer բլոգի ձեւը: Այս գործընթացը բարելավում է արդյունքը 0.7% - ից 81.3% -ով, որը ճշգրտաբար համատեղելի է Swin-T- ի կատարման հետ: 4 Այժմ մենք օգտագործենք մեկ GELU բլոգը յուրաքանչյուր բլոգում: Transformer բլոգները սովորաբար ունեն ավելի քիչ normalization բլոգներ, ինչպես նաեւ: Այսպիսով մենք վերցնում ենք երկու BatchNorm (BN) բլոգներ, այնպիսով, որ միայն մեկ BN բլոգը կախված է Conv 1 × 1 բլոգների համար: Նշեք, որ մենք ունենք նույնիսկ ավելի քիչ ստանդարտացման մակարդակներ մեկ բլոգում, քան Transformers, քանի որ փորձնականորեն մենք գտնում ենք, որ մի այլ BN մակարդակը բլոգի սկսում չի բարելավել կատարումը: Fewer normalization layers. Բարձրություն Բրիտանիա [ ]- ը ConvNets- ում կարեւոր բաղադրիչ է, քանի որ այն բարելավում է convergence- ում եւ նվազեցնում է overfitting- ում: Սակայն, BN- ում նաեւ շատ բաղադրիչներ են, որոնք կարող են բուժել մոդելի կատարումը [ ]. Կարդացել են բազմաթիվ փորձերը արտադրել տարբերակային ստանդարտությունը [ Հիմա Հիմա Բրիտանիա-ի հետազոտական գործառույթները (տեսանյութ) - Բրիտանիա-ի հետազոտական գործառույթները (տեսանյութ) - Բրիտանիա-ի հետազոտական գործառույթները (տեսանյութ) ] (LN) օգտագործվել է Transformers- ում, որը հասկանում է լավ կատարումը տարբեր ծրագրային սենյակումներում: Substituting BN with LN. 38 84 60 75 83 5 LN- ի անմիջապես փոխարինման համար BN- ի համար Original ResNet- ում կօգտագործվի suboptimal կատարումը [ ]. Այսպիսով, մեր ConvNet- ի մոդելը LN- ի հետ դասընթացում ոչ մի դժվարություն չի ունենում, իսկ գործառույթը մի քիչ ավելի լավ է, որ ստանում է 81.5% ճշգրտությունը: 83 From now on, we will use one LayerNorm as our choice of normalization in each residual block. ResNet- ում տարածքի վերահսկողությունը հասանելի է բլոգի սկսում, օգտագործելով 3×3 Conve with step 2 ( եւ 1×1 Conve with step 2 at the shortcut connection)։ Swin Transformers- ում տարբեր վերահսկողության մակերեսը ավելացվում է մակերեսների միջեւ։ Մենք ուսումնասիրում ենք մի նման պլաստիկը, որտեղ օգտագործում ենք 2×2 conv մակերեսներ հետ step 2 համար տարածքի վերահսկողության համար։ Այս փոխարինման Separate downsampling layers. Ահա թե ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան Մենք կօգտագործենք մասնավոր նմուշագրման մակարդակներ: Այսպիսով մենք մեր վերջնական մոդելն ենք, որը մենք կոչվում ենք ConvNeXt: A comparison of ResNet, Swin, and ConvNeXt block structures can be found in Figure . A comparison of ResNet-50, Swin-T and ConvNeXt-T’s detailed architecture specifications can be found in Table . 4 9 4 9 Մենք ավարտել ենք մեր առաջին «բեռնել» եւ գտնել ConvNeXt, պակաս ConvNet, որը կարող է գերազանցել Swin Transformer- ի համար ImageNet-1K դասընթացը այս համակարգչային ռեժիմում: Բացի այդ, Մեր Con-vNeXt մոդելը մոտավորապես նման է FLOPs, #params., throughput, եւ մանրամասի օգտագործման, ինչպես նաեւ Swin Transformer, բայց չի պահանջում մասնագիտացված մոդելներ, ինչպիսիք են փոխանցված մանրամասը եւ Relative Position Biases: Closing remarks. Բոլոր դիզայնային ընտրությունները, որոնք խոսում են մինչեւ, փոխարինվել են Vision Transformers- ից: these designs are not novel even in the ConvNet literature — they have all been researched separately, but not collectively, over the last decade. These findings are encouraging but not yet completely convincing — our exploration thus far has been limited to a small scale, but vision Transformers’ scaling behavior is what truly distinguishes them. Additionally, the question of whether a ConvNet can compete with Swin Transformers on downstream tasks such as object detection and semantic segmentation is a central concern for computer vision practitioners. In the next section, we will scale up our ConvNeXt models both in terms of data and model size, and evaluate them on a diverse set of visual recognition tasks. 3. Empirical Evaluations on ImageNet We construct different ConvNeXt variants, ConvNeXt-T/S/B/L, to be of similar complexities to Swin-T/S/B/L [ ]. ConvNeXt-T/B is the end product of the “modernizing” pro-cedure on ResNet-50/200 regime, respectively. In addition, we build a larger ConvNeXt-XL to further test the scalabil-ity of ConvNeXt. The variants only differ in the number of channels , and the number of blocks in each stage. Following both ResNets and Swin Transformers, the number of channels doubles at each new stage. We summarize the configurations below: 45 C B ConvNeXt-T: = (96*,* 192*,* 384*,* 768), = (3*,* 3*,* 9*,* 3) C B ConvNeXt-S: = (96*,* 192*,* 384*,* 768), = (3*,* 3*,* 27*,* 3) C B ConvNeXt-B: = (128*,* 256*,* 512*,* 1024), = (3*,* 3*,* 27*,* 3) C B ConvNeXt-L: C = (192*,* 384*,* 768*,* 1536), B = (3*,* 3*,* 27*,* 3) ConvNeXt-XL: = (256*,* 512*,* 1024*,* 2048), = (3*,* 3*,* 27*,* 3) C B 3.1 Սպիտակներ ImageNet-1K- ի տվյալների սերտիֆիկը բաղադրվում է 1000 բոնուսային դասընթացների հետ 1.2M դասընթացների տեսանյութերի հետ: Մենք հաղորդում ենք ImageNet-1K- ի Top-1- ի ճշգրտությունը ստուգման սերտիֆիկի վրա: Մենք նաեւ կատարում ենք ImageNet-22K- ում, 21841 դասընթացների ավելի մեծ տվյալների սերտիֆիկի վրա (մեկ superset- ը 1000 ImageNet-1K դասընթացների հետ) ∼14M տեսանյութերի հետ նախընտրական դասընթացների համար, ապա ImageNet-1K- ում նախընտրական դասընթացների մոդելը ստուգման համար: Մենք ներքեւում ենք մեր դասընթացների սերտիֆիկները: Ավելին մանրամասները կարող են գտնվել ներքեւում: . A We train ConvNeXts for 300 epochs using AdamW [ ] with a learning rate of 4e-3. There is a 20-epoch linear warmup and a cosine decaying schedule afterward. We use a batch size of 4096 and a weight decay of 0.05. For data augmentations, we adopt common schemes including Mixup [ ], Cutmix [ ], Բարձրություն [ ], and Random Erasing [ ]. We regularize the networks with Stochastic Depth [ ] and Label Smoothing [ ]. Layer Scale [ ] of initial value 1e-6 is applied. We use Exponential Moving Average (EMA) [ «Ինչպես մենք տեսնում ենք, դա խելացի ավելի մեծ մոդելների վերահսկողությունը»: Training on ImageNet-1K. 46 90 89 14 91 37 69 74 51 We pre-train ConvNeXts on ImageNet-22K for 90 epochs with a warmup of 5 epochs. We do not use EMA. Other settings follow ImageNet-1K. Pre-training on ImageNet-22K. Մենք fin-tune ImageNet-22K pre-trained մոդելներ է ImageNet-1K համար 30 epochs. Մենք օգտագործում ենք AdamW, ուսուցման արագությունը 5e-5, cosine ուսուցման արագությունը սխալը, layer-wise ուսուցման արագությունը քաշը [ , ], no warmup, a batch size of 512, and weight decay of 1e-8. The default pre-training, fine-tuning, and testing resolution is 2242. Additionally, we fine-tune at a larger resolution of 3842, for both ImageNet-22K and ImageNet-1K pre-trained models. Fine-tuning on ImageNet-1K. 6 12 Compared with ViTs/Swin Transformers, ConvNeXts are simpler to fine-tune at different resolutions, as the network is fully-convolutional and there is no need to adjust the input patch size or interpolate absolute/relative position biases. 3.2 արդյունքները Table (upper) shows the result comparison with two recent Transformer variants, DeiT [ ] and Swin Transformers [ ], as well as two ConvNets from architecture search - RegNets [ ], EfficientNets [ ] and EfficientNetsV2 [ ]. ConvNeXt competes favorably with two strong ConvNet baselines (RegNet [ ] and Efficient-Net [ ]) in terms of the accuracy-computation trade-off, as well as the inference throughputs. ConvNeXt also outperforms Swin Transformer of similar complexities Երբեմն, քանի որ ConvNeXt-T-ի համար 0.8 %-ը, ոչ մի մասնագիտացված մոդելներ, ինչպիսիք են փոխանցված Windows- ը կամ Relative Position Bias- ը, ConvNeXts- ը ավելի լավ է, քան Swin Transformers- ը: ImageNet-1K. 1 73 45 54 71 72 54 71 across the board, A highlight from the results is ConvNeXt-B at 3842 : it outperforms Swin-B by 0.6% (85.1% vs. 84.5%), but with 12.5% higher inference throughput (95.7 vs. 85.1 image/s). We note that the FLOPs/throughput advantage of ConvNeXt-B over Swin-B becomes larger when the resolution increases from 2242 to 3842 . Additionally, we observe an improved result of 85.5% when further scaling to ConvNeXt-L. We present results with models fine-tuned from ImageNet-22K pre-training at Table (lower). These experiments are important since a widely held view is that vision Transformers have fewer inductive biases thus can per-form better than ConvNets when pre-trained on a larger scale. Our results demonstrate that properly designed ConvNets are ConvNeXts- ը նույնիսկ ավելի լավ է, քան Swin Transformers- ը, իսկ մեր ConvNeXt-XL մոդելը հասկանում է 87.8% - ի ճշգրիտությունը, ինչը ConvNeXt-L- ի հետ 3842 - ում ավելի լավ է, որը ցույց է տալիս, որ ConvNeXts- ը ծախսելի է: ImageNet-22K. 1 not ImageNet-1K- ում, EfficientNetV2-L- ում, սարքավորվում է առաջադեմ մոդուլների հետ, ինչպիսիք են Squeeze-and-Excitation [ ]) and progressive training procedure achieves top performance. However, with ImageNet-22K pre-training, ConvNeXt is able to outperform EfficientNetV2, further demonstrating the importance of large-scale training. 35 In Appendix , we discuss robustness and out-of-domain generalization results for ConvNeXt. B 3.3. Isotropic ConvNeXt Տես vs In this ablation, we examine if our ConvNeXt block design is generalizable to ViT-style [ ] isotropic architectures which have no downsampling layers and keep the same feature resolutions ( . 14×14) at all depths. We construct isotropic ConvNeXt-S/B/L using the same feature dimensions as ViT-S/B/L (384/768/1024). Depths are set at 18/18/36 to match the number of parameters and FLOPs. The block structure remains the same (Fig. ). We use the supervised training results from DeiT [ ] for ViT-S/B and MAE [ ] for ViT-L, as they employ improved training procedures over the original ViTs [ ]. ConvNeXt մոդելները ուսուցվում են նույն կարգավորումներով, ինչպես առաջ, բայց ավելի երկար warmup epochs. Results for ImageNet-1K at 2242 resolution are in Table . We observe ConvNeXt can perform generally on par with ViT, showing that our ConvNeXt block design is competitive when used in non-hierarchical models. 20 e.g 4 73 26 20 2 4. Empirical Evaluation on Downstream Tasks We fine-tune Mask R-CNN [ ] եւ Cascade Mask R-CNN [ ] on the COCO dataset with ConvNeXt backbones. Following Swin Transformer [ ], we use multi-scale training, AdamW optimizer, and a 3× schedule. Further details and hyperparameter settings can be found in Appendix . Object detection and segmentation on COCO. 27 9 45 A.3 Սեղան ConvNeXt- ը համեմատում է Swin Transformer- ի, ConvNeXt- ի եւ Traditional ConvNet- ի, ինչպիսիք են ResNeXt- ը: Որոշ տարբեր մոդելների բաղադրիչները, ConvNeXt- ը հասկանում է միասնական կամ ավելի լավ կատարումը, քան Swin Transformer- ը: Երբ կախված է ավելի մեծ մոդելների (ConvNeXt-B/L/XL) հետ ImageNet-22K- ում, շատ դեպքերում (Տեսանյութ) . +1.0 AP) than Swin Transformers in terms of box and mask AP. 3 ConvNeXt is significantly better Հիմնական G We also evaluate ConvNeXt backbones on the ADE20K semantic segmentation task with UperNet [ ]. All model variants are trained for 160K iterations with a batch size of 16. Other experimental settings follow [ ] (լուսանկարներ for more details). In Table , we report validation mIoU with multi-scale testing. ConvNeXt models can achieve competitive performance across different model capacities, further validating the effectiveness of our architecture design. Semantic segmentation on ADE20K. 85 6 A.3 4 Under similar FLOPs, models with depthwise convolutions are known to be slower and consume more memory than ConvNets with only dense convolutions. Remarks on model efficiency. It is natural to ask whether the design of ConvNeXt will render it practically inefficient. As demon-strated throughout the paper, the inference throughputs of ConvNeXts are comparable to or exceed that of Swin Trans-formers. This is true for both classification and other tasks requiring higher-resolution inputs (see Table , for com-parisons of throughput/FPS). Furthermore, we notice that training ConvNeXts requires less memory than training Swin Transformers. For example, training Cascade Mask-RCNN using ConvNeXt-B backbone consumes 17.4GB of peak memory with a per-GPU batch size of 2, while the reference number for Swin-B is 18.5GB. In comparison to vanilla ViT, both ConvNeXt and Swin Transformer exhibit a more favor-able accuracy-FLOPs trade-off due to the local computations. It is worth noting that this improved efficiency is a result of the , and is not directly related to the self-attention mechanism in vision Transformers. 1 3 ConvNet inductive bias 5. Related Work In both the pre- and post-ViT eras, the hybrid model combining convolutions and self-attentions has been actively studied. Prior to ViT, the focus was on augmenting a ConvNet with self-attention/non-local modules [ , , , ] to capture long-range dependencies. The original ViT [ ] first studied a hybrid configuration, and a large body of follow-up works focused on reintroducing convolutional priors to ViT, either in an ex-plicit [ , , , , , ] or implicit [ ] fashion. Hybrid models. 8 55 66 79 20 15 16 21 82 86 88 45 Han [ ] show that local Transformer attention is equivalent to inhomogeneous dynamic depthwise conv. The MSA block in Swin is then replaced with a dynamic or regular depthwise convolution, achieving comparable performance to Swin. A concurrent work, ConvMixer [ ] demonstrates that, in small-scale settings, depthwise convolution can be used as a promising mixing strategy. ConvMixer uses a smaller patch size to achieve the best results, making the throughput much lower than other baselines. GFNet [ FFT- ը նաեւ մի ձեւը է convolution- ի, բայց մի ամբողջական կերելային չափի եւ թռչուն պտուտակով: Ահա մի քանի վերջին Transformer- ի կամ ConvNet- ի դիզայնների տարբերությամբ, մեր հետազոտության մեկ հիմնական նպատակն է ապահովել մանրամասն տեսքը ստանդարտ ResNet- ի մանրամասնացման գործընթացին եւ ստանալ state-of-the-art կատարումը: Recent convolution-based approaches. et al. 25 4 56 6. Conclusions In the 2020s, vision Transformers, particularly hierarchical ones such as Swin Transformers, began to overtake ConvNets as the favored choice for generic vision backbones. The widely held belief is that vision Transformers are more accurate, efficient, and scalable than ConvNets. We propose ConvNeXts, a pure ConvNet model that can compete favorably with state-of-the-art hierarchical vision Transformers across multiple computer vision benchmarks, while retaining the simplicity and efficiency of standard ConvNets. In some ways, our observations are surprising while our ConvNeXt model itself is not completely new — many design choices have all been examined separately over the last decade, but not collectively. We hope that the new results reported in this study will challenge several widely held views and prompt people to rethink the importance of convolution in computer vision. We thank Kaiming He, Eric Mintun, Xingyi Zhou, Ross Girshick, and Yann LeCun for valuable discussions and feedback. Acknowledgments. Appendix In this Appendix, we provide further experimental details (§ ), robustness evaluation results (§ ), more modernization experiment results (§ ), and a detailed network specification (§ ). We further benchmark model throughput on A100 GPUs (§ ). Finally, we discuss the limitations (§ ) and societal impact (§ ) of our work. A B C D E F G A. Experimental Settings A.1. ImageNet (Pre-)training We provide ConvNeXts’ ImageNet-1K training and ImageNet-22K pre-training settings in Table . The settings are used for our main results in Table (Section ). All ConvNeXt variants use the same setting, except the stochas-tic depth rate is customized for model variants. 5 1 3.2 For experiments in “modernizing a ConvNet” (Section ), we also use Table ’s setting for ImageNet-1K, except EMA is disabled, as we find using EMA severely hurts models with BatchNorm layers. 2 5 For isotropic ConvNeXts (Section ), ImageNet-1K- ի կարգավորումը Table- ում is also adopted, but warmup is ex-tended to 50 epochs, and layer scale is disabled for isotropic ConvNeXt-S/B. The stochastic depth rates are 0.1/0.2/0.5 for isotropic ConvNeXt-S/B/L. 3.3 A A.2. ImageNet Fine-tuning Մենք ցուցադրում ենք ImageNet-1K- ում Finest-Tuning- ի կարգավորումները Table- ում . The fine-tuning starts from the final model weights obtained in pre-training, without using the EMA weights, even if in pre-training EMA is used and EMA accuracy is reported. This is because we do not observe improvement if we fine-tune with the EMA weights (consistent with observa-tions in [ ]). The only exception is ConvNeXt-L pre-trained on ImageNet-1K, where the model accuracy is significantly lower than the EMA accuracy due to overfitting, and we select its best EMA model during pre-training as the starting point for fine-tuning. 6 73 In fine-tuning, we use layer-wise learning rate decay [ , ] with every 3 consecutive blocks forming a group. When the model is fine-tuned at 3842 resolution, we use a crop ratio of 1.0 (i.e., no cropping) during testing following [ , Հիմա ], 6 12 2 74 80 Ավելի լավ է, քան 0,875 մինչեւ 2242. A.3. Downstream Tasks For ADE20K and COCO experiments, we follow the training settings used in BEiT [ «Այսը» (տեսանյութ) ]. We also use MMDetection [ ] and MMSegmentation [ ] toolboxes. We use the final model weights (instead of EMA weights) from ImageNet pre-training as network initializations. 6 45 10 13 We conduct a lightweight sweep for COCO experiments including learning rate {1e-4, 2e-4}, layer-wise learning rate decay [ Հիմնական հոդված՝ «Այս տարի, ինչպիսիք են, որ մենք կարող ենք ստանալ, մենք կարող ենք ստանալ, թե ինչպիսիք են, որ մենք կարող ենք ստանալ, թե ինչպիսիք են, որ մենք կարող ենք ստանալ» (տեսանյութ) ]. 6 3 The hyperparameters we sweep for ADE20K experiments include learning rate {8e-5, 1e-4}, layer-wise learning rate decay {0.8, 0.9}, and stochastic depth rate {0.3, 0.4, 0.5}. We report validation mIoU results using multi-scale testing. Additional single-scale testing results are in Table . 7 B. Robustness Evaluation Additional robustness evaluation results for ConvNeXt models are presented in Table . We directly test our ImageNet-1K trained/fine-tuned classification models on sev-eral robustness benchmark datasets such as ImageNet-A [ ], ImageNet-R է [ ], ImageNet-Sketch [ ] եւ ImageNet-C / C ̄ [ , ] datasets. We report mean corruption error (mCE) for ImageNet-C, corruption error for ImageNet-C¯, and top-1 Accuracy for all other datasets. 8 33 30 78 31 48 ConvNeXt (in particular the large-scale model variants) exhibits promising robustness behaviors, outperforming state-of-the-art robust transformer models [ ] on several benchmarks. With extra ImageNet-22K data, ConvNeXt-XL demonstrates strong domain generalization capabilities ( . achieving 69.3%/68.2%/55.0% accuracy on ImageNet-A/R/Sketch benchmarks, respectively). We note that these ro-bustness evaluation results were acquired without using any specialized modules or additional fine-tuning procedures. 47 e.g C. ResNets- ի նորաձեւությունը: մանրամասն արդյունքները Այստեղ մենք առաջարկում ենք մանրամասն tabulated արդյունքների համար Տեղադրված է ImageNet-1K top-1 ac-curacies եւ FLOPs յուրաքանչյուր քայլի համար: եւ . ResNet-50 regime experiments are run with 3 ran-dom seeds. mod-ernization 10 11 For ResNet-200, the initial number of blocks at each stage is (3, 24, 36, 3). We change it to Swin-B’s (3, 3, 27, 3) at the step of changing stage ratio. This drastically reduces the FLOPs, so at the same time, we also increase the width from 64 to 84 to keep the FLOPs at a similar level. After the step of adopting depthwise convolutions, we further increase the width to 128 (same as Swin-B’s) as a separate step. The observations on the ResNet-200 regime are mostly consistent with those on ResNet-50 as described in the main paper. One interesting difference is that inverting dimensions brings a larger improvement at ResNet-200 regime than at ResNet-50 regime (+0.79% +0.14%): Ապրանքը, որը հասանելի է կլորային չափը ավելացնելով, այնպես էլ ցույց է տալիս, որ կլորային չափը 5- ում, այլեւ 7- ում, օգտագործելով ավելի քիչ ստանդարտացման մակարդակներ, նաեւ ավելի մեծ ստանդարտ է, քան ResNet-50 համակարգի հետ (+0.46%): . +0.14%). vs vs D. Detailed Architectures We present a detailed architecture comparison between ResNet-50, ConvNeXt-T and Swin-T in Table . For differ-ently sized ConvNeXts, only the number of blocks and the number of channels at each stage differ from ConvNeXt-T (see Section for details). ConvNeXts enjoy the simplic-ity of standard ConvNets, but compete favorably with Swin Transformers in visual recognition. 9 3 E. Benchmarking on A100 GPUs Following Swin Transformer [ ], the ImageNet models’ inference throughputs in Table are benchmarked using a V100 GPU, where ConvNeXt is slightly faster in inference than Swin Transformer with a similar number of parameters. We now benchmark them on the more advanced A100 GPUs, which support the TensorFloat32 (TF32) tensor cores. We employ PyTorch [ ] տարբերակ 1.10- ը օգտագործում է վերջին «Channel Last» սմարթֆիլմը [ ] for further speedup. 45 1 50 22 Տեղադրում ենք արդյունքները տեքստի մեջ Swin Transformers- ը եւ ConvNeXts- ը երկու անգամ հասկանում են ավելի արագ հսկողությունը, քան V100 GPU-ները, բայց ConvNeXts- ի առավելությունը այժմ շատ մեծ է: . This preliminary study shows promising signals that ConvNeXt, employed with standard ConvNet modules and simple in design, could be practically more efficient models on modern hardwares. 12 up to 49% faster F. Limitations We demonstrate ConvNeXt, a pure ConvNet model, can perform as good as a hierarchical vision Transformer on image classification, object detection, instance and semantic segmentation tasks. While our goal is to offer a broad range of evaluation tasks, we recognize computer vision applica-tions are even more diverse. ConvNeXt may be more suited for certain tasks, while Transformers may be more flexible for others. A case in point is multi-modal learning, in which a cross-attention module may be preferable for modeling feature interactions across many modalities. Additionally, Transformers may be more flexible when used for tasks re-quiring discretized, sparse, or structured outputs. We believe the architecture choice should meet the needs of the task at hand while striving for simplicity. G. Societal Impact In the 2020s, research on visual representation learn-ing began to place enormous demands on computing re-sources. While larger models and datasets improve per-formance across the board, they also introduce a slew of challenges. ViT, Swin, and ConvNeXt all perform best with their huge model variants. Investigating those model designs inevitably results in an increase in carbon emissions. One important direction, and a motivation for our paper, is to strive for simplicity — with more sophisticated modules, the network’s design space expands enormously, obscuring critical components that contribute to the performance dif-ference. Additionally, large models and datasets present issues in terms of model robustness and fairness. Further investigation on the robustness behavior of ConvNeXt vs. Transformer will be an interesting research direction. In terms of data, our findings indicate that ConvNeXt models benefit from pre-training on large-scale datasets. While our method makes use of the publicly available ImageNet-22K dataset, individuals may wish to acquire their own data for pre-training. A more circumspect and responsible approach to data selection is required to avoid potential concerns with data biases. References [1] PyTorch Vision Models. . Accessed: 2021-10-01. https://pytorch.org/ vision/stable/models.html [2] GitHub repository: Swin transformer. . , 2021. https://github com/microsoft/Swin-Transformer [3] GitHub- ի բաղադրիչը: Swin- ի բաղադրիչը Object Detection- ի համար: , 2021. https://github.com/SwinTransformer/Swin-Transformer-Object-Detection [4] Anonymous. Patches are all you need? , 2021. Openreview [5] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. , 2016. arXiv:1607.06450 [6] Hangbo Bao, Li Dong, եւ Furu Wei. BEiT: BERT- ի նախընտրական դասընթացը Image Transformers. , 2021. arXiv:2106.08254 [7] Irwan Bello, William Fedus, Xianzhi Du, Ekin Dogus Cubuk, Aravind Srinivas, Tsung-Yi Lin, Jonathon Shlens, and Barret Zoph. Revisiting resnets: Improved training and scaling strategies. , 2021. NeurIPS [8] Irwan Bello, Barret Zoph, Ashish Vaswani, Jonathon Shlens, and Quoc V Le. Attention augmented convolutional networks. In 2019 թ. ICCV [9] Zhaowei Cai and Nuno Vasconcelos. Cascade R-CNN: Delv-ing into high quality object detection. In , 2018. CVPR [10] Kai Chen, Jiaqi Wang, Jiangmiao Pang, Yuhang Cao, Yu Xiong, Xiaoxiao Li, Shuyang Sun, Wansen Feng, Ziwei Liu, Jiarui Xu, Zheng Zhang, Dazhi Cheng, Chenchen Zhu, Tian-heng Cheng, Qijie Zhao, Buyu Li, Xin Lu, Rui Zhu, Yue Wu, Jifeng Dai, Jingdong Wang, Jianping Shi, Wanli Ouyang, Chen Change Loy, and Dahua Lin. MMDetection: Open mmlab detection toolbox and benchmark. , 2019. arXiv:1906.07155 [11] François Chollet. Xception: Deep learning with depthwise separable convolutions. In , 2017. CPR- ը [12] Kevin Clark, Minh-Thang Luong, Quoc V Le եւ Christo-pher D Manning. ELECTRA: Pre-training text codes as discriminators rather than generators. , 2020. ICLR [13] MMSegmentation contributors. MMSegmentation: Openmm-lab semantic segmentation toolbox and benchmark. https: ,2020. //github.com/open- mmlab/mmsegmentation [14] Ekin D Cubuk, Barret Zoph, Jonathon Shlens, and Quoc V Le. Randaugment: Practical automated data augmentation with a reduced search space. In , 2020. CVPR Workshops [15] Zihang Dai, Hanxiao Liu, Quoc V Le, եւ Mingxing Tan. Coatnet: Երկնեք convolution եւ ուշադրություն բոլոր տվյալների չափերի համար: 2021 թ. NeurIPS [16] Stéphane d’Ascoli, Hugo Touvron, Matthew Leavitt, Ari Mor-cos, Giulio Biroli, and Levent Sagun. ConViT: Improving vision transformers with soft convolutional inductive biases. , 2021. ICML [17] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. ImageNet: A large-scale hierarchical image database. In , 2009. CVPR [18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional trans-formers for language understanding. In , 2019. NAACL [19] Piotr Dollár, Serge Belongie, and Pietro Perona. The fastest pedestrian detector in the west. In , 2010. BMVC [20] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Syl-vain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In , 2021. ICLR [21] Haoqi Fan, Bo Xiong, Karttikeya Mangalam, Yanghao Li, Zhicheng Yan, Jitendra Malik, and Christoph Feichtenhofer. Multiscale vision transformers. , 2021. ICCV [22] Vitaly Fedyunin. Tutorial: Channel last memory format in PyTorch. Տեղադրվել է: 2021-10-01 https://pytorch.org/tutorials/ intermediate/memory_format_tutorial.html [23] Ross Girshick. Fast R-CNN. In , 2015. ICCV [24] Ross Girshick, Jeff Donahue, Trevor Darrell, and Jitendra Malik. Rich feature hierarchies for accurate object detection and semantic segmentation. In , 2014. CVPR [25] Qi Han, Zejia Fan, Qi Dai, Lei Sun, Ming-Ming Cheng, Ji-aying Liu, and Jingdong Wang. Demystifying local vision transformer: Sparse connectivity, weight sharing, and dy-namic weight. 2021 թ. arXiv:2106.04263 [26] Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. Masked autoencoders are scalable vision learners. , 2021. arXiv:2111.06377 [27] Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Gir-shick. Mask R-CNN. In , 2017. ICCV [28] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 թ. CVPR [29] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Identity mappings in deep residual networks. In , 2016. ECCV [30] Dan Hendrycks, Steven Basart, Norman Mu, Saurav Kada-vath, Frank Wang, Evan Dorundo, Rahul Desai, Tyler Zhu, Samyak Parajuli, Mike Guo եւ այլն: The many faces of robustness: A critical analysis of out-of-distribution generalization. 2021 թ. ICCV [31] Dan Hendrycks and Thomas Dietterich. Benchmarking neural network robustness to common corruptions and perturbations. In , 2018. ICLR [32] Dan Hendrycks եւ Kevin Gimpel. Gaussian սխալ linear միավորներ (gelus). , 2016. arXiv:1606.08415 [33] Dan Hendrycks, Kevin Zhao, Steven Basart, Jacob Steinhardt, and Dawn Song. Natural adversarial examples. In 2021 թ. CVPR [34] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco An-dreetto, and Hartwig Adam. MobileNets: Efficient con-volutional neural networks for mobile vision applications. , 2017. arXiv:1704.04861 [35] Jie Hu, Li Shen, and Gang Sun. Squeeze-and-excitation networks. In , 2018. CPR- ը [36] Gao Huang, Zhuang Liu, Laurens van der Maaten, and Kil-ian Q Weinberger. Densely connected convolutional networks. In , 2017. CVPR [37] Gao Huang, Yu Sun, Zhuang Liu, Daniel Sedra, եւ Kilian Q Weinberger. Բարձր ցանցերը stochastic հաստությամբ. , 2016. ECCV [38] Sergey Ioffe. Batch renormalization: Towards reducing mini-batch dependence in batch-normalized models. In , 2017. NeurIPS [39] Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Joan Puigcerver, Jessica Yung, Sylvain Gelly, եւ Neil Houlsby. Մեծ փոխանցման (BiT): Հիմնական տեսական փոխանցման ուսուցման. , 2020. ECCV [40] Alex Krizhevsky, Ilya Sutskever, and Geoff Hinton. Imagenet classification with deep convolutional neural networks. In 2012 թ. NeurIPS [41] Andrew Lavin եւ Scott Gray. Fast algorithms for convolutional neural networks. , 2016. CVPR [42] Yann LeCun, Bernhard Boser, John S Denker, Donnie Hen-derson, Richard E Howard, Wayne Hubbard, and Lawrence D Jackel. Backpropagation applied to handwritten zip code recognition. 1989 թ. Neural computation [43] Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner, եւ այլն: Gradient- ի հիմնված ուսուցման օգտագործվել է գրառումների վերահսկողության. 1998 թ. Proceedings of the IEEE [44] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO: Common objects in context. In . 2014. ECCV [45] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. 2021. [46] Ilya Loshchilov եւ Frank Hutter. Կառուցվել է քաշի կախվածության կարգավորումը: , 2019. ICLR [47] Xiaofeng Mao, Gege Qi, Yuefeng Chen, Xiaodan Li, Ranjie Duan, Shaokai Ye, Yuan He, and Hui Xue. Towards robust vision transformer. , 2021. arXiv preprint arXiv:2105.07926 [48] Eric Mintun, Alexander Kirillov, and Saining Xie. On in-teraction between augmentations and corruptions in natural corruption robustness. 2021 թ. Neurops [49] Vinod Nair եւ Geoffrey E Hinton. Պահպանված գծային միավորները բարելավել են սահմանափակված boltzmann մեքենաներ: , 2010. ICML [50] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. PyTorch: A imperative style, բարձր կատարման Deep Learning Library. , 2019. NeurIPS [51] Boris T Polyak and Anatoli B Juditsky. Acceleration of stochastic approximation by averaging. , 1992. SIAM Journal on Control and Optimization [52] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, եւ Ilya Sutskever. Language models are unsupervised multitask learners. [53] Ilija Radosavovic, Justin Johnson, Saining Xie, Wan-Yen Lo, եւ Piotr Dollár. Ի ցանցի դիզայնի տարածքների համար տեսական վերանայման համար: , 2019. ICCV [54] Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaim-ing He, and Piotr Dollár. Designing network design spaces. In , 2020. CPR- ը [55] Prajit Ramachandran, Niki Parmar, Ashish Vaswani, Irwan Bello, Anselm Levskaya, and Jonathon Shlens. Stand-alone self-attention in vision models. , 2019. NeurIPS [56] Yongming Rao, Wenliang Zhao, Zheng Zhu, Jiwen Lu, եւ Jie Zhou. Գլոբալ ֆիլմերային ցանցեր տեսանյութի դասընթացների համար: , 2021. Neurops [57] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. In 2015 թ. NeurIPS Henry A Rowley, Shumeet Baluja, եւ Takeo Kanade. Neural ցանցում հիմնված Face Detection. , 1998. Տոմս [59] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, San-jeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg, and Li Fei-Fei. ImageNet Large Scale Visual Recognition Challenge. 2015 թ. Հիմնական [60] Tim Salimans and Diederik P Kingma. Weight normalization: A simple reparameterization to accelerate training of deep neural networks. In , 2016. NeurIPS [61] Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zh-moginov, եւ Liang-Chieh Chen. Mobilenetv2: Արդյունաբերական մետաղադրամներ եւ մետաղական մետաղադրամներ. 2018 թ. CVPR [62] Pierre Sermanet, David Eigen, Xiang Zhang, Michael Math-ieu, Rob Fergus, and Yann LeCun. Overfeat: Integrated recognition, localization and detection using convolutional networks. In 2014 թ. ICLR [63] Pierre Sermanet, Koray Kavukcuoglu, Soumith Chintala, and Yann LeCun. Pedestrian detection with unsupervised multi-stage feature learning. In , 2013. CPR- ը [64] Karen Simonyan and Andrew Zisserman. Two-stream convo-lutional networks for action recognition in videos. In , 2014. Neurops [65] Karen Simonyan եւ Andrew Zisserman: Շատ խոշոր convolutional ցանցեր մեծ քանակի տեսանյութի հասանելիության համար: , 2015. ICLR [66] Aravind Srinivas, Tsung-Yi Lin, Niki Parmar, Jonathon Shlens, Pieter Abbeel, and Ashish Vaswani. Bottleneck trans-formers for visual recognition. In , 2021. CPR- ը [67] Andreas Steiner, Alexander Kolesnikov, Xiaohua Zhai, Ross Wightman, Jakob Uszkoreit, եւ Lucas Beyer. Ինչպես ուսուցել ձեր Vit? տվյալները, բարձրացումը, եւ ճշգրիտությունը տեսության փոխանակիչների. 2021 թ. arXiv preprint arXiv:2106.10270 [68] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, and Andrew Rabinovich. Going deeper with convolutions. In 2015 թ. CVPR [69] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, and Zbigniew Wojna. Rethinking the incep-tion architecture for computer vision. In 2016 թ. CPR- ը [70] Mingxing Tan, Bo Chen, Ruoming Pang, Vijay Vasudevan, Mark Sandler, Andrew Howard, and Quoc V Le. Mnasnet: Platform-aware neural architecture search for mobile. In 2019 թ. CPR- ը ↑ Mingxing Tan եւ Quoc Le. Efficientnet: Rethinking model scaling for convolutional neural networks. 2019 թ. ICML [72] Mingxing Tan and Quoc Le. Efficientnetv2: Smaller models and faster training. In , 2021. ICML [73] Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, եւ Hervé Jégou. Արդյունաբերական տվյալների արդյունավետ Image Transformers & մետաղադրամների միջոցով ուշադրություն. 2020 թ. Փետրվար 2012 - 12887 [74] Hugo Touvron, Matthieu Cord, Alexandre Sablayrolles, Gabriel Synnaeve, and Hervé Jégou. Going deeper with image transformers. , 2021. ICCV [75] Dmitry Ulyanov, Andrea Vedaldi, and Victor Lempitsky. In-stance normalization: The missing ingredient for fast styliza-tion. , 2016. arXiv:1607.08022 [76] Régis Vaillant, Christophe Monrocq, and Yann Le Cun. Orig-inal approach for the localisation of objects in images. 1994 թ. Vision, Image and Signal Processing [77] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszko-reit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In 2017 թ. NeurIPS [78] Haohan Wang, Songwei Ge, Eric P Xing, եւ Zachary C Lipton. Ուսանել հզոր գլոբալ ցուցանիշներ, որ ստուգում է տեղական predictive հզորությունը. 2019 թ. NeurIPS [79] Xiaolong Wang, Ross Girshick, Abhinav Gupta եւ Kaiming He. Non-local neuronal ցանցեր. 2018 թ. CVPR [80] Ross Wightman. GitHub repository: Pytorch image mod-els. , 2019. https://github.com/rwightman/pytorch-image-models [81] Ross Wightman, Hugo Touvron, եւ Hervé Jégou. Resnet- ը վերադարձնում է: Ավելի լավ դասընթացը ժամվա ընթացքում: , 2021. Ապրիլ 21,00476 [82] Haiping Wu, Bin Xiao, Noel Codella, Mengchen Liu, Xiyang Dai, Lu Yuan, and Lei Zhang. Cvt: Introducing convolutions to vision transformers. 2021 թ. ICCV [83] Yuxin Wu and Kaiming He. Group normalization. In 2018 թ. ECCV [84] Yuxin Wu and Justin Johnson. Rethinking "batch" in batch-norm. , 2021. Արդյունքներ: 285.07576 [85] Tete Xiao, Yingcheng Liu, Bolei Zhou, Yuning Jiang, and Jian Sun. Unified perceptual parsing for scene understanding. In , 2018. ECCV [86] Tete Xiao, Mannat Singh, Eric Mintun, Trevor Darrell, Piotr Dollár, եւ Ross Girshick. Հեռական convolutions օգնում են transformers տեսնել ավելի լավ. 2021 թ. NeurIPS [87] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, եւ Kaiming He. Ապրիլային ցանցերի համար միասնական ցանցային փոխանցումներ: 2017 թ. CPR- ը [88] Weijian Xu, Yifan Xu, Tyler Chang եւ Zhuowen Tu. Co-scale conv-attentional image transformers. 2021 թ. ICCV [89] Sangdoo Yun, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe, եւ Youngjoon Yoo. Cutmix: Regu-larization ռազմավարություն, որ ուսուցել է ուժեղ classifiers հետ lokalizable առանձնահատկություններ. , 2019. ICCV [90] Hongyi Zhang, Moustapha Cisse, Yann N Dauphin եւ David Lopez-Paz. mixup: Beyond empirical risk minimization. 2018 թ. ICLR [91] Zhun Zhong, Liang Zheng, Guoliang Kang, Shaozi Li, եւ Yi Yang. Բարձրացնել տվյալները անմիջապես. , 2020. Արդյոք [92] Bolei Zhou, Hang Zhao, Xavier Puig, Tete Xiao, Sanja Fidler, Adela Barriuso, եւ Antonio Torralba. Semantic համոզվածություն սենյակների միջոցով ADE20K տվյալների սենյակ. 2019 թ. Հիմնական Այս հոդվածը հասանելի է archiv- ում CC by 4.0 Deed (Attribution 4.0 International) License- ի կողմից: Այս հոդվածը հասանելի է archiv- ում CC by 4.0 Deed (Attribution 4.0 International) License- ի կողմից: