Como ConvNeXt demostra que os modelos clásicos de IA aínda poden bater os transformadores

Os autores: , Facebook AI Research (FAIR); UC Berkeley Zhuang Liu , Facebook AI Research (FAIR) Hanzi Mao Chao-Yuan Wu, de Facebook AI Research (FAIR) , Facebook AI Research (FAIR) Christoph Feichtenhofer , UC Berkeley Trevor Darrell Saining Xie, de Facebook AI Research (FAIR) Código: https://github.com/facebookresearch/ConvNeXt Os autores: Zhuang Liu , Facebook AI Research (FAIR); UC Berkeley Hanzi Mao , Facebook AI Research (FAIR) Chao-Yuan Wu, de Facebook AI Research (FAIR) Christoph Feichtenhofer, investigador de IA de Facebook (FAIR) Trevor Darrell, Universidade de Berkeley Saining Xie, de Facebook AI Research (FAIR) Código: https://github.com/facebookresearch/ConvNeXt Abstraccións O segmento "Transformability Roaring 20s" de recoñecemento visual de TransformNet comezou coa introdución de Transformers de visión (ViTs), que rapidamente substituíu a ConvNets como o modelo de clasificación de imaxe de última xeración. A vanilla ViT, pola súa banda, enfróntase a dificultades cando se aplica a tarefas de visión xeral de ordenador, como a detección de obxectos e a segmentación semántica. É os Transformers xerárquicos (por exemplo, Transformers Swin) que reintroduciu os prexuízos de ConvNet several, facendo que os Transformers sexan practicamente viables como unha columna vertebral de visión xenérica e demostrando un rendemento notable nunha ampla variedade de tarefas de visión. Con todo, a eficacia de tales enfoques híbridos aínda se acredita en gran 1 Introdución Mirando cara atrás na década de 2010, a década foi marcada polo progreso monumental e o impacto do aprendizaxe profundo. O motor principal foi o renacemento das redes neurais, particularmente as redes neurais convolucionais (ConvNets). Ao longo da década, o campo do recoñecemento visual cambiou con éxito de características de enxeñaría a arquitecturas de deseño (ConvNet). Aínda que a invención das ConvNets adestradas de propagación de retroceso remóntase aos anos 1980 [ ], non foi ata finais de 2012 que vimos o seu verdadeiro potencial para o aprendizaxe de características visuais. 42 A introdución de AlexNet [ ] precipitado o “ImageNet momento” [ ], inaugurando unha nova era de visión informática. O campo evolucionou desde entón a unha velocidade rápida. ConvNets representativos como VGGNet [ ], Incepcións [ ], ResNe(X)t [ , ], Enxeñaría [ ], móbil en liña [ ], EficientNet [ e a chuvia, Concentrouse en diferentes aspectos de precisión, eficiencia e escalabilidade, e popularizou moitos principios de deseño útiles. 40 59 64 68 28 87 36 34 71 54 A dominación completa de ConvNets na visión de ordenador non foi unha coincidencia: en moitos escenarios de aplicación, unha estratexia de "fiestra deslizante" é intrínseca ao procesamento visual, especialmente cando se traballa con imaxes de alta resolución. ConvNets teñen varios prexuízos inductivos incorporados que os fan ben axeitados para unha ampla variedade de aplicacións de visión de ordenador. O máis importante é a equivalencia de tradución, que é unha propiedade desexable para tarefas como a detección de obxeccións. ConvNets tamén son inherentemente eficientes debido ao feito de que cando se usan de xeito deslizante, os cálculos son compartidos. Durante moitas décadas, este foi o uso por defecto de ConvNets, xeralmente en categorías de obxectos limitadas como os díxitos [ As súas caras [ , e os peóns, , ]. Entering the 2010s, the region-based detectors [ , , , ConvNets elevou aínda máis á posición de ser o bloque de construción fundamental nun sistema de recoñecemento visual. 62 43 58 76 19 63 23 24 27 57 Ao redor do mesmo tempo, a odisea do deseño de redes neurais para o procesamento de linguaxe natural (NLP) tomou un camiño moi diferente, xa que os Transformers substituíron as redes neurais recorrentes para converterse na arquitectura vertebral dominante. A pesar da disparidade na tarefa de interese entre os dominios de linguaxe e visión, os dous fluxos converxeron sorprendentemente no ano 2020, xa que a introdución de Transformers de visión (ViT) alterou completamente o paisaxe do deseño de arquitectura de rede. A excepción da capa inicial "patchify", que divide unha imaxe nunha secuencia de parches, ViT introduce ningún prexuízo indutivo específico de imaxe e fai cambios mínimos aos Transformers de NLP orixinais. Un foco primario de ViT é o comportamento de escala: coa axuda Por exemplo, as estratexias de transformación xerárquica empregan un enfoque híbrido para cubrir esta brecha. . atención dentro das fiestras locais) foi reintroducido aos Transformers, permitíndolles comportarse de forma máis semellante a ConvNets. ] é un traballo milenario nesta dirección, demostrando por primeira vez que os Transformers poden ser adoptados como unha columna vertebral de visión xenérica e alcanzar o desempeño de última xeración a través dunha variedade de tarefas de visión por computador máis aló da clasificación da imaxe. e.g 45 Baixo esta perspectiva, moitos dos avances de Transformers para a visión por ordenador teñen como obxectivo traer de volta as convolucións. Estes intentos, con todo, veñen a un custo: unha implementación inxenuo de autoatención de fiestra deslizante pode ser caro [ ]; con enfoques avanzados como o cambio cíclico [ Por outra banda, é case irónico que un ConvNet xa satisfaga moitas desas propiedades desexadas, aínda que dun xeito sinxelo, sen frills.A única razón pola que os ConvNets parecen estar perdendo vapor é que os Transformers (hierarquicos) os superan en moitas tarefas de visión, e a diferenza de rendemento adoita atribuírse ao comportamento de escalación superior dos Transformers, sendo o compoñente clave a autoatención de múltiples cabezas. 55 45 Aínda que non se sabe con exactitude cal é a razón pola que se orixinou o cambio climático nos últimos anos, o cambio climático é un dos principais factores que contribuíron a mellorar a calidade de vida das persoas ( O transformador suízo ConvNets e Transformers de visión xerárquica fanse diferentes e semellantes ao mesmo tempo: ambos están equipados con prexuízos inductivos similares, pero difiren significativamente no procedemento de adestramento e no deseño da arquitectura macro/micro-nivel. Neste traballo, investigamos as diferenzas arquitectónicas entre ConvNets e Transformers e intentamos identificar as variables confusas ao comparar o rendemento da rede. e.g vs Para iso, comezamos cunha ResNet estándar ( En primeiro lugar, é importante ter en conta que a arquitectura é unha ferramenta moi útil para a construción dunha arquitectura xerarquizada ( Swin-T).A nosa exploración está dirixida por unha pregunta clave: Descubrimos varios compoñentes clave que contribúen á diferenza de rendemento ao longo do camiño. ConvNeXt. avaliamos ConvNeXts nunha variedade de tarefas de visión como a clasificación de ImageNet [ ], detección de obxectos/segmentación en COCO [ ], e segmentación semántica en ADE20K [ ]. Sorprendentemente, ConvNeXts, construído enteiramente a partir de módulos ConvNet estándar, compiten favorablemente con Transformers en termos de precisión, escalabilidade e robustez en todos os principais benchmarks. ConvNeXt mantén a eficiencia de ConvNets estándar, e a natureza totalmente convolucional para tanto a formación e a proba fai que sexa extremadamente sinxela de implementar. e.g e.g How do design decisions in Transformers impact ConvNets’ performance? Pure ConvNets 17 44 92 Esperamos que as novas observacións e discusións poidan desafiar algunhas crenzas comúns e animar ás persoas a repensar a importancia das convolucións na visión por ordenador. Modernizar unha ConvNet: un roteiro Nesta sección, proporcionamos unha traxectoria que vai dun ResNet a un ConvNet que leva unha semellanza aos Transformers. Consideramos dous tamaños de modelo en termos de FLOPs, un é o réxime ResNet-50 / Swin-T con FLOPs ao redor de 4*. *0 × 109.Para a simplicidade, presentaremos os resultados cos modelos de complexidade ResNet-50 / Swin-T. As conclusións para os modelos de maior capacidade son consistentes e os resultados pódense atopar no Apéndice . 5×109 e o outro é o réxime ResNet-200 / Swin-B que ten FLOPs ao redor de 15 C A un nivel alto, as nosas exploracións están dirixidas a investigar e seguir diferentes niveis de deseños dun Transformer Swin mantendo a simplicidade da rede como un ConvNet estándar. O noso punto de partida é un modelo ResNet-50. Primeiro adestrámolo con técnicas de adestramento similares usadas para adestrar Transformers de visión e obter resultados moito mellorados en comparación co ResNet-50 orixinal. Esta será a nosa liña de partida. A continuación, estudamos unha serie de decisións de deseño que resumimos como 1) deseño macro, 2) ResNeXt, 3) barreira de botella invertida, 4) tamaño de núcleo grande e 5) varios deseños micro en forma de capas. , mostramos o procedemento e os resultados que somos capaces de alcanzar con cada paso da "modernización da rede". Xa que a complexidade da rede está estreitamente correlacionada co rendemento final, os FLOPs son aproximadamente controlados durante o curso da exploración, aínda que en etapas intermedias os FLOPs poden ser maiores ou menores que os modelos de referencia. 2 2.1 Técnicas de formación Ademais do deseño da arquitectura da rede, o procedemento de adestramento tamén afecta ao rendemento final. Non só os transformadores de visión trouxeron un novo conxunto de módulos e decisións de deseño arquitectónico, senón que tamén introduciron diferentes técnicas de adestramento (por exemplo, o optimizador AdamW) á visión. Isto refírese principalmente á estratexia de optimización e as configuracións de hiperparámetros asociadas. Así, o primeiro paso da nosa exploración é adestrar un modelo de base co procedemento de adestramento Vision Transformer, neste caso, ResNet-50/200. Estudos recentes [ , ] demostran que un conxunto de técnicas de adestramento modernas poden mellorar significativamente o rendemento dun modelo ResNet-50 simple. ] e de Swin Transformer [ ]. O adestramento esténdese a 300 épocas das orixinais 90 épocas para ResNets. usamos o optimizador AdamW [ ], técnicas de ampliación de datos como Mixup [ ], Cutmix [ ], RandAugment [ ], Random Erase [ ], e esquemas de regularización incluíndo profundidade estocástica [ ] e etiqueta Smoothing [ O conxunto completo de hiperparámetros que usamos pódese atopar no Apéndice Por si só, esta receita de adestramento mellorada aumentou o rendemento do modelo ResNet-50 do 76,1% [ ] a 78,8% (+2,7%), o que implica que unha parte significativa da diferenza de rendemento entre ConvNets tradicionais e Transformadores de visión pode ser debido ás técnicas de adestramento. usaremos esta receita de adestramento fixo cos mesmos hiperparámetros ao longo do proceso de "modernización". 7 81 73 45 46 90 89 14 91 36 69 A1 1 2.2 Deseño macro Agora analizamos o deseño de redes macro de Swin Transformers. , ] para usar un deseño multi-etapa, onde cada etapa ten unha resolución de mapas de características diferentes. Hai dúas consideracións de deseño interesantes: a proporción de fase de computación e a estrutura de "célula nai". 28 65 O deseño orixinal da distribución de computación a través de etapas en ResNet foi en gran medida empírico. A etapa pesada "res4" estaba destinada a ser compatible con tarefas a continuación como a detección de obxectos, onde unha cabeza de detector opera no plano de característica 14×14. Swin-T, pola súa banda, seguiu o mesmo principio pero cunha relación de computación de etapas lixeiramente diferente de 1:1:3:1. Para os transformadores Swin máis grandes, a proporción é 1:1:9:1. Changing stage compute ratio. sinal, axustamos o número de bloques en cada etapa de (3, 4, 6, 3) en ResNet-50 a (3, 3, 9, 3), o que tamén alinea os FLOPs con Swin-T. Isto mellora a precisión do modelo de 78,8% a 79,4%. , ], e un deseño máis óptimo é probable que exista. 53 54 A partir de agora, usaremos esta proporción de computación de fase. Normalmente, o deseño de células nai está preocupado por como se procesarán as imaxes de entrada ao comezo da rede. Debido á redundancia inherente ás imaxes naturais, unha célula nai común baixará agresivamente as imaxes de entrada a un tamaño de mapa de características axeitado tanto en ConvNets estándar como en Transformers de visión. A célula nai en ResNet estándar contén unha capa de convolución 7×7 con paso 2, seguida dun pozo máximo, o que resulta nunha baixada de 4x das imaxes de entrada. En Transformers Vision, unha estratexia de "patchify" máis agresiva úsase como célula nai, que corresponde a un tamaño de núcleo grande (por exemplo, tamaño do núcleo = 14 ou 16) e convolución non lápida. Swin Transformer usa unha capa "patchify" similar, Changing stem to “Patchify”. cunha capa patchify implementada utilizando unha capa convolucional 4×4, a precisión cambiou do 79,4% ao Isto suxire que a célula nai nun ResNet pode ser substituída por unha capa "patchify" máis simple à la ViT que resultará nun rendemento similar. × Imos usar o "estame de patchify" (4 4 Conversión non superlativa) na rede. 2.3.3 ResneXt-ify Nesta parte, tentamos adoptar a idea de ResNeXt [ ], que ten un mellor intercambio de FLOPs/precisión que un ResNet de vainilla. O compoñente principal é a convolución agrupada, onde os filtros convolucionais están separados en diferentes grupos. A un nivel alto, o principio guía de ResNeXt é "utilizar máis grupos, ampliar o ancho". Máis precisamente, ResNeXt emprega a convolución agrupada para a capa de convolución 3×3 nun bloque de botella. Como isto reduce significativamente os FLOPs, a anchura da rede é expandida para compensar a perda de capacidade. 87 No noso caso usamos a convolución de profundidade, un caso especial de convolución agrupada onde o número de grupos é igual ao número de canles. ] e Xcepción [ Observamos que a convolución de profundidade é semellante á operación de suma ponderada en autoatención, que opera sobre un per-canle. 34 11 unha base, A combinación de convos de profundidade e convos 1 × 1 leva a unha separación de mestura espacial e de canles, unha propiedade compartida polos Transformadores de visión, onde cada operación mestura información a través da dimensión espacial ou de canles, pero I.E O uso de convolución de profundidade reduce efectivamente os FLOPs de rede e, como se esperaba, a precisión.Seguindo a estratexia proposta en ResNeXt, aumentamos a anchura da rede ao mesmo número de canles que os de Swin-T (de 64 a 96). Agora imos empregar o deseño ResNeXt. 4.2 Bottleneck invertido Un deseño importante en cada bloque de Transformer é que crea un bloque de botella invertido. ., a dimensión oculta do bloque MLP é catro veces máis ampla que a dimensión de entrada (ver Figura ) da I.E 4 Curiosamente, este deseño de Transformer está conectado ao deseño de botella invertida cunha relación de expansión de 4 usada en ConvNets. ], e posteriormente gañou tracción en varias arquitecturas avanzadas de ConvNet [ , 61 70 71 Aquí exploramos o deseño do botellón invertido. (a) para (b) ilustrar as configuracións. A pesar do aumento dos FLOPs para a capa de convolución de profundidade, este cambio reduce os FLOPs de toda a rede a 4,6G, debido á redución significativa dos FLOPs na capa de convolución 1x1 do bloque residual de baixa mostraxe. Curiosamente, isto resulta nun rendemento lixeiramente mellorado (80,5% a 80.6%). No réxime ResNet-200 / Swin-B, este paso trae aínda máis beneficios (81,9% a 82,6%) tamén con FLOPs reducidos. 3 Agora imos usar botellas invertidas. 2.5 Grandes dimensións do núcleo Nesta parte da exploración, centrámonos no comportamento dos grandes núcleos convolucionais.Un dos aspectos máis distintivos dos transformadores de visión é a súa autoatención non local, o que permite que cada capa teña un campo receptivo global. , ], o estándar de ouro (popularizado por VGGNet [ ]) é para empacar pequenas capas de núcleo (3x3) conv, que teñen implementacións de hardware eficientes en GPUs modernas [ Aínda que Swin Transformers reintroduciu a xanela local ao bloque de autoatención, o tamaño da xanela é polo menos 7×7, significativamente maior que o tamaño do núcleo ResNe(X)t de 3×3. 40 68 65 41 Para explorar grandes núcleos, un requisito é mover a posición da capa conv profunda (Figura 1). (b) a (c)). Esta é unha decisión de deseño tamén evidente en Transformers: o bloque MSA colócase antes das capas MLP. Como temos un bloque de botella invertida, esta é unha elección de deseño natural - os módulos complexos / ineficientes (MSA, convector de núcleo grande) terán menos canles, mentres que as capas eficientes e densas 1×1 farán o levantamento pesado. Este paso intermedio reduce os FLOPs a 4.1G, resultando nunha degradación temporal do rendemento ao 79,9%. Moving up depthwise conv layer. 3 With all of these preparations, the benefit of adopting larger kernel-sized convolutions is significant. We experimented with several kernel sizes, including 3, 5, 7, 9, and 11. The network’s performance increases from 79.9% (3×3) to 80.6% (7×7), while the network’s FLOPs stay roughly the same. Additionally, we observe that the benefit of larger kernel sizes reaches a saturation point at 7×7. We verified this behavior in the large capacity model too: a ResNet-200 regime model does not exhibit further gain when we increase the kernel size beyond 7×7. Increasing the kernel size. × We will use 7 7 profundidade conv en cada bloque. Neste punto, concluímos o noso exame das arquitecturas de rede a unha escala macro. Intrigante, unha parte significativa das opcións de deseño tomadas nunha visión Transformer pode ser mapeada a instancias de ConvNet. 2.6 Micro deseño Nesta sección, investigaremos varias outras diferenzas arquitectónicas a unha escala micro - a maioría das exploracións aquí son feitas a nivel de capas, centrándose en opcións específicas de funcións de activación e capas de normalización. Unha discrepancia entre NLP e arquitecturas de visión é as especificidades das funcións de activación a utilizar. ] aínda é amplamente utilizado en ConvNets debido á súa simplicidade e eficiencia. ReLU tamén é usado como unha función de activación no papel orixinal Transformer [ A unidade lineal de erro Gaussian, ou GELU [ ], que se pode pensar como unha variante máis suave de ReLU, utilízase nos Transformers máis avanzados, incluíndo o BERT de Google [ ] e OpenAI GPT-2 [ Descubrimos que ReLU tamén pode ser substituído por GELU na nosa ConvNet, aínda que a precisión permanece inalterada (80.6%). Replacing ReLU with GELU 49 77 32 18 52 Unha diferenza menor entre un Transformer e un bloque ResNet é que os Transformers teñen menos funcións de activación. Considere un bloque de Transformer con capas de incorporación lineal de clave / consulta / valor, a capa de proxección e dúas capas lineais nun bloque MLP. Hai só unha función de activación presente no bloque MLP. Fewer activation functions. En comparación, é unha práctica común anexar unha función de activación a cada capa convolucional, incluíndo os convos 1 × 1. , we eliminate all GELU layers from the residual block except for one between two 1 × 1 layers, replicating the style of a Transformer block. This process improves the result by 0.7% to 81.3%, practically matching the performance of Swin-T. 4 Agora usaremos unha única activación de GELU en cada bloque. Os bloques de transformadores adoitan ter menos capas de normalización tamén. Aquí eliminamos dúas capas de BatchNorm (BN), deixando só unha capa BN antes das capas de conv 1 × 1. Ten en conta que temos aínda menos capas de normalización por bloque que Transformers, xa que empiricamente atopamos que engadir unha capa BN adicional ao comezo do bloque non mellora o rendemento. Fewer normalization layers. Boas Padróns [ ] é un compoñente esencial en ConvNets xa que mellora a converxencia e reduce a sobrecomposición. con todo, BN tamén ten moitas complicacións que poden ter un efecto prexudicial no rendemento do modelo [ ].Houbo numerosos intentos de desenvolver unha normalización alternativa [ , , ] técnicas, pero BN permaneceu a opción preferida na maioría das tarefas de visión. ] (LN) has been used in Transformers, resulting in good performance across different application scenarios. Substituting BN with LN. 38 84 60 75 83 5 Directly substituting LN for BN in the original ResNet will result in suboptimal performance [ ].Con todas as modificacións na arquitectura de rede e técnicas de adestramento, aquí revisitamos o impacto do uso de LN no lugar de BN. Observamos que o noso modelo ConvNet non ten dificultades de adestramento con LN; de feito, o rendemento é lixeiramente mellor, obtendo unha precisión do 81.5%. 83 A partir de agora, usaremos unha LayerNorm como a nosa opción de normalización en cada bloque residual. En ResNet, a mostraxe espacial é lograda polo bloque residual ao comezo de cada etapa, utilizando 3x3 conv con paso 2 (e 1x1 conv con paso 2 na conexión de atalho). En Swin Transformers, engádese unha capa de mostraxe separada entre as fases. Exploramos unha estratexia similar na que usamos capas de mostraxe 2x2 con paso 2 para a mostraxe espacial. Esta modificación Separate downsampling layers. sorprendentemente leva a un adestramento diverxente. Investigacións adicionais mostran que a adición de capas de normalización onde queira que cambie a resolución espacial pode axudar a estabilizar o adestramento. Estes inclúen varias capas de LN tamén utilizadas en transformadores Swin: unha antes de cada capa de mostraxe, unha despois da base e unha despois da media global final. Podemos mellorar a precisión ata o 82,0%, superando significativamente o 81,3% de Swin-T. Usaremos capas de mostraxe separadas. Isto lévanos ao noso modelo final, que chamamos ConvNeXt. Unha comparación das estruturas de bloques ResNet, Swin e ConvNeXt pode atoparse na Figura 4. 4 9 Terminamos o noso primeiro "playthrough" e descubrimos ConvNeXt, un ConvNet puro, que pode superar o Swin Transformer para a clasificación ImageNet-1K neste modo de computación. In addition, O noso modelo Con-vNeXt ten aproximadamente os mesmos FLOPs, #params., rendemento e uso de memoria que o Transformer Swin, pero non require módulos especializados como atención de xanela desprazada ou prexuízos relativos de posición. Closing remarks. Todas as opcións de deseño discutidas ata agora están adaptadas a partir de Transformers de visión. Estes deseños non son novos nin sequera na literatura ConvNet - todos eles foron investigados por separado, pero non colectivamente, durante a última década. These findings are encouraging but not yet completely convincing — our exploration thus far has been limited to a small scale, but vision Transformers’ scaling behavior is what truly distinguishes them. Additionally, the question of whether a ConvNet can compete with Swin Transformers on downstream tasks such as object detection and semantic segmentation is a central concern for computer vision practitioners. In the next section, we will scale up our ConvNeXt models both in terms of data and model size, and evaluate them on a diverse set of visual recognition tasks. 3. Empirical Evaluations on ImageNet We construct different ConvNeXt variants, ConvNeXt-T/S/B/L, to be of similar complexities to Swin-T/S/B/L [ ]. ConvNeXt-T/B is the end product of the “modernizing” pro-cedure on ResNet-50/200 regime, respectively. In addition, we build a larger ConvNeXt-XL to further test the scalabil-ity of ConvNeXt. The variants only differ in the number of channels O número de bloques in each stage. Following both ResNets and Swin Transformers, the number of channels doubles at each new stage. We summarize the configurations below: 45 C B ConvNeXt-T: C = (96*,* 192*,* 384*,* 768), B = (3*,* 3*,* 9*,* 3) ConvNeXt-S: = (96*,* 192*,* 384*,* 768), = (3*,* 3*,* 27*,* 3) C B ConvNeXt-B: C = (128*,* 256*,* 512*,* 1024), B = (3*,* 3*,* 27*,* 3) ConvNeXt-L: = (192*,* 384*,* 768*,* 1536), = (3*,* 3*,* 27*,* 3) C B ConvNeXt-XL: = (256*,* 512*,* 1024*,* 2048), = (3*,* 3*,* 27*,* 3) C B 3.1. Settings The ImageNet-1K dataset consists of 1000 object classes with 1.2M training images. We report ImageNet-1K top-1 accuracy on the validation set. We also conduct pre-training on ImageNet-22K, a larger dataset of 21841 classes (a superset of the 1000 ImageNet-1K classes) with ∼14M images for pre-training, and then fine-tune the pre-trained model on ImageNet-1K for evaluation. We summarize our training setups below. More details can be found in Appendix . A We train ConvNeXts for 300 epochs using AdamW [ ] with a learning rate of 4e-3. There is a 20-epoch linear warmup and a cosine decaying schedule afterward. We use a batch size of 4096 and a weight decay of 0.05. For data augmentations, we adopt common schemes including Mixup [ ], Cutmix [ ], RandAugment [ ], and Random Erasing [ ]. We regularize the networks with Stochastic Depth [ ] and Label Smoothing [ ]. Layer Scale [ ] of initial value 1e-6 is applied. We use Exponential Moving Average (EMA) [ ] as we find it alleviates larger models’ overfitting. Training on ImageNet-1K. 46 90 89 14 91 37 69 74 51 We pre-train ConvNeXts on ImageNet-22K for 90 epochs with a warmup of 5 epochs. We do not use EMA. Other settings follow ImageNet-1K. Pre-training on ImageNet-22K. We fine-tune ImageNet-22K pre-trained models on ImageNet-1K for 30 epochs. We use AdamW, a learning rate of 5e-5, cosine learning rate schedule, layer-wise learning rate decay [ , A resolución de pre-adestramento, axuste e proba por defecto é 2242.Ademais, axustamos a unha resolución maior de 3842, tanto para os modelos pre-adestrados ImageNet-22K como ImageNet-1K. Fine-tuning on ImageNet-1K. 6 12 Compared with ViTs/Swin Transformers, ConvNeXts are simpler to fine-tune at different resolutions, as the network is fully-convolutional and there is no need to adjust the input patch size or interpolate absolute/relative position biases. 3.2. Results Table (upper) shows the result comparison with two recent Transformer variants, DeiT [ ] and Swin Transformers [ ], as well as two ConvNets from architecture search - RegNets [ ], Eficiencia das redes [ ] and EfficientNetsV2 [ ]. ConvNeXt competes favorably with two strong ConvNet baselines (RegNet [ ] e unha rede eficiente [ ]) in terms of the accuracy-computation trade-off, as well as the inference throughputs. ConvNeXt also outperforms Swin Transformer of similar complexities sometimes with a substantial margin (e.g. 0.8% for ConvNeXt-T). Without specialized modules such as shifted windows or relative position bias, ConvNeXts also enjoy improved throughput compared to Swin Transformers. ImageNet-1K. 1 73 45 54 71 72 54 71 across the board, A highlight from the results is ConvNeXt-B at 3842 : it outperforms Swin-B by 0.6% (85.1% vs. 84.5%), but with 12.5% higher inference throughput (95.7 vs. 85.1 image/s). We note that the FLOPs/throughput advantage of ConvNeXt-B over Swin-B becomes larger when the resolution increases from 2242 to 3842 . Additionally, we observe an improved result of 85.5% when further scaling to ConvNeXt-L. We present results with models fine-tuned from ImageNet-22K pre-training at Table (lower). These experiments are important since a widely held view is that vision Transformers have fewer inductive biases thus can per-form better than ConvNets when pre-trained on a larger scale. Our results demonstrate that properly designed ConvNets are inferior to vision Transformers when pre-trained with large dataset — ConvNeXts still perform on par or better than similarly-sized Swin Transformers, with slightly higher throughput. Additionally, our ConvNeXt-XL model achieves an accuracy of 87.8% — a decent improvement over ConvNeXt-L at 3842, demonstrating that ConvNeXts are scalable architectures. ImageNet-22K. 1 non On ImageNet-1K, EfficientNetV2-L, a searched architecture equipped with advanced modules (such as Squeeze-and-Excitation [ Con todo, con ImageNet-22K pre-adestramento, ConvNeXt é capaz de superar EfficientNetV2, demostrando aínda máis a importancia do adestramento a gran escala. 35 In Appendix , we discuss robustness and out-of-domain generalization results for ConvNeXt. B 3.3. Isotropic ConvNeXt . ViT vs In this ablation, we examine if our ConvNeXt block design is generalizable to ViT-style [ [ ] arquitecturas isotrópicas que non teñen capas de mostraxe e manteñen as mesmas resolucións de características ( . 14×14) at all depths. We construct isotropic ConvNeXt-S/B/L using the same feature dimensions as ViT-S/B/L (384/768/1024). Depths are set at 18/18/36 to match the number of parameters and FLOPs. The block structure remains the same (Fig. ). We use the supervised training results from DeiT [ ] for ViT-S/B and MAE [ ] for ViT-L, as they employ improved training procedures over the original ViTs [ ]. ConvNeXt models are trained with the same settings as before, but with longer warmup epochs. Results for ImageNet-1K at 2242 resolution are in Table . We observe ConvNeXt can perform generally on par with ViT, showing that our ConvNeXt block design is competitive when used in non-hierarchical models. 20 e.g 4 73 26 20 2 Avaliación empírica sobre as tarefas descendentes We fine-tune Mask R-CNN [ ] and Cascade Mask R-CNN [ ] on the COCO dataset with ConvNeXt backbones. Following Swin Transformer [ ], we use multi-scale training, AdamW optimizer, and a 3× schedule. Further details and hyperparameter settings can be found in Appendix . Object detection and segmentation on COCO. 27 9 45 A.3 Table shows object detection and instance segmentation results comparing Swin Transformer, ConvNeXt, and traditional ConvNet such as ResNeXt. Across different model complexities, ConvNeXt achieves on-par or better performance than Swin Transformer. When scaled up to bigger models (ConvNeXt-B/L/XL) pre-trained on ImageNet-22K, in many cases ( . +1.0 AP) than Swin Transformers in terms of box and mask AP. 3 ConvNeXt is significantly better e.g We also evaluate ConvNeXt backbones on the ADE20K semantic segmentation task with UperNet [ ]. All model variants are trained for 160K iterations with a batch size of 16. Other experimental settings follow [ ] (see Appendix for more details). In Table , we report validation mIoU with multi-scale testing. ConvNeXt models can achieve competitive performance across different model capacities, further validating the effectiveness of our architecture design. Semantic segmentation on ADE20K. 85 6 A.3 4 Under similar FLOPs, models with depthwise convolutions are known to be slower and consume more memory than ConvNets with only dense convolutions. Remarks on model efficiency. It is natural to ask whether the design of ConvNeXt will render it practically inefficient. As demon-strated throughout the paper, the inference throughputs of ConvNeXts are comparable to or exceed that of Swin Trans-formers. This is true for both classification and other tasks requiring higher-resolution inputs (see Table , for com-parisons of throughput/FPS). Furthermore, we notice that training ConvNeXts requires less memory than training Swin Transformers. For example, training Cascade Mask-RCNN using ConvNeXt-B backbone consumes 17.4GB of peak memory with a per-GPU batch size of 2, while the reference number for Swin-B is 18.5GB. In comparison to vanilla ViT, both ConvNeXt and Swin Transformer exhibit a more favor-able accuracy-FLOPs trade-off due to the local computations. It is worth noting that this improved efficiency is a result of the , and is not directly related to the self-attention mechanism in vision Transformers. 1 3 ConvNet inductive bias 5. Related Work In both the pre- and post-ViT eras, the hybrid model combining convolutions and self-attentions has been actively studied. Prior to ViT, the focus was on augmenting a ConvNet with self-attention/non-local modules [ , , , ] to capture long-range dependencies. The original ViT [ ] first studied a hybrid configuration, and a large body of follow-up works focused on reintroducing convolutional priors to ViT, either in an ex-plicit [ , , , , , ] or implicit [ ] fashion. Hybrid models. 8 55 66 79 20 15 16 21 82 86 88 45 Han [ ] show that local Transformer attention is equivalent to inhomogeneous dynamic depthwise conv. The MSA block in Swin is then replaced with a dynamic or regular depthwise convolution, achieving comparable performance to Swin. A concurrent work, ConvMixer [ ] demonstrates that, in small-scale settings, depthwise convolution can be used as a promising mixing strategy. ConvMixer uses a smaller patch size to achieve the best results, making the throughput much lower than other baselines. GFNet [ ] adopts Fast Fourier Transform (FFT) for token mixing. FFT is also a form of convolution, but with a global kernel size and circular padding. Unlike many recent Transformer or ConvNet designs, one primary goal of our study is to provide an in-depth look at the process of modernizing a standard ResNet and achieving state-of-the-art performance. Recent convolution-based approaches. e ao 25 4 56 6 Conclusións In the 2020s, vision Transformers, particularly hierarchical ones such as Swin Transformers, began to overtake ConvNets as the favored choice for generic vision backbones. The widely held belief is that vision Transformers are more accurate, efficient, and scalable than ConvNets. We propose ConvNeXts, a pure ConvNet model that can compete favorably with state-of-the-art hierarchical vision Transformers across multiple computer vision benchmarks, while retaining the simplicity and efficiency of standard ConvNets. In some ways, our observations are surprising while our ConvNeXt model itself is not completely new — many design choices have all been examined separately over the last decade, but not collectively. We hope that the new results reported in this study will challenge several widely held views and prompt people to rethink the importance of convolution in computer vision. We thank Kaiming He, Eric Mintun, Xingyi Zhou, Ross Girshick, and Yann LeCun for valuable discussions and feedback. Acknowledgments. Appendix In this Appendix, we provide further experimental details (§ ), robustness evaluation results (§ ), more modernization experiment results (§ ), and a detailed network specification (§ ). We further benchmark model throughput on A100 GPUs (§ ). Finally, we discuss the limitations (§ ) and societal impact (§ ) of our work. A B C D E F G A. Experimental Settings A.1. ImageNet (Pre-)training We provide ConvNeXts’ ImageNet-1K training and ImageNet-22K pre-training settings in Table . The settings are used for our main results in Table (Sección ). All ConvNeXt variants use the same setting, except the stochas-tic depth rate is customized for model variants. 5 1 3.2 For experiments in “modernizing a ConvNet” (Section ), we also use Table ’s setting for ImageNet-1K, except EMA is disabled, as we find using EMA severely hurts models with BatchNorm layers. 2 5 For isotropic ConvNeXts (Section ), the setting for ImageNet-1K in Table is also adopted, but warmup is ex-tended to 50 epochs, and layer scale is disabled for isotropic ConvNeXt-S/B. The stochastic depth rates are 0.1/0.2/0.5 for isotropic ConvNeXt-S/B/L. 3.3 A A.2. ImageNet Fine-tuning Listamos as opcións para o axuste finito en ImageNet-1K en Táboa . The fine-tuning starts from the final model weights obtained in pre-training, without using the EMA weights, even if in pre-training EMA is used and EMA accuracy is reported. This is because we do not observe improvement if we fine-tune with the EMA weights (consistent with observa-tions in [ ]). The only exception is ConvNeXt-L pre-trained on ImageNet-1K, where the model accuracy is significantly lower than the EMA accuracy due to overfitting, and we select its best EMA model during pre-training as the starting point for fine-tuning. 6 73 In fine-tuning, we use layer-wise learning rate decay [ , ] with every 3 consecutive blocks forming a group. When the model is fine-tuned at 3842 resolution, we use a crop ratio of 1.0 (i.e., no cropping) during testing following [ , , ] , 6 12 2 74 80 instead of 0.875 at 2242. A.3. Downstream Tasks For ADE20K and COCO experiments, we follow the training settings used in BEiT [ ] and Swin [ ]. We also use MMDetection [ ] and MMSegmentation [ Usamos os pesos finais do modelo (en vez de os pesos EMA) do pre-adestramento de ImageNet como inicializacións de rede. 6 45 10 13 Realizamos un rascado lixeiro para experimentos COCO, incluíndo taxa de aprendizaxe {1e-4, 2e-4}, taxa de aprendizaxe de forma de capa [ ] {0.7, 0.8, 0.9, 0.95}, and stochastic depth rate {0.3, 0.4, 0.5, 0.6, 0.7, 0.8}. We fine-tune the ImageNet-22K pre-trained Swin-B/L on COCO using the same sweep. We use the official code and pre-trained model weights [ ]. 6 3 The hyperparameters we sweep for ADE20K experiments include learning rate {8e-5, 1e-4}, layer-wise learning rate decay {0.8, 0.9}, and stochastic depth rate {0.3, 0.4, 0.5}. We report validation mIoU results using multi-scale testing. Additional single-scale testing results are in Table . 7 Avaliación da robustez Os resultados adicionais de avaliación de robustez para os modelos ConvNeXt preséntanse na táboa Testamos directamente os nosos modelos de clasificación ImageNet-1K adestrados/finamente axustados en conxuntos de datos de referencia de robustez several como ImageNet-A [ ], ImageNet-R [ ], ImageNet-Sketch [ ] e ImageNet-C/C ̄ [ , ] datasets. We report mean corruption error (mCE) for ImageNet-C, corruption error for ImageNet-C¯, and top-1 Accuracy for all other datasets. 8 33 30 78 31 48 ConvNeXt (en particular as variantes de modelos de gran escala) exhibe comportamentos de robustez prometedores, superando os modelos de transformadores robustos de última xeración [ En canto ao número de páxinas web, as páxinas web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web do sitio web ( . alcanzando unha precisión de 69,3%/68,2%/55.0% sobre os parámetros de referencia de ImageNet-A/R/Sketch, respectivamente). 47 e.g C. Modernizing ResNets: detailed results Here we provide detailed tabulated results for the experiments, at both ResNet-50 / Swin-T and ResNet-200 / Swin-B regimes. The ImageNet-1K top-1 ac-curacies and FLOPs for each step are shown in Table and . ResNet-50 regime experiments are run with 3 ran-dom seeds. mod-ernization 10 11 For ResNet-200, the initial number of blocks at each stage is (3, 24, 36, 3). We change it to Swin-B’s (3, 3, 27, 3) at the step of changing stage ratio. This drastically reduces the FLOPs, so at the same time, we also increase the width from 64 to 84 to keep the FLOPs at a similar level. After the step of adopting depthwise convolutions, we further increase the width to 128 (same as Swin-B’s) as a separate step. The observations on the ResNet-200 regime are mostly consistent with those on ResNet-50 as described in the main paper. One interesting difference is that inverting dimensions brings a larger improvement at ResNet-200 regime than at ResNet-50 regime (+0.79% O rendemento obtido polo aumento do tamaño do núcleo tamén parece saturar no tamaño do núcleo 5 en vez de 7. . +0.14%). vs vs Arquitecturas detalladas We present a detailed architecture comparison between ResNet-50, ConvNeXt-T and Swin-T in Table . For differ-ently sized ConvNeXts, only the number of blocks and the number of channels at each stage differ from ConvNeXt-T (see Section ConvNeXts gozan da simplicidade de ConvNets estándar, pero compiten favorablemente con Transformers Swin en recoñecemento visual. 9 3 E. Benchmarking nas GPUs A100 Following Swin Transformer [ ], the ImageNet models’ inference throughputs in Table son benchmarked usando unha GPU V100, onde ConvNeXt é un pouco máis rápido en inferencia que Swin Transformer con un número similar de parámetros. Agora benchmark-los sobre as GPUs máis avanzadas A100, que soportan os núcleos tensor TensorFloat32 (TF32) . ] version 1.10 to use the latest “Channel Last” memory layout [ ] for further speedup. 45 1 50 22 We present the results in Table . Swin Transformers and ConvNeXts both achieve faster inference throughput than V100 GPUs, but ConvNeXts’ advantage is now significantly greater, sometimes Este estudo preliminar mostra sinais prometedores de que ConvNeXt, empregado con módulos ConvNet estándar e sinxelo en deseño, podería ser practicamente modelos máis eficientes en hardware moderno. 12 up to 49% faster F. Limitations We demonstrate ConvNeXt, a pure ConvNet model, can perform as good as a hierarchical vision Transformer on image classification, object detection, instance and semantic segmentation tasks. While our goal is to offer a broad range of evaluation tasks, we recognize computer vision applica-tions are even more diverse. ConvNeXt may be more suited for certain tasks, while Transformers may be more flexible for others. A case in point is multi-modal learning, in which a cross-attention module may be preferable for modeling feature interactions across many modalities. Additionally, Transformers may be more flexible when used for tasks re-quiring discretized, sparse, or structured outputs. We believe the architecture choice should meet the needs of the task at hand while striving for simplicity. G. Societal Impact In the 2020s, research on visual representation learn-ing began to place enormous demands on computing re-sources. While larger models and datasets improve per-formance across the board, they also introduce a slew of challenges. ViT, Swin, and ConvNeXt all perform best with their huge model variants. Investigating those model designs inevitably results in an increase in carbon emissions. One important direction, and a motivation for our paper, is to strive for simplicity — with more sophisticated modules, the network’s design space expands enormously, obscuring critical components that contribute to the performance dif-ference. Additionally, large models and datasets present issues in terms of model robustness and fairness. Further investigation on the robustness behavior of ConvNeXt vs. Transformer will be an interesting research direction. In terms of data, our findings indicate that ConvNeXt models benefit from pre-training on large-scale datasets. While our method makes use of the publicly available ImageNet-22K dataset, individuals may wish to acquire their own data for pre-training. A more circumspect and responsible approach to data selection is required to avoid potential concerns with data biases. Referencias [1] PyTorch Vision Models. . Accessed: 2021-10-01. https://pytorch.org/ vision/stable/models.html [2] GitHub repository: Swin transformer. . , 2021. https://github com/microsoft/Swin-Transformer [3] GitHub repository: Swin transformer for object detection. , 2021. https://github.com/SwinTransformer/Swin-Transformer-Object-Detection [4] Anonymous. Patches are all you need? , 2021. Openreview [5] Jimmy Lei Ba, Jamie Ryan Kiros, e Geoffrey E Hinton. normalización da capa. , 2016. arXiv:1607.06450 [6] Hangbo Bao, Li Dong, and Furu Wei. BEiT: BERT pre-training of image transformers. En 2021. arXiv:2106.08254 [7] Irwan Bello, William Fedus, Xianzhi Du, Ekin Dogus Cubuk, Aravind Srinivas, Tsung-Yi Lin, Jonathon Shlens, and Barret Zoph. Revisiting resnets: Improved training and scaling strategies. En 2021. NeurIPS [8] Irwan Bello, Barret Zoph, Ashish Vaswani, Jonathon Shlens, and Quoc V Le. Attention augmented convolutional networks. In , 2019. ICCV [9] Zhaowei Cai e Nuno Vasconcelos. Cascade R-CNN: Mergullo na detección de obxectos de alta calidade. , 2018. CVPR [10] Kai Chen, Jiaqi Wang, Jiangmiao Pang, Yuhang Cao, Yu Xiong, Xiaoxiao Li, Shuyang Sun, Wansen Feng, Ziwei Liu, Jiarui Xu, Zheng Zhang, Dazhi Cheng, Chenchen Zhu, Tian-heng Cheng, Qijie Zhao, Buyu Li, Xin Lu, Rui Zhu, Yue Wu, Jifeng Dai, Jingdong Wang, Jianping Shi, Wanli Ouyang, Chen Change Loy, and Dahua Lin. MMDetection: Open mmlab detection toolbox and benchmark. , 2019. arXiv:1906.07155 [11] François Chollet. Xception: Deep learning with depthwise separable convolutions. In , 2017. CVPR [12] Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christo-pher D Manning. ELECTRA: Pre-training text encoders as discriminators rather than generators. In , 2020. ICLR [13] MMSegmentation contributors. MMSegmentation: Openmm-lab semantic segmentation toolbox and benchmark. https: En 2030. //github.com/open- mmlab/mmsegmentation [14] Ekin D Cubuk, Barret Zoph, Jonathon Shlens, and Quoc V Le. Randaugment: Practical automated data augmentation with a reduced search space. In O ano 2020. CVPR Workshops Zihang Dai, Hanxiao Liu, Quoc V Le, e Mingxing Tan. Coatnet: Casando convolución e atención para todos os tamaños de datos. , 2021. NeurIPS [16] Stéphane d’Ascoli, Hugo Touvron, Matthew Leavitt, Ari Mor-cos, Giulio Biroli, and Levent Sagun. ConViT: Improving vision transformers with soft convolutional inductive biases. , 2021. ICML [17] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. ImageNet: A large-scale hierarchical image database. In , 2009. CVPR [18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional trans-formers for language understanding. In , 2019. Naacl [19] Piotr Dollár, Serge Belongie, and Pietro Perona. The fastest pedestrian detector in the west. In , 2010. BMVC [20] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Syl-vain Gelly, Jakob Uszkoreit e Neil Houlsby. Unha imaxe vale 16x16 palabras: Transformadores para recoñecemento de imaxe en escala. En , 2021. ICLR [21] Haoqi Fan, Bo Xiong, Karttikeya Mangalam, Yanghao Li, Zhicheng Yan, Jitendra Malik, and Christoph Feichtenhofer. Multiscale vision transformers. , 2021. ICCV [22] Vitaly Fedyunin. Tutorial: Channel last memory format in PyTorch. , 2021. Accessed: 2021-10-01. https://pytorch.org/tutorials/ intermediate/memory_format_tutorial.html [23] Ross Girshick. rápido R-CNN. en , 2015. ICCV [24] Ross Girshick, Jeff Donahue, Trevor Darrell e Jitendra Malik. Rico en xerarquías de características para detección de obxectos precisa e segmentación semántica. , 2014. CVPR [25] Qi Han, Zejia Fan, Qi Dai, Lei Sun, Ming-Ming Cheng, Ji-aying Liu, and Jingdong Wang. Demystifying local vision transformer: Sparse connectivity, weight sharing, and dy-namic weight. , 2021. arXiv:2106.04263 [26] Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. Masked autoencoders are scalable vision learners. , 2021. arXiv:2111.06377 [27] Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Gir-shick. Mask R-CNN. In , 2017. ICCV [28] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In , 2016. CVPR [29] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Identity mappings in deep residual networks. In O ano 2016. ECCV [30] Dan Hendrycks, Steven Basart, Norman Mu, Saurav Kada-vath, Frank Wang, Evan Dorundo, Rahul Desai, Tyler Zhu, Samyak Parajuli, Mike Guo, et al. The many faces of robust-ness: A critical analysis of out-of-distribution generalization. In , 2021. ICCV [31] Dan Hendrycks and Thomas Dietterich. Benchmarking neural network robustness to common corruptions and perturbations. In , 2018. ICLR [32] Dan Hendrycks e Kevin Gimpel. unidades lineais de erro gaussiano (gelus). , 2016. arXiv:1606.08415 [33] Dan Hendrycks, Kevin Zhao, Steven Basart, Jacob Steinhardt, and Dawn Song. Natural adversarial examples. In , 2021. CVPR [34] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco An-dreetto, and Hartwig Adam. MobileNets: Efficient con-volutional neural networks for mobile vision applications. O ano 2017. arXiv:1704.04861 [35] Jie Hu, Li Shen, e Gang Sun. Redes de compresión e excitación. , 2018. CVPR [36] Gao Huang, Zhuang Liu, Laurens van der Maaten, and Kil-ian Q Weinberger. Densely connected convolutional networks. In , 2017. CVPR [37] Gao Huang, Yu Sun, Zhuang Liu, Daniel Sedra, and Kilian Q Weinberger. Deep networks with stochastic depth. In , 2016. ECCV [38] Sergey Ioffe. renormalización de lotes: cara á redución da dependencia de mini-bates en modelos normalizados de lotes. , 2017. NeurIPS [39] Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Joan Puigcerver, Jessica Yung, Sylvain Gelly, e Neil Houlsby. Big Transfer (BiT): Aprendizaxe de representación visual xeral. O ano 2020. ECCV [40] Alex Krizhevsky, Ilya Sutskever, and Geoff Hinton. Imagenet classification with deep convolutional neural networks. In , 2012. NeurIPS [41] Andrew Lavin and Scott Gray. Fast algorithms for convolu-tional neural networks. In , 2016. CVPR Yann LeCun, Bernhard Boser, John S Denker, Donnie Hen-derson, Richard E Howard, Wayne Hubbard e Lawrence D Jackel. , 1989. Neural computation [43] Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner, et al. Gradient-based learning applied to document recogni-tion. , 1998. Proceedings of the IEEE [44] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO: Common objects in context. In . 2014. ECCV [45] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin e Baining Guo. transformador Swin: transformador de visión xerárquica usando fiestras desprazadas. [46] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In , 2019. ICLR [47] Xiaofeng Mao, Gege Qi, Yuefeng Chen, Xiaodan Li, Ranjie Duan, Shaokai Ye, Yuan He e Hui Xue. En 2021. arXiv preprint arXiv:2105.07926 [48] Eric Mintun, Alexander Kirillov, e Saining Xie. sobre a interacción entre aumentos e corrupcións na robustez da corrupción natural. En 2021. Neuroloxía [49] Vinod Nair e Geoffrey E Hinton. unidades lineais rectificadas melloran as máquinas boltzmann restrinxidas. , 2010. ICML [50] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. PyTorch: An imperative style, high-performance deep learning library. In , 2019. Neuroloxía [51] Boris T Polyak and Anatoli B Juditsky. Acceleration of stochastic approximation by averaging. No ano 1992. SIAM Journal sobre control e optimización [52] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei e Ilya Sutskever. Modelos de linguaxe son aprendices multitarea sen supervisión. [53] Ilija Radosavovic, Justin Johnson, Saining Xie, Wan-Yen Lo, and Piotr Dollár. On network design spaces for visual recognition. In , 2019. ICCV [54] Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaim-ing He, e Piotr Dollár. Deseño de espazos de deseño de rede. En , 2020. CVPR [55] Prajit Ramachandran, Niki Parmar, Ashish Vaswani, Irwan Bello, Anselm Levskaya, and Jonathon Shlens. Stand-alone self-attention in vision models. O ano 2019. Neuroloxía [56] Yongming Rao, Wenliang Zhao, Zheng Zhu, Jiwen Lu e Jie Zhou. redes globais de filtros para clasificación de imaxes. En 2021. NeurIPS [57] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. In , 2015. Neuroloxía [58] Henry A Rowley, Shumeet Baluja, and Takeo Kanade. Neural network-based face detection. , 1998. Tomiño [59] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, San-jeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg, and Li Fei-Fei. ImageNet Large Scale Visual Recognition Challenge. , 2015. IJCV [60] Tim Salimans e Diederik P. Kingma. normalización do peso: unha simple reparameterización para acelerar o adestramento das redes neurais profundas. , 2016. Neuroloxía [61] Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zh-moginov, e Liang-Chieh Chen. Mobilenetv2: Residuos invertidos e barreiras lineais. O ano 2018. CVPR [62] Pierre Sermanet, David Eigen, Xiang Zhang, Michael Math-ieu, Rob Fergus e Yann LeCun. Overbeat: recoñecemento integrado, localización e detección usando redes convolucionais. O ano 2014. ICLR [63] Pierre Sermanet, Koray Kavukcuoglu, Soumith Chintala, e Yann LeCun. detección de peóns con aprendizaxe de características de varias etapas sen supervisión. , 2013. CVPR [64] Karen Simonyan e Andrew Zisserman. redes convo-lucionais de dúas correntes para o recoñecemento de acción en vídeos. , 2014. Neuroloxía Karen Simonyan e Andrew Zisserman. redes convolucionais moi profundas para o recoñecemento de imaxes a gran escala. O ano 2015. ICLR [66] Aravind Srinivas, Tsung-Yi Lin, Niki Parmar, Jonathon Shlens, Pieter Abbeel, e Ashish Vaswani. Transformadores de Bottleneck para recoñecemento visual. En En 2021. CVPR [67] Andreas Steiner, Alexander Kolesnikov, Xiaohua Zhai, Ross Wightman, Jakob Uszkoreit, and Lucas Beyer. How to train your vit? data, augmentation, and regularization in vision transformers. En 2021. arXiv preprint arXiv:2106.10270 [68] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, and Andrew Rabinovich. Going deeper with convolutions. In , 2015. CVPR [69] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, and Zbigniew Wojna. Rethinking the incep-tion architecture for computer vision. In , 2016. CVPR [70] Mingxing Tan, Bo Chen, Ruoming Pang, Vijay Vasudevan, Mark Sandler, Andrew Howard e Quoc V Le. Mnasnet: Busca de arquitectura neural consciente da plataforma para móbiles. , 2019. CVPR Mingxing Tan e Quoc Le. Efficientnet: Rethinking model scaling for convolutional neural networks. O ano 2019. ICML [72] Mingxing Tan e Quoc Le. Efficientnetv2: modelos máis pequenos e formación máis rápida. , 2021. ICML [73] Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, e Hervé Jégou. adestramento transformadores de imaxe de datos eficientes e destilación a través da atención. O ano 2020. arXiv:2012.12877 Páxina Hugo Touvron, Matthieu Cord, Alexandre Sablayrolles, Gabriel Synnaeve e Hervé Jégou. En 2021. ICCV [75] Dmitry Ulyanov, Andrea Vedaldi, e Victor Lempitsky. normalización de postura: o ingrediente que falta para a estilización rápida. , 2016. arXiv:1607.08022 [76] Régis Vaillant, Christophe Monrocq, e Yann Le Cun. Enfoque orixinal para a localización de obxectos en imaxes. En 1994. Vision, Image and Signal Processing [77] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszko-reit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, e Illia Polosukhin. Atención é todo o que necesitas. O ano 2017. Neuroloxía Haohan Wang, Songwei Ge, Eric P Xing, e Zachary C Lipton. Aprender representacións globais robustas penalizando o poder preditivo local. O ano 2019. Neuroloxía [79] Xiaolong Wang, Ross Girshick, Abhinav Gupta, and Kaiming He. Non-local neural networks. In , 2018. CVPR [80] Ross Wightman. GitHub repository: Pytorch image mod-els. , 2019. https://github.com/rwightman/pytorch-image-models [81] Ross Wightman, Hugo Touvron, and Hervé Jégou. Resnet strikes back: An improved training procedure in timm. En 2021. arXiv: 2110.00476 Páxina Haiping Wu, Bin Xiao, Noel Codella, Mengchen Liu, Xiyang Dai, Lu Yuan, e Lei Zhang.Cvt: Introdución de convolusións aos transformadores de visión. En 2021. ICCV [83] Yuxin Wu and Kaiming He. Group normalization. In , 2018. ECCV [84] Yuxin Wu and Justin Johnson. Rethinking "batch" in batch-norm. En 2021. arXiv:2105.07576 [85] Tete Xiao, Yingcheng Liu, Bolei Zhou, Yuning Jiang, e Jian Sun. Ensaio perceptivo unificado para a comprensión da escena. O ano 2018. ECCV [86] Tete Xiao, Mannat Singh, Eric Mintun, Trevor Darrell, Piotr Dollár, and Ross Girshick. Early convolutions help transform-ers see better. In En 2021. Neuroloxía [87] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, and Kaiming He. Aggregated residual transformations for deep neural networks. In O ano 2017. CVPR [88] Weijian Xu, Yifan Xu, Tyler Chang, e Zhuowen Tu. transformadores de imaxe conv-atencional coescale. , 2021. ICCV [89] Sangdoo Yun, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe e Youngjoon Yoo. Cutmix: estratexia de regu-larization para adestrar clasificadores fortes con características localizables. , 2019. ICCV [90] Hongyi Zhang, Moustapha Cisse, Yann N Dauphin e David Lopez-Paz. mixup: máis alá da minimización empírica do risco. , 2018. ICLR [91] Zhun Zhong, Liang Zheng, Guoliang Kang, Shaozi Li, e Yi Yang. Aumentar os datos aleatoriamente. O ano 2020. AAAI [92] Bolei Zhou, Hang Zhao, Xavier Puig, Tete Xiao, Sanja Fidler, Adela Barriuso e Antonio Torralba. comprensión semántica de escenas a través do conxunto de datos ADE20K. , 2019. IXCV Este artigo está dispoñible en arquivo baixo a licenza CC by 4.0 Deed (Attribution 4.0 International). Este documento é A súa licenza é CC by 4.0 Deed (Attribution 4.0 International). Dispoñible en arquivo