Masanın sol tarafı Abstract and 1. Introduction Abstract ve 1. Giriş 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References İlgili İşler Sonuçlar, Tanımlar ve Referanslar Supplementary Material A. Daha fazla uygulama detayları B. Mevcut donanımlarla uyumluluk C. Pratik cihazlarda latence D. Detr Uygulaması 4. Deneyler Bu bölümde, deney ayarlarımızı (Bölüm 4.1) açıklıyoruz ve IGQ-ViT'yi görüntü sınıflandırması, nesne algılama ve semantik segmentasyon (Bölüm 4.2) üzerine değerlendiriyoruz. 4.1 Uygulama Detayları Görüntü sınıflandırma, nesne algılama ve örneğin bölünme görevleri için IGQ-ViT çerçevemizi değerlendiriyoruz. Görüntü sınıflandırma için ImageNet [8] veri kümesini kullanıyoruz, eğitim için yaklaşık 1.2M görüntüleri ve doğrulama için 50K görüntüleri içeriyor. nesne algılama ve örneğin bölünme için COCO [22]'yi kullanıyoruz, bu da 118K eğitim, 5K doğrulama ve 20K test görüntüleri içeriyor. Sonrasında [9, 21] görüntüleme sınıflandırması için ViT [10], DeiT [34] ve Swin transformatör [25] dahil olmak üzere çeşitli transformatör mimaritelerini kabul ediyoruz. Nesne algılama ve örneğin bölünme görevleri için Mask R-CNN [14] ve Cascade Mask R- 4.2 Sonuçlar Tablo 2'de, çeşitli ViT mimarisi ile ImageNet'in doğrulama bölünmesinde % 1'in en yüksek hassasiyetini gösteriyoruz. Ortalama grup büyüklüğünde 8 ve 12'i kullanarak hassasiyetini rapor ediyoruz. Sonuçlarımız şu şekilde özetlenir: (1) 8 grubu içeren IGQ-ViT çerçevemiz, 6/6-bit ayarları altında ViT-B [10] ve Swin-S [25] hariç sanatın en üst seviyesine sahiptir, ancak daha fazla grubu kullanarak performansı daha da arttırır. (2) 4/4-bit ayarları altındaki yaklaşımımız, RepQ-ViT [21]'yi büyük bir marjla aşar. Bizim gibi, RepQ-ViT ayrıca kanallar arasındaki ölçek değişiklikleri ele alır, ancak önceki LayerNorm ile etkinleştir Results on ImageNet. Tablo 3'te, nesne algılama ve örneğin segmentasyon için kvantifikasyon sonuçlarını gösteriyoruz. Results on COCO. COCO [22]. Swin dönüştürücülerin [25] ve Mask R-CNN [14] ve Cascade Mask R-CNN [14]'in boynundaki ve başındaki konvolisyon tabanlarını kuantumlandırıyoruz. PTQ4ViT [40] ve APQ-ViT [9], aktivasyonlar için katmanlı kuantumlayıcıları kullananlar iyi performans göstermiyor. Buna karşılık, IGQ-ViT, sadece 8 grubu ile en üst düzeyde performans gösteriyor ve kuantumlama performansı daha fazla grubu kullanarak daha da arttırıyor. Özellikle, 6/6-bit ayar için tam hassas olanları ile neredeyse aynı sonuçları sağlar. Bu, farklı kanallar veya tokenler arasındaki ölçek değişikliklerin nesne algılama ve örneğin bölünmesi için çok daha kritik olduğunu gösteriyor. 
 
 
 
 
 
 Yazarlar : (1) Jaehyeon Moon, Yonsei Üniversitesi ve Articron; (2) Dohyung Kim, Yonsei Üniversitesi (3) Junyong Cheon, Yonsei Üniversitesi (4) Bumsub Ham, Yonsei Üniversitesi’nden yazar. Authors: (1) Jaehyeon Moon, Yonsei Üniversitesi ve Articron; (2) Dohyung Kim, Yonsei Üniversitesi (3) Junyong Cheon, Yonsei Üniversitesi (4) Bumsub Ham, Yonsei Üniversitesi’nden yazar. 
 
 Bu makale CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) lisansı altında mevcuttur. Bu makale CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) lisansı altında mevcuttur. Arşivde kullanılabilir

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Bu ses hikayenin orijinal dilinde üretilmiştir!

Instance-Aware Grouped Quantization (IGQ-ViT), ViT PTQ için yeni benchmarks belirler

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Görünmeyen Katmanlar: Kullanıcı Görüşmeleri Neden Yeri doldurulamaz bir Varlıktır?

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

Dijital Göçebeler Dinleyin: Tayland'ın Yeni DTV Vizesi Hakkında Bilmeniz Gerekenler

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Görünmeyen Katmanlar: Kullanıcı Görüşmeleri Neden Yeri doldurulamaz bir Varlıktır?

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

Dijital Göçebeler Dinleyin: Tayland'ın Yeni DTV Vizesi Hakkında Bilmeniz Gerekenler

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps