
 
 
 
 
 
 著者: (1)Jaehyeon Moon、Yonsei大学およびArticron (2)Dohyung Kim、Yonsei大学 (3)Junyong Cheon、Yonsei大学 (4) Bumsub Ham、Yonsei大学の通報著者。 Authors: (1)Jaehyeon Moon、Yonsei大学およびArticron (2)Dohyung Kim、Yonsei大学 (3)Junyong Cheon、Yonsei大学 (4) Bumsub Ham、Yonsei大学の通報著者。 左のテーブル Abstract and 1. Introduction 抽象と1 導入 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References 関連作品 結論、承認、参照 Supplementary Material A.実施の詳細 B.既存のハードウェアとの互換性 C.実用的なデバイスの遅延 D.DETRへの応用 抽象 トレーニング後のセグメントの量子化(PTQ)は、トレーニング後の完全精度のモデルを量子化するための効率的なモデル圧縮技術です。 トレーニング後の量子化は、未訓練のサンプルのわずかなカリブレーションセットのみを使用して完全精度のモデルを量子化します。 特に、CNNs(convolutional neural networks)のためのPTQメソッドは、完全精度の同僚に匹敵する量子化結果を提供します。 直ちにそれらをViTs(ViTs)に適用することにより、これは、主にCNNsとViTsの間のアーキテクチャーの違いに起因する深刻なパフォーマンス劣化を引き起こします。 特に、各チャンネルインスタンスの 1.導入 トランスフォーマー [35] は、自然言語処理、文脈情報の集計、差別的な機能表現のための中心的な重要性を持つ連続的な入力を通じて長距離依存をキャプチャすることができる。 最近、ビジョントランスフォーマー(ViTs) [10] は、画像のためのトランスフォーマーの有効性を示し、画像分類 [25, 34] 、オブジェクト検出 [25, 42] 、およびセマンティックセグメント [25, 33, 39] を含むさまざまな視覚認識タスクにおける最先端の結果を提供し、ViTsにおける完全に接続(FC)および自己注意層の数は、メモリと計算コストの相当な量を必要とし、限られたリソースを持つデバイス(例えば、ドロー 一般的に、ネットワーク量子化は、効率的な推測プロセスのために、効果的な量子化プロセスのビット幅とアクティベーションのモデルを削減し、これらを2つのグループに分類することができる:量子化意識訓練(QAT)およびトレーニング後の量子化(PTQ)。QAT方法(11、43、44)は、完全な精度モデルを訓練し、量子化プロセスをシミュレーションしながら、量子化ネットワークにディスクレイザーを挿入して、完全精度と量子化モデルの間の相違が精度の面で最小化されることを示唆しています。これは、QAT方法は完全なトレーニングサンプルを必要とし、計算的に高価であり、ニューラルネットワークの迅速な展開には非実用的 変換器のためのいくつかの PTQ 方法 [9, 26, 40] は、すべての活性化値に単一の量子を適用するレイヤー型量子化技術を適用します。 しかし、これらの方法は、非常に低いビット幅(例えば、4ビット)を使用する量子化モデルに直接適用されません。各チャンネルの活性化の重要な規模の変化のために、チャンネル型量子化技術(すなわち、各チャンネルに異なる量子化を適用する)を活用することは、チャンネル型マトリックスの出力の浮動点の合計を理由に、コンピュータ上の全体を損なう可能性があります。 グループ量子化技術 [7, 32] は、この問題を解決するための代替手段であり、連続的なチャン この論文では、Instance-aware group quantization for ViTs (IGQ-ViT) に対して、インスタンス-aware group quantization を、さまざまなインスタンスのインスタンス-aware インスタンス (Fig. 1b) で効果的かつ効率的にカナリズムによってカナリズムによってカナリズムによってカナリズムによってカナリズムを複数のグループに分割し、それぞれのグループ内のアクティベーション値が類似の統計的属性を共有し、それからグループ内のアクティベーションを同一の量子化パラメータを使用して量子化することを示しています。また、注目値の分布がトークンによって大きく異なっているため、Instance-aware group quantization • ViTs の新しい PTQ メソッド、IGQViT を導入し、アクティベーション マップのチャンネルを、入力インスタンスに基づいて複数のグループに動的に分割します。 • BOP制限を与えられた各層のための最適なグループ数を検索するグループサイズ割り当てテクニックを紹介します。 • 画像分類(8)、オブジェクト検出(8)、インスタンスセグメント(22)、さまざまなViTアーキテクチャ(10、25、34)で新しいステータスを設定しました。 
 
 この論文は、CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) ライセンスの下で archiv で利用できます。 この論文は、CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) ライセンスの下で archiv で利用できます。 ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

このオーディオは、ストーリーの元の言語で制作されています。

Instance-Aware Group Quantization for Vision Transformers(ビジョン・トランスフォーマー)

About Author

コメント

ラベル

この記事は

Related Stories

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps