左のテーブル Abstract and 1. Introduction 抽象と1 導入 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References 関連作品 結論、承認、参照 Supplementary Material A.実施の詳細 B.既存のハードウェアとの互換性 C.実用的なデバイスの遅延 D.DETRへの応用 3.方法 このセクションでは、統一量子の簡潔な説明を提供します(セクション3.1)私たちは、IGQ-ViTを含む私たちのアプローチを詳細に紹介します(セクション3.2)とグループサイズの割り当てテクニック(セクション3.3)。 3.1 統一量子 浮動点値 x と量子化ビット幅 b を考慮すると、均一な量子化器は、平等な間隔を有する限定的値セットに入力値を差別化する。 スケールパラメータ s とゼロポイント z が以下のように定義される。 We denote by u and l upper and lower boundaries of the quantizer, respectively. . is a rounding function, and clip(., m, n) restricts an input to the range with lower and upper boundaries of m and n, respectively. The quantized output is then obtained as follows: 4.2 IGQ-VIT 私たちはまた、マルチレイヤーペクタロン(MLP)ブロック内のFC層の入力アクティベーションと、クエリ、キー、値、ソフトマックスの注意を含むマルチレイヤー自己注意(MSA)ブロックのアクティベーションを量子化します。 3.2.1 IGQ for linear operations 以下では、まずFC層の入力活性化についての実証的な観察を提供し、線形操作のためのIGQフレームワークの詳細を説明します。 ほとんどの固定間隔化フレームワーク [2, 19, 26, 27] は、効率的な推測のためにすべてのチャンネルに単一の量子化パラメータを適用して、アクティベーションのための層型量子化を活用します。しかし、我々は、FC 層の入力アクティベーションは、各チャンネル間で重要なスケール変動を有することを観察しました(図 2(a) ) 。同様の発見は [21, 23] で見つけることができます。これは、層型量子化のパラメータが、異なるチャンネル間のスケール変動に対処できないので、計算的に高価である各チャンネルの浮上出力の合計を必要とします。個々のチャンネル間の別々の量子化を採用することは、スケール変動の Distributions of activations across channels. 3.2.2 IGQ for softmax attentions ここでは、ソフトマックスの注意の分布に関する私たちの観察を紹介し、ソフトマックスの注意のためのIGQの詳細を紹介します。 ViTsはソフトマックスの注意を通じてトークン間の関連性をキャプチャします。 注意の値の分布は異なるトークン(図3)で劇的に異なります。 Distributions of softmax attentions. softmax 注意を量子化するパラメータは量子化パフォーマンスを著しく低下させます. Separate quantizers may be exploited for individual tokens to handle the attention values, but this requires a large number of quantizers, and needs to adjust the quantization parameters for each instance. 個々のトークンは注意値を処理するために利用される可能性があります。 3.グループサイズの分配 私たちは、異なる層のアクティベーションとソフトマックスの注意は、それぞれのチャンネルとトークンの間で異なる量のスケール変動を示し、異なる層のための同じ数のグループの使用が不最適である可能性を示す(図4)。これに対処するために、私たちは、BOP制限の下で、量子化されたモデルと完全正確なモデルからの予測の間の差異を最小限に抑える各層のための最適なグループサイズを検索します。しかし、最適な層のサイズを見つけるための検索スペースは、層数Lと比べ、大規模なモデルにとって不適切です。我々は、このような大規模な検索スペース内の各層のグループのサイズを効率的に最適化するグループサイズ配分技術を提案します。具体的には、 
 
 
 
 
 
 著者: (1)Jaehyeon Moon、Yonsei大学およびArticron (2)Dohyung Kim、Yonsei大学 (3)Junyong Cheon、Yonsei大学 (4) Bumsub Ham、Yonsei大学の通報著者。 Authors: (1)Jaehyeon Moon、Yonsei大学およびArticron (2)Dohyung Kim、Yonsei大学 (3)Junyong Cheon、Yonsei大学 (4) Bumsub Ham、Yonsei大学の通報著者。 
 
 この論文は、CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) ライセンスの下で archiv で利用できます。 この紙は CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) ライセンス ARCHIV で利用可能 ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

このオーディオは、ストーリーの元の言語で制作されています。

なぜ統一量子はViTを破るのか

About Author

コメント

ラベル

この記事は

Related Stories

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

ワークフローを10倍に向上させる方法: 必須アプリ17選

Telegram: クリプト島と本土を結ぶ橋

ユニークなエコシステムを支えるビットコインUTXOのモデル

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

ワークフローを10倍に向上させる方法: 必須アプリ17選

Telegram: クリプト島と本土を結ぶ橋

ユニークなエコシステムを支えるビットコインUTXOのモデル

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps