테이블 왼쪽 Abstract and 1. Introduction abstract 및 1.introduction 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References 관련 작업 결론, 인정 및 참조 Supplementary Material A. 더 많은 구현 세부 사항 B. 기존 하드웨어와의 호환성 C. 실용적인 장치에 대한 지연 D. DETR에 대한 응용 3) 방법 이 섹션에서는 유일한 양자에 대한 간략한 설명을 제공합니다 (3.1 섹션).We then present our approach in detail, including IGQ-ViT (3.2 섹션) and a group size allocation technique (3.3 섹션). 3.1 유니폼 쿼티저 플로팅 포인트 값 x와 정량화 비트폭 b를 감안할 때, 유일한 정량화기는 동등한 간격을 가진 유한한 값 집합으로 입력을 정량화합니다.To this end, it normalizes the floating-point value x using a scale parameter s, calibrates the normalized value with a zero-point z, and clips the output as follows: 스케일 매개 변수 s 및 제로 포인트 z는 다음과 같이 정의됩니다. where the scale parameter s and zero point z are defined as: 우리는 u와 l로 쿼티저의 상단과 하단 경계를 각각 나타냅니다. .은 회전 함수이며, 클립(., m, n)은 m 및 n의 상단 경계와 범위에 입력을 제한합니다. 4.2 IGQ-비트 [26]의 작업에 따라, 우리는 위치 삽입을 제외한 모든 네트워크 무게를 양자화합니다. 우리는 또한 멀티 레이어 perceptron (MLP) 블록의 FC 계층의 입력 활성화를 양자화하고, 쿼리, 키, 값 및 softmax 관심을 포함한 멀티 헤드 자기 관심 (MSA) 블록의 활성화를 양자화합니다. 3.2.1 IGQ for linear operations 다음은 FC 계층의 입력 활성화에 대한 실험적 관찰을 먼저 제공하고, 선형 작업을 위한 IGQ 프레임 워크의 세부 사항을 설명합니다. 대부분의 정해진 간격 프레임 워크 [2, 19, 26, 27]는 활성화에 대한 계층별 쿼티저를 활용하여 효율적인 추론을 위해 모든 채널에 단일 쿼티저 매개 변수를 적용합니다. 그러나 우리는 FC 계층의 입력 활성화가 채널 간에 상당한 규모 변화를 가지고 있음을 관찰했습니다 (그림 2(a)). 이와 유사한 결과는 [21, 23)에서 발견 될 수 있습니다. 이것은 계층별 쿼티저가 계산적으로 비싼 각 채널 간의 규모 변화를 처리 할 수 없기 때문에 계층별 쿼티저의 성능을 크게 악화시킨다는 것을 암시합니다. 개별 채널에 대한 별도의 쿼티저를 채택하는 것은 규모 변화를 극복하는 효과적인 전략이 될 수 있지만, 이는 각 채 Distributions of activations across channels. 3.2.2 IGQ for softmax attentions 여기서 우리는 softmax 관심의 분포에 대한 우리의 관찰을 제시하고, softmax 관심에 대한 IGQ의 세부 사항을 제시합니다. ViTs는 softmax 관심을 통해 토큰 간의 연관성을 캡처합니다.Attention values distribution varies drastically across different tokens (Fig. 3).Therefore, using a single quantization Distributions of softmax attentions. softmax 관심을 양자화하는 매개 변수는 양자화 성능을 심각하게 악화시킵니다.Separate quantizers may be exploited for individual tokens to handle the attention values, but this requires a large number of quantizers, and needs to adjust the quantization parameters for each instance. 3.3 그룹 규모 분배 우리는 각각의 계층에 대한 활성화와 softmax 관심이 각각의 채널과 토큰에 따라 차별화된 규모의 변화를 나타내며, 서로 다른 계층에 대한 동일한 수의 그룹을 사용하는 것이 suboptimal 일 수 있음을 나타내는 것을 관찰합니다(그림 4). 이를 해결하기 위해 우리는 각 계층에 대한 최적의 그룹 크기를 검색하여 BOP 제한하에 양자화 및 전체 정밀 모델의 예측 사이의 불일치를 최소화합니다. 그러나, 최적의 그룹 크기를 찾기위한 검색 공간은 계층 수와 비교하여 계층 수 L, 이는 대형 모델에 불가능합니다. 우리는 이러한 대규모 검색 공간 내의 각 계층에 대한 그룹 크기를 효율적으로 최적화하는 그룹 크기 할당 기술을 제안합니다. 구체적으로, 
 
 
 
 
 
 저자 : (1) Jaehyeon Moon, Yonsei University 및 Articron; (2) Dohyung Kim, Yonsei University (3) Junyong Cheon, Yonsei University (4) Bumsub Ham, Yonsei 대학의 편집자. Authors: (1) Jaehyeon Moon, Yonsei University 및 Articron; (2) Dohyung Kim, Yonsei University (3) Junyong Cheon, Yonsei University (4) Bumsub Ham, Yonsei 대학의 편집자. 
 
 이 논문은 CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) 라이선스 아래에 저장되어 있습니다. 이 논문은 CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) 라이선스 아래에 저장되어 있습니다. Archive 에서 이용 가능

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

이 오디오는 이야기의 원래 언어로 제작되었습니다!

Uniform Quantizers가 ViTs를 깨는 이유

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

독특한 생태계를 강화하는 비트코인 UTXO 모델

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

Claude Sonnet 3.5 시스템 프롬프트 유출: 법의학적 분석

사용자 중심의 암호화 제품 만들기: 고객 피드백의 중요성

독특한 생태계를 강화하는 비트코인 UTXO 모델

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

Claude Sonnet 3.5 시스템 프롬프트 유출: 법의학적 분석

사용자 중심의 암호화 제품 만들기: 고객 피드백의 중요성

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps