
 
 
 
 
 
 저자 : (1) Jaehyeon Moon, Yonsei University 및 Articron; (2) Dohyung Kim, Yonsei University (3) Junyong Cheon, Yonsei University (4) Bumsub Ham, Yonsei 대학의 편집자. Authors: (1) Jaehyeon Moon, Yonsei University 및 Articron; (2) Dohyung Kim, Yonsei University (3) Junyong Cheon, Yonsei University (4) Bumsub Ham, Yonsei 대학의 편집자. 테이블 왼쪽 Abstract and 1. Introduction abstract 및 1.introduction 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References 관련 작업 결론, 인정 및 참조 Supplementary Material A. 더 많은 구현 세부 사항 B. 기존 하드웨어와의 호환성 C. 실용적인 장치에 대한 지연 D. DETR에 대한 응용 abstract에 대하여 포스트 트레이닝 세그먼트 확장 (PTQ)는 훈련받지 않은 샘플의 작은 캘리브레이션 세트를 사용하여 전공 된 완전 정확도 모델을 정량화하는 효율적인 모델 압축 기술입니다. PTQ 방법은 훈련받지 않은 신경 네트워크 (CNNs)를위한 정량화 결과를 제공합니다. 직접 트랜스레이션은 비전 변환기 (ViTs)에 적용하지만, 특히 CNN과 ViT 사이의 아키텍처의 차이로 인해 심각한 성능 악화가 발생합니다. 특히, 각 채널 인스턴스의 활성화 채널 분포는 입력 인스턴스에 따라 극도로 다양하며, CNN의 PTQ 방법은 비전 변환에 적합하지 않습니다. 그러나 이것을 해결하기 위해, 우리는 비전적 인 1) 소개 트랜스포머 [35]는 자연 언어 처리, 컨텍스트 정보를 집계하고 차별화 기능 표현을 제공하는 중앙의 중요성을 가진 연속 입력을 통해 장거리 의존성을 캡처할 수 있습니다. 최근, 비전 트랜스포머(ViTs) [10]은 이미지에 대한 트랜스포머의 효율성을 입증하여 다양한 시각 인식 작업에 최첨단 결과를 제공하며, 이미지 분류 [25, 34], 개체 탐지 [25, 42], 세마닉 분할 [25, 33, 39]을 포함합니다. 그러나 ViT에서 완전히 연결된 (FC) 및 자기주의 계층의 시리즈는 상당한 양의 메모리 및 계산 비용을 필요로하며, 제한된 자원 (예를 들어, 드론 및 휴대 전화)을 가진 장치에 배포하는 것이 도전적입니다 네트워크 정량화는 일반적으로 효율적인 추론 프로세스에 대한 무게와 모델의 활성화 비트폭을 줄여 두 그룹으로 분류될 수 있다: 정량화 인식 훈련 (QAT) 및 훈련 후 정량화 (PTQ). QAT 방법 [11, 43, 44]는 정밀도 모델을 훈련하면서 정량화 프로세스를 정량화하기 위해 네트워크에 디스크레시저를 삽입하여 정밀도 훈련과 정밀도 훈련 후 정밀도 훈련 사이의 불일치를 최소화한다. 이것은 QAT 방법이 전체 훈련 샘플을 필요로하며 계산적으로 비싸며 신경 네트워크의 신속한 배포를 위해 비현실적이다. PTQ 방법 [19, 27, 37]은 반면에 정밀 트랜스퍼너에 대한 여러 PTQ 방법 [9, 26, 40]은 모든 활성화 값에 단일 쿼티저를 적용하는 계층 방식의 정량화 기술을 적용합니다. 그러나 이러한 방법은 매우 낮은 비트 폭 (예를 들어, 4 비트)을 사용하는 정량화 모델에 직접적으로 적용되지 않습니다. 각 채널에 대한 활성화에 대한 상당한 규모 변동 때문입니다. 채널 방식의 정량화 기술 [7, 32]은이 문제를 해결하기위한 대안이 될 수 있습니다. 채널 방식의 정량화 기술 [7, 32]은 연속 채널을 다수 그룹으로 일관되게 분할하고 각 그룹에 대해 단일 정량화기를 적용합니다 (그림 1a). 그러나 우리는 채널 방식의 활성화 값 분포가 일반적인 접근 방식으로 다양하게 다를 이 논문에서 우리는 각 그룹 내의 활성화 값이 유사한 통계적 특성을 공유하는 방식으로 인스턴스 인스턴스 인스턴스 (IGQ-ViT)에 대한 인스턴스 인스턴스 인스턴스 그룹 양성화를 효과적으로 그리고 효율적으로 제시합니다 (그림 1b). 구체적으로, 우리는 활성화 맵의 채널을 여러 그룹으로 역동적으로 분할하여 각 그룹 내의 활성화 값이 유사한 통계적 특성을 공유한 다음 동일한 양성 파라미터를 사용하여 그룹 내의 활성화를 양성합니다. 우리는 또한 소프트맥스 관심사에 인스턴스 인스턴스 인스턴스 그룹화 기술을 사용하도록 제안합니다. 또한 토큰에 따라 관심 값의 분포가 상당히 다양 • 우리는 입력 인스턴스에 따라 활성화 맵의 채널을 여러 그룹으로 동적으로 분할하는 새로운 PTQ 방법을 소개합니다.We also propose to use the instance-aware grouping technique to split softmax attentions across tokens. • 우리는 BOP 제한에 따라 각 레이어에 대한 최적의 그룹 수를 찾는 그룹 크기 할당 기술을 제시합니다. • 우리는 다양한 ViT 아키텍처 [10, 25, 34]를 사용하여 이미지 분류 [8], 객체 탐지 및 인스턴스 분할에 새로운 최첨단을 설정했습니다. 
 
 이 논문은 CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) 라이선스 아래에 저장되어 있습니다. 이 종이는 CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) 라이센스 Archive 에서 이용 가능 Archive 에서 이용 가능

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

이 오디오는 이야기의 원래 언어로 제작되었습니다!

Vision Transformers를 위한 Instance-Aware Group Quantization

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

Crypto Growth: 효과적인 사용자 페르소나 만들기

Claude Sonnet 3.5 시스템 프롬프트 유출: 법의학적 분석

독특한 생태계를 강화하는 비트코인 UTXO 모델

볼츠만 뇌 이론에 대한 간략한 소개

Crypto Growth: 효과적인 사용자 페르소나 만들기

Claude Sonnet 3.5 시스템 프롬프트 유출: 법의학적 분석

독특한 생태계를 강화하는 비트코인 UTXO 모델

볼츠만 뇌 이론에 대한 간략한 소개

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps