강력한 다중 출구 신경망을 위한 지식 증류 기반 적대적 훈련

링크 표

초록 및 1. 서론

2. 관련 작품

3. 제안된 NEO-KD 알고리즘 및 3.1 문제 설정: 다중 출구 네트워크에서의 적대적 학습

3.2 알고리즘 설명

4. 실험 및 4.1 실험 설정

4.2. 주요 실험 결과

4.3. 절제 연구 및 토론

5. 결론, 감사의 글 및 참고문헌

A. 실험 세부 사항

B. 깨끗한 테스트 정확도 및 C. 평균 공격을 통한 적대적 훈련

D. 하이퍼파라미터 튜닝

E. 이후 종료 시 성능 저하에 대한 논의

F. 단일 출구 네트워크에 대한 최근 방어 방법과의 비교

G. SKD 및 ARD와의 비교 및 H. 더 강력한 공격자 알고리즘 구현

추상적인

다중 출구 신경망이 조기 출구를 통한 효율적인 추론을 위한 유망한 솔루션으로 여겨지지만, 적대적 공격에 맞서는 것은 여전히 어려운 문제로 남아 있습니다. 다중 출구 네트워크에서 서로 다른 하위 모델 간의 높은 종속성으로 인해 특정 출구를 타겟팅하는 적대적 예는 대상 출구의 성능을 저하시킬 뿐만 아니라 동시에 다른 모든 출구의 성능도 저하시킵니다. 이로 인해 다중 출구 네트워크는 간단한 적대적 공격에 매우 취약해집니다. 이 논문에서는 두 가지 주요 기여를 기반으로 이 근본적인 과제를 해결하는 지식 증류 기반 적대적 학습 전략인 NEO-KD를 제안합니다. NEO-KD는 먼저 이웃 지식 증류를 사용하여 적대적 예의 출력을 안내하여 깨끗한 데이터의 이웃 출구의 앙상블 출력을 처리합니다. NEO-KD는 또한 서로 다른 하위 모델 간의 적대적 이전성을 줄이기 위해 출구별 직교 지식 증류를 사용합니다. 그 결과 적대적 공격에 대한 견고성이 크게 향상됩니다. 다양한 데이터세트/모델에 대한 실험 결과는 기존의 적대적 훈련이나 다중 출구 네트워크를 위한 지식 증류 기술에 의존하는 기준선과 비교했을 때, 우리 방식이 더 적은 계산 예산으로 최고의 적대적 정확도를 달성한다는 것을 보여줍니다.

1 서론

다중 출구 신경망은 리소스가 제한된 애플리케이션에서 동적 예측을 수행하는 능력 때문에 상당한 주목을 받고 있습니다[9, 13, 26, 27, 28, 32]. 전체 모델의 최종 출력에서 예측을 수행하는 대신 현재 시간 예산이나 컴퓨팅 예산에 따라 더 빠른 출구에서 더 빠른 예측을 수행할 수 있습니다. 이런 의미에서 다중 출구 네트워크는 여러 하위 모델이 있는 아키텍처로 볼 수 있으며, 각 하위 모델은 모델의 입력에서 특정 출구의 출력까지의 매개변수로 구성됩니다. 이러한 하위 모델은 일부 모델 매개변수를 공유하므로 상관 관계가 높습니다. 또한 모든 하위 모델의 성능은 마지막 출구에 대한 지식을 다른 출구로 증류하여 개선할 수 있다는 것도 잘 알려져 있습니다. 즉, 자체 증류를 통해 [15, 20, 24, 27]. 다중 출구 네트워크의 맥락에서 적대적 공격 문제를 해결하려는 노력도 있었습니다[3, 12].

특히 다중 출구 네트워크에서 적대적 공격에 대한 견고성을 제공하는 것은 어렵습니다. 서로 다른 하위 모델이 매개변수를 공유함으로써 높은 상관 관계를 가지기 때문에 특정 출구를 타겟으로 하는 적대적 예시는 다른 하위 모델의 성능을 크게 저하시킬 수 있습니다. 다시 말해, 적대적 예시는 서로 다른 하위 모델 간에 강력한 적대적 전이성을 가질 수 있으므로 모델이 간단한 적대적 공격(예: 단일 출구를 타겟으로 하는 적대적 공격)에 매우 취약해질 수 있습니다.

동기 .단지 몇몇 이전 연구만이 다중 출구 네트워크를 위한 적대적 방어 전략에 초점을 맞추었습니다[3, 12].[12]의 저자는 다중 출구 네트워크에 맞게 조정된 적대적 예시를 생성하는 데 초점을 맞추었고(예: 최대 평균 공격을 통해 샘플 생성) 모든 출구의 깨끗한 손실과 적대적 손실의 합을 최소화하도록 모델을 훈련했습니다.[12]에서 구성된 적대적 예시를 고려하여 [3]의 저자는 훈련 중 각 출구에서 분류기의 가중치를 줄이기 위해 정규화 항목을 제안했습니다.그러나 기존의 적대적 방어 전략[3, 12]은 서로 다른 하위 모델 간의 높은 상관 관계를 직접 처리하지 않아 다중 출구 네트워크에서 높은 적대적 전이성과 제한적인 견고성을 초래합니다.이러한 어려움을 해결하기 위해 우리는 이전 연구[3, 12]와 직교하는 방식으로 지식 증류 기반 접근 방식을 취합니다. 일부 이전 연구[8, 23, 33, 34]에서는 지식 증류를 활용하여 기존 단일 출구 네트워크에서 모델의 견고성을 개선할 수 있음을 보여주었습니다. 그러나 깨끗한 데이터를 사용하여 다중 출구 네트워크를 훈련하기 위한 자체 증류에 대한 광범위한 기존 연구가 있지만[15, 20, 24, 27], 다중 출구 네트워크의 적대적 훈련에 증류 기술을 어떻게 활용해야 하는지는 현재 알려져 있지 않습니다. 게다가 기존의 증류 기반 체계를 다중 출구 네트워크에 적용하면 동일한 출력(예: 마지막 출구에 대한 지식)이 모든 하위 모델에 증류되기 때문에 하위 모델 간의 종속성이 높아집니다. 이러한 한계에 의해 동기를 부여받아 다음과 같은 질문을 던집니다. 지식 증류를 활용하여 다중 출구 네트워크의 적대적 견고성을 개선하려면 어떻게 해야 할까요? 동시에 다중 출구 네트워크에서 서로 다른 하위 모델 간의 적대적 전이성을 어떻게 줄일 수 있을까요?

주요 기여. 이러한 질문을 처리하기 위해, 우리는 강력한 다중 출구 신경망에 매우 맞춤화된 지식 증류 기반 적대적 훈련 전략인 NEO-KD를 제안합니다. 우리의 솔루션은 두 가지입니다. 이웃 지식 증류와 출구별 직교 지식 증류입니다.

• 특정 종료가 주어지면, 솔루션의 첫 번째 부분인 이웃 지식 증류(NKD)는 깨끗한 데이터의 이웃 종료에 대한 앙상블 예측을 해당 종료의 적대적 예시에 대한 예측으로 증류합니다(그림 1a 참조). 이 방법은 적대적 예시의 출력이 깨끗한 데이터의 출력을 따르도록 안내하여 적대적 공격에 대한 견고성을 향상시킵니다. 증류 전에 깨끗한 데이터의 이웃 예측을 앙상블함으로써 NKD는 동일한 위치에 하나의 종료만 있는 계획 증류에 비해 해당 종료에 더 높은 품질의 기능을 제공합니다.

• 솔루션의 두 번째 초점인 종료 방향 직교 지식 증류(EOKD)는 주로 서로 다른 하위 모델 간의 적대적 전이성을 줄이는 것을 목표로 합니다. 이 부분은 강력한 다중 종료 네트워크[3, 12](높은 적대적 전이성으로 인해 어려움) 또는 자가 증류 기반 다중 종료 네트워크[15, 20, 24, 27](적대적 전이성을 더욱 증가시킴)에 대한 기존 방법과 비교할 때 저희 작업의 또 다른 고유한 기여입니다. 저희의 EOKD에서 i번째 종료에서 깨끗한 데이터의 출력은 종료 방향으로 i번째 종료에서 적대적 샘플의 출력으로 증류됩니다. 이 종료 방향 증류 프로세스 동안, 그림 1b에서 설명한 대로 각 종료에 직교 소프트 라벨을 제공하여 개별 종료의 비지상 진실 예측이 상호 직교되도록 장려합니다. EOKD는 다양한 종료 출력 간의 종속성을 약화시켜 네트워크의 모든 하위 모델에서 적대적 전이성을 줄이고, 그 결과 적대적 공격에 대한 견고성이 향상됩니다.

아키텍처 솔루션의 NKD 및 EOKD 구성 요소는 네트워크의 여러 하위 모델에서 적대적 전이성을 줄이는 동시에 각 출구에서 적대적 사례의 예측을 올바르게 안내하기 위해 함께 작동합니다. 다양한 데이터 세트에 대한 실험 결과는 제안된 전략이 다중 출구 네트워크에 대한 기존 적대적 학습 방법과 비교하여 감소된 계산 예산으로 최상의 적대적 정확도를 달성한다는 것을 보여줍니다. 당사 솔루션은 플러그 앤 플레이 방식으로, 다중 출구 네트워크에 맞게 조정된 기존 학습 전략과 함께 사용할 수 있습니다.