특권 정보를 이용한 이상 탐지 - 1부

SVDD(지원 벡터 데이터 설명)는 이상 탐지를 위해 기계 학습에서 사용되는 널리 사용되는 경계 방법 중 하나입니다. SVDD의 목표는 정상(비변칙) 데이터의 특성을 캡처한 다음 이러한 특성에서 벗어나는 인스턴스를 비정상으로 식별하는 모델을 만드는 것입니다.

이상 탐지는 신용 카드, 보험 또는 의료에 대한 사기 탐지, 사이버 보안을 위한 침입 탐지, 안전이 중요한 시스템의 결함 탐지, 적 활동에 대한 군사 감시 등 다양한 애플리케이션에서 광범위하게 사용됩니다.

데이터 포인트 세트가 있고 대부분이 정상적인 동작을 나타낸다고 가정해 보세요. SVDD는 대부분의 데이터가 이 경계 내에 속하도록 이러한 일반 데이터 포인트 주위에 경계를 만드는 것을 목표로 합니다. 이 경계 밖의 모든 데이터 포인트는 이상치 또는 이상치로 간주됩니다.

즉, 우리는 일련의 예를 기반으로 "정상"이 어떻게 보이는지 인식하도록 컴퓨터를 가르치고 있으며, 학습된 패턴에 맞지 않으면 "비정상적"이라고 표시할 수 있습니다.

이 기사에서는 SVDD의 기본 개념에 대해 자세히 알아보고 훈련 단계에서 특권 정보의 활용을 탐구합니다. 이는 이상 탐지 시나리오에서 분류 정확도를 향상시키는 것을 목표로 하는 기술입니다.

원본 SVDD

위에서 언급한 바와 같이, 이상 탐지에 대한 고전적인 접근 방식은 단일 클래스 분류 기술을 사용하여 예상되는("정상") 동작을 설명하는 것입니다. 즉, 기하학적 장소를 설명하는 등 많은 예를 사용하여 "정상" 상태에 대한 설명을 구성하는 것입니다. 특징 공간에서의 훈련 패턴. 새로운 테스트 패턴이 "정상" 클래스에 속하지 않으면 비정상적인 것으로 간주합니다.

"일반" 도메인을 구성하기 위해 지원 벡터 도메인 설명과 같은 잘 알려진 접근 방식을 사용할 수 있습니다.

특권 정보를 사용하지 않고 원본 SVDD에 대한 간략한 설명부터 시작합니다. iid 샘플(x1, . . . , xl)이 있습니다.

이 알고리즘의 주요 아이디어는 "정상"으로 간주되는 샘플의 상당 부분을 어떤 의미에서 "비정상"으로 간주되는 샘플과 분리하는 것입니다. 예를 들어 일부 다항식 특성을 추가하거나 심층 신경망을 사용하여 일부 특성 추출을 적용하거나 심지어 매핑이 일부 무한 차원 공간에 있다고 가정하는 등 원래 데이터 포인트를 좀 더 표현적인 특성 공간에 매핑하는 ψ(·)로 나타냅니다.

특징 맵 이미지의 어떤 지점을 a로 하고 R을 양의 값으로 둡니다. 패턴 x는 구 rra − ψ(x) rr ≤ R 내부에 있는 경우 "일반" 클래스에 속합니다. 중심 a 와 반경 R 찾기 위해 최적화 문제를 해결합니다.

여기서 ξ는 구 외부에 위치한 xi에서 구 표면까지의 거리입니다. 점이 구 내부에 있으면 ξi = 0으로 간주합니다. 변수 R은 양성이 필요한 경우에만 반경으로 간주될 수 있습니다. 그러나 ν ∈ (0, 1)이면 이 조건이 자동으로 충족되고 ν ̸ ∈ (0, 1)의 경우 솔루션에 모든 점이 포함되거나 전혀 포함되지 않음을 쉽게 증명할 수 있습니다.

짐작할 수 있듯이 우리는 알고리즘이라는 이름으로 지원을 받기 때문에 이중 문제를 해결할 것입니다.

여기서는 스칼라 곱(Φ(xi) · Φ(xj ))을 해당 커널 K(xi, xj)로 대체합니다. αi > 0이 되는 임의의 xi를 사용하여 a와 R을 계산할 수 있습니다.

이를 기반으로 우리는 결정 함수를 정의할 수 있습니다.

f(x) > 0이면 패턴 x는 구 외부에 위치하며 변칙적인 것으로 간주됩니다. 또한 f(x) 반환 값을 확인할 수 있었고 임계값을 조정하여 참양성 및 참음성 값의 목표 수준을 달성할 수 있었습니다.

SVDD 및 권한 정보

원래의 2클래스 서포트 벡터 머신(Support Vector Machine)의 경우 서로 다른 데이터 포인트 클래스 사이에 최적의 경계를 생성하는 알고리즘입니다. Vapnik이 제안한 분류 정확도를 높이기 위해 훈련 단계에서 특권 정보를 고려할 수 있는 수정입니다.

특권 정보의 몇 가지 예를 들어보겠습니다. 이미지 분류 문제를 해결하면 텍스트 이미지 설명을 특권 정보로 사용할 수 있습니다. 악성 코드 탐지의 경우 악성 코드의 소스 코드를 사용하여 분류를 위한 추가 기능을 얻을 수 있습니다.

이러한 정보는 이상 탐지 및 분류를 위해 훈련된 모델을 사용할 때 테스트 단계에서는 사용할 수 없습니다(예: 계산이 불가능하거나 획득하는 데 비용이 너무 많이 들 수 있음). 그러나 훈련 단계에서는 사용할 수 있습니다.

훈련 데이터가 (xi, xi*) 쌍으로 들어온다고 가정해 보겠습니다. 예를 들어, X선 이미지에서 이상 현상을 감지하려고 한다고 가정해 보겠습니다. 이미지 자체와 의사의 설명이 모두 있습니다. 일반적으로 텍스트 설명이면 충분하지만 추가 지원이 필요합니다. 모델 훈련 중에 사용할 수 있지만 이미지를 통해서만 예측할 수 있나요? 이 추가 정보를 사용하여 탐지를 향상시킬 수 있습니다.

이전 공식에서는 ξi 형식의 오류가 있습니다. 특권 데이터가 너무 좋아서 오류의 크기를 예측할 수 있다고 가정해 보겠습니다.

우리는 이것을 훈련 중에 이 값으로 작은 오류를 얻을 수 없다고 말하는 지능적인 교사로 생각할 수 있습니다. 더 가치 있는 다른 사례에 집중하는 것이 합리적입니다.

이제 이 괴물 같은 방정식을 적어 보겠습니다.

여기서 γ는 여유 변수의 선형 근사를 위한 정규화 매개변수입니다. ζi는 "양의" 반면에 속하는 패턴이 불이익을 받는 것을 방지하는 도구 변수입니다. γ가 무한대로 가면 솔루션은 SVDD의 원래 솔루션에 가깝습니다.

라그랑주 함수의 복잡한 문제를 피하려면 이 문제의 이중 형식을 적어 두십시오.

여기서는 스칼라 곱(Φ* (xi* ) · Φ*(xj* ))을 해당 커널 함수 K*(xi*, xj*)로 대체합니다. 결국 결정 함수는 원래 SVDD의 경우와 동일한 형식을 갖습니다.

원래 문제보다 약간 더 무섭음에도 불구하고 이 작업은 2차 최적화라고 하는 특정 유형의 최적화이며 로그 장벽 함수와 같은 표준 접근 방식으로 쉽게 해결할 수 있습니다.

결론

원래 SVDD 접근 방식은 고차원 공간에서 일반 데이터 포인트 주위에 경계를 구성하는 데 중점을 둡니다. 그러나 SVDD+ 이론은 분류 정확도를 높이기 위해 훈련 단계에서 특권 정보 개념을 도입합니다.

테스트 중에는 사용할 수 없는 권한 있는 정보를 교육 중에 활용하여 추가 통찰력을 제공하고 모델의 이상 징후 감지 기능을 향상시킬 수 있습니다. 특권 정보를 통합하려면 원본 SVDD 알고리즘을 수정해야 합니다. 이를 통해 훈련 중에 의료 이상 징후 감지 시 이미지와 함께 제공되는 텍스트 설명과 같은 보충 데이터를 고려할 수 있습니다.

특권 정보의 포함은 모델의 학습을 개선하기 위해 귀중한 통찰력을 제공하는 정보를 갖춘 교사와 유사한 지능형 지침의 형태로 구성됩니다. 수정된 SVDD+ 공식에는 로그 장벽 함수와 같은 표준 접근 방식을 통해 해결할 수 있는 2차 최적화 작업이 포함됩니다. 특권 정보를 포함함으로써 발생하는 복잡성에도 불구하고 SVDD+ 이론 의 결정 기능은 원래 SVDD와 유사한 형태를 유지하여 실제 구현을 용이하게 합니다.

요약하면, SVDD+ 이론은 훈련 단계에서 특권 정보를 활용하여 이상 탐지를 개선하고 이미지 분류 및 악성 코드 탐지를 포함한 다양한 분야에 걸쳐 잠재적인 응용 프로그램을 제공하는 유망한 방법을 보여줍니다.