Ayrıcalıklı Bilgilerle Anormallik Tespiti - Bölüm 1

Destek Vektör Veri Açıklaması (SVDD), anormallik tespiti için makine öğreniminde kullanılan popüler sınır yöntemlerinden biridir. SVDD'nin amacı, normal (anormal olmayan) verilerin özelliklerini yakalayan ve ardından bu özelliklerden sapan örnekleri anormallik olarak tanımlayan bir model oluşturmaktır.

Anormallik tespiti, kredi kartları, sigorta veya sağlık hizmetleri için sahtekarlık tespiti, siber güvenlik için izinsiz giriş tespiti, güvenlik açısından kritik sistemlerde hata tespiti ve düşman faaliyetleri için askeri gözetim gibi çeşitli uygulamalarda yaygın kullanım alanı bulmaktadır.

Bir dizi veri noktanız olduğunu ve bunların çoğunun normal davranışı temsil ettiğini hayal edin. SVDD, bu normal veri noktalarının etrafında, verilerin çoğunluğunun bu sınırın içine düşeceği şekilde bir sınır oluşturmayı amaçlamaktadır. Bu sınırın dışındaki herhangi bir veri noktası daha sonra bir anormallik veya aykırı değer olarak kabul edilir.

Başka bir deyişle, bir bilgisayara, bir dizi örneğe dayanarak "normal"in neye benzediğini tanımayı ve daha sonra öğrenilen kalıba uymuyorsa bir şeyi "olağandışı" olarak işaretleyebilmeyi öğretiyoruz.

Bu makalede, anormallik tespit senaryolarında sınıflandırma doğruluğunu artırmayı amaçlayan bir teknik olan eğitim aşamasında ayrıcalıklı bilgilerin kullanımını keşfederek SVDD'nin temel kavramlarına derinlemesine dalıyoruz.

Orijinal SVDD

Yukarıda belirtildiği gibi, anormallik tespitine yönelik klasik bir yaklaşım, tek sınıflı sınıflandırma tekniklerini kullanarak beklenen ("normal") davranışı tanımlamak, yani birçok örnek kullanarak, örneğin geometrik bir yeri tanımlayarak "normal" durumun bir tanımını oluşturmaktır. Bir özellik uzayındaki eğitim modellerinin Yeni bir test modeli "normal" sınıfa ait değilse, bunun anormal olduğunu düşünüyoruz.

"Normal" bir etki alanı oluşturmak için Destek Vektörü Etki Alanı Açıklaması gibi iyi bilinen yaklaşımları kullanabiliriz.

Ayrıcalıklı bilgileri kullanmadan orijinal SVDD'nin kısa bir açıklamasıyla başlıyoruz. Bir iid örneğimiz var (x1, . . ., xl)

Bu algoritmanın ana fikri, "normal" olduğu düşünülen örneklerin önemli bir kısmını, bir anlamda "anormal" olduğu düşünülenlerden ayırmaktır. Orijinal veri noktasını daha anlamlı bir özellik uzayına eşlemeyi φ(·) ile ifade ediyoruz; örneğin, bazı polinom özellikleri eklemek, derin bir sinir ağıyla bazı özellik çıkarımları uygulamak veya hatta haritalamanın bazı sonsuz boyut uzayında olduğunu varsaymak.

Özellik haritasının görüntüsünde a'nın bir nokta ve R'nin de pozitif bir değer olduğunu varsayalım. Bir x modeli, eğer ∥a − φ(x)∥ ≤ R küresinin içindeyse "normal" sınıfa aittir. a ve R yarıçapını bulmak için optimizasyon problemini çözeriz:

Burada ξ kürenin dışında bulunan xi'den kürenin yüzeyine olan mesafedir. Eğer bir nokta kürenin içindeyse ξi = 0 olarak kabul ederiz. R değişkeni ancak pozitifliğine ihtiyacımız varsa yarıçap olarak düşünülebilir. Ancak, eğer ν ∈ (0, 1) ise ve ν ̸ ∈ (0, 1) ise çözümün ya tüm noktaları içermesi ya da hiçbirini içermemesi durumunda bu koşulun otomatik olarak karşılandığı kolayca kanıtlanabilir.

Muhtemelen tahmin edeceğiniz gibi algoritma adına desteğimiz olduğundan ikili problemi çözeceğiz:

Burada (φ(xi) · φ(xj )) skaler çarpımını karşılık gelen K(xi, xj çekirdeği) ile değiştiririz. a ve R'yi herhangi bir xi kullanarak, αi > 0 olacak şekilde hesaplayabiliriz.

Buna dayanarak karar fonksiyonunu tanımlayabiliriz:

Eğer f(x) > 0 ise, o zaman bir x modeli kürenin dışında bulunur ve anormal kabul edilir. Ayrıca f(x) dönüş değerini fark edebilirdik ve gerçek pozitif ve gerçek negatif değerlerin hedef seviyesine ulaşmak için eşiği ayarlayabilirdik.

SVDD ve Ayrıcalıklı Bilgiler

Orijinal iki sınıflı Destek Vektör Makinesi için, farklı veri noktaları sınıfları arasında en uygun sınırı oluşturan bir algoritma, Vapnik önerdi Sınıflandırma doğruluğunu artırmak için eğitim aşamasında ayrıcalıklı bilgilerin dikkate alınmasına izin veren bir değişiklik.

Ayrıcalıklı bilgilere bazı örnekler verelim. Bir görüntü sınıflandırma problemini çözersek ayrıcalıklı bilgi olarak metinsel bir görüntü açıklamasını kullanabiliriz. Kötü amaçlı yazılım tespiti durumunda, sınıflandırma için ek özellikler elde etmek amacıyla kötü amaçlı yazılımın kaynak kodunu kullanabiliriz.

Anomali tespiti ve sınıflandırması için eğitilmiş modeli kullandığımızda, bu tür bilgiler test aşamasında mevcut değildir (örneğin, hesaplama açısından engelleyici olabilir veya elde edilmesi çok maliyetli olabilir). Yine de eğitim aşamasında kullanılabilir.

Eğitim verilerinin çiftler halinde (xi, xi*) geldiğini varsayalım. Örneğin, X-ışını görüntülerindeki anormallikleri tespit etmeye çalıştığımızı hayal edin. Elimizde hem görüntünün kendisi hem de doktorun açıklaması var. Genellikle bir metin açıklaması fazlasıyla yeterlidir ancak ek yardım gerektirir. Model eğitimi sırasında kullanılabilirler mi, ancak yalnızca görselleri kullanarak tahminlerde bulunabilirler mi? Tespiti geliştirmek için bu ek bilgiyi kullanmak mümkündür.

Önceki formülasyonda ξi şeklinde bir hatamız var. ayrıcalıklı verilerin bir hatanın boyutunu tahmin edebilecek kadar iyi olduğunu varsayalım:

Bunu eğitim sırasında bu değerle en küçük hatayı bile alamayacağınızı söyleyen akıllı bir öğretmen olarak düşünebiliriz. Daha değerli diğer örneklere odaklanmak mantıklı olacaktır.

Şimdi bu canavar benzeri denklemi yazalım:

Burada γ, gevşek değişkenlerin doğrusal yaklaşımı için bir düzenleme parametresidir. ζi, "pozitif" bir yarı düzleme ait kalıpların cezalandırılmasını önleyen araçsal değişkenlerdir. Eğer γ sonsuza giderse, çözüm SVDD'nin orijinal çözümüne yakın olacaktır.

Lagrange fonksiyonuyla ilgili karmaşıklıkları önlemek için bu problemin ikili formunu yazın:

Burada skaler çarpımı (φ* (xi* ) · φ*(xj* )) karşılık gelen çekirdek fonksiyonu K* (xi*, xj*) ile değiştiririz. Sonunda karar fonksiyonu orijinal SVDD'dekiyle aynı forma sahiptir:

Orijinal problemden biraz daha korkutucu olmasına rağmen, bu görevin ikinci dereceden optimizasyon adı verilen özel bir optimizasyon türü olduğuna ve logaritmik bariyer fonksiyonu gibi standart yaklaşımlarla kolayca çözülebileceğine dikkat edin.

Çözüm

Orijinal SVDD yaklaşımı, yüksek boyutlu bir uzayda normal veri noktaları etrafında bir sınır oluşturmaya odaklanır. Ancak SVDD+ teorisi, sınıflandırma doğruluğunu arttırmak için eğitim aşamasında ayrıcalıklı bilgi kavramını ortaya koyar.

Test sırasında mevcut olmayan ayrıcalıklı bilgiler, eğitim sırasında ek bilgiler sağlamak ve modelin anormallikleri tespit etme yeteneğini geliştirmek için kullanılabilir. Ayrıcalıklı bilgilerin dahil edilmesi, orijinal SVDD algoritmasının, tıbbi anormallik tespitinde görüntülere eşlik eden metinsel açıklamalar gibi eğitim sırasında ek verileri dikkate almasına olanak tanıyan bir modifikasyonunu içerir.

Ayrıcalıklı bilgilerin dahil edilmesi, bilgili bir öğretmenin modelin öğrenimini geliştirmek için değerli bilgiler sağlamasına benzer şekilde, bir tür akıllı rehberlik olarak çerçevelenmiştir. Değiştirilmiş SVDD+ formülasyonu, logaritmik bariyer fonksiyonu gibi standart yaklaşımlarla çözülebilen ikinci dereceden bir optimizasyon görevi içerir. Ayrıcalıklı bilgilerin dahil edilmesinin getirdiği karmaşıklığa rağmen, SVDD+ teorisindeki karar fonksiyonu, orijinal SVDD'ye benzer bir formu koruyarak pratik uygulamayı kolaylaştırır.

Özetle, SVDD+ teorisi, eğitim aşamasında ayrıcalıklı bilgilerden yararlanarak anormallik tespitini geliştirmek için umut verici bir yol sergiliyor ve görüntü sınıflandırma ve kötü amaçlı yazılım tespiti de dahil olmak üzere çeşitli alanlarda potansiyel uygulamalar sunuyor.