Klasik Çok Katmanlı Algılayıcıları (MLP'ler) olduğu gibi aldık ve onun etrafında pek çok mimari inşa ettik. MLP'ler, chatGPT, LLAMA, DALLE ve CLIP gibi bugün gördüğümüz her bir LLM veya temel modelin bir parçasıdır. Veya YOLO-v* gibi basit tanıma modelleri bile.  Peki ya şimdi size MLP'ler için bir rakibimiz olduğunu söylesem? Kasabada “Kolmogorov-Arnold Ağı”, kısaca KAN adında, MLP'lere meydan okuyan yeni bir gazete var. Önerdikleri çözüm gerçekten ölçeklenirse, yeni nesil sinir ağlarına sahip olabiliriz ve bu da bizi Yapay Genel Zekaya (AGI) bir adım daha yaklaştıracaktır.  MLP'ler ReLU, sigmoid, tanh, GeLU vb. aktivasyon fonksiyonlarını içerirken KAN, bu aktivasyon fonksiyonlarını öğrenmemizi önermektedir. Peki KAN bunu nasıl yapıyor? Bunun arkasındaki matematik nedir? Nasıl uygulanır? Peki KAN'ları nasıl eğitebiliriz?  KAN makalesini burada özetlemek için elimden geleni yaptım. Bu ana fikri okumayı veya 48 sayfa uzunluğundaki makaleyi okumayı seçebilirsiniz!  Görsel Açıklama  Eğer siz de benim gibiyseniz ve olayları daha iyi anlamak için görselleştirmek istiyorsanız işte bu makalenin video formu:   https://youtu.be/M-xNt5Nl75Q?si=9tIJP2KHPm2-n23m&embedable=true  MLP'ler — Sorun  Oldukça aşina olduğumuz MLP’lerle başlayalım. MLP'ler düğümlerden ve kenarlardan oluşur. Her düğümde, söz konusu düğüm için çıktı üretmek amacıyla girdiler toplanır ve ReLU, GeLU ve SeLU gibi aktivasyonlar uygulanır.   Bu aktivasyon fonksiyonları eğitim süreci boyunca asla değişmez. Başka bir deyişle herhangi bir parametreye sahip değillerdir. Kendilerini belirli bir eğitim veri setine göre ayarlayacak kadar akıllı değiller. Yani eğitim sırasında eğitilen veya güncellenen şey, bu düğümlerin her birinin ağırlığıdır.  Şimdi aktivasyon fonksiyonunun düzeltilmesi gerektiği varsayımını sorgulayıp eğitilebilir hale getirsek ne olur? İşte KAN ağının çözmeye çalıştığı zorluk da bu. KAN ağının aktivasyon fonksiyonları eğitim süreci sırasında güncellenir. Daha derine inmeden önce polinomlar ve eğri uydurmayla başlayalım.  Polinomlar ve Eğri Uydurma  Dolayısıyla KAN'ların temel fikri, herhangi bir çok değişkenli bileşik fonksiyonun, tek değişkenli çeşitli fonksiyonların toplamına bölünebilmesidir.   Örneğin, yukarıdaki sarı eğriyle gösterildiği gibi y=x³ olan 3. derece bir denklemimiz olduğunu varsayalım. Ve yukarıdaki animasyonda mavi eğri ile gösterildiği gibi 2. derecenin başka bir denklemi, y=x². Bu görselleştirmede x² kullanmanın asla x³ ile elde edilen eğriliğe ulaşamayacağını görebiliriz.  Aşağıdaki kırmızı ve mavi noktalarla temsil edilen verilerin bize verildiğini ve iki sınıf arasındaki ikili sınıflandırma sınırını bulmak istediğimizi varsayalım.   İkinci dereceden bir polinom olan   kullanarak, x² eğrisi “U” şeklinde ancak veriler “S” şeklinde olduğundan ikisi arasındaki sınırı bulamayız. Her ne kadar   kullanmak bu veriler için uygun olsa da, ekstra bir hesaplama maliyetiyle birlikte gelir. Farklı bir çözüm,   girişi negatif olduğunda   kullanmak, x pozitif olduğunda -   kullanmak olabilir (yukarıdaki şekilde elle çizilmiş mavi eğri). x²'yi x³ x x² x²  Yaptığımız tek şey, daha yüksek serbestlik derecesine sahip bir eğri elde etmek için iki düşük dereceli polinom eklemek. KAN ağlarının arkasındaki fikir tam olarak budur.  Bir oyuncak sorunu  Şimdi verilerin basit bir denklemle oluşturulduğunu bildiğimiz, biraz daha karmaşık bir oyuncak problemini ele alalım:   . Yani 4 giriş değişkenimiz var ve üç işlemimiz var: üs, sinüs ve kare. Böylece aşağıda gösterildiği gibi her biri üç farklı işleme ayrılmış üç katmana sahip dört giriş düğümü seçebiliriz.  y=exp(sin(x1² + x2²) + sin(x3² + x4²))  Hesaplamalar için dört girişli ve üç temel işlevli (üs, sinüzoid ve kare) bir oyuncak problemi için KAN ağı  Eğitimden sonra düğümler, verilere uyacak şekilde kare, sinüzoidal ve üslü işlevlere yakınlaşacaktır.  Bu oyuncak bir problem olduğu için verilerin geldiği denklemi biliyoruz. Ancak pratikte   Bu sorunu çözmenin bir yolu B-spline'ları kullanmaktır. gerçek dünya verilerinin dağılımını bilmiyoruz.  Spline'lar ve B-spline'lar  B-spline'ların temel fikri, herhangi bir fonksiyonun veya eğrinin daha basit fonksiyon veya eğrilerin bir kombinasyonu olarak temsil edilebilmesidir. Bu daha basit fonksiyonlara temel fonksiyonlar denir. Örneğin aşağıdaki şekildeki kırmızı eğriyi ele alalım. Basitlik adına bunu sadece iki temel fonksiyonla temsil etmeye çalışalım.  İki temel fonksiyonun toplamı ile temsil edeceğimiz için bunu 3 noktaya ayırabiliriz. Bu noktalara düğüm denir. Herhangi bir sayıda   tane temel fonksiyon olabilir. Bu temel fonksiyon kombinasyonlarının nasıl çalıştığını kontrol eden parametre   İki eğriyi birleştirdiğimizde düğümlerde süreksizlikler olabiliyor. Çözüm, düzgün bir eğri elde etmek için düğümlerdeki eğrilerin eğriliğini sınırlamaktır. Örneğin, aşağıdaki şekilde yeşil okla gösterildiği gibi, iki eğrinin eğimini düğümlerde aynı olacak şekilde sınırlayabiliriz.  n c'dir.  Sinir ağına böyle bir kısıtlama getiremeyeceğimiz için, makaleye   dahil ettiler. Bu daha çok bir düzenleme gibi davranır. Pratik olarak bu, aşağıdaki makalede görüldüğü gibi standart spline fonksiyonuna eklenen SeLU aktivasyonudur. Artık Aktivasyon Fonksiyonlarını Spline Izgaraları ve KAN'ların İnce Tanelenmesi  KAN'lar   eğitim adı verilen yeni bir eğitim yöntemi sunar. Hepimizin aşina olduğu şey, modele daha fazla parametre eklediğimiz ince ayardır. Ancak ince taneli olması durumunda spline ızgaralarının yoğunluğunu arttırabiliriz. Buna    ince taneli ızgara uzantısı diyorlar.  Yukarıdaki şekilde kağıttan görebildiğimiz gibi, ince tanelileştirme, B-spline'ların ızgaralarını daha temsili ve dolayısıyla daha güçlü hale getirecek şekilde yoğunlaştırmaktır.  Hesaplamalı Karmaşıklık  Spline'ların dezavantajlarından biri özyinelemeli olmaları ve dolayısıyla hesaplama açısından pahalı olmalarıdır. Hesaplama karmaşıklıkları O(N²LG)'dir ve bu, MLP'ler için olağan O(N²L) karmaşıklığından daha yüksektir. Ek karmaşıklık G ızgara aralıklarından kaynaklanmaktadır.  Yazarlar bu doğal sorunu şunu göstererek savunuyorlar:  Aynı problem için KAN'ın ihtiyaç duyduğu parametre sayısı MLP'lere göre daha azdır  KAN'lar eğitim sırasında hızlı ve verimli bir şekilde birleşir, dolayısıyla daha az eğitim süresine ihtiyaç duyar.  Bu savunmaların grafiklerini sonuçlar bölümünde göreceğiz. Şimdilik KAN'ların başka bir uzmanlığına daha yakından bakalım.  Yorumlanabilirlik ve KAN Katmanlarının Seçimi  KAN'lar işlevleri öğrenirken, MLP'ler gibi, belirli bir veri veya sorun için MLP'nin derinliğini ve genişliğini seçerek onları basitçe tasarlayabildiğimiz basit bir kara kutu değildir. Bu nedenle, KAN'ları daha yorumlanabilir hale getirmek ve iyi bir KAN ağı tasarlamak için aşağıdaki adımları izlememiz gerekir:    Beklenenden daha büyük bir KAN ağıyla başlıyoruz ve genellikle Makine Öğreniminde yaptığımız gibi girdiler yerine aktivasyon fonksiyonunun L1 normunu sunarak düzenlileştirmeyi tanıtıyoruz. Seyrekleşme.    Seyrek ağ eğitildikten sonra, belirli bir kriter veya puanda belirli bir eşiğin altında olan gereksiz düğümleri kaldırabiliriz. Budama.    Belirli bir veriyi hangi işlevin oluşturduğunu belli belirsiz bildiğimizde, bu işlevi alacak birkaç düğüm ayarlayabiliriz. Buna sembolleştirme denir. Örneğin ses dalgalarıyla çalışıyorsak verinin çoğu sinüzoidal olduğundan bazı düğümleri sinüzoidal olarak ayarlayarak hayatımızı kolaylaştırıyoruz. Çerçeve   adı verilen bir arayüz işlevi sağlayarak bunu yapmamızı sağlar; burada   düğüm katmanı ve konumlardır ve     olabilen fonksiyondur,    Sembolleştirme. fix_symbolic(l,i,j,f) l, i, j, f sine, cosine, log, etc sine, cosine, log, etc  Eğitimli bir KAN ağına ulaşmak için makalede önerilen farklı adımların özeti  Yukarıdaki şekilde farklı adımlar özetlenmiştir. Büyük bir ağla başlıyoruz ve seyrekleştiriyoruz (adım 1), ortaya çıkan ağı budaıyoruz (adım 2), bazı sembolleştirmeler belirliyoruz (adım 3), ağı eğitiyoruz (adım 4) ve son olarak eğitilmiş modele ulaşıyoruz.  Deneyler ve Sonuçlar  Yukarıda belirtilen adımları kullanarak, KAN ağlarını beş farklı oyuncak problemi için eğiterek bunların etkinliğini gösterdiler ve bunları MLP'lerle karşılaştırdılar. Karşılaştırmadan elde edilen temel çıkarımlar şunlardır:  KAN, MLP'lerden çok daha hızlı eğitilir, böylece doğası gereği hesaplama karmaşıklığından ödün verilir.  MLP'lerin çok daha fazlasıyla yapabildiğini KAN daha az parametreyle yapabilir  KAN'lar, MLP'lere kıyasla hızlı azalan kayıpla çok düzgün bir şekilde birleşir  İlk nokta, 5 oyuncak problemi için yukarıdaki üst grafikteki beş parseldeki kalın mavi çizgiyle gösterilmiştir. Son iki nokta, herhangi bir problemi çözmek için kayıp eğrilerini ve parametre sayımlarını gösteren alttaki grafikle gösterilmektedir.   Felaket Unutuş  Bir sonraki çıkarım, yıkıcı unutma probleminde KAN'ların MLP'lerden çok daha iyi olduğudur. Sürekli öğrenme için dizi verilerini beslersek, KAN'lar MLP'lere kıyasla geçmiş verileri çok daha iyi hatırlıyor gibi görünüyor. Bu, KAN'ın verilerdeki 5 aşamayı yeniden ürettiği ancak MLP'nin zorlandığı aşağıdaki şekilde gösterilmektedir.   Diğer sonuçlar  Ayrıca KAN'ın kısmi diferansiyeller ve Fizik denklemlerini içeren problemlerde kullanılabileceğini göstermek için kapsamlı deneyler yaptılar. Bu ayrıntılara girmek yerine, ne zaman KAN'ları ve MLP'leri seçeceğimize bakalım.  KAN ve MLP arasında seçim yapma  MLP'ler yerine KAN'ları ne zaman seçeceğimiz konusunda bize rehberlik etmesi için aşağıdaki şekli verdiler. Öyleyse, aşağıdaki durumlarda KAN'ları seçin:  dalga formları veya grafikler gibi yapısal verilerle uğraşıyorsunuz  verilerden sürekli öğrenmeyi arzulamak  eğitim süresini pek umursamıyorum!  yüksek boyutlu veriler   Aksi takdirde MLP'ler yine de kazanır.  Haykırmak     Bu makaleyi beğendiyseniz neden beni takip etmiyorsunuz?   heyecan Haftanın her günü en iyi yapay zeka laboratuvarlarından araştırma güncellemelerini nerede paylaşıyorum?     Ayrıca lütfen bana abone olun   Youtube kanalı AI kavramlarını ve makalelerini görsel olarak açıkladığım yer.  Tartışma ve sonuç  Bana göre KAN'lar, transformatörlerin NLP manzarasını nasıl temiz bir şekilde taradığı konusunda MLP'lerin yerini almak için burada değil. Aksine, KAN'lar matematik ve fizikteki özel problemler için kullanışlı olacaktır. O zaman bile, daha birçok iyileştirmeye ihtiyacımız olduğunu hissediyorum. Ancak temel modellerle çözülen büyük veri sorunları için KAN'ların, en azından mevcut durumlarıyla, kat etmesi gereken uzun bir yol var.  Ayrıca, eğitim yaklaşımı ve KAN mimarisinin tasarlanması, günümüzün sinir ağlarının tasarlanması ve eğitiminin standart yolundan sapma eğilimindedir. Yine de GitHub sayfasında halihazırda 13 bin yıldız ve 1,2 bin çatal var, bu da bir şeylerin yolunda gittiğini gösteriyor. Bekleyelim ve bu alanı izleyelim.  

This story contains new, firsthand information uncovered by the writer.

Why not checkout more about AI Bites!

Read My Stories

Bu ses hikayenin orijinal dilinde üretilmiştir!

Kolmogorov-Arnold Ağı (KAN) ve Çok Katmanlı Algılayıcıları (MLP'ler) Karşılaştırma

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Benzersiz Bir Ekosistemi Güçlendiren Bitcoin UTXO Modeli

Kazanmak için Dokun: Telegram, Solana'dan Önce Sonraki 10 Milyar Kripto Kullanıcısına Katılabilir

Bu 18 Geliştirici Aracıyla Üretkenliğinizi Artırın 🚀🔥

Sulara Yelken Açmak: Data Lakes ile Üretim Sınıfında RAG Uygulamaları Geliştirme

Benzersiz Bir Ekosistemi Güçlendiren Bitcoin UTXO Modeli

Kazanmak için Dokun: Telegram, Solana'dan Önce Sonraki 10 Milyar Kripto Kullanıcısına Katılabilir

Bu 18 Geliştirici Aracıyla Üretkenliğinizi Artırın 🚀🔥

Sulara Yelken Açmak: Data Lakes ile Üretim Sınıfında RAG Uygulamaları Geliştirme

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps