LSTM'ler veya Uzun Kısa Süreli Bellek Ağları uzun süredir ortalıkta. Metin oluşturma ve çeviri, hatta resim yazıları oluşturma gibi diziyle ilgili pek çok görev için uygulanmıştır.  Dezavantajları ise günümüzün güçlü GPU'larını kullanacak şekilde paralelleştirilememesiydi. Bu sınırlama, eğitim ve çıkarımların büyük ölçüde paralelleştirilmesi için GPU'lardan yararlanan dönüştürücülerin ortaya çıkmasının yolunu açtı.  Şimdi LSTM'leri yenilemeye ve paralelleştirmeye çalışırsak, bunlar yeni nesil   oluşturmak için araçlar haline gelebilir mi? LLM'ler  Bu, "   " Uzun kısa süreli bellek anlamına gelen "   " makalesinin yanıtladığı sorunun tam olarak cevabıdır. Bunu mimaride sLSTM ve mLSTM olmak üzere iki yeni blok önererek yapıyorlar. genişletilmiş XLSM - Genişletilmiş Uzun Kısa Süreli Bellek Ağları  Öyleyse, bu yazıda önerilen önerilen sLSTM ve mLSTM bloklarını derinlemesine inceleyelim ve XLSTM mimarisini geliştirmek için bunları nasıl bir araya getirebileceğimizi görelim.  Görsel Açıklama  Eğer siz de benim gibi biriyseniz ve XLSTM'lerin görsel olarak anlatılmasını istiyorsanız lütfen bu makaledeki YouTube videosunu inceleyin:  LSTM tazeleme  Sıralı verileri ele almak için tasarlanan en eski ağlardan biri, Tekrarlayan Sinir Ağıdır. Tekrarlayan Sinir Ağı  Mimarisinde giriş olarak   ve çıkış olarak   olmak üzere tekrarlayan bağlantılar kullanır. Bunu açarsak,   ve   zaman damgalarında gerçekleşen bir dizi işlem olarak görselleştirebiliriz. RNN'lerin en büyük dezavantajı, çok fazla bloğu bir araya getirdiğimizde eğimin sıfıra ulaştığı yok olan eğim problemiydi. x o t-1, t t+1  LSTM'ler veya Uzun kısa süreli bellek ağları, ağa hücre durumları ve geçit mekanizmaları ekleyerek kaybolan gradyanların üstesinden gelmek için önerildi. LSTM'lerin basitleştirilmiş bir örneği  Hücre durumları   ), çeşitli zaman damgalarında yaşayan uzun vadeli anılardır. Gizli durumlar (   ), bir zaman adımından diğerine aktarılan kısa süreli anılardır. Ve tabii ki girdi dizisinden   girdilerimiz var. (c h z  Üç kapının   işlevleri vardır.   uzun süreli hafızada hangi bilginin unutulacağına karar vermek için sigmoid fonksiyonunu kullanır.   ayrıca girişi işlemek için bir sigmoid fonksiyonu kullanır ve onu unutma kapısının çıkışına ekler. Bu toplama işlemi, XLSTM makalesinde ve akademik literatürde     adı verilen süslü bir terime sahiptir. Bu ekleme işlemi, RNN'lerde bulunan kaybolan gradyanlar sorununu çözen şeydir.   çıkışı daha sonra   tarafından işlenir; bu genellikle bir sonraki adıma aktarılan gizli durum çıkışı h_t'ye yol açan bir tanh fonksiyonudur. S şeklinde Unutma kapısı, Giriş kapısı sabit hata döngüsü C_t çıkış kapısı  Bu işlemlerle LSTM'lerin iki ana denklemi olan   ve   parçalara ayırdık. c_t h_t'yi  Dezavantaj 1 – Depolama Kararlarının Gözden Geçirilmesi  LSTM'lerin ana dezavantajlarından biri, depolama kararlarını revize edememeleridir. Bunun anlamı, dizi uzunluğu arttıkça modelin geçmiş bilgileri hafızada tutup tutmayacağına karar verebilmesi gerektiğidir.  Örneğin şu cümleyi ele alırsak, “Tom dükkana gitti. Biraz içki aldı" ve bunu "Tom havuç, soğan, muz, elma, portakal, kahve ve ekmek içeren bazı yiyecek satın almak için dükkana gitti. Ayrıca biraz içki de aldı.” Muz veya elma gibi her yeni kelime için modelin, geçmişteki “Tom” kelimesini hafızasında tutup tutmaması gerektiğini sürekli olarak gözden geçirmesi gerekiyor. Bu, LSTM'ler için büyük bir zorluktur ve unutma kapısının sigmoid işlevinden kaynaklanmaktadır.  Sigmoid fonksiyonu ve üstel fonksiyon. Sigmoid uçlara doğru düzleşir, ancak üstel yalnızca artmaya devam eder.  Yani, eğer bir unutma kapısını ele alırsak, bu, uca doğru düzleşen S şeklinde bir eğriye sahip olan bir sigmoid fonksiyonundan oluşur. Bu, girdinin daha yüksek değerlerine doğru ilerledikçe neyi unutacağımıza ve neyi hafızada tutacağımıza karar vermenin oldukça zorlaştığını gösteriyor. Ancak onun yerine üstel bir fonksiyon kullanırsak oyun değişir ve girdinin daha yüksek değerlerine çıktıkça çıktılar için daha geniş bir aralık elde ederiz. Bu da LSTM'lerin depolama kararlarını gözden geçirme konusunda daha iyi hale gelebileceğini gösteriyor.  Çözüm 1 — sLSTM  Dolayısıyla bu yazıda önerilen çözüm sistem bloklarıdır. Hücre durumunu temsil eden klasik LSTM denklemine geri dönersek, daha önce gördüğümüz gibi, bu, unutma kapısının ve giriş kapılarının bir fonksiyonudur.  Bu kapılar da sigmoid fonksiyonlardan oluşur. Peki bu sigmoid fonksiyonları üstel fonksiyonlarla değiştirirsek ne olur? Yeni   ve   kapıları artık   ve   sLSTM bloğunu oluşturmak için yapılan ana değişikliktir. f_t i_t exp(f_t) exp(i_t) haline geldi ve bu,  Girdileri sabit bir aralıkta sıkıştıran sigmoid fonksiyonunun aksine, üstel fonksiyonlar girdi arttıkça değer olarak artma eğilimindedir ve çıktıyı doğal olarak sigmoid gibi 0 ile 1 arasında kalacak şekilde normalleştirmez. işlev.  Bu nedenle, unutma ve giriş kapılarının bir fonksiyonu olan yeni bir   durumu tanıtmamız gerekiyor. Bunu bir normalizasyon değerinin hareketli ortalaması olarak düşünebiliriz. normalleştirici  Çıktıyı veya yeni gizli durumu normalleştirmek için hesaplanan normalizasyon değerlerini kullanırız.  Normalleştirme gizli durumlarla ilgilenirken, üstelin unutma ve giriş kapılarını havaya uçurmasını kontrol etmek için bir   eklememiz gerekir. Üstellerin etkisine karşı koymak ve kararlılık sağlamak için   fonksiyonları biçiminde gelir. Dolayısıyla stabilizatör durumu, unutma kapısının ve giriş kapısı çıkışının logunun maksimumudur. Bu stabilizatör değerlerini girdiden çıkarıyoruz ve onları stabilize etmek için kapıları unutuyoruz. dengeleyici log Dezavantaj 2 – Bellek ve Paralelleştirme  LSTM'lerin ikinci dezavantajı paralelleştirmenin olmamasıdır. LSTM'ler sıralı verileri işlemek üzere tasarlanmıştır; bu, dizideki mevcut girişi işlemek için dizideki önceki girdiyi işleme çıktısına ihtiyaç duyduğu anlamına gelir. Bu özel dezavantaj paralelleşmeyi engeller ve Transformers döneminin doğuşuna yol açan suçluydu.  Bu yazıda önerilen çözüm yeni mLSTM bloklarıdır. Şimdi onlara sonra bakalım.  Çözüm – mLSTM  XLSTM'lerin bir sonraki yapı taşı, m'nin hafızayı temsil ettiği mLSTM bloğudur. Dezavantajının ne olduğunu görmek için klasik LSTM denklemine tekrar dönelim.   hücre durumunun bir skaler olduğunu görebiliriz. Bu, en az 12 Gig belleğe sahip günümüz GPU'larının lüksüne sahip olduğumuzda aynı anda yalnızca 1 sayıyla ilgilendiğimiz anlamına gelir. C_t  mLSTM bloğu, hücre durumları için skalerlerin yerine matrisler sunar. Klasik LSTM denklemimize dönersek,   bir   *_t* matrisiyle değiştirirsek, hücre durumu artık matrisleri belirtmek için büyük   *_t* olur ve hücre durumları yalnızca   kapısı tarafından değil aynı zamanda alınabilir. vektör olan anahtar-değer çiftlerini depolayarak. Değerleri aynı boyuttaki vektörler olan sorgular tarafından alınabilmektedir. c_t'yi C C i_t  Transformatörün terminolojisine tanıdık gelmesi için, bu matrisi oluşturmak üzere buraya anahtar ve değer eklediler.  XLS™  sLSTM ve mLSTM hakkındaki bu bilgilerle XLSTM'nin ayrıntılı mimarisine dalalım.  sLSTM  sLSTM bloğuna ayrıntılı bir bakış  sLSTM söz konusu olduğunda post-up projeksiyonları kullanıyoruz. Böylece girdi ilk önce swish aktivasyon fonksiyonuyla nedensel evrişim katmanlarından geçirilir. Bu katmanlardan elde edilen çıktı daha sonra dört çapraz blok veya "başlık" içeren blok-çapraz doğrusal bir katman aracılığıyla beslenir. Bunlardan elde edilen çıktı daha sonra dört kafalı sLSTM bloğundan beslenir. Son olarak, çıktı, GeLU aktivasyonu ile kapılı bir MLP katmanı kullanılarak yukarı yansıtılır ve kapılı bir MLP işlevi kullanılarak aşağı yansıtılır.  mLSTM   mLSTM bloğunun ayrıntılarına geçerek ön projeksiyonları kullanıyoruz. Bu, girişin ilk önce 2 projeksiyon faktörü ile yukarı yansıtıldığı anlamına gelir. Projeksiyon çıkışlarından biri mLSTM'ye, diğeri ise çıkış kapısına gider. mLSTM bloğunun girişi nedensel evrişimden geçer ve ardından mLSTM bloğu tarafından kolaylıkla kullanılan sorguyu, anahtarı ve değeri çıkaran blok boyutu 4'ün blok diyagonal projeksiyon matrislerinden geçer.  XLSTM Mimarisi   Son olarak, genişletilmiş LSTM mimarisini oluşturmak için iki tip bloğu istifleyebiliriz. Yani koyu gri bloklar mLSTM bloklarıdır ve açık gri olanlar da sLSTM bloklarıdır.  Avantajları açısından, makale XLSTM ağlarının doğrusal bir hesaplama karmaşıklığına ve dizi uzunluğuna ilişkin sabit bir bellek karmaşıklığına sahip olduğundan bahsetmektedir.  Değerlendirmeler  Yazarlar, SlimPajama veri kümesini LLAMA gibi diğer transformatör tabanlı yöntemlerle ve MAMBA gibi durum uzayı tabanlı yöntemlerle karşılaştırmak için eğitim aldılar. Bu xLSTM a:b gösterimini kullandılar; burada   , mLSTM bloklarının sayısı ve   yığındaki sLSTM bloklarının sayısıdır. a b,  Doğruluk açısından, 0'ın rastgele ve 1'in mükemmel olduğu 0 ile 1 arasındaki doğrulukları ölçeklendirerek göreceli doğrulukları rapor ederler.  Değerlendirmeler, XLSTM'nin Parite gibi görevlerde daha iyi performans gösterdiğini, Llama ve Mamba'nın ise kötü performans gösterdiğini gösteriyor.  Sonuçlara göre, özellikle ilgi çekici olan şey, transformatörlerin veya durum uzayı modellerinin, bellek karıştırma veya durum izleme olmadan zorluk yaşama eğiliminde olduğu eşlik görevidir. Bu tür bir görevde hem sLSTM hem de mLSTM bloklarını bir arada kullandığımızda xLSTM'nin 1 doğruluğuna ulaştığını görebiliriz.  Ayrıca XLSTM'lerin sağlamlığını göstermek için bazı ablasyon çalışmaları da yaptılar. Kağıttan anlaşılması kolaydır. Üstelik bu makale daha çok XLSTM'lerin mimari yenilikleri hakkında olduğundan burada deneysel sonuçlara girmeyeceğim.  Haykırmak     Bu makaleyi beğendiyseniz neden beni takip etmiyorsunuz?   heyecan Haftanın her günü en iyi yapay zeka laboratuvarlarından araştırma güncellemelerini nerede paylaşıyorum?     Ayrıca lütfen bana abone olun   Youtube kanalı AI kavramlarını ve makalelerini görsel olarak açıkladığım yer.  Çözüm  Bu makalenin XLSTM mimarisinin anlaşılmasını, neden onlara ihtiyacımız olduğunu ve yakın gelecekte potansiyel olarak transformatörleri nasıl geçebileceklerini basitleştirdiğini ve kolaylaştırdığını umuyoruz.  Bekleyelim ve neler saklayacaklarını görelim. Bir sonraki yazımda görüşürüz…  

This story contains new, firsthand information uncovered by the writer.

Why not checkout more about AI Bites!

Read My Stories

Bu ses hikayenin orijinal dilinde üretilmiştir!

Çok uzun; Okumak

Get Free Unlimited IP Geo Data With IPinfo Lite

Uzun Kısa Süreli Bellek Ağlarının Yenilenmesi: Yeni Nesil Yapay Zeka için XLSTM

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

Kripto Büyümesi: Etkili Kullanıcı Kişilikleri Oluşturma

Floki'den Valhalla Hindistan'ın Sri Lanka Turuna Yardımcı Sponsor Olarak Katıldı

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

Kripto Büyümesi: Etkili Kullanıcı Kişilikleri Oluşturma

Floki'den Valhalla Hindistan'ın Sri Lanka Turuna Yardımcı Sponsor Olarak Katıldı

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps