Yazarlar:  (1) P Aditya Sreekar, Amazon ve bu yazarlar bu çalışmaya eşit katkıda bulunmuştur {sreekarp@amazon.com};  (2) Sahil Verm, Amazon ve bu yazarlar bu çalışmaya eşit katkıda bulunmuştur {vrsahil@amazon.com;}  (3) Varun Madhavan, Hindistan Teknoloji Enstitüsü, Kharagpur. Amazon'da staj sırasında yapılan çalışmalar {varunmadhavan@iitkgp.ac.in};  (4) Abhishek Persad, Amazon {persadap@amazon.com}.  Bağlantı Tablosu   Özet ve Giriş   İlgili Çalışmalar   Metodoloji   Deney   Sonuç ve gelecek iş   Referanslar  2. İlgili Çalışmalar  Ağaç tabanlı algoritmalar, makine öğreniminde tablo verileri için yaygın olarak kullanılmaktadır. Karar ağaçları, verileri eksen hizalı hiper düzlemlere dayalı olarak yinelemeli olarak birden fazla parçaya böler (Hastie ve diğerleri, 2009). Rastgele Ormanlar (RF) (Breiman, 2001) ve Gradyan Artırılmış Karar Ağaçları (GBDT) (Friedman, 2001) en yaygın kullanılan ağaç tabanlı topluluklardır. RF, verilerin rastgele alt kümelerine birden fazla karar ağacı yerleştirir ve karar ağaçlarının aşırı uyum özelliğini hafifletmek için tahminlerin ortalamasını alır/yoklar. GBDT, XGBoost (Chen ve Guestrin, 2016) ve CatBoost (Prokhorenkova ve diğerleri, 2018), önceki ağaçların yaptığı hataları düzeltmek için karar ağaçlarını sırayla oluşturan güçlendirilmiş topluluk modelleridir ve bu da doğrusal olmayan ilişkilere sahip karmaşık veri kümelerinde performansın artmasına yol açar. .  Son zamanlarda tablosal verilere yönelik derin öğrenme modellerine ilgi oldukça fazla. Bazı yöntemler, karar ağaçlarında kullanılan karar fonksiyonlarının türevlenebilir yaklaşımlarını kullanarak onları türevlenebilir hale getirir (Hazimeh ve diğerleri, 2020; Popov ve diğerleri, 2019). Bu yöntemler bazı problem ifadeleri için saf ağaç tabanlı problemlerden daha iyi performans gösterir, ancak sürekli olarak daha iyi değildirler (Gorishniy ve diğerleri, 2021). Diğer yöntemler, DL yöntemlerini tablo verilerine uyarlamak için dikkat mekanizmalarını kullanmıştır (Arik ve diğerleri, 2019; Huang ve diğerleri, 2020; Gorishniy ve diğerleri, 2021; Somepalli ve diğerleri, 2021; Chen ve diğerleri, 2022). TabNet (Arik ve diğerleri, 2019), karar ağaçlarının yinelemeli bölünmesini taklit etmek için birden fazla katmana yığılmış bir seyrek dikkat mekanizması önermektedir. TabTransformer (Huang ve diğerleri. , 2020), FT-Transformer (Gorishniy ve diğerleri, 2021) ve SAINT (Somepalli ve diğerleri, 2021) önerilmiştir. TabTransformer, tüm kategorik değişkenleri birleşik bir yerleştirme alanına yerleştirir ve kategorik yerleştirmelerden oluşan bir cümle, kişisel dikkat transformatör katmanlarından geçirilir. FT-Transformer, sürekli yerleştirmeyi kullanarak sayısal özellikleri de dikkate alarak bunu daha da genişletir. SAINT, bir partinin numuneleri arasındaki etkileşimleri yakalayan yeni bir tür dikkat önererek FT-Transformer'ı temel alır. Bununla birlikte SAINT, problem açıklamamız için FT-Transformer'a göre herhangi bir avantaj sağlamaz, çünkü örnekler arası dikkat yalnızca boyut sayısı örnek sayısına kıyasla daha yüksek olduğunda etkilidir, dolayısıyla RCT'yi SAINT'le karşılaştırmıyoruz (Somepalli ve ark. ., 2021).   Bu makale   . arxiv'de CC BY-NC-ND 4.0 DEED lisansı altında mevcuttur

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Publications in convolution, driving breakthroughs in signal processing and artificial intelligence.

Convolution's blog

Bu ses hikayenin orijinal dilinde üretilmiştir!

Çok uzun; Okumak

Boost your HackerNoon story @ $159.99! 🚀

Nakliye Maliyeti Tahmininde Kişisel Dikkatin Gücünü Ortaya Çıkarma: İlgili Çalışmalar

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Benzersiz Bir Ekosistemi Güçlendiren Bitcoin UTXO Modeli

Yapay Zekanın Gücünü Ortaya Çıkarıyoruz. En Son Tekniklerin Sistematik Bir İncelemesi: Özet ve Giriş

AI/ML Datalake için Referans Mimarisi Oluşturmaya Yönelik Mimar Kılavuzu

Kripto Büyümesi: Etkili Kullanıcı Kişilikleri Oluşturma

Benzersiz Bir Ekosistemi Güçlendiren Bitcoin UTXO Modeli

Yapay Zekanın Gücünü Ortaya Çıkarıyoruz. En Son Tekniklerin Sistematik Bir İncelemesi: Özet ve Giriş

AI/ML Datalake için Referans Mimarisi Oluşturmaya Yönelik Mimar Kılavuzu

Kripto Büyümesi: Etkili Kullanıcı Kişilikleri Oluşturma

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps