Auteurs:  (1) P Aditya Sreekar, Amazon et ces auteurs ont contribué à parts égales à ce travail {sreekarp@amazon.com} ;  (2) Sahil Verm, Amazon et ces auteurs ont contribué à parts égales à ce travail {vrsahil@amazon.com;}  (3) Varun Madhavan, Institut indien de technologie, Kharagpur. Travail effectué lors d'un stage chez Amazon {varunmadhavan@iitkgp.ac.in} ;  (4) Abhishek Persad, Amazone {persadap@amazon.com}.  Tableau des liens   Résumé et introduction   Travaux connexes   Méthodologie   Expérience   Conclusion et travaux futurs   Les références  2. Travaux connexes  Les algorithmes basés sur des arbres sont largement utilisés dans l'apprentissage automatique pour les données tabulaires. Les arbres de décision divisent récursivement les données en plusieurs parties basées sur des hyper-plans alignés sur des axes (Hastie et al., 2009). Les forêts aléatoires (RF) (Breiman, 2001) et les arbres de décision à gradient boosté (GBDT) (Friedman, 2001) sont les ensembles arborescents les plus couramment utilisés. RF ajuste plusieurs arbres de décision sur des sous-ensembles aléatoires de données et fait la moyenne/interroge les prédictions pour atténuer la caractéristique de surajustement des arbres de décision. GBDT, XGBoost (Chen et Guestrin, 2016) et CatBoost (Prokhorenkova et al., 2018) sont des modèles d'ensemble améliorés qui construisent séquentiellement des arbres de décision pour corriger les erreurs commises par les arbres précédents, conduisant à une amélioration des performances sur des ensembles de données complexes avec des relations non linéaires. .  Récemment, les modèles d’apprentissage profond pour les données tabulaires ont suscité beaucoup d’intérêt. Certaines méthodes introduisent des approximations différentiables des fonctions de décision utilisées dans les arbres de décision pour les rendre différentiables (Hazimeh et al., 2020 ; Popov et al., 2019). Ces méthodes surpassent les problèmes purement arborescents pour certains énoncés de problèmes, mais elles ne sont pas systématiquement meilleures (Gorishniy et al., 2021). D'autres méthodes ont utilisé des mécanismes d'attention pour adapter les méthodes DL aux données tabulaires (Arik et al., 2019 ; Huang et al., 2020 ; Gorishniy et al., 2021 ; Somepalli et al., 2021 ; Chen et al., 2022). TabNet (Arik et al., 2019) propose un mécanisme d'attention clairsemé qui est empilé en plusieurs couches pour imiter la division récursive des arbres de décision. Inspirées du succès des transformateurs d'attention personnelle (Vaswani et al., 2017) dans de nombreux domaines (Devlin et al., 2019 ; Dosovitskiy et al., 2021 ; Gong et al., 2021), des méthodes comme TabTransformer (Huang et al. , 2020), FT-Transformer (Gorishniy et al., 2021) et SAINT (Somepalli et al., 2021) ont été proposés. TabTransformer intègre toutes les variables catégorielles dans un espace d'intégration unifié, et une phrase d'intégrations catégorielles est transmise à travers les couches de transformateur d'auto-attention. FT-Transformer étend encore cela en s'occupant également des fonctionnalités numériques, en utilisant l'intégration continue. SAINT s'appuie sur FT-Transformer en proposant un nouveau type d'attention qui capture les interactions entre les échantillons d'un lot. Cependant, SAINT n'offre aucun avantage sur FT-Transformer pour notre énoncé du problème, car l'attention inter-échantillons n'est efficace que lorsque le nombre de dimensions est plus élevé par rapport au nombre d'échantillons, nous ne comparons donc pas RCT à SAINT (Somepalli et al. ., 2021).   Cet article est   sous licence CC BY-NC-ND 4.0 DEED. disponible sur arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Publications in convolution, driving breakthroughs in signal processing and artificial intelligence.

Convolution's blog

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Boost your HackerNoon story @ $159.99! 🚀

Dévoiler le pouvoir de l’auto-attention pour la prévision des coûts d’expédition : travaux connexes

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Des forums aux flux : comment les algorithmes des réseaux sociaux façonnent l'interaction numérique

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Des forums aux flux : comment les algorithmes des réseaux sociaux façonnent l'interaction numérique

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps