Dévoiler le pouvoir de l’auto-attention pour la prévision des coûts d’expédition : références

Tableau des liens

• Résumé et introduction
• Travaux connexes
• Méthodologie
• Expérience
• Conclusion et travaux futurs
• Les références

Les références

Alexander Amini, Wilko Schwarting, Ava Soleimany et Daniela Rus. Régression probante profonde. CoRR, abs/1910.02600, 2019. URL http://arxiv.org/abs/1910.02600.

Sercan O Arik, Engin Gedik, Kenan Guney et Umut Atilla. Tabnet : apprentissage tabulaire interprétable et attentif. Dans Advances in Neural Information Processing Systems, pages 10951-10961, 2019.

Christopher M Bishop. Reconnaissance de formes et apprentissage automatique. Dans Springer, chapitre 2, pages 36 à 43. 2006.

Léo Breiman. Forêts aléatoires. Apprentissage automatique, 45(1):5-32, 2001.

Jintai Chen, Kuanlun Liao, Yao Wan, Danny Z Chen et Jian Wu. Danets : réseaux abstraits profonds pour la classification et la régression de données tabulaires. Dans Actes de la conférence AAAI sur l'intelligence artificielle, volume 36, pages 3930-3938, 2022.

Tianqi Chen et Carlos Guestrin. Xgboost : Un système de boosting d'arbres évolutif. Actes de la 22e Conférence internationale ACM SIGKDD sur la découverte des connaissances et l'exploration de données, pages 785-794, 2016.

Jacob Devlin, Ming-Wei Chang, Kenton Lee et Kristina Toutanova. BERT : pré-formation de transformateurs bidirectionnels profonds pour la compréhension du langage. Dans Jill Burstein, Christy Doran et Thamar Solorio, rédacteurs, Actes de la conférence 2019 du chapitre nord-américain de l'Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, États-Unis, 2-7 juin, 2019, volume 1 (articles longs et courts), pages 4171-4186. Association pour la linguistique informatique, 2019. est ce que je : 10.18653/v1/n19-1423. URL https://doi.org/10.18653/v1/n19-1423.

Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit et Neil Houlsby. Une image vaut 16x16 mots : des transformateurs pour la reconnaissance d'images à grande échelle. ICLR, 2021.

Nick Erickson, Jonas Mueller, Alexander Shirkov, Hang Zhang, Pedro Larroy, Mu Li et Alexander Smola. Autogluon-tabular : Automl robuste et précis pour les données structurées, 2020.

William Falcon et l'équipe PyTorch Lightning. PyTorch Lightning, 3 2019. URL https://github.com/Lightning-AI/lightning.

Jérôme H. Friedman. Approximation de fonctions gourmandes : une machine à booster de gradient. Annales de statistiques, pages 1189-1232, 2001.

Yuan Gong, Yu-An Chung et James Glass. AST : Transformateur de spectrogramme audio. Dans Proc. Interspeech 2021, pages 571 à 575, 2021. est ce que je : 10.21437/Interspeech.2021-698.

Yury Gorishniy, Ivan Rubachev, Valentin Khrulkov et Artem Babenko. Revisiter les modèles d'apprentissage profond pour les données tabulaires. Avancées dans les systèmes de traitement de l’information neuronale, 34 : 18932-18943, 2021.

Trevor Hastie, Robert Tibshirani et Jérôme Friedman. Les éléments de l'apprentissage statistique : exploration de données, inférence et prédiction. Springer Science & Business Médias, 2009.

Hussein Hazimeh, Natalia Ponomareva, Petros Mol, Zhenyu Tan et Rahul Mazumder. La couche d'ensemble d'arbres : la différentiabilité rencontre le calcul conditionnel. Dans Conférence internationale sur l'apprentissage automatique, pages 4138-4148. PMLR, 2020.

Xin Huang, Ashish Khetan, Milan Cvitkovic et Zohar Karnin. Tabtransformer : modélisation de données tabulaires à l'aide d'intégrations contextuelles. Préimpression arXiv arXiv :2012.06678, 2020.

Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye et Tie-Yan Liu. Lightgbm : un arbre de décision très efficace pour améliorer le gradient. Avancées des systèmes de traitement de l'information neuronale, 30 : 3146-3154, 2017.

Diederik P Kingma et Jimmy Ba. Adam : Une méthode d'optimisation stochastique. Préimpression arXiv arXiv : 1412.6980, 2014.

Daniele Micci-Barreca. Un schéma de prétraitement pour les attributs catégoriels à cardinalité élevée dans les problèmes de classification et de prédiction. SIGKDD Explorateur. Newsl., 3(1):27-32, juillet 2001. ISSN 1931-0145. est ce que je: 10.1145/507533.507538. URL https://doi.org/10.1145/507533. 507538.

Sergueï Popov, Stanislav Morozov et Artem Babenko. Ensembles de décisions neuronales inconscientes pour l'apprentissage en profondeur sur des données tabulaires. Préimpression arXiv arXiv : 1909.06312, 2019.

Liudmila Prokhorenkova, Gleb Gusev, Alexey Vorobev, Anna Dorogush et Andrey Gulin. Catboost : boosting impartial avec des fonctionnalités catégorielles. Avancées dans les systèmes de traitement de l'information neuronale, 31 : 6638-6648, 2018.

Gowthami Somepalli, Micah Goldblum, Avi Schwarzschild, C Bayan Bruss et Tom Goldstein. Saint : réseaux de neurones améliorés pour les données tabulaires via l'attention aux lignes et un pré-entraînement contrastif. Préimpression arXiv arXiv :2106.01342, 2021.

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser et Illia Polosukhin. L'attention est tout ce dont vous avez besoin. Dans Advances in Neural Information Processing Systems, pages 5998 à 6008, 2017.