Die Macht der Selbstaufmerksamkeit zur Vorhersage von Versandkosten enthüllen: Referenzen

Linktabelle

• Zusammenfassung und Einleitung
• Verwandte Arbeiten
• Methodik
• Experiment
• Schlussfolgerung und zukünftige Arbeit
• Verweise

Verweise

Alexander Amini, Wilko Schwarting, Ava Soleimany und Daniela Rus. Deep evidenced regression. CoRR, abs/1910.02600, 2019. URL http://arxiv.org/abs/1910.02600.

Sercan O Arik, Engin Gedik, Kenan Guney und Umut Atilla. Tabnet: Aufmerksames interpretierbares tabellarisches Lernen. In Advances in Neural Information Processing Systems, Seiten 10951–10961, 2019.

Christopher M Bishop. Mustererkennung und maschinelles Lernen. In Springer, Kapitel 2, Seiten 36–43. 2006.

Leo Breiman. Zufallswälder. Maschinelles Lernen, 45(1):5–32, 2001.

Jintai Chen, Kuanlun Liao, Yao Wan, Danny Z Chen und Jian Wu. Danets: Tiefe abstrakte Netzwerke für die Klassifizierung und Regression tabellarischer Daten. In Proceedings of the AAAI Conference on Artificial Intelligence, Band 36, Seiten 3930–3938, 2022.

Tianqi Chen und Carlos Guestrin. Xgboost: Ein skalierbares Tree-Boosting-System. Proceedings der 22. ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Seiten 785–794, 2016.

Jacob Devlin, Ming-Wei Chang, Kenton Lee und Kristina Toutanova. BERT: Vortraining tiefer bidirektionaler Transformatoren zum Sprachverständnis. In Jill Burstein, Christy Doran und Thamar Solorio, Herausgeber, Proceedings der Konferenz 2019 des nordamerikanischen Kapitels der Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, 2.-7. Juni 2019, Band 1 (Lang- und Kurzbeiträge), Seiten 4171–4186. Association for Computational Linguistics, 2019. doi: 10.18653/v1/n19-1423. URL https://doi.org/10.18653/v1/n19-1423.

Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit und Neil Houlsby. Ein Bild sagt mehr als 16 x 16 Wörter: Transformatoren für die Bilderkennung im großen Maßstab. ^ "ICLR, 2021".

Nick Erickson, Jonas Mueller, Alexander Shirkov, Hang Zhang, Pedro Larroy, Mu Li und Alexander Smola. Autogluon-tabular: Robustes und genaues AutoML für strukturierte Daten, 2020.

William Falcon und das PyTorch Lightning-Team. PyTorch Lightning, 3 2019. URL https://github.com/Lightning-AI/lightning.

Jerome H Friedman. Greedy-Funktionsapproximation: eine Gradient-Boosting-Maschine. Annals of Statistics, Seiten 1189–1232, 2001.

Yuan Gong, Yu-An Chung und James Glass. AST: Audio Spectrogram Transformer. In Proc. Interspeech 2021, Seiten 571–575, 2021. doi: 10.21437/Interspeech.2021-698.

Yury Gorishniy, Ivan Rubachev, Valentin Khrulkov und Artem Babenko. Überarbeitung von Deep-Learning-Modellen für tabellarische Daten. Advances in Neural Information Processing Systems, 34:18932–18943, 2021.

Trevor Hastie, Robert Tibshirani und Jerome Friedman. Die Elemente des statistischen Lernens: Data Mining, Inferenz und Vorhersage. Springer Science & Business Media, 2009.

Hussein Hazimeh, Natalia Ponomareva, Petros Mol, Zhenyu Tan und Rahul Mazumder. Die Baumensemble-Schicht: Differenzierbarkeit trifft auf bedingte Berechnung. In International Conference on Machine Learning, Seiten 4138–4148. PMLR, 2020.

Xin Huang, Ashish Khetan, Milan Cvitkovic und Zohar Karnin. Tabtransformer: Tabellarische Datenmodellierung mithilfe kontextueller Einbettungen. arXiv-Preprint arXiv:2012.06678, 2020.

Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye und Tie-Yan Liu. Lightgbm: Ein hocheffizienter Gradient-Boosting-Entscheidungsbaum. Advances in Neural Information Processing Systems, 30:3146–3154, 2017.

Diederik P Kingma und Jimmy Ba. Adam: Eine Methode zur stochastischen Optimierung. arXiv-Preprint arXiv:1412.6980, 2014.

Daniele Micci-Barreca. Ein Vorverarbeitungsschema für kategorische Attribute mit hoher Kardinalität bei Klassifizierungs- und Vorhersageproblemen. SIGKDD Explor. Newsl., 3(1):27–32, Juli 2001. ISSN 1931-0145. doi: 10.1145/507533.507538. URL https://doi.org/10.1145/507533. 507538.

Sergei Popov, Stanislav Morozov und Artem Babenko. Neurale oblivious decision ensembles für Deep Learning auf tabellarischen Daten. arXiv-Preprint arXiv:1909.06312, 2019.

Liudmila Prokhorenkova, Gleb Gusev, Alexey Vorobev, Anna Dorogush und Andrey Gulin. Catboost: unvoreingenommenes Boosting mit kategorialen Merkmalen. Advances in Neural Information Processing Systems, 31:6638–6648, 2018.

Gowthami Somepalli, Micah Goldblum, Avi Schwarzschild, C Bayan Bruss und Tom Goldstein. Saint: Verbesserte neuronale Netzwerke für tabellarische Daten durch Zeilenaufmerksamkeit und kontrastives Vortraining. arXiv-Preprint arXiv:2106.01342, 2021.

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser und Illia Polosukhin. Aufmerksamkeit ist alles, was Sie brauchen. In Advances in Neural Information Processing Systems, Seiten 5998–6008, 2017.