Авторы:
(1) П. Адитья Шрикар, Amazon и эти авторы внесли равный вклад в эту работу {[email protected]};
(2) Сахил Верм, Amazon и эти авторы внесли равный вклад в эту работу {[email protected];}
(3) Варун Мадхаван, Индийский технологический институт, Харагпур. Работа, выполненная во время стажировки в Amazon {[email protected]};
(4) Абхишек Персад, Amazon {[email protected]}.
Александр Амини, Вилко Швартинг, Ава Сулеймани и Даниэла Рус. Глубокая доказательная регрессия. CoRR, abs/1910.02600, 2019. URL http://arxiv.org/abs/1910.02600.
Серкан О Арик, Энгин Гедик, Кенан Гюней и Умут Атилла. Tabnet: Внимательное интерпретируемое табличное обучение. В «Достижениях в области нейронных систем обработки информации», страницы 10951–10961, 2019 г.
Кристофер М. Бишоп. Распознавание образов и машинное обучение. В Springer, глава 2, страницы 36–43. 2006.
Лео Брейман. Случайные леса. Машинное обучение, 45(1):5–32, 2001.
Цзиньтай Чен, Куанлунь Ляо, Яо Ван, Дэнни Цзы Чен и Цзянь Ву. Данец: Глубокие абстрактные сети для классификации и регрессии табличных данных. В материалах конференции AAAI по искусственному интеллекту, том 36, страницы 3930–3938, 2022 г.
Тяньци Чен и Карлос Гестрин. Xgboost: масштабируемая система улучшения деревьев. Материалы 22-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных, страницы 785–794, 2016 г.
Джейкоб Девлин, Минг-Вэй Чанг, Кентон Ли и Кристина Тутанова. BERT: предварительная подготовка глубоких двунаправленных преобразователей для понимания языка. Джилл Берштейн, Кристи Доран и Тамар Солорио, редакторы, Труды конференции Североамериканского отделения Ассоциации компьютерной лингвистики 2019 года: технологии человеческого языка, NAACL-HLT 2019, Миннеаполис, Миннесота, США, 2-7 июня, 2019, том 1 (длинные и короткие статьи), страницы 4171–4186. Ассоциация компьютерной лингвистики, 2019. doi: 10.18653/v1/n19-1423. URL https://doi.org/10.18653/v1/n19-1423.
Алексей Досовицкий, Лукас Байер, Александр Колесников, Дирк Вайсенборн, Сяохуа Чжай, Томас Унтертинер, Мостафа Дегани, Матиас Миндерер, Георг Хейгольд, Сильвен Гелли, Якоб Ушкорайт и Нил Хоулсби. Изображение стоит 16x16 слов: Трансформаторы для распознавания изображений в масштабе. ИКЛР, 2021.
Ник Эриксон, Йонас Мюллер, Александр Ширков, Хан Чжан, Педро Ларрой, Му Ли и Александр Смола. Автоглюон-табличный: надежный и точный автомат для структурированных данных, 2020.
Уильям Фалькон и команда PyTorch Lightning. PyTorch Lightning, 3 2019 г. URL https: //github.com/Lightning-AI/lightning.
Джером Х. Фридман. Аппроксимация жадной функции: машина повышения градиента. Анналы статистики, страницы 1189–1232, 2001 г.
Юань Гун, Ю-Ань Чунг и Джеймс Гласс. AST: преобразователь аудиоспектрограмм. В Proc. Interspeech 2021, страницы 571–575, 2021. doi: 10.21437/Interspeech.2021-698.
Юрий Горишный, Иван Рубачев, Валентин Хрульков и Артем Бабенко. Пересмотр моделей глубокого обучения для табличных данных. Достижения в области нейронных систем обработки информации, 34: 18932–18943, 2021.
Тревор Хэсти, Роберт Тибширани и Джером Фридман. Элементы статистического обучения: интеллектуальный анализ данных, логические выводы и прогнозирование. Springer Science & Business Media, 2009.
Хусейн Хазиме, Наталья Пономарева, Петрос Мол, Женью Тан и Рахул Мазумдер. Слой ансамбля деревьев: дифференцируемость соответствует условным вычислениям. На Международной конференции по машинному обучению, страницы 4138–4148. ПМЛР, 2020.
Синь Хуан, Ашиш Кетан, Милан Цвиткович и Зохар Карнин. Tabtransformer: моделирование табличных данных с использованием контекстных вложений. Препринт arXiv arXiv:2012.06678, 2020.
Гуолинь Кэ, Ци Мэн, Томас Финли, Тайфэн Ван, Вэй Чен, Вэйдун Ма, Цивэй Е и Те-Янь Лю. Lightgbm: высокоэффективное дерево решений для повышения градиента. Достижения в области нейронных систем обработки информации, 30:3146–3154, 2017.
Дидерик П. Кингма и Джимми Ба. Адам: Метод стохастической оптимизации. Препринт arXiv arXiv:1412.6980, 2014.
Даниэле Микки-Баррека. Схема предварительной обработки категориальных атрибутов высокой мощности в задачах классификации и прогнозирования. SIGKDD Эксплорер. Newsl., 3(1):27–32, июль 2001 г. ISSN 1931-0145. дои: 10.1145/507533.507538. URL https://doi.org/10.1145/507533. 507538.
Сергей Попов, Станислав Морозов и Артем Бабенко. Нейронные ансамбли решений без внимания для глубокого обучения табличным данным. Препринт arXiv arXiv:1909.06312, 2019.
Людмила Прохоренкова, Глеб Гусев, Алексей Воробьев, Анна Дорогагуш и Андрей Гулин. Catboost: объективное повышение с категориальными характеристиками. Достижения в области нейронных систем обработки информации, 31: 6638–6648, 2018.
Гаутами Сомепалли, Мика Голдблюм, Ави Шварцшильд, Си Баян Брюсс и Том Гольдштейн. Сэйнт: Улучшенные нейронные сети для табличных данных за счет внимания к строкам и контрастного предварительного обучения. Препринт arXiv arXiv:2106.01342, 2021.
Ашиш Васвани, Ноам Шазир, Ники Пармар, Якоб Ушкорейт, Лайон Джонс, Эйдан Н Гомес, Лукаш Кайзер и Илья Полосухин. Внимание – это все, что вам нужно. В «Достижениях в области нейронных систем обработки информации», страницы 5998–6008, 2017 г.
Этот документ доступен на arxiv под лицензией CC BY-NC-ND 4.0 DEED.