저자:  (1) P Aditya Sreekar, Amazon 및 이들 저자는 이 작업에 동등하게 기여했습니다 {sreekarp@amazon.com}.  (2) Sahil Verm, Amazon 및 이들 저자는 이 작업에 동등하게 기여했습니다. {vrsahil@amazon.com;}  (3) Varun Madhavan, 인도 공과대학, Kharagpur. Amazon {varunmadhavan@iitkgp.ac.in}에서 인턴십 중에 수행한 작업  (4) Abhishek Persad, Amazon {persadap@amazon.com}.  링크 표   초록 및 소개   관련 작품   방법론   실험   결론 및 향후 작업   참고자료  2. 관련 저작물  트리 기반 알고리즘은 표 형식 데이터의 기계 학습에 널리 사용됩니다. 의사결정 트리는 축 정렬 초평면을 기반으로 데이터를 여러 부분으로 반복적으로 분할합니다(Hastie et al., 2009). 랜덤 포레스트(RF)(Breiman, 2001) 및 Gradient Boosted Decision Trees(GBDT)(Friedman, 2001)는 가장 일반적으로 사용되는 트리 기반 앙상블입니다. RF는 데이터의 무작위 하위 집합에 여러 의사결정 트리를 맞추고 예측을 평균화/폴링하여 의사결정 트리의 과적합 특성을 완화합니다. GBDT, XGBoost(Chen and Guestrin, 2016) 및 CatBoost(Prokhorenkova et al., 2018)는 이전 트리에서 발생한 오류를 수정하기 위해 의사결정 트리를 순차적으로 구축하여 비선형 관계가 있는 복잡한 데이터 세트의 성능을 향상시키는 향상된 앙상블 모델입니다. .  최근 테이블 형식 데이터에 대한 딥러닝 모델에 대한 관심이 높아지고 있습니다. 일부 방법에서는 의사결정 트리에 사용되는 의사결정 함수의 미분 가능한 근사치를 도입하여 이를 차별화 가능하게 만듭니다(Hazimeh et al., 2020; Popov et al., 2019). 이러한 방법은 일부 문제 설명에 대해 순수 트리 기반 문제보다 성능이 뛰어나지만 일관되게 더 나은 것은 아닙니다(Gorishniy et al., 2021). 다른 방법에서는 DL 방법을 표 형식 데이터에 적용하기 위해 주의 메커니즘을 사용했습니다(Arik et al., 2019; Huang et al., 2020; Gorishniy et al., 2021; Somepalli et al., 2021; Chen et al., 2022). TabNet(Arik et al., 2019)은 의사결정 트리의 재귀적 분할을 모방하기 위해 여러 계층에 쌓인 희소 주의 메커니즘을 제안합니다. TabTransformer(Huang et al. , 2020), FT-Transformer(Gorishniy et al., 2021) 및 SAINT(Somepalli et al., 2021)가 제안되었습니다. TabTransformer는 모든 범주형 변수를 통합 임베딩 공간에 포함하고, 범주형 임베딩 문장은 self-attention 변환기 레이어를 통해 전달됩니다. FT-Transformer는 연속 임베딩을 사용하여 수치적 특징에도 주의를 기울여 이를 더욱 확장합니다. SAINT는 배치 샘플 간의 상호 작용을 포착하는 새로운 종류의 Attention을 제안하여 FT-Transformer를 기반으로 합니다. 그러나 SAINT는 문제 설명에서 FT-Transformer에 비해 어떤 이점도 제공하지 않습니다. 샘플 간 주의는 샘플 수에 비해 차원 수가 더 높을 때만 효과적이므로 RCT를 SAINT와 비교하지 않습니다(Somepalli et al ., 2021).   이 문서는 CC BY-NC-ND 4.0 DEED 라이센스에 따라   있습니다. arxiv에서 볼 수

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Publications in convolution, driving breakthroughs in signal processing and artificial intelligence.

Convolution's blog

이 오디오는 이야기의 원래 언어로 제작되었습니다!

배송비 예측을 위한 자기주의의 힘 공개: 관련 연구

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

텔레그램: 크립토 아일랜드에서 본토로 연결되는 다리

탭하여 수익 창출: 텔레그램에서 솔라나 이전에 100억 명의 암호화폐 사용자를 확보할 수 있음

보이지 않는 레이어: 사용자 인터뷰가 대체할 수 없는 자산인 이유

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

텔레그램: 크립토 아일랜드에서 본토로 연결되는 다리

탭하여 수익 창출: 텔레그램에서 솔라나 이전에 100억 명의 암호화폐 사용자를 확보할 수 있음

보이지 않는 레이어: 사용자 인터뷰가 대체할 수 없는 자산인 이유

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps