배송비 예측을 위한 자기주의의 힘 공개: 관련 연구

링크 표

• 초록 및 소개
• 관련 작품
• 방법론
• 실험
• 결론 및 향후 작업
• 참고자료

2. 관련 저작물

트리 기반 알고리즘은 표 형식 데이터의 기계 학습에 널리 사용됩니다. 의사결정 트리는 축 정렬 초평면을 기반으로 데이터를 여러 부분으로 반복적으로 분할합니다(Hastie et al., 2009). 랜덤 포레스트(RF)(Breiman, 2001) 및 Gradient Boosted Decision Trees(GBDT)(Friedman, 2001)는 가장 일반적으로 사용되는 트리 기반 앙상블입니다. RF는 데이터의 무작위 하위 집합에 여러 의사결정 트리를 맞추고 예측을 평균화/폴링하여 의사결정 트리의 과적합 특성을 완화합니다. GBDT, XGBoost(Chen and Guestrin, 2016) 및 CatBoost(Prokhorenkova et al., 2018)는 이전 트리에서 발생한 오류를 수정하기 위해 의사결정 트리를 순차적으로 구축하여 비선형 관계가 있는 복잡한 데이터 세트의 성능을 향상시키는 향상된 앙상블 모델입니다. .

최근 테이블 형식 데이터에 대한 딥러닝 모델에 대한 관심이 높아지고 있습니다. 일부 방법에서는 의사결정 트리에 사용되는 의사결정 함수의 미분 가능한 근사치를 도입하여 이를 차별화 가능하게 만듭니다(Hazimeh et al., 2020; Popov et al., 2019). 이러한 방법은 일부 문제 설명에 대해 순수 트리 기반 문제보다 성능이 뛰어나지만 일관되게 더 나은 것은 아닙니다(Gorishniy et al., 2021). 다른 방법에서는 DL 방법을 표 형식 데이터에 적용하기 위해 주의 메커니즘을 사용했습니다(Arik et al., 2019; Huang et al., 2020; Gorishniy et al., 2021; Somepalli et al., 2021; Chen et al., 2022). TabNet(Arik et al., 2019)은 의사결정 트리의 재귀적 분할을 모방하기 위해 여러 계층에 쌓인 희소 주의 메커니즘을 제안합니다. TabTransformer(Huang et al. , 2020), FT-Transformer(Gorishniy et al., 2021) 및 SAINT(Somepalli et al., 2021)가 제안되었습니다. TabTransformer는 모든 범주형 변수를 통합 임베딩 공간에 포함하고, 범주형 임베딩 문장은 self-attention 변환기 레이어를 통해 전달됩니다. FT-Transformer는 연속 임베딩을 사용하여 수치적 특징에도 주의를 기울여 이를 더욱 확장합니다. SAINT는 배치 샘플 간의 상호 작용을 포착하는 새로운 종류의 Attention을 제안하여 FT-Transformer를 기반으로 합니다. 그러나 SAINT는 문제 설명에서 FT-Transformer에 비해 어떤 이점도 제공하지 않습니다. 샘플 간 주의는 샘플 수에 비해 차원 수가 더 높을 때만 효과적이므로 RCT를 SAINT와 비교하지 않습니다(Somepalli et al ., 2021).