著者:  （1）P Aditya Sreekar、Amazonおよびこれらの著者は、この研究に等しく貢献しました{sreekarp@amazon.com}。  （２）Sahil Verm、Amazon、およびこれらの著者は、この研究に等しく貢献しました {vrsahil@amazon.com;}  （３）Varun Madhavan、インド工科大学カラグプル校。アマゾンでのインターンシップ中に取り組んだ仕事 {varunmadhavan@iitkgp.ac.in}  （4）アビシェーク・ペルサド、Amazon {persadap@amazon.com}。 リンク一覧 概要と序論 関連事業 方法論 実験 結論と今後の課題 参考文献 2. 関連研究 ツリーベースのアルゴリズムは、表形式データの機械学習で広く使用されています。決定木は、軸に沿った超平面に基づいてデータを複数の部分に再帰的に分割します (Hastie 他、2009)。ランダム フォレスト (RF) (Breiman、2001) と勾配ブースト決定木 (GBDT) (Friedman、2001) は、最も一般的に使用されているツリーベースのアンサンブルです。RF は、データのランダムなサブセットに複数の決定木を適合させ、予測を平均化/ポーリングして、決定木の過剰適合特性を軽減します。GBDT、XGBoost (Chen および Guestrin、2016)、および CatBoost (Prokhorenkova 他、2018) は、ブーストされたアンサンブル モデルであり、決定木を順次構築して、以前のツリーによるエラーを修正し、非線形関係を持つ複雑なデータセットでのパフォーマンスを向上させます。 最近、表形式データのディープラーニング モデルに大きな関心が集まっています。一部の方法では、決定木で使用される決定関数の微分可能な近似を導入して、決定木を微分可能にしています (Hazimeh ら、2020 年、Popov ら、2019 年)。これらの方法は、いくつかの問題ステートメントに対して純粋なツリーベースの問題よりも優れていますが、一貫して優れているわけではありません (Gorishniy ら、2021 年)。他の方法では、アテンション メカニズムを使用して DL 手法を表形式データに適応させています (Arik ら、2019 年、Huang ら、2020 年、Gorishniy ら、2021 年、Somepalli ら、2021 年、Chen ら、2022 年)。TabNet (Arik ら、2019 年) は、決定木の再帰分割を模倣するために複数のレイヤーに積み重ねられたスパース アテンション メカニズムを提案しています。多くのドメイン (Devlin et al., 2019; Dosovitskiy et al., 2021; Gong et al., 2021) での自己注意トランスフォーマー (Vaswani et al., 2017) の成功に触発されて、TabTransformer (Huang et al., 2020)、FT-Transformer (Gorishniy et al., 2021)、SAINT (Somepalli et al., 2021) などの方法が提案されました。TabTransformer は、すべてのカテゴリ変数を統一された埋め込み空間に埋め込み、カテゴリ埋め込みの文は自己注意トランスフォーマーレイヤーを通過します。FT-Transformer は、連続埋め込みを使用して数値特徴にも注意を払うことでこれをさらに拡張します。SAINT は、バッチのサンプル間の相互作用をキャプチャする新しい種類の注意を提案することで、FT-Transformer を基盤としています。ただし、サンプル間アテンションは、サンプル数と比較して次元数が多い場合にのみ有効であるため、SAINT は私たちの問題ステートメントに対して FT-Transformer よりも優れた利点を提供しません。したがって、RCT と SAINT を比較しません (Somepalli et al.、2021)。  この論文は、CC BY-NC-ND 4.0 DEED ライセンスの下で 。 arxiv で公開されています

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Publications in convolution, driving breakthroughs in signal processing and artificial intelligence.

Convolution's blog

このオーディオは、ストーリーの元の言語で制作されています。

長すぎる; 読むには

Boost your HackerNoon story @ $159.99! 🚀

配送コスト予測における自己注意の力を明らかにする: 関連研究

About Author

コメント

ラベル

この記事は

Related Stories

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

暗号通貨の成長: 効果的なユーザーペルソナの作成

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

暗号通貨の成長: 効果的なユーザーペルソナの作成

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps