শিপিং খরচ পূর্বাভাসের জন্য স্ব-মনোযোগের শক্তি উন্মোচন: সম্পর্কিত কাজ

লিঙ্কের টেবিল

• বিমূর্ত এবং ভূমিকা
• সম্পর্কিত কাজ
• পদ্ধতি
• পরীক্ষা
• উপসংহার এবং ভবিষ্যতের কাজ
• তথ্যসূত্র

2. সম্পর্কিত কাজ

ট্রি-ভিত্তিক অ্যালগরিদমগুলি ট্যাবুলার ডেটার জন্য মেশিন লার্নিংয়ে ব্যাপকভাবে ব্যবহৃত হয়। ডিসিশন ট্রিগুলি অক্ষ-সারিবদ্ধ হাইপার-প্লেনের উপর ভিত্তি করে ডেটাকে পুনরাবৃত্তভাবে একাধিক অংশে বিভক্ত করে (হাস্টি এট আল।, 2009)। র্যান্ডম ফরেস্ট (RF) (Breiman, 2001) এবং Gradient Boosted Decision Trees (GBDT) (Friedman, 2001) হল সবচেয়ে বেশি ব্যবহৃত গাছ ভিত্তিক ensembles। RF ডেটার এলোমেলো উপসেটগুলিতে একাধিক সিদ্ধান্ত গাছের সাথে ফিট করে এবং সিদ্ধান্ত গাছের ওভারফিটিং বৈশিষ্ট্যকে উপশম করার জন্য পূর্বাভাসগুলি গড়/পোল করে। GBDT, XGBoost (Chen and Guestrin, 2016), এবং CatBoost (Prokhorenkova et al., 2018) হল বুস্টেড এনসেম্বল মডেল যা পর্যায়ক্রমে পূর্ববর্তী গাছগুলির দ্বারা করা ত্রুটিগুলি সংশোধন করার জন্য সিদ্ধান্ত গাছ তৈরি করে, যা অ-রৈখিক সম্পর্কের সাথে জটিল ডেটাসেটগুলিতে উন্নত কর্মক্ষমতার দিকে পরিচালিত করে। .

সম্প্রতি, ট্যাবুলার ডেটার জন্য গভীর শিক্ষার মডেলগুলিতে প্রচুর আগ্রহ দেখা গেছে। কিছু পদ্ধতি ডিসিশন ট্রিতে ব্যবহৃত ডিসিশন ট্রিতে ব্যবহৃত ডিসিশন ফাংশনগুলির পার্থক্যযোগ্য আনুমানিক সূচনা করে যাতে সেগুলিকে আলাদা করা যায় (হাজিমেহ এট আল।, 2020; পপভ এট আল।, 2019)। এই পদ্ধতিগুলি কিছু সমস্যা বিবৃতির জন্য বিশুদ্ধ গাছ ভিত্তিক সমস্যাকে ছাড়িয়ে যায়, তবে, তারা ধারাবাহিকভাবে ভাল নয় (গোরিশ্নি এট আল।, 2021)। অন্যান্য পদ্ধতিগুলি ট্যাবুলার ডেটার সাথে DL পদ্ধতিগুলিকে খাপ খাইয়ে নিতে মনোযোগের প্রক্রিয়া ব্যবহার করেছে (Arik et al., 2019; Huang et al., 2020; Gorishniy et al., 2021; Somepalli et al., 2021; Chen et al., 2022)। TabNet (Arik et al., 2019) সিদ্ধান্ত গাছের পুনরাবৃত্তিমূলক বিভাজন অনুকরণ করার জন্য একাধিক স্তরে স্তুপীকৃত একটি বিক্ষিপ্ত মনোযোগ প্রক্রিয়া প্রস্তাব করে। অনেক ডোমেনে (Devlin et al., 2019; Dosovitskiy et al., 2021; Gong et al., 2021) পদ্ধতিতে TabTransformer (Huang et al. , 2020), FT-ট্রান্সফরমার (Gorishniy et al., 2021) এবং SAINT (Somepalli et al., 2021) প্রস্তাব করা হয়েছিল৷ ট্যাবট্রান্সফরমার সমস্ত শ্রেণীগত ভেরিয়েবলকে একটি ইউনিফাইড এমবেডিং স্পেসে এম্বেড করে এবং স্ব-মনোযোগ ট্রান্সফরমার স্তরগুলির মধ্য দিয়ে শ্রেণীবদ্ধ এম্বেডিংয়ের একটি বাক্য পাস করা হয়। FT-ট্রান্সফরমার ক্রমাগত এম্বেডিং ব্যবহার করে সংখ্যাসূচক বৈশিষ্ট্যগুলিতে যোগদান করে এটিকে আরও প্রসারিত করে। SAINT একটি নতুন ধরনের মনোযোগের প্রস্তাব করে FT-ট্রান্সফরমার তৈরি করে যা একটি ব্যাচের নমুনার মধ্যে মিথস্ক্রিয়া ক্যাপচার করে। যাইহোক, SAINT আমাদের সমস্যা বিবৃতির জন্য FT-ট্রান্সফরমারের উপর কোন সুবিধা প্রদান করে না, কারণ আন্তঃ নমুনা মনোযোগ তখনই কার্যকর হয় যখন নমুনার সংখ্যার তুলনায় মাত্রার সংখ্যা বেশি হয়, এইভাবে আমরা SAINT এর সাথে RCT-এর তুলনা করি না (Somepalli et al) ., 2021)।