Dévoiler le pouvoir de l’auto-attention pour la prévision des coûts d’expédition : conclusion et travaux futurs

Tableau des liens

• Résumé et introduction
• Travaux connexes
• Méthodologie
• Expérience
• Conclusion et travaux futurs
• Les références

5. Conclusion et travaux futurs

Dans cet article, nous avons présenté un nouveau cadre basé sur l'architecture Transformer pour prédire les coûts d'expédition au jour 0. Notre cadre proposé code les attributs d'expédition d'un colis, c'est-à-dire la grille tarifaire du colis, dans un espace d'intégration uniforme. Ces intégrations sont ensuite transmises à une couche Transformer, qui modélise des interactions complexes d'ordre supérieur et apprend une représentation efficace de la grille tarifaire du colis pour prédire les coûts d'expédition. Nos résultats expérimentaux démontrent que le modèle proposé, appelé RCT, surpasse le modèle GBDT de 28,8 %. De plus, démontrez que le RCT fonctionne mieux que le modèle SOTA FT-Transformer pour notre énoncé du problème. Nous montrons également que lorsque la représentation de la grille tarifaire apprise par RCT est ajoutée au modèle GBDT, ses performances sont améliorées de 12,51 %. Cela souligne le fait que RCT est capable d’apprendre des représentations suffisantes des informations de la grille tarifaire.

Dans ce travail, les informations d'itinéraire utilisées étaient limitées aux seuls nœuds de début et de fin. Des travaux futurs pourraient explorer l’utilisation des réseaux de neurones graphiques pour coder des informations sur l’itinéraire complet. En outre, les performances du RCT pourraient être améliorées en explorant des moyens d'inclure l'ID d'élément en tant que fonctionnalité, comme l'utilisation d'intégrations d'éléments disponibles en interne.

De plus, alors que le RCT a été formé pour prédire uniquement le coût du navire, il peut être modifié pour prédire tous les attributs de la facture en ajoutant une couche de décodeur Transformer. Cela permettrait d’autres applications comme la détection des anomalies de facture. De plus, des recherches futures pourraient déterminer si les représentations de packages apprises par le RCT peuvent être utilisées pour améliorer les performances d'autres tâches connexes ou pour quantifier l'incertitude du modèle dans chaque prédiction via des approches telles que celle proposée dans Amini et al. (2019).