Die Macht der Selbstaufmerksamkeit zur Vorhersage von Versandkosten enthüllen: Fazit und zukünftige Arbeit

Linktabelle

• Zusammenfassung und Einleitung
• Verwandte Arbeiten
• Methodik
• Experiment
• Schlussfolgerung und zukünftige Arbeit
• Verweise

5. Schlussfolgerung und zukünftige Arbeit

In diesem Artikel haben wir ein neuartiges Framework auf Basis der Transformer-Architektur zur Vorhersage von Versandkosten am Tag 0 vorgestellt. Unser vorgeschlagenes Framework kodiert Versandattribute eines Pakets, d. h. die Paketpreisliste, in einen einheitlichen Einbettungsraum. Diese Einbettungen werden dann durch eine Transformer-Schicht geleitet, die komplexe Interaktionen höherer Ordnung modelliert und eine effektive Darstellung der Paketpreisliste zur Vorhersage von Versandkosten lernt. Unsere experimentellen Ergebnisse zeigen, dass das vorgeschlagene Modell namens RCT das GBDT-Modell um 28,8 % übertrifft. Darüber hinaus zeigen wir, dass RCT für unsere Problemstellung eine bessere Leistung erbringt als das SOTA-Modell FT-Transformer. Wir zeigen auch, dass sich die Leistung des GBDT-Modells um 12,51 % verbessert, wenn die von RCT erlernte Preiskartendarstellung zum GBDT-Modell hinzugefügt wird. Dies unterstreicht die Tatsache, dass RCT in der Lage ist, ausreichende Darstellungen von Preiskarteninformationen zu erlernen.

In dieser Arbeit beschränkten sich die verwendeten Routeninformationen auf die Start- und Endknoten. Zukünftige Arbeiten könnten die Verwendung von Graph Neural Networks zur Kodierung von Informationen über die gesamte Route untersuchen. Darüber hinaus könnte die Leistung des RCT verbessert werden, indem Möglichkeiten untersucht werden, die Artikel-ID als Funktion einzubinden, z. B. durch die Verwendung von Artikeleinbettungen, die intern verfügbar sind.

Während das RCT darauf trainiert wurde, nur die Versandkosten vorherzusagen, kann es durch Hinzufügen einer Transformer-Decoderschicht so modifiziert werden, dass es alle Attribute der Rechnung vorhersagt. Dies würde andere Anwendungen wie die Erkennung von Rechnungsanomalien ermöglichen. Darüber hinaus könnte in zukünftigen Forschungsarbeiten untersucht werden, ob die vom RCT erlernten Paketdarstellungen verwendet werden können, um die Leistung anderer verwandter Aufgaben zu verbessern oder die Modellunsicherheit bei jeder Vorhersage über Ansätze wie den von Amini et al. (2019) vorgeschlagenen zu quantifizieren.