Khám phá sức mạnh của sự chú ý trong việc dự đoán chi phí vận chuyển: Phương pháp luận

Bảng liên kết

• Tóm tắt và giới thiệu
• Tác phẩm liên quan
• Phương pháp luận
• Cuộc thí nghiệm
• Kết luận và công việc tương lai
• Người giới thiệu

3. Phương pháp luận

3.1. Báo cáo vấn đề

3.2. Lý lịch

Kiến trúc Transformer (Vaswani và cộng sự, 2017) được xây dựng bằng cách xếp chồng nhiều khối bộ mã hóa, trong đó mỗi khối lấy một chuỗi các phần nhúng làm đầu vào và xuất ra một chuỗi các phần nhúng nhận biết ngữ cảnh. Khối bộ mã hóa bao gồm một lớp tự chú ý nhiều đầu (MHSA), theo sau là lớp chuyển tiếp nguồn cấp dữ liệu theo vị trí, với các kết nối còn lại và định mức lớp trước mỗi lớp. Lớp MHSA bao gồm nhiều đơn vị tự chú ý được gọi là đầu, học các tương tác giữa các phần nhúng đầu vào.

Sau đó, chuỗi đầu ra được truyền đệ quy qua các lớp mã hóa tiếp theo, cho phép mỗi lớp kế tiếp tìm hiểu các tương tác tính năng bậc cao hơn. Độ sâu của máy biến áp kiểm soát độ phức tạp của cách biểu diễn đã học, vì các lớp sâu hơn nắm bắt các tương tác phức tạp hơn giữa các tính năng. Hơn nữa, nhiều đầu tự chú ý được sử dụng trong MHSA, cho phép mỗi đầu tham gia vào các không gian con đối tượng địa lý khác nhau và tìm hiểu các tương tác giữa chúng, học tập tích lũy nhiều nhóm tương tác đối tượng độc lập.

3.3. Máy biến áp thẻ giá

Thẻ giá của gói bao gồm nhiều loại tính năng, cụ thể là chiều, tuyến đường, dịch vụ, mặt hàng và phí (Hình 1a), trong đó mỗi loại tính năng bao gồm nhiều tính năng số và phân loại. Các tính năng chiều, tuyến đường và dịch vụ được gọi là các loại tính năng có độ dài cố định, bởi vì mỗi loại có một số tính năng cố định. Các loại tính năng có độ dài cố định được nhúng vào một chuỗi mã thông báo bằng cách sử dụng lớp nhúng hỗn hợp (MEL). Ví dụ: các đặc điểm thứ nguyên d ∈ S[md, nd] được nhúng vào chuỗi mã thông báo d-chiều có độ dài md + nd. MEL chứa nhiều khối nhúng, một khối cho mỗi tính năng trong loại tính năng được nhúng. Các bảng tra cứu nhúng được sử dụng để nhúng các tính năng phân loại, trong khi các tính năng số được nhúng bằng cách sử dụng các khối nhúng liên tục, như đã giới thiệu trong (Gorishniy và cộng sự, 2021).

Chuỗi mã thông báo tính năng được chuyển làm đầu vào cho một nhóm các lớp mã hóa L Transformer có khả năng tìm hiểu các tương tác phức tạp, bậc cao hơn giữa các tính năng. Cuối cùng, đầu ra của Máy biến áp gộp được đưa đến lớp tiếp liệu để dự đoán chi phí vận chuyển Cˆ như trong Hình 1b.

Chúng tôi gọi kiến trúc hoàn chỉnh là Bộ chuyển đổi thẻ giá (RCT). Được đào tạo để giảm thiểu tổn thất L1 giữa chi phí vận chuyển dự đoán và thực tế (Phương trình 3), RCT tìm hiểu cách trình bày hiệu quả của thẻ giá động cho phép dự đoán chính xác chi phí vận chuyển.