tác giả:  (1) P Aditya Sreekar, Amazon và các tác giả này đã đóng góp như nhau cho tác phẩm này {sreekarp@amazon.com};  (2) Sahil Verm, Amazon và các tác giả này đã đóng góp như nhau cho tác phẩm này {vrsahil@amazon.com;}  (3) Varun Madhavan, Viện Công nghệ Ấn Độ, Kharagpur. Công việc được thực hiện trong thời gian thực tập tại Amazon {varunmadhavan@iitkgp.ac.in};  (4) Abhishek Persad, Amazon {persadap@amazon.com}.  Bảng liên kết   Tóm tắt và giới thiệu   Tác phẩm liên quan   Phương pháp luận   Cuộc thí nghiệm   Kết luận và công việc tương lai   Người giới thiệu  3. Phương pháp luận  3.1. Báo cáo vấn đề   3.2. Lý lịch  Kiến trúc Transformer (Vaswani và cộng sự, 2017) được xây dựng bằng cách xếp chồng nhiều khối bộ mã hóa, trong đó mỗi khối lấy một chuỗi các phần nhúng làm đầu vào và xuất ra một chuỗi các phần nhúng nhận biết ngữ cảnh. Khối bộ mã hóa bao gồm một lớp tự chú ý nhiều đầu (MHSA), theo sau là lớp chuyển tiếp nguồn cấp dữ liệu theo vị trí, với các kết nối còn lại và định mức lớp trước mỗi lớp. Lớp MHSA bao gồm nhiều đơn vị tự chú ý được gọi là đầu, học các tương tác giữa các phần nhúng đầu vào.   Sau đó, chuỗi đầu ra được truyền đệ quy qua các lớp mã hóa tiếp theo, cho phép mỗi lớp kế tiếp tìm hiểu các tương tác tính năng bậc cao hơn. Độ sâu của máy biến áp kiểm soát độ phức tạp của cách biểu diễn đã học, vì các lớp sâu hơn nắm bắt các tương tác phức tạp hơn giữa các tính năng. Hơn nữa, nhiều đầu tự chú ý được sử dụng trong MHSA, cho phép mỗi đầu tham gia vào các không gian con đối tượng địa lý khác nhau và tìm hiểu các tương tác giữa chúng, học tập tích lũy nhiều nhóm tương tác đối tượng độc lập.  3.3. Máy biến áp thẻ giá  Thẻ giá của gói bao gồm nhiều loại tính năng, cụ thể là chiều, tuyến đường, dịch vụ, mặt hàng và phí (Hình 1a), trong đó mỗi loại tính năng bao gồm nhiều tính năng số và phân loại. Các tính năng chiều, tuyến đường và dịch vụ được gọi là các loại tính năng có độ dài cố định, bởi vì mỗi loại có một số tính năng cố định. Các loại tính năng có độ dài cố định được nhúng vào một chuỗi mã thông báo bằng cách sử dụng lớp nhúng hỗn hợp (MEL). Ví dụ: các đặc điểm thứ nguyên d ∈ S[md, nd] được nhúng vào chuỗi mã thông báo d-chiều có độ dài md + nd. MEL chứa nhiều khối nhúng, một khối cho mỗi tính năng trong loại tính năng được nhúng. Các bảng tra cứu nhúng được sử dụng để nhúng các tính năng phân loại, trong khi các tính năng số được nhúng bằng cách sử dụng các khối nhúng liên tục, như đã giới thiệu trong (Gorishniy và cộng sự, 2021).   Chuỗi mã thông báo tính năng được chuyển làm đầu vào cho một nhóm các lớp mã hóa L Transformer có khả năng tìm hiểu các tương tác phức tạp, bậc cao hơn giữa các tính năng. Cuối cùng, đầu ra của Máy biến áp gộp được đưa đến lớp tiếp liệu để dự đoán chi phí vận chuyển Cˆ như trong Hình 1b.  Chúng tôi gọi kiến trúc hoàn chỉnh là Bộ chuyển đổi thẻ giá (RCT). Được đào tạo để giảm thiểu tổn thất L1 giữa chi phí vận chuyển dự đoán và thực tế (Phương trình 3), RCT tìm hiểu cách trình bày hiệu quả của thẻ giá động cho phép dự đoán chính xác chi phí vận chuyển.   Bài viết này   theo giấy phép CC BY-NC-ND 4.0 DEED. có sẵn trên arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Publications in convolution, driving breakthroughs in signal processing and artificial intelligence.

Convolution's blog

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Khám phá sức mạnh của sự chú ý trong việc dự đoán chi phí vận chuyển: Phương pháp luận

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

72 Stories To Learn About Adam Smith

309 Stories To Learn About Smart Contracts

72 Stories To Learn About The Essays Of Adam Smith

287 Stories To Learn About Blockchain Development

72 Stories To Learn About Adam Smith

309 Stories To Learn About Smart Contracts

72 Stories To Learn About The Essays Of Adam Smith

287 Stories To Learn About Blockchain Development

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps