Tìm hiểu về Rào cản thoát trong Hệ thống đề xuất của Amazon

Bảng liên kết

Tóm tắt và giới thiệu

Văn học trước đây

Phương pháp và dữ liệu

Kết quả

Thảo luận

Kết luận và tài liệu tham khảo

A. Xác nhận các giả định

B. Các Model Khác

C. Các bước tiền xử lý

3 phương pháp và dữ liệu

3.1 Xác định rào cản thoát

Ở cấp độ cao, Rào cản thoát ra đo lường mức độ nỗ lực mà người dùng phải bỏ ra để báo hiệu rằng sở thích của họ đã thay đổi (Rakova & Chowdhury, 2019). Nó được xác định theo mức độ thay đổi tùy chọn được tiết lộ của người dùng đối với một danh mục cụ thể giữa các ngưỡng tương tác. Trong phần này, chúng tôi sẽ thúc đẩy trực giác về Rào cản thoát ra cũng như chính thức hóa khái niệm này trong bối cảnh hệ thống đề xuất của Amazon.

Để hiểu vai trò của Rào cản thoát ra và cách tính toán nó từ xếp hạng, chúng ta hãy xem xét sơ đồ về sự tương tác giữa người dùng và hệ thống đề xuất (“Mô hình AI”) như trong Hình 1.

Cả hai sơ đồ (a) và (b) đều hiển thị các vòng phản hồi với người dùng và mô hình tương ứng với tư cách là “người giám sát”. Vị trí kề nhau cho thấy sự tương tác hai mặt như được lập luận trong Jiang et al. (2019). Sơ đồ có nhiều phần tử: µ là sự quan tâm của người dùng, Θ là Mô hình, α là các đề xuất được hiển thị và c là các tùy chọn được tiết lộ (tức là tín hiệu mà mô hình sử dụng để cập nhật các đề xuất). Các chỉ số dưới biểu thị dấu thời gian đi từ trái sang phải.

Mặc dù sơ đồ hoạt động như một khung khái niệm để hiểu sự tương tác, nhưng chúng ta phải xem xét phần nào chúng ta có thể đo lường và phần nào chúng ta cần lập mô hình. Rakova và Chowdhury (2019) lập luận rằng chỉ bằng cách phân tích mức độ thay đổi sở thích được tiết lộ theo thời gian, chúng ta có thể tính toán thước đo về nỗ lực cần thiết để thay đổi sở thích; Rào cản thoát ra.

Lưu ý rằng mặc dù vòng phản hồi tổng thể liên quan đến toàn bộ mô hình, Rào cản để thoát được xác định cho mỗi danh mục. Danh mục có thể là các thể loại, chẳng hạn như "Phim kinh dị" hoặc "Khoa học viễn tưởng" hoặc các loại sách như "Tự lực" hoặc "Sách nấu ăn". Mỗi cuốn sách có thể có nhiều loại.

Mức độ liên quan của danh mục không phải là tính năng tự động có sẵn trong dữ liệu của chúng tôi (xem 3.2). Ngược lại, Rakova và Chowdhury (2019) sử dụng tập dữ liệu MovieLens (Harper & Konstan, 2016), trong đó mức độ liên quan của danh mục đã được chú thích thủ công cho một tập hợp con dữ liệu. Điều này cho phép sử dụng phương pháp học có giám sát (bán) để chú thích phần còn lại của dữ liệu (ví dụ Kipf & Welling, 2017).

Thật không may, dữ liệu của Amazon không có nhãn. Thay vào đó, chúng tôi sử dụng phương pháp tiếp cận không giám sát dựa trên sự xuất hiện đồng thời của danh mục. Sách được đánh giá có mức độ liên quan cao về danh mục đối với một danh mục cụ thể nếu chúng thuộc về các danh mục thường xuất hiện cùng nhau. Ví dụ: một cuốn sách có danh mục "kinh dị" và "kinh dị" sẽ có điểm liên quan đến danh mục là 1 cho "kinh dị" nếu nó luôn xuất hiện cùng với "kinh dị", nhưng điểm 0 cho "làm vườn" nếu nó không bao giờ xảy ra đồng thời với việc "làm vườn". Chúng tôi bình thường hóa điểm số để chúng nằm trong khoảng từ 0 đến 1. Xem kho lưu trữ GitHub để biết chi tiết triển khai.

Bây giờ chúng ta chuyển sang ngưỡng tương tác (Rakova & Chowdhury, 2019). Về mặt khái niệm, ngưỡng tương tác là phạm vi sở thích của người dùng trong một danh mục nhất định. Giả sử, nếu người dùng chỉ xếp hạng phim kinh dị 4 sao nhưng xếp hạng một số sách dạy nấu ăn là 1 sao và số khác là 5 sao, thì họ sẽ có ngưỡng tương tác hẹp đối với phim kinh dị và ngưỡng tương tác rộng hơn đối với sách dạy nấu ăn.

Có một số điều quan trọng cần lưu ý về định nghĩa Rào cản để thoát ra. Đầu tiên, có thể có nhiều giá trị Rào cản thoát cho mỗi người dùng và danh mục. Mỗi khi người dùng có tùy chọn trong một danh mục từ trên ngưỡng tương tác xuống dưới, Rào cản thoát ra trong khoảng thời gian đó sẽ được xác định.

Thứ hai, Barrier-to-Exit xác định những người dùng thay đổi tùy chọn. Thay đổi tùy chọn được xác định khi người dùng đi từ trên ngưỡng tương tác xuống dưới ngưỡng tương tác.

Thứ ba, Rào cản thoát ra không thể chính xác bằng 0. Điều này là do nó chỉ được xác định khi người dùng có xếp hạng trung gian giữa các ngưỡng. Nếu người dùng có xếp hạng vượt quá ngưỡng tương tác và xếp hạng tiếp theo ở dưới, điều này sẽ không được đăng ký trong Barrier-to-Exit.

Cuối cùng (và quan trọng nhất), Barrier-to-Exit chỉ được xác định cho một nhóm nhỏ người dùng. Việc có Rào cản thoát được xác định rõ ràng cho người dùng yêu cầu cả a) đủ xếp hạng và b) các xếp hạng này thay đổi so với danh mục. Do đó, chúng tôi chỉ có thể rút ra kết luận cho tập hợp con người dùng này. Chúng ta sẽ thảo luận sâu hơn về ý nghĩa của điều này trong phần thảo luận (phần 5.2).

Trong phần này, chúng tôi đã cung cấp công thức toán học về Rào cản để thoát ra cùng với những cảnh báo quan trọng. Để triển khai mã, vui lòng tham khảo kho lưu trữ.

3.2 Dữ liệu

Để phân tích này, chúng tôi sử dụng tập dữ liệu về các bài đánh giá sách trên Amazon (Ni và cộng sự, 2019). Tập dữ liệu thô bao gồm khoảng 51 triệu xếp hạng theo ca. 15 triệu người dùng trong giai đoạn 1998 đến 2018[2] Tất cả các xếp hạng đều theo thang đo Likert 1-5.

Tập dữ liệu được lấy từ tòa nhà Amazon Web Store theo phương pháp của McAuley et al. (2015). Thật không may, vì tập dữ liệu thiếu bảng dữ liệu (Gebru và cộng sự, 2021), nên rất khó để biết liệu nó có bất kỳ vấn đề nào về mức độ bao phủ hoặc sai lệch hay không. Nó cũng khiến việc sao chép việc thu thập dữ liệu từ đầu trở nên khó khăn hơn. Ngoài ra, tập dữ liệu có thể dễ dàng truy cập và được ghi chép đầy đủ.

Một khía cạnh liên quan đến mức độ đưa tin mà chúng tôi cần lưu ý là chúng tôi đang sử dụng xếp hạng làm đại diện cho các tương tác. Trong tập dữ liệu, chúng tôi không có quyền truy cập vào những người đã mua sản phẩm nhưng không xếp hạng sản phẩm đó cũng như những người chưa mua sản phẩm cũng như không xếp hạng sản phẩm đó. Điều này cung cấp cho chúng tôi một thước đo khá gián tiếp về quy trình đề xuất thực tế - đặc biệt là so với tập dữ liệu MovieLens (Harper & Konstan, 2016; Rakova & Chowdhury, 2019).

Do kích thước của dữ liệu, việc xử lý trước trở nên không hề đơn giản. Có thể xem phần giải thích về các bước cần thiết trong phụ lục C.

Mặc dù tập dữ liệu ban đầu lớn nhưng chúng tôi chỉ quan tâm đến một tập hợp con. Cụ thể, chúng tôi quan tâm đến những người dùng đã thay đổi tùy chọn của họ. Do đó, chúng tôi lọc để chỉ bao gồm những người dùng có hơn 20 xếp hạng, tuân theo các quy ước trong MovieLens (Harper & Konstan, 2016) mà Barrier-to-Exit được xác định ban đầu (Rakova & Chowdhury, 2019).

Hình 2 hiển thị tập hợp con đã chọn. Điều đáng chú ý là mặc dù tập hợp con của chúng tôi giữ lại một phần đáng kể xếp hạng (≈ 30%), chúng tôi chỉ giữ lại khoảng 30%. 350.000 người dùng (0,6%). Đây là điển hình cho hoạt động của người dùng, có xu hướng mập mờ (Papakyriakopoulos và cộng sự, 2020). Chúng tôi sẽ thảo luận về ý nghĩa của việc giải thích của chúng tôi trong phần thảo luận (5.2).

Như chúng ta sẽ thấy sau này, chỉ một phần nhỏ trong số này đã thay đổi sở thích theo định nghĩa của chúng tôi (xem phần 3.1).

Đối với phân tích cuối cùng, chúng tôi có 50.626 người dùng phù hợp với định nghĩa của chúng tôi (≈ 0,1% trên tổng số).

Tập dữ liệu xếp hạng đã được hợp nhất với tập dữ liệu cung cấp các danh mục cho mỗi cuốn sách. Tập dữ liệu danh mục được lấy từ cùng một nguồn (tức là Ni và cộng sự, 2019). Để đơn giản hóa việc tính toán độ tương tự của danh mục (xem mã trên GitHub), chúng tôi chỉ xem xét các danh mục đã được sử dụng trên hơn 100 cuốn sách. Cách tiếp cận này hợp lệ vì sự phân bổ các danh mục bị sai lệch nhiều, nghĩa là một số lượng nhỏ các danh mục được sử dụng trên một số lượng lớn sách. (Đây là động thái tương tự với hoạt động của người dùng; xem Hình 2).

3.3 Mô hình

Bây giờ chúng tôi đã vận hành Rào cản thoát ra như một thước đo mức độ khó thay đổi sở thích, hãy giới thiệu mô hình thống kê để phân tích xu hướng.

Điều đầu tiên cần lưu ý là chúng ta cần một mô hình đa cấp chéo (Baayen và cộng sự, 2008). Mô hình của chúng tôi nên có hai cấp độ: người dùng và danh mục. Cấp độ người dùng là cấp độ rõ ràng nhất về mặt lý thuyết. Vì mỗi người dùng có thể có nhiều thay đổi tùy chọn (có liên quan đến Rào cản thoát ra), chúng tôi nên kiểm soát những khác biệt riêng của họ (Baayen và cộng sự, 2008). Điều này cũng quan trọng vì hệ thống gợi ý sẽ sử dụng các tính năng dự đoán mà trong tập dữ liệu không thể truy cập được (Smith & Linden, 2017).

Các danh mục tạo thành cấp độ khác. Vai trò của cấp độ danh mục trong mô hình của chúng tôi là tính đến các tính năng ở cấp độ mục. Như đã giải thích trong phần giới thiệu, có những lý do thương mại (tức là các công ty đang tuân theo mệnh lệnh dự đoán; (Zuboff, 2019)) và lý do thuật toán (tức là việc giảm tính biến thiên có thể cải thiện mục tiêu khen thưởng (Carroll và cộng sự, 2022)) để tin rằng các danh mục khác nhau sẽ có Rào cản thoát khác nhau. Do đó, các danh mục có thể hoạt động như một đại diện cho những hiệu ứng này. Thiết kế chéo này thường được sử dụng trong nghiên cứu tâm lý học (Baayen và cộng sự, 2008).

Có hai lý do để đưa vào các danh mục dưới dạng tác động ngẫu nhiên chứ không phải tác động cố định. Đầu tiên là số lượng danh mục. Có hơn 300 danh mục trong tập dữ liệu của chúng tôi. Do đó, việc mô hình hóa những điều này như những hiệu ứng cố định sẽ không khả thi. Thứ hai, vì ở đó chúng tôi sử dụng chúng làm đại diện cho phương sai ở cấp độ hạng mục, nên sẽ thuận tiện hơn khi chỉ lập mô hình các thành phần ngẫu nhiên (Maddala, 1971)

Điều này cho chúng ta mô hình sau:

Một điều quan trọng cần lưu ý là Rào cản chuyển đổi log sẽ thay đổi cách giải thích các hệ số. Thay vì diễn giải chúng theo thang tuyến tính, chúng nên được diễn giải theo thang logarit (Villadsen & Wulff, 2021). Cách tự nhiên nhất để làm điều này là lũy thừa các hiệu ứng và diễn giải nó dưới dạng phần trăm thay đổi. Tuy nhiên, việc chuyển đổi đưa ra các vấn đề thống kê mà chúng ta sẽ thảo luận trong phần 5.2.

Cũng cần lưu ý rằng mức độ hoạt động tương đối không tương quan với thời gian (xem Hình 3b. Điều này là do hoạt động đề cập đến hoạt động trong khoảng thời gian Rào cản thoát ra chứ không phải tổng số hoạt động trên Amazon. Hoạt động sau đã tăng đáng kể như có thể được nhìn thấy bởi mật độ của các chấm trong Hình 3b.

Để đánh giá tính hợp lệ, chúng tôi kiểm tra các giả định cho mô hình. Để kiểm tra đầy đủ, hãy xem phụ lục A. Có một số vi phạm đáng lưu ý: Phần dư và hiệu ứng ngẫu nhiên lệch khỏi quy chuẩn - đặc biệt đối với các hiệu ứng ngẫu nhiên ở cấp độ danh mục. Tuy nhiên, điều này sẽ ít ảnh hưởng đến việc ước tính các tác động cố định (Schielzeth và cộng sự, 2020). Tuy nhiên, chúng tôi tiến hành phân tích bổ sung với các danh mục có vấn đề đã được loại bỏ để đánh giá độ tin cậy của các phát hiện (xem B.2).

3.4 Tạo và kiểm tra các giả thuyết

Để trả lời câu hỏi nghiên cứu của chúng ta trong khuôn khổ suy luận, chúng ta cần chuyển chúng thành các giả thuyết có ý nghĩa có thể kiểm chứng được (Popper, 1970). Chúng tôi đề xuất giả thuyết sau:

• Giả thuyết : Rào cản thoát ra đối với Hệ thống giới thiệu sách của Amazon đã gia tăng đáng kể trong giai đoạn 1998-2018.

Để kiểm tra giả thuyết, chúng tôi sử dụng thử nghiệm ý nghĩa của Satterthwaite từ gói lmerTest (Kuznetsova và cộng sự, 2017; Satterthwaite, 1946) để đánh giá hệ số theo thời gian (β1). Tuy nhiên, điều quan trọng cần lưu ý là phương pháp tính bậc tự do trong các mô hình hiệu ứng hỗn hợp (Satterthwaite, 1946) có thể làm tăng sai số Loại I khi cỡ mẫu nhỏ (Baayen và cộng sự, 2008). Trong trường hợp của chúng tôi, cỡ mẫu lớn nên điều này ít đáng lo ngại hơn.

Cỡ mẫu lớn cũng ngụ ý giá trị p gần bằng 0 (Ghasemi & Zahediasl, 2012) đối với cả những tác động nhỏ. Vì vậy, chúng tôi cũng quan tâm đến mức độ ảnh hưởng hơn là chỉ ý nghĩa.

Lưu ý rằng mức tăng này là tốc độ tăng trưởng thay vì mức tăng tuyến tính. Điều này ảnh hưởng đến cách chúng ta diễn giải mức độ ảnh hưởng.

[2] Để biết tài liệu, hãy xem: https://nijianmo.github.io/amazon/index.html