Amazon'un Tavsiye Sisteminde Çıkış Engelini Anlamak

Bağlantı Tablosu

Özet ve Giriş

Önceki Literatür

Yöntemler ve Veriler

Sonuçlar

Tartışmalar

Sonuçlar ve Referanslar

A. Varsayımların Doğrulanması

B. Diğer Modeller

C. Ön işleme adımları

3 Yöntemler ve Veriler

3.1 Çıkış Bariyerinin Tanımlanması

Yüksek düzeyde, Çıkış Bariyeri, kullanıcıların tercihlerinin değiştiğinin sinyalini vermek için ne kadar çaba harcaması gerektiğini ölçer (Rakova ve Chowdhury, 2019). Kullanıcıların belirli bir kategori için ortaya çıkan tercihlerinin etkileşim eşikleri arasında ne kadar hızlı değiştiğine göre tanımlanır. Bu bölümde, Çıkış Bariyeri sezgisini motive edeceğiz ve aynı zamanda kavramı Amazon'un tavsiye sistemi bağlamında resmileştireceğiz.

Çıkış Bariyerinin rolünü ve derecelendirmelerden nasıl hesaplanabileceğini anlamak için, Şekil 1'de görüldüğü gibi kullanıcı ile tavsiye sistemi ("Yapay Zeka Modeli") arasındaki etkileşimin bir diyagramını ele alalım.

Her iki diyagram (a) ve (b), sırasıyla kullanıcı ve modelin "denetleyici" olduğu geri bildirim döngülerini gösterir. Yan yana gelme, Jiang ve ark.'da tartışıldığı gibi çift taraflı etkileşimi göstermektedir. (2019). Diyagramın birden fazla öğesi vardır: µ kullanıcının ilgi alanıdır, Θ Modeldir, α gösterilen önerilerdir ve c ortaya çıkan tercihlerdir (yani modelin önerileri güncellemek için kullandığı sinyal). Abonelikler soldan sağa doğru giden zaman adımlarını belirtir.

Diyagram, etkileşimi anlamak için kavramsal bir çerçeve görevi görürken, hangi parçaları ölçebileceğimizi ve hangi parçaları modellememiz gerektiğini de düşünmeliyiz. Rakova ve Chowdhury (2019), yalnızca ortaya çıkan tercihlerin zaman içinde nasıl değiştiğini analiz ederek, tercihleri değiştirmek için gereken çabanın bir ölçüsünü hesaplayabileceğimizi ileri sürüyor; Çıkış Bariyeri.

Genel geri bildirim döngüsü tüm modeli ilgilendirse de, Çıkış Bariyerinin kategori başına tanımlandığını unutmayın. Kategoriler “Gerilim” veya “Bilim Kurgu” gibi türler olabileceği gibi “Kendi Kendine Yardım” veya “Yemek Kitabı” gibi kitap türleri de olabilir. Her kitabın birden fazla kategorisi olabilir.

Kategori alaka düzeyi, verilerimizin otomatik olarak kullanılabilen bir özelliği değildir (bkz. 3.2). Buna karşılık, Rakova ve Chowdhury (2019), verilerin bir alt kümesi için kategori ilgisinin manuel olarak eklendiği MovieLens veri kümesini (Harper ve Konstan, 2016) kullanıyor. Bu, verilerin geri kalanına açıklama eklemek için (yarı) denetimli öğrenmenin kullanılmasını mümkün kılar (yani Kipf ve Welling, 2017).

Ne yazık ki Amazon verilerinin etiketi yok. Bunun yerine, kategorilerin birlikte gerçekleşmesine dayanan denetimsiz bir yaklaşım kullanıyoruz. Kitaplar, sıklıkla bir arada bulunan kategorilere aitse, belirli bir kategori için yüksek kategori ilgisine sahip olurlar. Örneğin, "gerilim" ve "korku" kategorilerine sahip bir kitap, her zaman "korku" ile birlikte ortaya çıkıyorsa "gerilim" için 1 kategori alaka puanına sahip olacaktır; ancak "bahçe" için "bahçe" için 0 puan alacaktır. hiçbir zaman “bahçecilik” ile bir arada bulunmaz. Puanları 0 ile 1 arasında olacak şekilde normalleştiriyoruz. Uygulama ayrıntıları için GitHub deposuna bakın.

Şimdi etkileşim eşiklerine geçiyoruz (Rakova ve Chowdhury, 2019). Kavramsal olarak etkileşim eşikleri, kullanıcıların belirli bir kategorideki tercih aralığıdır. Örneğin, bir kullanıcı yalnızca gerilim filmlerine 4 yıldız verirken bazı yemek kitaplarına 1 yıldız ve diğerlerine 5 yıldız verirse, gerilim filmleri için dar etkileşim eşiklerine ve yemek kitapları için daha geniş etkileşim eşiklerine sahip olacaktır.

Çıkış Bariyerinin tanımıyla ilgili dikkat edilmesi gereken bazı önemli noktalar vardır. İlk olarak, kullanıcı ve kategori başına Çıkış Bariyerinin birden fazla değeri olabilir. Bir kullanıcının bir kategoride etkileşim eşiklerinin üstünden altına doğru bir tercihi olduğunda, o dönem için bir Çıkış Engeli tanımlanır.

İkincisi, Çıkış Bariyeri tercihlerini değiştiren kullanıcıları tanımlar. Tercihlerin değişmesi, kullanıcıların etkileşim eşiklerinin üstünden etkileşim eşiklerinin altına gitmesi olarak tanımlanır.

Üçüncüsü, Çıkış Bariyeri tam olarak sıfır olamaz. Bunun nedeni, yalnızca kullanıcının eşikler arasında orta dereceli derecelendirmelere sahip olması durumunda tanımlanmasıdır. Bir kullanıcının etkileşim eşiklerinin üzerinde bir derecelendirmesi varsa ve bir sonraki derecelendirme bunun altındaysa bu, Çıkış Bariyerinde kaydedilmez.

Son olarak (ve en önemlisi), Çıkış Bariyeri yalnızca kullanıcıların bir alt kümesi için tanımlanır. Bir kullanıcı için iyi tanımlanmış bir Çıkış Bariyerine sahip olmak, hem a) yeterli derecelendirmeyi hem de b) bu derecelendirmelerin bir kategoriye göre değişmesini gerektirir. Dolayısıyla yalnızca bu kullanıcı alt kümesi için çıkarımlar yapabiliriz. Bunun sonuçlarını tartışmanın devamında tartışacağız (bölüm 5.2).

Bu bölümde, önemli uyarılarla birlikte Çıkış Bariyerinin matematiksel bir formülasyonunu sunduk. Kodun uygulanması için lütfen depoya bakın.

3.2 Veri

Bu analiz için Amazon kitap incelemelerinden oluşan bir veri kümesi kullanıyoruz (Ni ve diğerleri, 2019). Ham veri seti yaklaşık 51 milyon derecelendirmeden oluşmaktadır. 1998 ile 2018 arasındaki dönemde 15 milyon kullanıcı[2]. Tüm derecelendirmeler 1-5 Likert ölçeğindedir.

Veri seti, McAuley ve arkadaşlarının metodolojisine göre Amazon Web Mağazası binasından alınmıştır. (2015). Ne yazık ki veri kümesinde veri sayfası bulunmadığından (Gebru ve diğerleri, 2021), kapsam veya önyargıyla ilgili herhangi bir sorun olup olmadığını anlamak zordur. Ayrıca veri toplamanın sıfırdan çoğaltılmasını da zorlaştırır. Bunun dışında veri kümesine kolayca erişilebilir ve iyi bir şekilde belgelenmiştir.

Kapsamla ilgili bilmemiz gereken bir husus, derecelendirmeleri etkileşimler için bir temsil aracı olarak kullandığımızdır. Veri setinde, bir ürünü satın alıp derecelendirmeyen kişilere ya da ürünü satın almayan ve derecelendirmeyen kişilere erişimimiz yoktur. Bu bize, özellikle MovieLens veri kümesiyle karşılaştırıldığında (Harper ve Konstan, 2016; Rakova ve Chowdhury, 2019) gerçek öneri sürecine ilişkin oldukça dolaylı bir ölçüm sağlar.

Verilerin boyutundan dolayı ön işleme önemsiz hale gelir. Gerekli adımların açıklaması Ek C'de görülebilir.

Orijinal veri kümesi büyük olsa da biz yalnızca bir alt kümeyle ilgileniyoruz. Özellikle tercihlerini değiştiren kullanıcılarla ilgileniyoruz. Bu nedenle, yalnızca Çıkış Bariyerinin orijinal olarak tanımlandığı (Rakova ve Chowdhury, 2019) MovieLens'teki (Harper & Konstan, 2016) kurallara uyan, yalnızca 20'den fazla derecelendirmeye sahip kullanıcıları dahil edecek şekilde filtre uyguluyoruz.

Şekil 2 seçilen alt kümeyi göstermektedir. Alt kümemiz derecelendirmelerin önemli bir kısmını (≈ %30) korurken, yalnızca yaklaşık %30'unu koruduğumuzu belirtmekte fayda var. 350.000 kullanıcı (%0,6). Bu, kalın kuyruklu olma eğiliminde olan kullanıcı etkinliği için tipiktir (Papakyriakopoulos ve diğerleri, 2020). Yorumumuzun sonuçlarını tartışmada (5.2) tartışacağız.

Daha sonra göreceğimiz gibi, bunların yalnızca bir kısmı bizim tanımımıza göre tercihleri değiştirmiştir (bkz. Bölüm 3.1).

Son analizimize göre tanımımıza uyan 50.626 kullanıcımız var (toplamın ≈ %0,1'i).

Derecelendirme veri seti, her kitap için kategoriler sağlayan bir veri seti ile birleştirildi. Kategori veri seti aynı kaynaktan alınmıştır (örn. Ni ve diğerleri, 2019). Kategori benzerliğini hesaplamak için hesaplamaları basit tutmak amacıyla (GitHub'daki koda bakın), yalnızca 100'den fazla kitapta kullanılmış olan kategorileri dikkate alıyoruz. Bu yaklaşım geçerlidir çünkü kategorilerin dağılımı oldukça çarpıktır, bu da çok sayıda kitapta az sayıda kategorinin kullanıldığı anlamına gelir. (Bu, kullanıcı etkinliğine benzer bir dinamiktir; bkz. Şekil 2).

3.3 Modeli

Artık Çıkış Bariyerini tercihleri değiştirme zorluğunun bir ölçüsü olarak işlevselleştirdiğimize göre, trendi analiz etmek için istatistiksel modeli tanıtalım.

Dikkat edilmesi gereken ilk şey, çapraz çok seviyeli bir modele ihtiyacımız olduğudur (Baayen ve diğerleri, 2008). Modelimizin iki seviyesi olmalıdır: kullanıcı ve kategori. Kullanıcı düzeyi teorik olarak en belirgin olanıdır. Her kullanıcı birden fazla tercih değişikliğine sahip olabileceğinden (ilişkili Çıkış Bariyeriyle birlikte), onların bireysel farklılıklarını kontrol etmeliyiz (Baayen ve diğerleri, 2008). Tavsiye sistemi veri setinde erişilemeyen tahmine dayalı özellikleri kullanacağından bu aynı zamanda önemlidir (Smith ve Linden, 2017).

Kategoriler diğer düzeyi oluşturur. Modelimizde kategori düzeyinin rolü öğe düzeyindeki özellikleri hesaba katmaktır. Giriş bölümünde açıklandığı gibi, farklı kategorilerin farklı kategorilerde olduğuna inanmak için ticari (yani şirketler tahmin zorunluluğunu takip ediyor; (Zuboff, 2019)) ve algoritmik nedenler (yani değişkenliği azaltmak ödül hedefini geliştirebilir (Carroll ve diğerleri, 2022)) vardır. Farklı Çıkış Engelleri olacaktır. Kategoriler bu nedenle bu etkilerin vekili olarak hareket edebilir. Bu çapraz tasarım genellikle psikoloji araştırmalarında kullanılır (Baayen ve diğerleri, 2008).

Kategorilerin sabit etkiler değil de rastgele etkiler olarak dahil edilmesinin iki nedeni vardır. Birincisi kategori sayısıdır. Veri setimizde 300'den fazla kategori bulunmaktadır. Bu nedenle bunları sabit etkiler olarak modellemek mümkün olmayacaktır. İkinci olarak, bunları madde düzeyindeki varyansın temsili olarak kullandığımız için, yalnızca rastgele bileşenleri modellemek daha uygundur (Maddala, 1971)

Bu bize aşağıdaki modeli verir:

Unutulmaması gereken çok önemli bir nokta, Log-Çıkış Bariyerini dönüştürmenin katsayıların yorumunu değiştirmesidir. Bunları doğrusal ölçekte yorumlamak yerine logaritmik ölçekte yorumlanmalıdır (Villadsen ve Wulff, 2021). Bunu yapmanın en doğal yolu, etkileri üstel hale getirmek ve bunu yüzde değişim olarak yorumlamaktır. Ancak dönüşüm, bölüm 5.2'de tartışacağımız istatistiksel konuları da beraberinde getiriyor.

Ayrıca aktivite düzeyinin zamanla göreceli olarak ilişkisiz olduğunu da belirtmekte fayda var (bkz. Şekil 3b. Bunun nedeni, aktivitenin Amazon'daki toplam aktiviteyi değil, Çıkışa Giden Engel dönemindeki aktiviteyi ifade etmesidir. İkincisi, olabildiğince önemli ölçüde artmıştır. Şekil 3b'deki noktaların yoğunluğundan görülmektedir.

Geçerliliği değerlendirmek için modelin varsayımlarını test ederiz. Tam kontrol için Ek A'ya bakın. Dikkate değer birkaç ihlal vardır: Artıklar ve rastgele etkiler, özellikle kategori düzeyindeki rastgele etkiler için normallikten sapmıştır. Ancak bunun sabit etkilerin tahmini üzerinde çok az etkisi olmalıdır (Schielzeth ve diğerleri, 2020). Bununla birlikte, bulguların sağlamlığını değerlendirmek için sorunlu kategorilerin çıkarıldığı ek bir analiz yürütüyoruz (bkz. B.2).

3.4 Hipotez oluşturma ve test etme

Araştırma sorumuzu çıkarımsal bir çerçevede yanıtlamak için bunları test edilebilir çıkarımlara sahip hipotezlere dönüştürmemiz gerekir (Popper, 1970). Aşağıdaki hipotezi öneriyoruz:

• Hipotez : 1998-2018 döneminde Amazon Kitap Öneri Sistemi için Çıkış Engelinde önemli bir artış olmuştur.

Hipotezi test etmek için, zaman katsayısını (β1) değerlendirmek amacıyla lmerTest paketindeki Satterthwaite anlamlılık testini (Kuznetsova ve diğerleri, 2017; Satterthwaite, 1946) kullanıyoruz. Ancak, karışık etki modellerinde serbestlik derecelerini hesaplama yönteminin (Satterthwaite, 1946), örneklem boyutu küçük olduğunda Tip I hataları şişirebileceğini belirtmek önemlidir (Baayen ve diğerleri, 2008). Bizim durumumuzda örneklem büyüklüğü büyüktür, dolayısıyla bu daha az endişe vericidir.

Büyük örneklem büyüklüğü aynı zamanda küçük etkiler için bile sıfıra yakın p değerleri anlamına gelir (Ghasemi ve Zahediasl, 2012). Dolayısıyla etki büyüklüğünün öneminden ziyade büyüklüğüyle de ilgileniyoruz.

Artışın doğrusal bir artış yerine bir büyüme oranı olduğunu unutmayın. Bu, etki büyüklüğünün büyüklüğünü nasıl yorumladığımızı etkiler.

[2] Belgeler için bkz.: https://nijianmo.github.io/amazon/index.html