অ্যামাজনের সুপারিশকারী সিস্টেমে বাধা-থেকে-প্রস্থান বোঝা

লিঙ্কের টেবিল

বিমূর্ত এবং ভূমিকা

পূর্ববর্তী সাহিত্য

পদ্ধতি এবং ডেটা

ফলাফল

আলোচনা

উপসংহার এবং রেফারেন্স

A. অনুমানের বৈধতা

B. অন্যান্য মডেল

গ. প্রি-প্রসেসিং ধাপ

3 পদ্ধতি এবং ডেটা

3.1 ব্যারিয়ার-টু-এক্সিট সংজ্ঞায়িত করা

উচ্চ স্তরে, ব্যারিয়ার-টু-এক্সিট পরিমাপ করে যে ব্যবহারকারীদের তাদের পছন্দগুলি পরিবর্তিত হয়েছে তা সংকেত দিতে কতটা প্রচেষ্টা ব্যয় করতে হবে (Rakova & Chowdhury, 2019)। ইন্টারঅ্যাকশন থ্রেশহোল্ডের মধ্যে একটি নির্দিষ্ট বিভাগের পরিবর্তনের জন্য ব্যবহারকারীদের প্রকাশ করা পছন্দগুলি কত দ্রুত তার পরিপ্রেক্ষিতে এটি সংজ্ঞায়িত করা হয়। এই বিভাগে, আমরা ব্যারিয়ার-টু-এক্সিটের জন্য অন্তর্দৃষ্টিকে অনুপ্রাণিত করব এবং সেইসাথে আমাজনের সুপারিশকারী সিস্টেমের প্রেক্ষাপটে ধারণাটিকে আনুষ্ঠানিক করব।

ব্যারিয়ার-টু-এক্সিটের ভূমিকা এবং রেটিং থেকে এটি কীভাবে গণনা করা যেতে পারে তা বোঝার জন্য, আসুন চিত্র 1-এ দেখানো ব্যবহারকারী এবং সুপারিশকারী সিস্টেমের ("AI মডেল") মধ্যে মিথস্ক্রিয়াটির একটি চিত্র বিবেচনা করি।

উভয় ডায়াগ্রাম (a) এবং (b) ব্যবহারকারী এবং মডেলের সাথে যথাক্রমে "তত্ত্বাবধায়ক" হিসাবে প্রতিক্রিয়া লুপ দেখায়। জুক্সটাপজিশনটি জিয়াং এট আল-এ যুক্তিযুক্ত দ্বিমুখী মিথস্ক্রিয়া দেখায়। (2019)। ডায়াগ্রামে একাধিক উপাদান রয়েছে: µ হল ব্যবহারকারীর আগ্রহ, Θ হল মডেল, α হল দেখানো সুপারিশগুলি এবং c হল প্রকাশিত পছন্দগুলি (অর্থাৎ সুপারিশগুলি আপডেট করতে মডেলটি যে সংকেত ব্যবহার করে)। সাবস্ক্রিপ্টগুলি বাম থেকে ডানে যাওয়ার টাইমস্টেপগুলি নির্দেশ করে৷

ডায়াগ্রামটি মিথস্ক্রিয়া বোঝার জন্য একটি ধারণাগত কাঠামো হিসাবে কাজ করে, আমাদের অবশ্যই বিবেচনা করতে হবে যে কোন অংশগুলি আমরা পরিমাপ করতে পারি এবং কোন অংশগুলি আমাদের মডেল করতে হবে। রাকোভা এবং চৌধুরী (2019) যুক্তি দেন যে সময়ের সাথে প্রকাশকৃত পছন্দগুলি কীভাবে পরিবর্তিত হয় তা বিশ্লেষণ করে, আমরা পছন্দগুলি পরিবর্তন করার জন্য প্রয়োজনীয় প্রচেষ্টার একটি পরিমাপ গণনা করতে পারি; বাধা-টু-প্রস্থান।

নোট করুন যে সামগ্রিক প্রতিক্রিয়া লুপ পুরো মডেলের সাথে সম্পর্কিত, ব্যারিয়ার-টু-এক্সিট বিভাগ প্রতি সংজ্ঞায়িত করা হয়েছে। বিভাগগুলি জেনার হতে পারে, যেমন "থ্রিলার" বা "সায়েন্স ফিকশন", বা বইয়ের ধরন যেমন "স্ব-সহায়ক" বা "কুক বুক"। প্রতিটি বইয়ের বিভিন্ন বিভাগ থাকতে পারে।

বিভাগ প্রাসঙ্গিকতা আমাদের ডেটার একটি স্বয়ংক্রিয়ভাবে উপলব্ধ বৈশিষ্ট্য নয় (3.2 দেখুন)। বিপরীতে, রাকোভা এবং চৌধুরী (2019) MovieLens ডেটাসেট ব্যবহার করেন (Harper & Konstan, 2016), যেখানে বিভাগ-প্রাসঙ্গিকতা ম্যানুয়ালি ডেটার একটি উপসেটের জন্য টীকা করা হয়েছে। এটি বাকি ডেটা (যেমন Kipf & Welling, 2017) টীকা করার জন্য (সেমি-) তত্ত্বাবধানে থাকা শিক্ষা ব্যবহার করা সম্ভব করে তোলে।

দুর্ভাগ্যবশত, অ্যামাজন ডেটার কোনো লেবেল নেই। পরিবর্তে, আমরা বিভাগ সহ-ঘটনার উপর ভিত্তি করে একটি তত্ত্বাবধানহীন পদ্ধতি ব্যবহার করি। বইগুলিকে একটি নির্দিষ্ট বিভাগের জন্য একটি উচ্চ বিভাগের প্রাসঙ্গিকতা দেওয়া হয় যদি সেগুলি এমন বিভাগের অন্তর্ভুক্ত যা প্রায়শই একসাথে ঘটে। উদাহরণস্বরূপ, "থ্রিলার" এবং "ভয়ঙ্কর" বিভাগ সহ একটি বই "থ্রিলার" এর জন্য বিভাগ-প্রাসঙ্গিকতার স্কোর 1 হবে যদি এটি সর্বদা "ভয়ঙ্কর" এর সাথে সহ-সংঘটিত হয়, তবে "বাগান" এর জন্য 0 স্কোর কখনই "বাগান" এর সাথে সহ-সংঘটিত হয় না। আমরা স্কোরগুলিকে স্বাভাবিক করি যাতে সেগুলি 0 থেকে 1 পর্যন্ত থাকে৷ বাস্তবায়নের বিশদ বিবরণের জন্য GitHub সংগ্রহস্থলটি দেখুন৷

আমরা এখন ইন্টারঅ্যাকশন থ্রেশহোল্ডে চলে যাই (Rakova & Chowdhury, 2019)। ধারণাগতভাবে, ইন্টারঅ্যাকশন থ্রেশহোল্ডগুলি একটি নির্দিষ্ট বিভাগের মধ্যে ব্যবহারকারীদের পছন্দের পরিসর। যদি বলুন, একজন ব্যবহারকারী শুধুমাত্র থ্রিলারকে 4 স্টার রেট করেন কিন্তু কিছু কুকবুককে 1 স্টার এবং অন্যদের 5 স্টার রেট দেন, তাহলে তাদের থ্রিলারগুলির জন্য সংকীর্ণ ইন্টারঅ্যাকশন থ্রেশহোল্ড এবং কুকবুকের জন্য বিস্তৃত ইন্টারঅ্যাকশন থ্রেশহোল্ড থাকবে।

ব্যারিয়ার-টু-এক্সিটের সংজ্ঞা সম্পর্কে কিছু গুরুত্বপূর্ণ বিষয় লক্ষ্য করা যায়। প্রথমত, ব্যবহারকারী এবং বিভাগ প্রতি বাধা-থেকে-প্রস্থানের একাধিক মান থাকতে পারে। প্রতিবার যখনই কোনো ব্যবহারকারীর একটি বিভাগের মধ্যে একটি পছন্দ থাকে যা ইন্টারঅ্যাকশন থ্রেশহোল্ডের উপরে থেকে নীচে যায়, সেই সময়ের জন্য একটি বাধা-থেকে-প্রস্থান সংজ্ঞায়িত করা হয়।

দ্বিতীয়ত, ব্যারিয়ার-টু-এক্সিট ব্যবহারকারীদের সংজ্ঞায়িত করে যারা পছন্দ পরিবর্তন করে। ব্যবহারকারীরা ইন্টারঅ্যাকশন থ্রেশহোল্ডের উপরে থেকে ইন্টারঅ্যাকশন থ্রেশহোল্ডের নীচে যাচ্ছে বলে পছন্দ পরিবর্তন করাকে সংজ্ঞায়িত করা হয়।

তৃতীয়, ব্যারিয়ার-টু-এক্সিট ঠিক শূন্য হতে পারে না। কারণ এটি শুধুমাত্র তখনই সংজ্ঞায়িত করা হয় যখন একজন ব্যবহারকারীর থ্রেশহোল্ডের মধ্যে মধ্যবর্তী রেটিং থাকে। যদি একজন ব্যবহারকারীর একটি রেটিং থাকে যা ইন্টারঅ্যাকশন থ্রেশহোল্ডের উপরে যায় এবং পরেরটি নীচে হয়, তাহলে এটি ব্যারিয়ার-টু-এক্সিটে নিবন্ধন করবে না।

অবশেষে (এবং গুরুত্বপূর্ণভাবে), ব্যারিয়ার-টু-এক্সিট শুধুমাত্র ব্যবহারকারীদের একটি উপসেটের জন্য সংজ্ঞায়িত করা হয়। একজন ব্যবহারকারীর জন্য একটি সু-সংজ্ঞায়িত ব্যারিয়ার-টু-এক্সিট উভয়েরই প্রয়োজন ক) পর্যাপ্ত রেটিং এবং খ) যে এই রেটিংগুলি একটি বিভাগের সাপেক্ষে পরিবর্তিত হয়। এইভাবে আমরা ব্যবহারকারীদের এই উপসেটের জন্য শুধুমাত্র অনুমান আঁকতে পারি। আমরা আরও আলোচনায় এর প্রভাব নিয়ে আলোচনা করব (বিভাগ 5.2)।

এই বিভাগে, আমরা গুরুত্বপূর্ণ সতর্কতা সহ বাধা-থেকে-প্রস্থানের একটি গাণিতিক সূত্র প্রদান করেছি। কোড বাস্তবায়নের জন্য, অনুগ্রহ করে সংগ্রহস্থল দেখুন।

3.2 ডেটা

এই বিশ্লেষণের জন্য, আমরা Amazon বই পর্যালোচনার একটি ডেটাসেট ব্যবহার করি (Ni et al., 2019)। কাঁচা ডেটাসেটে প্রায় 51 মিলিয়ন রেটিং ca. 1998 থেকে 2018 সময়কালে 15 মিলিয়ন ব্যবহারকারী[2]। সমস্ত রেটিং 1-5 লিকার্ট স্কেলে।

ম্যাকাউলি এট আল-এর পদ্ধতিতে অ্যামাজন ওয়েব স্টোর বিল্ডিং থেকে ডেটাসেটটি স্ক্র্যাপ করা হয়েছিল। (2015)। দুর্ভাগ্যবশত, যেহেতু ডেটাসেটের একটি ডেটাশিট নেই (Gebru et al., 2021), এটি কভারেজ বা পক্ষপাতের সাথে কোন সমস্যা আছে কিনা তা বের করা কঠিন। এটি স্ক্র্যাচ থেকে ডেটা সংগ্রহের প্রতিলিপি করাও কঠিন করে তোলে। তা ছাড়া, ডেটাসেটটি সহজেই অ্যাক্সেসযোগ্য এবং ভালভাবে নথিভুক্ত।

একটি কভারেজ-সম্পর্কিত দিক সম্পর্কে আমাদের সচেতন হওয়া দরকার যে আমরা ইন্টারঅ্যাকশনের জন্য প্রক্সি হিসাবে রেটিং ব্যবহার করছি। ডেটাসেটে, আমাদের কাছে এমন লোকেদের অ্যাক্সেস নেই যারা একটি পণ্য কিনেছেন কিন্তু এটিকে রেট দেননি, বা যারা কোনো পণ্য কিনেননি বা রেট দেননি। এটি আমাদের প্রকৃত সুপারিশ প্রক্রিয়ার একটি পরোক্ষ পরিমাপ দেয় - বিশেষ করে মুভিলেন্স ডেটাসেটের তুলনায় (হার্পার এবং কনস্টান, 2016; রাকোভা এবং চৌধুরী, 2019)।

ডেটার আকারের কারণে, প্রাক-প্রক্রিয়াকরণ অ-তুচ্ছ হয়ে যায়। প্রয়োজনীয় পদক্ষেপগুলির একটি ব্যাখ্যা পরিশিষ্ট সি-তে দেখা যেতে পারে।

মূল ডেটাসেট বড় হলেও, আমরা শুধুমাত্র একটি উপসেটে আগ্রহী। বিশেষ করে, আমরা তাদের পছন্দ পরিবর্তন করা ব্যবহারকারীদের প্রতি আগ্রহী। অতএব, আমরা শুধুমাত্র 20 টির বেশি রেটিং সহ ব্যবহারকারীদের অন্তর্ভুক্ত করতে ফিল্টার করি, যা MovieLens (Harper & Konstan, 2016) এর নিয়মাবলী অনুসরণ করে যার জন্য ব্যারিয়ার-টু-এক্সিট মূলত সংজ্ঞায়িত করা হয়েছিল (Rakova & Chowdhury, 2019)।

চিত্র 2 নির্বাচিত উপসেট দেখায়। এটা লক্ষ্য করার মতো যে যখন আমাদের উপসেট রেটিংগুলির একটি উল্লেখযোগ্য ভগ্নাংশ (≈ 30%) ধরে রাখে, আমরা শুধুমাত্র ca ধরে রাখি। 350,000 ব্যবহারকারী (0.6%)। এটি ব্যবহারকারীর কার্যকলাপের জন্য সাধারণ, যা ফ্যাট-টেইলড হতে থাকে (পাপাকিরিয়াকোপোলোস এট আল।, 2020)। আমরা আলোচনায় আমাদের ব্যাখ্যার প্রভাব নিয়ে আলোচনা করব (5.2)।

যেমনটি আমরা পরে দেখব, আমাদের সংজ্ঞা অনুসারে এইগুলির একটি ভগ্নাংশই পছন্দ পরিবর্তন করেছে (বিভাগ 3.1 দেখুন)।

আমাদের চূড়ান্ত বিশ্লেষণের জন্য, আমাদের কাছে 50,626 জন ব্যবহারকারী রয়েছে যা আমাদের সংজ্ঞার সাথে মানানসই (মোট ≈ 0.1%)।

রেটিং ডেটাসেটটি প্রতিটি বইয়ের জন্য বিভাগ প্রদানকারী ডেটাসেটের সাথে একত্রিত করা হয়েছিল। ক্যাটাগরি ডেটাসেটটি একই উৎস থেকে এসেছে (যেমন Ni et al., 2019)। বিভাগ-সাদৃশ্য গণনা করার জন্য গণনাগুলিকে সহজ রাখতে (GitHub-এ কোড দেখুন), আমরা শুধুমাত্র 100 টিরও বেশি বইতে ব্যবহৃত বিভাগগুলি বিবেচনা করি। এই পদ্ধতিটি বৈধ কারণ বিভাগগুলির বন্টনটি ব্যাপকভাবে তির্যক, যার অর্থ হল একটি বড় সংখ্যক বইতে অল্প সংখ্যক বিভাগ ব্যবহার করা হয়। (এটি ব্যবহারকারীর কার্যকলাপের অনুরূপ গতিশীল; চিত্র 2 দেখুন)।

3.3 মডেল

এখন যেহেতু আমরা অভিরুচি পরিবর্তন করতে অসুবিধার পরিমাপ হিসাবে ব্যারিয়ার-টু-এক্সিট চালু করেছি, চলুন প্রবণতা বিশ্লেষণের জন্য পরিসংখ্যান মডেলটি চালু করি।

প্রথম যে জিনিসটি লক্ষ্য করা যায় তা হল আমাদের একটি ক্রসড মাল্টি-লেভেল মডেল প্রয়োজন (Baayen et al., 2008)। আমাদের মডেলের দুটি স্তর থাকা উচিত: ব্যবহারকারী এবং বিভাগ। ব্যবহারকারীর স্তরটি সবচেয়ে তাত্ত্বিকভাবে সুস্পষ্ট। যেহেতু প্রতিটি ব্যবহারকারীর একাধিক পছন্দ পরিবর্তন হতে পারে (সংশ্লিষ্ট বাধা-থেকে-প্রস্থানের সাথে), আমাদের তাদের পৃথক পার্থক্যগুলির জন্য নিয়ন্ত্রণ করা উচিত (বায়ায়েন এট আল।, 2008)। এটিও গুরুত্বপূর্ণ কারণ সুপারিশকারী সিস্টেম ভবিষ্যদ্বাণীমূলক বৈশিষ্ট্যগুলি ব্যবহার করবে যা ডেটাসেটে অ্যাক্সেসযোগ্য নয় (Smith & Linden, 2017)৷

বিভাগগুলি অন্য স্তর গঠন করে। আমাদের মডেলে বিভাগ স্তরের ভূমিকা হল আইটেম-স্তরের বৈশিষ্ট্যগুলির জন্য অ্যাকাউন্ট করা৷ ভূমিকাতে যেমন ব্যাখ্যা করা হয়েছে, সেখানে বাণিজ্যিক (অর্থাৎ কোম্পানিগুলি পূর্বাভাস বাধ্যতামূলক অনুসরণ করছে; (Zuboff, 2019)) এবং অ্যালগরিদমিক কারণ (অর্থাৎ পরিবর্তনশীলতা হ্রাস করা পুরস্কারের লক্ষ্যে উন্নতি করতে পারে (Carroll et al., 2022)) বিশ্বাস করার জন্য যে বিভিন্ন বিভাগ প্রস্থান করার জন্য বিভিন্ন বাধা থাকবে। বিভাগগুলি তাই এই প্রভাবগুলির জন্য একটি প্রক্সি হিসাবে কাজ করতে পারে৷ এই ক্রস করা নকশা প্রায়ই মনোবিজ্ঞান গবেষণার মধ্যে ব্যবহার করা হয় (Baayen et al., 2008)।

র্যান্ডম প্রভাব হিসাবে বিভাগ অন্তর্ভুক্ত করার দুটি কারণ রয়েছে এবং স্থির প্রভাব নয়। প্রথমটি হল বিভাগের সংখ্যা। আমাদের ডেটাসেটে 300+ বিভাগ রয়েছে। স্থির প্রভাব হিসাবে এই মডেলিং তাই অসম্ভাব্য হবে. দ্বিতীয়ত, যেহেতু সেখানে আমরা আইটেম-স্তরের বৈচিত্র্যের জন্য প্রক্সি হিসাবে ব্যবহার করি, শুধুমাত্র র্যান্ডম উপাদানগুলির মডেল করা আরও সুবিধাজনক (মাদ্দালা, 1971)

এটি আমাদের নিম্নলিখিত মডেল দেয়:

লক্ষণীয় একটি গুরুত্বপূর্ণ বিষয় হল লগ-ট্রান্সফর্মিং ব্যারিয়ার-টু-এক্সিট সহগগুলির ব্যাখ্যাকে পরিবর্তন করে। একটি রৈখিক স্কেলে তাদের ব্যাখ্যা করার পরিবর্তে, তাদের লগারিদমিক স্কেলে ব্যাখ্যা করা উচিত (Villadsen & Wulff, 2021)। এটি করার সবচেয়ে স্বাভাবিক উপায় হল প্রভাবগুলি ব্যাখ্যা করা এবং এটিকে শতাংশ পরিবর্তন হিসাবে ব্যাখ্যা করা। যাইহোক, রূপান্তরটি পরিসংখ্যানগত সমস্যাগুলির সাথে পরিচয় করিয়ে দেয়, যা আমরা অধ্যায় 5.2 এ আলোচনা করব।

এটাও লক্ষণীয় যে কার্যকলাপের মাত্রা সময়ের সাথে তুলনামূলকভাবে সম্পর্কহীন (চিত্র 3b দেখুন। এর কারণ হল অ্যাক্টিভিটি ব্যারিয়ার-টু-এক্সিট পিরিয়ডের মধ্যে কার্যকলাপকে বোঝায় এবং অ্যামাজনে মোট ক্রিয়াকলাপ নয়। পরবর্তীটি যথেষ্ট পরিমাণে বৃদ্ধি পেয়েছে যেমনটি হতে পারে। চিত্র 3b-এ বিন্দুগুলির ঘনত্ব দ্বারা দেখা গেছে।

বৈধতা মূল্যায়ন করতে, আমরা মডেলের জন্য অনুমান পরীক্ষা করি। সম্পূর্ণ পরীক্ষার জন্য পরিশিষ্ট A দেখুন। এখানে কয়েকটি লঙ্ঘন লক্ষণীয়: স্বাভাবিকতা থেকে বিচ্যুত অবশিষ্টাংশ এবং এলোমেলো প্রভাব - বিশেষ করে বিভাগ-স্তরের র্যান্ডম প্রভাবগুলির জন্য। যাইহোক, স্থির প্রভাবের অনুমানের উপর এটির সামান্য প্রভাব থাকা উচিত (Schielzeth et al., 2020)। তবুও, আমরা ফলাফলের দৃঢ়তা মূল্যায়ন করতে সমস্যাযুক্ত বিভাগগুলি সরিয়ে দিয়ে একটি অতিরিক্ত বিশ্লেষণ চালাই (বি.2 দেখুন)।

3.4 অনুমান তৈরি এবং পরীক্ষা করা

একটি অনুমানমূলক কাঠামোতে আমাদের গবেষণা প্রশ্নের উত্তর দেওয়ার জন্য, আমাদের তাদের পরীক্ষাযোগ্য প্রভাব সহ অনুমানে রূপান্তর করতে হবে (পপার, 1970)। আমরা নিম্নলিখিত অনুমান প্রস্তাব:

• হাইপোথিসিস : 1998-2018 সময়কালে অ্যামাজন বুক রেকমেন্ডার সিস্টেমের জন্য বাধা-থেকে-প্রস্থানের ক্ষেত্রে উল্লেখযোগ্য বৃদ্ধি পেয়েছে।

হাইপোথিসিস পরীক্ষা করার জন্য, আমরা lmerTest-প্যাকেজ (Kuznetsova et al., 2017; Satterthwaite, 1946) থেকে Satterthwaite এর তাৎপর্য পরীক্ষাটি ব্যবহার করি সময়ের জন্য সহগ মূল্যায়ন করার জন্য (β1)। যাইহোক, এটি লক্ষ্য করা গুরুত্বপূর্ণ যে মিশ্র প্রভাব মডেলগুলিতে স্বাধীনতার ডিগ্রি গণনা করার পদ্ধতি (স্যাটারথওয়েট, 1946) নমুনার আকার ছোট হলে টাইপ I ত্রুটিগুলিকে স্ফীত করতে পারে (বায়েন এট আল।, 2008)। আমাদের ক্ষেত্রে, নমুনার আকার বড়, তাই এটি একটি উদ্বেগের কম।

বৃহৎ নমুনা আকার এমনকি ছোট প্রভাবের জন্য শূন্যের কাছাকাছি p-মানগুলিকেও বোঝায় (Ghasemi & Zahediasl, 2012)। এইভাবে, আমরা কেবল তাত্পর্যের পরিবর্তে প্রভাবের আকারের পরিমাণে আগ্রহী।

উল্লেখ্য, বৃদ্ধি একটি রৈখিক বৃদ্ধির পরিবর্তে বৃদ্ধির হার। এটি প্রভাবিত করে কিভাবে আমরা প্রভাবের আকারের মাত্রা ব্যাখ্যা করি।

[২] ডকুমেন্টেশনের জন্য দেখুন: https://nijianmo.github.io/amazon/index.html