ByteDance-ன் Monolith: புத்திசாலித்தனமான, வேகமான உள்ளடக்க ஊட்டங்களுக்கு சக்தியளிக்கும் இயந்திரம்

ஆசிரியர்கள்: ஜுஓரான் லியு, பைட்டான்ஸ் இன்க். லெகி ஸோவ், பைட்டான்ஸ் இன்க். ஜுவான் ஸோவ், பைட்டான்ஸ் இன்க். கைஹுவா வாங், பைட்டான்ஸ் இன்க். பியாவோ ஜாங், பைட்டான்ஸ் இன்க். டா டாங், பைட்டான்ஸ் இன்க். போலின் ஜு*, ஃபுடான் பல்கலைக்கழகம் யிஜி ஜு, பைட்டான்ஸ் இன்க். பெங் வு, பைட்டான்ஸ் இன்க். கே வாங், பைட்டான்ஸ் இன்க். யுலோங் செங்†, பைட்டான்ஸ் இன்க். (youlong.cheng@bytedance.com) சுருக்கம் நிகழ்நேர மற்றும் அளவிடக்கூடிய பரிந்துரை அமைப்பை உருவாக்குவது, குறுகிய-வீடியோ தரவரிசை அல்லது ஆன்லைன் விளம்பரங்கள் போன்ற கால-உணர்திறன் வாடிக்கையாளர் பின்னூட்டங்களால் இயக்கப்படும் பல வணிகங்களுக்கு இன்றியமையாதது. டென்சர்ஃப்ளோ அல்லது பைடார்ச் போன்ற உற்பத்தி-அளவு ஆழ்ந்த கற்றல் கட்டமைப்புகளின் பரவலான தத்தெடுப்பு இருந்தபோதிலும், பரிந்துரை சூழ்நிலைகளில் உள்ள வணிகத் தேவைகளைப் பூர்த்தி செய்ய இந்த பொது-நோக்க கட்டமைப்புகள் பல்வேறு காரணங்களுக்காக குறைந்துவிடுகின்றன: ஒருபுறம், மாறும் மற்றும்sparse அம்சங்களுடன் பரிந்துரைக்க நிலையான அளவுருக்கள் மற்றும் அடர்த்தியான கணக்கீடுகளின் அடிப்படையில் அமைப்புகளைச் சரிசெய்வது மாதிரி தரத்திற்கு தீங்கு விளைவிக்கும்; மறுபுறம், இத்தகைய கட்டமைப்புகள் தொகுப்பு-பயிற்சி நிலை மற்றும் சேவை நிலை முழுமையாக பிரிக்கப்பட்டு வடிவமைக்கப்பட்டுள்ளன, இதனால் மாதிரி நிகழ்நேரத்தில் வாடிக்கையாளர் பின்னூட்டத்துடன் தொடர்பு கொள்வதைத் தடுக்கிறது. இந்த சிக்கல்கள் பாரம்பரிய அணுகுமுறைகளை மறுபரிசீலனை செய்ய மற்றும் தீவிரமாக வேறுபட்ட வடிவமைப்பு தேர்வுகளை ஆராய நம்மைத் தூண்டின. இந்த காகிதத்தில், நாங்கள் 1 ஐ வழங்குகிறோம், இது ஆன்லைன் பயிற்சிக்கு ஏற்ற ஒரு அமைப்பு. எங்கள் பயன்பாட்டு பணிச்சுமைகள் மற்றும் உற்பத்தி சூழலின் அவதானிப்புகளால் எங்கள் வடிவமைப்பு இயக்கப்படுகிறது, இது மற்ற பரிந்துரை அமைப்புகளிலிருந்து குறிப்பிடத்தக்க விலகலைக் காட்டுகிறது. எங்கள் பங்களிப்புகள் பல: முதலாவதாக, காலாவதியாகும் உட்பொதிப்புகள் மற்றும் அதிர்வெண் வடிகட்டுதல் போன்ற மேம்படுத்தல்களுடன் ஒரு மோதல் இல்லாத உட்பொதிப்பு அட்டவணையை நாங்கள் செதுக்கினோம், அதன் நினைவக அச்சுப்பொறியைக் குறைக்க; இரண்டாவதாக, அதிக பிழை-சகிப்புத்தன்மையுடன் உற்பத்தி-தயாரான ஆன்லைன் பயிற்சி கட்டமைப்பை நாங்கள் வழங்குகிறோம்; இறுதியாக, கணினி நம்பகத்தன்மையை நிகழ்நேர கற்றலுக்காக வர்த்தகம் செய்ய முடியும் என்பதை நாங்கள் நிரூபித்தோம். Monolith வெற்றிகரமாக BytePlus Recommend2 தயாரிப்பில் இறக்கப்பட்டுள்ளது. Monolith 1 அறிமுகம் கடந்த தசாப்தத்தில் பரிந்துரை நுட்பங்களால் இயக்கப்படும் வணிகங்களின் எழுச்சியைக் கண்டோம். சிறந்த வாடிக்கையாளர் அனுபவத்தை நாடுவதில், ஒவ்வொரு தனிப்பட்ட பயனருக்கும் தனிப்பயனாக்கப்பட்ட உள்ளடக்கத்தை நிகழ்நேர பதிலுப்பாக வழங்குவது இந்த வணிக பயன்பாடுகளின் பொதுவான இலக்காகும். இதற்காக, ஒரு பயனரின் சமீபத்திய தொடர்புகளின் தகவல்கள் ஒரு மாதிரியைப் பயிற்றுவிப்பதற்கான முதன்மை உள்ளீடாகப் பயன்படுத்தப்படுகின்றன, ஏனெனில் இது ஒரு பயனரின் உருவப்படத்தை சிறந்த முறையில் சித்தரிக்கும் மற்றும் பயனரின் ஆர்வம் மற்றும் எதிர்கால நடத்தைகளைக் கணிக்கும். ஆழ்ந்த கற்றல் பரிந்துரை மாதிரிகளில் ஆதிக்கம் செலுத்துகிறது [ , , , , , ], ஏனெனில் பாரிய தரவு-உந்துதல் நரம்பியல் மாதிரிகளுக்கு ஏராளமான பயனர் தரவு இயற்கையாகப் பொருந்துகிறது. இருப்பினும், தொழில்துறை-நிலை பரிந்துரை அமைப்புகளில் ஆழ்ந்த கற்றலின் சக்தியைப் பயன்படுத்துவதற்கான முயற்சிகள் நிஜ உலக பயனர் நடத்தையிலிருந்து பெறப்பட்ட தரவுகளின் தனித்துவமான பண்புகளிலிருந்து எழும் சிக்கல்களை எதிர்கொள்கின்றன. இந்தத் தரவு மொழி மாதிரியாக்கம் அல்லது கணினி பார்வை போன்ற பாரம்பரிய ஆழ்ந்த கற்றல் சிக்கல்களில் பயன்படுத்தப்படும் தரவுகளிலிருந்து இரண்டு அம்சங்களில் பெரிதும் வேறுபடுகிறது: 5 6 10 12 20 21 (1) அம்சங்கள் பெரும்பாலும் sparse, வகைப்படுத்தப்பட்டவை மற்றும் மாறும் வகையில் மாறிக்கொண்டிருக்கும்; (2) பயிற்சித் தரவின் அடிப்படை விநியோகம் நிலையற்றது, அதாவது கருத்து விலகல் . இத்தகைய வேறுபாடுகள் பரிந்துரை அமைப்புகளில் பணிபுரியும் ஆராய்ச்சியாளர்கள் மற்றும் பொறியாளர்களுக்கு தனித்துவமான சவால்களை அளித்துள்ளன. 1.1 Sparse மற்றும் Dynamism பரிந்துரைக்கான தரவுகள் பெரும்பாலும் sparse வகைப்படுத்தப்பட்ட அம்சங்களைக் கொண்டிருக்கும், அவற்றில் சில குறைந்த அதிர்வெண்ணுடன் தோன்றும். அவற்றை உயர்-பரிமாண உட்பொதிப்பு வெளியில் வரைபடமாக்கும் பொதுவான நடைமுறை பல சிக்கல்களுக்கு வழிவகுக்கும்: • வார்த்தை-துண்டுகள் வரையறுக்கப்பட்ட மொழி மாதிரிகளைப் போலல்லாமல், பயனர்கள் மற்றும் தரவரிசை பொருட்களின் அளவு பல மடங்கு பெரியது. இத்தகைய ஒரு மகத்தான உட்பொதிப்பு அட்டவணை ஒற்றை ஹோஸ்ட் நினைவகத்தில் பொருந்துவது கடினம்; • இன்னும் மோசமாக, அதிக பயனர்கள் மற்றும் உருப்படிகள் அனுமதிக்கப்படும்போது உட்பொதிப்பு அட்டவணையின் அளவு காலப்போக்கில் வளரும் என்று எதிர்பார்க்கப்படுகிறது, அதே நேரத்தில் [ , ] போன்ற கட்டமைப்புகள் உட்பொதிப்பு அட்டவணையை பிரதிநிதித்துவப்படுத்த ஒரு நிலையான அளவு அடர்த்தியான மாறிகளைப் பயன்படுத்துகின்றன. 1 17 நடைமுறையில், பல அமைப்புகள் நினைவக அச்சுப்பொறியைக் குறைக்கவும், ஐடி களின் வளர்ச்சியை அனுமதிக்கவும் குறைந்த-மோதல் ஹாஷிங்கை [ , ] ஒரு வழியாக ஏற்றுக்கொள்கின்றன. இது உட்பொதிப்பு அட்டவணையில் உள்ள ஐடிகள் அதிர்வெண்ணில் சமமாக விநியோகிக்கப்படுகின்றன மற்றும் மோதல்கள் மாதிரி தரத்திற்கு பாதிப்பில்லாதவை என்ற மிகை-இலட்சிய அனுமானத்தை நம்பியுள்ளது. துரதிர்ஷ்டவசமாக, இது ஒரு நிஜ உலக பரிந்துரை அமைப்புக்கு அரிதாகவே உண்மை, அங்கு ஒரு சிறிய குழு பயனர்கள் அல்லது உருப்படிகள் கணிசமாக அதிக நிகழ்வுகளைக் கொண்டுள்ளன. உட்பொதிப்பு அட்டவணை அளவின் இயற்கையான வளர்ச்சியுடன், ஹாஷ் விசை மோதலின் வாய்ப்புகள் அதிகரிக்கும் மற்றும் மாதிரி தரத்தின் சீரழிவுக்கு வழிவகுக்கும் 3 6 . எனவே, அதன் அளவுருக்களில் பல அம்சங்களைப் பிடிக்கக்கூடிய திறன் மற்றும் அது வைத்திருக்க முயற்சிக்கும் பயனர்கள் மற்றும் பொருட்களின் எண்ணிக்கையை நெகிழ்வாக சரிசெய்யும் திறன் கொண்ட உற்பத்தி-அளவு பரிந்துரை அமைப்புகளுக்கு இது ஒரு இயற்கையான தேவை. 1.2 நிலையற்ற விநியோகம் நூற்றாண்டுகளின் கால அளவில் காட்சி மற்றும் மொழி வடிவங்கள் மிகக் குறைவாகவே உருவாகின்றன, அதே நேரத்தில் ஒரு தலைப்பில் ஆர்வமுள்ள ஒரு பயனர் அடுத்த நிமிடத்தில் தங்கள் ஆர்வத்தை மாற்றலாம். இதன் விளைவாக, பயனர் தரவின் அடிப்படை விநியோகம் நிலையற்றது, இது பொதுவாக கருத்து விலகல் என குறிப்பிடப்படுகிறது. உள்ளுணர்வாக, ஒரு பயனரின் நடத்தையில் ஏற்படும் மாற்றத்தைக் கணிக்க சமீபத்திய வரலாற்றிலிருந்து வரும் தகவல் மிகவும் பயனுள்ளதாக இருக்கும். கருத்து விலகலின் விளைவைக் குறைக்க, ஒரு பயனரின் சமீபத்திய ஆர்வத்தைப் பிரதிபலிக்க, சேவை மாதிரிகள் புதிய பயனர் பின்னூட்டத்திலிருந்து முடிந்தவரை நிகழ்நேரத்திற்கு நெருக்கமாக புதுப்பிக்கப்பட வேண்டும். இந்த வேறுபாடுகளின் வெளிச்சத்தில் மற்றும் எங்கள் உற்பத்தியில் எழும் சிக்கல்களின் அவதானிப்பில், நாங்கள் ஐ வடிவமைத்தோம், இது இந்த வலியைப் போக்க ஒரு பெரிய அளவிலான பரிந்துரை அமைப்பாகும். உற்பத்தி சூழலில் எங்கள் வடிவமைப்பைச் சரிபார்க்கவும் மீண்டும் செய்யவும் நாங்கள் விரிவான பரிசோதனைகளைச் செய்தோம். Monolith ஆல் முடியும் Monolith (1) மோதல் இல்லாத ஹாஷ் அட்டவணை மற்றும் டைனமிக் அம்சத்தை வெளியேற்றும் பொறிமுறையை வடிவமைப்பதன் மூலம் sparse அம்சங்களுக்கு முழு வெளிப்பாட்டு சக்தியை வழங்கவும்; (2) ஆன்லைன் பயிற்சி மூலம் நிகழ்நேரத்தில் சேவை பின்னூட்டத்தை பயிற்சிக்கு திருப்பி விடுதல். இந்த கட்டமைப்பு திறன்களால் இயக்கப்படுகிறது, Monolith மோதல்களுடன் ஹாஷ்-தந்திரங்களைப் பயன்படுத்தும் அமைப்புகளை விட தோராயமாக ஒத்த நினைவக பயன்பாட்டில் தொடர்ந்து சிறப்பாக செயல்படுகிறது, மேலும் எங்கள் சர்வர்களின் கணினி சக்தியை அதிகமாக சுமைப்படுத்தாமல் மாநில-இன்-தி-ஆர்ட் ஆன்லைன் சேவை AUC ஐ அடைகிறது. காகிதத்தின் மீதமுள்ளவை பின்வருமாறு ஒழுங்கமைக்கப்பட்டுள்ளது. Monolith ஆனது மோதல் இல்லாத ஹாஷ் அட்டவணை மற்றும் நிகழ்நேர பயிற்சி மூலம் தற்போதுள்ள சவால்களை எவ்வாறு சமாளிக்கிறது என்பதன் வடிவமைப்பு விவரங்களை பிரிவு 2 இல் நாங்கள் முதலில் விளக்குகிறோம். பரிசோதனைகள் மற்றும் முடிவுகள் பிரிவு 3 இல் வழங்கப்படும், உற்பத்தி-சோதனை செய்யப்பட்ட முடிவுகள் மற்றும் நேரம்-உணர்திறன், நம்பகத்தன்மை மற்றும் மாதிரி தரத்திற்கு இடையிலான வர்த்தகப் பரிவர்த்தனைகள் பற்றிய சில விவாதங்களுடன். பிரிவு 4 தொடர்புடைய பணிகளைச் சுருக்கி Monolith உடன் ஒப்பிடுகிறது. பிரிவு 5 இந்த வேலையை முடிவுக்குக் கொண்டுவருகிறது. 2 வடிவமைப்பு Monolith இன் ஒட்டுமொத்த கட்டமைப்பு பொதுவாக TensorFlow இன் விநியோகிக்கப்பட்ட Worker- arameter erver அமைப்பைப் பின்பற்றுகிறது (Figure ஒரு Worker-PS கட்டமைப்பில், இயந்திரங்களுக்கு வெவ்வேறு பாத்திரங்கள் ஒதுக்கப்படுகின்றன; Worker இயந்திரங்கள் வரைபடத்தால் வரையறுக்கப்பட்டபடி கணக்கீடுகளைச் செய்வதற்கு பொறுப்பாகும், மேலும் PS இயந்திரங்கள் அளவுருக்களைச் சேமித்து Workers ஆல் கணக்கிடப்பட்ட சாய்வுகளின்படி அவற்றை புதுப்பிக்கின்றன. P S 2). பரிந்துரை மாதிரிகளில், அளவுருக்கள் இரண்டு தொகுப்புகளாக வகைப்படுத்தப்படுகின்றன: அடர்த்தியான மற்றும் sparse. அடர்த்தியான அளவுருக்கள் ஒரு ஆழ்ந்த நரம்பியல் நெட்வொர்க்கில் உள்ள எடைகள்/மாறிகள், மற்றும் sparse அளவுருக்கள் sparse அம்சங்களுக்கு ஒத்த உட்பொதிப்பு அட்டவணைகளைக் குறிக்கின்றன. எங்கள் வடிவமைப்பில், அடர்த்தியான மற்றும் sparse அளவுருக்கள் இரண்டும் TensorFlow Graph இன் ஒரு பகுதியாகும், மேலும் அவை அளவுரு சர்வர்களில் சேமிக்கப்படுகின்றன. அடர்த்தியான அளவுருக்களுக்கான TensorFlow இன் Variable ஐப் போலவே, நாங்கள் sparse அளவுருக்களுக்கான மிகவும் திறமையான, மோதல் இல்லாத மற்றும் நெகிழ்வான HashTable செயல்பாடுகளின் தொகுப்பை வடிவமைத்துள்ளோம். பயிற்சி மற்றும் அனுமானம் ஆகியவற்றின் பிரிவின் காரணமாக Tensor-Flow இன் வரம்பிற்கு ஒரு துணையாக, Monolith இன் நெகிழ்வாக அளவிடக்கூடிய ஆன்லைன் பயிற்சி, பிழை-சகிப்புத்தன்மை பொறிமுறையால் வழங்கப்படும் மாதிரி வலிமை உத்தரவாதத்துடன், குறுகிய இடைவெளிகளுக்குள் பயிற்சி-PS இலிருந்து ஆன்லைன் சேவை-PS க்கு அளவுருக்களை திறம்பட ஒத்திசைக்க வடிவமைக்கப்பட்டுள்ளது. 2.1 ஹாஷ் அட்டவணை Sparse அளவுரு பிரதிநிதித்துவத்தின் எங்கள் வடிவமைப்பில் முதல் கொள்கை, வெவ்வேறு ஐடிகளின் தகவல்களை ஒரே நிலையான அளவு உட்பொதிப்பில் திணிக்காமல் இருப்பது. ஒரு TensorFlow Variable ஐப் பயன்படுத்தி ஒரு டைனமிக் அளவு உட்பொதிப்பு அட்டவணையைப் பின்பற்றுவது தவிர்க்க முடியாமல் ஐடி மோதலுக்கு வழிவகுக்கிறது, இது புதிய ஐடிகள் வரும்போதும் அட்டவணை வளரும்போதும் மோசமடைகிறது. எனவே Variable ஐ அடிப்படையாகக் கொண்டதற்குப் பதிலாக, எங்கள் sparse அளவுருக்களுக்கு ஒரு புதிய விசை-மதிப்பு HashTable ஐ உருவாக்கினோம். எங்கள் HashTable Cuckoo Hashmap [ ] ஐ பின்னணியில் பயன்படுத்துகிறது, இது ஏற்கனவே உள்ளவற்றுடன் மோதாமல் புதிய விசைகளைச் செருகுவதை ஆதரிக்கிறது. Cuckoo Hashing ஆனது தேடல்கள் மற்றும் நீக்கல்களுக்கு மோசமான-நிலை 𝑂 (1) நேர சிக்கலான தன்மையையும், செருகல்களுக்கு எதிர்பார்க்கப்படும் இணக்கமான 𝑂 (1) நேரத்தையும் அடைகிறது. Figure இல் காட்டப்பட்டுள்ளது போல், இது இரண்டு அட்டவணைகள் 𝑇0, 𝑇1 ஐ வெவ்வேறு ஹாஷ் செயல்பாடுகளுடன் ℎ0 (𝑥), ℎ1 (𝑥) பராமரிக்கிறது, மேலும் ஒரு உறுப்பு அவற்றில் ஒன்றில் சேமிக்கப்படும். ஒரு உறுப்பு 16 3 𝑇0 இல் 𝐴 ஐச் செருக முயற்சிக்கும்போது, அது முதலில் 𝐴 ஐ ℎ0 (𝐴) இல் வைக்க முயற்சிக்கிறது; ℎ0 (𝐴) மற்றொரு உறுப்பு 𝐵 ஆல் ஆக்கிரமிக்கப்பட்டிருந்தால், அது 𝐵 ஐ 𝑇0 இலிருந்து வெளியேற்றி, அதே தர்க்கத்தைப் பயன்படுத்தி 𝐵 ஐ 𝑇1 இல் செருக முயற்சிக்கும். அனைத்து உறுப்புகளும் நிலைபெறும் வரை அல்லது செருகுதல் ஒரு சுழற்சியில் இயங்கும்போது மறு ஹாஷ் நிகழும் வரை இந்த செயல்முறை மீண்டும் செய்யப்படும். நினைவக அச்சுப்பொறி குறைப்பும் எங்கள் வடிவமைப்பில் ஒரு முக்கிய பரிசீலனையாகும். ஒவ்வொரு புதிய ஐடியையும் HashTable இல் செருகுவதற்கான ஒரு எளிய அணுகுமுறை நினைவகத்தை விரைவாக குறைக்கும். உண்மையான உற்பத்தி மாதிரிகளின் அவதானிப்பு இரண்டு முடிவுகளுக்கு வழிவகுத்தது: (1) சில முறை மட்டுமே தோன்றும் ஐடிகள் மாதிரி தரத்தை மேம்படுத்துவதில் வரையறுக்கப்பட்ட பங்களிப்பைக் கொண்டுள்ளன. ஒரு முக்கிய அவதானிப்பு என்னவென்றால், ஐடிகள் நீண்ட-வால் விநியோகிக்கப்படுகின்றன, அங்கு பிரபலமான ஐடிகள் மில்லியன் கணக்கான முறை தோன்றக்கூடும், அதே நேரத்தில் பிரபலமற்றவை பத்து முறைக்கு மேல் தோன்றாது. இந்த அரிதான ஐடிகளுக்கு ஒத்திருக்கும் உட்பொதிப்புகள் பயிற்சித் தரவு இல்லாததால் குறைவாக பொருந்துகின்றன, மேலும் மாதிரி அவற்றின் அடிப்படையில் நல்ல மதிப்பீட்டைச் செய்ய முடியாது. இறுதியில், இந்த ஐடிகள் முடிவைப் பாதிக்க வாய்ப்பில்லை, எனவே குறைந்த நிகழ்வுகளைக் கொண்ட இந்த ஐடிகளை அகற்றுவதன் மூலம் மாதிரி தரம் பாதிக்கப்படாது; (2) தொலைதூர வரலாற்றிலிருந்து காலாவதியான ஐடிகள் அரிதாகவே தற்போதைய மாதிரிக்கு பங்களிக்கின்றன, ஏனெனில் அவற்றில் பல ஒருபோதும் பார்வையிடப்படவில்லை. இது ஒரு செயலில் இல்லாத பயனர் காரணமாகவோ அல்லது காலாவதியான குறுகிய-வீடியோ காரணமாகவோ இருக்கலாம். இந்த ஐடிகளுக்கான உட்பொதிப்புகளைச் சேமிப்பது மாதிரிக்கு எந்த வகையிலும் உதவாது, ஆனால் எங்கள் PS நினைவகத்தை வீணாகக் குறைக்கிறது. இந்த அவதானிப்புகளின் அடிப்படையில், HashTable இன் நினைவக-திறமையான செயலாக்கத்திற்காக நாங்கள் பல அம்ச ஐடி வடிகட்டுதல் ஹியூரிஸ்டிக்ஸை வடிவமைத்துள்ளோம்: (1) ஐடிகள் உட்பொதிப்பு அட்டவணைகளில் சேர்க்கப்படுவதற்கு முன்பு வடிகட்டப்படுகின்றன. எங்களிடம் இரண்டு வடிகட்டுதல் முறைகள் உள்ளன: முதலில், அவை விசைகளாகச் செருகப்படுவதற்கு முன்பு அவற்றின் நிகழ்வுகளால் வடிகட்டுகிறோம், அங்கு நிகழ்வுகளின் வரம்பு ஒவ்வொரு மாதிரிக்கும் மாறுபடும் ஒரு சரிசெய்யக்கூடிய ஹைப்பர் அளவுருவாகும்; கூடுதலாக, நினைவக பயன்பாட்டை மேலும் குறைக்க உதவும் ஒரு நிகழ்தகவு வடிகட்டியை நாங்கள் பயன்படுத்துகிறோம்; ![#Figure 4: Streaming Engine. [பயனர் → மாதிரி சேவையகம் → பயிற்சி தொழிலாளி → மாதிரி சேவையகம் → பயனர்] இலிருந்து தகவல் பின்னூட்ட வளையம் தொகுப்பு பயிற்சி பாதையில் நீண்ட நேரம் எடுக்கும், அதே நேரத்தில் ஆன்லைன் பயிற்சி வளையத்தை உடனடியாக மூடும்.](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-78b3ep4.jpeg) (2) ஐடிகள் நேரமிடப்பட்டு, ஒரு குறிப்பிட்ட காலத்திற்கு செயலற்ற நிலையில் இருந்த பிறகு காலாவதியாக அமைக்கப்படுகின்றன. ஒவ்வொரு உட்பொதிப்பு அட்டவணைக்கும் காலாவதி நேரம் சரிசெய்யக்கூடியது, இது வரலாற்றுத் தகவல்களுக்கு வேறுபட்ட உணர்திறன் கொண்ட அம்சங்களை வேறுபடுத்த அனுமதிக்கிறது. எங்கள் செயலாக்கத்தில், HashTable ஒரு Tensor-Flow வள செயல்பாடாக செயல்படுத்தப்படுகிறது. Variable ஐப் போலவே, தேடல்கள் மற்றும் புதுப்பித்தல்களும் எளிதான ஒருங்கிணைப்பு மற்றும் சிறந்த இணக்கத்தன்மைக்கு சொந்தமான TensorFlow செயல்பாடுகளாக செயல்படுத்தப்படுகின்றன. 2.2 ஆன்லைன் பயிற்சி Monolith இல், பயிற்சி இரண்டு நிலைகளாகப் பிரிக்கப்பட்டுள்ளது (Figure 1): (1) தொகுப்பு பயிற்சி நிலை. இந்த நிலை ஒரு சாதாரண Tensor-Flow பயிற்சி வளையமாக செயல்படுகிறது: ஒவ்வொரு பயிற்சி படியிலும், ஒரு பயிற்சி தொழிலாளி சேமிப்பகத்திலிருந்து பயிற்சி எடுத்துக்காட்டுகளின் ஒரு மினி-தொகுப்பைப் படிக்கிறது, PS இலிருந்து அளவுருக்களைக் கோருகிறது, ஒரு முன் மற்றும் பின் பாஸை கணக்கிடுகிறது, இறுதியாக பயிற்சி PS க்கு புதுப்பிக்கப்பட்ட அளவுருக்களைத் தள்ளுகிறது. பொதுவான ஆழ்ந்த கற்றல் பணிகளிலிருந்து சிறிது வேறுபட்டு, எங்கள் தரவுத்தொகுப்பை ஒரு பாஸிற்கு மட்டுமே பயிற்றுவிக்கிறோம். எங்கள் மாதிரி கட்டமைப்பை மாற்றியமைத்து மாதிரியை மீண்டும் பயிற்றுவிக்கும்போது வரலாற்றுத் தரவைப் பயிற்றுவிக்க தொகுப்பு பயிற்சி பயனுள்ளதாக இருக்கும்; (2) ஆன்லைன் பயிற்சி நிலை. ஒரு மாதிரி ஆன்லைன் சேவைக்கு பயன்படுத்தப்பட்ட பிறகு, பயிற்சி நிறுத்தப்படாது, ஆனால் ஆன்லைன் பயிற்சி நிலைக்குள் நுழைகிறது. சேமிப்பகத்திலிருந்து மினி-தொகுப்பு எடுத்துக்காட்டுகளைப் படிப்பதற்குப் பதிலாக, ஒரு பயிற்சி தொழிலாளி நிகழ்நேர தரவை உடனடியாகப் பயன்படுத்திக் கொள்கிறது மற்றும் பயிற்சி PS ஐப் புதுப்பிக்கிறது. பயிற்சி PS அதன் அளவுருக்களை சேவை PS க்கு குறிப்பிட்ட கால இடைவெளியில் ஒத்திசைக்கிறது, இது பயனர் பக்கத்தில் உடனடியாக விளைவிக்கும். இது ஒரு பயனரின் பின்னூட்டத்திற்கு ஏற்ப எங்கள் மாதிரியை நிகழ்நேரத்தில் ஊடாடும் வகையில் மாற்றியமைக்க அனுமதிக்கிறது. Monolith தொகுப்பு பயிற்சி மற்றும் ஆன்லைன் பயிற்சிக்கு இடையில் தடையின்றி மாறுவதற்கான திறனுடன் கட்டமைக்கப்பட்டுள்ளது. இது எங்கள் ஸ்ட்ரீமிங் எஞ்சின் வடிவமைப்பால் (Figure செயல்படுத்தப்படுகிறது. 2.2.1 ஸ்ட்ரீமிங் எஞ்சின். 4) எங்கள் வடிவமைப்பில், பயனர்களின் செயல்களை (எ.கா. ஒரு உருப்படியைக் கிளிக் செய்தல் அல்லது ஒரு உருப்படியை விரும்புதல் போன்றவை) பதிவு செய்ய ஒரு Kafka [ ] வரிசையையும், அம்சங்களுக்கான மற்றொரு Kafka வரிசையையும் பயன்படுத்துகிறோம். எஞ்சினின் மையத்தில் உள்ள அம்சங்களை இணைக்கும் ஒரு Flink [ ] ஸ்ட்ரீமிங் பணி உள்ளது. ஆன்லைன் இணைப்பாளர் அம்சங்களை பயனர் செயல்களிலிருந்து லேபிள்களுடன் இணைத்து பயிற்சி எடுத்துக்காட்டுகளை உருவாக்குகிறது, அவை பின்னர் Kafka வரிசைக்கு எழுதப்படுகின்றன. பயிற்சி எடுத்துக்காட்டுகளுக்கான வரிசை ஆன்லைன் பயிற்சி மற்றும் தொகுப்பு பயிற்சி இரண்டாலும் பயன்படுத்தப்படுகிறது: 13 4 ஆன்லைன் பயிற்சிக்கு, பயிற்சி தொழிலாளி நேரடியாக Kafka வரிசையிலிருந்து தரவைப் படிக்கிறது; தொகுப்பு பயிற்சிக்கு, தரவு கொட்டும் பணி முதலில் HDFS [ ] க்கு தரவை கொட்டும்; HDFS இல் தரவு ஒரு குறிப்பிட்ட அளவு திரட்டப்பட்ட பிறகு, பயிற்சி தொழிலாளி HDFS இலிருந்து தரவைப் பெற்று தொகுப்பு பயிற்சியை மேற்கொள்ளும். 18 பயிற்சி PS இல் புதுப்பிக்கப்பட்ட அளவுருக்கள் அளவுரு ஒத்திசைவு அட்டவணைக்கு ஏற்ப சேவை PS க்குத் தள்ளப்படும். நிஜ உலக பயன்பாடுகளில், பயனர் செயல்கள் பதிவு மற்றும் அம்சங்கள் ஆன்லைன் இணைப்பிற்க்கு (Figure நேர வரிசையில் உத்தரவாதம் இல்லாமல் ஸ்ட்ரீம் செய்யப்படுகின்றன. எனவே, பயனர் செயல் மற்றும் அம்சங்களை சரியாக இணைக்க ஒவ்வொரு கோரிக்கைக்கும் ஒரு தனிப்பட்ட விசையைப் பயன்படுத்துகிறோம். 2.2.2 ஆன்லைன் இணைப்பான். 5) பயனர் செயலின் தாமதம் ஒரு பிரச்சனையாகவும் இருக்கலாம். உதாரணமாக, ஒரு பயனர் பல நாட்களுக்கு முன்பு வழங்கப்பட்ட ஒரு பொருளை வாங்க சில நாட்கள் ஆகலாம். இது இணைப்பிற்கு ஒரு சவாலாகும், ஏனெனில் அனைத்து அம்சங்களும் கேச் இல் வைக்கப்பட்டால், அது நினைவகத்தில் பொருந்தாது. எங்கள் அமைப்பில், ஒரு குறிப்பிட்ட காலத்திற்கு மேல் காத்திருக்கும் அம்சங்களைச் சேமிக்க ஒரு வட்டில் உள்ள விசை-மதிப்பு சேமிப்பு பயன்படுத்தப்படுகிறது. ஒரு பயனர் செயல் பதிவு வரும்போது, அது முதலில் நினைவக கேச் ஐத் தேடுகிறது, பின்னர் ஒரு கேச் இல்லாத நிலையில் விசை-மதிப்பு சேமிப்பைத் தேடுகிறது. நிஜ உலக பயன்பாடுகளில் எழும் மற்றொரு சிக்கல் என்னவென்றால், எதிர்மறை மற்றும் நேர்மறை எடுத்துக்காட்டுகளின் விநியோகம் மிகவும் சீரற்றது, அங்கு முந்தையவற்றின் எண்ணிக்கை பிந்தையதை விட பல மடங்கு அதிகமாக இருக்கும். நேர்மறை எடுத்துக்காட்டுகள் எதிர்மறை எடுத்துக்காட்டுகளால் மூழ்கடிக்கப்படுவதைத் தடுக்க, ஒரு பொதுவான உத்தி எதிர்மறை மாதிரி எடுப்பது. இது நிச்சயமாக பயிற்சி பெற்ற மாதிரியின் அடிப்படை விநியோகத்தை மாற்றும், நேர்மறை கணிப்புகளின் அதிக நிகழ்தகவை நோக்கி அதைச் சரிசெய்யும். ஒரு தீர்வாக, அசல் விநியோகத்தின் ஒரு பக்கச்சார்பற்ற மதிப்பீட்டாளர் எங்கள் ஆன்லைன் மாதிரி என்பதை உறுதிசெய்து, சேவை செய்யும் போது பதிவு லாஜிட் திருத்தம் [ ] ஐப் பயன்படுத்துகிறோம். 19 ஆன்லைன் பயிற்சியின் போது, மோனோலித் பயிற்சி க்ளஸ்டர் ஆன்லைன் சேவை தொகுதியிலிருந்து தரவைப் பெறுவதைத் தொடர்கிறது மற்றும் பயிற்சி PS இல் அளவுருக்களைப் புதுப்பிக்கிறது. பயிற்சி பெற்ற இந்த புதிய அளவுருக்களிலிருந்து ஆன்லைன் சேவை PS ஐப் பயனடையச் செய்யும் ஒரு முக்கியமான படி புதுப்பிக்கப்பட்ட மாதிரி அளவுருக்களின் ஒத்திசைவு ஆகும். உற்பத்தி சூழலில், நாங்கள் பல சவால்களை எதிர்கொள்கிறோம்: 2.2.3 அளவுரு ஒத்திசைவு. ஆன்லைன் சேவை PS இல் உள்ள மாதிரிகள் புதுப்பிக்கும்போது சேவை செய்வதை நிறுத்தக்கூடாது. எங்கள் உற்பத்தியில் உள்ள மாதிரிகள் பொதுவாக பல டெராபைட்டுகள் அளவிலானவை, இதன் விளைவாக அனைத்து அளவுருக்களையும் மாற்றுவதற்கு சிறிது நேரம் எடுக்கும். ஒரு ஆன்லைன் PS ஐ மாதிரிக்கு சேவை செய்வதை நிறுத்துவது தாங்க முடியாததாக இருக்கும், மேலும் புதுப்பிப்புகள் உடனடியாக செய்யப்பட வேண்டும்; பல டெராபைட் மாதிரியை அதன் முழுமையுடன் பயிற்சி PS இலிருந்து ஆன்லைன் சேவை PS க்கு மாற்றுவது PS இன் நெட்வொர்க் அலைவரிசை மற்றும் நினைவகம் இரண்டிற்கும் பெரும் அழுத்தத்தை ஏற்படுத்தும், ஏனெனில் இது புதிய மாதிரியை ஏற்க இரட்டிப்பு மாதிரி அளவு நினைவகம் தேவைப்படுகிறது. எங்கள் வணிக சூழ்நிலையின் அளவிற்கு ஆன்லைன் பயிற்சியை அளவிட, எங்கள் மாதிரிகளின் பல குறிப்பிடத்தக்க பண்புகளை அடிப்படையாகக் கொண்ட Monolith இல் ஒரு அதிகரிக்கும் ஆன்-தி-ஃப்ளை குறிப்பிட்ட கால அளவுரு ஒத்திசைவு பொறிமுறையை நாங்கள் வடிவமைத்துள்ளோம்: (1) பரிந்துரை மாதிரிகளின் அளவுகளில் sparse அளவுருக்கள் ஆதிக்கம் செலுத்துகின்றன; (2) குறுகிய கால சாளரத்தின் ஒரு குறுகிய வரம்பைக் கருத்தில் கொண்டு, ஒரு சிறிய துணைக்குழு ஐடிகள் மட்டுமே பயிற்சி பெற்று அவற்றின் உட்பொதிப்புகள் புதுப்பிக்கப்படுகின்றன; (3) அடர்த்தியான மாறிகள் sparse உட்பொதிப்புகளை விட மிக மெதுவாக நகர்கின்றன. பரிந்துரை பயிற்சித் தரவின் பாரிய அளவு காரணமாக மொமென்டம் அடிப்படையிலான ஆப்டிமைசர்களில் மொமென்டம் குவிப்பு பெரிதாக்கப்பட்டிருப்பதால் இது நிகழ்கிறது, அதே நேரத்தில் ஒரு தரவு தொகுப்பில் ஒரு சில sparse உட்பொதிப்புகள் மட்டுமே புதுப்பிப்புகளைப் பெறுகின்றன. (1) மற்றும் (2) அனைத்து அம்ச ஐடிகளிலும் sparse புதுப்பிப்புகளைப் பயன்படுத்த அனுமதிக்கின்றன. Monolith இல், நாங்கள் தொட்ட விசை ஹாஷ் தொகுப்பை பராமரிக்கிறோம், இது அளவுரு ஒத்திசைவுக்குப் பிறகு பயிற்சி பெற்ற ஐடிகளின் உட்பொதிப்புகளைக் குறிக்கிறது. நாங்கள் பயிற்சி PS இலிருந்து ஆன்லைன் சேவை PS க்கு நிமிட-அளவு நேர இடைவெளியுடன் விசைத்தொகுப்பில் உள்ள sparse அளவுருக்களின் துணைக்குழுவை அனுப்புகிறோம். இந்த ஒப்பீட்டளவில் சிறிய அதிகரிக்கும் அளவுரு புதுப்பித்தல் நெட்வொர்க் பரிமாற்றத்திற்கு இலகுவானது மற்றும் ஒத்திசைவின் போது கூர்மையான நினைவக எழுச்சியை ஏற்படுத்தாது. (3) ஐப் பயன்படுத்தி நெட்வொர்க் I/O மற்றும் நினைவக பயன்பாட்டைக் மேலும் குறைக்கிறோம், sparse அளவுருக்களுக்கு மிகவும் ஆக்கிரோஷமான ஒத்திசைவு அட்டவணையை அமைத்து, அடர்த்தியான அளவுருக்களை அவ்வப்போது புதுப்பிக்கிறோம். இது நாங்கள் சேவை செய்யும் அடர்த்தியான அளவுருக்கள் sparse பகுதியுடன் ஒப்பிடும்போது ஒப்பீட்டளவில் காலாவதியான பதிப்பாக இருக்கும் ஒரு சூழ்நிலைக்கு நம்மை இட்டுச்செல்லும். இருப்பினும், (3) இல் குறிப்பிடப்பட்ட காரணத்தால் இத்தகைய பொருந்தாமை பொறுத்துக்கொள்ளக்கூடியது, ஏனெனில் குறிப்பிடத்தக்க இழப்பு எதுவும் கவனிக்கப்படவில்லை. 2.3 பிழை-சகிப்புத்தன்மை உற்பத்தியில் ஒரு அமைப்பாக, Monolith PS தோல்வியுற்றால் அதை மீட்கும் திறனுடன் வடிவமைக்கப்பட்டுள்ளது. பிழை-சகிப்புத்தன்மைக்கான ஒரு பொதுவான தேர்வு மாதிரியின் நிலையை குறிப்பிட்ட கால இடைவெளியில் படம்பிடிப்பது, மற்றும் PS தோல்வி கண்டறியப்பட்டால் சமீபத்திய படத்திலிருந்து மீள்வது. பட அதிர்வெண்ணின் தேர்வு இரண்டு பெரிய தாக்கங்களைக் கொண்டுள்ளது: (1) மாதிரி தரம். உள்ளுணர்வாக, அதிகரித்த பட அதிர்வெண்ணுடன் சமீபத்திய வரலாற்றிலிருந்து இழப்பு மாதிரி தரத்தை குறைவாக பாதிக்கிறது. (2) கணினி மேல்நிலை. பல டெராபைட் மாதிரியைப் படம்பிடிப்பது இலவசம் அல்ல. இது பெரிய அளவிலான நினைவக நகல் மற்றும் வட்டு I/O ஐ ஏற்படுத்துகிறது. மாதிரி தரம் மற்றும் கணினி மேல்நிலைக்கு இடையே ஒரு வர்த்தகப் பரிமாற்றமாக, Monolith ஒவ்வொரு நாளும் அனைத்து பயிற்சி PS களையும் படம்பிடிக்கிறது. ஒரு PS தோல்வியுற்றால் ஒரு நாள் புதுப்பிப்பை இழக்கும் என்றாலும், எங்கள் பரிசோதனைகள் மூலம் செயல்திறன் குறைபாடு பொறுத்துக்கொள்ளக்கூடியதாக இருப்பதைக் கண்டறிந்தோம். அடுத்த பிரிவில் PS நம்பகத்தன்மையின் விளைவை நாங்கள் பகுப்பாய்வு செய்வோம். 3 மதிப்பீடு எங்கள் முன்மொழியப்பட்ட வடிவமைப்பால் கொண்டுவரப்பட்ட நன்மைகள் மற்றும் வர்த்தகப் பரிமாற்றங்களைப் பற்றி நன்கு புரிந்துகொள்ள, நாங்கள் பல பரிசோதனைகளை உற்பத்தி அளவில் மற்றும் நேரடி சேவை டிராஃபிக் உடன் A/B சோதனை செய்தோம், Monolith ஐ பல்வேறு அம்சங்களிலிருந்து மதிப்பிட்டு சரிபார்க்கிறோம். எங்கள் பரிசோதனைகள் மூலம் பின்வரும் கேள்விகளுக்கு பதிலளிக்க நாங்கள் நோக்கமாகக் கொண்டுள்ளோம்: (1) மோதல் இல்லாத ஹாஷ் அட்டவணையிலிருந்து நாம் எவ்வளவு பயனடையலாம்? (2) நிகழ்நேர ஆன்லைன் பயிற்சி எவ்வளவு முக்கியமானது? (3) அளவுரு ஒத்திசைவின் Monolith வடிவமைப்பு ஒரு பெரிய அளவிலான உற்பத்தி சூழலில் போதுமானதாக உள்ளதா? இந்த பிரிவில், எங்கள் சோதனை அமைப்புகளை நாங்கள் முதலில் வழங்குகிறோம், பின்னர் முடிவுகள் மற்றும் எங்கள் கண்டுபிடிப்புகளை விரிவாக விவாதிக்கிறோம். 3.1 சோதனை அமைப்பு பிரிவு இல் விவரிக்கப்பட்டுள்ளபடி, Monolith இல் உள்ள உட்பொதிப்பு அட்டவணைகள் மோதல் இல்லாத HashTables ஆக செயல்படுத்தப்படுகின்றன. உட்பொதிப்பு அட்டவணைகளில் மோதல்களைத் தவிர்ப்பதன் அவசியத்தை நிரூபிக்கவும், எங்கள் மோதல் இல்லாத செயலாக்கத்திலிருந்து கிடைக்கும் ஆதாயங்களை அளவிடவும், நாங்கள் Movielens தரவுத்தொகுப்பில் மற்றும் எங்கள் உள் உற்பத்தி தரவுத்தொகுப்பில் முறையே இரண்டு பரிசோதனைக் குழுக்களை மேற்கொண்டோம்: 3.1.1 உட்பொதிப்பு அட்டவணை. 2.1 (1) ml-25m தரவுத்தொகுப்பு [ ]. இது திரைப்பட மதிப்பீடுகளுக்கான ஒரு நிலையான பொது தரவுத்தொகுப்பு, இது சுமார் 162000 பயனர்கள் மற்றும் 62000 திரைப்படங்களை உள்ளடக்கிய 25 மில்லியன் மதிப்பீடுகளைக் கொண்டுள்ளது. MovieLens 11 • . அசல் லேபிள்கள் 0.5 முதல் 5.0 வரை மதிப்பிடப்பட்டன, அதேசமயம் உற்பத்தியில் எங்கள் பணிகள் பெரும்பாலும் பயனர்களிடமிருந்து இருமிக் குறிகாட்டிகளைப் பெறுகின்றன. எங்கள் உற்பத்தி மாதிரிகளை சிறப்பாக உருவகப்படுத்த, மதிப்பெண்கள் ≥ 3.5 நேர்மறை மாதிரிகளாகவும் மீதமுள்ளவை எதிர்மறை மாதிரிகளாகவும் கருதி அளவீடு லேபிள்களை இரும லேபிள்களாக மாற்றுகிறோம். லேபிள்களின் முன் செயலாக்கம் • மாதிரி மற்றும் அளவீடுகள். பரிந்துரை சிக்கல்களுக்கு பொதுவாகப் பயன்படுத்தப்படும் ஒரு மாதிரி கட்டமைப்பான ஒரு நிலையான DeepFM மாதிரியை நாங்கள் செயல்படுத்தினோம். இது ஒரு FM கூறு மற்றும் ஒரு அடர்த்தியான கூறு (Figure 6) ஆகியவற்றைக் கொண்டுள்ளது. கணிப்புகள் AUC ஆல் மதிப்பிடப்படுகின்றன, ஏனெனில் இது உண்மையான மாதிரிகளுக்கான முக்கிய அளவீடு ஆகும். • உட்பொதிப்பு மோதல்கள். இந்த தரவுத்தொகுப்பு தோராயமாக 160K பயனர் ஐடிகள் மற்றும் 60K திரைப்பட ஐடிகளைக் கொண்டுள்ளது. உட்பொதிப்பு அட்டவணையின் மோதல் இல்லாத பதிப்புடன் ஒப்பிடுவதற்கு, MD5 ஹாஷிங் மூலம் ஐடிகள் முன் செயலாக்கப்பட்டு பின்னர் ஒரு சிறிய ஐடி வெளிக்குள் வரைபடமாக்கப்பட்ட ஒரு பரிசோதனைக் குழுவை நாங்கள் மேற்கொண்டோம். இதன் விளைவாக, சில ஐடிகள் மற்றவர்களுடன் தங்கள் உட்பொதிப்பைப் பகிர்ந்து கொள்ளும். அட்டவணை 1 ஹாஷிங்கிற்கு முன்னும் பின்னும் பயனர் மற்றும் திரைப்பட ஐடிகளின் விரிவான புள்ளிவிவரங்களைக் காட்டுகிறது. (2) . உள் பரிந்துரை தரவுத்தொகுப்பு நாங்கள் ஒரு பரிந்துரை மாதிரியிலும் உற்பத்தி சூழலிலும் பரிசோதனைகளை மேற்கொண்டோம். இந்த மாதிரி பொதுவாக ஒரு பல-கோபுர கட்டமைப்பைப் பின்பற்றுகிறது, ஒவ்வொரு கோபுரமும் ஒரு சிறப்பு வகை பயனர் நடத்தையைக் கணிக்க கற்றுக்கொள்வதற்குப் பொறுப்பாகும். ஒவ்வொரு மாதிரியும் சுமார் 1000 உட்பொதிப்பு அட்டவணைகளைக் கொண்டுள்ளது, மேலும் உட்பொதிப்பு அட்டவணைகளின் அளவின் விநியோகம் மிகவும் சீரற்றது; உட்பொதிப்பு அட்டவணையின் அசல் ஐடி வெளி 248 ஆக இருந்தது. எங்கள் அடிப்படை நிலையில், உட்பொதிப்பு அட்டவணையின் அளவைக் கட்டுப்படுத்த ஹாஷிங் தந்திரத்தைப் பயன்படுத்தினோம். இன்னும் குறிப்பாக, ஒரு தனிப்பட்ட ஐடிக்கு ஒரு தனித்துவமான உட்பொதிப்பை உருவாக்க ஒரு பெரிய அட்டவணைக்குப் பதிலாக இரண்டு சிறிய உட்பொதிப்பு அட்டவணைகளைப் பயன்படுத்துகிறோம்: இங்கு 𝐸𝑟 , 𝐸𝑞 ஆகியவை 𝐼𝐷𝑟 , 𝐼𝐷𝑞 க்கு ஒத்திருக்கும் உட்பொதிப்புகள். இது உட்பொதிப்பு அட்டவணை அளவுகளை 248 இலிருந்து 225 ஆக திறம்பட குறைக்கிறது; • இந்த மாதிரி உண்மையான உற்பத்தியில் சேவை செய்கிறது, மேலும் இந்த பரிசோதனையின் செயல்திறன் உண்மையான சேவை டிராஃபிக் உடன் ஆன்லைன் AUC ஆல் அளவிடப்படுகிறது. ஆன்லைன் பயிற்சியின் போது, எங்கள் ஆன்லைன் சேவை PS ஐ நிமிட-அளவு இடைவெளிகளுடன் சமீபத்திய அளவுருக்களுடன் புதுப்பிக்கிறோம். மாதிரி தரம் மற்றும் கணினி வலிமை ஆகியவற்றைச் சரிபார்க்க நாங்கள் இரண்டு பரிசோதனைக் குழுக்களை வடிவமைத்துள்ளோம். 3.1.2 ஆன்லைன் பயிற்சி. (1) . நிமிட-அளவு புதுப்பிப்பு அதிர்வெண்ணின் அவசியத்தை ஆராய, வெவ்வேறு இடைவெளிகளில் பயிற்சி மாதிரிக்கும் கணிப்பு மாதிரிக்கும் அளவுருக்களை ஒத்திசைக்கும் பரிசோதனைகளை நாங்கள் மேற்கொண்டோம். புதுப்பிப்பு அதிர்வெண் நாங்கள் பயன்படுத்தும் தரவுத்தொகுப்பு Criteo Display Ads Challenge dataset3 ஆகும், இது CTR மாதிரிகளை பெஞ்ச்மார்க் செய்வதற்கான ஒரு பெரிய அளவிலான நிலையான தரவுத்தொகுப்பு ஆகும். இது அம்சங்கள் மற்றும் கிளிக் செயல்களைப் பதிவு செய்யும் 7 நாட்களின் காலவரிசைப்படுத்தப்பட்ட தரவைக் கொண்டுள்ளது. இந்த பரிசோதனைக்கு, நாங்கள் ஒரு நிலையான DeepFM மாதிரியைப் பயன்படுத்துகிறோம், இது இல் விவரிக்கப்பட்டுள்ளது. 6 தரவுத்தொகுப்பிற்கு நாங்கள் செய்த முன் செயலாக்கத்தைப் போல ஆன்லைன் பயிற்சியை உருவகப்படுத்த. தரவுத்தொகுப்பிலிருந்து 7 நாட்கள் தரவை எடுத்து, அதை இரண்டு பகுதிகளாகப் பிரித்தோம்: தொகுப்பு பயிற்சிக்கு 5 நாட்கள் தர