ByteDance's Monolith: Smarter, Faster Content Feeds-க்கு சக்தியளிக்கும் இயந்திரம்

```html කර්තෘවරු: Zhuoran Liu, Bytedance Inc. Leqi Zou, Bytedance Inc. Xuan Zou, Bytedance Inc. Caihua Wang, Bytedance Inc. Biao Zhang, Bytedance Inc. Da Tang, Bytedance Inc. Bolin Zhu∗, Fudan University Yijie Zhu, Bytedance Inc. Peng Wu, Bytedance Inc. Ke Wang, Bytedance Inc. Youlong Cheng†, Bytedance Inc. (youlong.cheng@bytedance.com) සාරාංශය කෙටි-වීඩියෝ ශ්රේණිගත කිරීම හෝ මාර්ගගත දැන්වීම් වැනි කාල-සංවේදී පාරිභෝගික ප්රතිපෝෂණය මගින් ධාවනය වන බොහෝ ව්යාපාර සඳහා විශාල සහ තථ්ය-කාලීන නිර්දේශ පද්ධතියක් ගොඩනැගීම අත්යවශ්ය වේ. Tensor-Flow හෝ PyTorch වැනි නිෂ්පාදන-පරිමාණ ගැඹුරු ඉගෙනුම් රාමු බහුලව භාවිතා කළද, මෙම සාමාන්ය-අරමුණු රාමු විවිධ හේතූන් මත නිර්දේශ අවස්ථා වලදී ව්යාපාරික ඉල්ලීම් වලට අඩුවෙන් සපයයි: එක් අතකින්, ගතික සහ විරල ලක්ෂණ සහිත නිර්දේශය සඳහා ස්ථාවර පරාමිතීන් සහ ඝන ගණනය කිරීම් මත පදනම්ව පද්ධති සුසර කිරීම ආදර්ශයේ ගුණාත්මක භාවයට අහිතකර ය; අනෙක් අතින්, එවැනි රාමු තොග-පුහුණු අදියර සහ සේවා අදියර සම්පූර්ණයෙන්ම වෙන් කර ඇති පරිදි නිර්මාණය කර ඇත, එය ආදර්ශය තථ්ය-කාලීනව පාරිභෝගික ප්රතිපෝෂණය සමඟ අන්තර්ක්රියා කිරීම වළක්වයි. මෙම ගැටළු අපව සාම්ප්රදායික ප්රවේශයන් නැවත පරීක්ෂා කිරීමට සහ රැඩිකලි ලෙස වෙනස් වන නිර්මාණ තේරීම් ගවේෂණය කිරීමට යොමු කළේය. මෙම කඩදාසියේ, අපි 1 ඉදිරිපත් කරමු, එය මාර්ගගත පුහුණුව සඳහා සකස් කරන ලද පද්ධතියකි. අපගේ සැලසුම වෙනත් නිර්දේශ පද්ධති වලින් කැපී පෙනෙන අපගමනයක් පිළිබිඹු කරන අපගේ යෙදුම් වැඩ බර සහ නිෂ්පාදන පරිසරය පිළිබඳ නිරීක්ෂණයන් මගින් මෙහෙයවනු ලැබේ. අපගේ දායකත්වයන් බහුල ය: පළමුව, අපි කල් ඉකුත් වන එම්බෙඩින් සහ සංඛ්යාත පෙරීම වැනි ප්රශස්තකරණයන් සමඟ ගැටුම් රහිත එම්බෙඩින් මේසයක් සකස් කළෙමු, එය එහි මතක අඩිපාර අඩු කරයි; දෙවනුව, අපි ඉහළ දෝෂ-ඉවසීමක් සහිත නිෂ්පාදනය-සූදානම් මාර්ගගත පුහුණු ගෘහනිර්මාණයක් සපයන්නෙමු; අවසාන වශයෙන්, තථ්ය-කාලීන ඉගෙනීම සඳහා පද්ධති විශ්වසනීයත්වය වෙළඳාම් කළ හැකි බව අපි ඔප්පු කළෙමු. Monolith BytePlus Recommend2 නිෂ්පාදනයේදී සාර්ථකව ගොඩ බැස ඇත. Monolith 1 හැඳින්වීම පසුගිය දශකය නිර්දේශ ශිල්පීය ක්රම මගින් ධාවනය වන ව්යාපාරවල පිපිරීමක් දුටුවේය. වඩා හොඳ පාරිභෝගික අත්දැකීමක් සඳහා වූ උත්සාහයේදී, මෙම ව්යාපාරික යෙදුම්වල පොදු ඉලක්කය වන එක් එක් පුද්ගලයාට පුද්ගලීකරණය කළ අන්තර්ගතය ලබා දීම. මෙය සිදු කිරීම සඳහා, පරිශීලකයාගේ නවතම අන්තර්ක්රියාවෙන් ලැබෙන තොරතුරු ආදර්ශයක් පුහුණු කිරීම සඳහා ප්රාථමික ආදානය ලෙස බොහෝ විට භාවිතා වේ, මන්ද එය පරිශීලකයාගේ චිත්රය වඩාත් හොඳින් නිරූපණය කරන අතර පරිශීලකයාගේ උනන්දුව සහ අනාගත හැසිරීම් වල අනාවැකි කරයි. ගැඹුරු ඉගෙනීම නිර්දේශ ආදර්ශ වල ආධිපත්යය පවත්වා ඇත [ , , , , , ] මන්ද විශාල පරිමාණ පරිශීලක දත්ත ස්කන්ධ වශයෙන් දත්ත-ධාවනය වන ස්නායු ආදර්ශ සඳහා ස්වාභාවිකව ගැලපේ. කෙසේ වෙතත්, කර්මාන්ත- මට්ටමේ නිර්දේශ පද්ධති වල ගැඹුරු ඉගෙනුම් ශක්තිය භාවිතා කිරීම සඳහා වන ප්රයත්නයන් නිරන්තරයෙන් සැබෑ ලෝක පරිශීලක හැසිරීම් වලින් ලබාගත් දත්තවල අද්විතීය ලක්ෂණ වලින් පැන නගින ගැටළු වලට මුහුණ දෙයි. මෙම දත්ත භාෂා ආකෘතිකරණය හෝ පරිගණක දර්ශනය වැනි සම්ප්රදායික ගැඹුරු ඉගෙනුම් ගැටළු වලට භාවිතා කරන දත්ත වලට වඩා දෙකකින් වෙනස් වේ: 5 6 10 12 20 21 (1) ලක්ෂණ බොහෝ දුරට විරල, වර්ගීකරණය කළ හැකි සහ ගතිකව වෙනස් වෙමින් පවතී; (2) පුහුණු දත්ත වල උපස්ථර බෙදා හැරීම ස්ථාවර නොවේ, එනම්, සංකල්පය විතැන් වීම [8]. මෙවැනි වෙනස්කම් නිර්දේශ පද්ධති වල වැඩ කරන පර්යේෂකයන්ට සහ ඉංජිනේරුවන්ට අද්විතීය අභියෝග ඉදිරිපත් කර ඇත. 1.1 විරලත්වය සහ ගතිකත්වය නිර්දේශ සඳහා දත්ත බොහෝ විට විරල වර්ගීකරණය කළ හැකි ලක්ෂණ අඩංගු වේ, ඒවායින් සමහරක් අඩු සංඛ්යාතයකින් දිස් වේ. ඒවා උස-මාන එම්බෙඩින් අවකාශයකට සිතියම් ගත කිරීමේ සාමාන්ය පුරුද්ද ගැටළු මාලාවකට තුඩු දෙනු ඇත: • වචන-කැබලි සංඛ්යාව සීමිත වන භාෂා ආදර්ශ මෙන් නොව, පරිශීලකයින් සහ ශ්රේණිගත කිරීමේ අයිතම සංඛ්යාව අනුපිළිවෙලින් විශාල වේ. මෙවැනි අතිවිශාල එම්බෙඩින් මේසයක් තනි සත්කාරක මතකයට ගැලපීම දුෂ්කර ය; • ඊටත් වඩා නරක නම්, තවත් පරිශීලකයින් සහ අයිතම ඇතුළත් වන විට එම්බෙඩින් මේසයේ ප්රමාණය කාලයත් සමඟ වර්ධනය වනු ඇතැයි අපේක්ෂා කෙරෙන අතර, [ , ] වැනි රාමු එම්බෙඩින් මේසය නියෝජනය කිරීම සඳහා ස්ථාවර-ප්රමාණයේ ඝන විචල්යයන් භාවිතා කරයි. 1 17 ප්රායෝගිකව, බොහෝ පද්ධති මතක අඩිපාර අඩු කිරීමට සහ හැඳුනුම්පත් වර්ධනයට ඉඩ දීම සඳහා අඩු-ගැටුම් හැෂ් කිරීම [ , ] පිළිගනී. මෙය හැඳුනුම්පත් එම්බෙඩින් මේසයේ ඒකාකාරව බෙදා හරිනු ඇතැයි යන අති-ආදර්ශවාදී උපකල්පනය මත රඳා පවතී, සහ ගැටුම් ආදර්ශයේ ගුණාත්මක භාවයට හානිකර ය. අවාසනාවකට මෙන්, මෙය සැබෑ ලෝක නිර්දේශ පද්ධතියක් සඳහා කලාතුරකින් සත්ය වේ, එහිදී පරිශීලකයින් හෝ අයිතමයන්ගෙන් කුඩා කණ්ඩායමක් සැලකිය යුතු තරම් වැඩි සිදුවීම් ඇත. එම්බෙඩින් මේසයේ ප්රමාණයෙහි කාබනික වර්ධනයත් සමඟ, හැෂ් යතුරු ගැටුමේ අවස්ථා වැඩි වන අතර ආදර්ශයේ ගුණාත්මක භාවයේ පිරිහීමට හේතු වේ 3 6 [3]. එබැවින් නිෂ්පාදන-පරිමාණ නිර්දේශ පද්ධති සඳහා එහි පරාමිතීන් තුළ ලක්ෂණ රාශියක් ග්රහණය කර ගැනීමේ හැකියාව, සහ එය වගකීමට උත්සාහ කරන පරිශීලකයින් සහ අයිතම සංඛ්යාව නම්යශීලීව සකස් කිරීමේ හැකියාව ඇත. 1.2 ස්ථාවර නොවන බෙදාහැරීම ශතවර්ෂ ගණනක කාල පරිමාණයකදී දෘශ්ය සහ භාෂා රටා එතරම් දියුණු නොවනු ඇත, අතර එක් මාතෘකාවකට උනන්දුවක් දක්වන පරිශීලකයෙකු ඊළඟ මිනිත්තුවේදී ඔවුන්ගේ උද්යෝගය මාරු කළ හැකිය. එහි ප්රතිඵලයක් වශයෙන්, පරිශීලක දත්ත වල උපස්ථර බෙදා හැරීම ස්ථාවර නොවේ, එය සාමාන්යයෙන් සංකල්පය විතැන් වීම ලෙස හැඳින්වේ. [8] අවබෝධයෙන්, වඩාත් මෑතකාලීන ඉතිහාසයේ තොරතුරු පරිශීලකයාගේ හැසිරීමේ වෙනස අනාවැකි කිරීමට වඩාත් ඵලදායීව දායක විය හැකිය. සංකල්පය විතැන් වීම හි බලපෑම අවම කිරීම සඳහා, සේවා ආදර්ශ පරිශීලකයාගේ නවතම උනන්දුව පිළිබිඹු කිරීම සඳහා හැකි තරම් තථ්ය-කාලීනව නව පරිශීලක ප්රතිපෝෂණයෙන් යාවත්කාලීන කළ යුතුය. [8] මෙම වෙනස්කම් සහ අපගේ නිෂ්පාදනයේ පැන නගින ගැටළු පිළිබඳ නිරීක්ෂණය අනුව, අපි මෙම වේදනා ලක්ෂ්යයන් විසඳීම සඳහා විශාල-පරිමාණ නිර්දේශ පද්ධතියක් වන නිර්මාණය කළෙමු. අපි නිෂ්පාදන පරිසරයේ අපගේ නිර්මාණය සත්යාපනය කිරීමට සහ පුනරාවර්තනය කිරීමට පුළුල් අත්හදා බැලීම් කළෙමු. Monolithට හැකිය: Monolith (1) ගැටුම් රහිත හැෂ් මේසයක් සහ ගතික ලක්ෂණ බැහැර කිරීමේ යාන්ත්රණයක් සැලසුම් කිරීම මගින් විරල ලක්ෂණ සඳහා සම්පූර්ණ ප්රකාශන බලය ලබා දීම; (2) තථ්ය-කාලීන ඉගෙනීම සමඟ සේවා ප්රතිපෝෂණය පුහුණුවට නැවත භ්රමණය කිරීම. මෙම ගෘහනිර්මාණ ධාරිතාවන් මගින් සවිමත් කරන ලද, Monolith ගැටුම් සහිත හැෂ්-ප්රවීණයන් පිළිගන්නා පද්ධති වලට වඩා සැලකිය යුතු ලෙස හොඳින් ක්රියා කරයි, සාමාන්යයෙන් සමාන මතක භාවිතයක් සහිතව, සහ අපගේ සේවාදායකයන්ගේ ගණනය කිරීමේ ශක්තිය අධික ලෙස පැටවීමට අමතරව නවීනතම මාර්ගගත සේවා AUC සපුරාලයි. කඩදාසියේ ඉතිරි කොටස පහත පරිදි සංවිධානය කර ඇත. අපි මුලින්ම 2 වන කොටසේ ගැටුම් රහිත හැෂ් මේසයක් සහ තථ්ය-කාලීන පුහුණුව සමඟ Monolith පවතින අභියෝගයට මුහුණ දෙන ආකාරය පිළිබඳ නිර්මාණ විස්තර විස්තර කරමු. අත්හදා බැලීම් සහ ප්රතිඵල 3 වන කොටසේ ඉදිරිපත් කරනු ලැබේ, නිෂ්පාදනය-පරීක්ෂා කරන ලද නිගමන සහ කාල-සංවේදීතාව, විශ්වසනීයත්වය සහ ආදර්ශ ගුණාත්මකභාවය අතර වෙළඳාම් පිළිබඳ සමහර සාකච්ඡා සමඟ. 4 වන කොටස සම්බන්ධිත කාර්යයන් සාරාංශ කර Monolith සමඟ ඒවා සසඳයි. 5 වන කොටස මෙම කාර්යය සාරාංශ කරයි. 2 නිර්මාණය Monolith හි සමස්ත ගෘහනිර්මාණය සාමාන්යයෙන් TensorFlow හි බෙදා හරින ලද Worker- arameter erver සැකසුමට අනුගමනය කරයි (Figure Worker-PS ගෘහනිර්මාණයක් තුළ, යන්ත්ර වලට විවිධ භූමිකාවන් පවරනු ලැබේ; Worker යන්ත්ර වලට ග්රැෆ් විසින් නිර්වචනය කරන ලද පරිදි ගණනය කිරීම් සිදු කිරීමේ වගකීම ඇත, සහ PS යන්ත්ර පරාමිතීන් ගබඩා කර Workers විසින් ගණනය කරන ලද ශ්රේණිගත කිරීම් වලට අනුව ඒවා යාවත්කාලීන කරයි. P S 2). නිර්දේශ ආදර්ශ වලදී, පරාමිතීන් දෙකකට වර්ගීකරණය කර ඇත: ඝන සහ විරල. ඝන පරාමිතීන් යනු ගැඹුරු ස්නායු ජාලයක බර/විචල්යයන් වන අතර, විරල පරාමිතීන් යනු විරල ලක්ෂණ වලට අනුරූප වන එම්බෙඩින් මේසයන් ය. අපගේ නිර්මාණයෙහි, ඝන සහ විරල පරාමිතීන් දෙකම TensorFlow Graph හි කොටසක් වන අතර, පරාමිති සේවාදායකයන් මත ගබඩා කර ඇත. ඝන පරාමිතීන් සඳහා TensorFlow's Variable ට සමානව, අපි විරල පරාමිතීන් සඳහා ඉහළ-කාර්යක්ෂම, ගැටුම් රහිත සහ නම්යශීලී HashTable මෙහෙයුම් කට්ටලයක් නිර්මාණය කළෙමු. පුහුණුව සහ උපමානය අතර වෙන්වීමේ සිට පැන නගින TensorFlow's සීමාවට අනුපූරකයක් ලෙස, Monolith's නම්යශීලීව විශාල කළ හැකි මාර්ගගත පුහුණුව, දෝෂ-ඉවසීමේ යාන්ත්රණය මගින් සපයනු ලබන ආදර්ශ ශක්තියක් සහිතව, මාර්ගගත සේවා-PS වෙත පුහුණුව-PS වෙතින් පරාමිතීන් කාර්යක්ෂමව සමමුහුර්ත කිරීම සඳහා නිර්මාණය කර ඇත. 2.1 හැෂ් මේසය විරල පරාමිති නිරූපණය පිළිබඳ අපගේ නිර්මාණයෙහි පළමු මූලධර්මය වන්නේ විවිධ හැඳුනුම්පත් වලින් තොරතුරු එකම ස්ථාවර-ප්රමාණයේ එම්බෙඩින් එකකට තද කිරීම වැළැක්වීමයි. නො-අවුට්-ඔෆ්-ද-බොක්ස් TensorFlow Variable සමඟ ගතික ප්රමාණයේ එම්බෙඩින් මේසයක් අනුකරණය කිරීම අනිවාර්යයෙන්ම හැඳුනුම්පත් ගැටුමට තුඩු දෙනු ඇත, එය නව හැඳුනුම්පත් පැමිණෙන විට සහ මේසය වර්ධනය වන විට උග්ර වේ. එබැවින් Variable මත ගොඩනැගීම වෙනුවට, අපි අපගේ විරල පරාමිතීන් සඳහා නව යතුරු-කෙවළිHashTable එකක් දියුණු කළෙමු. අපගේ HashTable අභ්යන්තරව Cuckoo Hashmap [ ] භාවිතා කරයි, එය පවතින ඒවා සමඟ ගැටුම් නොමැතිව නව යතුරු ඇතුළත් කිරීමට සහාය වේ. Cuckoo Hashing සෙවීම් සහ මකන සඳහා උපරිම-අඩු-$ O (1) $ කාල සංකීර්ණතාවය, සහ ඇතුළත් කිරීම් සඳහා අපේක්ෂිත අර්ධ- $ O (1) $ කාලය ලබා දෙයි. Figure හි දැක්වෙන පරිදි එය විවිධ හැෂ් ශ්රිතයන් $h_0(x)$, $h_1(x)$ සහිත වගු දෙකක් $T_0$, $T_1$ පවත්වා ගනී, සහ අංගයක් ඒවායින් එකක ගබඩා කරනු ඇත. 𝐴 යන අංගයක් $T_0$ තුළට ඇතුළත් කිරීමට උත්සාහ කරන විට, එය මුලින්ම 𝐴 𝑎𝑡 $h_0(A)$ හි තැබීමට උත්සාහ කරයි; $h_0(A)$ වෙනත් අංගයක් 𝐵 විසින් අල්ලාගෙන තිබේ නම්, එය 𝐵 𝑎𝑡 $T_1$ හි 𝐴 𝑎𝑡 $h_0(A)$ වෙතින් ඉවත් කර, එම තර්කයම භාවිතා කර 𝐵 𝑎𝑡 $T_1$ හි ඇතුළත් කිරීමට උත්සාහ කරයි. මෙම ක්රියාවලිය සියලු අංග ස්ථාවර වන තෙක්, හෝ ඇතුළත් කිරීම් චක්රයකට අවුල් වන විට නැවත හැෂ් කිරීම සිදු වන තෙක් පුනරාවර්තනය වේ. 16 3 අපගේ නිර්මාණයෙහි මතක අඩිපාර අඩුවීම ද වැදගත් සලකා බැලීමකි. සෑම නව හැඳුනුම්පතක්ම HashTable වෙත ඇතුළත් කිරීමේ සරල ප්රවේශයක් ඉක්මනින් මතකය ක්ෂය කරනු ඇත. සැබෑ නිෂ්පාදන ආදර්ශ නිරීක්ෂණයන් දෙකකට මග පෑදී ඇත: (1) අතලොප් එකක් පමණක් ඇති හැඳුනුම්පත් වලට ආදර්ශ ගුණාත්මක භාවය වැඩි දියුණු කිරීමට සීමිත දායකත්වයක් ඇත. වැදගත් නිරීක්ෂණයක් නම්, හැඳුනුම්පත් දිගු-කඩු බෙදා හැරීම වන අතර, ජනප්රිය හැඳුනුම්පත් මිලියන ගණනක් සිදුවීම් ඇති අතර ජනප්රිය නොවන ඒවා දහයකට වඩා වැඩි නොවේ. මෙම අතිශය දුර්ලභ හැඳුනුම්පත් වලට අනුරූප වන එම්බෙඩින් පුහුණු දත්ත හිඟකම නිසා යටපත් වී ඇති අතර ආදර්ශය ඒවා මත හොඳ අස්තමේන්තුවක් කිරීමට නොහැකි වනු ඇත. දවසේ අවසානයේදී මෙම හැඳුනුම්පත් ප්රතිඵලයට බලපාන්නේ නැත, එබැවින් ආදර්ශයේ ගුණාත්මකභාවය අඩු සිදුවීම් සහිත මෙම හැඳුනුම්පත් ඉවත් කිරීමෙන් පීඩාවට පත් නොවනු ඇත; (2) දුරස්ථ ඉතිහාසයේ සිට යල් පුවරු වූ හැඳුනුම්පත් බොහෝ විට ඒවා කිසි විටෙකත් සංචාරය නොකිරීම නිසා වත්මන් ආදර්ශයට දායක වන්නේ කලාතුරකිනි. මෙය පරිශීලකයා තවදුරටත් සක්රිය නොවීම හෝ කෙටි-වීඩියෝ එකක් යල් පැන ගිය එකක් වීම නිසා විය හැකිය. මෙම හැඳුනුම්පත් සඳහා එම්බෙඩින් ගබඩා කිරීම ආදර්ශයට කිසි ආකාරයකින් උපකාර කළ නොහැකි අතර අපගේ PS මතකය නිෂ්ඵල ලෙස ජලය බැස යයි. මෙම නිරීක්ෂණය මත පදනම්ව, අපි HashTable හි මතකය-කාර්යක්ෂම ක්රියාත්මක කිරීම සඳහා ලක්ෂණ ID පෙරහන් උපක්රම කිහිපයක් නිර්මාණය කළෙමු: (1) හැඳුනුම්පත් එම්බෙඩින් මේසයට ඇතුළත් කිරීමට පෙර පෙරහන් කරනු ලැබේ. අපට පෙරහන් කිරීමේ ක්රම දෙකක් තිබේ: පළමුව, ඒවා යතුරු ලෙස ඇතුළත් කිරීමට පෙර ඒවායේ සිදුවීම් අනුව අපි පෙරහන් කරමු, එහිදී සිදුවීම් වල සීමාව එක් එක් ආදර්ශයට වෙනස් වන ශ්රිතගත කළ හැකි අධි-පරාමිතියකි; ඊට අමතරව අපි මතක භාවිතය තවදුරටත් අඩු කිරීමට උපකාර වන සම්භාවිතා පෙරහනක් භාවිතා කරමු; ![#Figure 4: Streaming Engine. [User → Model Server → Training Worker → Model Server → User] වෙතින් තොරතුරු ප්රතිපෝෂණ ලූප් තොග පුහුණු මාර්ගය ගන්නා විට දිගු කාලයක් ගත වන අතර, මාර්ගගත පුහුණුව ලූප් එක වඩාත් ක්ෂණිකව වසා දමයි.](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-78b3ep4.jpeg) (2) හැඳුනුම්පත් වලට වේලාවක් නියම කර ඇති අතර කලින් තීරණය කළ කාල සීමාවකට අක්රිය වීමෙන් පසු කල් ඉකුත් වේ. එක් එක් එම්බෙඩින් මේසයට කල් ඉකුත් වීමේ කාලය ද ශ්රිතගත කළ හැකි වන අතර, ඓතිහාසික තොරතුරු සඳහා විවිධ සංවේදීතාවයන් සහිත ලක්ෂණ වලට ඉඩ සලසයි. අපගේ ක්රියාත්මක කිරීමෙහි, HashTable TensorFlow සම්පත් මෙහෙයුමක් ලෙස ක්රියාත්මක වේ. Variable ට සමානව, සෙවීම් සහ යාවත්කාලීන කිරීම් ද පහසු ඒකාබද්ධ කිරීම සහ හොඳ අනුකූලතාවය සඳහා ස්වදේශීය TensorFlow මෙහෙයුම් ලෙස ක්රියාත්මක වේ. 2.2 මාර්ගගත පුහුණුව Monolith හි, පුහුණුව අදියර දෙකකට බෙදා ඇත (Figure 1): (1) තොග පුහුණු අදියර. මෙම අදියර සාමාන්ය TensorFlow පුහුණු ලූපයක් ලෙස ක්රියා කරයි: එක් එක් පුහුණු පියවරේදී, පුහුණු සේවකයෙකු ගබඩාවෙන් පුහුණු උදාහරණ වල එක් කුඩා-තොගයක් කියවයි, PS වෙතින් පරාමිතීන් ඉල්ලා සිටී, ඉදිරිපස සහ පසුපස ගමන් ගණනය කරයි, අවසානයේ පුහුණු PS වෙත යාවත්කාලීන කරන ලද පරාමිතීන් තල්ලු කරයි. සාමාන්ය ගැඹුරු ඉගෙනුම් කාර්යයන් වලට වඩා තරමක් වෙනස්ව, අපි අපගේ දත්ත කට්ටලයට එක් ගමනක් පමණක් පුහුණු කරමු. අපගේ ආදර්ශ ගෘහනිර්මාණය වෙනස් කර ආදර්ශය නැවත පුහුණු කරන විට තොග පුහුණුව ඓතිහාසික දත්ත පුහුණු කිරීම සඳහා ප්රයෝජනවත් වේ; (2) මාර්ගගත පුහුණු අදියර. ආදර්ශය මාර්ගගතව යෙදවීමෙන් පසු, පුහුණුව නතර නොවී මාර්ගගත පුහුණු අදියරට ඇතුල් වේ. ගබඩාවෙන් කුඩා-තොග උදාහරණ කියවා ගැනීම වෙනුවට, පුහුණු සේවකයෙකු තථ්ය-කාලීනව දත්ත මත-the-fly පරිභෝජනය කරන අතර පුහුණු PS යාවත්කාලීන කරයි. පුහුණු PS ආවර්තිතව එහි පරාමිතීන් සේවා PS වෙත සමමුහුර්ත කරයි, එය පරිශීලක පැත්තේ වහාම බලපෑමක් ඇති කරයි. මෙය අපගේ ආදර්ශය පරිශීලකයාගේ ප්රතිපෝෂණයට තථ්ය-කාලීනව අන්තර්ක්රියාකාරීව අනුවර්තනය වීමට ඉඩ සලසයි. Monolith තොග පුහුණුව සහ මාර්ගගත පුහුණුව අතර අඛණ්ඩව මාරු වීමේ හැකියාව සමඟ ගොඩනගා ඇත. මෙය Figure හි දැක්වෙන පරිදි අපගේ ස්ට්රීම් එන්ජින් නිර්මාණය මගින් සක්රීය වේ. 2.2.1 ස්ට්රීම් එන්ජින්. 4 අපගේ නිර්මාණයෙහි, අපි පරිශීලකයින්ගේ ක්රියා (උදා., අයිතමයක් ක්ලික් කිරීම හෝ අයිතමයකට කැමති වීම ආදිය) ලොග් කිරීම සඳහා Kafka [ ] පෝලිමක් සහ ලක්ෂණ සඳහා තවත් Kafka පෝලිමක් භාවිතා කරමු. එන්ජිමේ හරය යනු අන්තර්ක්රියාකාරී ලක්ෂණ සඳහා Flink [ ] ස්ට්රීම් රැකියාවකි. මාර්ගගත ඒකාබද්ධ කරන්නා පරිශීලක ක්රියාවන්ගෙන් ලක්ෂණ ලකුණු සමඟ එකතු කර පුහුණු උදාහරණ නිපදවන අතර, ඒවා පසුව Kafka පෝලිමකට ලියනු ලැබේ. පුහුණු උදාහරණ සඳහා පෝලිම මාර්ගගත පුහුණුව සහ තොග පුහුණුව යන දෙකෙන්ම පරිභෝජනය කෙරේ: 13 4 මාර්ගගත පුහුණුව සඳහා, පුහුණු සේවකයෙකු Kafka පෝලිමෙන් කෙලින්ම දත්ත කියවයි; තොග පුහුණුව සඳහා, දත්ත ඩම්පින් රැකියාවක් මුලින්ම HDFS [ ] වෙත දත්ත ඩම්ප් කරනු ඇත; HDFS හි දත්ත යම් ප්රමාණයකට එකතු වූ පසු, පුහුණු සේවකයෙකු HDFS වෙතින් දත්ත ලබාගෙන තොග පුහුණුව සිදු කරනු ඇත. 18 පුහුණු PS හි යාවත්කාලීන කරන ලද පරාමිතීන් පරාමිති සමමුහුර්තකරණ කාලසටහනට අනුව සේවා PS වෙත තල්ලු කරනු ලැබේ. සැබෑ ලෝක යෙදුම් වලදී, පරිශීලක ක්රියා ලොග් සහ ලක්ෂණ කාල අනුපිළිවෙලට සහතිකයක් නොමැතිව මාර්ගගත ඒකාබද්ධ කරන්නා වෙත ගලා යයි (Figure . එබැවින් අපි එක් එක් ඉල්ලීම සඳහා අද්විතීය යතුරක් භාවිතා කරමු, එවිට පරිශීලක ක්රියාව සහ ලක්ෂණ නිවැරදිව යුගල කළ හැකිය. 2.2.2 මාර්ගගත ඒකාබද්ධ කරන්නා. 5) පරිශීලක ක්රියාවේ ප්රමාදය ද ගැටළුවක් විය හැකිය. උදාහරණයක් ලෙස, පරිශීලකයෙකු දින කිහිපයකට පෙර ඉදිරිපත් කරන ලද අයිතමයක් මිලදී ගැනීමට තීරණය කිරීමට පෙර දින කිහිපයක් ගත කළ හැකිය. මෙය ඒකාබද්ධ කරන්නාට අභියෝගයකි, මන්ද සියලු ලක්ෂණ මතකයේ තබා ඇත්නම්, එය මතකයේ නොගැලපෙනු ඇත. අපගේ පද්ධතියෙහි, යම් කාල සීමාවකට වඩා වැඩි කාලයක් බලා සිටින ලක්ෂණ ගබඩා කිරීම සඳහා තැටිය මත යතුරු-කෙවළි ගබඩාවක් භාවිතා කරයි. පරිශීලක ක්රියා ලොග් පැමිණෙන විට, එය මුලින්ම මතකයේ ඇති කැචය සොයයි, පසුව කැචය මග හැරුණු විට යතුරු-කෙවළි ගබඩාව සොයයි. සැබෑ ලෝක යෙදුමෙහි පැන නගින තවත් ගැටළුවක් නම්, ඍණාත්මක සහ ධනාත්මක උදාහරණ වල බෙදා හැරීම ඉතා අසමාන වන අතර, පෙර අයට වඩා දෙවැන්නාගේ සංඛ්යාව විශාල අනුපිළිවෙලකින් විය හැකිය. ධනාත්මක උදාහරණ ඍණාත්මක ඒවා මගින් යටපත් වීම වැළැක්වීම සඳහා, සාමාන්ය උපාය මාර්ගයක් වන්නේ ඍණාත්මක නියැදීම සිදු කිරීමයි. මෙය නිසැකවම පුහුණු කරන ලද ආදර්ශයේ උපස්ථර බෙදා හැරීම වෙනස් කරනු ඇත, එය ධනාත්මක අනාවැකි වල ඉහළ සම්භාවිතාවයක් දෙසට සුසර කරයි. පිළියමක් ලෙස, මාර්ගගත ආදර්ශය මුල් බෙදා හැරීමේ අසම්මත තක්සේරුකරුවෙකු බවට සහතික කරමින්, අපි සේවා කාලය තුළ ලොග් ඔඩ්ස් නිවැරදි කිරීම [ ] යොදන්නෙමු. 19 මාර්ගගත පුහුණුව අතරතුර, Mono-lith පුහුණු සමූහය මාර්ගගත සේවා ඒකකයෙන් දත්ත ලැබීම සහ පුහුණු PS මත පරාමිතීන් යාවත්කාලීන කිරීම දිගටම කරගෙන යයි. මෙම නවතින් පුහුණු කරන ලද පරාමිතීන් වලින් මාර්ගගත සේවා PS වලට ප්රතිලාභ ලබා දීම සක්රිය කිරීම සඳහා තීරණාත්මක පියවරක් වන්නේ යාවත්කාලීන කරන ලද ආදර්ශ පරාමිතීන් සමමුහුර්ත කිරීමයි. නිෂ්පාදන පරිසරයෙහි, අපි ಹಲವಾರು අභියෝග වලට මුහුණ දෙමු: 2.2.3 පරාමිති සමමුහුර්තකරණය. මාර්ගගත සේවා PS මත ඇති ආදර්ශ යාවත්කාලීන කිරීමේදී සේවා නතර නොකළ යුතුය. අපගේ නිෂ්පාදනයේ ආදර්ශ සාමාන්යයෙන් ටෙරාබයිට් කිහිපයක ප්රමාණයෙන් යුක්ත වන අතර, එහි ප්රතිඵලයක් ලෙස සියලු පරාමිතීන් ප්රතිස්ථාපනය කිරීමට යම් කාලයක් ගතවේ. මාර්ගගත PS එකක් ආදර්ශය සේවය කිරීමෙන් යාවත්කාලීන කිරීමේ ක්රියාවලිය අතරතුර නැවැත්වීම අසහනීය වනු ඇත, සහ යාවත්කාලීන කිරීම් මත-the-fly සිදු කළ යුතුය; පුහුණු PS සිට මාර්ගගත සේවා PS දක්වා සම්පූර්ණ බහු-ටෙරාබයිට් ආදර්ශයක් මාරු කිරීම PS හි ජාල කලාප පළල සහ මතකය යන දෙකටම දැවැන්ත පීඩනයක් එල්ල කරනු ඇත, මන්ද එය නව ආදර්ශය භාර ගැනීමට දෙගුණ කළ ආදර්ශ ප්රමාණය මතකයක් අවශ්ය වේ. අපගේ ව්යාපාරික අවකාශයේ ප්රමාණය දක්වා මාර්ගගත පුහුණුව විශාල කිරීමට, අපි අපගේ ආදර්ශ වල several notice-able ලක්ෂණ මත පදනම්ව Monolith හි incremental on-the-fly periodic parameter synchronization යාන්ත්රණයක් නිර්මාණය කළෙමු: (1) විරල පරාමිතීන් නිර්දේශ ආදර්ශ වල ප්රමාණයෙහි ආධිපත්යය දරයි; (2) කෙටි කාල සීමාවක් දුන් විට, හැඳුනුම්පත් වල කුඩා උප-කට්ටලයක් පමණක් පුහුණු වන අතර ඒවායේ එම්බෙඩින් යාවත්කාලීන වේ; (3) ඝන විචල්යයන් විරල එම්බෙඩින් වලට වඩා බොහෝ සෙමින් චලනය වේ. මෙය සිදු වන්නේ momentum-based optimizers හි, momentum හි සමුච්චය නිර්දේශ පුහුණු දත්ත වල විශාල ප්රමාණයෙන් ඝන විචල්යයන් සඳහා විශාල වී ඇති අතර, එක් දත්ත තොගයකට කුඩා විරල එම්බෙඩින් පමණක් යාවත්කාලීන කිරීම් ලබා ගනී. (1) සහ (2) සියලු ලක්ෂණ හැඳුනුම්පත් හරහා විරල ය