ByteDance monolitining ichida: Intellektualroq, tezroq kontent oqimlarini quvvatlantiruvchi mexanizm

Mualliflar: Zhuoran Liu, Bytedance Inc. Leqi Zou, Bytedance Inc. Xuan Zou, Bytedance Inc. Caihua Wang, Bytedance Inc. Biao Zhang, Bytedance Inc. Da Tang, Bytedance Inc. Bolin Zhu∗, Fudan University Yijie Zhu, Bytedance Inc. Peng Wu, Bytedance Inc. Ke Wang, Bytedance Inc. Youlong Cheng†, Bytedance Inc. (youlong.cheng@bytedance.com) ABSTRACT Ko'p bizneslar uchun, masalan, qisqa videolar reytingi yoki onlayn reklamalar kabi vaqtga sezgir mijozlarning fikr-mulohazalari bilan boshqariladigan, keng ko'lamli va real vaqt rejimida tavsiya etish tizimini qurish juda muhimdir. TensorFlow yoki PyTorch kabi ishlab chiqarish miqyosidagi chuqur o'rganish freymvorklarining keng tarqalganligiga qaramay, ushbu umumiy maqsadli freymvorklar turli sabablarga ko'ra tavsiya etish stsenariylarida biznes talablariga javob bermaydi: bir tomondan, dinamik va kamtarin xususiyatlarga ega bo'lgan tavsiya etish uchun statik parametrlarga va zich hisob-kitoblarga asoslangan tizimlarni sozlash model sifatiga zarar keltiradi; boshqa tomondan, bunday freymvorklar batch-o'qitish bosqichi va xizmat ko'rsatish bosqichi butunlay ajratilgan holda ishlab chiqilgan bo'lib, bu modelning real vaqt rejimida mijozlarning fikr-mulohazalari bilan o'zaro ta'sir qilishiga to'sqinlik qiladi. Ushbu muammolar bizni an'anaviy yondashuvlarni qayta ko'rib chiqishga va tubdan boshqacha dizayn tanlovlarini o'rganishga undadi. Ushbu qog'ozda biz onlayn o'qitish uchun mo'ljallangan 1 tizimini taqdim etamiz. Bizning dizaynimizni ko'rib chiqishimiz dasturiy ish yuklarimiz va ishlab chiqarish muhitimiz kuzatuvlari bilan boshqarilgan, bu boshqa tavsiya etish tizimlaridan sezilarli farqni aks ettiradi. Bizning hissalarimiz ko'p qirrali: birinchidan, biz expirable embeddings va chastota filtrlash kabi optimallashtirishlar bilan to'qnashuvsiz embedding jadvalini yaratdik, bu uning xotira izini kamaytiradi; ikkinchidan, biz yuqori nosozliklarga chidamlilikka ega bo'lgan ishlab chiqarishga tayyor onlayn o'qitish arxitekturasini taqdim etamiz; nihoyat, biz tizimning ishonchliligini real vaqtda o'rganish uchun almashtirish mumkinligini isbotladik. Monolith muvaffaqiyatli ravishda BytePlus Recommend2 mahsulotiga kiritilgan. Monolith 1 KIRISH O'tgan o'n yillikda tavsiya etish texnikalari bilan quvvatlangan bizneslarning gullab-yashnaganini ko'rdik. Yaxshiroq mijoz tajribasini ta'minlash maqsadida, har bir shaxsiy foydalanuvchi uchun moslashtirilgan kontentni real vaqt rejimida javob sifatida taqdim etish ushbu biznes ilovalari uchun umumiy maqsad hisoblanadi. Buning uchun, foydalanuvchining so'nggi o'zaro ta'siridan olingan ma'lumotlar ko'pincha modelni o'qitish uchun asosiy kirish sifatida ishlatiladi, chunki u foydalanuvchi portretini eng yaxshi aks ettiradi va foydalanuvchining qiziqishlari va kelajakdagi harakatlarini bashorat qiladi. Chuqur o'rganish tavsiya etish modellarida [ , , , , , ] ustunlik qilmoqda, chunki ulkan miqdordagi foydalanuvchi ma'lumotlari massiv ma'lumotlarga asoslangan neyron modellari uchun tabiiy ravishda mos keladi. Biroq, sanoat darajasidagi tavsiya etish tizimlarida chuqur o'rganish kuchidan foydalanishga qaratilgan sa'y-harakatlar doimo haqiqiy foydalanuvchi xatti-harakatlaridan olingan ma'lumotlarning o'ziga xos xususiyatlaridan kelib chiqqan muammolarga duch keladi. Ushbu ma'lumotlar til modellashtirish yoki kompyuter ko'rish kabi an'anaviy chuqur o'rganish muammolaridan farqli o'laroq ikki jihatdan farq qiladi: 5 6 10 12 20 21 (1) Xususiyatlar asosan kamtarin, kategorik va dinamik ravishda o'zgaruvchan; (2) O'quv ma'lumotlarining asosiy taqsimoti statsionar emas, ya'ni Concept Drift . Bunday farqlar tavsiya etish tizimlari ustida ishlaydigan tadqiqotchilar va muhandislar uchun noyob qiyinchiliklarni keltirib chiqardi. 1.1 Kamtarlik va dinamizm Tavsiya etish uchun ma'lumotlar asosan kamtarin kategorik xususiyatlarni o'z ichiga oladi, ulardan ba'zilari kam chastotada paydo bo'ladi. Ularni yuqori o'lchovli embedding fazosiga xaritalashning umumiy amaliyoti bir qator muammolarni keltirib chiqaradi: • So'z qismlari soni cheklangan til modellaridan farqli o'laroq, foydalanuvchilar va reyting elementlarining miqdori ko'p marta kattaroq. Bunday ulkan embedding jadvali bitta host xotirasiga sig'ishi qiyin; • Hatto yomonroq, ko'proq foydalanuvchilar va elementlar qo'shilgan sari embedding jadvali hajmi oshishi kutilmoqda, shu bilan birga [ , ] kabi freymvorklar embedding jadvali uchun o'zgarmas hajmdagi zich o'zgaruvchilardan foydalanadi. 1 17 Amalda, ko'plab tizimlar xotira izini kamaytirish va ID'larning o'sishiga imkon berish uchun kam to'qnashuvli xashingdan [ , ] foydalanadi. Bu embedding jadvalidagi ID'lar chastota bo'yicha teng taqsimlangan va to'qnashuvlar model sifatiga zararli emas degan g'alayonli gipotezaga asoslanadi. Afsuski, bu haqiqiy dunyo tavsiya etish tizimi uchun kamdan-kam hollarda to'g'ri keladi, bu erda foydalanuvchilar yoki elementlarning kichik guruhi sezilarli darajada ko'proq sodir bo'ladi. Embedding jadvali hajmining organik o'sishi bilan, xashing kalitining to'qnashuv ehtimoli ortadi va model sifatining yomonlashuviga olib keladi 3 6 . Shuning uchun ishlab chiqarish miqyosidagi tavsiya etish tizimlari o'z parametrlari uchun ko'proq xususiyatlarni ushlab turish, shuningdek, o'zlari saqlashni istagan foydalanuvchilar va elementlar sonini moslashuvchan tarzda sozlash qobiliyatiga ega bo'lishi tabiiy talabdir. 1.2 Statsionar bo'lmagan taqsimot Yuz yillik miqyosida vizual va lingvistik naqshlar deyarli rivojlanmaydi, shu bilan birga bir mavzuga qiziqqan foydalanuvchi keyingi daqiqada o'z g'ayratini o'zgartirishi mumkin. Natijada, foydalanuvchi ma'lumotlarining asosiy taqsimoti statsionar emas, bu hodisa odatda Concept Drift deb ataladi. Intuitiv ravishda, yaqinroq tarixiy ma'lumotlar foydalanuvchining xatti-harakatlaridagi o'zgarishlarni bashorat qilishga samaraliroq hissa qo'shishi mumkin. Concept Drift ta'sirini kamaytirish uchun, xizmat ko'rsatish modellarini foydalanuvchining so'nggi qiziqishlarini aks ettirish uchun real vaqt rejimida yangilash kerak. Ushbu farqlar va ishlab chiqarishimizda yuzaga kelgan muammolarni hisobga olgan holda, biz ushbu muammolarni hal qilish uchun katta hajmdagi tavsiya etish tizimi bo'lgan ni ishlab chiqdik. Biz ishlab chiqarish muhitida dizaynimizni tasdiqlash va takrorlash uchun keng ko'lamli tajribalar o'tkazdik. Monolith qodir Monolith (1) To'qnashuvsiz xesh-jadvallarni va dinamik xususiyatlarni yo'q qilish mexanizmini ishlab chiqish orqali kamtarin xususiyatlar uchun to'liq ifodaviy quvvatni ta'minlash; (2) Onlayn o'qitish orqali real vaqt rejimida xizmat ko'rsatish fikr-mulohazalarini o'qitishga qaytarish. Ushbu arxitektura imkoniyatlari bilan quvvatlangan Monolith, taxminan bir xil xotira ishlatilishi bilan to'qnashuvli xesh-triklardan foydalanadigan tizimlardan doimiy ravishda ustun turadi va serverlarimizning hisoblash quvvatini ortiqcha yuklamasdan eng yaxshi onlayn xizmat ko'rsatish AUC'sini ta'minlaydi. Qog'ozning qolgan qismi quyidagicha tashkil etilgan. Birinchi bo'lib, Monolith mavjud qiyinchiliklarni to'qnashuvsiz xesh-jadvallari va real vaqt rejimida o'qitish bilan qanday hal qilish haqida 2-bo'limda batafsil ma'lumot beramiz. Tajribalar va natijalar 3-bo'limda, ishlab chiqarishda sinovdan o'tgan xulosalar va vaqtga sezgirlik, ishonchlilik va model sifati o'rtasidagi ayrim savdolarni muhokama qilish bilan birga taqdim etiladi. 4-bo'lim tegishli ishlar bilan shug'ullanadi va ularni Monolith bilan taqqoslaydi. 5-bo'lim ushbu ishni yakunlaydi. 2 DIZAYN Monolithning umumiy arxitekturasi odatda TensorFlowning tarqatilgan Worker- arameter erver sozlamasiga (2-rasm) amal qiladi. Worker-PS arxitekturasida mashinalarga turli rollar beriladi; Worker mashinalari grafik tomonidan aniqlangan hisob-kitoblarni bajarish uchun javobgardir va PS mashinalari parametrlarni saqlaydi va Workerlar tomonidan hisoblangan gradientlarga muvofiq ularni yangilaydi. P S Tavsiya etish modellarida parametrlarni ikki to'plamga bo'linadi: zich va kamtarin. Zich parametrlari chuqur neyron tarmog'idagi og'irliklar/o'zgaruvchilar, kamtarin parametrlari esa kamtarin xususiyatlarga mos keladigan embedding jadvallarini bildiradi. Bizning dizaynimizda, ham zich, ham kamtarin parametrlari TensorFlow Graphning bir qismi bo'lib, ular parametr serverlarida saqlanadi. Zich parametrlari uchun TensorFlow o'zgaruvchisiga o'xshash, biz kamtarin parametrlari uchun yuqori samarali, to'qnashuvsiz va moslashuvchan HashTable operatsiyalarini ishlab chiqdik. O'qitish va chiqarishni ajratishdan kelib chiqqan TensorFlow cheklovlariga qo'shimcha ravishda, Monolithning moslashuvchan tarzda kengaytiriladigan onlayn o'qitish tizimi, modelning mustahkamligini kafolatlangan holda, qisqa intervallarda o'qitish-PS dan onlayn xizmat ko'rsatish-PS ga parametrlarni samarali sinxronlashtirish uchun mo'ljallangan. 2.1 Xesh-jadvallar Kamtarin parametrlar taqdimotini ishlab chiqishimizning birinchi printsipi turli ID'lardan olingan ma'lumotlarni bitta o'zgarmas hajmdagi embeddingga siqib chiqarishdan qochishdir. Tashqaridan TensorFlow Variable yordamida dinamik hajmdagi embedding jadvalini simulyatsiya qilish muqarrar ravishda ID to'qnashuviga olib keladi, bu esa yangi ID'lar kelganda va jadval o'sganda kuchayadi. Shuning uchun Variable asosida qurish o'rniga, biz kamtarin parametrlari uchun yangi kalit-qiymat HashTable'ni ishlab chiqdik. Bizning HashTable'miz Cuckoo Hashmap [ ] dan foydalanadi, u mavjudlar bilan to'qnashmasdan yangi kalitlarni kiritishni qo'llab-quvvatlaydi. Cuckoo Hashing qidiruvlar va o'chirishlar uchun eng yomon holatda 𝑂 (1) vaqt murakkabligini va kiritishlar uchun kutilgan amortizatsiya qilingan 𝑂 (1) vaqtni ta'minlaydi. 3-rasmda ko'rsatilganidek, u ikkita jadvalni 𝑇0, 𝑇1 turli xesh funksiyalari ℎ0 (𝑥), ℎ1 (𝑥) bilan saqlaydi va element ulardan birida saqlanadi. Agar biror elementni 16 𝑇0 ga kiritishga harakat qilsak, u birinchi navbatda 𝐴 ni ℎ0 (𝐴) ga joylashtirishga harakat qiladi; Agar ℎ0 (𝐴) boshqa element 𝐵 bilan band bo'lsa, u 𝐵 ni 𝑇0 dan chiqarib, shu mantiq bilan 𝐵 ni 𝑇1 ga kiritishga harakat qiladi. Bu jarayon barcha elementlar barqarorlashguncha yoki kiritish siklga tushib qolganda qayta xeshlanmaguncha takrorlanadi. Xotira izini kamaytirish ham dizaynimizda muhim masala. Har bir yangi ID ni HashTable ga kiritishning oddiy yondashuvi xotirani tezda tugatadi. Haqiqiy ishlab chiqarish modellarini kuzatish ikki xulosaga olib keldi: (1) Bir necha marta paydo bo'ladigan ID'lar model sifatini yaxshilashga kam ta'sir qiladi. Muhim kuzatuv shundaki, ID'lar uzoq dumi bilan taqsimlangan, bu erda mashhur ID'lar millionlab marta sodir bo'lishi mumkin, ammo mashhur bo'lmaganlari o'n martadan ko'p bo'lmaydi. Ushbu kam chastotali ID'larga mos keladigan Embeddinglar etarli o'qitish ma'lumotlarining yo'qligi sababli etarli darajada o'qitilmaydi va model ulardan yaxshi baholashni amalga oshira olmaydi. Kun oxirida bu ID'lar natijaga ta'sir qilishi dargumon, shuning uchun model sifati ushbu kam chastotali ID'larni olib tashlashdan aziyat chekmaydi; (2) Uzoq tarixning eskirgan IDlari kamdan-kam hollarda joriy modelga hissa qo'shadi, chunki ularning ko'pchiligi hech qachon tashrif buyurilmaydi. Bu faol bo'lmagan foydalanuvchi yoki muddati o'tgan qisqa videodan bo'lishi mumkin. Ushbu ID'lar uchun embeddinglarni saqlash modelga hech qanday yordam bermaydi, balki bizning PS xotirasini behuda sarflaydi. Ushbu kuzatuvlarga asoslanib, biz HashTable ning xotira samaradorligini oshirish uchun bir nechta xususiyat ID filtrlash usullarini ishlab chiqdik: (1) ID'lar embedding jadvallariga kiritilishidan oldin filtrlanadi. Bizda ikkita filtrlash usuli mavjud: Birinchidan, biz ularni kalit sifatida kiritishdan oldin ularning chastotasiga qarab filtrlaymiz, bu erda chastota chegarasi har bir model uchun farq qiladigan sozlanishi mumkin bo'lgan giperparametrdir; Bundan tashqari, biz xotira ishlatilishini yanada kamaytirishga yordam beradigan ehtimoliy filtrdan foydalanamiz; ![#Figure 4: Streaming Engine. Foydalanuvchi → Model Server → Training Worker → Model Server → User] o'rtasidagi ma'lumotlar fikr-mulohazasi qismi Batch Training yo'lini olganda uzoq vaqt sarflaydi, Online Training esa bu tsiklni tezroq yopadi.](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-78b3ep4.jpeg) (2) ID'lar vaqt belgilab, ma'lum bir vaqt oralig'ida faol bo'lmagandan so'ng eskirib ketishi belgilandi. Eskirish vaqti har bir embedding jadvali uchun sozlanishi mumkin, bu esa tarixiy ma'lumotlarga sezgirligi turlicha bo'lgan xususiyatlarni ajratish imkonini beradi. Bizning dasturimizda HashTable TensorFlow resurs operatsiyasi sifatida amalga oshiriladi. Variablega o'xshash, qidiruvlar va yangilanishlar ham oson integratsiya va yaxshi moslik uchun TensorFlowning mahalliy operatsiyalari sifatida amalga oshiriladi. 2.2 Onlayn o'qitish Monolithda o'qitish ikki bosqichga bo'lingan (1-rasm): (1) Batch o'qitish bosqichi. Ushbu bosqich oddiy TensorFlow o'qitish tsikli sifatida ishlaydi: har bir o'qitish qadamida, o'qitish ishchisi saqlash joyidan bitta mini-batch o'quv misollarini o'qiydi, PS dan parametrlarni so'raydi, oldinga va orqaga o'tishni hisoblaydi va nihoyat yangilangan parametrlarni o'qitish PS ga yuboradi. Oddiy chuqur o'rganish vazifalaridan biroz farqli o'laroq, biz o'quv ma'lumotlarimizni faqat bir marta o'qiymiz. Batch o'qitish, model arxitekturasini o'zgartirganimizda va modelni qayta o'qitganimizda tarixiy ma'lumotlarni o'qitish uchun foydalidir; (2) Onlayn o'qitish bosqichi. Model onlayn xizmatga joylashtirilgandan so'ng, o'qitish to'xtamaydi, balki onlayn o'qitish bosqichiga kiradi. Mini-batch misollarini saqlash joyidan o'qish o'rniga, o'qitish ishchisi real vaqt ma'lumotlarini o'z vaqtida iste'mol qiladi va o'qitish PS ni yangilaydi. O'qitish PS o'z parametrlarini vaqti-vaqti bilan xizmat ko'rsatish PS ga sinxronlashtiradi, bu foydalanuvchi tomonida darhol ta'sir qiladi. Bu bizning modelimizga foydalanuvchining fikr-mulohazalariga real vaqt rejimida interaktiv ravishda moslashish imkonini beradi. Monolith batch o'qitish va onlayn o'qitish o'rtasida uzluksiz o'tish qobiliyati bilan qurilgan. Bu 4-rasmda ko'rsatilgan streaming mexanizmimizning dizayni tufayli mumkin bo'ladi. 2.2.1 Streaming Engine. Bizning dizaynimizda biz foydalanuvchilarning harakatlarini (masalan, bir elementni bosish yoki yoqtirish va hokazo) qayd etish uchun bitta Kafka [ ] navasidan va xususiyatlar uchun boshqa Kafka navasidan foydalanamiz. Mexanizmning yadrosi onlayn xususiyat qo'shish uchun Flink [ ] oqim ishidir. Onlayn qo'shuvchi foydalanuvchi harakatlaridan olingan tegishli ma'lumotlar bilan xususiyatlarni birlashtiradi va o'quv misollarini hosil qiladi, ular keyinchalik Kafka navasiga yoziladi. O'quv misollari uchun navani onlayn va batch o'qitish ham iste'mol qiladi: 13 4 Onlayn o'qitish uchun o'qitish ishchisi to'g'ridan-to'g'ri Kafka navasidan ma'lumotlarni o'qiydi; Batch o'qitish uchun ma'lumotlarni yuklash ishchisi avval HDFS [ ] ga ma'lumotlarni yuklaydi; HDFS dagi ma'lumotlar ma'lum miqdorda to'plangandan so'ng, o'qitish ishchisi HDFS dan ma'lumotlarni oladi va batch o'qitishni amalga oshiradi. 18 O'qitish PS dagi yangilangan parametrlar parametr sinxronlash jadvaliga muvofiq xizmat ko'rsatish PS ga yuboriladi. Haqiqiy dunyo ilovalarida, foydalanuvchi harakatlari jurnali va xususiyatlari vaqt tartibidan qat'iy nazar, onlayn qo'shuvchiga (5-rasm) oqimlanadi. Shu sababli, biz har bir so'rov uchun noyob kalitdan foydalanamiz, shunda foydalanuvchi harakati va xususiyatlari to'g'ri juftlashishi mumkin. 2.2.2 Online Joiner. Foydalanuvchi harakatining kechikishi ham muammo bo'lishi mumkin. Masalan, foydalanuvchi bir necha kun oldin ko'rsatilgan elementni sotib olishga qaror qilishdan oldin bir necha kun sarflashi mumkin. Bu qo'shuvchi uchun qiyinchilik tug'diradi, chunki agar barcha xususiyatlar keshda saqlansa, u xotiraga sig'maydi. Bizning tizimimizda, ma'lum bir muddatdan ko'proq kutayotgan xususiyatlarni saqlash uchun diskdagi kalit-qiymat omboridan foydalaniladi. Foydalanuvchi harakatlari jurnali kelganda, u avval xotira keshini qidiradi, keyin esa kesh yo'qolgan taqdirda kalit-qiymat omborini qidiradi. Haqiqiy dunyo ilovalarida yuzaga keladigan yana bir muammo shundaki, manfiy va ijobiy misollarning taqsimoti juda nomutanosib bo'lib, birinchisining soni ikkinchisidan bir necha o'n barobar ko'p bo'lishi mumkin. Ijobiy misollarning manfiy misollar tomonidan to'lib ketishining oldini olish uchun, umumiy strategiya manfiy tanlanmadir. Bu, albatta, o'qitilgan modelning asosiy taqsimotini o'zgartiradi, uni ijobiy bashoratlarni yanada yuqori ehtimolga moyil qiladi. Buning o'rnini bosish uchun, biz xizmat ko'rsatish paytida log-odds tuzatishidan [ ] foydalanamiz, bu esa onlayn model asl taqsimotning tarafkash bo'lmagan baholovchisi ekanligini ta'minlaydi. 19 Onlayn o'qitish paytida, Monolith o'qitish klasteri onlayn xizmat ko'rsatish modulidan ma'lumotlarni qabul qilishni va o'qitish PS dagi parametrlarni yangilashni davom ettiradi. O'qitilgan yangi parametrlaridan o'qitish PS foydalanishini ta'minlash uchun muhim qadam bu yangilangan model parametrlari sinxronizatsiyasidir. Ishlab chiqarish muhitida biz bir qator qiyinchiliklarga duch keldik: 2.2.3 Parameter Synchronization. Onlayn xizmat ko'rsatish PS dagi modellari yangilanish paytida xizmat ko'rsatishni to'xtatmasligi kerak. Bizning ishlab chiqarishdagi modellarimiz odatda bir necha terabayt hajmdagi, natijada barcha parametrlarni almashtirish uzoq vaqt oladi. Onlayn PS ni almashtirish jarayonida model xizmatidan to'xtatib qo'yish chidab bo'lmas edi va yangilanishlar o'z vaqtida amalga oshirilishi kerak; Bir necha terabaytlik modelni butunlay o'qitish PS dan onlayn xizmat ko'rsatish PS ga o'tkazish PS ning ham tarmoq kengligi, ham xotirasiga katta bosim o'tkazadi, chunki bu yangi kelayotgan modelni qabul qilish uchun ikki baravar model hajmi xotirasini talab qiladi. Onlayn o'qitishni biznes stsenariymiz hajmigacha kengaytirish uchun biz modellarimizning ba'zi sezilarli xususiyatlariga asoslanib, Monolithda inkremental, o'z vaqtida, vaqti-vaqti bilan parametr sinxronlash mexanizmini ishlab chiqdik: (1) Kamtarin parametrlari tavsiya etish modellari hajmining ko'p qismini tashkil qiladi; (2) Qisqa vaqt oralig'ida faqat ID'larning kichik bir qismi o'qitiladi va ularning embeddinglari yangilanadi; (3) Zich o'zgaruvchilar kamtarin embeddinglarga qaraganda ancha sekin harakat qiladi. Buning sababi, momentumga asoslangan optimallashtiruvchilarda, zich o'zgaruvchilar uchun momentumning to'planishi tavsiya etish o'quv ma'lumotlarining ulkan hajmi bilan kuchaytiriladi, shu bilan birga bitta ma'lumotlar partiyasida faqat bir nechta kamtarin embeddinglar yangilanish oladi. (1) va (2) barcha xususiyat ID'lari bo'ylab kamtarin yangilanishlardan foydalanishimizga imkon beradi. Monolithda biz tegib ketgan kalitlarning xesh to'plamini saqlaymiz, bu oxirgi parametr sinxronizatsiyasidan beri o'qitilgan ID'larning embeddinglarini bildiradi. Biz o'qitish PS dan onlayn xizmat ko'rsatish PS ga daqiqaga o'xshash vaqt oralig'ida tegib ketgan kalitlar to'plamidagi kamtarin parametrlar kichik qismini yuboramiz. Ushbu nisbatan kichik inkremental parametr yangilanishlar paketi tarmoq uzatish uchun engil va sinxronlash paytida keskin xotira ko'tarilishiga olib kelmaydi. Biz shuningdek, kamtarin parametrlar uchun yanada agressiv sinxronlash jadvalini o'rnatish orqali, shu bilan birga zich parametrlarni kamroq tez-tez yangilab, tarmoq I/O va xotira ishlatilishini yanada kamaytirishdan foydalanamiz. Bu bizni taqdim etayotgan zich parametrlarning kamtarin qismiga nisbatan nisbatan eski versiyasi bo'lishi mumkin bo'lgan vaziyatga olib kelishi mumkin. Biroq, bunday nomuvofiqlik (3) da aytib o'tilgan sababga ko'ra chidab bo'lmas edi, chunki sezilarli yo'qotish kuzatilmagan. 2.3 Nosozliklarga chidamlilik Ishlab chiqarishdagi tizim sifatida Monolith, PS ishdan chiqsa, uni tiklash qobiliyatiga ega bo'lish uchun ishlab chiqilgan. Nosozliklarga chidamlilik uchun umumiy tanlov - bu model holatini vaqti-vaqti bilan suratga olish va PS ishdan chiqishi aniqlanganda oxirgi suratdan tiklash. Surat chastotasini tanlash ikki asosiy ta'sirga ega: (1) Model sifati. Intuitiv ravishda, model sifati surat chastotasini oshirish bilan so'nggi tarixning yo'qotilishidan kamroq aziyat chekadi. (2) Hisoblash samaradorligi. Bir necha terabaytlik modelni suratga olish bepul emas. Bu katta miqdorda xotira nusxalash va disk I/O talab qiladi. Model sifati va hisoblash samaradorligi o'rtasidagi savdo nuqtasi sifatida Monolith har kuni barcha o'qitish PS larini suratga oladi. PS ishdan chiqqan taqdirda bir kunlik yangilanishni yo'qotgan bo'lsa ham, biz tajribalarimiz orqali unumdorlikning pasayishi chidab bo'ladigan darajada ekanligini aniqladik. Keyingi bo'limda biz PS ishonchliligining ta'sirini tahlil qilamiz.