ByteDance monolitining ichida: Intellektual, tezroq kontent lentasini quvvatlaydigan mexanizm

```html Mualliflar: Zhuoran Liu, Bytedance Inc. Leqi Zou, Bytedance Inc. Xuan Zou, Bytedance Inc. Caihua Wang, Bytedance Inc. Biao Zhang, Bytedance Inc. Da Tang, Bytedance Inc. Bolin Zhu∗, Fudan University Yijie Zhu, Bytedance Inc. Peng Wu, Bytedance Inc. Ke Wang, Bytedance Inc. Youlong Cheng†, Bytedance Inc. (youlong.cheng@bytedance.com) ABSTRAKT Ko'pgina bizneslar uchun qisqa videolar reytingi yoki onlayn reklamalar kabi vaqtga sezgir mijozlar fikr-mulohazalari bilan boshqariladigan tavsiya tizimini qurish muhimdir. TensorFlow yoki PyTorch kabi keng tarqalgan ishlab chiqarish shkalasidagi chuqur o'rganish freymvorklaridan foydalanilishiga qaramay, bu umumiy maqsadli freymvorklar turli sabablarga ko'ra tavsiya etilgan stsenariylar uchun biznes talablariga javob bermaydi: bir tomondan, dinamik va kam sonli xususiyatlarga ega bo'lgan statistik parametrlarga va zich hisob-kitoblarga asoslangan tizimlarni sozlash model sifati uchun zararli; boshqa tomondan, bunday freymvorklar batch-o'qitish bosqichi va xizmat ko'rsatish bosqichini butunlay ajratgan holda ishlab chiqilgan, bu esa modelning real vaqt rejimida mijozlar fikr-mulohazalari bilan o'zaro ta'sir qilishiga to'sqinlik qiladi. Ushbu muammolar bizni an'anaviy yondashuvlarni qayta ko'rib chiqishga va tubdan farq qiluvchi dizayn tanlovlarini o'rganishga undadi. Ushbu maqolada biz onlayn o'qitish uchun moslashtirilgan tizim 1 ni taqdim etamiz. Bizning dizayni dastur ish yuklarimiz va ishlab chiqarish muhitimiz kuzatuvlari bilan shakllantirilgan bo'lib, boshqa tavsiya tizimlaridan sezilarli farqni aks ettiradi. Bizning hissamiz ko'p qirrali: birinchidan, biz kam sonli xususiyatlar uchun optimallashtirishlar, masalan, eskiradigan xususiyatlar va chastota filtrlashni o'z ichiga olgan to'qnashuvsiz inklyuziya jadvalini yaratdik; ikkinchidan, biz yuqori darajada xatolarga chidamli, ishlab chiqarishga tayyor onlayn o'qitish arxitekturasini taqdim etamiz; nihoyat, biz tizimning ishonchliligini real vaqt rejimida o'rganish uchun almashtirish mumkinligini isbotladik. Monolith muvaffaqiyatli ravishda BytePlus Recommend2 mahsulotiga kiritildi. Monolith 1 KIRISH So'nggi o'n yil ichida tavsiya texnikalari bilan ishlaydigan bizneslarning gullab-yashnashi kuzatildi. Yaxshiroq mijozlar tajribasini ta'minlash maqsadida, har bir alohida foydalanuvchi uchun shaxsiy kontentni real vaqt rejimida etkazib berish ushbu biznes ilovalari uchun umumiy maqsad hisoblanadi. Buning uchun foydalanuvchining eng so'nggi o'zaro munosabatlari haqidagi ma'lumotlar ko'pincha modelni o'qitish uchun asosiy kirish sifatida ishlatiladi, chunki u foydalanuvchining portretini eng yaxshi tasvirlaydi va foydalanuvchining qiziqishlari va kelajakdagi xatti-harakatlarini bashorat qiladi. Chuqur o'rganish, sanoat miqyosidagi tavsiya modellarida [ , , , , , ] ustunlik qilmoqda, chunki katta miqdordagi foydalanuvchi ma'lumotlari katta ma'lumotlarga asoslangan neyron modellari uchun tabiiydir. Biroq, sanoat darajasidagi tavsiya tizimlarida chuqur o'rganish kuchidan foydalanishga qaratilgan sa'y-harakatlar doimiy ravishda haqiqiy foydalanuvchi xatti-harakatlaridan olingan ma'lumotlarning o'ziga xos xususiyatlaridan kelib chiqqan muammolarga duch keladi. Ushbu ma'lumotlar tildagi modellashtirish yoki kompyuter ko'rish kabi an'anaviy chuqur o'rganish muammolarida ishlatiladigan ma'lumotlardan ikki jihatdan farq qiladi: 5 6 10 12 20 21 (1) Xususiyatlar ko'pincha kam sonli, kategorik va dinamik o'zgaruvchan; (2) O'qitish ma'lumotlarining asosiy taqsimoti statsionar emas, ya'ni Kontseptual burilish [8]. Bunday farqlar tavsiya tizimlari ustida ishlayotgan tadqiqotchilar va muhandislar uchun noyob qiyinchiliklarni keltirib chiqardi. 1.1 Kam Sonlilik va Dinamiklik Tavsiya etish uchun ma'lumotlar ko'pincha kam sonli kategorik xususiyatlarni o'z ichiga oladi, ularning ba'zilari kam chastotada paydo bo'ladi. Ularni yuqori o'lchovli inklyuziya bo'shlig'iga xaritalash qator muammolarga olib keladi: • So'z qismlari soni cheklangan bo'lgan tildagi modellar farqli o'laroq, foydalanuvchilar va reyting buyumlarining miqdori kattaroq tartibda bo'ladi. Bunday ulkan inklyuziya jadvali bitta host xotirasiga sig'maydi; • Yomonroq, inklyuziya jadvali kattaligi ko'proq foydalanuvchilar va buyumlar qo'shilishi bilan vaqt o'tishi bilan o'sishi kutilmoqda, shu bilan birga [ , ] kabi freymvorklar inklyuziya jadvali uchun o'zgarmas o'lchamdagi zich o'zgaruvchilardan foydalanadi. 1 17 Amalda, ko'plab tizimlar xotira izini kamaytirish va ID o'sishiga imkon berish uchun kam to'qnashuvli xashingni [ , ] qo'llashadi. Bu IDlar inklyuziya jadvalida chastota bo'yicha teng taqsimlanganligi va to'qnashuvlar model sifati uchun zararsiz ekanligi haqidagi haddan tashqari ideal taxminga asoslanadi. Afsuski, bu haqiqiy dunyo tavsiya tizimi uchun kamdan-kam hollarda to'g'ri keladi, bunda kichik guruh foydalanuvchilar yoki buyumlar sezilarli darajada ko'proq paydo bo'ladi. Inklyuziya jadvali kattaligining tabiiy o'sishi bilan, xash kalitining to'qnashuv ehtimoli ortadi va model sifatining yomonlashishiga olib keladi 3 6 [3]. Shuning uchun ishlab chiqarish shkalasidagi tavsiya tizimlari o'z parametrlarida iloji boricha ko'proq xususiyatlarni ushlash qobiliyatiga ega bo'lishi va ular saqlamoqchi bo'lgan foydalanuvchilar va buyumlar sonini moslashuvchan tarzda sozlash qobiliyatiga ega bo'lishi tabiiy talabdir. 1.2 Statsionar bo'lmagan taqsimot Vizual va lingvistik naqshlar yuz yillik davr mobaynida kam rivojlanadi, shu bilan birga bir mavzuga qiziqqan foydalanuvchi o'zining ishtiyoqini keyingi daqiqada o'zgartirishi mumkin. Natijada, foydalanuvchi ma'lumotlarining asosiy taqsimoti statsionar emas, bu hodisa odatda Kontseptual burilish deb ataladi. [8] Intuitiv ravishda, yaqinda bo'lgan voqealar haqidagi ma'lumotlar foydalanuvchining xatti-harakatlaridagi o'zgarishlarni bashorat qilishda samaraliroq hissa qo'shishi mumkin. Kontseptual burilish ta'sirini kamaytirish uchun, xizmat ko'rsatuvchi modellarni foydalanuvchining eng so'nggi qiziqishlarini aks ettirish uchun real vaqt rejimida yangilash kerak. Ushbu farqlar va ishlab chiqarishdagi muammolarimizni kuzatish nuqtai nazaridan, biz ushbu muammolarni hal qilish uchun katta miqyosdagi tavsiya tizimi bo'lgan ni ishlab chiqdik. Biz ishlab chiqarish muhitida dizayni tasdiqlash va takomillashtirish uchun keng qamrovli tajribalar o'tkazdik. Monolith qobiliyatli: Monolith (1) To'qnashuvsiz xash jadvali va dinamik xususiyatlarni chiqarib tashlash mexanizmi orqali kam sonli xususiyatlar uchun to'liq ifodali kuchni ta'minlaydi; (2) Onlayn o'qitish bilan xizmat ko'rsatish fikr-mulohazalarini real vaqt rejimida o'qitishga qaytaradi. Ushbu arxitektura imkoniyatlari bilan qurollangan Monolith, to'qnashuvlar bilan xash-triklardan foydalanadigan tizimlardan taxminan shunga o'xshash xotira ishlatilishi bilan doimiy ravishda ustunlikni qo'lga kiritadi va serverlarimizning hisoblash quvvatini haddan tashqari yuklamasdan eng yaxshi onlayn xizmat ko'rsatish AUC ni ta'minlaydi. Qolgan qism quyidagicha tashkil etilgan: Birinchidan, Monolithning to'qnashuvsiz xash jadvali va real vaqt rejimida o'qitish orqali mavjud muammolarni qanday hal qilishini 2-bo'limda batafsil bayon qilamiz. Tajribalar va natijalar 3-bo'limda, ishlab chiqarishda sinovdan o'tgan xulosalar va vaqtga sezgirlik, ishonchlilik va model sifati o'rtasidagi savdolar haqidagi ba'zi mulohazalar bilan birga taqdim etiladi. 4-bo'lim tegishli ishlarni umumlashtiradi va ularni Monolith bilan solishtiradi. 5-bo'lim bu ishni yakunlaydi. 2 LOYIHA Monolithning umumiy arxitekturasi odatda TensorFlow ning taqsimlangan Worker- arameter erver sozlamasiga (2-rasm) amal qiladi. Worker-PS arxitekturasida mashinalarga turli rollar beriladi; Worker mashinalari grafik tomonidan aniqlangan hisob-kitoblarni bajarish uchun javobgardir va PS mashinalari parametrlarini saqlaydi va Workerlar tomonidan hisoblangan gradientlarga muvofiq ularni yangilaydi. P S Tavsiya modellarida parametrlar ikki to'plamga bo'linadi: zich va kam sonli. Zich parametrlar chuqur neyron tarmog'idagi og'irliklar/o'zgaruvchilar bo'lib, kam sonli parametrlar kam sonli xususiyatlarga mos keladigan inklyuziya jadvallarini bildiradi. Bizning dizaynda ham zich, ham kam sonli parametrlar TensorFlow Graph ning bir qismidir va parametr serverlarida saqlanadi. Zich parametrlar uchun TensorFlow ning O'zgaruvchisi kabi, biz kam sonli parametrlar uchun juda samarali, to'qnashuvsiz va moslashuvchan Xash jadvali operatsiyalarini ishlab chiqdik. O'qitish va chiqarishning ajratilishi natijasida yuzaga keladigan TensorFlow ning cheklovlariga qo'shimcha ravishda, Monolithning moslashuvchan ravishda kengaytiriladigan onlayn o'qitish mexanizmi xatolarga chidamlilik mexanizmi tomonidan ta'minlangan modelning mustahkamligini saqlab qolgan holda, onlayn xizmat ko'rsatish PS ga parametrlarini qisqa intervallarda samarali sinxronlashtirish uchun mo'ljallangan. 2.1 Xash Jadvali Kam sonli parametrlar tasvirini loyihalashimizning birinchi printsipi turli IDlardan olingan ma'lumotlarni bir xil o'zgarmas o'lchamdagi inklyuziyaga tiqib qo'ymaslikdir. Tashqaridagi TensorFlow O'zgaruvchisi bilan dinamik o'lchamdagi inklyuziya jadvalini simulyatsiya qilish muqarrar ravishda ID to'qnashuviga olib keladi, bu esa yangi IDlar kelishi va jadval o'sishi bilan kuchayadi. Shuning uchun O'zgaruvchiga asoslanish o'rniga, biz kam sonli parametrlarimiz uchun yangi kalit-qiymatli Xash jadvalini ishlab chiqdik. Bizning Xash jadvali Cuckoo Hashmap [ ] dan foydalanadi, u mavjud tugunlarga to'qnashmasdan yangi kalitlarni qo'shishni qo'llab-quvvatlaydi. Cuckoo Hashing qidirish va o'chirish uchun 𝑂 (1) vaqt murakkabligini, hamda qo'shish uchun kutilgan amortizatsiyalangan 𝑂 (1) vaqtni ta'minlaydi. 3-rasmda ko'rsatilganidek, u ikkita 𝑇0, 𝑇1 jadvalini turli xash funksiyalari ℎ0 (𝑥), ℎ1 (𝑥) bilan saqlaydi va element ulardan birida saqlanadi. 𝑇0 ga 𝐴 elementini qo'shishga urinayotganda, u birinchi navbatda 𝐴 ni ℎ0 (𝐴) ga joylashtirishga harakat qiladi; Agar ℎ0 (𝐴) boshqa element 𝐵 bilan band bo'lsa, u 𝐵 ni 𝑇0 dan chiqarib tashlaydi va bir xil mantiqdan foydalanib 𝐵 ni 𝑇1 ga qo'shishga harakat qiladi. Bu jarayon barcha elementlar barqarorlashguncha yoki qo'shish tsikliga tushganda qayta xashlash yuz berguncha takrorlanadi. 16 Xotira izini kamaytirish ham dizaynda muhim masala. Har bir yangi IDni Xash jadvaliga qo'shishning sodda usuli xotirani tezda tugatadi. Haqiqiy ishlab chiqarish modellarini kuzatish ikki xulosaga olib keldi: (1) Bir necha marta paydo bo'ladigan IDlar model sifatini yaxshilashga kam hissasi bor. Muhim kuzatuv shundaki, IDlar uzoq dumli tarzda taqsimlangan, bunda mashhur IDlar millionlab marta, mashhur bo'lmaganlari esa o'ndan ortiq marta paydo bo'ladi. Ushbu kam sonli IDlarga mos keladigan inklyuziyalar o'qitish ma'lumotlarining etishmasligi tufayli kam o'rganilgan va model ulardan yaxshi baholashni amalga oshira olmaydi. Oxir-oqibat, bu IDlar natijaga ta'sir qilmaydi, shuning uchun model sifati kam sonli IDlarni olib tashlashdan aziyat chekmaydi; (2) Uzoq tarixdan kelgan eskirgan IDlar kamdan-kam hollarda joriy modelga hissa qo'shadi, chunki ularning ko'pchiligi hech qachon ishlatilmagan. Bu, ehtimol, endi faol bo'lmagan foydalanuvchi yoki eskirgan qisqa videolardan bo'lishi mumkin. Ushbu IDlar uchun inklyuziyalarni saqlash modelga hech qanday yordam bermaydi, balki PS xotirasini behuda sarflaydi. Ushbu kuzatuvlarga asoslanib, biz Xash jadvalini yanada xotira samaraliroq amalga oshirish uchun bir nechta xususiyat ID filtrlash usullarini ishlab chiqdik: (1) IDlar inklyuziya jadvallariga qabul qilinishidan oldin filtrlashadi. Bizda ikkita filtrlash usuli mavjud: Birinchidan, biz ularni kalit sifatida kiritishdan oldin ularning soni bo'yicha filtrlashamiz, bunda son chegarasi har bir model uchun farq qiladigan sozlanadigan giperparametr hisoblanadi; Bundan tashqari, biz xotira ishlatilishini yanada kamaytirishga yordam beradigan ehtimoliy filtrdan foydalanamiz; ![#Figure 4: Streaming Engine. Fikr-mulohaza tsikli [Foydalanuvchi → Model Server → Trening Worker → Model Server → Foydalanuvchi] Batch Training yo'nalishini olganda uzoq vaqtni oladi, Online Training esa tsiklni yanada tezroq yopadi.](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-78b3ep4.jpeg) (2) IDlar vaqt bilan belgilanadi va ma'lum bir muddat faol bo'lmagandan so'ng eskiradi. Eskirish vaqti har bir inklyuziya jadvali uchun sozlanishi mumkin, bu esa tarixiy ma'lumotlarga sezgirligi har xil bo'lgan xususiyatlarni ajratishga imkon beradi. Amalga oshirishda Xash jadvali TensorFlow resurs operatsiyasi sifatida ishlab chiqilgan. O'zgaruvchiga o'xshash, qidirish va yangilashlar ham oson integratsiya va yaxshiroq moslik uchun mahalliy TensorFlow operatsiyalari sifatida amalga oshiriladi. 2.2 Onlayn O'qitish Monolithda o'qitish ikki bosqichga bo'lingan (1-rasm): (1) Batch o'qitish bosqichi. Ushbu bosqich odatdagidek TensorFlow o'qitish tsikli sifatida ishlaydi: har bir o'qitish qadamida, o'qitish ishchisi omborxonasidan bitta mini-partiya o'qitish namunalari o'qiydi, PS dan parametrlar so'raydi, oldinga va orqaga o'tishlarni hisoblaydi va nihoyat yangilangan parametrlar bilan o'qitish PS ga yuboradi. Boshqa keng tarqalgan chuqur o'rganish vazifalaridan biroz farqli o'laroq, biz faqat bitta o'tish uchun ma'lumotlar to'plamimizni o'qitamiz. Batch o'qitish, biz model arxitekturasini o'zgartirganimizda va modelni qayta o'qitganimizda tarixiy ma'lumotlarni o'qitish uchun foydalidir; (2) Onlayn o'qitish bosqichi. Model onlayn xizmat ko'rsatishga joylashtirilgandan so'ng, o'qitish to'xtamaydi, balki onlayn o'qitish bosqichiga kiradi. Omborxonasidan mini-partiya namunalari o'qish o'rniga, o'qitish ishchisi real vaqt ma'lumotlarini parcha-parcha iste'mol qiladi va o'qitish PS ni yangilaydi. O'qitish PS o'z parametrlarini xizmat ko'rsatish PS ga muntazam ravishda sinxronlashtiradi, bu foydalanuvchi tomonida darhol o'z kuchiga kiradi. Bu bizning modelimizga foydalanuvchi fikr-mulohazalariga real vaqt rejimida interaktiv ravishda moslashishga imkon beradi. Monolith batch o'qitish va onlayn o'qitish o'rtasida uzluksiz almashtirish qobiliyati bilan qurilgan. Bu bizning streaming dvigateli dizayni bilan ta'minlangan (4-rasm). 2.2.1 Streaming Dvigateli. Bizning dizaynimizda biz foydalanuvchilarning harakatlarini (masalan, bir elementga bosish yoki uni yoqtirish va hokazo) ro'yxatga olish uchun bitta Kafka [ ] navbatidan va xususiyatlar uchun boshqa Kafka navbatidan foydalanamiz. Dvigatelning yadrosi onlayn xususiyatlarni birlashtiruvchi Flink [ ] streaming vazifasi hisoblanadi. Onlayn birlashtiruvchi foydalanuvchi harakatlaridan olingan etiketkalarni xususiyatlar bilan birlashtiradi va o'qitish namunalari hosil qiladi, ular keyinchalik Kafka navbatiga yoziladi. O'qitish namunalari uchun navbat ham onlayn, ham batch o'qitish tomonidan iste'mol qilinadi: 13 4 Onlayn o'qitish uchun o'qitish ishchisi to'g'ridan-to'g'ri Kafka navbatidan ma'lumotlarni o'qiydi; Batch o'qitish uchun ma'lumotlarni yuklash ish rejimi HDFS [ ] ga ma'lumotlarni yuklaydi; HDFS da ma'lumotlar ma'lum bir miqdorda to'plangandan so'ng, o'qitish ishchisi HDFS dan ma'lumotlarni oladi va batch o'qitishni amalga oshiradi. 18 Yangilangan parametrlar o'qitish PS da parametr sinxronizatsiya jadvaliga muvofiq yuboriladi. Haqiqiy dunyo ilovalarida foydalanuvchi harakatlari jurnali va xususiyatlar onlayn birlashtiruvchiga (5-rasm) vaqt tartibiga kafolat bermasdan oqadi. Shuning uchun biz har bir so'rov uchun noyob kalitdan foydalanamiz, shunda foydalanuvchi harakati va xususiyatlari to'g'ri juftlashtirilishi mumkin. 2.2.2 Onlayn Birlashtiruvchi. Foydalanuvchi harakatining kechikishi ham muammo bo'lishi mumkin. Misol uchun, foydalanuvchi bir necha kun oldin ko'rsatilgan elementni sotib olishga qaror qilishdan oldin bir necha kun sarflashi mumkin. Bu birlashtiruvchi uchun muammo tug'diradi, chunki agar barcha xususiyatlar xotirada saqlansa, u shunchaki xotiraga sig'maydi. Bizning tizimimizda, ma'lum bir vaqt davomida kutayotgan xususiyatlarni saqlash uchun diskdagi kalit-qiymatli saqlash joyidan foydalaniladi. Foydalanuvchi harakati jurnali kelganda, u birinchi navbatda xotiradagi keshni qidiradi, keyin esa kesh yo'qolgan taqdirda kalit-qiymatli saqlash joyini qidiradi. Haqiqiy dunyo ilovalarida yuzaga keladigan yana bir muammo shundaki, salbiy va ijobiy namunalarning taqsimlanishi juda nomutanosibdir, bunda birinchisining miqdori ikkinchisidan bir necha barobar yuqori bo'lishi mumkin. Ijobiy namunalar salbiy namunalardan ustunlik qilishining oldini olish uchun, salbiy tanlash keng tarqalgan strategiyadir. Bu, albatta, o'qitilgan modelning asosiy taqsimotini o'zgartiradi va uni ijobiy bashoratlarni qilish ehtimolini oshirishga qaratadi. Buning uchun, biz xizmat ko'rsatish vaqtida log-odds tuzatishidan [ ] foydalanamiz, bu esa onlayn model asl taqsimotning tarafkash bo'lmagan baholovchisi ekanligini ta'minlaydi. 19 Onlayn o'qitish vaqtida Monolith o'qitish klasteri onlayn xizmat ko'rsatish modulidan ma'lumotlarni qabul qilishni va o'qitish PS dagi parametrlarni yangilashni davom ettiradi. Yangi o'qitilgan parametrlardan foyda olish uchun onlayn xizmat ko'rsatish PS ni faollashtirishning muhim qadami yangilangan model parametrlari sinxronizatsiyasidir. Ishlab chiqarish muhitida biz bir nechta qiyinchiliklarga duch keldik: 2.2.3 Parametr Sinxronizatsiyasi. Onlayn xizmat ko'rsatish PS dagi modellari yangilash vaqtida xizmat ko'rsatishni to'xtatmasligi kerak. Bizning ishlab chiqarishdagi modellarimiz odatda bir necha terabayt hajmdagi bo'lib, natijada barcha parametrlar almashtirilishi uzoq vaqtni oladi. Onlayn PS ni almashtirish jarayonida modeldan voz kechishni to'xtatish o'rinsiz bo'ladi va yangilanishlar darhol amalga oshirilishi kerak; Ko'p terabaytlik modelni butunligicha o'qitish PS dan onlayn xizmat ko'rsatish PS ga o'tkazish PS dagi ham tarmoq kengligi, ham xotiraga katta bosim o'tkazadi, chunki u yangi kelayotgan modelni qabul qilish uchun ikki barobar model hajmini talab qiladi. Onlayn o'qitishning biznes stsenariyimiz hajmini kengaytirish uchun, biz Monolithda bir nechta sezilarli xususiyatlarimizga asoslangan inkremental onlayn-off-the-fly davriy parametr sinxronizatsiya mexanizmini ishlab chiqdik: (1) Kam sonli parametrlar tavsiya modellarining hajmini ustunlik qiladi; (2) Qisqa vaqt oralig'ida faqat kam sonli IDlar o'qitiladi va ularning inklyuziyalari yangilanadi; (3) Zich o'zgaruvchilar kam sonli inklyuziyalardan ko'ra sekinroq harakat qiladi. Buning sababi momentumga asoslangan optimallashtiruvchilarda, zich o'zgaruvchilar uchun momentumning to'planishi katta miqdordagi tavsiya o'qitish ma'lumotlari bilan kuchayadi, shu bilan birga faqat bir nechta kam sonli inklyuziyalar bitta ma'lumotlar partiyasida yangilanadi. (1) va (2) barcha xususiyat IDlari bo'ylab kam sonli yangilanishlardan foydalanishimizga imkon beradi. Monolithda biz tegilgan kalitlar xash to'plamini saqlaymiz, bu oxirgi parametr sinxronizatsiyasidan beri o'qitilgan IDlarni bildiradi. Biz kam sonli parametrlar kichik qismini, ularning kalitlari tegilgan kalitlar to'plamida bo'lgan holda, o'qitish PS dan onlayn xizmat ko'rsatish PS ga daqiqaga teng vaqt oralig'ida yuboramiz. Ushbu nisbatan kichik inkremental parametr yangilanish paketi tarmoq uzatish uchun engil va sinxronizatsiya vaqtida keskin xotira ko'tarilishiga olib kelmaydi. Biz (3) dan foydalanib, kam sonli parametrlar uchun yanada agressiv sinxronizatsiya jadvalini belgilash orqali tarmoq I/O va xotira ishlatilishini yanada kamaytiramiz, shu bilan birga zich parametrlar kamroq yangilanadi. Bu bizga xizmat ko'rsatayotgan zich parametrlar kam sonli qismga nisbatan nisbatan eski versiyasi bo'lgan holatni keltirib chiqarishi mumkin. Biroq, bunday nomuvofiqlik (3) da aytib o'tilgan sabablar tufayli, sezilarli yo'qotishlar kuzatilmaganligi sababli, bardoshli bo'lishi mumkin. 2.3 Xatolarga Chidamlilik Ishlab chiqarishdagi tizim sifatida Monolith, PS ishdan chiqsa, uni tiklash qobiliyati bilan ishlab chiqilgan. Xatolarga chidamlilik uchun keng tarqalgan tanlov - bu modelning holatini davriy ravishda suratga olish va PS ishdan chiqqanligi aniqlanganda oxirgi suratdan tiklashdir. Surat olish chastotasini tanlash ikki muhim ta'sirga ega: (1) Model sifati. Intuitiv ravishda, model sifati suratga olish chastotasi oshishi bilan yaqinda bo'lgan voqealar yo'qolishidan kamroq aziyat chekadi. (2) Hisoblash xarajati. Ko'p terabaytlik modelni suratga olish bepul emas. Bu katta miqdordagi xotira nusxalash va disk I/O ni talab qiladi. Model sifati va hisoblash xarajati o'rtasidagi muvozanatni ta'minlash uchun, Monolith har kuni barcha o'qitish PS larini suratga oladi. PS ishdan chiqqan taqdirda bir kunlik yangilanishni yo'qotsa ham, biz tajribalarimiz orqali sifatning yomonlashishi bardoshli ekanligini aniqladik.