ByteDance ichining ichidagi — aqlli, tezkor kontent lendlari kuchaytiruvchi mexanizm

Mualliflar: Zhuoran Liu, Bytedance Inc. Leqi Zou, Bytedance Inc. Xuan Zou, Bytedance Inc. Caihua Wang, Bytedance Inc. Biao Zhang, Bytedance Inc. Da Tang, Bytedance Inc. Bolin Zhu∗, Fudan universiteti Yijie Zhu, Bytedance Inc. Peng Wu, Bytedance Inc. Ke Wang, Bytedance Inc. Youlong Cheng†, Bytedance Inc. (youlong.cheng@bytedance.com) ABSTRAKT Ko'p bizneslar uchun, masalan, qisqa videolar reytingi yoki onlayn reklamalar kabi vaqtga sezgir mijozlar fikr-mulohazalari bilan boshqariladigan, keng qamrovli va real vaqt rejimida ishlaydigan tavsiya tizimini qurish juda muhimdir. TensorFlow yoki PyTorch kabi keng tarqalgan ishlab chiqarish darajasidagi chuqur o'rganish freymvorklariga qaramay, bu umumiy maqsadli freymvorklar turli sabablarga ko'ra tavsiya etish stsenariylarida biznes talablariga javob bermaydi: bir tomondan, statik parametrlarga va dinamik va kamtarin xususiyatlarga ega bo'lgan tavsiya qilish uchun zich hisob-kitoblarga asoslangan tizimlarni sozlash model sifatiga zarar etkazadi; boshqa tomondan, bunday freymvorklar batch-o'quv bosqichi va xizmat ko'rsatish bosqichi bilan to'liq ajratilgan holda ishlab chiqilgan, bu modelning real vaqt rejimida mijozlar fikr-mulohazalari bilan o'zaro ta'sir qilishiga to'sqinlik qiladi. Ushbu muammolar bizni an'anaviy yondashuvlarni qayta ko'rib chiqishga va tubdan boshqacha dizayn tanlovlarini o'rganishga undadi. Ushbu maqolada biz onlayn o'quv uchun moslashtirilgan tizim 1 ni taqdim etamiz. Bizning dizaynimiz boshqa tavsiya tizimlaridan sezilarli darajada farq qiluvchi ilovamizning ish yuklari va ishlab chiqarish muhiti kuzatuvlari bilan belgilangan. Bizning hissamiz ko'p qirrali: birinchidan, biz xotira izini kamaytirish uchun expirable embeddings va chastota filtrlash kabi optimallashtirishlar bilan to'qnashuvsiz embedding jadvalini yaratdik; ikkinchidan, biz yuqori nosozliklarga chidamliligi bilan ishlab chiqarishga tayyor onlayn o'quv arxitekturasini taqdim etdik; nihoyat, biz tizim ishonchliligini real vaqt rejimida o'rganish uchun almashtirish mumkinligini isbotladik. Monolith muvaffaqiyatli ravishda BytePlus Recommend2 mahsulotiga kiritilgan. Monolith 1 KIRISH O'tgan o'n yil ichida tavsiya etish texnikalari bilan ishlaydigan bizneslarning gullab-yashnashi kuzatildi. Yaxshiroq mijozlar tajribasini ta'minlash uchun, har bir individual foydalanuvchi uchun shaxsiylashtirilgan kontentni real vaqt rejimida javob sifatida etkazib berish ushbu biznes ilovalari uchun umumiy maqsad hisoblanadi. Buning uchun foydalanuvchining so'nggi o'zaro ta'siridan olingan ma'lumotlar ko'pincha modelni o'qitish uchun asosiy kirish sifatida ishlatiladi, chunki u foydalanuvchi portretini eng yaxshi tasvirlaydi va foydalanuvchining qiziqishlari va kelajakdagi xatti-harakatlarini bashorat qiladi. Chuqur o'rganish tavsiya modellari [ , , , , , ] bo'yicha hukmronlik qilmoqda, chunki ulkan miqdordagi foydalanuvchi ma'lumotlari ko'p miqyosdagi ma'lumotlarga asoslangan neyron modellar uchun tabiiydir. Biroq, sanoat darajasidagi tavsiya tizimlarida chuqur o'rganish kuchidan foydalanishga qaratilgan sa'y-harakatlar real dunyo foydalanuvchi xatti-harakatlaridan olingan ma'lumotlarning o'ziga xos xususiyatlaridan kelib chiqqan muammolarga duch keladi. Ushbu ma'lumotlar til modellashtirish yoki kompyuter ko'rish kabi an'anaviy chuqur o'rganish muammolaridan ikki jihatdan farq qiladi: 5 6 10 12 20 21 (1) Xususiyatlar ko'pincha kamtarin, kategorik va dinamik ravishda o'zgaruvchan bo'ladi; (2) Trening ma'lumotlarining asosiy taqsimoti statsionar emas, ya'ni Konseptual Drift . Bunday farqlar tavsiya tizimlari bilan ishlaydigan tadqiqotchilar va muhandislar uchun o'ziga xos qiyinchiliklarni keltirib chiqardi. 1.1 Kamtarinlik va Dinamiklik Tavsiya qilish uchun ma'lumotlar ko'pincha kamtarin kategorik xususiyatlarni o'z ichiga oladi, ulardan ba'zilari kam chastotada paydo bo'ladi. Ularni yuqori o'lchamli embedding bo'shlig'iga xaritalashning umumiy amaliyoti qator muammolarni keltirib chiqaradi: • So'z qismlari soni cheklangan til modellaridan farqli o'laroq, foydalanuvchilar va reyting elementlarining soni kattaroq tartibda. Bunday ulkan embedding jadvali bitta xost xotirasiga sig'maydi; • Yana yomoni, foydalanuvchilar va elementlar ko'proq qo'shilganda embedding jadvali hajmi vaqt o'tishi bilan o'sishi kutilmoqda, shu bilan birga [ , ] kabi freymvorklar embedding jadvalini ifodalash uchun doimiy o'lchamdagi zich o'zgaruvchilardan foydalanadi. 1 17 Amalda, ko'pgina tizimlar xotira izini kamaytirish va IDlarning o'sishiga imkon berish uchun kam to'qnashuvli xashingni [ , ] qabul qiladi. Bu IDlar embedding jadvalida chastotada teng taqsimlanganligi va to'qnashuvlar model sifatiga zararli emasligi haqidagi haddan tashqari idealistik taxminga asoslanadi. Afsuski, bu haqiqiy dunyo tavsiya tizimi uchun kamdan-kam hollarda to'g'ri keladi, bu yerda foydalanuvchilar yoki elementlarning kichik guruhlari sezilarli darajada ko'proq paydo bo'ladi. Embedding jadvali hajmining organik o'sishi bilan, xashing kalitining to'qnashuv ehtimoli ortadi va model sifatining yomonlashishiga olib keladi 3 6 . Shuning uchun ishlab chiqarish darajasidagi tavsiya tizimlari o'z parametrlari ko'p xususiyatlarni o'z ichiga olishi hamda saqlashga harakat qiladigan foydalanuvchilar va elementlar sonini moslashuvchan ravishda sozlash qobiliyatiga ega bo'lishi tabiiy talabdir. 1.2 Statsionar bo'lmagan taqsimot Asrlar davomida vizual va lingvistik naqshlar deyarli rivojlanmaydi, shu bilan birga, bir mavzuga qiziquvchi foydalanuvchi o'z ishtiyoqini keyingi daqiqada o'zgartirishi mumkin. Natijada, foydalanuvchi ma'lumotlarining asosiy taqsimoti statsionar emas, bu hodisa odatda Konseptual Drift deb ataladi. Intuitiv ravishda, yaqin tarixdagi ma'lumotlar foydalanuvchining xatti-harakatlaridagi o'zgarishni bashorat qilishda samaraliroq hissa qo'sha oladi. Konseptual Drift ta'sirini yumshatish uchun xizmat ko'rsatish modellari foydalanuvchining so'nggi qiziqishlarini aks ettirish uchun iloji boricha real vaqt rejimida yangi foydalanuvchi fikr-mulohazalaridan yangilanishi kerak. Ushbu farqlarni hisobga olgan holda va bizning ishlab chiqarishimizda yuzaga kelgan muammolarni kuzatgan holda, biz ushbu muammolarni hal qilish uchun mo'ljallangan katta miqyosli tavsiya tizimi ni ishlab chiqdik. Biz ishlab chiqarish muhitida dizaynimizni tasdiqlash va takomillashtirish uchun keng qamrovli tajribalar o'tkazdik. Monolith qobiliyatli: Monolith (1) To'qnashuvsiz xash jadvali va dinamik xususiyatlarni chiqarib tashlash mexanizmini loyihalash orqali kamtarin xususiyatlar uchun to'liq ifodali kuchni ta'minlaydi; (2) Onlayn o'qish orqali xizmat ko'rsatish fikr-mulohazalarini real vaqt rejimida o'qitishga qaytaradi. Ushbu arxitektura imkoniyatlari bilan qurollangan Monolith, taxminan o'xshash xotira ishlatilishi bilan to'qnashuvlarni qabul qiladigan xash-trixlardan foydalanadigan tizimlardan ustun turadi va serverlarimizning hisoblash quvvatini ortiqcha yuklamasdan eng yuqori darajadagi onlayn xizmat ko'rsatish AUC ni ta'minlaydi. Qog'ozning qolgan qismi quyidagicha tashkil etilgan. Avvalo, Monolithning mavjud muammolarni to'qnashuvsiz xash jadvali va real vaqt rejimida o'qitish orqali qanday hal qilishi haqidagi dizayn tafsilotlarini 2-bo'limda batafsil bayon qilamiz. Tajribalar va natijalar 3-bo'limda, ishlab chiqarishda sinovdan o'tgan xulosalar va vaqtga sezgirlik, ishonchlilik va model sifati o'rtasidagi ayrim savdolarni muhokama qilish bilan birga keltiriladi. 4-bo'lim tegishli ishni umumlashtiradi va ularni Monolith bilan solishtiradi. 5-bo'lim ushbu ishni yakunlaydi. 2 LOYIHA Monolithning umumiy arxitekturasi odatda TensorFlowning taqsimlangan Worker- arameter erver sozlamasiga (2-rasm) amal qiladi. Worker-PS arxitekturasida mashinalarga turli rollar beriladi; Worker mashinalari grafik tomonidan belgilangan hisob-kitoblarni bajarish uchun javobgardir va PS mashinalari parametrlarni saqlaydi va ularni Workers tomonidan hisoblangan gradientlarga muvofiq yangilaydi. P S Tavsiya modellarida parametrlari ikki to'plamga bo'linadi: zich va kamtarin. Zich parametrlari chuqur neyron tarmog'idagi og'irliklar/o'zgaruvchilar, kamtarin parametrlari esa kamtarin xususiyatlarga mos keladigan embedding jadvallarini bildiradi. Bizning dizaynimizda ham zich, ham kamtarin parametrlari TensorFlow Graph qismi bo'lib, ular parametr serverlarida saqlanadi. Zich parametrlari uchun TensorFlowning Variable'iga o'xshab, biz kamtarin parametrlari uchun juda samarali, to'qnashuvsiz va moslashuvchan HashTable operatsiyalar to'plamini ishlab chiqdik. TensorFlowning o'quv va inferentsiyani ajratishdan kelib chiqqan cheklovlariga qo'shimcha ravishda, Monolithning moslashuvchan miqyoslanadigan onlayn o'qishi nosozliklarni tiklash mexanizmi tomonidan ta'minlangan modelning mustahkamligi bilan qisqa intervallarda o'quv-PS dan onlayn xizmat ko'rsatish-PS ga parametrlarni samarali sinxronlashtirish uchun mo'ljallangan. 2.1 Xash Jadvali Kamtarin parametrlarini ifodalashni loyihalashimizning birinchi prinsipi turli IDlar haqidagi ma'lumotlarni bir xil doimiy o'lchamdagi embeddingga tiqmaslikdir. Tashqaridagi TensorFlow Variable bilan dinamik o'lchamdagi embedding jadvalini simulyatsiya qilish ID to'qnashuviga olib keladi, bu esa yangi IDlar kelganda va jadval o'sganda kuchayadi. Shuning uchun Variable asosida qurish o'rniga, biz kamtarin parametrlari uchun yangi kalit-qiymatli HashTable ishlab chiqdik. Bizning HashTable ichki Cuckoo Hashmap [ ] dan foydalanadi, bu esa mavjud bo'lganlar bilan to'qnashuvsiz yangi kalitlarni kiritishni qo'llab-quvvatlaydi. Cuckoo Hashing qidirish va o'chirish uchun eng yomon holatda 𝑂 (1) vaqt murakkabligini, kiritishlar uchun esa kutilgan amortizatsiyalangan 𝑂 (1) vaqtni ta'minlaydi. 3-rasmda ko'rsatilganidek, u turli xash funksiyalari ℎ0 (𝑥), ℎ1 (𝑥) ga ega ikkita jadvalni 𝑇0, 𝑇1 saqlaydi va element ulardan biriga saqlanadi. Agar 𝑇0 ga 𝐴 elementini kiritishga harakat qilinsa, u birinchi navbatda 𝐴 ni ℎ0 (𝐴) ga joylashtirishga harakat qiladi; Agar ℎ0 (𝐴) boshqa 𝐵 elementi bilan band bo'lsa, u 𝐵 ni 𝑇0 dan chiqarib tashlaydi va shu mantiqdan foydalanib 𝐵 ni 𝑇1 ga kiritishga harakat qiladi. Ushbu jarayon barcha elementlar barqarorlashguncha yoki kiritish siklga kirganda qayta xashlash sodir bo'lguncha takrorlanadi. 16 Xotira izini kamaytirish ham dizaynimizda muhim hisoblanadi. Har bir yangi IDni HashTable ga kiritishning sodda yondashuvi tezda xotirani tugatadi. Haqiqiy ishlab chiqarish modellarini kuzatish ikki xulosaga olib keldi: (1) Bir necha marta paydo bo'lgan IDlar model sifatini yaxshilashga kam ta'sir qiladi. Muhim kuzatuv shundaki, IDlar uzoq quyruqli bo'lib taqsimlangan, bu yerda mashhur IDlar millionlab marta paydo bo'lishi mumkin, no'malumlar esa o'ndan ortiq marta paydo bo'ladi. Bunday kam chastotali IDlarga mos keladigan Embeddinglar etarli o'quv ma'lumotlari yo'qligi sababli etarli darajada o'qitilmagan va model ulardan yaxshi baholashni amalga oshira olmaydi. Kun oxirida bu IDlar natijaga ta'sir qilmaydi, shuning uchun kam sonli IDlarni olib tashlashdan model sifati zarar ko'rmaydi; (2) Uzoq tarixdagi eskirgan IDlar joriy modelga kamdan-kam hollarda hissa qo'shadi, chunki ularning ko'pchiligi hech qachon tashrif buyurilmagan. Bu faol bo'lmagan foydalanuvchi yoki mudati o'tgan qisqa video tufayli bo'lishi mumkin. Bunday IDlar uchun embeddinglarni saqlash modelga hech qanday yordam bermaydi, balki PS xotirasini behuda tugatadi. Ushbu kuzatuvlarga asoslanib, biz HashTable ning xotira samaradorligini oshirish uchun bir nechta xususiyat ID filtrlash usullarini ishlab chiqdik: (1) IDlar embedding jadvallariga qabul qilinishidan oldin filtrlangan. Bizda ikkita filtrlash usuli bor: Birinchidan, biz ularni kalit sifatida kiritishdan oldin ularning paydo bo'lish chastotasi bo'yicha filtrlashni amalga oshiramiz, bu yerda chastota chegarasi har bir model uchun farq qiladigan sozlanishi mumkin bo'lgan giperparametrdir; Bundan tashqari, biz xotira ishlatilishini yanada kamaytirishga yordam beradigan ehtimoliy filtrdan foydalanamiz; ![#Figure 4: Streaming Engine. Biznes-modelga nisbatan kam tarqalgan IDlar uchun embeddinglar uchun ishlatiladigan xotira miqdorini kamaytirishga yordam beradi.](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-78b3ep4.jpeg) (2) IDlar vaqt belgisi bilan belgilangan va ma'lum bir muddat faol bo'lmagandan so'ng tugaydi. Har bir embedding jadvali uchun tugash vaqti ham sozlanishi mumkin, bu esa tarixiy ma'lumotlarga sezgirligi har xil bo'lgan xususiyatlarni ajratish imkonini beradi. Bizning dasturimizda HashTable TensorFlow resurs operatsiyasi sifatida amalga oshiriladi. Variable ga o'xshab, qidirish va yangilashlar ham oson integratsiya va yaxshi moslik uchun mahalliy TensorFlow operatsiyalari sifatida amalga oshiriladi. 2.2 Onlayn O'qitish Monolithda o'qitish ikki bosqichga bo'lingan (1-rasm): (1) Batch o'quv bosqichi. Ushbu bosqich odatdagi TensorFlow o'quv tsikli sifatida ishlaydi: har bir o'quv qadamida, trening ishchisi omborxonadan o'quv namunalari mini-partiyasini o'qiydi, PS dan parametrlarni so'raydi, oldinga va orqaga o'tishni hisoblaydi va nihoyat yangilangan parametrlarni trening PS ga yuboradi; Boshqa keng tarqalgan chuqur o'rganish vazifalaridan biroz farqli o'laroq, biz faqat datasetimizni bir marta o'qiymiz. Batch o'qitish model arxitekturasini o'zgartirganimizda va modelni qayta o'qitganimizda tarixiy ma'lumotlarni o'qitish uchun foydalidir; (2) Onlayn o'quv bosqichi. Model onlayn xizmatga joylashtirilgandan so'ng, o'qitish to'xtamaydi, balki onlayn o'quv bosqichiga kiradi. Omborxonadan mini-partiyali misollarni o'qish o'rniga, trening ishchisi real vaqt ma'lumotlarini o'z vaqtida iste'mol qiladi va trening PS ni yangilaydi. Trening PS o'z parametrlarini xizmat ko'rsatish PS ga vaqti-vaqti bilan sinxronlashtiradi, bu esa foydalanuvchi tomonida darhol amalga oshiriladi. Bu bizning modelimizga foydalanuvchining fikr-mulohazalariga real vaqt rejimida interaktiv ravishda moslashish imkonini beradi. Monolith batch o'quv va onlayn o'quv o'rtasida uzluksiz o'tish qobiliyatiga ega. Bu 4-rasmda ko'rsatilganidek, streaming engine dizaynimiz tomonidan ta'minlanadi. 2.2.1 Streaming Engine. Dizaynimizda biz foydalanuvchilarning harakatlarini (masalan, elementga bosish yoki yoqtirish va hokazo) qayd qilish uchun bitta Kafka [ ] navasidan va xususiyatlar uchun boshqa Kafka navasidan foydalanamiz. Mexanizmning yadrosi onlayn xususiyatlarni birlashtiruvchi Flink [ ] oqim vazifasidir. Onlayn birlashtiruvchi foydalanuvchi harakatlaridan olingan yorliqlarni xususiyatlar bilan birlashtiradi va o'quv misollarini hosil qiladi, ular keyinchalik Kafka navasiga yoziladi. O'quv misollari uchun navani onlayn o'quv va batch o'quv ham iste'mol qiladi: 13 4 Onlayn o'quv uchun, trening ishchisi ma'lumotlarni Kafka navasidan to'g'ridan-to'g'ri o'qiydi; Batch o'quv uchun, ma'lumotlarni yuklash vazifasi avval ma'lumotlarni HDFS [ ] ga yuklaydi; HDFS dagi ma'lumotlar ma'lum miqdorda to'plangandan so'ng, trening ishchisi ma'lumotlarni HDFS dan oladi va batch o'quvni amalga oshiradi. 18 Trening PS dagi yangilangan parametrlari parametr sinxronizatsiya jadvaliga muvofiq xizmat ko'rsatish PS ga yuboriladi. Haqiqiy ilovalarda, foydalanuvchi harakatlari jurnali va xususiyatlari onlayn birlashtiruvchiga (5-rasm) vaqt tartibidan tashqari kafolatlanmagan holda oqib tushadi. Shu sababli, biz har bir so'rov uchun noyob kalitdan foydalanamiz, shunda foydalanuvchi harakati va xususiyatlari to'g'ri juftlanishi mumkin. 2.2.2 Online Joiner. Foydalanuvchi harakatlarining kechikishi ham muammo bo'lishi mumkin. Misol uchun, foydalanuvchi bir necha kun oldin ko'rsatilgan elementni sotib olishga qaror qilishdan oldin bir necha kun sarflashi mumkin. Bu birlashtiruvchi uchun qiyinchilik tug'diradi, chunki barcha xususiyatlar keshda saqlansa, u xotiraga sig'maydi. Bizning tizimimizda ma'lum bir vaqt davomida kutilayotgan xususiyatlarni saqlash uchun diskdagi kalit-qiymatli omborxonadan foydalaniladi. Foydalanuvchi harakatlari jurnali kelganda, u birinchi navbatda xotiradagi keshni qidiradi, keyin esa kesh yo'q bo'lgan taqdirda kalit-qiymatli omborxonani qidiradi. Haqiqiy ilovalarda yuzaga keladigan yana bir muammo shundaki, salbiy va ijobiy misollarning taqsimoti juda nomutanosib bo'lib, birinchisining soni ikkinchisidan bir necha barobar ko'p bo'lishi mumkin. Ijobiy misollarning salbiy misollar tomonidan bostirilib ketishining oldini olish uchun keng tarqalgan strategiya salbiy namunani olishdir. Bu, albatta, o'qitilgan modelning asosiy taqsimotini o'zgartiradi, uni ijobiy bashoratlarni qilish ehtimolini oshirishga moyil qiladi. Buning chorasi sifatida, biz xizmat ko'rsatish vaqtida log odds tuzatishini [ ] qo'llaymiz, shu bilan onlayn model asl taqsimotning tarafkash bo'lmagan baholovchisi ekanligini ta'minlaymiz. 19 Onlayn o'qish davomida Monolith o'quv klasteri onlayn xizmat ko'rsatish modulidan ma'lumotlarni qabul qilishni davom ettiradi va trening PS dagi parametrlarni yangilaydi. Yangi o'qitilgan parametrlardan o'quv PS foydalanishini ta'minlashning muhim qadami yangilangan model parametrlari sinxronizatsiyasidir. Ishlab chiqarish muhitida biz bir qancha qiyinchiliklarga duch keldik: 2.2.3 Parameter Synchronization. Onlayn xizmat ko'rsatish PS dagi modellari yangilash paytida xizmat ko'rsatishni to'xtatmasligi kerak. Ishlab chiqarishdagi modellari odatda bir necha terabayt hajmdagi, natijada barcha parametrlarni almashtirish biroz vaqt oladi. Onlayn PS ni modelni yangilash jarayonida xizmat ko'rsatishdan to'xtatishni qabul qilib bo'lmaydi va yangilashlar o'z vaqtida amalga oshirilishi kerak; Ko'p terabaytlik modelni uning butunligicha trening PS dan onlayn xizmat ko'rsatish PS ga o'tkazish tarmoqning o'tkazish qobiliyati va PS dagi xotiraga katta bosim o'tkazadi, chunki yangi kelayotgan modelni qabul qilish uchun ikki barobar model hajmi xotirasi talab qilinadi. Biznes stsenariyimiz hajmi bo'yicha onlayn o'qishni kengaytirish uchun, biz modelllarimizning bir nechta seziladigan xususiyatlariga asoslangan Monolith da inkremental onlayn vaqt parametrlari sinxronizatsiya mexanizmini ishlab chiqdik: (1) Kamtarin parametrlari tavsiya modellarining hajmini belgilaydi; (2) Ma'lum bir vaqt oralig'i berilgan, faqat IDlarning kichik qismi o'qitiladi va ularning embeddinglari yangilanadi; (3) Zich o'zgaruvchilar kamtarin embeddinglarga qaraganda ancha sekin harakat qiladi. Buning sababi, momentumga asoslangan optimallashtiruvchilarda, zich o'zgaruvchilar uchun momentumning to'planishi tavsiya etish ma'lumotlarining ulkan hajmi bilan kuchayadi, shu bilan birga bitta ma'lumot partiyasida faqat bir nechta kamtarin embeddinglar yangilanadi. (1) va (2) bizga barcha xususiyat IDlari bo'yicha kamtarin yangilashlardan foydalanishimizga imkon beradi. Monolithda biz tegilgan kalitlar xash to'plamini saqlaymiz, bu esa oxirgi parametr sinxronizatsiyasidan beri o'qitilgan IDlarni ifodalaydi. Biz trening PS dan onlayn xizmat ko'rsatish PS ga tegishli kalitlar to'plamiga mansub kamtarin parametrlarning kichik qismini daqiqa darajasidagi vaqt oralig'ida yuboramiz. Ushbu nisbatan kichik inkremental parametr yangilash paketi tarmoq uzatish uchun yengil bo'lib, sinxronizatsiya paytida keskin xotira ko'tarilishiga olib kelmaydi. Biz (3) dan foydalanib, kamtarin parametrlari uchun yanada agressiv sinxronlash jadvalini o'rnatish orqali tarmoq I/U va xotira ishlatilishini yanada kamaytiramiz, shu bilan birga zich parametrlarni kamroq yangilaymiz. Bu bizni xizmat ko'rsatayotgan zich parametrlari kamtarin qismiga nisbatan nisbatan eskirgan versiya bo'lishi mumkin bo'lgan vaziyatga olib kelishi mumkin. Biroq, bunday nomuvofiqlik (3) da aytilgan sababga ko'ra bardosh berilishi mumkin, chunki sezilarli yo'qotishlar kuzatilmagan. 2.3 Nosozliklarga Chidamlilik Ishlab chiqarishdagi tizim sifatida Monolith PS nosozlik yuz berganda uni tiklash qobiliyatiga ega. Nosozliklarga chidamlilik uchun keng tarqalgan tanlov bu model holatini vaqti-vaqti bilan suratga olish va PS nosozlik aniqlanganda oxirgi suratdan tiklashdir. Surat chastotasini tanlash ikki asosiy ta'sirga ega: (1) Model sifati. Intuitiv ravishda, model sifati surat chastotasini oshirish bilan so'nggi tarixning yo'qolishidan kamroq zarar ko'radi. (2) Hisoblashning ortiqcha yuklanishi. Ko'p terabaytlik modelni suratga olish bepul emas. Bu katta miqdordagi xotira nusxalash va disk I/U ni talab qiladi. Model sifati va hisoblash ortiqcha yuklanishi o'rtasidagi muvozanat sifatida, Monolith har kuni barcha trening PS larini suratga oladi. Agar PS nosozlik yuz bersa, PS bir kunlik yangilanishni yo'qotsa ham, biz tajribalarimiz orqali uning samaradorligini pasayishi bardoshli ekanligini aniqladik. Biz keyingi bo'limda PS ishonchliligining ta'sirini tahlil qilamiz. 3 BAHOLASH Bizning taklif qilingan dizayni taqdim etadigan foydalari va muvozanatlarini yax