ByteDance-ın Monolitinin İçində: Daha Ağıllı, Daha Sürətli Məzmun Feidlərini Gücləndirən Mühərrik

```html Müəlliflər: Zhuoran Liu, Bytedance Inc. Leqi Zou, Bytedance Inc. Xuan Zou, Bytedance Inc. Caihua Wang, Bytedance Inc. Biao Zhang, Bytedance Inc. Da Tang, Bytedance Inc. Bolin Zhu∗, Fudan Universiteti Yijie Zhu, Bytedance Inc. Peng Wu, Bytedance Inc. Ke Wang, Bytedance Inc. Youlong Cheng†, Bytedance Inc. (youlong.cheng@bytedance.com) ABSTRAKT Çoxlu bizneslər üçün, xüsusilə vaxta həssas müştəri rəylərinə əsaslanan məsləhət sistemləri (məsələn, qısa videoların reytinqi və ya onlayn reklamlar) üçün miqyaslanabilən və real vaxt rejimində işləyən məsləhət sistemi qurmaq vacibdir. TensorFlow və ya PyTorch kimi istehsal səviyyəli dərin öyrənmə çərçivələrinin geniş tətbiqinə baxmayaraq, bu ümumi məqsədli çərçivələr müxtəlif səbəblərdən məsləhət ssenarilərində biznes tələblərini tam ödəmir: bir tərəfdən, dinamik və seyrək xüsusiyyətlərə malik məsləhətlərin statik parametrlər və sıx hesablamalarla tənzimlənməsi model keyfiyyətinə zərər verir; digər tərəfdən, bu cür çərçivələr toplu təlim mərhələsi və təqdimetmə mərhələsi tamamilə ayrılmış şəkildə dizayn edilmişdir, bu da modelin real vaxt rejimində müştəri rəyləri ilə qarşılıqlı əlaqə qurmasına mane olur. Bu məsələlər bizi ənənəvi yanaşmaları yenidən nəzərdən keçirməyə və radikal fərqli dizayn seçimlərini araşdırmağa sövq etdi. Bu məqalədə biz onlayn təlim üçün nəzərdə tutulmuş 1 sistemini təqdim edirik. Dizaynımız, digər məsləhət sistemlərindən əhəmiyyətli dərəcədə fərqlənən tətbiq iş yükü və istehsal mühitimiz haqqında müşahidələrimizlə idarə olunmuşdur. Bizim töhfələrimiz çoxsaylıdır: birincisi, biz yaddaş izini azaltmaq üçün expirable embeddinglər və tezlik filtrləmə kimi optimallaşdırmalarla toqquşmasız embedding cədvəlini yaratdıq; ikincisi, yüksək səhvlərə davamlılıq təmin edən istehsala hazır onlayn təlim arxitekturasını təqdim edirik; nəhayət, sistem etibarlılığının real vaxt rejimində öyrənmə üçün qurban verilə biləcəyini sübut etdik. Monolith uğurla BytePlus Recommend2 məhsuluna daxil edilmişdir. Monolith 1 GİRİŞ Son on ildə məsləhət texnikaları ilə dəstəklənən bizneslərdə böyük bir artım müşahidə edilmişdir. Daha yaxşı müştəri təcrübəsi axtarışında, hər bir fərdi istifadəçi üçün fərdiləşdirilmiş məzmunu real vaxt rejimində təqdim etmək bu biznes tətbiqlərinin ümumi məqsədidir. Bu məqsədlə, istifadəçinin son qarşılıqlı əlaqəsi haqqında məlumat tez-tez modelin təlimi üçün əsas giriş kimi istifadə olunur, çünki bu, istifadəçinin profilini ən yaxşı şəkildə təsvir edir və istifadəçinin marağını və gələcək davranışlarını proqnozlaşdırır. Dərin öyrənmə, böyük həcmdə istifadəçi məlumatları kütləvi məlumatla idarə olunan neyron modelləri üçün təbii bir uyğunluq olduğu üçün məsləhət modellərində üstünlük təşkil edir [ , , , , , ]. Bununla belə, sənaye səviyyəli məsləhət sistemlərində dərin öyrənmənin gücündən istifadə etmək səyləri, reallıqdan alınan istifadəçi davranış məlumatlarının unikal xüsusiyyətlərindən yaranan problemlərlə daim qarşılaşır. Bu məlumatlar, dil modelləşdirmə və ya kompüter görmə kimi ənənəvi dərin öyrənmə problemlərindən iki cəhətdən kəskin şəkildə fərqlənir: 5 6 10 12 20 21 (1) Xüsusiyyətlər əsasən seyrək, kateqoriyalı və dinamik olaraq dəyişir; (2) Təlim məlumatlarının əsas paylanması qeyri-stasionardır, yəni Konsept Kayması [8]. Bu cür fərqlər məsləhət sistemləri üzərində işləyən tədqiqatçılar və mühəndislər üçün unikal çətinliklər yaratmışdır. 1.1 Seyreklik və Dinamizm Məsləhət üçün məlumatlar əsasən seyrək kateqoriyalı xüsusiyyətlər ehtiva edir, bəziləri az tezliklə görünür. Bunları yüksək ölçülü embedding fəzasına xəritələmək üçün ümumi praktik mövcud bir sıra məsələlərə gətirib çıxarır: • Söz parçalarının sayı məhdud olan dil modellərindən fərqli olaraq, istifadəçilərin və reytinq maddələrinin sayı qat-qat böyükdür. Belə nəhəng bir embedding cədvəli yalnız bir host yaddaşına çətinliklə yerləşə bilər; • Daha da pisi, embedding cədvəlinin ölçüsünün, daha çox istifadəçi və maddə daxil edildikcə zamanla böyüməsi gözlənilir, halbuki [ , ] kimi çərçivələr embedding cədvəlini təmsil etmək üçün sabit ölçülü sıx dəyişkənlərdən istifadə edir. 1 17 Praktikada, bir çox sistemlər yaddaş izini azaltmaq və ID-lərin böyüməsinə icazə vermək üçün az toqquşma xəşləməsinə [ , ] müraciət edir. Bu, embedding cədvəlindəki ID-lərin tezlik baxımından bərabər paylandığı və toqquşmaların model keyfiyyətinə zərərsiz olduğu barədə həddən artıq idealist bir fərzə əsaslanır. Təəssüf ki, bu, real dünya məsləhət sistemi üçün nadir hallarda doğrudur, burada kiçik bir qrup istifadəçi və ya maddə əhəmiyyətli dərəcədə çox təkrara malikdir. Embedding cədvəlinin ölçüsünün təbii böyüməsi ilə, xəş açarının toqquşma ehtimalı artır və model keyfiyyətinin pisləşməsinə səbəb olur 3 6 [3]. Bu səbəbdən, istehsal səviyyəli məsləhət sistemləri üçün öz parametrlərində mümkün qədər çox xüsusiyyəti tutmaq, həm də saxladığı istifadəçi və maddələrin sayını elastik şəkildə tənzimləmək bacarığı təbii bir tələbdir. 1.2 Qeyri-stasionar Paylanma Görünən və dilə aid nümunələr əsrlər ərzində nadir hallarda inkişaf edir, halbuki bir mövzuya maraq göstərən istifadəçi növbəti dəqiqə meylini dəyişə bilər. Nəticədə, istifadəçi məlumatlarının əsas paylanması qeyri-stasionardır, bu hadisə ümumiyyətlə Konsept Kayması kimi tanınır. [8] Sezgisel olaraq, daha yaxın tarixə aid məlumat, istifadəçinin davranışındakı dəyişikliyi proqnozlaşdırmaq üçün daha effektiv şəkildə töhfə verə bilər. Konsept Kayması təsirini azaltmaq üçün, təqdimetmə modelləri istifadəçinin ən son marağını əks etdirmək üçün yeni istifadəçi rəylərindən mümkün qədər real vaxt rejimində yenilənməlidir. Bu fərqləri nəzərə alaraq və istehsalımızda yaranan məsələləri müşahidə edərək, bu çətinlikləri həll etmək üçün nəzərdə tutulmuş böyük miqyaslı məsləhət sistemi olan -i dizayn etdik. İstehsal mühitində dizaynımızı təsdiqləmək və təkmilləşdirmək üçün geniş təcrübələr apardıq. Monolith bacarıqlıdır: Monolith (1) Toqquşmasız xəş cədvəli və dinamik xüsusiyyət çıxarma mexanizmi dizayn edərək seyrək xüsusiyyətlər üçün tam ifadə gücü təmin edir; (2) Real vaxt rejimində onlayn təlim ilə təqdimetmə rəyini təlimə geri qaytarır. Bu arxitektur qabiliyyətləri ilə gücləndirilən Monolith, təxminən eyni yaddaş istifadəsi ilə toqquşmalarla xəş-triklərdən istifadə edən sistemlərdən consistently üstün performans göstərir və serverlərimizin hesablamə gücünü həddən artıq yükləmədən son dərəcə onlayn təqdimetmə AUC-ni əldə edir. Məqalənin qalan hissəsi belə təşkil olunur: Biz Monolith-in mövcud çətinlikləri toqquşmasız xəş cədvəli və real vaxt rejimində təlimlə necə həll etdiyinin dizayn detallarını 2-ci Bölmədə ətraflı izah edirik. Təcrübələr və nəticələr 3-cü Bölmədə, istehsalda sınaqdan keçirilmiş nəticələr və vaxt həssaslığı, etibarlılıq və model keyfiyyəti arasındakı tarazlıqlar haqqında müzakirə ilə birlikdə təqdim olunacaqdır. 4-cü Bölmədə əlaqəli işlər ümumiləşdirilir və Monolith ilə müqayisə olunur. 5-ci Bölmədə bu iş yekunlaşdırılır. 2 DİZAYN Monolith-in ümumi arxitekturası ümumiyyətlə TensorFlow-un paylanmış İşçi- arametr erver (Şəkil parametrlərini izləyir. İşçi-PS arxitekturasında maşınlara fərqli rollar verilir; İşçi maşınları qrafik tərəfindən müəyyən edilmiş hesablamaları yerinə yetirməkdən məsuliyyət daşıyır, PS maşınları isə parametrləri saxlayır və İşçilər tərəfindən hesablanan qradiyentlərə uyğun olaraq onları yeniləyir. P S 2) Məsləhət modellərində, parametrlər iki dəstə bölünür: sıx və seyrək. Sıx parametrlər dərin neyron şəbəkəsindəki çəkilər/dəyişkənlərdir, seyrək parametrlər isə seyrək xüsusiyyətlərə uyğun gələn embedding cədvəllərinə aiddir. Bizim dizaynımızda, həm sıx, həm də seyrək parametrlər TensorFlow Qrafikinin bir hissəsidir və parametrlər serverlərində saxlanılır. TensorFlow-un sıx parametrlər üçün Variable-inə bənzər şəkildə, biz seyrək parametrlər üçün yüksək səmərəli, toqquşmasız və çevik HashTable əməliyyatları dəstini dizayn etdik. Təlim və nəticənin ayrılmasından qaynaqlanan Tensor-Flow-un məhdudiyyətlərinə əlavə olaraq, Monolith-in elastik şəkildə miqyaslanabilən onlayn təlimi, səhvlərə davamlılıq mexanizmi tərəfindən təmin edilən model möhkəmliyi ilə qısa intervallarda təlim-PS-dən onlayn təqdimetmə-PS-ə parametrləri səmərəli şəkildə sinxronlaşdırmaq üçün nəzərdə tutulmuşdur. 2.1 Xəş Cədvəli Seyrək parametrlərin təmsili dizaynımızın ilk prinsipidir ki, müxtəlif ID-lərdən gələn məlumatları eyni sabit ölçülü embedding-ə sıxışdırmaqdan çəkinməkdir. Hazır TensorFlow Variable ilə dinamik ölçülü embedding cədvəlini simulyasiya etmək, yeni ID-lər gəldikcə və cədvəl böyüdükcə artan ID toqquşmasına səbəb olur. Buna görə də Variable əsasında qurmaq əvəzinə, seyrək parametrlərimiz üçün yeni bir əşya-dəyər HashTable yaratdıq. Bizim HashTable, daxil olmaq, silmək üçün 𝑂(1) zaman mürəkkəbliyinə və daxil etmək üçün gözlənilən amortizə olunmuş 𝑂(1) zaman mürəkkəbliyinə nail olan Cuckoo Hashmap [ ] istifadə edir. Şəkil -də göstərildiyi kimi, o, iki fərqli xəş funksiyası ℎ0(𝑥), ℎ1(𝑥) ilə iki cədvəl T0, T1 saxlayır və bir əşya onlardan birində saxlanılır. 𝑇0-a 𝐴 əşyası daxil etməyə çalışarkən, o, ilk növbədə 𝐴-nı ℎ0(𝐴)-da yerləşdirməyə cəhd edir; əgər ℎ0(𝐴) başqa bir əşya 𝐵 tərəfindən məşğuldursa, o, 𝑇0-dan 𝐵-ni çıxaracaq və eyni məntiqdən istifadə edərək 𝐵-ni 𝑇1-ə daxil etməyə çalışacaqdır. Bu proses bütün əşyalar sabitləşənə qədər və ya daxil etmə bir dövrə girdikdə yenidən xəşləmə baş verənə qədər təkrarlanacaqdır. 16 3 Yaddaş izinin azaldılması da dizaynımızda vacib bir məqamdır. Hər yeni ID-ni HashTable-a daxil etmək üçün sadə bir yanaşma tezliklə yaddaşı tükədəcəkdir. Real istehsal modellərinin müşahidəsi iki nəticəyə gətirib çıxardı: (1) Yalnız bir neçə dəfə görünən ID-lərin model keyfiyyətini yaxşılaşdırmaq üçün məhdud töhfəsi var. Vacib bir müşahidə, ID-lərin uzun quyruqlu paylandığıdır, burada populyar ID-lər milyon dəfə, populyar olmayanlar isə on dəfədən çox görünmür. Bu nadir ID-lərə uyğun gələn Embeddinglər təlim məlumatlarının çatışmazlığı səbəbindən az təlim olunur və model onlara əsasən yaxşı qiymətləndirmə apara bilməyəcəkdir. Nəticədə, bu az təkrarlanan ID-lərin çıxarılmasından model keyfiyyəti əziyyət çəkməyəcəkdir; (2) Uzaq keçmişdən gələn köhnə ID-lər çox vaxt ziyarət edilmədiyi üçün cari modelə az töhfə verir. Bu, aktiv olmayan bir istifadəçi və ya köhnəlmiş bir qısa video səbəbindən ola bilər. Bu ID-lər üçün embedding saxlamaq modelə heç bir şəkildə kömək etmir, yalnız boşuna PS yaddaşımızı tükədir. Bu müşahidələrə əsaslanaraq, HashTable-ın daha yaddaş baxımından səmərəli tətbiqi üçün bir sıra xüsusiyyət ID filtrləmə heuristikləri hazırladıq: (1) ID-lər embedding cədvəllərinə qəbul edilmədən əvvəl filtirlənir. İki filtrləmə metodumuz var: Birincisi, onlar açar kimi daxil edilmədən əvvəl təkrarlarına görə filtirləyirik, burada təkrarların həddi hər model üçün fərqlənən tənzimlənən bir hiperparametrdür; Bundan əlavə, yaddaş istifadəsini daha da azaltmağa kömək edən ehtimali bir filtr istifadə edirik; ![#Şəkil 4: Axın Mühərriki. [İstifadəçi → Model Server → Təlim İşçisi → Model Server → İstifadəçi] məlumat geribildirim dövrü Toplu Təlim yolunu götürdükdə uzun vaxt sərf edir, Onlayn Təlim isə dövrü daha dərhal bağlayır.](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-78b3ep4.jpeg) (2) ID-lər vaxtla işarələnir və müəyyən bir müddət fəaliyyətsiz qaldıqdan sonra müddəti bitir. Müddət bitmə vaxtı, müxtəlif tarixi məlumatlara həssaslığı olan xüsusiyyətləri ayırmaq üçün hər embedding cədvəli üçün tənzimlənə biləndir. Tətbiqimizdə HashTable, bir TensorFlow resurs əməliyyatı kimi həyata keçirilir. Variable-ə bənzər şəkildə, axtarışlar və yeniləmələr də asan inteqrasiya və daha yaxşı uyğunluq üçün yerli TensorFlow əməliyyatları kimi həyata keçirilir. 2.2 Onlayn Təlim Monolith-də təlim iki mərhələyə bölünür (Şəkil 1): (1) Toplu təlim mərhələsi. Bu mərhələ adi bir TensorFlow təlim dövrü kimi işləyir: Hər təlim addımında, bir təlim işçisi anbaradan bir mini-partiya təlim nümunəsi oxuyur, PS-dən parametrlər tələb edir, bir irəli və bir geri keçid aparır və nəhayət yenilənmiş parametrləri təlim PS-ə göndərir. Digər ümumi dərin öyrənmə tapşırıqlarından bir qədər fərqli olaraq, biz yalnız bir keçid üçün məlumat dəstimizi təlim edirik. Toplu təlim, model arxitekturamızı dəyişdirdiyimizdə və modeli yenidən təlim etdiyimizdə keçmiş məlumatları təlim etmək üçün faydalıdır; (2) Onlayn təlim mərhələsi. Model onlayn xidmətə yerləşdirildikdən sonra, təlim dayanmır, lakin onlayn təlim mərhələsinə daxil olur. Anbardan mini-partiya nümunələri oxumaq əvəzinə, bir təlim işçisi real vaxt məlumatlarını ani olaraq istehlak edir və təlim PS-ni yeniləyir. Təlim PS, dövri olaraq öz parametrlərini xidmət PS-ə sinxronlaşdırır, bu da istifadəçi tərəfində dərhal təsirli olur. Bu, modelimizin istifadəçinin rəylərinə real vaxt rejimində interaktiv şəkildə uyğunlaşmasına imkan verir. Monolith, 1 nömrəli Şəkildə göstərildiyi kimi axın mühərriki dizaynımız sayəsində toplu təlim və onlayn təlim arasında problemsiz keçid imkanına malikdir. 2.2.1 Axın Mühərriki. Dizaynımızda, istifadəçilərin fəaliyyətlərini (Məsələn, bir maddəyə klikləmək və ya bir maddəni bəyənmək və s.) qeyd etmək üçün bir Kafka [ ] növbəsindən və xüsusiyyətlər üçün başqa bir Kafka növbəsindən istifadə edirik. Mühərrikin mərkəzində, onlayn xüsusiyyət birləşdiricisi üçün bir Flink [ ] axın işi var. Onlayn birləşdirici, istifadəçi fəaliyyətlərindən olan etiketləri xüsusiyyətlərlə birləşdirir və təlim nümunələri yaradır, bunlar daha sonra bir Kafka növbəsinə yazılır. Təlim nümunələri üçün növbə həm onlayn təlim, həm də toplu təlim tərəfindən istehlak edilir: 13 4 Onlayn təlim üçün, təlim işçisi birbaşa Kafka növbəsindən məlumat oxuyur; Toplu təlim üçün, məlumat yükləmə işi ilk növbədə məlumatları HDFS-ə [ ] yükləyəcəkdir; HDFS-də məlumat müəyyən bir miqdarda toplandıqdan sonra, təlim işçisi HDFS-dən məlumatları alacaq və toplu təlim aparacaqdır. 18 Təlim PS-də yenilənmiş parametrlər parametrlərin sinxronlaşdırılması cədvəlinə uyğun olaraq xidmət PS-ə göndəriləcəkdir. Reallıq tətbiqlərində, istifadəçi fəaliyyət qeydləri və xüsusiyyətləri onlayn birləşdiriciyə (Şəkil vaxt sırasından asılı olmayaraq axır. Buna görə, istifadəçi fəaliyyəti və xüsusiyyətlərinin düzgün cütləşdirilə bilməsi üçün hər bir tələb üçün unikal bir açardan istifadə edirik. 2.2.2 Onlayn Birləşdirici. 5) İstifadəçi fəaliyyətinin gecikməsi də bir problem ola bilər. Məsələn, bir istifadəçi bir neçə gün əvvəl təqdim olunan bir maddəni almağa qərar vermədən əvvəl bir neçə gün çəkə bilər. Bu, birləşdirici üçün bir çətinlikdir, çünki bütün xüsusiyyətlər keşdə saxlanılırsa, bu yaddaşa sığmaz. Bizim sistemimizdə, müəyyən bir müddət ərzində gözləyən xüsusiyyətləri saxlamaq üçün disk üzərindəki bir əşya-dəyər anbarından istifadə olunur. İstifadəçi fəaliyyət qeydi gəldikdə, o, ilk növbədə yaddaş keşini axtarır, sonra isə yoxluğu halında əşya-dəyər anbarını axtarır. Reallıq tətbiqində yaranan başqa bir problem, mənfi və müsbət nümunələrin paylanmasının qeyri-bərabər olmasıdır, birincilərin sayı ikincilərdən dəfələrlə yüksək ola bilər. Müsbət nümunələrin mənfi olanlar tərəfindən boğulmasının qarşısını almaq üçün, ümumi bir strategiya mənfi nümunələrdən istifadə etməkdir. Bu, şübhəsiz ki, təlim olunmuş modelin əsas paylanmasını dəyişəcək, onu müsbət proqnozlar etmək ehtimalına doğru tənzimləyəcəkdir. Bu tədbir olaraq, onlayn modelin orijinal paylanmanın qərəzsiz bir təxminçisi olmasını təmin edərək, təqdimetmə zamanı loqarifmik kəsir düzəlişi [ ] tətbiq edirik. 19 Onlayn təlim zamanı, Monolith təlim klasteri onlayn xidmət modulundan məlumat almağa davam edir və təlim PS-dəki parametrləri yeniləyir. Təlim olunmuş yeni parametrlərdən onlayn xidmət PS-nin faydalanmasını təmin edən vacib bir addım yenilənmiş model parametrlərinin sinxronizasiyasıdır. İstehsal mühitində bir sıra çətinliklərlə qarşılaşırıq: 2.2.3 Parametr Sinxronizasiyası. Onlayn xidmət PS-dəki modellər yenilənərkən xidməti dayandırmamalıdır. İstehsalımızdakı modellərimiz adətən bir neçə terabayt ölçüdə olur və nəticədə bütün parametrləri əvəz etmək bir müddət çəkir. Yeniləmə prosesi zamanı onlayn PS-in modelə xidmətini dayandırmaq dözülməz olardı və yeniləmələr ani olaraq edilməlidir; Çox terabaytlıq bir modelin tamamını təlim PS-dən onlayn xidmət PS-ə köçürmək, yeni gələn modeli qəbul etmək üçün ikiqat model ölçüsündə yaddaş tələb etdiyi üçün həm şəbəkə zolaq genişliyinə, həm də PS-dəki yaddaşa böyük təzyiq göstərəcəkdir. Onlayn təlimin bizim biznes ssenarimizin ölçüsünə qədər miqyaslanmasını təmin etmək üçün, modellərimizin bir sıra nəzərə çarpan xüsusiyyətlərinə əsaslanan Monolith-də artımlı, ani, dövri parametr sinxronlaşdırma mexanizmi hazırladıq: (1) Seyrək parametrlər məsləhət modellərinin ölçüsünə üstünlük təşkil edir; (2) Qısa zaman pəncərəsi nəzərə alınsa, yalnız kiçik bir ID alt dəsti təlim olunur və onların embeddingləri yenilənir; (3) Sıx dəyişkənlər daha yavaş hərəkət edir. Bunun səbəbi, momentum əsaslı optimallaşdırıcılarda, sıx dəyişkənlər üçün momentumun yığılması, məsləhət təlim məlumatlarının nəhəng ölçüsü ilə artır, halbuki yalnız bir neçə seyrək embedding bir data partiyasında yeniləmələr alır. (1) və (2) bütün xüsusiyyət ID-ləri üzrə seyrək yeniləmələrdən istifadə etməyimizə imkan verir. Monolith-də biz təxminən parametr sinxronlaşdırılmasından bəri təlim olunmuş ID-ləri təmsil edən toxunmuş açarların bir xəş dəstini saxlayırıq. Biz təlim PS-dən onlayn xidmət PS-ə dəqiqə səviyyəsində zaman intervalı ilə toxunmuş-açarlar dəstindəki seyrək parametrlərin alt dəstini göndəririk. Bu nisbətən kiçik, artımlı parametr yeniləmə paketi şəbəkə ötürülməsi üçün yüngüldür və sinxronizasiya zamanı kəskin yaddaş artımına səbəb olmur. Biz həmçinin (3)-dən istifadə edərək, sıx parametrlər üçün daha aqressiv sinxronlaşdırma cədvəli təyin edərkən, sıx dəyişkənləri daha az tez-tez yeniləyərək şəbəkə G/Ç və yaddaş istifadəsini daha da azaltırıq. Bu, xidmət etdiyimiz sıx parametrlərin seyrək hissəyə nisbətən nisbətən köhnəlmiş bir versiyası olduğu bir vəziyyətə səbəb ola bilər. Bununla belə, (3)-də qeyd olunan səbəbə görə belə bir uyğunsuzluq dözülə bilər, çünki heç bir nəzərə çarpan itki müşahidə edilməmişdir. 2.3 Səhvlərə Dözümlülük İstehsalda bir sistem olaraq Monolith, PS-in sıradan çıxması halında bərpa etmək qabiliyyəti ilə dizayn edilmişdir. Səhvlərə dözümlülük üçün ümumi seçim, modelin və