Inside ByteDance’s Monolith: The Engine Powering Smarter, Faster Content Feeds

Mpanao lahatsoratra: Zhuoran Liu, Bytedance Inc. Leqi Zou, Bytedance Inc. Xuan Zou, Bytedance Inc. Caihua Wang, Bytedance Inc. Biao Zhang, Bytedance Inc. Da Tang, Bytedance Inc. Bolin Zhu∗, Fudan University Yijie Zhu, Bytedance Inc. Peng Wu, Bytedance Inc. Ke Wang, Bytedance Inc. Youlong Cheng†, Bytedance Inc. (youlong.cheng@bytedance.com) FAMINTANTARANA Ny fananganana rafitra tolo-kevitra azo ampitomboina sy tena miasa eo no ho eo dia zava-dehibe ho an'ny orinasa maro miorina amin'ny valin-kafatra avy amin'ny mpanjifa izay miankina amin'ny fotoana, toy ny filaharana horonan-tsary fohy na dokam-barotra an-tserasera. Na dia efa ampiasaina betsaka aza ny rafitra fampianarana lalina toy ny Ten-sorFlow na PyTorch, ireo rafitra ankapobeny ireo dia tsy mahafeno ny filan'ny orinasa amin'ny toe-javatra tolo-kevitra noho ny antony maro: etsy an-daniny, ny fanitsiana ny rafitra miorina amin'ny mari-pamantarana tsy miova sy ny kajy matevina ho an'ny tolo-kevitra miaraka amin'ny endri-javatra miovaova sy miely tsara dia manimba ny kalitaon'ny modely; etsy an-kilany, ireo rafitra ireo dia natao amin'ny fomba misy fisarahana tanteraka eo amin'ny dingana fanofanana batch sy ny dingana fanaterana, ka manakana ny modely tsy hifandray amin'ny valin-kafatra avy amin'ny mpanjifa eo no ho eo. Ireo olana ireo dia nahatonga anay handinika indray ny fomba fanao mahazatra sy hijery safidy famolavolana hafa mihitsy. Amin'ity taratasy ity, manolotra ny 1 izahay, rafitra namboarina manokana ho an'ny fanofanana an-tserasera. Ny famolavolanay dia nitarina tamin'ny fiheverana ny asa fampiharana sy ny tontolo famokarana izay maneho fiovana lehibe avy amin'ny rafitra tolo-kevitra hafa. Maro ny zavatra nampidirinay: voalohany, namorona latabatra embedding tsy misy fifandonana izahay miaraka amin'ny optimization toy ny embedding izay mety lany daty sy ny sivana matetika mba hampihenana ny habaka fitahirizany; faharoa, manolotra rafitra fanofanana an-tserasera vonona amin'ny famokarana izahay miaraka amin'ny faharetana avo amin'ny tsy fahatomombanana; farany, nanamarina izahay fa ny fahatokisan'ny rafitra dia azo ampanjifaina amin'ny fianarana eo no ho eo. Ny Monolith dia tafiditra tao anatin'ny vokatra BytePlus Recommend2. Monolith 1 FAMARANARANA Ny folo taona lasa dia nahita ny fitomboan'ny orinasa mampiasa teknika tolo-kevitra. Amin'ny fiezahana hahazo traikefa tsara kokoa ho an'ny mpanjifa, ny fanaterana votoaty manokana ho an'ny tsirairay amin'ny valin-kafatra tena miasa eo no ho eo dia tanjona iraisan'ireo fampiharana orinasa ireo. Ho an'izany, ny fampahalalana avy amin'ny fifandraisana farany nataon'ny mpampiasa dia matetika ampiasaina ho toy ny loharano voalohany amin'ny fanofanana modely, satria izany no tena hanehoana ny sarin'ny mpampiasa sy haminavinana ny fahalianan'ny mpampiasa sy ny fihetsika ho avy. Ny fianarana lalina dia nahazo ny tombony amin'ny modely tolo-kevitra satria ny habetsahan'ny angonon'ny mpampiasa dia mifanaraka tsara amin'ny modely neural miorina amin'ny angonona betsaka. Na izany aza, ny ezaka hampiasana ny herin'ny fianarana lalina amin'ny rafitra tolo-kevitra ambaratonga orinasa dia miatrika olana tsy tapaka avy amin'ny toetran'ny angonona avy amin'ny fihetsiky ny mpampiasa eto amin'izao tontolo izao. Ireo angonona ireo dia tena hafa noho ireo ampiasaina amin'ny olana fianarana lalina mahazatra toy ny fanamarihana fiteny na fahitana solosaina amin'ny lafiny roa: (1) Ny endri-javatra dia ankamaroany miely tsara, misy sokajy ary miovaova eo no ho eo; (2) Ny fizarana fototra ao ambanin'ny angonona fanofanana dia tsy miovaova, fantatra amin'ny hoe Concept Drift. Ireto tsy fitoviana ireto dia niteraka fanamby tsy manam-paharoa ho an'ireo mpikaroka sy injeniera miasa amin'ny rafitra tolo-kevitra. 1.1 FIELY NY FAHASAROTANA SY NY FIANARANA Ny angonona ho an'ny tolo-kevitra dia ahitana endri-javatra misy sokajy miely tsara, izay misy vitsy amin'izy ireo miseho amin'ny fahita matetika. Ny fomba mahazatra amin'ny famindrana azy ireo ho ao anaty toerana ambony dimensions dia miteraka andiana olana: • Tsy toy ny modely fiteny izay voafetra ny isan'ny teny, ny isan'ny mpampiasa sy ny singa filaharana dia avo be. Ity latabatra famenoana goavambe ity dia tsy ho tafiditra ao anatin'ny fahatsiarovan-tena tokana; • Mbola ratsy kokoa aza, andrasana hitombo ny haben'ny latabatra famenoana rehefa mihamaro ny mpampiasa sy ny zavatra, raha ny rafitra toy ny kosa mampiasa variables matevina miova tsy miova mba hisoloana ny latabatra famenoana. Amin'ny fampiharana, rafitra maro no mampiasa hashing miaraka amin'ny fifandonana kely ho fomba hampihenana ny habaka fitahirizana ary hamela ny fitomboan'ny ID. Ity dia miankina amin'ny fiheverana iray izay be fanantenana fa ny ID ao anaty latabatra famenoana dia miely tsara amin'ny fahita matetika, ary ny fifandonana dia tsy manimba ny kalitaon'ny modely. Mampalahelo fa tsy dia izany mihitsy no mitranga amin'ny rafitra tolo-kevitra tena miasa, izay ny vondron'olona na zavatra vitsy dia manana fahita matetika kokoa. Miaraka amin'ny fitomboana voajanahary ny haben'ny latabatra famenoana, ny fahafahana misy ny fifandonana amin'ny fanalahidy hashing dia mitombo ary mitondra amin'ny fiharatsian'ny kalitaon'ny modely. Noho izany, dia fitakiana voajanahary ho an'ny rafitra tolo-kevitra ambaratonga famokarana ny hanana ny fahafahana hisambotra endri-javatra betsaka araka izay azo atao ao anatin'ny mari-pamantarana azy, ary koa hanana ny fahafahana hanitsy ny isan'ny mpampiasa sy zavatra tiany hotratrarina. 1.2 FIZARANA TSY MIOMIPIANA Ny fahitana sy ny fomba fiteny dia zara raha miova ao anatin'ny taonjato maro, raha ny fahalianan'ny mpampiasa iray amin'ny lohahevitra iray dia mety hiova segondra tsirairay. Vokatr'izany, ny fizarana fototra ao ambanin'ny angonona ny mpampiasa dia tsy miova, trangan-javatra fantatra amin'ny anarana hoe Concept Drift. Araka ny fiheverana, ny fampahalalana avy amin'ny tantara farany teo dia mety handray anjara bebe kokoa amin'ny faminavinana ny fiovan'ny fihetsiky ny mpampiasa. Mba hampihenana ny fiantraikan'ny Concept Drift, ny modely fanaterana dia tokony havaozina miaraka amin'ny valin-kafatra vaovao avy amin'ny mpanjifa araka izay akaiky indrindra ny tena miasa mba hanehoana ny fahalianana farany indrindra an'ny mpampiasa. Noho ireo tsy fitoviana ireo sy ny fiheverana ireo olana mipoitra amin'ny famokarana, namolavola ny izahay, rafitra tolo-kevitra lehibe mba hamahana ireo olana ireo. Nao izahay nanao fanadinana marobe mba hanamafisana sy hamerenana ny famolavolanay ao anatin'ny tontolo famokarana. Ny Monolith dia afaka Monolith (1) Manome hery fanehoana feno ho an'ny endri-javatra miely tsara amin'ny alalan'ny famolavolana latabatra hashing tsy misy fifandonana sy mekanisma fanafoanana endri-javatra miovaova; (2) Mampihodina ny valin-kafatra fanaterana hiverenana amin'ny fanofanana eo no ho eo miaraka amin'ny fanofanana an-tserasera. Noho ireo fahafahana arafitra ireo, ny Monolith dia manohana tsy tapaka ny rafitra mampiasa fampifandraisana hashing miaraka amin'ny fifandonana miaraka amin'ny habaka fitahirizana mitovy, ary mahazo AUC fanaterana an-tserasera farany tsy mavesatra loatra ny herin'ny solosainanay. Ny sisa amin'ity taratasy ity dia voalamina toy izao. Voalohany, hazavainay amin'ny antsipiriany ny famolavolana ny fomba fitantanana ny Monolith ny fanamby misy amin'ny alalan'ny latabatra hashing tsy misy fifandonana sy ny fanofanana tena miasa eo no ho eo ao amin'ny Fizarana 2. Ny fanadinana sy ny valiny dia haseho ao amin'ny Fizarana 3, miaraka amin'ny fehin-kevitra voamarina amin'ny famokarana sy ny fifanakalozan-kevitra momba ny fifandanjana eo amin'ny fahatsapan'ny fotoana, ny fahatokisana ary ny kalitaon'ny modely. Ny Fizarana 4 dia mamintina ny asa mifandraika ary mampitaha azy ireo amin'ny Monolith. Ny Fizarana 5 dia mamarana ity asa ity. 2 FAMOLAVOLANA Ny rafitra ankapoben'ny Monolith dia manaraka ny toe-javatra Worker- arameter erver an'ny TensorFlow (Sary Amin'ny rafitra Worker-PS, ny milina dia omena andraikitra samihafa; ny milina Worker dia tompon'andraikitra amin'ny fanaovana kajy araka ny voafaritry ny graph, ary ny milina PS dia mitahiry mari-pamantarana ary manova azy ireo araka ny gradients noforonin'ny Workers. P S 2). Amin'ny modely tolo-kevitra, ny mari-pamantarana dia zaraina ho sokajy roa: matevina ary miely tsara. Ny mari-pamantarana matevina dia ny lanjan'ny/variables ao anaty tambajotra neural lalina, ary ny mari-pamantarana miely tsara dia manondro latabatra famenoana izay mifanaraka amin'ny endri-javatra miely tsara. Amin'ny famolavolanay, ny mari-pamantarana matevina sy miely tsara dia samy anisan'ny TensorFlow Graph, ary voatahiry ao amin'ny mpametrahana parametatra. Mitovy amin'ny Variable an'ny TensorFlow ho an'ny mari-pamantarana matevina, namorona andiana fandidiana HashTable mahomby, tsy misy fifandonana ary azo ovana ho an'ny mari-pamantarana miely tsara izahay. Ho famenon'ny fetran'ny Tensor-Flow vokatry ny fisarahana ny fanofanana sy ny famatsiana, ny fanofanana an-tserasera azo ampitomboina ny Monolith dia natao mba hampifandrimbarimbaroana tsara ny mari-pamantarana avy amin'ny fanofanana-PS mankany amin'ny fanaterana-PS ao anatin'ny elanelana fohy, miaraka amin'ny fahazoan-dàlana momba ny fahatomombanan'ny modely nomen'ny mekanisma fiarovana amin'ny tsy fahatomombanana. 2.1 LATABATRA HASHING Ny fitsipika voalohany amin'ny famolavolanay ny fanehoana parametatra miely tsara dia ny hisorohana ny fametahana vaovao avy amin'ny ID samihafa ho ao anaty famenoana misy habeny voafaritra. Ny simulation ny latabatra famenoana miovaova habeny miaraka amin'ny TensorFlow Variable tsy misy fitaovana dia miteraka fifandonana ID, izay mihazakazaka rehefa tonga ny ID vaovao ary mitombo ny latabatra. Noho izany, fa tsy ny fananganana eo ambonin'ny Variable, dia namolavola HashTable vaovao ho an'ny mari-pamantarana miely tsara izahay. Ny HashTable-nay dia mampiasa Cuckoo Hashmap ao ambaniny, izay manohana ny fampidirana fanalahidy vaovao tsy mifandona amin'ny efa misy. Ny Cuckoo Hashing dia mahazo complexity 𝑂(1) amin'ny fomba ratsy indrindra ho an'ny fikarohana sy fanesorana, ary 𝑂(1) amortized andrasana ho an'ny fampidirana. Araka ny aseho ao amin'ny Sary dia mitazona latabatra roa 𝑇0, 𝑇1 miaraka amin'ny fomba hashing samihafa ℎ0(𝑥), ℎ1(𝑥), ary ny singa iray dia hapetraka ao anatin'ny iray amin'ireo. Rehefa manandrana mampiditra singana 3 𝐴 ao amin'ny 𝑇0, dia manandrana mametraka 𝐴 ao amin'ny ℎ0(𝐴); Raha ℎ0(𝐴) dia voatondron'ny singana 𝐵 hafa, dia esoriny 𝐵 ao amin'ny 𝑇0 ary manandrana mampiditra 𝐵 ao amin'ny 𝑇1 miaraka amin'ny lojika mitovy. Ity dingana ity dia averina mandra-pahatongan'ny singana rehetra, na ny fanaovana rehash rehefa mahatratra tsingerina ny fampidirana. Ny fampihenana ny habaka fitahirizana dia fiheverana manan-danja ihany koa amin'ny famolavolanay. Ny fomba tsotra amin'ny fampidirana ID vaovao tsirairay ao amin'ny HashTable dia handany haingana ny fahatsiarovan-tena. Ny fiheverana ny modely famokarana tena izy dia niteraka fehin-kevitra roa: (1) Ny ID izay miseho indray mandeha na vitsy dia manana fandraisana anjara voafetra amin'ny fanatsarana ny kalitaon'ny modely. Ny fiheverana lehibe dia ny ID dia miely tsara lavitra, izay ny ID malaza dia mety miseho an-tapitrisany fa ny tsy malaza kosa dia miseho tsy mihoatra ny folo heny. Ny famenoana mifanaraka amin'ireo ID tsy fahita matetika ireo dia tsy ampy fiofanana noho ny tsy fahampian'ny angonona fanofanana ary tsy afaka manao tombana tsara ny modely mifototra amin'izy ireo. Amin'ny farany, ireo ID ireo dia mety tsy hisy fiantraikany amin'ny vokatra, ka tsy hijaly ny kalitaon'ny modely amin'ny fanalana ireo ID ireo manana fahita matetika; (2) Ny ID lany daty avy amin'ny tantara lavitra dia zara raha mandray anjara amin'ny modely ankehitriny satria maro amin'izy ireo no tsy voalohany. Mety ho vokatry ny mpampiasa tsy mavitrika intsony izany, na horonan-tsary fohy izay tsy vaovao intsony. Ny fitehirizana ny famenoana ho an'ireo ID ireo dia tsy afaka manampy ny modely na oviana na oviana fa hanondraka ny PS-nay foana. Miorina amin'ireo fiheverana ireo, namolavola heuristics maromaro ho an'ny fampiharana HashTable mahomby kokoa amin'ny fitahirizana izahay: (1) Ny ID dia soloina alohan'ny handraisana azy ireo ao anaty latabatra famenoana. Manana fomba sivana roa izahay: Voalohany, sivana izahay amin'ny fahitan'izy ireo alohan'ny hampidirana azy ireo ho fanalahidy, izay ny fetran'ny fahita matetika dia hyperparameter azo ovaina izay miova ho an'ny modely tsirairay; Ankoatra izany, mampiasa sivana azo itokisana izahay izay manampy hampihenana bebe kokoa ny fampiasana fahatsiarovan-tena; ![#Figure 4: Streaming Engine. Ny kodiarana fampahalalana avy amin'ny [User → Model Server → Training Worker → Model Server → User] dia handany fotoana lava rehefa mandray ny lalan'ny Batch Training, raha ny Online Training kosa dia hanao ny kodiarana haingana kokoa.](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-78b3ep4.jpeg) (2) Ny ID dia omena fotoana ary atao hoe mandeha daty aorian'ny tsy fiasana mandritra ny vanim-potoana voafaritra. Ny fotoana fandehan-daty dia azo ovaina ihany koa ho an'ny latabatra famenoana tsirairay mba hamelana ny fampitoviana ny endri-javatra miaraka amin'ny fahatsapan-tena amin'ny tantara. Ao amin'ny fampiharana, ny HashTable dia ampiharina ho toy ny fandidiana loharano TensorFlow. Mitovy amin'ny Variable, ny fikarohana sy ny fanovana dia ampiharina ho toy ny fandidiana TensorFlow voajanahary ho an'ny fampidirana mora kokoa sy ny fifanarahana tsara kokoa. 2.2 FANOFANANA AN-TSERASERA Ao amin'ny Monolith, ny fanofanana dia mizara ho dingana roa (Sary 1): (1) Dingana fanofanana batch. Ity dingana ity dia miasa toy ny mahazatra ny fihodinan'ny fanofanana TensorFlow: Amin'ny dingana fanofanana tsirairay, ny mpiasa fanofanana dia mamaky batch mini iray amin'ny santionan'ny fanofanana avy amin'ny tahiry, mangataka mari-pamantarana avy amin'ny PS, manao kajy fandroahana sy fiverenana, ary farany mametraka mari-pamantarana nohavaozina amin'ny fanofanana PS. Tsy mitovy kely amin'ny asa fianarana lalina hafa, ny angonon-tsika ihany no omenay fiofanana indray mandeha. Ny fanofanana batch dia mahasoa amin'ny fanofanana angonona tantara rehefa manova ny rafitra modely izahay ary manao fanofanana indray ny modely; (2) Dingana fanofanana an-tserasera. Aorian'ny fametrahana ny modely ho an'ny fanaterana an-tserasera, ny fanofanana dia tsy mijanona fa miditra amin'ny dingana fanofanana an-tserasera. Raha tokony hamaky ny santionan'ny fanofanana mini avy amin'ny tahiry, ny mpiasa fanofanana dia mampiasa angonona tena miasa eo no ho eo ary manova ny fanofanana PS. Ny fanofanana PS dia mampifandray tsindraindray ny mari-pamantarana azy amin'ny fanaterana PS, izay hisy fiantraikany amin'ny lafiny mpampiasa avy hatrany. Izany dia mamela ny modely hifandray mivantana amin'ny fiheverana ny valin'ny mpanjifa amin'ny tena izy. Ny Monolith dia namboarina miaraka amin'ny fahafahana mifindra tsy misy tomika eo amin'ny fanofanana batch sy ny fanofanana an-tserasera. Izany dia noho ny famolavolanay ny streaming engine araka ny aseho amin'ny Sary 2.2.1 Streaming Engine. 4. Amin'ny famolavolanay, mampiasa tsipika Kafka iray izahay mba handraketana ny asa ataon'ny mpampiasa (Ohatra: Tsindrio zavatra iray na tianao zavatra iray sns.) ary tsipika Kafka iray hafa ho an'ny endri-javatra. Ny fototry ny milina dia asa streaming Flink ho an'ny Online Feature Joiner. Ny mpampitambatra an-tserasera dia mampifandray ny endri-javatra amin'ny marika avy amin'ny asa ataon'ny mpampiasa ary mamokatra santionan'ny fanofanana, izay avy eo alefa any amin'ny tsipika Kafka. Ny tsipika ho an'ny santionan'ny fanofanana dia raisina avy amin'ny fanofanana an-tserasera sy fanofanana batch: Ho an'ny fanofanana an-tserasera, ny mpiasa fanofanana dia mamaky mivantana ny angonona avy amin'ny tsipika Kafka; Ho an'ny fanofanana batch, ny asa fanondrahana angonona dia handatsaka angonona voalohany any amin'ny HDFS; Aorian'ny fanangonana angonona ao amin'ny HDFS hatramin'ny fetra iray, ny mpiasa fanofanana dia haka angonona avy amin'ny HDFS ary hanao fanofanana batch. Ny mari-pamantarana nohavaozina ao amin'ny fanofanana PS dia hatsindry mankany amin'ny fanaterana PS araka ny fandaharam-potoana fanampifandrimbarimbaroana mari-pamantarana. Amin'ny fampiharana tena izy, ny log asa mpampiasa sy ny endri-javatra dia alefa any amin'ny online joiner (Sary raha tsy misy antoka amin'ny filaharana fotoana. Noho izany dia mampiasa fanalahidy tokana ho an'ny fangatahantsika tsirairay izahay mba hahafahan'ny asa mpampiasa sy ny endri-javatra mifandray tsara. 2.2.2 Online Joiner. 5) Ny fahatarana ny asa mpampiasa dia mety ho olana ihany koa. Ohatra, ny mpampiasa iray dia mety mandany andro vitsivitsy alohan'ny hanapahan-kevitra hividy zavatra iray izay naseho azy andro maromaro lasa izay. Ity dia fanamby ho an'ny mpampitambatra satria raha toa ka tavela ao anaty cache ny endri-javatra rehetra, dia tsy ho tafiditra ao anatin'ny fahatsiarovan-tena izany. Ao amin'ny rafitray, ny fampiasana tahiry fanalahidy-sanda eo an-tampon-tany dia ampiasaina mba hitahiry ny endri-javatra izay miandry mihoatra ny vanim-potoana iray. Rehefa tonga ny log asa mpampiasa, dia mijery ny cache ao anaty fahatsiarovan-tena aloha izy, ary avy eo mijery ny tahiry fanalahidy-sanda raha sendra misy tsy hita. Ny olana iray hafa mipoitra amin'ny fampiharana tena izy dia ny fizarana ny santionan'ny tsara sy ratsy dia tsy mitovy amin'ny lehibe, izay ny isa voalohany dia mety ho imbetsaka noho ny faharoa. Mba hisorohana ny santionan'ny tsara tsy ho voalanjalanja amin'ny ratsy, ny paikady mahazatra dia ny fanaovana santionany ratsy. Izany dia hanova ny fizarana fototra ao ambanin'ny modely nohazavaina, hivadika mankany amin'ny mety hisian'ny faminavinana tsara kokoa. Ho fanarenana, mampihatra fanitsiana log odds izahay mandritra ny fanaterana, ka miantoka fa ny modely an-tserasera dia estimator tsy miangatra amin'ny fizarana voalohany. Mandritra ny fanofanana an-tserasera, ny Monolith training cluster dia mahazo angonona tsy tapaka avy amin'ny module fanaterana an-tserasera ary manova ny mari-pamantarana eo amin'ny fanofanana PS. Ny dingana manan-danja mba ahafahan'ny fanaterana an-tserasera PS mahazo tombony amin'ireo mari-pamantarana nohazavaina vaovao ireo dia ny fanampifandrimbarimbaroana ny mari-pamantarana nohavaozina. Amin'ny tontolo famokarana, miatrika fanamby maromaro izahay: 2.2.3 Parameter Synchronization. Ny modely eo amin'ny fanaterana an-tserasera PS dia tsy tokony hijanona tsy hanaterana rehefa manova. Ny modely misy amin'ny famokarana dia matetika manodidina ny terabytes maromaro ny habeny, ary vokatr'izany ny fanoloana ny mari-pamantarana rehetra dia mandany fotoana. Tsy azo atao ny mijanona ny fanaterana an-tserasera PS tsy hanaterana ny modely mandritra ny dingana fanoloana, ary ny fanavaozana dia tsy maintsy atao eo no ho eo; Ny famindrana modely manontolo hatrany amin'ny terabytes maromaro avy amin'ny fanofanana PS mankany amin'ny fanaterana an-tserasera PS dia hampihatra tsindry lehibe amin'ny bandwidth tambajotra sy ny fahatsiarovan-tena eo amin'ny PS, satria mitaky haben'ny modely indroa ny fahatsiarovan-tena mba handraisana ny modely vaovao. Mba hampitomboana ny fanofanana an-tserasera amin'ny haben'ny toe-javatra ara-barotray, dia namolavola mekanisma fanampifandrimbarimbaroana mari-pamantarana tsy misy fetra isaky ny fotoana izahay ao amin'ny Monolith mifototra amin'ny toetra maromaro miavaka amin'ny modely: (1) Ny mari-pamantarana miely tsara dia manindry ny haben'ny modely tolo-kevitra; (2) Raha omena elanelana fotoana fohy, ny ampahany kely amin'ny ID ihany no voatafika ary nohavaozina ny famenoana azy ireo; (3) Ny variables matevina dia mihetsika miadana kokoa noho ny famenoana miely tsara. Izany dia satria amin'ny optimizers mifototra amin'ny fihetsehana, ny fanangonana fihetsehana ho an'ny variables matevina dia mihamaro amin'ny haben'ny angonona fanofanana tolo-kevitra, raha ny famenoana miely tsara vitsy ihany no mahazo fanavaozana amin'ny batch data iray. (1) sy (2) dia mamela antsika hanararaotra ny fanavaozana miely tsara amin'ny ID rehetra. Ao amin'ny Monolith, mitazona sety hashing amin'ny fanalahidy voakasika izahay, maneho ny ID izay nahazo fanofanana ny famenoana azy ireo hatramin'ny fanampifandrimbarimbaroana mari-pamantarana farany. Alefanay ny ampahany amin'ny mari-pamantarana miely tsara izay manana fanalahidy ao anaty sety fanalahidy voakasika miaraka amin'ny elanelana fotoana minitra vitsy avy amin'ny fanofanana PS mankany amin'ny fanaterana PS. Ity fonosana fanavaozana mari-pamantarana mitohy ity dia maivana ho an'ny fifindran'ny tambajotra ary tsy hiteraka fiakarana tampoka ny fahatsiarovan-tena mandritra ny fanampifandrimbarimbaroana. Manararaotra (3) ihany koa izahay mba hampihenana bebe kokoa ny fampiasana tambajotra sy fahatsiarovan-tena amin'ny alalan'ny fametrahana fandaharam-potoana sync be mpampiasa kokoa ho an'ny mari-pamantarana miely tsara, raha manao fanavaozana ny mari-pamantarana matevina kokoa. Izany dia mety hiteraka toe-javatra iray izay ny mari-pamantarana matevina izay ateranay dia dika taloha kokoa raha oharina amin'ny ampahany miely tsara. Na izany aza, ny tsy fitoviana