ባይትዳንስ ሞኖሊት ውስጥ፡ ብልህ፣ ፈጣን የይዘት ምግቦችን የሚያንቀሳቅስ ሞተር

ደራሲያን፡ ዙሆንግ ሊኡ፣ ባይቴዳንስ ኢንክ። ለቂ ዞው፣ ባይቴዳንስ ኢንክ። ዡዋን ዞው፣ ባይቴዳንስ ኢንክ። ካይሁዋ ዋንግ፣ ባይቴዳንስ ኢንክ። ቢያኦ ዣንግ፣ ባይቴዳንስ ኢንክ። ዳ ታንግ፣ ባይቴዳንስ ኢንክ። ቦሊን ዡ∗፣ ፉዳን ዩኒቨርሲቲ ዪጂ ዡ፣ ባይቴዳንስ ኢንክ። ፔንግ ዉ፣ ባይቴዳንስ ኢንክ። ኬ ዋንግ፣ ባይቴዳንስ ኢንክ። ዮውሎንግ ቼንግ†፣ ባይቴዳንስ ኢንክ። (youlong.cheng@bytedance.com) አስተሳስብ ለብዙ የንግድ ድርጅቶች እንደ አጭር ቪዲዮ ደረጃ መስጠት ወይም የመስመር ላይ ማስታወቂያዎች ወሳኝ የሆነ ሚዛን እና በእውነተኛ ጊዜ የሚሰራ የውሳኔ ስርዓትን መገንባት አስፈላጊ ነው። እንደ ቴንሰርፍሎው ወይም ፒይቶርች ያሉ የጥልቅ ትምህርት ፍሬምወርኮች በስፋት ጥቅም ላይ ቢውሉም፣ እነዚህ አጠቃላይ ዓላማ ያላቸው ፍሬምወርኮች ለተለያዩ ምክንያቶች በውሳኔ ሁኔታዎች ውስጥ የንግድ ፍላጎቶችን አያሟሉም፡ በአንድ በኩል፣ በለዋዋጭ እና ባልተሟሉ ባህሪያት ከማሻሻል ጋር በተያያዘ በስታቲክ መለኪያዎች እና በተሟሉ ስሌቶች ላይ ስርዓቶችን ማስተካከል የሞዴሉን ጥራት ያሳጣዋል፤ በሌላ በኩል፣ እንደዚህ ያሉ ፍሬምወርኮች በባች-ማሰልጠኛ እና በማገልገል ደረጃዎች ሙሉ በሙሉ ተለያይተው የተነደፉ ሲሆን ይህም ሞዴሉ ከደንበኛ ግብረመልስ ጋር በእውነተኛ ጊዜ እንዳይገናኝ ይከላከላል። እነዚህ ጉዳዮች ባህላዊ አቀራረቦችን እንደገና እንድንመረምር እና ሙሉ ለሙሉ የተለያዩ የንድፍ ምርጫዎችን እንድንፈልግ አድርገውናል። በዚህ ወረቀት ላይ፣ ለመስመር ላይ ስልጠና የተሰራውን 1 ስርዓት እናቀርባለን። የእኛ ንድፍ በሌሎች የውሳኔ ስርዓቶች ላይ ከፍተኛ ልዩነትን የሚያንፀባርቅን የመተግበሪያ የሥራ ጫናዎቻችንን እና የምርት አካባቢያችንን ምልከታዎች የመነጨ ነው። የእኛ አስተዋፅኦዎች ብዙ ናቸው፡ በመጀመሪያ፣ የሞተውን የማህደረ ትውስታ ቦታ ለመቀነስ እንደሚያልፉ መተቶች እና የፍሪኩዌንሲ ማጣሪያዎች ያሉ ማሻሻያዎችን ያካተተ ግጭት የሌለበት የማስታዎሻ ሰሌዳን ፈጥረናል። ሁለተኛ፣ ከፍተኛ የውድቀት መቻቻል ያለው ለምርት ዝግጁ የሆነ የመስመር ላይ የሥልጠና አርክቴክቸር እናቀርባለን። በመጨረሻም፣ የስርዓቱ አስተማማኝነት ለእውነተኛ ጊዜ መማር መገበያየት እንደሚቻል አረጋግጠናል። ሞኖሊት በባይቴፕላስ ሪኮመንድ2 ምርት ውስጥ በተሳካ ሁኔታ ተገብቷል። ሞኖሊት 1 መግቢያ ባለፈው አስርት አመት በውሳኔ ቴክኒኮች የሚነዱ የንግድ ድርጅቶች ከፍተኛ እድገት ታይቷል። ለተሻለ የደንበኛ ተሞክሮ በማሳደድ፣ ለእያንዳንዱ ግለሰብ ተጠቃሚ ግላዊ ይዘት በእውነተኛ ጊዜ ምላሽ መስጠት የእነዚህ የንግድ አፕሊኬኬሽኖች የጋራ ግብ ነው። ይህንን ለማሳካት፣ የሞዴልን የሥዕል መግለጫ በብቃት ለመግለጽ እና የተጠቃሚውን ፍላጎት እና የወደፊት ባህሪያትን ለመተንበይ የቅርብ ጊዜ የተጠቃሚ መስተጋብር መረጃ ብዙውን ጊዜ ለስልጠና የመጀመሪያ ግብአት ሆኖ ያገለግላል። ጥልቅ ትምህርት በውሳኔ ሞዴሎች [ , , , , , ] ውስጥ የበላይነትን የያዘ ሲሆን ይህም ከፍተኛ መጠን ያለው የተጠቃሚ መረጃ ለጅምላ ዳታ-ተነሳሽ የነርቭ ሞዴሎች ተፈጥሯዊ ተስማሚ ነው። ሆኖም፣ በኢንዱስትሪ ደረጃ የውሳኔ ስርዓቶች ውስጥ የጥልቅ ትምህርት ኃይልን ለመጠቀም የሚደረጉ ጥረቶች ከእውነተኛው ዓለም የተጠቃሚ ባህሪ ከሚገኘው መረጃ ልዩ ባህሪያት ከሚነሱ ችግሮች ጋር የማያቋረጥ ይጋፈጣሉ። እነዚህ መረጃዎች ከቋንቋ ሞዴሊንግ ወይም የኮምፒተር እይታ ባሉ ባህላዊ የጥልቅ ትምህርት ችግሮች ውስጥ ከሚገኙት በእነዚህ ሁለት ገጽታዎች ይለያያሉ: 5 6 10 12 20 21 (1) ባህሪያቱ በአብዛኛው ያልተሟሉ፣ ምድቦች የሆኑ እና ተለዋዋጭ በሆነ መልኩ የሚቀየሩ ናቸው። (2) የስልጠና ዳታዎች መሰረታዊ ስርጭት የማይንቀሳቀስ ነው፣ አ.ከ. Concept Drift . እንዲህ ያሉ ልዩነቶች በውሳኔ ስርዓቶች ላይ ለሚሰሩ ተመራማሪዎች እና መሐንዲሶች ልዩ ተግዳሮቶችን አስከትለዋል። 1.1 ባልተሟላ እና ተለዋዋጭነት ለውሳኔ የሚሆን ዳታ በአብዛኛው ያልተሟሉ ምድብ ባህሪያትን የያዘ ሲሆን አንዳንዶቹም በዝቅተኛ ድግግሞሽ ይታያሉ። ወደ ከፍተኛ-ልኬት የማስታዎሻ ቦታ የማስተላለፍ የተለመደው ልምምድ ተከታታይ ችግሮችን ያስከትላል: • በቋንቋ ሞዴሎች ውስጥ የቃላት ብዛት ውስን ቢሆንም፣ የተጠቃሚዎች እና ደረጃ ዕቃዎች ብዛት በከፍተኛ ደረጃ ይበልጣል። እንዲህ ያለው ግዙፍ የማስታዎሻ ሰሌዳ በነጠላ አስተናጋጅ ማህደረ ትውስታ ውስጥ ለመገጣጠም አስቸጋሪ ይሆናል; • ከዚህ የባሰ፣ ተጨማሪ ተጠቃሚዎች እና እቃዎች ሲገቡ የማስታዎሻ ሰሌዳው መጠን በጊዜ ሂደት እንደሚያድግ ይጠበቃል፣ በሌላ በኩል ደግሞ [ , ] ያሉ ፍሬምወርኮች የማስታዎሻ ሰሌዳውን ለመወከል የተስተካከለ መጠን ያላቸው ጥቅጥቅ ያሉ ተለዋዋጮችን ይጠቀማሉ። 1 17 በእርግጥ ብዙ ስርዓቶች የማህደረ ትውስታን ቦታ ለመቀነስ እና የఐడిዎች እድገትን ለመፍቀድ ዝቅተኛ ግጭት ያላቸውን ሃሽ [ , ] ይጠቀማሉ። ይህ የሚመካው የማስታዎሻ ሰሌዳ ውስጥ ያሉ ஐዲዎች በድግግሞሽ በእኩል መጠን እንደሚሰራጩ እና ግጭቶች በሞዴሉ ጥራት ላይ ምንም ጉዳት እንደሌላቸው በሚያደርግ ከመጠን በላይ ተስማሚ በሆነ ግምት ላይ ነው። ሆኖም ይህ ለትክክለኛ የውሳኔ ስርዓት ብርቅ ነው፣ እዚያም ትንሽ ቡድን ተጠቃሚዎች ወይም እቃዎች በእጅጉ የሚበዙበት። የማስታዎሻ ሰሌዳው መጠን ተፈጥሯዊ እድገት ጋር፣ የሃሽ ቁልፍ ግጭት እድሎች ይጨምራሉ እናም የሞዴል ጥራት እንዲቀንስ ያደርጋሉ 3 6 . ስለዚህ ለኢንዱስትሪ-ደረጃ የውሳኔ ስርዓቶች እንደ ፓራሜትሮች ብዙ ባህሪያትን የመያዝ አቅም፣ እንዲሁም መመዝገብ የሚፈልጉትን የተጠቃሚዎች እና የእቃዎች ብዛት በየጊዜው የመቀየር ችሎታ ተፈጥሯዊ ፍላጎት ነው። 1.2 የማይንቀሳቀስ ስርጭት የእይታ እና የቋንቋ ቅጦች በሴንቸሪዎች ሚዛን ላይ hardly ያድጋሉ፣ አንድ ርዕስ ፍላጎት ያለው ተጠቃሚ በሚቀጥለው ደቂቃ ፍላጎቱን ሊቀይር ይችላል። በዚህም ምክንያት፣ የተጠቃሚ ዳታዎች መሰረታዊ ስርጭት የማይንቀሳቀስ ነው፣ ይህ ክስተት በብዛት Concept Drift . በአስተሳሰብ፣ ከቅርብ ጊዜ ታሪክ የተገኘው መረጃ የተጠቃሚውን ባህሪ ለውጥ ለመተንበይ በብቃት ሊረዳ ይችላል። የ Concept Drift ተጽእኖን ለመቀነስ፣ የማገልገል ሞዴሎች የተጠቃሚውን የቅርብ ጊዜ ፍላጎት ለማንፀባረቅ በተቻለ መጠን በእውነተኛ ጊዜ ከአዲስ የተጠቃሚ ግብረመልስ መዘመን አለባቸው። በእነዚህ ልዩነቶች ብርሃን እና በምርትችን ላይ በሚነሱ ችግሮች ምልከታ፣ እነዚህን ችግሮች ለመፍታት ትልቅ-ደረጃ የውሳኔ ስርዓት የሆነውን ንድፍ አውጥተናል። በምርት አካባቢ ውስጥ ንድፍን ለማረጋገጥ እና ለማሻሻል ሰፊ ሙከራዎችን አድርገናል። ሞኖሊት ይችላል ሞኖሊት (1) ግጭት የሌለበት የሃሽ ሰሌዳ እና ተለዋዋጭ የባህሪ ማስወገጃ ዘዴ በመንደፍ ለባለ ባሕሪያት ሙሉ ገላጭ ኃይል መስጠት፤ (2) ከስልጠና ግብረመልስን ወደ ማገልገል በእውነተኛ ጊዜ በመስመር ላይ ስልጠና መመለስ። በእነዚህ የአርክቴክቸር አቅሞች የተደገፈ፣ ሞኖሊት ከግጭቶች ጋር ሃሽ-ትሪክን የሚጠቀሙ ስርዓቶችን በግምት ተመሳሳይ የማህደረ ትውስታ አጠቃቀም ጋር በተከታታይ ይበልጣል፣ እና አገልጋዮቻችንን በኮምፒዩተር ኃይል ላይ ከመጠን በላይ ሳይጭኑ የዘመናዊ የመስመር ላይ አገልጋይ AUCን ያሳካል። የቀረው ወረቀት እንደሚከተለው ተደራጅቷል። በመጀመሪያ በክፍል 2 ላይ ሞኖሊት በግጭት የሌለበት ሃሽ ሰሌዳ እና በእውነተኛ ጊዜ ስልጠና ነባር ተግዳሮቶችን እንዴት እንደሚፈታ ዝርዝር የንድፍ ዝርዝሮችን እናብራራለን። ሙከራዎች እና ውጤቶች በክፍል 3 ላይ ከምርት-የተፈተኑ መደምደሚያዎች እና በጊዜ-ስሜታዊነት፣ አስተማማኝነት እና የሞዴል ጥራት መካከል ያሉ የንግድ ልውውጦች አንዳንድ ውይይቶች ጋር ይታያሉ። ክፍል 4 ተዛማጅ ስራዎችን ያጠቃልላል እና ከሞኖሊት ጋር ያነጻጽራል። ክፍል 5 ይህንን ስራ ያጠቃልላል። 2 ንድፍ የሞኖሊት አጠቃላይ አርክቴክቸር በአጠቃላይ የTensorFlow's distributed Worker- arameter erver ቅንብርን (ስዕል ይከተላል። በWorker-PS አርክቴክቸር ውስጥ ማሽኖች የተለያዩ ሚናዎች ይመደባሉ፤ ሰራተኛ ማሽኖች በግራፉ የተገለጹትን ስሌቶች ለማከናወን ኃላፊነት አለባቸው፣ እና PS ማሽኖች ፓራሜትሮችን ያከማቻሉ እና በሰራተኞች ከሚሰሉት ደረጃዎች ጋር በማዘመን። P S 2) በውሳኔ ሞዴሎች ውስጥ፣ ፓራሜትሮች በሁለት ስብስቦች ይከፈላሉ፡ ጥቅጥቅ ያሉ እና ያልተሟሉ ። ጥቅጥቅ ያሉ ፓራሜትሮች የነርቭ ኔትወርክ ውስጥ ያሉ ክብደቶች/ተለዋዋጮች ሲሆኑ፣ ያልተሟሉ ፓራሜትሮች ከባለ ባሕሪያት ጋር የሚዛመዱ የማስታዎሻ ሰሌዳዎችን ያመለክታሉ። በእኛ ንድፍ፣ ሁለቱም ጥቅጥቅ ያሉ እና ያልተሟሉ ፓራሜትሮች የTensorFlow ግራፍ አካል ናቸው፣ እና በፓራሜትር አገልጋዮች ላይ ይከማቻሉ። ከጥቅጥቅ ያሉ ፓራሜትሮች ለTensorFlow's Variable ጋር ተመሳሳይ፣ ለባለ ፓራሜትሮች ከፍተኛ-ውጤታማ፣ ግጭት የሌለባቸው እና ተለዋዋጭ የHashTable ክዋኔዎች ስብስብ ፈጠርን። ከTensor-Flow's ውስንነት በተጨማሪ ከስልጠና እና ከመገንዘብ መለያየት የሚመጣ፣ የሞኖሊት ተለዋዋጭ ሚዛን ያለው የመስመር ላይ ስልጠና የውድቀት መቻቻል ዘዴን በመጠቀም የሞዴል መረጋጋትን በማረጋገጥ ከስልጠና-PS ወደ መስመር ላይ ማገልገል-PS አጭር ክፍተቶች ውስጥ ፓራሜትሮችን በብቃት ለማመሳሰል ተዘጋጅቷል። 2.1 ሃሽ ሰሌዳ የባለ ፓራሜትር ውክልና ንድፍ የመጀመሪያ መርህ፣ ከሌሎች ஐዲዎች የተገኘውን መረጃ በተመሳሳይ የተስተካከለ መጠን ባለው ማስታዎሻ ውስጥ ከመጨናነቅ መቆጠብ ነው። ከሳጥኑ ውጪ የሆነ የTensorFlow Variable በመጠቀም ተለዋዋጭ መጠን ያለው የማስታዎሻ ሰሌዳን መምሰል የማይቀር የஐዲ ግጭትን ያስከትላል፣ ይህም አዲስ ஐዲዎች ሲመጡ እና ሰሌዳው ሲያድግ ያባብሳል። ስለዚህ ከVariable በላይ ከመገንባት ይልቅ፣ ለባለ ፓራሜትሮቻችን አዲስ የቁልፍ-እሴት HashTable ፈጠርን። የኛ HashTable ከኋላው Cuckoo Hashmap [ ] ይጠቀማል፣ ይህም አዲስ ቁልፎችን ከነባር ጋር ሳይጋጩ እንዲያስገባ ይደግፋል። Cuckoo Hashing ፍለጋዎች እና መሰረዞች ላይ የworst-case 𝑂 (1) ጊዜ ውስብስብነት እና የቁልፍ ማስገባቶች ላይ በexpected amortized 𝑂 (1) ጊዜ ያሳካል። በስዕል ላይ እንደሚታየው፣ ሁለት ሰሌዳዎችን 𝑇0, 𝑇1 በተለያየ የሃሽ ተግባራት ℎ0 (𝑥), ℎ1 (𝑥) ያቆያል፣ እና አንድ አካል ከእነዚህ ውስጥ በአንዱ ውስጥ ይከማቻል። አንድ አካል 16 3 𝐴 ወደ 𝑇0 ለማስገባት ሲሞክር፣ መጀመሪያ 𝐴ን በℎ0 (𝐴) ለማስቀመጥ ይሞክራል። ℎ0 (𝐴) በሌላ አካል 𝐵 ከተያዘ፣ 𝐵ን ከ𝑇0 ያባርራል እና 𝐵ን ወደ 𝑇1 በተመሳሳይ አመክንዮ ለማስገባት ይሞክራል። ይህ ሂደት ሁሉም አካላት እስኪረጋጉ ድረስ፣ ወይም የማስገባቱ ዑደት ውስጥ ሲገባ እንደገና ሃሽ እስኪሆን ድረስ ይደጋገማል። የማህደረ ትውስታ ቦታ መቀነስ እንዲሁ በንድፋችን ውስጥ አስፈላጊ ግምት ነው። እያንዳንዱን አዲስ ஐዲ ወደ HashTable የማስገባት ቀለል ያለ አቀራረብ ማህደረ ትውስታን በፍጥነት ያሟጠጣል። የትክክለኛ ምርት ሞዴሎች ምልከታዎች ሁለት መደምደሚያዎችን ያስከትላሉ: (1) ጥቂት ጊዜ ብቻ የሚታዩ ஐዲዎች የሞዴልን ጥራት ከማሻሻል አንፃር አነስተኛ አስተዋፅኦ አላቸው። አንድ አስፈላጊ ምልከታ ஐዲዎች የረጅም ጅራት ስርጭት ያላቸው መሆኑ ነው፣ ታዋቂ ஐዲዎች በሚሊዮን የሚቆጠሩ ጊዜዎች ሊታዩ ይችላሉ while the unpopular ones appear no more than ten times. እነዚህን አልፎ አልፎ የሚታዩ ஐዲዎችን የሚመለከቱ ማስታዎሻዎች በቂ የሥልጠና ዳታ እጥረት ምክንያት ዝቅተኛ ተገብሮአዊ ናቸው እናም ሞዴሉ በእነሱ ላይ የተመሠረተ ጥሩ ግምት ማድረግ አይችልም። በመጨረሻም እነዚህ ஐዲዎች ውጤቱን ላይነኩ ይችላሉ፣ ስለዚህ የሞዴል ጥራት በእነዚህ ዝቅተኛ ድግግሞሾች ያላቸውን ஐዲዎች በማስወገድ አይጎዳም። (2) ከሩቅ ታሪክ የመጡ ጊዜ ያለፈባቸው ஐዲዎች ከአሁን በኋላ ተጠቃሚዎች ንቁ በማይሆኑበት ምክንያት ወይም አጭር ቪዲዮ ጊዜ ያለፈበት በመሆኑ hardly ከማዕከላዊ ሞዴሉ ጋር ይተባበራሉ። እንደዚህ ያሉ ஐዲዎችን ማስታዎሻዎችን ማከማቸት ሞዴሉን ምንም አይረዳም ነገር ግን PS ማህደረ ትውስታን በከንቱ ያሟጥጣል። በእነዚህ ምልከታዎች ላይ በመመስረት፣ የHashTable የበለጠ የማህደረ ትውስታ-ብቃት ያለው ትግበራ ለማግኘት በርካታ የባህሪ ஐዲ ማጣሪያ ሂዩሪስቲክስ ንድፍ አውጥተናል: (1) ஐዲዎች ወደ ማስታዎሻ ሰሌዳዎች ከመግባታቸው በፊት ይጣራሉ። ሁለት የማጣሪያ ዘዴዎች አሉን፡ በመጀመሪያ ከመግቢያቸው በፊት በድግግሞቻቸው እንጣራለን፣ የድግግሞሽ ገደብ ለእያንዳንዱ ሞዴል ለሚለያይ ሊስተካከል የሚችል ከፍተኛ-ፓራሜትር ነው፤ በተጨማሪም የማህደረ ትውስታ አጠቃቀምን የበለጠ ለመቀነስ የሚረዳን ፕሮባቢሊስቲክ ማጣሪያ እንጠቀማለን፤ ![#Figure 4: Streaming Engine. የመረጃው ግብረ መልስ ዑደት ከ[ተጠቃሚ → ሞዴል አገልጋይ → የሥልጠና ሰራተኛ → ሞዴል አገልጋይ → ተጠቃሚ] ባች ማሰልጠኛውን በሚወስድበት ጊዜ ረጅም ጊዜ ይወስዳል ፣ የመስመር ላይ ማሰልጠኛው ዑደቱን በፍጥነት ይዘጋል።](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-78b3ep4.jpeg) (2) ஐዲዎች ጊዜ ተሰጥቷቸው ከቀደመው ጊዜ በኋላ ከማይሰራ ከሆኑ እንዲያልፉ ይደረጋል። የማለፊያው ጊዜ ለእያንዳንዱ የማስታዎሻ ሰሌዳ ሊስተካከል የሚችል ነው ይህም ከታሪካዊ መረጃ ጋር የተለያዩ ስሜታዊነት ያላቸውን ባህሪያት ለመለየት ያስችላል። በእኛ ትግበራ፣ HashTable እንደ TensorFlow resource operation ተተግብሯል። Variableን ከሚመስለው ጋር፣ መፈለጊያዎች እና ዝማኔዎች ለማስገባት ቀላል እና የተሻለ ተኳሃኝነት ለማግኘት እንደnative TensorFlow operations ተተግብረዋል። 2.2 የመስመር ላይ ስልጠና በሞኖሊት፣ ስልጠና በሁለት ደረጃዎች ይከፈላል (ስዕል 1): (1) የባች ስልጠና ደረጃ። ይህ ደረጃ እንደ ተራ TensorFlow የስልጠና loop ይሰራል፡ በእያንዳንዱ የስልጠና እርምጃ፣ አንድ የስልጠና ሰራተኛ ከአንድ ማነስ-ባች የሥልጠና ምሳሌዎችን ከአከማች ያነብባል፣ ፓራሜትሮችን ከPS ይጠይቃል፣ የፊት እና የኋላ ማለፊያ ይፈጽማል፣ እና በመጨረሻም የዘመኑ ፓራሜትሮችን ወደ የሥልጠና PS ይልካል። ከሌሎች የተለመዱ የጥልቅ ትምህርት ስራዎች ትንሽ ልዩነት፣ የኛን ዳታሴት ለአንድ ማለፊያ ብቻ እናሠለጥናለን። የባች ስልጠና የሞዴልን አርክቴክቸር ስንቀይር እና ሞዴሉን እንደገና ስንሰልጥ ለታሪካዊ ዳታ ማሰልጠን ጠቃሚ ነው። (2) የመስመር ላይ ስልጠና ደረጃ። ሞዴል ወደ መስመር ላይ አገልግሎት ከተሰማራ በኋላ፣ ስልጠና አይቆምም ነገር ግን የመስመር ላይ ስልጠና ደረጃ ይገባል። የማነስ-ባች ምሳሌዎችን ከአከማች ከማንበብ ይልቅ፣ አንድ የስልጠና ሰራተኛ እውነተኛ ጊዜ ዳታዎችን ይበላል እና የሥልጠና PSን ያዘምናል። የሥልጠና PS በየጊዜው ፓራሜትሮቹን ወደ ማገልገል PS ያመሳስላል፣ ይህም በተጠቃሚው በኩል ወዲያውኑ ውጤት ያስከትላል። ይህ ሞዴላችንን ከተጠቃሚው ግብረመልስ ጋር በእውነተኛ ጊዜ በይነተገናኝ እንዲላመድ ያስችላል። ሞኖሊት ከባች ስልጠና እና ከመስመር ላይ ስልጠና መካከል እንከን የለሽ የመቀያየር ችሎታ ጋር ተገንብቷል። ይህ በስዕል ላይ እንደሚታየው በእኛ የstreaming engine ንድፍ ተችሏል። 2.2.1 Streaming Engine. 4 በንድፋችን ውስጥ፣ የተጠቃሚዎችን ድርጊቶች (ለምሳሌ፡ እቃ ላይ ጠቅ ማድረግ ወይም እቃ መውደድ ወዘተ) ለመመዝገብ አንድ የካፍካ [ ] ወረፋ እና ለባህሪያት ሌላ የካፍካ ወረቀት እንጠቀማለን። የሞተሩ ዋና ክፍል የመስመር ላይ ባህሪዎችን የሚያገናኝ Flink [ ] stream job ነው። የመስመር ላይ አገናኝ፣ ባህሪያትን ከተጠቃሚ ድርጊቶች ጋር በማያያዝ የሥልጠና ምሳሌዎችን የሚያመነጭ ሲሆን እነዚህም ወደ የካፍካ ወረቀት ይጻፋሉ። ለሥልጠና ምሳሌዎች የሆነው ወረቀት በመስመር ላይ ስልጠና እና በባች ስልጠና ሁለቱም ይነበባል: 13 4 ለመስመር ላይ ስልጠና፣ የስልጠና ሰራተኛው ዳታውን በቀጥታ ከካፍካ ወረቀት ያነባል። ለባች ስልጠና፣ የዳታ ዳምፕንግ ስራ መጀመሪያ ዳታውን ወደ HDFS [ ] ይጥላል፤ በHDFS ያለው ዳታ የተወሰነ መጠን ከደረሰ በኋላ፣ የስልጠና ሰራተኛው ዳታውን ከHDFS ያገኛል እና የባች ስልጠና ያካሂዳል። 18 በሥልጠና PS የተዘመኑ ፓራሜትሮች በፓራሜትር ማመሳሰል መርሃ ግብር መሰረት ወደ ማገልገል PS ይላካሉ። በእውነተኛው ዓለም አፕሊኬኬሽኖች ውስጥ፣ የተጠቃሚ ድርጊት ምዝገባ እና ባህሪያት በጊዜ ቅደም ተከተል ያለ ምንም ማረጋገጫ ወደ መስመር ላይ አገናኝ (ስዕል ይፈሳሉ። ስለዚህ፣ የተጠቃሚ ድርጊት እና ባህሪያት በትክክል እንዲጣመሩ ለእያንዳንዱ ጥያቄ ልዩ ቁልፍ እንጠቀማለን። 2.2.2 Online Joiner. 5) የተጠቃሚ ድርጊት መዘግየት እንዲሁ ችግር ሊሆን ይችላል። ለምሳሌ፣ ተጠቃሚ ከቀናት በፊት ከቀረበለት እቃ ለመግዛት ከመወሰኑ በፊት ጥቂት ቀናት ሊወስድ ይችላል። ይህ ለአገናኙ ፈታኝ ነው ምክንያቱም ሁሉም ባህሪያት በካሼ ውስጥ ከተቀመጡ፣ በጭራሽ በማህደረ ትውስታ ውስጥ አይገጥምም። በእኛ ስርዓት፣ ከቀደመው ጊዜ በላይ ለሚጠብቁ ባህሪያት ለማከማቸት በዲስክ ላይ ያለ የቁልፍ-እሴት ማከማቻ ጥቅም ላይ ይውላል። የተጠቃሚ ድርጊት ምዝገባ ሲመጣ፣ መጀመሪያ የማህደረ ትውስታ ካሼውን ይፈልጋል፣ ከዚያም ካሼ በማይኖርበት ጊዜ የቁልፍ-እሴት ማከማቻውን ይፈልጋል። በእውነተኛው ዓለም አፕሊኬኬሽኖች ውስጥ የሚነሳ ሌላ ችግር አሉታዊ እና አዎንታዊ ምሳሌዎች ስርጭት እጅግ ያልተመጣጠነ መሆኑ ነው፣ የእነዚያ ቁጥር ከኋለኛው እጥፍ ሊሆን ይችላል። አዎንታዊ ምሳሌዎች በአሉታዊ ምሳሌዎች እንዳይሸነፉ ለመከላከል፣ የተለመደው ስልት አሉታዊ ናሙና ማድረግ ነው። ይህ በእርግጥም የሰለጠነው ሞዴል መሰረታዊ ስርጭት ይለውጣል፣ ለአዎንታዊ መተንበይ ከፍተኛ የመሆን እድልን ይጨምራል። እንደ መድሀኒት፣ ከመጀመሪያው ስርጭት ያለማድል ግምት መሆኑን በማረጋገጥ፣ በማገልገል ጊዜ log odds correction [ ] እንጠቀማለን። 19 በመስመር ላይ ስልጠና ወቅት፣ የሞኖሊት የስልጠና ክላስተር ከመስመር ላይ ማገልገል ሞዱል ዳታ መቀበልን ይቀጥላል እና በሥልጠና PS ላይ ያሉትን ፓራሜትሮች ያዘምናል። አዲሶቹን የሰለጠኑ ፓራሜትሮች ከመስመር ላይ ማገልገል PS ጥቅም እንዲያገኝ የሚያስችል ወሳኝ እርምጃ የተዘመኑትን የሞዴል ፓራሜትሮች ማመሳሰል ነው። በምርት አካባቢ ውስጥ፣ በበርካታ ተግዳሮቶች እንጋፈጣለን: 2.2.3 Parameter Synchronization. በመስመር ላይ ማገልገል PS ላይ ያሉ ሞዴሎች በሚዘመኑበት ጊዜ ማገልገል ማቆም የለባቸውም። በምርት ውስጥ ያሉት ሞዴሎቻችን ብዙውን ጊዜ በርካታ ቴራባይት መጠን ያላቸው ሲሆን፣ በዚህም ምክንያት ሁሉንም ፓራሜትሮች መተካት ጊዜ ይወስዳል። በመተካት ሂደት ውስጥ የመስመር ላይ PS እንዳይሰራ ማገልገልን ማቆም የማይቻል ነው፣ እና ዝማኔዎች በየጊዜው መደረግ አለባቸው። የበርካታ ቴራባይት ሞዴልን ሙሉ በሙሉ ከሥልጠና PS ወደ መስመር ላይ ማገልገል PS ማስተላለፍ ለአውታረ መረብ ባንድዊድዝ እና ለPS ማህደረ ትውስታ ከፍተኛ ጫና ይፈጥራል፣ ምክንያቱም አዲሱን ሞዴል ለመቀበል በእጥፍ የሞዴል መጠን ማህደረ ትውስታ ይጠይቃል። ለመስመር ላይ ስልጠና ከኛ የንግድ ሁኔታ ጋር እንዲመጣጠን፣ በእኛ ሞዴሎች ላይ ባሉ በርካታ የሚታዩ ባህሪያት ላይ የተመሠረተ የሞኖሊት incremental on-the-fly periodic parameter synchronization mechanism ንድፍ አውጥተናል። (1) ያልተሟሉ ፓራሜትሮች የውሳኔ ሞዴሎችን መጠን ያሸንፋሉ። (2) ለአጭር ጊዜ መስኮት፣ ትንሽ የ ஐዲዎች ንዑስ ስብስብ ብቻ የሰለጠነ እና ማስታዎሻቸው የዘመነ ነው። (3) ጥቅጥቅ ያሉ ተለዋዋጮች ከባለ ማስታዎሻዎች በጣም በዝግታ ይንቀሳቀሳሉ። ይህ የሆነበት ምክንያት በmomentum-based optimizers ውስጥ፣ የmomentum ክምችት ለጥቅጥቅ ተለዋዋጮች በከፍተኛ መጠን በሚሰፋ የውሳኔ ስልጠና ዳታ መጠን የተባዛ ነው፣ while only a few sparse embeddings receives updates in a single data batch. (1) እና (2) ሁሉንም የባህሪ ஐዲዎች ማለፍን እንድንጠቀም ያስችሉናል። በሞኖሊት፣ የንክኪ ቁልፎችን የሃሽ ስብስብ እንጠብቃለን፣ ይህም የመጨረሻውን የፓራሜትር ማመሳሰልን በተመለከተ የሰለጠኑ ማስታዎሻዎችን የሚያመለክቱ ஐዲዎችን ያመለክታል። የንክኪ-ቁልፍ ስብስብ ውስጥ ያሉትን ቁልፎች የሚያካትቱት ያልተሟሉ ፓራሜትሮች ንዑስ ስብስብን ከሥልጠና PS ወደ መስመር ላይ ማገልገል PS በደቂቃ-ደረጃ የጊዜ ክፍተት እንልካለን። ይህ በአንጻራዊነት ትንሽ የ incremental parameter update ጥቅል ለአውታረ መረብ ማስተላለፍ ቀላል እና በማመሳሰል ጊዜ ከፍተኛ የማህደረ ትውስታ ጭማሪ አያስከትልም። እንዲሁም (3)ን በመጠቀም የኔትወርክ I/O እና የማህደረ ትውስታ አጠቃቀምን የበለጠ ለመቀነስ ያልተሟሉ ፓራሜትሮች ይበልጥ አጥፊ የሆነ የማመሳሰል መርሃ ግብር በማዘጋጀት፣ ጥቅጥቅ ያሉ ፓራሜትሮችን ባነሰ ጊዜ እናዘምነዋለን። ይህ ጥቅጥቅ ያሉ ፓራሜትሮች ከባለኛው ጋር ሲነጻጸር በአንጻራዊ ሁኔታ ጊዜ ያለፈበት ስሪት የምናገለግልበትን ሁኔታ ሊያመጣ ይችላል። ሆኖም፣ እንደ (3) በተጠቀሰው ምክንያት እንዲህ ያለው አለመጣጣም ሊታገስ ይችላል ምክንያቱም ምንም ግልጽ የሆነ ኪሳራ አልተስተዋለም። 2.3 የውድቀት መቻቻል በምርት ውስጥ ስርዓት እንደመሆኑ፣ ሞኖሊት PS ቢወድቅ ለማገገም ችሎታ ያለው ነው። ለውድቀት መቻቻል የተለመደው ምርጫ የሞዴሉን ሁኔታ በየጊዜው መቅረጽ ነው፣ እና የPS ውድቀት ሲገኝ ከመጨረሻው ቀረጻ መልሶ ማግኘት ነው። የቅረጻ ድግግሞሽ ምርጫ ሁለት ዋና ተጽእኖዎች አሉት: (1) የሞዴል ጥራት። በግምት፣ የሞዴል ጥራት ከጨመረው የቅረጻ ድግግሞሽ ጋር ከቅርብ ታሪክ ኪሳራ ያነሰ ይጎዳል። (2) የኮምፒዩተር ተጨማሪ ወጪ። የበርካታ ቴራባይት ሞዴልን መቅረጽ ነፃ አይደለም። ትልቅ የማህደረ ትውስታ ቅጂ እና የዲስክ I/Oን ያካትታል። በሞዴል ጥራት እና በኮምፒዩተር ተጨማሪ ወጪ መካከል የንግድ ልውውጥ ለማድረግ፣ ሞኖሊት ሁሉንም የሥልጠና PS በቀን አንድ ጊዜ ይመዘግባል። የPS ውድቀት ቢከሰትም የሞዴሉን አንድ ቀን የዘመነ ኪሳራ ይደርስበታል፣ በሙከራዎቻችን ላይ የአፈጻጸም መበላሸት የሚታገስ መሆኑን እናገኛለን። የPS አስተማማኝነት ተጽእኖን በሚቀጥለው ክፍል እናብራራለን። 3 ግምገማ በቀረበው ንድፍችን ስለተሰጡት ጥቅሞች እና የንግድ ልውውጦች የተሻለ ግንዛቤ ለማግኘት፣ በምርት ደረጃ በርካታ ሙከራዎችን አድርገን እና ሞኖሊትን ከተለያዩ ገጽታዎች ለመገምገም እና ለማረጋገጥ የቀጥታ