ለምንድነው የእርስዎ AI የፍጥነት ማጣደፍን ለማግኘት ደመናውን የማይፈልገው?

ደራሲዎች፦ ቶማስ ፌልቲን ሊዮ ማርቾ ጁዋን-አንቶኒዮ ኮርዴሮ-ፉርቴስ ፍራንክ ብሮክነርስ ቶማስ ኤች. ክላውሰን ማጠቃለያ፦ በዥረት መልቀቅ መረጃ ላይ ጥልቅ የነርቭ አውታረመረብ (DNN) መገምገም የመገምገም ፍጥነትን የሚያስፈልጉ የኮምፒውተር ሃብቶችን ይፈልጋል። ሆኖም፣ የዘገየ እና የግላዊነት ስሜት የሚነካ ጥልቅ የመማር መተግበሪያዎች ከሚጠበቀው የዝውውር ወጪ እና በሶስተኛ ወገን የደመና አቅራቢዎች ላይ ባለው እምነት ማጣት ምክንያት ስሌታቸውን ወደ ሩቅ ደመና ማስተላለፍ አይችሉም። በተገደበ አካባቢ ስሌትን በሚጠብቁበት ጊዜ አፈፃፀምን ለመጨመር መፍትሄዎች መካከል፣ የሃርድዌር ማፋጠን ሊያስጨንቅ ይችላል፣ እና የሞዴል ማመቻቸት ሰፊ የንድፍ ጥረቶችን ይጠይቃል በተመሳሳይ ጊዜ ትክክለኛነትን ያደናቅፋል። የDNN መከፋፈል ሦስተኛው ተጨማሪ አቀራረብ ነው፣ እና የሚገኙትን የኅዳግ መሳሪያዎች በማሰራጨት የመገምገም የሥራ ጭነትን ያሰራጫል፣ የኅዳግ አውታረ መረብ ንብረቶችን እና የDNN መዋቅርን ከግምት ውስጥ በማስገባት፣ የመገምገም ፍጥነትን (በሰከንድ ማጠቃለያዎች ብዛት) ከፍ ለማድረግ ያለመ ነው። ይህ ወረቀት ለብዙ-ክር የተከፋፈለ የDNN አቀማመጦች የመገምገም እና የዝውውር መዘግየቶችን ለመተንበይ ዘዴን ያስተዋውቃል፣ እና የመገምገም ፍጥነትን ከፍ ለማድረግ የማመቻቸት ሂደት ይገልጻል። ከዚያም የቅርንጫፍ እና የድንበር መፍቻ ቀርቧል እና የተገኘውን አፈጻጸም እና ውስብስብነት ለመለካት ተተነተነ። ይህ ትንታኔ የፍጥነት ክልልን ለመወሰን አስችሏል፣ ይህም የDNN መከፋፈል ጠቃሚ በሚሆንበት ጊዜ የDNN እና የአውታረ መረብ ንብረቶች ላይ ያሉ ውሳኔዎችን ሁኔታዎችን ይገልፃል። በመጨረሻም፣ የሙከራ ውጤቶች ሲሙሌሽንን ያረጋግጣሉ እና በተወሰኑ የኅዳግ አቀማመጦች ውስጥ የመገምገም ፍጥነት መሻሻሎችን ያሳያሉ። በኅዳግ ላይ የDNN መከፋፈል የመገምገም ፍጥነትን ሲያፋጥን፣ የባንድዊድዝን አጠቃቀምን እና ማዕከላዊ አገልጋዮችን፣ ለምሳሌ፣ በደመና ውስጥ፣ የመዘግየት ጊዜን ይቀንሳል። መግቢያ በ2020 በቀን 2.5 እጥፍ የባይት መረጃን የተገናኙ መሣሪያዎች አፍርተዋል። በዚህ አውድ ውስጥ፣ አርቲፊሻል ኢንተለጀንስ (AI) በአስተማማኝ ሁኔታ በእይታ ውስጥ፣ የፊት ለይቶ ማወቅ፣ የንግግር ማወቅ፣ የተፈጥሮ ቋንቋ ማቀናበር፣ ወይም ራስ-አሽከርካሪ መንዳት ባሉ መስኮች ውስጥ እያደገ የመጣውን መረጃን ለመቋቋም የሚችል ቴክኖሎጂ ነው። AI፣ በተለይም ጥልቅ መማር (DL)፣ ከትልቅ የውሂብ መጠን በተጨማሪ፣ గణናይ ሃይል እና ማህደረ ትውስታን የሚጠይቅ ነው፣ ይህም የደመና ኮምፒውተርን ለ AI የስራ ጭነት የመኖር መፍትሄ ያደርገዋል። በዚህም ምክንያት፣ በ2019፣ 96% የሚሆኑ የ AI ስራዎች በደመና ውስጥ ተከናውነዋል። 1 2 AI መተግበሪያዎች ጠንካራ የዘገየ ገደቦች ሊኖራቸው ይችላል፣ ለምሳሌ፣ ራስ-አሽከርካሪ መንዳት፣ የማኑፋክቸሪንግ ክትትል፣ ወይም የትኛውም የእውነተኛ ጊዜ መገምገም ከእውነተኛው ዓለም ጋር ግንኙነትን ያካትታል። ለምሳሌ፣ ራስ-አሽከርካሪ መንዳት ውስጥ አማካይ ምላሽ ጊዜዎች ከ100 ሚሊ ሰከንድ በታች እንዲሆኑ ይፈልጋሉ ፣ ይህም ወደ ደመና የሚደረጉ የዙር-ጉዞ ጊዜዎችን ለእነዚህ መተግበሪያዎች በጣም ረጅም ያደርጋል። በተመሳሳይ፣ አንዳንድ መተግበሪያዎች በአውታረ መረቡ ላይ ጉልህ የሆነ የትራፊክ አጠቃቀምን ሊያስከትሉ ይችላሉ፣ ለምሳሌ፣ በእይታ ውስጥ ከፍተኛ ጥራት ያለው የቪዲዮ ማቀነባበር ጉዳዮች፣ ይህም በደመና ውስጥ ከመሮጥ ይከላከላል። የውሂብ ግላዊነት ፖሊሲዎች ወይም የውሂብ ጥበቃ ደንቦች የውሂብን ከአንዳንድ አካባቢዎች እንዳይወጣ ሊከለክሉ ይችላሉ። ይህ AI መተግበሪያዎችን ወደ ኅዳግ ኮምፒውተር እንዲዛወር ያበረታታል፣ ይህም የኮምፒውተር ስራዎችን ከዳታ ማዕከላት ወደ ኅዳግ መሳሪያዎች ቅርብ ያደርገዋል፣ ማለትም፣ ከውሂብ ምንጮች አጠገብ። [](javascript:void()) ከሕዝብ ደመናዎች ጋር ሲነፃፀር፣ ኅዳግ በተገደበ ሃብት የተሞላ አካባቢ ሲሆን ጉልህ ገደቦች አሉት ፣ እና ለኅዳግ AI ማዘጋጀት ስለዚህ ከደመና AI ከማዘጋጀት የተለየ ነው። ከምንጩ አጠገብ ውሂብን መተንተን ዝቅተኛ የመሣሪያ አቅሞች፣ የነባር ሀብቶች አቅም ማነስ፣ እና የኅዳግ አውታረ መረቦች ልዩነት ምክንያት ፈታኝ ሊሆን ይችላል። የኮምፒውተር አቅምን መቀነስ የሚያስገኘውን የመገምገም ፍጥነት መቀነስ ማለት ነው፣ ከደመናው ወደ ኅዳግ ከባድ የስራ ጭነትን ማዛወርን የበለጠ ያወሳስበዋል። በአንዳንድ መተግበሪያዎች ውስጥ፣ የመገምገም ፍጥነት፣ ማለትም፣ የDNN ሊደረስበት የሚችል በሰከንድ ማጠቃለያዎች፣ ከDNN ትክክለኛነት ጋር የተገናኘ ሊሆን ይችላል፣ ለምሳሌ፣ በእይታ ዥረቶች ውስጥ የነገርን መከታተል፣ ከ15 ወደ 5 በሰከንድ የመገምገም ፍጥነት መቀነስ የነገር መርማሪውን የF1 ውጤት__3__ በ10% እንደሚቀንስ ያሳያል . በሌላ አነጋገር፣ ዝቅተኛ የመገምገም ፍጥነት ያላቸው አቀማመጦች ወሳኝ የመረጃ መጥፋት ሊያስከትሉ ይችላሉ፣ ለምሳሌ፣ በቪዲዮ ክትትል መተግበሪያዎች ውስጥ የውጤቶችን ማጣት። [](javascript:void()) [](javascript:void()) በተገደበ የኅዳግ አውታረ መረቦች ላይ የአፈጻጸም መስፈርቶችን ለማሟላት ሁለት ዋና መንገዶች አሉ፡ የሞዴል መጭመቂያ ወይም የሃርድዌር ማፋጠን። አውታረ መረቦችን ወደ ቀላል፣ ብዙ ጊዜ ዝቅተኛ አፈጻጸም ያለው፣ የሞዴል ስሪት መቀነስ እና ማመቻቸት ያካትታል። መደበኛ የሞዴል መጭመቂያ ዘዴዎች መቁረጥን ያካትታሉ ፣ ማለትም፣ በሞዴል ውስጥ አላስፈላጊ መለኪያዎችን ማስወገድ፣ መጠናዊነት ፣ ማለትም፣ ሞዴሉን ለማከማቸት የተመደበውን ማህደረ ትውስታ መቀነስ፣ እና የእውቀት መፍጨት ፣ ማለትም፣ ከአንድ ትልቅ አውታረ መረብ የተወሰደ እውቀት ያለው ትንሽ አውታረ መረብ ማሰልጠን። የሞዴል ማመቻቸት ሰፊ የንድፍ ጥረቶችን ይፈልጋል እና የሞዴል ትክክለኛነት እንቅፋት ሊሆን ይችላል። በኅዳግ መሳሪያዎች ላይ ሃይል ቆጣቢ እና ቀላል ክብደት ባለው ሃርድዌር ላይ መሮጥን ያካትታል፣ በተመሳሳይ ጊዜ በበቂ አፈጻጸም ማጠቃለያዎችን መሮጥ ይችላል። ለኅዳግ ማፋጠን በርካታ የሃርድዌር ዓይነቶች አሉ፣ በውጤታማነት እና በልዩነት የሚለያዩ፣ ነገር ግን መደበኛ ማቀነባበሪያ ክፍሎች የሚጠበቁትን አያሟሉም እና እንደ ASICs ያሉ ልዩ ሃርድዌሮች ተግባራዊ ያልሆኑ እና ውድ ናቸው . የሞዴል መጭመቂያ [](javascript:void()) [](javascript:void()) [](javascript:void()) የሃርድዌር ማፋጠን [](javascript:void()) የDNN መከፋፈል ማጠቃለያን ለማፋጠን ተጨማሪ ዘዴ ነው፣ ይህም በኅዳግ አውታረ መረቦች ላይ ያሉትን በርካታ መሳሪያዎች በመጠቀም የመገምገም ስሌትን - ይህም ብቻውን ጥቅም ላይ ሊውል ይችላል፣ ወይም ከሌሎች ሁለት ዘዴዎች ጋር ተደምሮ። የDNN መከፋፈል አንድን የነርቭ አውታረ መረብን እንደ ቧንቧ መስመር በመከፋፈል ወደ ክፍሎች በመከፋፈል፣ እና እነዚህን ክፍሎች በኅዳግ መሳሪያዎች ላይ በማሰራጨት ያካትታል። የእነዚህ ክፍሎች አቀማመጥ በDNN እና ከታች ባለው የአውታረ መረብ ባህሪያት ላይ የተመሰረተ ነው። የDNN መከፋፈል የሚወሰነው የመከፋፈያ ነጥቦችን በመለየት ነው፣ ይህም በሞዴል ግራፍ ውስጥ ሞዴሉ ወደ ክፍሎች የሚለያይባቸው ነጥቦች ናቸው። በሚሠራበት ጊዜ፣ ክፍሎች በቅደም ተከተል ይሰራጫሉ፣ እያንዳንዱም መካከለኛ የመገምገም ውጤቶችን ለሚቀጥለው ክፍል ይልካል። ይህ እያንዳንዱ ክፍል በሚሠራበት ጊዜ ቀጣዩን ግቤት ለማስኬድ እንዲጀምር ያስችለዋል፣ ሌሎች መሳሪያዎች በተላከው ላይ ማቀናበሩን ሲቀጥሉ፣ ይህም የመገምገም ፍጥነትን ያሻሽላል፣ እንደሚታየው . በዚህ ወረቀት ላይ፣ የDNN መከፋፈል በእይታ ዥረቶች ላይ በእውነተኛ ጊዜ መገምገም ምሳሌ በመጠቀም ይገለጻል። በምስል 1 ሀ. ተዛማጅ ስራዎች የDNN መከፋፈል ዘዴዎች፣ ከሞባይል ኅዳግ-ደመና ማስተላለፍ የመነጩ፣ የተለያዩ የአፈጻጸም አመልካቾችን፣ እንደ ስሌት መዘግየት፣ የሃይል ፍጆታ፣ የሃብት አጠቃቀም፣ ወጪ ወይም ፍጥነትን ለማመቻቸት ይፈልጋሉ። የDNN መከፋፈል አንድ ወይም ከዚያ በላይ የሆኑ እነዚህን መለኪያዎች በማገናኘት የማመቻቸት ግብን ለመወሰን፣ እና ይህንን መለኪያ በመጠቀም የመከፋፈል እቅዶችን ለማግኘት ዘዴን ይፈልጋል። ለምሳሌ፣ Neurosurgeon የዘገየ እና የሃይል ፍጆታን ለመቀነስ ነጠላ የመከፋፈያ ነጥብ ይፈልጋል፣ የመጀመሪያውን ክፍል በኅዳግ በማቆየት እና ሁለተኛውን ክፍል ወደ ደመና በማስተላለፍ። በ IoT ውስጥ ያሉ መተግበሪያዎችም የኃይል፣ መዘግየት፣ እና/ወይም ወጪን ለማመቻቸት በርካታ የDNNs የጋራ መከፋፈል እና ማስተላለፍን ግምት ውስጥ አስገብተዋል፣ እንደ SPSO-GA Particle Swarm Optimization (PSO) እና Genetics Algorithm (GA) በማጣመር፣ ወይም DDPQN የመከፋፈል እቅዶችን ለማግኘት Deep Reinforcement Learningን የሚጠቀም። ሌሎች ምሳሌዎች DINA ፣ እሱም Integer Non Linear Programming (INLP) ችግርን ይገልጻል፣ እና የጭንቀት እና የሃብት አጠቃቀምን በጭጋግ አውታረ መረቦች ውስጥ ለማመቻቸት የማጣመጃ ቲዎሪ-ተኮር መፍቻን ይጠቀማል። የመገምገም ፍጥነትን የሚያመቻቹ ዘዴዎች DNN surgery ፣ እሱም የመካከለኛ DNN ንብርብር ውጤቶችን ትንሽ መጠን በመጠቀም የማጠቃለያውን ስሌት በኅዳግ እና በደመና መካከል ይከፋፍላል። ሁለቱም አልጎሪቶች ሁለት ክፍሎችን ይፈጥራሉ፣ አንዱ በኅዳግ እና ሌላው በደመና። በሞባይል ኅዳግ-ደመና መስክ ውስጥ ሌሎች ጥናቶች በአጠቃላይ የመገምገም ፍጥነትን ለማፋጠን በደመና ውስጥ ባለብዙ-ክር ስሌትን ያካትታሉ። ለሁለተኛው ክፍል ማጠቃለያ ስሌት ደመናን መደገፍ ጥሩ የአውታረ መረብ ግንኙነትን ይጠይቃል፣ ይህም አንዳንድ የተገለሉ የኅዳግ አቀማመጦች ደካማ ግንኙነት ባላቸው ሁኔታዎች ሊታመን አይችልም። Edgent የቀደመውን ዘዴ ወደ ሞባይል መሳሪያዎች እና የሚገኙ የኅዳግ አገልጋዮች ያስተካክላል፣ ወደ ደመና ማስተላለፍን የመገደብን ይለቃል። ይህ ዘዴ ከተወሰነ ስልጠና እና የሞዴል አርክቴክቸር ጋር የተገናኘ ነው፣ እና አሁንም መከፋፈልን ለሁለት ክፍሎች ብቻ ይገድባል። ሌሎች ዘዴዎች በርካታ የመከፋፈያ ነጥቦችን ግምት ውስጥ አስገብተዋል፣ ለምሳሌ፣ IONN ፣ እሱም ዘገየ እና የሃይል ፍጆታን ለመቀነስ መከፋፈልን ችግር ይገልጻል፣ እንዲሁም ሞዴሎችን ለኅዳግ አገልጋዮች የማውረድ ጊዜን ከግምት ውስጥ በማስገባት። [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) እነዚህ ዘዴዎች የርቀት ደመናዎችን ያካትታሉ፣ ወይም በመከፋፈል ተፈጥሮ ላይ የተገደቡ ናቸው፣ ለምሳሌ፣ በትክክል በሁለት ክፍሎች መከፋፈል፣ ከባለብዙ-ክር ጋር ወይም ያለሱ። ከተዘረዘሩት የDNN መከፋፈል ጥናቶች መካከል አንዳቸውም በርካታ የመከፋፈያ ነጥቦችን እና ባለብዙ-ክርን አይመለከቱም። ለ. አስተዋፅኦዎች ይህ ወረቀት የባለብዙ መከፋፈያ ነጥቦች እና የባለብዙ-ክር መከፋፈልን በመጠቀም ለዥረት መልቀቅ መረጃ ላይ የእውነተኛ ጊዜ DNN ስሌት የመገምገም ፍጥነትን ከፍ ለማድረግ የተከፋፈለ የመገምገም ማዕቀፍ ያቀርባል። የዚህ ወረቀት አስተዋፅኦዎች የሚከተሉት ናቸው፦ የተከፋፈለ የDNN የሥሌት እና የዝውውር መዘግየቶችን ለማስላት ሞዴል፣ ይህም የይሁንታ የመገምገም ፍጥነት ግምትን ለማስላት ያስችላል። የDNN መከፋፈል የማመቻቸት ችግርን መቅረጽ፣ ለችግሩ የቅርንጫፍ እና የድንበር መፍቻ ትግበራ፣ እና ውስብስብነቱን መገምገም። የአውታረ መረብ እና የDNN ንብረቶችን በመለወጥ የሚቻሉ የአፈጻጸም መሻሻሎችን ለመመርመር ሲሙሌሽን። በአውታረ መረብ እና በDNN ንብረቶች ውስጥ ያሉ ውሳኔ ክልሎች መለየት የመከፋፈል ተስማሚ ሁኔታዎች መኖራቸውን እና የመፍትሄዎችን ለማስላት ወጪውን የሚያሳዩበት ሁኔታዎች (ማለትም፣ የDNN መከፋፈል ጠቃሚ የሚሆንባቸው ሁኔታዎች)። በሲሙሌሽን የተገለጹትን ክልሎች የሚያሳዩ የሙከራ ውጤቶች፣ እንዲሁም የትንበያ ትክክለኛነት እና ለተመሳሳይ እና ለተለያየ አካባቢዎች የመጨረሻ የመገምገም ፍጥነት ማፋጠን። ለዚህ ወረቀት ከቀሪው፣ ግራ መጋባትን ለማስወገድ፣ የተከፋፈለው ጥልቅ የነርቭ አውታረመረብ ተብሎ ይጠራል፣ እና የሚለው ቃል ከታች ያለውን የፊዚካል ኮሙኒኬሽን አውታረመረብ ያመለክታል። DNN አውታረ መረብ ሐ. የወረቀት ውቅር የዚህ ወረቀት ቀሪው በሚከተለው መልኩ ተደራጅቷል። ስለ ጥልቅ መማር ዳራ ያቀርባል እና በዚህ ጥናት ውስጥ የDNNs እንዴት እንደሚወከሉ ያብራራል። ለ የሚያስፈልጉትን የመገምገም እና የዝውውር መዘግየት ትንበያ ዘዴዎችን ዝርዝር ያቀርባል፣ ይህም የማመቻቸት ችግርን ይገልጻል፣ እንዲሁም የመከፋፈል ውሳኔዎችን ለማድረግ የቅርንጫፍ እና የድንበር አልጎሪትን። የቅርንጫፍ እና የድንበር አልጎሪትን አፈጻጸም እና ውስብስብነት ለመለካት ሲሙሌሽን ውጤቶችን ያቀርባል፣ እንዲሁም የመገምገም ፍጥነትን የሚያሻሽል የመከፋፈል መኖሩን የሚያመቻቹ ሁኔታዎች። የ ሲሙሌሽንን የሚያረጋግጡ የሙከራ ውጤቶችን ያቀርባል፣ እና በተለያየ የሙከራ አቀማመጥ ላይ የመገምገም ፍጥነት መሻሻሎችን ያሳያል። በመጨረሻም፣ ውጤቶችን ይወያያል እና የዚህ ዘዴን ሰፊ ተፈጻሚነት ያሰፋል። ክፍል II ክፍል III ክፍል IV ክፍል V ክፍል VI ክፍል V ክፍል VII ክፍል II. ዳራ፦ ጥልቅ መማር በማሽን መማር መስክ ውስጥ፣ ጥልቅ መማር (DL) ከሁለት በላይ የተደበቁ ንብርቦች ያላቸውን የDNNs አጠቃቀምን የሚያካትት ዘዴዎችን ያመለክታል። የጥልቅ መማር አርክቴክቸር በጣም ቀደምት ማጣቀሻ በ1967 የታተመ ቢሆንም ፣ ነገር ግን DL ትኩረት ያገኘው በ2010ዎቹ ውስጥ ነበር፣ በመጀመሪያ በንግግር ማወቂያ፣ ከዚያም በእይታ ምስሎች ላይ የነገር መከታተያ፣ ለትልቅ የውሂብ ልኬት ውስጥ ውስብስብ ግንኙነቶችን የመያዝ ችሎታ። ጥልቅ መማር በ2022 በ AI መተግበሪያዎች ውስጥ አብዛኛው እንደሚሆን ይገመታል፣ ከ75% በላይ ድርጅቶች መደበኛ ዘዴዎችን ሊጠቀሙ የሚችሉ መተግበሪያዎችን ለማግኘት DNNs ይጠቀማሉ። DL ዘዴዎች “ ” . እነዚህ አልጀብራዊ ወረዳዎች በተለምዶ በንብርብሮች የተደራጁ ናቸው፣ ይህም በስሌቱ ውስጥ ያሉ ደረጃዎችን ይመሰርታሉ። የሚለው ቃል ከሁለት በላይ ንብርብሮችን ያቀፉ አልጎሪትን ያመለክታል። [](javascript:void()) 4 የማሽን መማሪያ ቴክኒኮች የት ፅንሰ-ሀሳቦች የሚስተካከሉ የግንኙነት ጥንካሬዎች ያላቸውን ውስብስብ አልጀብራዊ ወረዳዎች ይመስላሉ [](javascript:void()) ጥልቅ ሁለት ዋና የDNN መዋቅሮች አሉ፦ የመልቀቅ የነርቭ አውታረ መረቦች እና ተደጋጋሚ የነርቭ አውታረ መረቦች። ሁለቱም የDNN ዓይነቶች እንደ የስሌት ግራፎች ሊወከሉ ይችላሉ፣ ዋናው ልዩነት የመልቀቅ አውታረ መረቦች ቀጥተኛ አሲክሊክ ግራፎች (DAGs) ሆነው ሊወከሉ ሲችሉ፣ ተደጋጋሚ የነርቭ አውታረ መረቦች ዑደቶችን ሊይዙ ይችላሉ። ተደጋጋሚ የነርቭ አውታረ መረቦች ለተከታታይ መረጃ የተገነቡ ናቸው፣ እያንዳንዱ የውሂብ ነጥብ ከቀዳሚው የውሂብ ነጥቦች ጋር የመሆን ዕድል አለው፣ የመልቀቅ አውታረ መረቦች ግን በውሂብ ቅደም ተከተል መካከል ያለውን ግንኙነት ግምት ውስጥ አያስገባም። የዚህ ወረቀት ቀሪው የመልቀቅ DNNs ጉዳይን ይመለከታል። 5 ክፍል III. የተከፋፈለ የመገምገም ሞዴል ይህ ክፍል የDNN እና የአውታረ መረብ ባህሪያትን ለመወከል የሚያስችል ሞዴል ያቀርባል፣ ይህም ሊደረስበት የሚችል የመገምገም ፍጥነት፣ የዝውውር መዘግየቶች፣ እና የየትኛውም የመከፋፈል መፍትሄ የመጨረሻ የመገምገም ፍጥነትን ለመተንበይ ያስችላል። ሀ. የDNN እና የአውታረ መረብ ውክልና N ንብርብሮች ያሉት የመልቀቅ DNN፣ L=(L1,…,LL) የDNN ንብርብሮች ያሉት DAG GA=(L,E) ተብሎ ይወከላል። ድንበሮች (Li,Lj)∈E በንብርብሮች Li እና Lj መካከል ያሉ ግንኙነቶች ናቸው። እያንዳንዱ ንብርብር Li ከ forward pass ለማስኬድ የሚያስፈልገውን የፍሎቲንግ-ነጥብ ኦፕሬሽኖች ብዛት (ci) ጋር የተያያዘ የስሌት ፍጆታ አለው። ድንበሮች (Li,Lj) በንብርብሮች Li እና Lj መካከል በሚንቀሳቀስ የውሂብ መጠን (si,j) ባይት ብዛት ጋር እኩል የሆነ ክብደት si,j ተሰጥቷቸዋል። ፊዚካዊው አውታረ መረብ N=(N1,…,NN) የኮምፒውተር ኖዶች ስብስብ እና V በኖዶች መካከል ያሉ አገናኞች ስብስብ የሆነ ሙሉ በሙሉ የተገናኘ ግራፍ G=(N,V) ተብሎ ይወከላል። የኮምፒውተር ኖዶች N1,…,NN፣ በቅደም ተከተል በሰከንድ የፍሎቲንግ-ነጥብ ኦፕሬሽኖች (η1,…,ηN) የሚለኩ የፍጥነት መጠኖች እንዳላቸው ይገመታል። በመጨረሻም፣ በሁለት ተጓዳኝ ኖዶች Na እና Nb መካከል ያለው የአገናኝ ፍጥነት θa,b፣ በሰከንድ ባይት የሚለካ፣ θa,b ተብሎ ይጠራል። እያንዳንዱ ኖድ Ni በ loopback አገናኝ ለመወከል ከራሱ ጋር ማለቂያ በሌለው ፍጥነት የተገናኘ ነው፣ እና አገናኞች ተመሳሳይ እንደሆኑ ይገመታሉ፣ ማለትም፣ θa,b=θb,a. መከፋፈሎች P:L→N የሚባሉ ካርታዎች ተብለው ይገለጻሉ፣ ማለትም፣ መከፋፈል እያንዳንዱን ንብርብር በ DNN ላይ ወደ አንድ ኖድ ይመድባል። መከፋፈል (N×L) ልኬት ባለው የP ማትሪክስ ሊገለጽ ይችላል፣ N በኔትወርኩ ላይ ያሉ ኖዶች ብዛት እና L የDNN ንብርብሮች ብዛት ሲሆን፣ Pa,i=1 ንብርብር Li በኖድ Na ላይ ከተቀመጠ፣ 0 ካልሆነ። ከምሳሌው ጋር በ ፣ L=7 ንብርብሮች እና N=2 የኮምፒውተር ኖዶች፣ የንብርብሮች {L1,L2,L3,L6,L7} በኖድ N1 ላይ፣ እና ንብርብሮች {L4,L5} በኖድ N2 ላይ የመከፋፈሉ ማሳያ እንደሚከተለው ይወከላል፦ ምስል 2 የተሰጠው መከፋፈል፣ በተከታታይ ንብርብሮች መካከል በሁለት የመከፋፈያ ነጥቦች መካከል በዚያው ኖድ ላይ በቅደም ተከተል የሚሰራ የንብርብሮች ቡድን ተብሎ ይገለጻል። ከላይ ባለው ምሳሌ፣ ኖድ N1 ሁለት ክሮችን ያካሂዳል፣ የመጀመሪያው {L1,L2,L3} ንብርብሮችን ይይዛል እና ሁለተኛው {L6,L7} ንብርብሮችን ይይዛል. ክር ከእነዚህ ኖቴሽኖች ጋር፣ የዚህ ክፍል ቀሪው የመገምገም ፍጥነትን የዘገየ (ክፍል III-B) እና የዝውውር (ክፍል III-C) የዘገየ ተግባርን በተሰጠው መከፋፈል መሰረት ይገልጻል። ለ. የመገምገም መዘግየት ትንበያ የተሰጠ መከፋፈል፣ ይህ ክፍል በተናጠል ኖድ ላይ የመገምገም መዘግየት ትንበያን ይመለከታል። Na ኖድ ላይ፣ በፍጥነት ηa መጠቀም ያለበት የንብርብር Li ከፍጆታ ci የስሌት የሚያስከትለው መዘግየት Tci(Na)=ci/ηa ተብሎ ይገለጻል። Na ኖድ ላይ፣ በፍጥነት ηa የሚሰሩ እና በሁሉም ክሮች ላይ የሚሰሩ የንብርብሮች ስብስብ L′⊂L ፣ የመገምገም መዘግየት በሚከተለው መልኩ ሊገለጽ ይችላል፦ ይህ አገላለጽ የDNN ስሌት ለማድረግ የሚያስፈልጉትን የፍሎቲንግ-ነጥብ ኦፕሬሽኖች (FLOPs) ብዛት ላይ የተመሰረተ የመገምገም መዘግየት ግምትን የመጀመሪያ ደረጃ ግምት ነው፣ ማለትም፣ በሞዴል ውስጥ ያሉ ማባዛት-መደመር ኦፕሬሽኖች ብዛት። በኅዳግ መሳሪያዎች ላይ የመገምገም መዘግየት ግምት በሩጫ-ጊዜ ማመቻቸት የተወሳሰበ ነው። nn-Meter እንደነባር መፍትሄዎች የመገምገም መዘግየትን በ FLOPs ላይ ተመስርተው ይተነብያሉ። ሌሎች መፍትሄዎች ለመዘግየት ግምት ቅድመ-የተሰሉ የመገምገም ጊዜያትን የያዘ የፍለጋ ሰንጠረዥን ይደገፋሉ። ለምሳሌ፣ BRP-NAS ሩጫ-ጊዜ የሞዴል ማመቻቸቶችን ከግምት ውስጥ በማስገባት የመገምገም መዘግየቶችን ለመተንበይ ቅድመ-የሰለጠነ የግራፍ ኮንቮሉሽናል ኔትወርክን ይጠቀማል። [](javascript:void()) [](javascript:void()) በ ፣ አቀነባባሪዎች ሙሉ አቅማቸውን እንደሚጠቀሙ በተጨማሪ ይገመታል፣ ይህም ባለብዙ-ኮር አቀነባባሪዎች ከኮር ፍጥነት ድምር ጋር እኩል በሆነ የፍጥነት መጠን እንደ ነጠላ-ኮር አቀነባባሪዎች ይወከላሉ ማለት ነው። እንዲሁም፣ የኮምፒውተር ሃብት በክሮች መካከል እኩል እንደሚከፋፈል ይገመታል፣ ማለትም፣ አቀነባባሪው ለእያንዳንዱ ክር ተመሳሳይ የጊዜ ድርሻ ይመድባል። እኩልነት 1 በሁሉም ኖዶች መካከል፣ ከፍተኛ መዘግየት ያለው ክር ለተከፋፈለው DNN የመገምገም ፍጥነትን ይወስናል። የዝውውር መዘግየቶችን ሳያካትት፣ ይህ ማለት ይህ የተገደበ ክር የውሂብ ፍሬም ማስኬድ ሲጠናቀቅ፣ ወዲያውኑ ቀጣዩን ማካሄድ ይጀምራል ማለት ነው። ሌሎች ክሮች ከዚህ ከፍተኛ መዘግየት በታች ዝቅተኛ የመገምገም መዘግየት ስላላቸው ቀጣዩን የውሂብ ፍሬም ከማስኬዳቸው በፊት ስራ ፈት ጊዜ ይኖራቸዋል፣ እንደሚታየው . በምስል 1 የተሰጠ መከፋፈል ማትሪክስ P ፣ የመገምገም መዘግየቶች Tc በሚባለው N መጠን ቬክተር ሆነው ሊገለጹ ይችላሉ፣ እሱም a-th ክፍል በ Na ኖድ ላይ ከፍተኛው የክር መገምገም መዘግየት ነው፣ ማለትም፣ Tca=Tc(Na) : እዚህ H