AI тань цаашид хурдан ажиллахын тулд үүлэн технологийн тусламжгүйгээр яагаад болох вэ?

Зохиогчид: Томас Фелтин Лео Марчо Хуан-Антонио Кордеро-Фуэртес Франк Брокнерс Томас Х. Клаусен Хураангуй: Урсгал мэдээлэл дээр гүн нейроны сүлжээ (DNN) ашиглан дүгнэлт хийхэд дүгнэлтийн гүйцэтгэлийг хангахын тулд тооцоолох нөөц шаардлагатай. Гэсэн хэдий ч, латент болон нууцлалд мэдрэмтгий гүнзгийрүүлсэн сургалтын програм хангамжууд нь дамжуулалтын зардал болон гуравдагч этгээдийн үүлэн үйлчилгээ үзүүлэгчдэд итгэх итгэл дутмагаас болж тооцоолоо алсын үүл рүү шилжүүлж чадахгүй. Хамгаалалттай орчинд тооцооллыг хийж байхдаа гүйцэтгэлийг нэмэгдүүлэх шийдлүүдийн дотроос тоног төхөөрөмжийн хурдасгалт нь төвөгтэй байж болох ба загварыг оновчилоход их хэмжээний хөгжүүлэлт шаардагдах ба нарийвчлалыг бууруулдаг. DNN хуваалт нь гурав дахь нэмэлт арга бөгөөд энэ нь одоо байгаа хязгаарлагдмал төхөөрөмжүүдийн хооронд дүгнэлтийн ачааллыг хуваах, үүлэн сүлжээний шинж чанар болон DNN бүтцийг харгалзан үзэх, дүгнэлтийн гүйцэтгэлийг хамгийн их байлгах зорилготой юм (секундэд хийсэн дүгнэлтийн тоо). Энэхүү өгүүлэл нь олон урсгалтай, хуваагдсан DNN байгууламжийн дүгнэлт болон дамжуулалтын латент байдлыг урьдчилан таамаглах аргыг танилцуулж, дүгнэлтийн гүйцэтгэлийг хамгийн их байлгах оновчлолын үйл явцыг тодорхойлдог. Дараа нь салбар ба багц шийдвэрлэгч танилцуулагдаж, гүйцэтгэсэн гүйцэтгэл ба төвөгтэй байдлыг тоон утгаар нь илэрхийлнэ. Энэхүү шинжилгээ нь хурдасгах бүсийг тодорхойлоход хүргэсэн бөгөөд энэ нь DNN болон сүлжээний шинж чанар дээр DNN хуваалт нь ашигтай байх тодорхой нөхцлүүдийг тодорхойлдог. Эцэст нь туршилтын үр дүн нь симуляцийг баталж, энгийн хязгаарлагдмал байгууламжуудад дүгнэлтийн гүйцэтгэлийн сайжруулалтыг харуулсан болно. Хязгаарлагдмал байдлаар DNN хуваалт нь дүгнэлтийн гүйцэтгэлийг хурдасгах, нэгдсэн серверүүдтэй харьцуулахад bandwidth ашиглалтыг бууруулж, латент байдлыг багасгах боломжийг олгодог, жишээ нь, үүлэн дотор. Оршил 2020 онд холбогдсон төхөөрөмжүүд өдөрт дунджаар 2.5 квинтиллион байт мэдээлэл үүсгэсэн. Энэхүү нөхцөл байдалд хиймэл оюун ухаан (AI) нь компьютерийн хараа дахь объектыг таних, царай таних, дуу хоолойг таних, байгалийн хэл боловсруулах, бие даасан жолоодлого гэх мэт өргөн хүрээний талбарт улам бүр нэмэгдэж буй мэдээллийг боловсруулахад хамгийн сайн зохицдог технологиудын нэг юм. AI, ялангуяа гүнзгийрүүлсэн сургалт (DL) нь их хэмжээний мэдээлэлээс гадна боловсруулах чадал ба санах ойн ихээхэн чадвартай байх шаардлагатай бөгөөд энэ нь үүлэн тооцоололтыг AI ачааллыг байрлуулах *de facto* шийдэл болгодог. Үүний үр дүнд 2019 онд AI ажлын 96% нь үүлэн дотор хийгдсэн. 1 2 AI програмууд нь ихээхэн латент хязгаарлалттай байж болно, *жишээ нь*, бие даасан жолоодлого, үйлдвэрлэлийн хяналт, эсвэл бодит ертөнцтэй харилцан үйлчилдэг ямар нэгэн бодит цагийн дүгнэлт. Жишээлбэл, бие даасан жолоодлогын дундаж хариу арга хэмжээний хугацаа 100 миллисекундээс бага байх шаардлагатай. , үүл рүү буцах хугацааг ийм програмуудад хэт удаан болгодог. Үүнтэй адилаар зарим програмууд нь сүлжээнд ихээхэн холболт ашигладаг байж болно, *жишээ нь*, компьютерийн хараа дахь өндөр чанартай видео боловсруулах тохиолдолд, энэ нь тэдгээрийг үүлэн дотор ажиллуулахад саад болдог. Мэдээллийн нууцлалын бодлого эсвэл мэдээллийн хамгаалалтын зохицуулалт нь мэдээллийг тусгай орчноос гаргахыг хориглож болно. Энэ нь хязгаарлагдмал төхөөрөмжүүд рүү тооцоолох ажлыг төвлөрсөн серверүүдээс ойртуулах, *жишээ нь*, мэдээллийн эх үүсвэрүүдтэй ойр байлгах, хязгаарлагдмал тооцооллыг шилжүүлэхэд хамаатай. [](javascript:void()) Үүлэн системтэй харьцуулахад хязгаарлагдмал нь нөөцийн хязгаарлалттай орчин бөгөөд чухал хязгаарлалттай байдаг. , тиймээс хязгаарлагдмал байдлаар AI хөгжүүлэх нь үүлэн системд зориулсан AI хөгжүүлэхээс үндсэндээ ялгаатай байдаг. Мэдээллийг эх үүсвэрээс нь ойрхон шинжлэх нь төхөөрөмжийн бага чадавхи, нөөцийн хязгаарлагдмал байдал, хязгаарлагдмал сүлжээнүүдийн ялгаатай байдлаас шалтгаалж хэцүү байж болно. Тооцоолох чадавхийг бууруулах нь боломжит дүгнэлтийн гүйцэтгэлийг бууруулдаг, энэ нь хүнд ачааллыг үүлнээс хязгаарлагдмал байдалд шилжүүлэхэд улам хэцүү болгодог. Зарим програмуудад, дүгнэлтийн гүйцэтгэл, *жишээ нь*, DNN-ийн секундэд хийсэн дүгнэлтийн тоо, DNN нарийвчлалтай холбоотой байж болно, *жишээ нь*, видео урсгалд объектийг хянах үед, энэ нь дүгнэлтийн хурдыг 15-аас 5 болгон бууруулсан нь объектийг илрүүлэгчийн F1 оноог 10%-иар бууруулсан болох нь тогтоогдсон. . Өөрөөр хэлбэл, бага дүгнэлтийн гүйцэтгэлтэй байгууламжууд нь чухал мэдээллийн алдагдалд хүргэж болно, *жишээ нь*, видео тандалт хийх програмуудад илрүүлэлтийг алдах. [](javascript:void()) [](javascript:void()) Хязгаарлагдмал хязгаарлагдмал сүлжээнд гүйцэтгэлийн шаардлагыг хангахын тулд хоёр үндсэн арга байдаг: загвар шахалт эсвэл тоног төхөөрөмжийн хурдасгалт. *Загвар шахалт* нь нейроны сүлжээг хөнгөн, ихэвчлэн бага гүйцэтгэлтэй загварын хувилбарт бууруулах, оновчлох явдал юм. Стандарт загвар шахалтын аргууд нь огцом хэрэглээ, *жишээ нь*, загвар дахь шаардлагагүй параметрийг арилгах , тоон хэмжээг хэрэглэх , *жишээ нь*, загварыг хадгалах санах ойг бууруулах, болон мэдлэгийг дамжуулах , *жишээ нь*, илүү том загвараас авсан мэдлэгийг ашиглан илүү жижиг нейроны сүлжээг сургах. Загвар оновчлох нь их хэмжээний хөгжүүлэлт шаарддаг бөгөөд загвар нарийвчлалыг бууруулах саад болж болно. *Тоног төхөөрөмжийн хурдасгалт* нь хязгаарлагдмал төхөөрөмж дээр тэжээлийн хувьд үр дүнтэй, хөнгөн байх тоног төхөөрөмжийг олох явдал юм. Хязгаарлагдмал төхөөрөмж дээр хурдасгах зорилгоор олон төрлийн тоног төхөөрөмж байдаг бөгөөд тэдгээрийн үр ашиг, онцлог шинж чанар нь өөр өөр байдаг, гэхдээ стандарт боловсруулах нэгжүүд нь хүлээлтийг хангаж чадахгүй бөгөөд ASIC зэрэг тусгай тоног төхөөрөмж нь хэрэглэхэд хэцүү, үнэтэй болох нь тогтоогдсон. . [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) DNN хуваалт нь хязгаарлагдмал сүлжээнүүд дээрх олон төхөөрөмжүүдийг ашиглан дүгнэлтийн тооцоололыг хуваах замаар хурдасгах нэмэлт арга юм– үүнийг дангаар эсвэл бусад хоёр аргын хамт хэрэглэж болно. DNN хуваалт нь нейроны сүлжээг хуваалтуудад хуваах конвейер болгон авч, эдгээр хуваалтуудыг хязгаарлагдмал төхөөрөмжүүдэд хуваарилах явдал юм. Эдгээр хуваалтуудын байршлыг DNN болон доод сүлжээний шинж чанарууд дээр үндэслэнэ. DNN хуваалт нь загварын график доторх хуваалтын цэгүүдийг тодорхойлоход тулгуурладаг бөгөөд энэ нь загварыг хуваалтуудад хуваадаг цэгүүд юм. Ашиглалтын явцад хуваалтууд дарааллан ажилладаг бөгөөд тус бүр нь дараагийн хуваалт руу зуучлалын дүгнэлтийн үр дүнг дамжуулдаг. Энэ нь тухайн хуваалт нь дараагийн оролтын мэдээллийг тооцоолж эхлэх боломжийг олгодог бөгөөд бусад төхөөрөмжүүд нь шилжүүлсэн нэгнийг боловсруулж дуусгахтай зэрэгцэн, энэ нь дүгнэлтийн гүйцэтгэлийг сайжруулдаг, энэ нь *зураг 1*-д харуулсан. Энэхүү өгүүллийн цаашид DNN хуваалтыг видео урсгалд бодит цагийн дүгнэлтийн жишээгээр тайлбарлах болно. A. Холбогдох ажил Гар утас, хязгаарлагдмал, үүлэн систем рүү шилжихээс гаралтай DNN хуваалтын аргууд нь тооцооллын латент байдал, эрчим хүчний хэрэглээ, нөөцийн ашиглалт, зардал, эсвэл гүйцэтгэл зэрэг янз бүрийн гүйцэтгэлийн үзүүлэлтүүдийг оновчлохыг эрмэлздэг. DNN хуваалт нь нэг эсвэл хэд хэдэн эдгээр үзүүлэлтүүдийг оновчлох зорилго болгон тодорхойлох, мөн хуваалтын схемийг олохын тулд энэ үзүүлэлтийг ашигладаг аргыг тусгахад тулгуурладаг. Жишээлбэл, Neurosurgeon нь латент болон эрчим хүчний хэрэглээг багасгахын тулд нэг хуваалтын цэгийг хайж, эхний хуваалтыг хязгаарлагдмал байдлаар хадгалж, хоёр дахь хуваалтыг үүл рүү шилжүүлдэг. IoT програмууд нь SPSO-GA нь Particle Swarm Optimization (PSO) болон Genetics Algorithm (GA) -ыг хослуулсан, эсвэл DDPQN нь хуваалтын схемийг олохын тулд Deep Reinforcement Learning ашигладаг зэрэг янз бүрийн шийдвэрлэгчийг ашиглан эрчим хүч, саатал, болон/эсвэл зардлыг оновчлохын тулд хэд хэдэн DNN-ийн хамтарсан хуваалт болон шилжүүлэлтийг авч үзсэн. Бусад жишээнд DINA , энэ нь Integer Non Linear Programming (INLP) асуудлыг тодорхойлдог, мөн fog networks-д саатал болон нөөцийн ашиглалтыг оновчлохын тулд тохирлын онол дээр суурилсан шийдвэрлэгчийг ашигладаг. Дүгнэлтийн гүйцэтгэлийг оновчлох аргууд нь DNN surgery , энэ нь хязгаарлагдмал ба үүл хооронд дүгнэлтийн тооцооллыг хуваахын тулд зуучлалын DNN שכлалтын бага хэмжээг ашигладаг. Эдгээр хоёр алгоритм нь хоёр хуваалт үүсгэдэг, нэг нь хязгаарлагдмал байдлаар, нөгөө нь үүлэн дотор. Гар утасны хязгаарлагдмал-үүл салбарт бусад судалгаанууд нь нийт дүгнэлтийн гүйцэтгэлийг цааш нь хурдасгахын тулд үүлэн доторх олон урсгалтай тооцооллыг багтаадаг. Хоёр дахь хуваалтын дүгнэлтийн тооцооллыг үүлэн системд хийх нь зарим тусгаарлагдсан хязгаарлагдмал байгууламжуудын хувьд тогтворгүй байж болох сайн сүлжээний холболтыг шаарддаг. Edgent нь өмнөх арга зүйг гар утасны төхөөрөмжүүд болон боломжит хязгаарлагдмал серверүүдэд тохируулдаг бөгөөд үүл рүү шилжүүлэх хязгаарлалтыг сулруулдаг. Энэ арга нь тодорхой сургалт болон загвар архитектуртай холбоотой бөгөөд хуваалтыг хоёр хуваалттай хязгаарладаг. Бусад аргууд нь олон хуваалтын цэгүүдийг авч үзсэн, *жишээ нь*, IONN , энэ нь латент болон эрчим хүчний хэрэглээг багасгах зорилгоор хуваалтын асуудлыг тодорхойлдог бөгөөд мөн загварыг хязгаарлагдмал серверүүдэд байршуулах хугацааг харгалзан үздэг. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Эдгээр аргууд нь алсын үүлэн системүүдтэй харилцан үйлчилдэг эсвэл хуваалтын мөн чанарт хязгаарлагддаг, *жишээ нь*, яг хоёр хэсэгт хуваах шаардлагатай, олон урсгалтай эсэхээс үл хамааран. Жагсаасан DNN хуваалтын судалгаануудаас хэн ч олон хуваалтын цэгүүд болон олон урсгалыг харгалзан үзээгүй. B. Хувь нэмэр Энэхүү өгүүллээр видео мэдээллийн урсгалын бодит цагийн DNN тооцооллын дүгнэлтийн гүйцэтгэлийг хамгийн их байлгахын тулд олон хуваалтын цэгүүд болон олон урсгалтай хуваалтыг ашигласан хуваагдсан дүгнэлтийн хүрээг танилцуулж байна. Энэхүү өгүүллийн хувь нэмэр нь дараах байдалтай байна: Боломжит хуваалтын схемийн дүгнэлтийн гүйцэтгэлийг урьдчилан таамаглах боломжтой хуваагдсан DNN-ийн тооцоолол болон дамжуулалтын латент байдлыг тооцоолох загвар. DNN хуваалтын оновчлолын асуудлыг томъёолох, энэ асуудлыг шийдвэрлэх салбар ба багц шийдвэрлэгчийг хэрэгжүүлэх, мөн түүний төвөгтэй байдлыг үнэлэх. Сүлжээ болон DNN шинж чанарыг өөрчлөхөд боломжит гүйцэтгэлийн сайжруулалтыг судлах симуляцууд. Оновчтой хуваалтын оршин тогтнох нөхцлүүдийг илэрхийлсэн, мөн ийм шийдвэрүүдийг тооцоолох зардал, *жишээ нь*, DNN хуваалт нь ашигтай байх нөхцлүүдийг тодорхойлсон сүлжээ болон DNN шинж чанар дахь тодорхой бүсүүдийг тодорхойлох. Симуляцуудад тодорхойлогдсон бүсүүдийг харуулсан туршилтын үр дүн, мөн адил болон ялгаатай орчинд таамаглалтын нарийвчлал болон эцсийн дүгнэлтийн гүйцэтгэлийн хурдасгалыг харуулсан. Энэ өгүүллийн цаашид, эргэлзээг арилгахын тулд, хуваагдсан гүн нейроны сүлжээ нь *DNN* гэж нэрлэгдэх болно, мөн *сүлжээ* гэсэн нэр томъёо нь доод физик холболтын сүлжээг илэрхийлнэ. C. Өгүүллийн бүтэц Энэхүү өгүүллийн цаашдын хэсэг нь дараах байдалтай байна. нь гүнзгийрүүлсэн сургалтын суурь мэдлэгийг танилцуулж, энэхүү судалгаанд DNN-ийг хэрхэн илэрхийлдэгийг тайлбарлана. нь -т шаардлагатай дүгнэлт болон дамжуулалтын латент байдлыг урьдчилан таамаглах аргыг дэлгэрэнгүй тайлбарлаж, мөн хуваалтын шийдвэр гаргах салбар ба багц алгоритмыг танилцуулна. нь салбар ба багц алгоритмын гүйцэтгэл болон төвөгтэй байдлыг тоон утгаар нь тодорхойлох симуляцийн үр дүнг танилцуулна, мөн homogeneous сүлжээнд дүгнэлтийн гүйцэтгэлийг сайжруулдаг хуваалтын оршин тогтнох нөхцлүүдийг тайлбарлана. нь V хэсэг-ийн симуляцуудыг баталж, хэтэрхий өөр өөр туршилтын байгууламжид дүгнэлтийн гүйцэтгэлийн сайжруулалтыг харуулсан туршилтын үр дүнг танилцуулна. Эцэст нь, нь үр дүнг хэлэлцэж, энэ аргын өргөн хэрэглээний талаар дэлгэрэнгүй тайлбарлана. II хэсэг III хэсэг IV хэсэг V хэсэг VI хэсэг VII хэсэг II ХЭСЭГ. Суурь: Гүнзгийрүүлсэн сургалт Машины сургалтын салбарт Гүнзгийрүүлсэн сургалт (DL) нь DNN-ийг ашигладаг аргуудыг хэлнэ, *жишээ нь*, нэгээс олон нууцлагдсан үе шаттайгаар зохион байгуулагдсан хиймэл нейроны сүлжээнүүд (эсвэл холбогдох машины сургалтын аргууд). Гүнзгийрүүлсэн сургалтын архитектурт хамгийн эртний эшлэлүүдийн нэг нь 1967 онд хэвлэгдсэн боловч, DL нь 2010-аад онд анх дуу хоолойг танихад, дараа нь өндөр хэмжээст мэдээлэл дэх нарийн төвөгтэй харилцааг ойлгох чадвараар дүрсэн дэх объектыг танихад хурдацтай хөгжсөн. Гүнзгийрүүлсэн сургалт нь 2022 онд AI програмуудын ихэнх хувийг эзэлдэг бөгөөд байгууллагуудын 75% -иас илүү нь уламжлалт аргуудыг ашиглаж болох програмуудад DNN-ийг ашигладаг. DL аргууд нь “*зохицуулагдах холболтын бат бөх байдал бүхий нарийн төвөгтэй алгебрийн хэлхээний хэлбэрийг авдаг машины сургалтын аргууд*” гэж тодорхойлогдсон. . Эдгээр алгебрийн хэлхээ нь ихэвчлэн үе шатуудад зохион байгуулагддаг бөгөөд энэ нь тооцооллын алхмуудыг бүрдүүлдэг. *Гүн* гэсэн нэр томъёо нь нэгээс олон үе шаттай алгоритмуудыг илэрхийлдэг. [](javascript:void()) [](javascript:void()) DNN-ийн хоёр үндсэн бүтэц байдаг: урьдчилсан нейроны сүлжээ ба давталттай нейроны сүлжээ. DNN-ийн хоёр төрөл нь тооцоололтын графикууд шиг илэрхийлэгдэх боломжтой бөгөөд гол ялгаа нь урьдчилсан сүлжээнүүд нь шууд хугацаагүй графикууд (DAGs) шиг илэрхийлэгдэх боломжтой байдаг бол давталттай нейроны сүлжээнүүд нь мөчлөг агуулж болно. Давталттай нейроны сүлжээнүүд нь мэдээллийн дарааллаар зохиогддог бөгөөд тэнд тухайн мэдээллийн цэг нь дарааллын өмнөх мэдээллийн цэгүүдтэй харилцан үйлчлэх боломжтой байдаг бол урьдчилсан сүлжээнүүд нь мэдээллийн дарааллын цэгүүдийн хоорондох харилцан үйлчлэлийг харгалзан үзэхгүй. Энэ өгүүллийн цаашид урьдчилсан DNN-ийн тохиолдлыг авч үзэх болно. 5 III ХЭСЭГ. Хуваагдсан дүгнэлтийн загварчлал Энэхүү хэсэг нь DNN болон сүлжээний шинж чанарыг илэрхийлэх загварыг танилцуулж, тооцоололтын латент байдал, дамжуулалтын латент байдал, болон аль нэг хуваалтын шийдлийн эцсийн дүгнэлтийн гүйцэтгэлийг урьдчилан таамаглах боломжийг олгодог. A. DNN болон сүлжээний илэрхийлэл N үе шаттай урьдчилсан DNN нь DAG GA=(L,E) шиг загварчлагдсан бөгөөд L=(L1,…,LL) нь DNN-ийн үе шатууд юм. Хэлхээ (Li,Lj)∈E нь Li ба Lj үе шатуудын хоорондох холболтууд юм. Тухайн үе шат Li нь тооцоололтын өртөг ci-тай холбоотой бөгөөд энэ нь үе шатаар дамжин нэг урсгалтай үйл ажиллагааны тоогоор хэмжигддэг. Хэлхээ (Li,Lj) нь Li ба Lj үе шатуудын хооронд дамжих мэдээллийн хэмжээг байтаар илэрхийлсэн si,j жинтэй байна. Физик сүлжээ нь N=(N1,…,NN) нь тооцоололтын төвүүдийн багц ба V нь төвүүдийн хоорондох холболтуудын багц бүхий бүрэн холбогдсон график G=(N,V) шиг загварчлагдсан. Тооцоололтын төвүүд N1,…,NN нь тус тус η1,…,ηN хурдтай байдаг бөгөөд энэ нь секундэд хийх нэгж тооцоололтын үйл ажиллагааны тоогоор хэмжигддэг. Эцэст нь, хоёр хөрш төв Na ба Nb-ийн хоорондох холболтын дамжуулалт нь θa,b байдлаар илэрхийлэгддэг бөгөөд секундэд байтаар хэмжигддэг. Төв Ni нь өөрөө өөртэйгээ төгс дамжуулалттай холбогдсон байдаг нь loopback холболтыг илэрхийлдэг, мөн холболтууд нь тэнцүү байдаг гэж үздэг, *жишээ нь*, θa,b=θb,a. Хуваалтууд нь P:L→N гэсэн зураглал шиг тодорхойлогддог, *жишээ нь*, хуваалт нь DNN дахь тухайн үе шат бүрт төхөөрөмжийн дугаарыг хуваарилдаг. Хуваалтыг N×L хэмжээтэй P матрицаар илэрхийлж болно, N нь сүлжээний төхөөрөмжүүдийн тоо, L нь DNN үе шатуудын тоо бөгөөд Pa,i=1 байвал үе шат Li нь төхөөрөмж Na дээр байрладаг, 0 байвал үгүй. Зургаан 2-т өгөгдсөн жишээнд, L=7 үе шат ба N=2 тооцоололтын төвүүд, {L1,L2,L3,L6,L7} үе шатуудыг N1 төхөөрөмж дээр, {L4,L5} үе шатуудыг N2 төхөөрөмж дээр байрлуулсан нь дараах байдлаар илэрхийлэгддэг: Өгөгдсөн хуваалтаас, *урсгал* нь хо