Clouds-г ашиглахгүйгээр AI-г хурдан ажиллуулах болсон шалтгаан

Зохиогчид: Томас Фелтин Лео Марчо Хуан-Антонио Кордеро-Фуэртес Фрэнк Брокнерс Томас Х. Клаусен Хураангуй: Үр ашигтай байдлын шаардлагыг хангахын тулд урсгал өгөгдөл дээр гүн нейроны сүлжээ (DNN) нь нөөц шаардлагатай байдаг. Гэсэн хэдий ч, алсын үйлчилгээний зардлын улмаас хувийн нууцлалд мэдрэмтгий байдаг гүн давхаргын програмууд нь өгөгдөл дамжуулах зардал болон гуравдагч этгээдэд итгэх итгэлгүй байдлаас болж боловсруултыг алсын үүл рүү шилжүүлж чадахгүй. Хязгаарлагдмал орчинд боловсруулалтыг хадгалж байх үед гүйцэтгэлийг нэмэгдүүлэх шийдлүүдийн дунд, техник хангамжийн хурдасгагч нь хүндрэлтэй байж болох бөгөөд загвар оновшилтыг хийх нь нарийвчилсан загварчлал шаарддаг бөгөөд энэ нь нарийвчлалыг бууруулдаг. DNN хуваалт нь гурав дахь нэмэлт арга бөгөөд энэ нь хэд хэдэн боломжит захын төхөөрөмжүүдэд нэгтгэх ажлыг хуваарилах, захын сүлжээний шинж чанар болон DNN бүтцийг харгалзан үзэж, нэгтгэх үр ашгийг (секундэд нэгтгэх тоо) хамгийн их байлгах зорилготой юм. Энэхүү цаас нь олон утастай хуваагдсан DNN байршуулгын хувьд нэгтгэх болон дамжуулах хугацааг таамаглах арга, болон нэгтгэх үр ашгийг хамгийн их байлгах оновшилтын процессыг тодорхойлж байна. Дараа нь салбар болон хязгаарлалтын шийдвэрлэгч нь гүйцэтгэлийг тооцоолох, болон нарийн төвөгтэй байдлыг тооцоолоход танилцуулагдаж, шинжилгээ хийгдсэн. Энэхүү шинжилгээ нь хурдасгах бүсийг тодорхойлоход хүргэсэн бөгөөд энэ нь DNN болон сүлжээний шинж чанаруудын дор DNN хуваалт нь ашигтай байх тодорхой нөхцлүүдийг тайлбарладаг. Эцэст нь, туршилтын үр дүн нь симуляцийг баталж, захын байршуулгын жишээнд нэгтгэх үр ашгийг нэмэгдүүлж байгааг харуулсан. Зах дээрх DNN хуваалт нь нэгтгэх үр ашгийг хурдасгаж, мөн төвлөрсөн серверүүд, жишээлбэл, үүл рүү дамжуулах хэрэглээ болон хугацааг бууруулдаг. Танилцуулга 2020 онд холбогдсон төхөөрөмжүүд өдөр бүр ойролцоогоор 2.5 квинтиллион байт мэдээлэл үүсгэсэн. Энэхүү нөхцөл байдалд, хиймэл оюун ухаан (AI) нь үүсч буй мэдээллийн хэмжээг даван туулах хамгийн сайн технологиудын нэг юм. Үүнд компьютер харах, нүүр таних, дуу таних, байгалийн хэл боловсруулах, эсвэл автономит жолоодлого зэрэг салбарууд багтана. AI, ялангуяа гүн давхаргын (DL) нь их хэмжээний мэдээлэл, их хэмжээний боловсруулах чадал, санах ой шаарддаг тул үүлийг AI ажлын байрны үндсэн шийдэл болгодог. Үүний үр дүнд, 2019 онд AI ажлын 96% нь үүлэнд хийгдэж байжээ. AI програмууд нь өндөр хугацааны хязгаарлалттай байж болно, жишээлбэл, автономит жолоодлого, үйлдвэрлэлийн хяналт, эсвэл бодит цагийн нэгтгэлд оролцдог аливаа програмууд. Жишээлбэл, автономит жолоодлогын дундаж хариу өгөх хугацаа нь 100 миллисекундээс бага байх шаардлагатай, энэ нь үүл рүү буцах хугацааг ийм програмуудад хэтэрхий урт болгодог. Үүнтэй адилаар, зарим програмууд нь сүлжээнд их хэмжээний холболт ашиглаж болно, жишээлбэл, компьютер харахын өндөр чанартай видео боловсруулалтын тохиолдолд, энэ нь үүлэнд ажиллахаас сэргийлдэг. Мэдээллийн нууцлалын бодлого эсвэл мэдээллийн хамгаалалтын журам нь мэдээллийг тодорхой орчноос гаргахыг хориглож болно. Энэ нь AI-г захын тооцоололд нэвтрүүлж, энэ нь мэдээллийн эх үүсвэрт ойрхон, захын төхөөрөмжүүдээс алсын байгууламжаас боловсруулах ажлыг шилжүүлэхэд ордог. Үүлэн системтэй харьцуулахад, зах нь хязгаарлагдмал нөөцтэй орчин бөгөөд чухал хязгаарлалтуудтай, тиймээс захын AI-г хөгжүүлэх нь үүлний AI-г хөгжүүлэхээс ялгаатай. Мэдээллийг эх сурвалжид нь ойрхон байлгах нь төхөөрөмжийн бага чадавхи, боломжит нөөцийн уян хатан бус байдал, болон захын сүлжээнүүдийн янз бүрийн байдлаас болж хүндрэлтэй байж болно. Боловсруулах чадварыг бууруулах нь нэгтгэх үр ашгийг бууруулдаг, энэ нь үүлнээс хүнд ажлыг зах руу шилжүүлэхийг улам хүндрүүлдэг. Зарим програмуудад, нэгтгэх үр ашиг, өөрөөр хэлбэл, DNN-ийн секундэд нэгтгэх чадвар нь DNN нарийвчлалтай холбоотой байж болно, жишээлбэл, видео урсгалд объектийг таних үед, секундэд 15-аас 5 нэгтгэл рүү буурах нь объектийг илрүүлэгчийн F1 оноог 10% -иар бууруулсан болох нь тогтоогдсон. Өөрөөр хэлбэл, бага нэгтгэх үр ашигтай байршуулгууд нь чухал мэдээллийг алдахад хүргэж болно, жишээлбэл, видео хяналтын програмуудад илрүүлэлтийг алдах. Хязгаарлагдмал захын сүлжээн дээр гүйцэтгэлийн шаардлагыг хангах хоёр үндсэн арга байдаг: загвар хэмжих эсвэл техник хангамжийн хурдасгагч. *Загвар хэмжих* нь нейроны сүлжээнүүдийг бага, ихэвчлэн гүйцэтгэл муутай хувилбарт болгон бууруулж, оновшилтоор хийхэд ордог. Стандарт загвар хэмжих аргууд нь сүлжээн дэх илүүдэл параметрүүдийг хасах, өөрөөр хэлбэл, сүлжээний хувьд санах ойг бууруулах, өөрөөр хэлбэл, том сүлжээнээс авсан мэдлэгийг ашиглан жижиг нейроны сүлжээг сургах, болон нэг загвар хуваах, тоон хэмжээг бууруулах, мөн мэдлэгийг хуваалцах зэрэг орно. Загвар оновшилтыг хийх нь их хэмжээний зохион байгуулалт шаарддаг бөгөөд загвар нарийвчлалд саад учруулж болно. *Техник хангамжийн хурдасгагч* нь захын төхөөрөмж дээрх нь гүйцэтгэл сайтай байх ёстой, гэхдээ энэ нь эрчим хүчний хэмнэлттэй, хөнгөн байх ёстой. Хурдасгахын тулд захын төхөөрөмжүүд дээр хэд хэдэн төрлийн техник хангамж байдаг, гэхдээ стандарт боловсруулах нэгжүүд нь хүлээлтэд хүрэхгүй, хувийн тохирох техник хангамж нь үнэтэй, практик бус байдаг. DNN хуваалт нь захын сүлжээнд байгаа олон тооны төхөөрөмжүүдийг ашиглан нэгтгэх боловсруулалтыг хуваарилах замаар нэгтгэх хурдасгах нэмэлт арга юм. Энэ нь ганцаараа эсвэл бусад хоёр аргын хамт ашиглаж болно. DNN хуваалт нь сүлжээний хэсгүүдийг хуваах цэгүүдийг тодорхойлох, энэ нь загвар граф дахь загварыг хуваах цэгүүд юм. Ашиглалтын үед, хуваалтууд нь дарааллан ажилладаг, тус бүр нь дараагийн хуваалтанд дундын нэгтгэх үр дүнг дамжуулдаг. Энэ нь нэгтгэх үр ашгийг нэмэгдүүлдэг, энэ нь зураг 1-д үзүүлсэн. Энэ цаасны үлдсэн хэсэгт, DNN хуваалт нь видео урсгал дээр бодит цагийн нэгтгэх жишээгээр тайлбарлагдана. A. Холбогдох ажил DNN хуваалт хийх аргууд, гар утасны зах-үүл шилжүүлэлтээс үүдэлтэй, боловсруулах хугацаа, эрчим хүчний хэрэглээ, нөөц ашиглалт, зардал, эсвэл үр ашиг зэрэг янз бүрийн гүйцэтгэлийн үзүүлэлтүүдийг оновшилтоор хийх зорилготой. DNN хуваалт нь оновшилтын зорилгыг тодорхойлохын тулд эдгээр үзүүлэлтүүдийн нэгийг эсвэл хэд хэдэн үзүүлэлтийг холбоход, болон хуваалтын схемийг олоход ашигладаг аргыг тулгуурладаг. Жишээлбэл, Neurosurgeon нь хугацаа болон эрчим хүчний хэрэглээг бууруулахын тулд нэг хуваалтын цэгийг хайж, эхний хуваалтыг зах дээр хадгалж, хоёр дахь хуваалтыг үүл рүү шилжүүлдэг. IoT програмууд нь эрчим хүч, хоцролт, болон/эсвэл зардлыг оновшилтоор хийх зорилгоор хэд хэдэн DNN-ийн хамтарсан хуваалт болон шилжүүлэлтийг авч үзсэн. Жишээлбэл, SPSO-GA нь Particle Swarm Optimization (PSO) болон Genetics Algorithm (GA) -ийг хослуулсан, эсвэл DDPQN нь хуваалтын схемийг олоход Deep Reinforcement Learning ашигладаг. Бусад жишээнд DINA орно, энэ нь Integer Non Linear Programming (INLP) асуудлыг тодорхойлдог, мөн fog сүлжээнүүдэд хугацаа болон нөөц ашиглалтыг оновшилтоор хийхэд зориулсан тохирох онол дээр суурилсан шийдвэрлэгчийг ашигладаг. Нэгтгэх үр ашгийг оновшилтоор хийх аргуудад DNN surgery орно, энэ нь дундын DNN давхаргын гаралтын бага хэмжээг ашиглан зах болон үүлэнд нэгтгэх боловсруулалтыг хуваана. Аль ч алгоритм нь хоёр хуваалтыг бий болгодог, нэг нь зах дээр, нөгөө нь үүлэн дээр. Гар утасны зах-үүл -ийн чиглэлээр хийсэн бусад судалгаанууд нь ерөнхий нэгтгэх үр ашгийг хурдасгахын тулд үүлэн дэх олон утастай боловсруулалтыг багтаадаг. Хоёр дахь хуваалтын нэгтгэх боловсруулалтыг үүлнээс авах нь сайн сүлжээний холболтыг шаарддаг, энэ нь зарим тусгаарлагдсан захын байршуулгын муу холболттой үед тодорхойгүй байж болно. Edgent нь өмнөх аргыг гар утасны төхөөрөмжүүд болон боломжит захын серверүүдэд тохируулж, үүл рүү шилжүүлэх хязгаарлалтыг сулруулдаг. Энэ арга нь тодорхой сургалт болон загвар архитектуртай холбоотой бөгөөд хуваалтыг хоёр хуваалттай хязгаарладаг. Бусад аргууд нь олон хуваалтын цэгүүдийг авч үзсэн, жишээлбэл, IONN, энэ нь хугацаа болон эрчим хүчний хэрэглээг бууруулахын тулд хуваалтын асуудлыг тайлбарладаг, мөн загвар хуваалт хийх хугацааг авч үздэг. Эдгээр аргууд нь алсын үүлстэй харьцдаг, эсвэл хуваалтын байгальд хязгаарлагддаг, жишээлбэл, яг хоёр хэсэгт хуваах шаардлагатай, олон утастай эсвэл үгүй. Дурьдсан DNN хуваалтын судалгаанаас хэн ч олон хуваалтын цэг болон олон утас хоёуланг нь авч үзээгүй. B. Хувь нэмэр Энэхүү цаас нь бодит цагийн DNN боловсруулалтын урсгал мэдээлэл дээр нэгтгэх үр ашгийг хамгийн их байлгах хуваагдсан нэгтгэх системийн талаар танилцуулж байна. Энэ нь олон хуваалтын цэг болон олон утастай хуваалтыг ашигладаг. Энэ цаасны хувь нэмэр дараах байдалтай байна: Хуваагдсан DNN-ийн боловсруулалтын болон дамжуулалтын хугацааг тооцоолох загвар, үүгээр дамжуулан тодорхой хуваалтын схемийн хүлээгдэж буй нэгтгэх үр ашгийг тооцоолох боломжтой. DNN хуваалтын оновшилтын асуудлыг томъёолох, энэ асуудлын салбар болон хязгаарлалтын шийдвэрлэгчийг хэрэгжүүлэх, болон түүний нарийн төвөгтэй байдлыг үнэлэх. Сүлжээ болон DNN шинж чанаруудыг өөрчлөх үед боломжит гүйцэтгэлийн сайжруулалтыг судлах симуляци. Оновтой хуваалтуудын орших байдалд хүргэдэг тодорхой бүсүүдийг тодорхойлох, болон ийм шийдлүүдийг тооцоолох зардал, өөрөөр хэлбэл, DNN хуваалт нь ашигтай байх нөхцлүүд. Симуляцийн бүсүүдийг харуулсан туршилтын үр дүн, мөн нэгэн төрлийн болон өөр өөр төрлийн орчинд тооцооллын нарийвчлал болон эцсийн нэгтгэх үр ашгийн сайжруулалтыг харуулсан. Энэ цаасны үлдсэн хэсэгт, төөрөгдлийг арилгахын тулд, хуваагдсан гүн нейроны сүлжээ нь *DNN* гэж нэрлэгдэх бөгөөд *сүлжээ* гэдэг үг нь доор байрлах харилцааны физик сүлжээг илэрхийлнэ. C. Цаасны тойм Энэ цаасны үлдсэн хэсэг дараах байдалтай байна. [II] хэсэг нь Гүн Давхаргын тухай суурь мэдээлэл болон энэ судалгаанд DNN-ийг хэрхэн дүрсэлж байгааг тайлбарлана. [III] хэсэг нь [IV] хэсэгт шаардлагатай нэгтгэх болон дамжуулах хугацааны загварчлалыг дэлгэрэнгүй тайлбарлана, энэ нь оновшилтын асуудлыг тодорхойлдог, мөн хуваалтын шийдвэр гаргах салбар болон хязгаарлалтын алгоритм. [V] хэсэг нь салбар болон хязгаарлалтын алгоритмын гүйцэтгэл болон нарийвчлалыг тооцоолох симуляцийн үр дүнг танилцуулна, мөн нэгэн төрлийн сүлжээнд нэгтгэх үр ашгийг сайжруулдаг хуваалтын орших байдлыг бий болгодог нөхцлүүд. [VI] хэсэг нь [V] хэсгийн симуляцийг баталж, өөр өөр төрлийн туршилтын зохицуулалт дээр нэгтгэх үр ашгийн сайжруулалтыг харуулсан туршилтын үр дүнг танилцуулна. Эцэст нь, [VII] хэсэг нь үр дүнг хэлэлцэж, энэ аргын илүү өргөн хэрэглээний талаар дэлгэрэнгүй тайлбарлана. II ХЭСЭГ. Суурь: Гүн Давхаргын Машины сургалтын салбарт, Гүн Давхаргын (DL) нь DNN-ийг ашигладаг аргуудтай холбоотой байдаг, өөрөөр хэлбэл, нэгээс илүү нуугдмал давхаргатай хиймэл нейроны сүлжээнүүд (эсвэл холбогдох машины сургалтын аргууд). Гүн давхаргын архитектурын тухай хамгийн эртний дурьдлуудын нэг нь 1967 онд хэвлэгдсэн, гэхдээ DL нь 2010-аад онд анх дуу таних, дараа нь зураг дээр объектыг таних чиглэлээр хүчтэй болсон, өндөр хэмжээст мэдээлэлд байгаа төвөгтэй харилцааг авах чадвартай. Гүн давхаргын нь 2022 онд AI програмуудын дийлэнхийг эзэлдэг гэж таамаглаж байна, 75% -иас илүү байгууллага нь сонгодог аргуудыг ашиглаж болох програмуудад DNN-ийг ашигладаг. DL аргууд нь “*сургалтын хүчийг тохируулах боломжтой холболтуудтай төвөгтэй алгебрийн хэлхээний хэлбэртэй байдаг*” гэж тодорхойлогдсон. Эдгээр алгебрийн хэлхээнүүд нь ихэвчлэн давхаргуудад зохион байгуулагддаг, энэ нь боловсруулалтын алхмуудыг бий болгодог. *Гүн* гэдэг үг нь нэгээс илүү давхаргатай алгоритмуудыг илэрхийлдэг. DNN-ийн хоёр үндсэн бүтэц байдаг: урьдчилан чиглэсэн нейроны сүлжээнүүд болон давталттай нейроны сүлжээнүүд. Аль аль нь DNN-ийг боловсруулах граф хэлбэрээр дүрсэлж болно, гол ялгаа нь урьдчилан чиглэсэн сүлжээнүүдийг шууд ациклик граф (DAG) хэлбэрээр дүрсэлж болно, харин давталттай нейроны сүлжээнүүд нь мөчлөгийг агуулж болно. Давталттай нейроны сүлжээнүүд нь мэдээллийн дарааллын хувьд баригдсан байдаг, энд өгөгдлийн элемент нь дарааллын өмнөх өгөгдлийн элементүүдтэй харилцан үйлчлэлцэж болно, харин урьдчилан чиглэсэн нейроны сүлжээнүүд нь мэдээллийн дарааллын элементүүдийн хоорондох харилцан үйлчлэлийг харгалзан үзэхгүй. Энэ цаасны үлдсэн хэсэг нь урьдчилан чиглэсэн DNN-ийн тохиолдлыг авч үзнэ. III ХЭСЭГ. Хуваагдсан нэгтгэх загварчлал Энэ хэсэг нь DNN болон сүлжээний шинж чанарыг дүрслэх загварыг танилцуулж, боловсруулах хугацаа, дамжуулах хугацаа, болон тодорхой хуваалтын шийдлийн эцсийн нэгтгэх үр ашгийг таамаглах болно. A. DNN болон сүлжээний дүрслэл N давхаргатай урьдчилан чиглэсэн DNN нь DAG GA=(L,E) хэлбэрээр дүрслэгддэг, энд L=(L1,…,LL) нь DNN-ийн давхаргууд юм. Ирмэгүүд (Li,Lj)∈E нь давхаргууд Li ба Lj хоорондын холболтууд юм. Тус бүр Li давхарга нь тодорхой ц хэмжээний боловсруулах зардалтай, энэ нь давхаргын дамжуулалтаар нэг урьдчилсан дамжуулалтыг хийхэд шаардлагатай флоат-цэг ажиллагааны тоо. Ирмэгүүд (Li,Lj) нь Li ба Lj хооронд дамжуулагдсан мэдээллийн хэмжээг байтаар илэрхийлсэн si,j жинтэй байдаг. Физик сүлжээ нь N=(N1,…,NN) нь боловсруулах нэгжүүдийн багц, V нь нэгжүүдийн хоорондох холболтуудын багц бүхий бүрэн холбогдсон граф G=(N,V) хэлбэрээр дүрслэгддэг. N1,…,NN боловсруулах нэгжүүд нь тус тусдаа η1,…,ηN хурдтай, флоат-цэг ажиллагаагаар секундэд хэмжигддэг. Эцэст нь, хоёр ойролцоо нэгж Na ба Nb хоорондын холболтын хурд нь θa,b, байтаар секундэд хэмжигддэг. Тус бүр Ni нэгж нь өөртөө төгсгөлгүй хурдтай холбогдсон байдаг нь loopback холболтыг илэрхийлдэг, мөн холболтууд нь симетригтэй гэж үздэг, өөрөөр хэлбэл, θa,b=θb,a. Хуваалтууд нь P:L→N хэлбэрээр тодорхойлогдоно, өөрөөр хэлбэл, хуваалт нь DNN-ийн тус бүр давхаргыг нэгж дугаарт хуваарилдаг. Хуваалтыг P хэмжээтэй (N×L) матрицын хэлбэрээр дүрсэлж болно, энд N нь сүлжээний нэгжүүдийн тоо, L нь DNN давхаргуудын тоо, мөн Pa,i=1 хэрэв Li давхарга нь Na нэгж дээр байрлаж байвал, 0 өөрөөр. Зураг 2-д үзүүлсэн жишээнд, L=7 давхарга, N=2 боловсруулах нэгжтэй, {L1,L2,L3,L6,L7} давхаргуудыг N1 нэгж дээр, {L4,L5} давхаргуудыг N2 нэгж дээр байрлуулсан хуваалт дараах байдалтай байна: Тодорхойлолтуудтай холбогдуулан, энэ хэсгийн үлдсэн хэсэг нь нэгтгэх (III-B хэсэг) болон дамжуулах (III-C хэсэг) хугацааны функц болгон тодорхой хуваалтаар олж авсан нэгтгэх үр ашгийг илэрхийлнэ. B. Нэгтгэх хугацааны таамаглал Тодорхой хуваалттай үед, энэ хэсэг нь нэгж дээр нэгтгэх хугацааны таамаглалыг авч үзнэ. Боловсруулалт ci-тэй Li давхаргыг боловсруулах хугацаа, Na нэгж дээр, ηa хурдтай, Tc(Na)=ci/ηa хэлбэрээр илэрхийлэгдэнэ. Na нэгж дээр гүйцэтгэх давхаргуудын багц L'⊂L, ηa хурдтай, нэгтгэх хугацааг дараах байдалтай илэрхийлж болно: Энэ илэрхийлэл нь DNN-ийг боловсруулахад шаардлагатай флоат-цэг ажиллагааны тоо (FLOPs) дээр суурилсан нэгтгэх хугацааны таамаглалын анхны тойм юм, өөрөөр хэлбэл, загварт байгаа үржүүлэх-нэмэх ажиллагааны тоо. Захын төхөөрөмж дээр нэгтгэх хугацааны таамаглалыг ашиглалтын үеийн оновшилтууд хүндрүүлдэг. nn-Meter гэх мэт одоогийн шийдлүүд FLOPs-д тулгуурлан нэгтгэх хугацааг таамагладаг. Бусад шийдлүүд нь хугацааны таамаглалын хувьд урьдчилан тооцоологдсон нэгтгэх хугацаатай lookup table-ийг тулгуурладаг. Жишээлбэл, BRP-NAS нь нэгтгэх хугацааг таамаглахын тулд урьдчилан бэлтгэгдсэн граф конволюцийн сүлжээг ашигладаг, мөн ашиглалтын үеийн загвар оновшилтыг харгалзан үздэг.