Яагаад таны хиймэл оюун ухаанд цаашид илүү хурдан ажиллахын тулд үүлэн технологи шаардлагагүй болов

```html Зохиогчид: Томас Фелтин Лео Марчо Хуан-Антонио Кордеро-Фуэртес Фрэнк Брокнерс Томас Х. Клаусен Хураангуй: Урсгал мэдээлэл дээр гүн нейрон сүлжээ (DNN) ашиглан дүгнэлт хийх нь дүгнэлтийн үйлдвэрлэлийн хурдны шаардлагыг хангахын тулд тооцоолох нөөцийг шаарддаг. Гэсэн хэдий ч, хоцрогдол болон нууцлалд мэдрэмтгий байдаг гүн цооролтын хэрэглээ нь дамжуулах зардал болон гуравдагч этгээдийн үүлэн тооцоологчдод итгэх итгэл дутагдсанаас болж тооцоололтыг алсын үүл рүү шилжүүлэх боломжгүй юм. Хадгалагдсан орчинд тооцоололтыг хийх явцад гүйцэтгэлийг сайжруулах шийдлүүдийн дунд, техник хангамжийн хурдатгал нь хүндрэлтэй байж болох бөгөөд загвар оновчлол нь нарийвчилсан зохион байгуулалтын хүчин чармайлтыг шаарддаг бөгөөд энэ нь нарийвчлалыг бууруулдаг. DNN хуваалт нь гурав дахь нэмэлт арга бөгөөд энэ нь хязгаарлагдмал орчинд байгаа олон тооны төхөөрөмжүүд дээр дүгнэлтийн ажлын ачааллыг хуваарилж, цооролтын сүлжээний шинж чанар болон DNN-ийн бүтэцийг харгалзан үзэж, дүгнэлтийн үйлдвэрлэлийн хурдыг (секундэд хийсэн дүгнэлтийн тоо) ихэсгэх зорилготой юм. Энэхүү цаасан дээр олон урсгалтай хуваарилагдсан DNN байршуулалтын дүгнэлт болон дамжуулах хоцрогдлыг урьдчилан таамаглах арга, мөн дүгнэлтийн үйлдвэрлэлийн хурдыг ихэсгэх оновчлолын үйл явцыг тодорхойлсон. Дараа нь салбар ба хязгаарлалтын шийдвэрлэгч нь гүйцэтгэсэн гүйцэтгэл болон нариу төвөгтэй байдлыг тоон утгаар илэрхийлэх зорилгоор танилцуулав. Энэхүү судалгаа нь хурдатгалын бүсийг тодорхойлоход хүргэсэн бөгөөд энэ нь DNN болон сүлжээний шинж чанарын дагуу DNN хуваалт нь ашигтай байх тодорхой нөхцлүүдийг тайлбарладаг. Эцэст нь, туршилтын үр дүн нь симуляцийг баталж, жишээ сүлжээнд байршуулах үед дүгнэлтийн үйлдвэрлэлийн хурдыг сайжруулж байгааг харуулсан. Сүлжээнд байршилтай DNN хуваалт нь үйлдвэрлэлийн хурдыг хурдатгалтай болгож, төвлөрсөн серверүүд, жишээ нь, үүлэн дээрх хэрэглээтэй харьцуулахад дамжуулах хэрэглээ болон хоцрогдлыг бууруулдаг. Оршил 2020 онд холбогдсон төхөөрөмжүүд өдөрт дунджаар 2.5 квинтиллион байт мэдээлэл үүсгэсэн. Энэхүү нөхцөлд, Хиймэл оюун ухаан (AI) нь компьютерийн хараа, нүүр царай таних, дуу хоолой таних, байгалийн хэл боловсруулах, эсвэл автономит жолоодлого зэрэг өргөн хүрээний салбарт үүсдэг мэдээллийн өсөн нэмэгдэж буй хэмжээг даван туулах хамгийн сайн технологиудын нэг юм. AI, ялангуяа Гүн цооролт (DL), их хэмжээний мэдээлэлээс гадна, их хэмжээний боловсруулах чадвар болон санах ойг шаарддаг бөгөөд энэ нь үүлэн тооцоололтыг AI ажлын ачааллыг байрлуулах шийдэл болгодог. Үүний үр дүнд, 2019 онд AI ажлын 96% нь үүлэн дээр гүйцэтгэгдсэн. 1 de facto 2 AI хэрэглээ нь их хэмжээний хоцрогдлын хязгаарлалттай байж болно, , автономит жолоодлого, үйлдвэрлэлийн хяналт, эсвэл бодит ертөнцийн харилцан үйлчлэлийг агуулсан ямар ч бодит цагийн дүгнэлт. Жишээлбэл, автономит жолоодлогын дундаж хариу үйлдэл цаг нь 100 миллисекундээс бага байх шаардлагатай , энэ нь үүлэн рүү буцах цагийг ийм хэрэглээнд хэтэрхий удаан болгодог. Үүнтэй адилаар, зарим хэрэглээ нь сүлжээнд их хэмжээний дамжуулалтыг бий болгож болно, , компьютерийн хараа дахь өндөр чанартай видео боловсруулалтын тохиолдолд, энэ нь тэдгээрийг үүлэн дээр ажиллуулахад саад болдог. Мэдээллийн нууцлалын бодлого эсвэл мэдээллийг хамгааллын зохицуулалт нь мэдээллийг тодорхой орчноос гадагш гаргахыг хориглож болно. Энэ нь AI-ийн байршлыг сүлжээний тооцоололтын ажлын байрыг мэдээллийн төвөөс сүлжээний төхөөрөмжүүд рүү, өөрөөр хэлбэл, мэдээллийн эх үүсвэрүүдийн ойролцоо шилжүүлэхийг урамшуулдаг. жишээ нь [[1]](javascript:void()) жишээ нь Үүлэн тооцоололтой харьцуулахад, сүлжээ нь нөөцөөр хязгаарлагдмал орчин бөгөөд чухал хязгаарлалттай , тиймээс сүлжээнд зориулсан AI хөгжүүлэх нь үүлэн дээр зориулсан AI хөгжүүлэхээс ялгаатай юм. Мэдээллийн эх үүсвэрийн ойролцоо мэдээллийг шинжлэх нь төхөөрөмжийн бага чадал, нөөцийн боломжит хязгаарлагдмал байдал, болон сүлжээний олон төрлийн байдлаас шалтгаалж бэрхшээлтэй байж болно. Тооцоолох чадварыг бууруулах нь ашиглагдах боломжтой дүгнэлтийн хурдыг бууруулдаг, энэ нь үүлнээс сүлжээнд байгаа хүнд ажлын ачааллыг шилжүүлэхийг улам хүндрүүлдэг. Зарим хэрэглээнд, дүгнэлтийн хурд, , DNN-ийн секундэд хийсэн дүгнэлтийн тоо, нь DNN-ийн нарийвчлалтай холбоотой байж болно, , видео урсгалд объектийг таних үед, энэ нь дүгнэлтийн хурдыг 15-аас 5 дүгнэлт/секунд болгон бууруулсан нь объектийг илрүүлэгчийн F1 оноо__3__-ыг 10% бууруулсан нь тогтоогдсон. Өөрөөр хэлбэл, бага дүгнэлтийн хурдтай байршуулалт нь чухал мэдээллийн алдагдалд хүргэж болно, , видео хяналтын хэрэглээнд илрүүлэлт алдах нь. [[2]](javascript:void()) жишээ нь жишээ нь [[3]](javascript:void()) жишээ нь Хязгаарлагдмал сүлжээнд гүйцэтгэлийн шаардлагыг хангахын тулд хоёр үндсэн арга байдаг: загвар шахалт эсвэл техник хангамжийн хурдатгал. нь мэдрэлийн сүлжээг бага, ихэвчлэн гүйцэтгэл нь багатай хувилбарт бууруулж, оновчтой болгох явдал юм. Стандарт загвар шахалтын аргууд нь цэвэрлэгээ , , загвар дахь шаардлагагүй параметрийг арилгах, тоон хэмжээ , , загварыг хадгалах санах ойн зайг бууруулах, болон мэдлэг суулгах , , том загвараас мэдлэгийг гаргаж авч жижиг мэдрэлийн сүлжээг сургах явдал юм. Загвар оновчлол нь их хэмжээний зохион байгуулалтын хүчин чармайлтыг шаарддаг бөгөөд загвар нарийвчлалд саад болж болно. нь сүлжээний төхөөрөмж дээр эрчим хүчний хувьд үр ашигтай, хөнгөн байх, мөн хангалттай гүйцэтгэлтэй дүгнэлт хийх чадвартай техник хангамжийг олох явдал юм. Сүлжээнд хурдатгалд зориулсан янз бүрийн төрлийн техник хангамж байдаг бөгөөд үр ашиг болон онцлог шинж чанараараа ялгаатай байдаг, гэхдээ стандарт боловсруулах нэгж нь хүлээлтийг хангадаггүй бөгөөд ASIC зэрэг зориулалтын техник хангамж нь тохиромжгүй бөгөөд үнэтэй байдаг нь тогтоогдсон. Загвар шахалт [[4]](javascript:void()) жишээ нь [[5]](javascript:void()) жишээ нь [[6]](javascript:void()) жишээ нь Техник хангамжийн хурдатгал [[7]](javascript:void()) DNN хуваалт нь одоо байгаа сүлжээний төхөөрөмжүүдийн олон талт байдлыг ашиглан дүгнэлтийн боловсруулалтыг хуваарилах замаар дүгнэлтийг хурдатгах нэмэлт арга юм – энэ нь ганцаараа эсвэл бусад хоёр аргын хамт хэрэглэгдэж болно. DNN хуваалт нь мэдрэлийн сүлжээг хуваалтуудад хуваах конвейер гэж үзэж, эдгээр хуваалтуудыг сүлжээний төхөөрөмжүүд дээр хуваарилах явдал юм. Эдгээр хуваалтуудыг байрлуулах нь DNN болон доод сүлжээний шинж чанаруудад суурилдаг. DNN хуваалт нь хуваалтын цэгүүдийг тодорхойлохт суурилдаг бөгөөд энэ нь загвар нь хуваалтуудад хуваагддаг загвар график дахь цэгүүд юм. Гүйцэтгэлийн явцад, хуваалтууд дарааллан ажилладаг, тус бүр нь дараагийн хуваалтад завсрын дүгнэлтийн үр дүнг дамжуулдаг. Энэ нь тус бүр нь дараагийн оролтын мэдээллийг боловсруулах үед хуваалтыг боловсруулах боломжийг олгодог бөгөөд энэ нь дүгнэлтийн үйлдвэрлэлийн хурдыг сайжруулдаг, -д үзүүлсэн шиг. Энэхүү цаасан дээр DNN хуваалтыг видео урсгалд бодит цагийн дүгнэлтийн жишээгээр тайлбарласан. зураг 1 А. Холбогдох ажил Гар утасны сүлжээ-үүүлэн шилжүүлэлтээс гаралтай DNN хуваалтын аргууд нь боловсруулах хоцрогдол, эрчим хүчний хэрэглээ, нөөцийн ашиглалт, зардал, эсвэл үйлдвэрлэлийн хурд зэрэг янз бүрийн гүйцэтгэлийн үзүүлэлтүүдийг оновчтой болгохыг эрмэлздэг. DNN хуваалт нь оновчлолын зорилгыг тодорхойлохын тулд эдгээр үзүүлэлтүүдийн нэг эсвэл хэд хэдэн зүйлийг холбоход суурилдаг бөгөөд хуваалтын схемийг олоход энэ үзүүлэлтийг ашигладаг арга юм. Жишээлбэл, Neurosurgeon нь хоцрогдол болон эрчим хүчний хэрэглээг багасгахын тулд нэг хуваалтын цэгийг хайдаг, эхний хуваалтыг сүлжээнд хадгалж, хоёр дахь хуваалтыг үүл рүү шилжүүлдэг. IoT хэрэглээ нь мөн эрчим хүч, саатал, болон/эсвэл зардлыг оновчтой болгохын тулд хэд хэдэн DNN-ийн хамтарсан хуваалт болон шилжүүлэлтийг авч үзсэн бөгөөд SPSO-GA нь Particle Swarm Optimization (PSO) болон Genetics Algorithm (GA)-ийг хослуулсан, эсвэл DDPQN нь хуваалтын схемийг олоход Deep Reinforcement Learning ашигладаг зэрэг янз бүрийн шийдвэрлэгчийг ашигладаг. Бусад жишээнд DINA орно, энэ нь Integer Non Linear Programming (INLP) асуудлыг тодорхойлж, fog сүлжээнд саатал болон нөөцийн ашиглалтыг оновчтой болгохын тулд тохирох онол дээр суурилсан шийдвэрлэгчийг ашигладаг. Дүгнэлтийн үйлдвэрлэлийн хурдыг оновчтой болгох аргууд нь DNN surgery орно, энэ нь завсрын DNN давхаргын гаралт бага хэмжээг ашиглан сүлжээ болон үүл хооронд дүгнэлтийн боловсруулалтыг хуваадаг. Хоёр алгоритм нь хоёр хуваалт үүсгэдэг, нэг нь сүлжээнд, нөгөө нь үүлэн дээр байрладаг. Гар утасны сүлжээ-үүүлэн салбарт бусад судалгаанууд нь нийт дүгнэлтийн үйлдвэрлэлийн хурдыг хурдатгахын тулд үүлэн доторх олон урсгалтай боловсруулалтыг агуулдаг. Хоёр дахь хуваалтын дүгнэлтийн боловсруулалтанд үүлэн дээр найдах нь сайн сүлжээний холболтыг шаарддаг, энэ нь зарим тусгаарлагдсан сүлжээнд байршуулалтын муу холболттой байвал эргэлзээтэй байж болно. Edgent нь өмнөх арга зүйг гар утасны төхөөрөмж болон боломжит сүлжээний серверүүдэд тохируулж, үүл рүү шилжүүлэх шаардлагыг сулруулдаг. Энэ арга нь тодорхой сургалт болон загвар бүтэцтэй холбоотой бөгөөд хуваалтыг хоёр хуваалтаар хязгаарладаг. Бусад аргууд нь олон хуваалтын цэгүүдийг авч үзсэн, , IONN , энэ нь хоцрогдол болон эрчим хүчний хэрэглээг багасгахын тулд хуваалтын асуудлыг тайлбарлаж, мөн сүлжээний серверүүд рүү загварыг байршуулах цагийг харгалзан үздэг. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) жишээ нь [[15]](javascript:void()) Эдгээр аргууд нь алсын үүлстэй харьцдаг, эсвэл хуваалтын шинж чанарт хязгаарлагддаг, , яг хоёр хэсэгт хуваах шаардлагатай, олон урсгалтай эсэхээс үл хамааран. Жагсаасан DNN хуваалтын судалгаануудаас хэн ч олон хуваалтын цэг болон олон урсгалтай байдлыг харгалзан үзээгүй. жишээ нь Б. Хувь нэмэр Энэхүү цаасан дээр видео мэдээллийн урсгалын бодит цагийн DNN боловсруулалтын дүгнэлтийн үйлдвэрлэлийн хурдыг ихэсгэх зорилгоор олон хуваалтын цэг болон олон урсгалтай хуваалт бүхий хуваарилагдсан дүгнэлтийн хүрээг танилцуулсан. Энэхүү цаасан дээрх хувь нэмэр нь дараах байдалтай байна: Тодорхой хуваалтын схемийн төлөвлөсөн дүгнэлтийн үйлдвэрлэлийн хурдыг тооцоолж болох хуваарилагдсан DNN-ийн боловсруулах болон дамжуулах хоцрогдлыг тооцоолох загвар. DNN хуваалтын оновчлолын асуудлыг томъёолох, энэ асуудлыг шийдвэрлэх салбар ба хязгаарлалтын шийдвэрлэгчийг хэрэгжүүлэх, болон түүний нариу төвөгтэй байдлыг үнэлэх. Сүлжээ болон DNN-ийн янз бүрийн шинж чанаруудаар боломжит гүйцэтгэлийн сайжруулалтыг судлах симуляци. Оновчтой хуваалтуудын оршин тогтнох нөхцлүүдийг тодорхойлдог сүлжээний болон DNN шинж чанарын тодорхой бүсүүдийг тодорхойлох болон ийм шийдлүүдийг боловсруулах зардал, өөрөөр хэлбэл DNN хуваалт ашигтай байх нөхцөл. Симуляцид тодорхойлсон бүсүүдийг харуулсан туршилтын үр дүн, мөн ижил төстэй болон янз бүрийн орчинд тооцооллын нарийвчлал болон эцсийн дүгнэлтийн үйлдвэрлэлийн хурдны сайжралтыг харуулсан. Цаашид энэхүү цаасан дээр, андуурлаас зайлсхийхийн тулд, хуваарилагдсан гүн нейрон сүлжээ нь гэж нэрлэгдэх бөгөөд гэсэн үг нь доод физик харилцаа холбооны сүлжээг илэрхийлнэ. DNN сүлжээ В. Цаасан хураангуй Энэхүү цаасан дээр дараах байдлаар зохион байгуулагдсан. нь Гүн цооролтын суурь мэдлэг болон энэхүү судалгаанд DNN-ийг хэрхэн илэрхийлж байгааг танилцуулна. нь дүгнэлт болон дамжуулах хоцрогдлыг тооцоолох аргыг дэлгэрэнгүй тайлбарласан, энэ нь -т ашиглагдана, энэ нь оновчлолын асуудлыг тодорхойлж, мөн хуваалтын шийдвэр гаргах салбар ба хязгаарлалтын алгоритмийг тайлбарлана. нь салбар ба хязгаарлалтын алгоритмийн гүйцэтгэл болон нариу төвөгтэй байдлыг тоон утгаар илэрхийлэх симуляцийн үр дүнг танилцуулна, мөн ижил төстэй сүлжээнд дүгнэлтийн үйлдвэрлэлийн хурдыг сайжруулдаг хуваалт оршин тогтнох нөхцлүүдийг тайлбарлана. нь V хэсгийн симуляцийг баталж, янз бүрийн туршилтын тохиргоонд дүгнэлтийн үйлдвэрлэлийн хурдыг сайжруулж байгааг харуулсан туршилтын үр дүнг танилцуулна. Эцэст нь, нь үр дүнг хэлэлцэж, энэ аргын өргөн хүрээний хэрэглээг өргөжүүлнэ. II хэсэг III хэсэг IV хэсэг V хэсэг VI хэсэг VII хэсэг II ХЭСЭГ. Суурь мэдлэг: Гүн цооролт Машин суралцах салбарт, Гүн цооролт (DL) нь DNN-ийг ашигладаг аргуудтай холбоотой байдаг, , арван нэгэн давхаргыас илүүтэй хиймэл мэдрэлийн сүлжээнүүд (эсвэл холбогдох машин суралцах аргууд). Гүн цооролтын архитектурын хамгийн эртний ишлэлүүдийн нэг нь 1967 онд хэвлэгдсэн , гэхдээ 2010-аад он хүртэл DL нь дуу хоолой таних, дараа нь зураг дахь объект таних зэрэгт асар их нөлөө үзүүлсэн, учир нь энэ нь өндөр хэмжээст мэдээлэл дахь нариу төвөгтэй харилцааг барих чадвартай байдаг. Гүн цооролт нь 2022 онд AI хэрэглээний дийлэнхийг эзэлнэ гэж тооцоолж байна, байгууллагуудын 75% -иас илүү хувь нь сонгодог аргуудыг ашиглаж болох хэрэглээнд зориулж DNN-ийг ашигладаг. DL аргууд нь “ ” гэж тодорхойлогдсон. Эдгээр алгебрийн хэлхээнүүд нь ихэвчлэн давхаргуудад зохион байгуулагддаг, энэ нь боловсруулалтын алхмуудыг бүрдүүлдэг. гэсэн үг нь нэгээс илүү давхаргыг агуулсан алгоритмуудыг илэрхийлдэг. жишээ нь [[16]](javascript:void()) 4 даалгавар нь тохируулах холболтын бат бөх байдал бүхий нарийн төвөгтэй алгебрийн хэлхээний хэлбэрийг авдаг машин суралцах техник [[17]](javascript:void()) Гүн DNN-ийн хоёр үндсэн бүтэц байдаг: урьдчилан мэдрэлийн сүлжээнүүд болон давтамжийн мэдрэлийн сүлжээнүүд. Хоёр төрлийн DNN нь боловсруулах графикууд хэлбэрээр илэрхийлэгдэх боломжтой, үндсэн ялгаа нь урьдчилан мэдрэлийн сүлжээнүүд нь шууд acyclic график (DAGs) хэлбэрээр илэрхийлэгдэх боломжтой бол давтамжийн мэдрэлийн сүлжээнүүд нь мөчлөг агуулж болно. Давтамжийн мэдрэлийн сүлжээнүүд нь мэдээллийн дараалал нь өмнөх мэдээллийн цэгүүдтэй хамааралтай байж болох мэдээллийн дараалалд зориулж баригдсан байдаг, харин урьдчилан мэдрэлийн сүлжээнүүд нь мэдээллийн дараалал дахь цэгүүдийн харилцан үйлчлэлийг харгалзан үздэггүй. Энэхүү цаасан дээр урьдчилан мэдрэлийн DNN-ийн тохиолдлыг авч үзнэ. 5 III ХЭСЭГ. Хуваарилагдсан дүгнэлт загварчлал Энэхүү хэсэг нь DNN болон сүлжээний шинж чанарыг илэрхийлэх загварыг танилцуулж, боловсруулах хоцрогдол, дамжуулах хоцрогдол, болон тодорхой хуваалтын шийдлийн эцсийн дүгнэлтийн үйлдвэрлэлийн хурдыг урьдчилан таамаглах боломжийг олгоно. А. DNN болон сүлжээний илэрхийлэл N давхаргатай урьдчилан мэдрэлийн DNN нь DAG G_A = (L, E) хэлбэрээр загварчлагдсан бөгөөд L = (L_1, ..., L_L) нь DNN-ийн давхаргууд юм. Ирмэгүүд (L_i, L_j) ∈ E нь L_i болон L_j давхаргуудын хоорондох холболтууд юм. Тус бүр L_i давхарга нь c_i тооцоолох хэрэглээтэй холбогдсон бөгөөд энэ нь давхаргын дамжуулалтаар урьдчилан чиглэсэн тооцоолох floating-point ажиллагааны тоогоор хэмжигддэг. Ирмэгүүд (L_i, L_j) нь L_i болон L_j давхаргуудын хооронд дамжин өнгөрч буй мэдээллийн байтуудад тохирох s_{i,j} жинтэй байдаг. Физик сүлжээ нь G = (N, V) гэсэн бүрэн холбогдсон график хэлбэрээр загварчлагдсан бөгөөд N = (N_1, ..., N_N) нь тооцоолох нэгжүүдийн цуглуулга бөгөөд V нь нэгжүүдийн хоорондох холболтууд юм. Тооцоолох нэгжүүд N_1, ..., N_N нь тус тусдаа η_1, ..., η_N хурдтай байдаг бөгөөд энэ нь секундэд floating-point ажиллагаагаар хэмжигддэг. Эцэст нь, хоёр хөрш зэргэлдээх нэгж Na болон Nb хоорондох холболтын дамжуулалт нь θ_{a,b} бөгөөд секундэд байтаар хэмжигддэг. N_i бүх нэгжүүд нь loopback холболтыг илэрхийлэхийн тулд хязгааргүй дамжуулалттай өөртэйгөө холбогдсон байдаг, болон холболтууд нь тэгш хэмтэй байдаг гэж үздэг, өөрөөр хэлбэл, θ_{a,b} = θ_{b,a}. Хуваалтууд нь P: L → N гэсэн зураглал хэлбэрээр тодорхойлогддог, өөрөөр хэлбэл, хуваалт нь DNN дахь тус бүр давхарт нэгжийн дугаарыг оноодог. Хуваалт нь N × L хэмжээтэй P матрицын хэлбэрээр илэрхийлэгдэж болно, N нь сүлжээний нэгжүүдийн тоо, L нь DNN давхаргуудын тоо, бөгөөд P_{a,i} = 1 байвал L_i давхаргыг N_a нэгжид байрлуулсан, 0 өөрөөр. -т өгсөн жишээгээр, L Зураг 2