Чаму вашаму ШІ больш не патрэбна воблака, каб працаваць хутчэй

```html Аўтары: Томас Фелцін Леа Марчо Хуан-Антоніа Кордэра-Фуэртэс Фрэнк Брокнерс Томас Х. Клаузен Рэзюмэ: Выкананне глыбокіх нейронных сетак (DNN) на патокавых даных патрабуе вылічальных рэсурсаў для задавальнення патрабаванняў да прапускной здольнасці выканання. Аднак прыкладання глыбокага навучання, адчувальныя да затрымкі і прыватнасці, не могуць дазволіць сабе перадаваць вылічэнні ў аддаленыя хмары з-за накладных выдаткаў на перадачу і недаверу да старонніх хмарных пастаўшчыкоў. Сярод рашэнняў для павышэння прадукцыйнасці пры захаванні вылічэнняў у абмежаваным асяроддзі, апаратнае паскарэнне можа быць цяжкім, а аптымізацыя мадэлі патрабуе значных намаганняў па праектаванні, адначасова зніжаючы дакладнасць. Разбіццё DNN - гэта трэці дадатковы падыход, які заключаецца ў размеркаванні працоўнай нагрузкі па выкананні паміж некалькімі даступнымі прыладамі на перыферыі, улічваючы ўласцівасці сеткі перыферыі і структуру DNN, з мэтай максімізацыі прапускной здольнасці выканання (колькасці выкананняў у секунду). Гэты артыкул прадстаўляе метад для прагназавання затрымак выканання і перадачы для размеркаваных разгортванняў DNN з некалькімі патокамі і вызначае працэс аптымізацыі для максімізацыі прапускной здольнасці выканання. Затым прадстаўлены і прааналізаваны рашальнік "галіна і мяжа" для колькаснага вызначэння дасягнутай прадукцыйнасці і складанасці. Гэты аналіз прывёў да вызначэння вобласці паскарэння, якая апісвае дэтерминированные ўмовы ўласцівасцей DNN і сеткі, пры якіх разбіццё DNN выгадна. Нарэшце, эксперыментальныя вынікі пацвярджаюць мадэляванне і паказваюць паляпшэнне прапускной здольнасці выканання ў прыкладах разгортвання на перыферыі. Разбіццё DNN на перыферыі дазваляе паскорыць прапускную здольнасць выканання, адначасова зніжаючы выкарыстанне прапускной здольнасці і затрымку да цэнтралізаваных сервераў, напрыклад, у воблаку. Уводзіны Падлучаныя прылады генеравалі прыблізна 2,5 квінтыліёна байт даных кожны дзень у 2020 годзе. У гэтым кантэксце штучны інтэлект (AI) з'яўляецца адной з тэхналогій, якая найлепш можа справіцца з пастаянна расце колькасцю даных, якія ствараюцца ў розных галінах, такіх як выяўленне аб'ектаў у камп'ютарным зроку, распазнаванне твараў, распазнаванне голасу, апрацоўка натуральнай мовы або аўтаномнае кіраванне. AI, і асабліва глыбокае навучанне (DL), патрабуе, у дадатак да вялікіх аб'ёмаў даных, значных магчымасцей у магутнасці апрацоўкі і памяці, што робіць хмарныя вылічэнні рашэннем для размяшчэння працоўных нагрузак AI. Такім чынам, у 2019 годзе 96% задач AI выконваліся ў воблаку. 1 de facto 2 Прыкладанні AI могуць мець строгія абмежаванні па затрымцы, , у аўтаномным кіраванні, маніторынгу вытворчасці або любым выкананні ў рэжыме рэальнага часу, якое ўключае ўзаемадзеянне з рэальным светам. Напрыклад, сярэдні час адказу ў аўтаномным кіраванні павінен быць менш за 100 мілісекунд , што робіць час зваротнага шляху да воблака занадта вялікім для такіх прыкладанняў. Аналагічна, некаторыя прыкладанні могуць спажываць значную прапускную здольнасць сеткі, , у выпадку апрацоўкі відэа высокай якасці ў камп'ютарным зроку, што перашкаджае іх выкананню ў воблаку. Палітыкі прыватнасці даных або правілы абароны даных таксама могуць забараняць перадачу даных за межы пэўных асяроддзяў. Гэта спрыяе разгортванню AI на перыферыйных вылічэннях, якія заключаюцца ў перамяшчэнні вылічальных задач з цэнтраў апрацоўкі даных бліжэй да перыферыйных прылад, , бліжэй да крыніц даных. напрыклад [[1]](javascript:void()) напрыклад г.зн. У параўнанні з публічнымі хмарамі, перыферыя - гэта асяроддзе з абмежаванымі рэсурсамі і значнымі абмежаваннямі , і таму распрацоўка AI для перыферыі па сутнасці адрозніваецца ад распрацоўкі AI для воблака. Аналіз даных побач з іх крыніцай можа быць складаным з-за ніжэйшай ёмістасці прылад, нееластычнасці даступных рэсурсаў і гетерогеннасці перыферыйных сетак. Зніжэнне вылічальнай магутнасці азначае зніжэнне дасягальнай прапускной здольнасці выканання, што яшчэ больш ускладняе перамяшчэнне цяжкіх працоўных нагрузак з воблака на перыферыю. У некаторых прыкладаннях прапускная здольнасць выканання, , дасягальная колькасць выкананняў у секунду DNN, можа быць звязана з дакладнасцю DNN, , з адсочваннем аб'ектаў у відэапатоках, дзе зніжэнне хуткасці выканання з 15 да 5 выкананняў у секунду паказала зніжэнне F1-ацэнкі__3__ дэтэктара аб'ектаў на 10% . Іншымі словамі, разгортвання з нізкай прапускной здольнасцю выканання могуць прывесці да крытычнай страты інфармацыі, , страты выяўленняў у прыкладаннях відэаназірання. [[2]](javascript:void()) г.зн. напрыклад [[3]](javascript:void()) напрыклад Існуюць два асноўныя даступныя метады для задавальнення патрабаванняў да прадукцыйнасці ў абмежаваных перыферыйных сетках: сцісканне мадэлі або апаратнае паскарэнне. заключаецца ў памяншэнні і аптымізацыі нейронных сетак да лёгкай, часта недастаткова эфектыўнай версіі мадэлі. Стандартныя метады сціскання мадэлі ўключаюць прарэджванне , , выдаленне непатрэбных параметраў у мадэлі, кванціфікацыю , , памяншэнне выдзеленай памяці для захоўвання мадэлі, і дыстыляцыю ведаў , , навучанне меншай нейроннай сеткі з ведамі, атрыманымі з большай. Аптымізацыя мадэлі патрабуе значных намаганняў па праектаванні і можа перашкаджаць дакладнасці мадэлі. на перыферыйных прыладах азначае пошук апаратнага забеспячэння, якое можа быць адначасова энергаэфектыўным і лёгкім, захоўваючы пры гэтым дастатковую прадукцыйнасць для выканання. Існуе некалькі тыпаў апаратнага забеспячэння-кандыдатаў для паскарэння на перыферыі, якія адрозніваюцца па эфектыўнасці і спецыфічнасці, але стандартныя апрацоўчыя блокі не адпавядаюць чаканням, а спецыялізаванае апаратнае забеспячэнне, такое як ASIC, было прызнана непрактычным і дарагім . Сцісканне мадэлі [[4]](javascript:void()) г.зн. [[5]](javascript:void()) г.зн. [[6]](javascript:void()) г.зн. Апаратнае паскарэнне [[7]](javascript:void()) Разбіццё DNN - гэта дадатковы метад паскарэння выканання шляхам выкарыстання мноства існуючых прылад у перыферыйных сетках для размеркавання вылічэнняў выканання - які можа выкарыстоўвацца асобна або ў спалучэнні з двума іншымі метадамі. Разбіццё DNN заключаецца ў разглядзе нейроннай сеткі як канвеера для сегментавання на часткі і размеркаванні гэтых частак па перыферыйным прыладам. Размяшчэнне гэтых частак заснавана як на DNN, так і на характарыстыках базавай сеткі. Разбіццё DNN абапіраецца на ідэнтыфікацыю кропак разрыву, якія з'яўляюцца кропкамі ў графіку мадэлі, дзе мадэль падзелена на часткі. Падчас выканання часткі выконваюцца паслядоўна, кожная перадае прамежкавыя вынікі выканання наступнай частцы. Гэта дазваляе кожнай частцы пачаць апрацоўку наступных уваходных даных, у той час як іншыя прылады працягваюць апрацоўку перададзеных, тым самым паляпшаючы прапускную здольнасць выканання, як паказана на . У астатняй частцы гэтага артыкула разбіццё DNN ілюструецца на прыкладзе выканання ў рэжыме рэальнага часу на відэапатоках. малюнку 1 А. Звязаныя працы Метады разбіцця DNN, выведзеныя з перадачы даных з мабільнага перыферыйнага воблака, накіраваны на аптымізацыю розных паказчыкаў прадукцыйнасці, такіх як затрымка вылічэнняў, спажыванне энергіі, выкарыстанне рэсурсаў, кошт або прапускная здольнасць. Разбіццё DNN абапіраецца на асацыяцыю адной або некалькіх з гэтых метрык для вызначэння мэты аптымізацыі і метаду, які выкарыстоўвае гэтую метрыку для пошуку схем разбіцця. Напрыклад, Neurosurgeon шукае адну кропку разрыву, захоўваючы першую частку на перыферыі і перадаючы другую частку ў воблака, каб мінімізаваць затрымку і спажыванне энергіі. Прыкладанні ў IoT таксама разглядалі сумесную разбіццё і перадачу некалькіх DNN для аптымізацыі энергіі, затрымкі і/або кошту, выкарыстоўваючы розныя рашальнікі, такія як SPSO-GA спалучаючы аптымізацыю псіхічнага роя (PSO) і генетычны алгарытм (GA), або DDPQN які выкарыстоўвае глыбокае навучанне з падмацаваннем для пошуку схем разбіцця. Іншыя прыклады ўключаюць DINA , які вызначае праблему цэлалікавага нелінейнага праграмавання (INLP) і выкарыстоўвае рашальнік на аснове тэорыі адпаведнасці для аптымізацыі затрымкі і выкарыстання рэсурсаў у туманных сетках. Метады аптымізацыі прапускной здольнасці выканання ўключаюць DNN surgery , якая выкарыстоўвае меншы памер прамежкавых выхадаў слаёў DNN для разбіцця вылічэнняў выканання паміж перыферыяй і воблакам. Абодва алгарытмы ствараюць дзве часткі, адну на перыферыі, а другую ў воблаку. Іншыя даследаванні ў галіне мабільнага перыферыйнага воблака таксама ўключаюць шматпаточнае выкананне ў воблаку для далейшага паскарэння агульнай прапускной здольнасці выканання. Абапіранне на воблака для выканання другой часткі мяркуе добрае сеткавае злучэнне, якое можа быць нявызначаным пры слабым злучэнні некаторых ізаляваных перыферыйных разгортванняў. Edgent адаптуе папярэднюю метадалогію да мабільных прылад і даступных перыферыйных сервераў, здымаючы абмежаванне перадачы ў воблака. Гэты метад звязаны з канкрэтнай архітэктурай навучання і мадэлі, і ўсё яшчэ абмяжоўвае разбіццё двума часткамі. Іншыя метады разглядалі некалькі кропак разрыву, , IONN , які апісвае праблему разбіцця для мінімізацыі затрымкі і спажывання энергіі, таксама ўлічваючы час загрузкі мадэляў на перыферыйныя серверы. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) напрыклад [[15]](javascript:void()) Гэтыя метады ўзаемадзейнічаюць альбо з аддаленымі хмарамі, альбо абмежаваныя па характары разбіцця, , патрабуюць разбіцця роўна на дзве часткі, з шматпотачнасцю або без яе. Ніводнае з пералічаных даследаванняў разбіцця DNN не разглядае як некалькі кропак разрыву, так і шматпатачнасць. напрыклад Б. Уклад Гэты артыкул прадстаўляе размеркаваную сістэму выканання для максімізацыі прапускной здольнасці выканання рэальных вылічэнняў DNN на патокавых даных, з некалькімі кропкамі разрыву і шматпатачным разбіццём. Уклад гэтага артыкула наступны: Мадэль для вылічэння затрымак перадачы размеркаванай DNN, праз якую можна ацаніць чаканую прапускную здольнасць выканання дадзенай схемы разбіцця. Фармулёўка задачы аптымізацыі для разбіцця DNN, рэалізацыя рашальніка "галіна і мяжа" для гэтай задачы і ацэнка яе складанасці. Мадэляванне для даследавання магчымых паляпшэнняў прадукцыйнасці пры розных уласцівасцях сеткі і DNN. Ідэнтыфікацыя дэтерминированных абласцей ва ўласцівасцях сеткі і DNN, якія прыводзяць да існавання аптымальных разбіццяў і кошту вылічэння такіх рашэнняў, , умовы, пры якіх разбіццё DNN выгадна. г.зн. Эксперыментальныя вынікі, якія ілюструюць абласці, вызначаныя ў мадэляванні, а таксама дакладнасць прагназавання і канчатковае паскарэнне прапускной здольнасці выканання для аднастайных і неаднастайных асяроддзяў. Далей у гэтым артыкуле, каб пазбегнуць блытаніны, разбітая глыбокая нейронная сетка будзе называцца , а тэрмін будзе абазначаць базавую фізічную сетку сувязі. DNN сетка В. Структура артыкула Астатняя частка гэтага артыкула арганізавана наступным чынам. прадстаўляе аснову глыбокага навучання і тое, як DNN прадстаўлены ў гэтым даследаванні. падрабязна апісвае метады прагназавання затрымак выканання і перадачы, неабходныя для , які вызначае задачу аптымізацыі, а таксама алгарытм "галіна і мяжа" для прыняцця рашэнняў аб разбіцці. прадстаўляе вынікі мадэлявання для колькаснай ацэнкі прадукцыйнасці і складанасці алгарытму "галіна і мяжа", а таксама ўмовы, якія прыводзяць да існавання разбіцця, якое паляпшае прапускную здольнасць выканання ў аднастайнай сетцы. прадстаўляе эксперыментальныя вынікі, якія пацвярджаюць мадэляванне з , і паказвае паляпшэнне прапускной здольнасці выканання на неаднастайнай эксперыментальнай устаноўцы. Нарэшце, абмяркоўвае вынікі і пашырае магчымасці прымянення гэтага метаду. Раздзел II Раздзел III Раздзела IV Раздзел V Раздзел VI Раздзела V Раздзел VII РАЗДЗЕЛ II. Асновы: Глыбокае навучанне У галіне машыннага навучання глыбокае навучанне (DL) абазначае метады, якія абапіраюцца на выкарыстанне DNN, , штучныя нейронныя сеткі (або падобныя метады машыннага навучання), якія ўтрымліваюць больш аднаго скрытага пласта. Адзін з самых ранніх спасылак на архітэктуры глыбокага навучання быў апублікаваны ў 1967 годзе , але толькі ў 2010-х гадах DL набрала абароты, спачатку ў распазнаванні голасу, затым у выяўленні аб'ектаў на выявах, дзякуючы здольнасці ўлаўляць складаныя сувязі ў высокаразмерных даных. Паводле ацэнак, глыбокае навучанне складае большасць прыкладанняў AI у 2022 годзе, прычым больш за 75% арганізацый выкарыстоўваюць DNN для прыкладанняў, якія маглі б выкарыстоўваць класічныя метады. Метады DL былі вызначаны як " " . Гэтыя алгебраічныя схемы звычайна арганізаваны ў пласты, якія складаюць этапы вылічэнняў. Тэрмін адносіцца да алгарытмаў, якія складаюцца больш чым з аднаго пласта. г.зн. [[16]](javascript:void()) 4 метады машыннага навучання, дзе гіпотэзы прымаюць форму складаных алгебраічных схем з наладжвальнымі сіламі сувязі [[17]](javascript:void()) глыбокі Існуюць дзве асноўныя структуры DNN: прамыя нейронныя сеткі і рэкурэнтныя нейронныя сеткі. Абодва тыпы DNN могуць быць прадстаўлены як вылічальныя графікі, прычым асноўнае адрозненне заключаецца ў тым, што прамыя сеткі могуць быць прадстаўлены як прамыя ацыклічныя графікі (DAG), у той час як рэкурэнтныя нейронныя сеткі могуць утрымліваць цыклы. Рэкурэнтныя нейронныя сеткі створаны для паслядоўнасцей даных, дзе кожная кропка даных можа мець залежнасць ад папярэдніх кропак даных у паслядоўнасці, у той час як прамыя нейронныя сеткі не ўлічваюць узаемадзеянне паміж кропкамі ў паслядоўнасці даных. Далей у гэтым артыкуле будзе разгледжаны выпадак прамых DNN. 5 РАЗДЗЕЛ III. Мадэляванне размеркаванага выканання У гэтым раздзеле прадстаўлена мадэль для прадстаўлення ўласцівасцей DNN і сеткі з мэтай прагназавання затрымак вылічэнняў, затрымак перадачы і канчатковай прапускной здольнасці выканання дадзенага рашэння для разбіцця. А. Прадстаўленне DNN і сеткі Прамая DNN з N пластамі мадэлюецца як DAG GA=(L,E), дзе L=(L1,…,LL) - пласты DNN. Краі (Li,Lj)∈E - гэта сувязі паміж пластамі Li і Lj. Кожны пласт Li мае спадарожнае спажыванне вылічэнняў ci, вымеранае ў колькасці аперацый з плаваючай коскай, неабходных для выканання прамога праходу праз пласт. Краі (Li,Lj) прысвойваецца вага si,j, якая адпавядае памеру даных, што перадаюцца паміж пластамі Li і Lj у байтах. Фізічная сетка мадэлюецца як поўназвязаны граф G=(N,V), дзе N=(N1,…,NN) - гэта набор вылічальных вузлоў, а V - гэта набор сувязяў паміж вузламі. Мяркуецца, што вылічальныя вузлы N1,…,NN маюць хуткасці апрацоўкі η1,…,ηN адпаведна, вымераныя ў аперацыях з плаваючай коскай у секунду. Нарэшце, прапускная здольнасць сувязі паміж двума суседнімі вузламі Na і Nb абазначаецца як θa,b, вымераная ў байтах у секунду. Кожны вузел Ni злучаны з самім сабой з бясконцай прапускной здольнасцю, каб прадставіць зваротную сувязь, і мяркуецца, што сувязі сіметрычныя, г.зн., θa,b=θb,a. Разбіцці вызначаюцца як адлюстраванні P:L→N, г.зн., разбіццё прысвойвае нумар вузла кожнаму пласту ў DNN. Разбіццё можа быць апісана як матрыца P памерам (N×L), дзе N - колькасць вузлоў у сетцы, а L - колькасць пластоў DNN, і з Pa,i=1, калі пласт Li размешчаны на вузле Na, 0 у адваротным выпадку. З прыкладам, дадзеным на , L=7 пластоў і N=2 вылічальных вузла, прадстаўленае разбіццё з пластамі {L1,L2,L3,L6,L7} на вузле N1, і пластамі {L4,L5} на вузле N2, прадстаўлена як: малюнку 2 Улічваючы разбіццё, вызначаецца як група паслядоўных пластоў паміж двума кропкамі разрыву, якія выконваюцца паслядоўна на адным вузле. У прыведзеным вышэй прыкладзе вузел N1 будзе выконваць два патокі, першы з пластамі {L1,L2,L3}, а другі - {L6,L7}. паток З гэтымі вызначанымі абазначэннямі, далей у гэтым раздзеле выводзіцца замкнёны выраз прапускной здольнасці выканання, дасягнутай дадзеным разбіццём, як функцыя затрымак выканання (раздзел III-B) і перадачы (раздзел III-C). Б. Прагназаванне затрымкі выканання Улічваючы разбіццё, гэты раздзел разглядае прагназаванне затрымкі выканання на асобным вузле. Затрымка, выкліканая вылічэннем пласта Li са спажываннем ci, які павінен вылічвацца на вузле Na з хуткасцю апрацоўкі ηa, выяўляецца як Tci(Na)=ci/ηa. Улічваючы набор пластоў L'⊂L па ўсіх патоках, якія працуюць на вузле Na з хуткасцю апрацоўкі ηa, затрымка выканання можа быць выяўлена як: Гэты выраз з'яўляецца прыбліжэннем першага парадку ацэнкі затрымкі выканання на аснове колькасці аперацый з плаваючай коскай (FLOP), неабходных для апрацоўкі DNN, , колькасці аперацый множання-складання ў мадэлі. г.зн. Ацэнка затрымкі выканання на перыферыйных прыладах ускладняецца аптымізацыяй падчас выканання. Існуючыя рашэнні, такія як nn-Meter , прагназуюць затрымку выканання на аснове FLOP. Іншыя рашэнні абапіраюцца на табліцу пошуку з папярэдне вылічанымі часамі выканання для прагназавання затрымкі. Напрыклад, BRP-NAS выкарыстоўвае папярэдне навучаную графавую згортальную сетку для прагназавання затрымак выканання, улічваючы аптымізацыю мадэлі падчас выканання. [[18]](javascript:void()) [[19]](javascript:void()) У далей мяркуецца, што працэсары выкарыстоўваюць сваю поўную магутнасць, што азначае, што шмат'ядравыя працэсары мадэлююцца як аднаядравыя працэсары з хуткасцю апрацоўкі, роўнай суме іх хуткасцей апрацоўкі ядраў. Таксама мяркуецца, што вылічальны рэсурс роўна падзяляецца паміж патокамі, г.зн., працэсар выдзяляе аднолькавую долю свайго часу кожнаму патоку. ураўненні 1 Па ўсіх вузлах паток з найбольшай затрымкай вызначае прапускную здольнасць выканання для размеркаванай DNN. Апускаючы затрымкі перадачы, гэта азначае, што як толькі гэты абмежавальны паток скон