Зошто вашиот вештачка интелигенција веќе не му треба облак за да работи побрзо

```html Автори: Томас Фелтин Лео Марчо Хуан-Антонио Кордеро-Фуертес Франк Брокнерс Томас Х. Клаусен Апстракт: Инференцијата на длабоки невронски мрежи (DNN) на стриминг податоци бара ресурси за да ги задоволи барањата за пропусност на инференцијата. Сепак, апликациите за длабоко учење осетливи на латентност и приватност не можат да си дозволат да ги префрлат пресметките на далечински облаци поради имплицираните трошоци за пренос и недостатокот на доверба во трети лица даватели на облак. Меѓу решенијата за зголемување на перформансите додека пресметките остануваат во ограничена средина, хардверското забрзување може да биде тешко, а оптимизацијата на моделот бара големи напори за дизајнирање додека ја попречува точноста. Партиционирањето на DNN е трет комплементарен пристап и се состои од дистрибуирање на работниот опсег на инференцијата над неколку достапни периферни уреди, земајќи ги предвид својствата на периферната мрежа и структурата на DNN, со цел максимизирање на пропусноста на инференцијата (број на инференција по секунда). Овој труд воведува метод за предвидување на латентностите на инференцијата и преносот за дистрибуирани DNN распоредувања со повеќе нишки и дефинира процес на оптимизација за максимизирање на пропусноста на инференцијата. Потоа е претставен и анализиран решавач гранка-и-граница за квантифицирање на постигнатите перформанси и сложеноста. Оваа анализа доведе до дефинирање на регионот на забрзување, кој ги опишува детерминистичките услови за својствата на DNN и мрежата под кои партиционирањето на DNN е корисно. Конечно, експерименталните резултати ги потврдуваат симулациите и покажуваат подобрувања на пропусноста на инференцијата во примероци на периферни распоредувања. DNN партиционирањето на работ го овозможува забрзувањето на пропусноста на инференцијата, истовремено намалувајќи ја употребата на пропусниот опсег и латентноста до централизирани сервери, на пр., во облакот. Вовед Поврзаните уреди генерираа проценети 2,5 квинтилиони бајти податоци секој ден во 2020 година. Во овој контекст, вештачката интелигенција (ВИ) е една од технологиите што може најдобро да се справи со секогаш растечката количина на произведени податоци, во широк спектар на области како што се детекција на објекти во компјутерски вид, препознавање лица, препознавање говор, обработка на природен јазик или автономно возење. ВИ, а особено длабокото учење (ДЛ), покрај големи количини на податоци, бара значителни капацитети во процесирачка моќ и меморија, што го прави облакот за компјутирање решение за хостирање на работни опсези на ВИ. Како последица на тоа, во 2019 година, 96% од ВИ задачите биле извршувани во облакот. 1 де факто 2 Апликациите за ВИ може да имаат силни ограничувања за латентност, , во автономно возење, мониторинг на производство, или било каква инференција во реално време што вклучува интеракција со реалниот свет. На пример, просечните времиња на одговор во автономно возење се бара да бидат под 100 милисекунди , што ги прави патувањата со враќање до облакот премногу долги за такви апликации. Слично, некои апликации може да воведат значителна употреба на линијата на мрежата, , во случај на обработка на видео со висок квалитет во компјутерски вид, што ги спречува да работат во облакот. Политиките за приватност на податоците или регулативите за заштита на податоци исто така може да забранат податоците да ги напуштаат специфични средини. Ова поттикнува ВИ распоредувања во периферно компјутерство, што се состои од релокација на пресметковни задачи од центрите за податоци поблиску до периферни уреди, , во близина на изворите на податоци. на пр. [[1]](javascript:void()) на пр. т.е. Во споредба со јавните облаци, работната средина е ограничена со важни ограничувања , и развојот на ВИ за работната средина затоа е суштински различен од развојот на ВИ за облакот. Анализата на податоците во близина на нивниот извор може да биде предизвик поради пониските капацитети на уредите, нееластичноста на достапните ресурси и хетерогеноста на периферните мрежи. Намалувањето на капацитетот за пресметување подразбира намалување на постигнатата пропусност на инференцијата, што дополнително ја комплицира релокацијата на тешките работни опсези од облакот до работната средина. Во некои апликации, пропусноста на инференцијата, , постигнатата инференција по секунда на DNN, може да биде поврзана со точноста на DNN, , со следење објекти во видео стримови, каде што намалувањето на стапката на инференција од 15 на 5 инференција по секунда покажа намалување на F1 резултатот__3__ на детектор на објекти за 10% . Со други зборови, распоредувањата со ниска пропусност на инференцијата може да предизвикаат критична загуба на информации, , загуба на детекции во апликации за видео надзор. [[2]](javascript:void()) т.е. на пр. [[3]](javascript:void()) на пр. Постојат два главни достапни методи за исполнување на барањата за перформанси на ограничените периферни мрежи: компресија на моделот или хардверско забрзување. се состои од намалување и оптимизација на невронските мрежи до лесна, често под-перформансна, верзија на моделот. Стандардните методи за компресија на моделот вклучуваат проретчување , , отстранување на непотребни параметри во моделот, квантизација , , намалување на распределениот простор за складирање на моделот, и дестилација на знаење , , тренирање на помал невронски мрежа со знаење извлечено од поголем. Оптимизацијата на моделот бара големи напори за дизајн и може да биде пречка за точноста на моделот. на периферни уреди подразбира наоѓање хардвер кој може да биде ефикасен во потрошувачката на енергија и лесен, додека сепак може да изврши инференција со доволни перформанси. Постојат неколку типови на кандидатски хардвер за забрзување на работ, кои се разликуваат по ефикасност и специфичност, но стандардните процесорски единици не ги исполнуваат очекувањата, а посветениот хардвер како ASIC се покажал како непрактичен и скап . Компресија на моделот [[4]](javascript:void()) т.е. [[5]](javascript:void()) т.е. [[6]](javascript:void()) т.е. Хардверско забрзување [[7]](javascript:void()) DNN партиционирањето е комплементарен метод за забрзување на инференцијата со искористување на мноштвото постоечки уреди на периферните мрежи за дистрибуирање на пресметката на инференцијата – што може да се користи самостојно, или во комбинација со другите два методи. DNN партиционирањето се состои од разгледување на невронска мрежа како цевковод за сегментирање во партиции, и дистрибуирање на овие партиции на периферни уреди. Поставеноста на овие партиции се базира и на DNN и на карактеристиките на основната мрежа. DNN партиционирањето се потпира на идентификација на точки на делење, кои се точки во графот на моделот каде моделот е поделен на партиции. За време на извршувањето, партициите се извршуваат последователно, при што секоја испраќа посредни резултати од инференцијата до следната партиција. Ова му овозможува на секоја партиција да започне да ги обработува следните податоци додека другите уреди продолжуваат да го обработуваат префрлениот, со што се подобрува пропусноста на инференцијата, како што е прикажано на . Во остатокот од овој труд, DNN партиционирањето е илустрирано преку примерот на инференција во реално време на видео стримови. слика 1 А. Поврзана работа Методите за DNN партиционирање, изведени од исклучување на мобилниот облак, се стремат да оптимизираат различни индикатори за перформанси, како што се латентност на пресметување, потрошувачка на енергија, искористување на ресурсите, цена или пропусност. DNN партиционирањето се потпира на асоцијација на еден или повеќе од овие метрики за да дефинира цел на оптимизација, и метод кој ја експлоатира оваа метрика за да најде шеми за партиционирање. На пример, Neurosurgeon бара една точка на делење, задржувајќи ја првата партиција на работ и исклучувајќи ја втората партиција во облак, за да се минимизира латентноста и потрошувачката на енергија. Апликациите во IoT исто така разгледале заедничко партиционирање и исклучување на неколку DNN за оптимизација на енергија, одложување и/или цена, користејќи различни решавачи како SPSO-GA што комбинира Оптимизација со Пчелен Рој (PSO) и Генетски Алгоритам (GA), или DDPQN кој користи Длабоко Засилувачко Учење за наоѓање на шеми за партиционирање. Други примери вклучуваат DINA , која дефинира проблем на Целобројно Нелинеарно Програмирање (INLP), и користи решавач базиран на теорија за совпаѓање, за да го оптимизира одложувањето и искористувањето на ресурсите во фог мрежите. Методите за оптимизација на пропусноста на инференцијата вклучуваат DNN surgery , која користи помала големина на излези од меѓуслоевите на DNN за да ја партиционира инференцијата помеѓу работната средина и облакот. И двата алгоритми создаваат две партиции, една на работ и друга во облакот. Други студии во областа на мобилниот облак исто така вклучуваат пресметки со повеќе нишки во облакот за понатамошно забрзување на вкупната пропусност на инференцијата. Потпирањето на облакот за пресметување на втората партиција претпоставува добра мрежна поврзаност, што може да биде неизвесно со слабата поврзаност на некои изолирани периферни распоредувања. Edgent ја адаптира претходната методологија на мобилни уреди и достапни периферни сервери, релаксирајќи го ограничувањето за исклучување на облакот. Овој метод е поврзан со специфичен тренинг и архитектура на моделот, и сè уште го ограничува партиционирањето на два дела. Други методи разгледале повеќе точки на делење, , IONN , кој го опишува проблемот на партиционирање за минимизирање на латентноста и потрошувачката на енергија, исто така земајќи го предвид времето за вчитување на моделите на периферни сервери. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) на пр. [[15]](javascript:void()) Овие методи или комуницираат со далечински облаци, или се ограничени во природата на партиционирањето, , бараат делење на точно два дела, со или без повеќе нишки. Ниту една од наведените студии за DNN партиционирање не ги разгледува истовремено повеќе точки на делење и повеќе нишки. на пр. Б. Придонеси Овој труд претставува дистрибуиран фрејмворк за инференција за максимизирање на пропусноста на инференцијата на DNN пресметките во реално време на стриминг податоци, со повеќе точки на делење и партиционирање со повеќе нишки. Придонесите на овој труд се следниве: Модел за предвидување на латентностите на инференцијата и преносот на дистрибуирана DNN, преку кој може да се процени очекуваната пропусност на инференцијата на дадена шема за партиционирање. Формулирање на проблемот на оптимизација за DNN партиционирање, имплементација на решавач гранка-и-граница за овој проблем, и евалуација на неговата сложеност. Симулации за истражување на можните подобрувања на перформансите со варирање на својствата на мрежата и DNN. Идентификација на детерминистички региони во својствата на мрежата и DNN што водат до постоење на оптимални партиционирања и цена за пресметување на такви решенија, , условите под кои DNN партиционирањето е корисно. т.е. Експериментални резултати што ги илустрираат регионите дефинирани во симулациите, како и точноста на предвидувањето и конечното забрзување на пропусноста на инференцијата за хомогени и хетерогени средини. Во остатокот од овој труд, за да се избегне забуна, партиционираната длабока невронска мрежа ќе се нарекува , а терминот ќе ја означува основната физичка комуникациска мрежа. DNN мрежа В. Преглед на трудот Остатокот од овој труд е организиран на следниов начин. претставува позадина на длабокото учење и како DNN се претставени во оваа студија. детално ги опишува методите за предвидување на латентноста на инференцијата и преносот потребни за кој го дефинира проблемот на оптимизација, како и алгоритмот гранка-и-граница за донесување одлуки за партиционирање. претставува симулациони резултати за квантифицирање на перформансите и сложеноста на алгоритмот гранка-и-граница, како и условите што водат до постоење на партиционирање што ја подобрува пропусноста на инференцијата во хомогена мрежа. претставува експериментални резултати што ги потврдуваат симулациите од , и покажуваат подобрувања на пропусноста на инференцијата на хетерогена експериментална поставка. Конечно, ги дискутира резултатите и ги проширува пошироките применливости на овој метод. Дел II Дел III Дел IV Дел V Дел VI Дел V Дел VII ДЕЛ II. Позадина: Длабоко учење Во полето на машинското учење, длабокото учење (ДЛ) се однесува на методи кои се потпираат на употребата на DNN, , вештачки невронски мрежи (или сродни методи за машинско учење) што содржат повеќе од еден скриен слој. Една од најраните референции за архитектури на длабоко учење била објавена во 1967 година , но дури во 2010-тите ДЛ доби замав, прво во препознавањето на говор, потоа во детекцијата на објекти во слики, поради способноста да ги зароби сложените врски во податоци со висока димензионалност. Се проценува дека длабокото учење сочинува повеќе од 75% од организациите што користат DNN за апликации што можеа да користат класични методи во 2022 година. ДЛ методите се дефинирани како „ “ . Овие алгебарски кола обично се организирани во слоеви, кои формираат чекори во пресметувањето. Терминот се однесува на алгоритми што се состојат од повеќе од еден слој. т.е. [[16]](javascript:void()) 4 техники за машинско учење во кои хипотезите имаат форма на сложени алгебарски кола со прилагодливи јачини на врски [[17]](javascript:void()) длабок Постојат две главни DNN структури: невронски мрежи со насочено поминување и рекурентни невронски мрежи. И двата типа на DNN може да се претстават како графи на пресметување, со главната разлика што невронските мрежи со насочено поминување може да се претстават како директни ациклични графи (DAGs), додека рекурентните невронски мрежи може да содржат циклуси. Рекурентните невронски мрежи се изградени за низи од податоци, каде секоја точка од податоците има потенцијална зависност со претходните точки од податоци во низата, додека невронските мрежи со насочено поминување не земаат предвид интеракции помеѓу точките во низата податоци. Во остатокот од овој труд ќе се разгледа случајот на DNN со насочено поминување. 5 ДЕЛ III. Моделирање на дистрибуирана инференција Овој дел претставува модел за претставување на својствата на DNN и мрежата со цел предвидување на латентностите на пресметување, латентностите на пренос, и крајната пропусност на инференцијата на дадено решение за партиционирање. А. Претставување на DNN и мрежата DNN со насочено поминување со N слоеви се моделира како DAG GA=(L,E) со L=(L1,…,LL) слоевите на DNN. Рабовите (Li,Lj)∈E се врските помеѓу слоевите Li и Lj . Секој слој Li има поврзан трошок за пресметување ci , измерен во бројот на операции со пловечка точка потребни за да се изврши напред поминување низ слојот. Рабовите (Li,Lj) се доделуваат со тежина si,j што одговара на големината на податоците што транзитираат помеѓу слоевите Li и Lj во бајти. Физичката мрежа се моделира како целосно поврзан граф G=(N,V) каде N=(N1,…,NN) е множеството на пресметковни јазли и V е множеството на врски помеѓу јазлите. Се претпоставува дека пресметковните јазли N1,…,NN имаат стапки на обработка η1,…,ηN , соодветно, измерени во операции со пловечка точка во секунда. Конечно, пропусниот опсег на врската помеѓу два соседни јазли Na и Nb се означува како θa,b , измерено во бајти во секунда. Секој јазол Ni е поврзан со себе со бесконечен пропусен опсег за да се претстави вратената врска, а врските се претпоставуваат како симетрични, , θa,b=θb,a . т.е. Партиционирањата се дефинираат како мапи P:L→N , , партиционирањето доделува број на јазол на секој слој во DNN. Партиционирањето може да се опише како матрица P со димензија (N×L) , N е бројот на јазли во мрежата и L е бројот на DNN слоеви и, со Pa,i=1 ако слојот Li е сместен на јазол Na , 0 инаку. Со примерот даден во , L=7 слоеви и N=2 пресметковни јазли, прикажаното партиционирање со слоеви {L1,L2,L3,L6,L7} на јазол N1 , и слоеви {L4,L5} на јазол N2 , се претставува како: т.е. слика 2 Дадено партиционирање, се дефинира како група од последователни слоеви помеѓу две точки на делење, извршувана секвенцијално на ист јазол. Во горниот пример, јазол N1 ќе извршува две нишки, првата содржи слоеви {L1,L2,L3} и втората {L6,L7} . нишка Со дефинирање на овие нотации, остатокот од овој дел изведува затворена формулација на пропусноста на инференцијата постигната од дадено партиционирање, како функција на латентностите на инференцијата ( ) и преносот ( ). дел III-Б дел III-В Б. Предвидување на латентност на инференција Дадено партиционирање, овој дел ги разгледува предвидувањата на латентноста на инференцијата на изолиран јазол. Латентноста предизвикана од пресметувањето на слој Li со конзумација ci , што треба да се пресмета на јазол Na , со стапка на обработка ηa се изразува како Tci(Na)=ci/ηa . Даден сет на слоеви L′⊂L низ сите нишки што работат на јазол Na со стапка на обработка ηa , латентноста на инференцијата може да се изрази како: Оваа формулација е прв ред на апроксимација на проценката на латентноста на инференцијата базирана на бројот на операции со пловечка точка (FLOPs) потребни за обработка на DNN, , бројот на операции множење-собирање во моделот. т.е. Проценката на латентноста на инференцијата на периферните уреди е комплицирана од оптимизациите за време на извршување. Постоечките решенија како nn-Meter ги предвидуваат латентностите на инференцијата врз основа на FLOPs. Други решенија се потпираат на табела за пребарување со претходно пресметани времиња на инференција за предвидување на латентноста. На пример, BRP-NAS користи претходно тренирана графова конволуционална мрежа за да ги предвиди латентностите на инференцијата, земајќи ги предвид оптимизациите на моделот за време на извршување. [[18]](javascript:void()) [[19]](javascript:void()) Во , дополнително се претпоставува дека процесорите ја користат својата полна капацитет, што подразбира дека повеќе-јадрените процесори се моделираат како едно-јадрени процесори со стапка на обработка еднаква на збирот од стапките на обработка на нивните јадра. Исто така се претпоставува дека ресурсот за пресметување е рамномерно распределен помеѓу нишките, , процесорот доделува и уравнение 1 т.е.