Чому вашому ШІ більше не потрібна хмара, щоб працювати швидше

Автори: Томас Фелтін Лео Марчо Хуан-Антоніо Кордеро-Фуертес Френк Брокнерс Томас Г. Клаузен Анотація: Виведення глибоких нейронних мереж (DNN) на потокових даних потребує обчислювальних ресурсів для задоволення вимог до пропускної здатності виведення. Однак програми глибокого навчання, чутливі до затримки та конфіденційності, не можуть дозволити собі передавати обчислення до віддалених хмар через передбачені витрати на передачу та відсутність довіри до сторонніх хмарних провайдерів. Серед рішень для підвищення продуктивності при збереженні обчислень у обмеженому середовищі, апаратне прискорення може бути обтяжливим, а оптимізація моделі вимагає значних зусиль з розробки, одночасно знижуючи точність. Розбиття DNN є третім доповнюючим підходом і полягає в розподілі робочого навантаження виведення між кількома доступними периферійними пристроями, враховуючи властивості мережі периферійних пристроїв та структуру DNN, з метою максимізації пропускної здатності виведення (кількість виведень на секунду). У цій статті представлено метод прогнозування затримок виведення та передачі для розподілених розгортань DNN з багатопоточним виконанням та визначено процес оптимізації для максимізації пропускної здатності виведення. Потім представлено та проаналізовано вирішувач "гілка і межа" для кількісної оцінки досягнутої продуктивності та складності. Цей аналіз призвів до визначення області прискорення, яка описує детерміновані умови властивостей DNN та мережі, за яких розбиття DNN є вигідним. Нарешті, експериментальні результати підтверджують симуляції та демонструють покращення пропускної здатності виведення в зразкових периферійних розгортаннях. Розбиття DNN на периферії забезпечує прискорення пропускної здатності виведення, одночасно знижуючи використання пропускної здатності та затримку до централізованих серверів, наприклад, у хмарі. Вступ Підключені пристрої генерували приблизно 2,5 квінтильйонів байтів даних щодня у 2020 році. У цьому контексті штучний інтелект (ШІ) є однією з технологій, яка найкраще справляється зі зростаючим обсягом даних, що виробляються, у низці галузей, таких як виявлення об'єктів у комп'ютерному зорі, розпізнавання облич, розпізнавання мови, обробка природної мови або автономне водіння. ШІ, і зокрема глибоке навчання (DL), вимагає, на додаток до великих обсягів даних, значних можливостей обчислювальної потужності та пам'яті, що робить хмарні обчислення рішенням для розміщення робочих навантажень ШІ. Отже, у 2019 році 96% завдань ШІ виконувалися в хмарі. 1 де-факто 2 Застосунки ШІ можуть мати жорсткі обмеження щодо затримки, , в автономному водінні, моніторингу виробництва або будь-якому виведенні в реальному часі, що включає взаємодію з реальним світом. Наприклад, середній час відгуку в автономному водінні має бути менше 100 мілісекунд , що робить час туди-назад до хмари занадто довгим для таких застосунків. Подібним чином, деякі застосунки можуть значно використовувати канал мережі, , у випадку високоякісної відеообробки в комп'ютерному зорі, що перешкоджає їх роботі в хмарі. Політики конфіденційності даних або нормативні акти щодо захисту даних також можуть забороняти передачу даних за межі певних середовищ. Це стимулює розгортання ШІ на периферійних обчисленнях, що полягає в перенесенні обчислювальних завдань з центрів обробки даних ближче до периферійних пристроїв, , поблизу джерел даних. наприклад [](javascript:void()) наприклад тобто Порівняно з публічними хмарами, периферія є середовищем з обмеженими ресурсами та значними обмеженнями , тому розробка ШІ для периферії принципово відрізняється від розробки ШІ для хмари. Аналіз даних поблизу джерела може бути складним через нижчу потужність пристроїв, нееластичність доступних ресурсів та неоднорідність периферійних мереж. Зниження обчислювальної потужності означає зниження досяжної пропускної здатності виведення, що ще більше ускладнює перенесення важких робочих навантажень з хмари на периферію. У деяких застосунках пропускна здатність виведення, , досяжні виведення на секунду DNN, може бути пов'язана з точністю DNN, , з відстеженням об'єктів у відеопотоках, де зниження частоти виведення з 15 до 5 виведень на секунду призвело до зниження показника F1__3__ детектора об'єктів на 10% . Іншими словами, розгортання з низькою пропускною здатністю виведення можуть призвести до критичної втрати інформації, , втрати виявлень у застосунках відеоспостереження. [](javascript:void()) тобто наприклад [](javascript:void()) наприклад Існують два основні доступні методи для задоволення вимог до продуктивності в обмежених периферійних мережах: стиснення моделі або апаратне прискорення. полягає у зменшенні та оптимізації нейронних мереж до легкої, часто менш продуктивної, версії моделі. Стандартні методи стиснення моделі включають прунінг , , видалення непотрібних параметрів у моделі, квантування , , зменшення виділеної пам'яті для зберігання моделі, та дистиляцію знань , , навчання меншої нейронної мережі зі знаннями, витягнутими з більшої. Оптимізація моделі вимагає значних зусиль з розробки і може перешкоджати точності моделі. на периферійних пристроях передбачає пошук апаратного забезпечення, яке може бути енергоефективним і легким, одночасно здатним виконувати виведення з достатньою продуктивністю. Існує кілька типів апаратного забезпечення для прискорення на периферії, що відрізняються ефективністю та специфічністю, але стандартні процесорні блоки не відповідають очікуванням, а спеціалізоване апаратне забезпечення, таке як ASIC, виявилося непрактичним і дорогим . Стиснення моделі [](javascript:void()) тобто [](javascript:void()) тобто [](javascript:void()) тобто Апаратне прискорення [](javascript:void()) Розбиття DNN є доповнюючим методом прискорення виведення шляхом використання множинності існуючих пристроїв у периферійних мережах для розподілу обчислень виведення – яке може використовуватися окремо або разом з двома іншими методами. Розбиття DNN полягає в розгляді нейронної мережі як конвеєра для сегментації на частини та розподілу цих частин на периферійні пристрої. Розміщення цих частин базується як на характеристиках DNN, так і на характеристиках базової мережі. Розбиття DNN спирається на ідентифікацію точок розриву, які є точками в графі моделі, де модель розділяється на частини. Під час виконання частини виконуються послідовно, кожна передає проміжні результати виведення наступній частині. Це дозволяє кожній частині починати обчислення наступних вхідних даних, поки інші пристрої продовжують обробку переданих даних, тим самим покращуючи пропускну здатність виведення, як показано на . У решті цієї статті розбиття DNN ілюструється на прикладі виведення в реальному часі на відеопотоках. рисунку 1 A. Пов'язані роботи Методи розбиття DNN, виведені з міграції даних з мобільних периферійних пристроїв до хмари, спрямовані на оптимізацію різних показників продуктивності, таких як затримка обчислень, споживання енергії, використання ресурсів, вартість або пропускна здатність. Розбиття DNN спирається на асоціацію одного або кількох з цих показників для визначення мети оптимізації та методу, який використовує цей показник для пошуку схем розбиття. Наприклад, Neurosurgeon шукає одну точку розриву, зберігаючи першу частину на периферії та передаючи другу частину до хмари, щоб мінімізувати затримку та споживання енергії. Застосунки в IoT також розглядали спільне розбиття та передачу даних кількох DNN для оптимізації енергії, затримки та/або вартості, використовуючи різні вирішувачі, такі як SPSO-GA , що поєднує оптимізацію рою частинок (PSO) та генетичний алгоритм (GA), або DDPQN , який використовує глибоке навчання з підкріпленням для пошуку схем розбиття. Інші приклади включають DINA , яка визначає задачу цілочисельного нелінійного програмування (INLP) і використовує вирішувач на основі теорії відповідності для оптимізації затримки та використання ресурсів у мережах туману. Методи, що оптимізують пропускну здатність виведення, включають DNN surgery , яка використовує менший розмір проміжних виходів шарів DNN для розбиття обчислень виведення між периферією та хмарою. Обидва алгоритми створюють дві частини, одну на периферії, а іншу в хмарі. Інші дослідження в галузі мобільних периферійних пристроїв до хмари також включають багатопоточні обчислення в хмарі для подальшого прискорення загальної пропускної здатності виведення. Покладання на хмару для обчислення другої частини виведення передбачає хороше мережеве з'єднання, що може бути невизначеним через погане з'єднання деяких ізольованих периферійних розгортань. Edgent адаптує попередню методологію до мобільних пристроїв та доступних периферійних серверів, послаблюючи обмеження передачі даних до хмари. Цей метод пов'язаний із конкретним навчанням та архітектурою моделі, і все ще обмежує розбиття двома частинами. Інші методи розглядали кілька точок розриву, , IONN , яка описує проблему розбиття для мінімізації затримки та споживання енергії, також враховуючи час завантаження моделей на периферійні сервери. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) наприклад [](javascript:void()) Ці методи або взаємодіють з віддаленими хмарами, або обмежені за характером розбиття, , вимагають розбиття рівно на дві частини, з багатопоточним виконанням або без нього. Жодне з перелічених досліджень розбиття DNN не розглядає одночасно кілька точок розриву та багатопоточне виконання. наприклад B. Внесок Ця стаття представляє розподілену систему виведення для максимізації пропускної здатності виведення реального часу обчислень DNN на потокових даних, з кількома точками розриву та багатопотоковим розбиттям. Внесок цієї статті полягає в наступному: Модель для обчислення та передачі затримок розподіленої DNN, за допомогою якої можна оцінити очікувану пропускну здатність виведення заданої схеми розбиття. Формулювання задачі оптимізації для розбиття DNN, реалізація вирішувача "гілка і межа" для цієї задачі та оцінка її складності. Симуляції для дослідження можливих покращень продуктивності при різних властивостях мережі та DNN. Визначення детермінованих областей у властивостях мережі та DNN, що призводять до існування оптимальних розбиттів, та витрати на обчислення таких рішень, тобто умов, за яких розбиття DNN є вигідним. Експериментальні результати, що ілюструють області, визначені в симуляціях, а також точність прогнозування та остаточне прискорення пропускної здатності виведення для однорідних та неоднорідних середовищ. У решті цієї статті, щоб уникнути плутанини, розбита глибока нейронна мережа буде позначатися як , а термін позначатиме базову фізичну комунікаційну мережу. DNN мережа C. План статті Решта цієї статті організована наступним чином. представляє основи глибокого навчання та спосіб представлення DNN у цьому дослідженні. детально описує методи прогнозування затримок виведення та передачі, необхідні для , який визначає задачу оптимізації, а також алгоритм "гілка і межа" для прийняття рішень щодо розбиття. представляє результати симуляцій для кількісної оцінки продуктивності та складності алгоритму "гілка і межа", а також умови, що призводять до існування розбиття, яке покращує пропускну здатність виведення в однорідній мережі. представляє експериментальні результати, що підтверджують симуляції , та демонструє покращення пропускної здатності виведення на неоднорідній експериментальній установці. Нарешті, обговорює результати та розширює сферу застосування цього методу. Розділ II Розділ III Розділу IV Розділ V Розділ VI Розділу V Розділ VII РОЗДІЛ II. Основи: Глибоке навчання У галузі машинного навчання глибоке навчання (DL) стосується методів, що базуються на використанні DNN, тобто штучних нейронних мереж (або пов'язаних методів машинного навчання), що містять більше одного прихованого шару. Одне з найперших посилань на архітектури глибокого навчання було опубліковано в 1967 році , але лише у 2010-х роках DL набуло популярності, спочатку в розпізнаванні мови, потім у виявленні об'єктів на зображеннях, завдяки здатності захоплювати складні взаємозв'язки у високорозмірних даних. Очікується, що глибоке навчання становитиме більшість застосунків ШІ у 2022 році, причому понад 75% організацій використовують DNN для застосунків, де могли б використовуватися класичні методи. Методи DL були визначені як "техніки машинного навчання, в яких гіпотези приймають форму складних алгебраїчних схем з настроюваними силами зв'язку" . Ці алгебраїчні схеми зазвичай організовані в шари, які формують кроки в обчисленні. Термін стосується алгоритмів, що складаються з більш ніж одного шару. [](javascript:void()) 4 [](javascript:void()) глибокий Існують дві основні структури DNN: нейронні мережі прямого поширення та рекурентні нейронні мережі. Обидва типи DNN можна представити як обчислювальні графи, причому основна відмінність полягає в тому, що мережі прямого поширення можна представити як прямі ациклічні графи (DAG), тоді як рекурентні нейронні мережі можуть містити цикли. Рекурентні нейронні мережі призначені для послідовностей даних, де кожна точка даних має потенційну залежність від попередніх точок даних у послідовності, тоді як мережі прямого поширення не враховують взаємодію між точками в послідовності даних. У решті цієї статті розглядатиметься випадок DNN прямого поширення. 5 РОЗДІЛ III. Моделювання розподіленого виведення Цей розділ представляє модель для представлення властивостей DNN та мережі з метою прогнозування затримок обчислень, затримок передачі та кінцевої пропускної здатності виведення заданого рішення щодо розбиття. A. Представлення DNN та мережі DNN прямого поширення з N шарами моделюється як DAG GA=(L,E), де L=(L1,…,LL) – шари DNN. Ребра (Li,Lj)∈E – це зв'язки між шарами Li та Lj. Кожен шар Li має пов'язане споживання обчислень ci, виміряне в кількості операцій з плаваючою комою, необхідних для обчислення прямого проходу через шар. Ребрам (Li,Lj) присвоюється вага si,j, що відповідає розміру даних, що передаються між шарами Li та Lj, у байтах. Фізична мережа моделюється як повний граф G=(N,V), де N=(N1,…,NN) – множина обчислювальних вузлів, а V – множина зв'язків між вузлами. Передбачається, що обчислювальні вузли N1,…,NN мають швидкості обробки η1,…,ηN відповідно, виміряні в операціях з плаваючою комою на секунду. Нарешті, пропускна здатність каналу між двома суміжними вузлами Na та Nb позначається як θa,b, виміряна в байтах на секунду. Кожен вузол Ni з'єднаний сам із собою з нескінченною пропускною здатністю для представлення каналу зворотного зв'язку, і припускається, що канали симетричні, тобто θa,b=θb,a. Розбиття визначаються як відображення P:L→N, тобто розбиття присвоює номер вузла кожному шару в DNN. Розбиття можна описати як матрицю P розміром (N×L), де N – кількість вузлів у мережі, а L – кількість шарів DNN, і де Pa,i=1, якщо шар Li розміщений на вузлі Na, 0 інакше. На прикладі, наведеному на , L=7 шарів і N=2 обчислювальних вузли, представлене розбиття з шарами {L1,L2,L3,L6,L7} на вузлі N1, і шарами {L4,L5} на вузлі N2, представляється як: рисунку 2 Враховуючи задане розбиття, визначається як група послідовних шарів між двома точками розриву, що виконуються послідовно на одному вузлі. У наведеному вище прикладі вузол N1 виконуватиме два потоки, перший міститиме шари {L1,L2,L3}, а другий – {L6,L7}. потік З визначеними цими позначеннями, решта цього розділу виводить замкнений вираз пропускної здатності виведення, досягнутої заданим розбиттям, як функцію затримок виведення (розділ III-B) та передачі (розділ III-C). B. Прогнозування затримки виведення Враховуючи розбиття, цей розділ розглядає прогнозування затримки виведення на ізольованому вузлі. Затримка, спричинена обчисленням шару Li з використанням ci, що обчислюється на вузлі Na, зі швидкістю обробки ηa, виражається як Tci(Na)=ci/ηa. Враховуючи множину шарів L′⊂L у всіх потоках, що виконуються на вузлі Na, зі швидкістю обробки ηa, затримка виведення може бути виражена як: Цей вираз є першочерговою апроксимацією оцінки затримки виведення на основі кількості операцій з плаваючою комою (FLOPs), необхідних для обробки DNN, тобто кількості операцій множення-додавання в моделі. Оцінка затримки виведення на периферійних пристроях ускладнюється оптимізаціями під час виконання. Існуючі рішення, такі як nn-Meter , прогнозують затримку виведення на основі FLOPs. Інші рішення покладаються на таблицю пошуку з попередньо обчисленими часами виведення для прогнозування затримки. Наприклад, BRP-NAS використовує попередньо навчену графову згорткову мережу для прогнозування затримок виведення, враховуючи оптимізації моделі під час виконання. [](javascript:void()) [](javascript:void()) В далі припускається, що процесори використовують свою повну потужність, що означає, що багатоядерні процесори моделюються як одноядерні процесори зі швидкістю обробки, що дорівнює сумі швидкостей їх ядер. Також припускається, що обчислювальний ресурс розподіляється порівну між потоками, тобто процесор приділяє однакову частку свого часу кожному потоку. рівнянні 1 Серед усіх вузлів потік з найвищою затримкою визначає пропускну здатність виведення для розподіленої DNN. Не враховуючи затримки передачі, це означає, що як тільки цей обмежуючий потік завершить обчислення кадру даних, він безпосередньо почне обробку наступного. Інші потоки матимуть час простою перед обробкою наступного кадру даних, оскільки їхня затримка виведення нижча за цю максимальну затримку, як показано на . рисунку 1 Враховуючи матрицю розбиття P, затримки виведення можуть бути виражені як єдиний вектор Tc розміром N, де a-й компонент – це найвища затримка потоку виведення на вузлі Na, тобто Tca=Tc(Na): де H – діагональна матриця обернених швидкостей обробки вузлів (η−11,…,η−1N), а c – стовпчиковий вектор індивідуальних споживань шарів (c1,…,cL). C. Прогнозування затримки передачі Затримку передачі можна прогнозувати наступним чином: час, необхідний для надсилання обсягу даних si,j між шарами Li та Lj по каналу (Na,Nb) зі швидкістю передачі θa,b, становить Tti,j(Na,Nb)=si,j/θa,b. Час для досягнення передачі даних si,j∈E′⊂E по каналу (Na,Nb) становить: Подібно до прогнозування затримки виведення, це означає, що канали розподіляються порівну між передачею даних з Na до Nb. Прогнозування затримки передачі спирається на оцінку пропускної здатності каналу між вузлами, більш точно , тобто корисний обсяг даних, що передається за секунду. goodput Подібно до оцінки затримки виведення, це першочергова апроксимація, яка ефективно дає хороші результати прогнозування, як показано на c, з коефіцієнтом кореляції R2=0,9998. Недоліком цього методу є необхідність насичення каналів для отримання оцінки пропускної здатності. рисунку 3 Враховуючи матрицю розбиття P, матриця затримки передачі Tt може бути визначена як квадратна матриця розміром L, де Tta,b=Tt(Na,Nb): де ° – побічний добуток, або добуток Адамара, Θ – матриця оберненої пропускної здатності, тобто квадратна матриця розміром N з Θa,b=θ−1a,b, а S – матриця розміру передачі, тобто квадратна матриця розміром L з Si,j=si,j, якщо Li передає дані до Lj, 0 інакше. РОЗДІЛ IV. Розбиття DNN Метою розбиття DNN у цьому дослідженні є максимізація пропускної здатності виведення, що позначається як C, яка відповідає оберненій величині максимальної затримки між усіма різними обчислювальними затримками та затримками передачі. Враховуючи розбиття P, пропускна здатність виведення визначається як: Максимізація пропускної здатності виведення полягає у знаходженні спільного мінімаксу між усіма членами Tc та Tt. Це можна визначити як задачу дискретної оптимізації: де Ji,j – матриця одиниць розміром i×j, умови (6) та (7) вимагають, щоб кожен шар був розміщений на одному і тільки одному вузлі. Ця задача оптимізації є задачею змішаного цілочисельного нелінійного програмування (MINLP). Матрицю розбиття можна розглядати як версію з однією гарячою кодуванням вектора розміром (1×L) зі значеннями в [[1,N]]. Задачі MINLP є NP-складними, що означає, що складність знаходження оптимального розбиття DNN становить O(NL), оскільки кожен з L шарів може бути розміщений на N вузлах. Існує кілька евристик для отримання оптимальних або су