Mengapa AI Anda Tidak Perlu Lagi Cloud agar Berjalan Lebih Cepat

Penulis: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrak: Inferensi jaringan saraf tiruan dalam (DNN) pada data streaming memerlukan sumber daya komputasi untuk memenuhi persyaratan throughput inferensi. Namun, aplikasi pembelajaran mendalam yang sensitif terhadap latensi dan privasi tidak dapat mengalihkan komputasi ke cloud jarak jauh karena biaya transmisi yang tersirat dan kurangnya kepercayaan pada penyedia cloud pihak ketiga. Di antara solusi untuk meningkatkan kinerja sambil menjaga komputasi tetap berada di lingkungan yang terbatas, akselerasi perangkat keras dapat memberatkan, dan optimasi model memerlukan upaya desain yang ekstensif sambil menghambat akurasi. Partisi DNN adalah pendekatan pelengkap ketiga, dan terdiri dari mendistribusikan beban kerja inferensi ke beberapa perangkat edge yang tersedia, dengan mempertimbangkan properti jaringan edge dan struktur DNN, dengan tujuan memaksimalkan throughput inferensi (jumlah inferensi per detik). Makalah ini memperkenalkan metode untuk memprediksi latensi inferensi dan transmisi untuk penyebaran DNN terdistribusi multi-threaded, dan mendefinisikan proses optimasi untuk memaksimalkan throughput inferensi. Solusi branch and bound kemudian disajikan dan dianalisis untuk mengukur kinerja dan kompleksitas yang dicapai. Analisis ini telah mengarah pada definisi wilayah akselerasi, yang menjelaskan kondisi deterministik pada properti DNN dan jaringan di mana partisi DNN bermanfaat. Akhirnya, hasil eksperimental mengkonfirmasi simulasi dan menunjukkan peningkatan throughput inferensi dalam penyebaran edge sampel. Partisi DNN di edge memungkinkan percepatan throughput inferensi sambil menurunkan penggunaan bandwidth dan latensi ke server terpusat, mis., di cloud. Pendahuluan Perangkat terhubung menghasilkan perkiraan 2,5 triliun byte data setiap hari pada tahun 2020. Dalam konteks ini, Kecerdasan Buatan (AI) adalah salah satu teknologi yang paling mampu mengatasi jumlah data yang terus bertambah, dalam berbagai bidang seperti deteksi objek dalam visi komputer, pengenalan wajah, pengenalan suara, pemrosesan bahasa alami, atau mengemudi otonom. AI, dan khususnya Deep Learning (DL), memerlukan, selain data dalam jumlah besar, kemampuan yang signifikan dalam daya pemrosesan dan memori, yang menjadikan komputasi cloud sebagai solusi hosting untuk beban kerja AI. Akibatnya, pada tahun 2019, 96% tugas AI dijalankan di cloud. 1 de facto 2 Aplikasi AI dapat memiliki batasan latensi yang kuat, mis. dalam mengemudi otonom, pemantauan manufaktur, atau inferensi waktu nyata apa pun yang melibatkan interaksi dunia nyata. Misalnya, waktu respons rata-rata dalam mengemudi otonom diperlukan di bawah 100 milidetik [](javascript:void()) , membuat waktu bolak-balik ke cloud terlalu lama untuk aplikasi tersebut. Demikian pula, beberapa aplikasi dapat menimbulkan penggunaan tautan yang signifikan pada jaringan, mis. dalam kasus pemrosesan video berkualitas tinggi dalam visi komputer, yang mencegahnya berjalan di cloud. Kebijakan privasi data atau peraturan perlindungan data juga dapat melarang data meninggalkan lingkungan tertentu. Hal ini mendorong penyebaran AI dalam komputasi edge, yang terdiri dari memindahkan tugas komputasi dari pusat data lebih dekat ke perangkat edge, yaitu, di dekat sumber data. Dibandingkan dengan cloud publik, edge adalah lingkungan dengan sumber daya terbatas dengan batasan penting [](javascript:void()) , dan mengembangkan AI untuk edge karenanya berbeda secara intrinsik dari mengembangkan AI untuk cloud. Menganalisis data dekat dengan sumbernya dapat menjadi tantangan karena kapasitas perangkat yang lebih rendah, inelastisitas sumber daya yang tersedia, dan heterogenitas jaringan edge. Menurunkan kapasitas komputasi berarti menurunkan throughput inferensi yang dapat dicapai, yang semakin mempersulit pemindahan beban kerja berat dari cloud ke edge. Dalam beberapa aplikasi, throughput inferensi, yaitu, inferensi yang dapat dicapai per detik dari DNN, dapat dikaitkan dengan akurasi DNN, mis. dengan pelacakan objek dalam aliran video, di mana penurunan laju inferensi dari 15 menjadi 5 inferensi per detik telah terbukti menurunkan skor F1__3__ detektor objek sebesar 10% [](javascript:void()). Dengan kata lain, penyebaran dengan throughput inferensi rendah dapat menyebabkan kehilangan informasi kritis, mis. kehilangan deteksi dalam aplikasi pengawasan video. Ada dua metode utama yang tersedia untuk memenuhi persyaratan kinerja pada jaringan edge yang terbatas: kompresi model atau akselerasi perangkat keras. Kompresi model terdiri dari mengurangi dan mengoptimalkan jaringan saraf menjadi versi model yang ringan, seringkali berkinerja buruk. Metode kompresi model standar termasuk pruning [](javascript:void()) , yaitu, menghapus parameter yang tidak perlu dalam model, kuantisasi [](javascript:void()) , yaitu, mengurangi memori yang dialokasikan untuk menyimpan model, dan distilasi pengetahuan [](javascript:void()) , yaitu, melatih jaringan saraf yang lebih kecil dengan pengetahuan yang diekstraksi dari yang lebih besar. Optimasi model memerlukan upaya desain yang ekstensif dan dapat menjadi penghalang akurasi model. Akselerasi perangkat keras pada perangkat edge menyiratkan pencarian perangkat keras yang efisien daya dan ringan, sambil tetap mampu menjalankan inferensi dengan kinerja yang memadai. Ada beberapa jenis perangkat keras kandidat untuk akselerasi di edge, bervariasi dalam efisiensi dan kekhususannya, tetapi unit pemrosesan standar gagal memenuhi harapan dan perangkat keras khusus seperti ASIC telah ditemukan tidak praktis dan mahal [](javascript:void()). Partisi DNN adalah metode pelengkap untuk mempercepat inferensi dengan memanfaatkan banyaknya perangkat yang ada di jaringan edge untuk mendistribusikan komputasi inferensi – yang dapat digunakan sendiri, atau bersama dengan dua metode lainnya. Partisi DNN terdiri dari mempertimbangkan jaringan saraf sebagai pipeline untuk disegmentasi menjadi partisi, dan mendistribusikan partisi ini ke perangkat edge. Penempatan partisi ini didasarkan pada karakteristik DNN dan jaringan yang mendasarinya. Partisi DNN bergantung pada identifikasi titik pemisahan, yang merupakan titik dalam grafik model tempat model dipisahkan menjadi partisi. Selama waktu berjalan, partisi dijalankan secara berurutan, masing-masing mengirimkan hasil inferensi perantara ke partisi berikutnya. Hal ini memungkinkan setiap partisi untuk mulai menghitung data input berikutnya sementara perangkat lain melanjutkan pemrosesan data yang dialihkan, sehingga meningkatkan throughput inferensi, seperti yang ditunjukkan pada gambar 1 . Di sisa makalah ini, partisi DNN diilustrasikan melalui contoh inferensi waktu nyata pada aliran video. A. Karya Terkait Metode untuk partisi DNN, yang berasal dari pengalihan edge-cloud seluler, berusaha untuk mengoptimalkan berbagai indikator kinerja, seperti latensi komputasi, konsumsi energi, utilisasi sumber daya, biaya, atau throughput. Partisi DNN bergantung pada asosiasi satu atau beberapa metrik ini untuk mendefinisikan tujuan optimasi, dan metode yang memanfaatkan metrik ini untuk menemukan skema partisi. Misalnya, Neurosurgeon [](javascript:void()) mencari satu titik pemisahan, menjaga partisi pertama di edge dan mengalihkan partisi kedua ke cloud, untuk meminimalkan latensi dan konsumsi energi. Aplikasi dalam IoT juga telah mempertimbangkan partisi dan pengalihan gabungan beberapa DNN untuk mengoptimalkan energi, penundaan, dan/atau biaya, menggunakan berbagai pemecah seperti SPSO-GA [](javascript:void()) menggabungkan Particle Swarm Optimization (PSO) dan Genetics Algorithm (GA), atau DDPQN [](javascript:void()) yang menggunakan Deep Reinforcement Learning untuk menemukan skema partisi. Contoh lain termasuk DINA [](javascript:void()), yang mendefinisikan masalah Integer Non Linear Programming (INLP), dan menggunakan pemecah berbasis teori pencocokan, untuk mengoptimalkan penundaan dan utilisasi sumber daya di jaringan fog. Metode yang mengoptimalkan throughput inferensi termasuk DNN surgery [](javascript:void()) , yang menggunakan ukuran keluaran lapisan DNN perantara yang lebih kecil untuk mempartisi komputasi inferensi antara edge dan cloud. Kedua algoritma membuat dua partisi, satu di edge dan yang lainnya di cloud. Studi lain di bidang mobile edge-cloud [](javascript:void()) juga mencakup komputasi multi-threaded di cloud untuk lebih mempercepat throughput inferensi secara keseluruhan. Bergantung pada cloud untuk komputasi inferensi partisi kedua mengasumsikan konektivitas jaringan yang baik, yang bisa tidak pasti dengan konektivitas buruk dari beberapa penyebaran edge terisolasi. Edgent [](javascript:void()) mengadaptasi metodologi sebelumnya ke perangkat seluler dan server edge yang tersedia, melonggarkan batasan pengalihan ke cloud. Metode ini terkait dengan pelatihan dan arsitektur model tertentu, dan masih membatasi partisi menjadi dua partisi. Metode lain telah mempertimbangkan beberapa titik pemisahan, mis. IONN [](javascript:void()) , yang menjelaskan masalah partisi untuk meminimalkan latensi dan konsumsi energi, juga mempertimbangkan waktu untuk mengunggah model ke server edge. Metode-metode ini berinteraksi dengan cloud jarak jauh, atau terbatas dalam sifat partisi, mis. diharuskan membagi menjadi tepat dua bagian, dengan atau tanpa multi-threading. Tidak ada studi partisi DNN yang terdaftar yang mempertimbangkan beberapa titik pemisahan dan multi-threading. B. Kontribusi Makalah ini menyajikan kerangka kerja inferensi terdistribusi untuk memaksimalkan throughput inferensi komputasi DNN waktu nyata pada data streaming, dengan beberapa titik pemisahan dan partisi multi-threaded. Kontribusi makalah ini adalah sebagai berikut: Model untuk latensi komputasi dan transmisi DNN terdistribusi, yang melaluinya perkiraan throughput inferensi dari skema partisi tertentu dapat diperkirakan. Formulasi masalah optimasi untuk partisi DNN, implementasi pemecah branch and bound untuk masalah ini, dan evaluasi kompleksitasnya. Simulasi untuk mengeksplorasi kemungkinan peningkatan kinerja dengan properti jaringan dan DNN yang bervariasi. Identifikasi wilayah deterministik dalam properti jaringan dan DNN yang mengarah pada keberadaan partisi optimal dan biaya untuk menghitung solusi tersebut, yaitu, kondisi di mana partisi DNN bermanfaat. Hasil eksperimental yang mengilustrasikan wilayah yang ditentukan dalam simulasi, serta akurasi prediksi dan percepatan throughput inferensi akhir untuk lingkungan homogen dan heterogen. Untuk sisa makalah ini, untuk menghindari kebingungan, jaringan saraf tiruan yang dipartisi akan disebut sebagai DNN , dan istilah jaringan akan merujuk pada jaringan komunikasi fisik yang mendasarinya. C. Garis Besar Makalah Sisa makalah ini diorganisasikan sebagai berikut. Bagian II menyajikan latar belakang Pembelajaran Mendalam dan bagaimana DNN direpresentasikan dalam studi ini. Bagian III merinci metode prediksi latensi inferensi dan transmisi yang diperlukan untuk Bagian IV yang mendefinisikan masalah optimasi, serta algoritma branch and bound untuk mengambil keputusan partisi. Bagian V menyajikan hasil simulasi untuk mengukur kinerja dan kompleksitas algoritma branch and bound, serta kondisi yang mengarah pada keberadaan partisi yang meningkatkan throughput inferensi dalam jaringan homogen. Bagian VI menyajikan hasil eksperimental yang mengkonfirmasi simulasi dari Bagian V , dan menunjukkan peningkatan throughput inferensi pada pengaturan eksperimental heterogen. Akhirnya, Bagian VII membahas hasil dan memperluas penerapan yang lebih luas dari metode ini. BAGIAN II. Latar Belakang: Pembelajaran Mendalam Dalam bidang Machine Learning, Deep Learning (DL) mengacu pada metode yang bergantung pada penggunaan DNN, yaitu, jaringan saraf tiruan (atau metode pembelajaran mesin terkait) yang berisi lebih dari satu lapisan tersembunyi. Salah satu referensi paling awal untuk arsitektur pembelajaran mendalam diterbitkan pada tahun 1967 [](javascript:void()) , tetapi baru pada tahun 2010-an DL mendapatkan daya tarik, pertama dalam pengenalan suara, kemudian dalam deteksi objek dalam gambar, karena kemampuannya menangkap hubungan yang kompleks dalam data berdimensi tinggi. Deep Learning diperkirakan mewakili mayoritas aplikasi AI pada tahun 2022, dengan lebih dari 75% organisasi menggunakan DNN untuk aplikasi yang dapat menggunakan metode klasik. Metode DL telah didefinisikan sebagai "teknik pembelajaran mesin di mana hipotesis mengambil bentuk sirkuit aljabar kompleks dengan kekuatan koneksi yang dapat disetel" [](javascript:void()) . Sirkuit aljabar ini biasanya diatur ke dalam lapisan, yang membentuk langkah-langkah dalam komputasi. Istilah dalam mengacu pada algoritma yang terdiri dari lebih dari satu lapisan. 4 Ada dua struktur DNN utama: jaringan saraf feed-forward dan jaringan saraf berulang. Kedua jenis DNN dapat direpresentasikan sebagai grafik komputasi, dengan perbedaan utama adalah bahwa jaringan feed-forward dapat direpresentasikan sebagai grafik asiklik langsung (DAG), sedangkan jaringan saraf berulang mungkin berisi siklus. Jaringan saraf berulang dibangun untuk urutan data, di mana setiap titik data memiliki dependensi potensial dengan titik data sebelumnya dalam urutan, sementara jaringan saraf feed-forward tidak mempertimbangkan interaksi antar titik dalam urutan data. Untuk sisa makalah ini, kita akan mempertimbangkan kasus DNN feed-forward. 5 BAGIAN III. Pemodelan Inferensi Terdistribusi Bagian ini menyajikan model untuk merepresentasikan properti DNN dan jaringan untuk memprediksi latensi komputasi, latensi transmisi, dan throughput inferensi akhir dari solusi partisi tertentu. A. Representasi DNN dan Jaringan DNN feed-forward dari N lapisan dimodelkan sebagai DAG GA=(L,E) dengan L=(L1,…,LL) lapisan DNN. Tepi (Li,Lj)∈E adalah koneksi antara lapisan Li dan Lj . Setiap lapisan Li memiliki konsumsi komputasi terkait ci , yang diukur dalam jumlah operasi floating-point yang diperlukan untuk menghitung forward pass melalui lapisan. Tepi (Li,Lj) diberi bobot si,j yang sesuai dengan ukuran data yang ditransmisikan antara lapisan Li dan Lj dalam byte. Jaringan fisik dimodelkan sebagai grafik yang terhubung penuh G=(N,V) di mana N=(N1,…,NN) adalah himpunan node komputasi dan V adalah himpunan tautan antar node. Diasumsikan bahwa node komputasi N1,…,NN memiliki laju pemrosesan η1,…,ηN , masing-masing, diukur dalam operasi floating-point per detik. Akhirnya, throughput tautan antara dua node yang berdekatan Na dan Nb dilambangkan sebagai θa,b , diukur dalam byte per detik. Setiap node Ni terhubung ke dirinya sendiri dengan throughput tak terbatas untuk mewakili tautan loopback, dan tautan diasumsikan simetris, yaitu, θa,b=θb,a . Partisi didefinisikan sebagai pemetaan P:L→N , yaitu, partisi menetapkan nomor node ke setiap lapisan dalam DNN. Partisi dapat dijelaskan sebagai matriks P berdimensi (N×L) , N adalah jumlah node di jaringan dan L adalah jumlah lapisan DNN dan, dengan Pa,i=1 jika lapisan Li ditempatkan pada node Na , 0 sebaliknya. Dengan contoh yang diberikan pada gambar 2 , L=7 lapisan dan N=2 node komputasi, partisi yang ditampilkan dengan lapisan {L1,L2,L3,L6,L7} pada node N1 , dan lapisan {L4,L5} pada node N2 , direpresentasikan sebagai: Diberikan partisi, thread didefinisikan sebagai sekelompok lapisan berurutan di antara dua titik pemisahan, yang dijalankan secara berurutan pada node yang sama. Dalam contoh di atas, node N1 akan menjalankan dua thread, yang pertama berisi lapisan {L1,L2,L3} dan yang kedua berisi {L6,L7} . Dengan notasi yang ditentukan ini, sisa Bagian ini menurunkan ekspresi tertutup dari throughput inferensi yang dicapai oleh partisi tertentu, sebagai fungsi dari latensi inferensi ( bagian III-B ) dan transmisi ( bagian III-C ). B. Prediksi Latensi Inferensi Diberikan partisi, Bagian ini melihat prediksi latensi inferensi pada node terisolasi. Latensi yang disebabkan oleh komputasi lapisan Li dengan konsumsi ci , yang akan dihitung pada node Na , dengan laju pemrosesan ηa diekspresikan sebagai Tci(Na)=ci/ηa . Diberikan himpunan lapisan L′⊂L di semua thread yang berjalan pada node Na dengan laju pemrosesan ηa , latensi inferensi dapat diekspresikan sebagai: Ekspresi ini adalah perkiraan orde pertama dari estimasi latensi inferensi berdasarkan jumlah operasi floating-point (FLOP) yang diperlukan untuk memproses DNN, yaitu, jumlah operasi perkalian-penambahan dalam model. Estimasi latensi inferensi pada perangkat edge dipersulit oleh optimasi waktu berjalan. Solusi yang ada seperti nn-Meter [](javascript:void()) memprediksi latensi inferensi berdasarkan FLOP. Solusi lain bergantung pada tabel pencarian dengan waktu inferensi yang telah dihitung sebelumnya untuk inferensi latensi. Misalnya, BRP-NAS [](javascript:void()) menggunakan jaringan saraf konvolusional yang telah dilatih sebelumnya untuk memprediksi latensi inferensi, sambil mempertimbangkan optimasi model waktu berjalan. Dalam persamaan 1 , lebih lanjut diasumsikan bahwa prosesor menggunakan kapasitas penuhnya, yang menyiratkan bahwa prosesor multi-core dimodelkan sebagai prosesor single-core dengan laju pemrosesan yang sama dengan jumlah laju pemrosesan intinya. Diasumsikan juga bahwa sumber daya komputasi dibagi secara merata di antara thread, yaitu, prosesor mengalokasikan proporsi waktu yang sama untuk setiap thread. Di semua node, thread dengan latensi tertinggi menentukan throughput inferensi untuk DNN terdistribusi. Mengabaikan latensi transmisi, ini menyiratkan bahwa setelah thread pembatas ini selesai menghitung bingkai data, ia langsung memproses bingkai berikutnya. Thread lain akan memiliki waktu idle sebelum memproses bingkai data berikutnya karena latensi inferensinya lebih rendah dari latensi maksimum ini, seperti yang ditunjukkan pada gambar 1 . Diberikan matriks partisi P , latensi inferensi dapat diekspresikan sebagai vektor tunggal Tc berukuran N di mana komponen ke- a adalah latensi inferensi thread tertinggi pada node Na , yaitu, Tca=Tc(Na) : di mana H adalah matriks diagonal dari laju pemrosesan node invers diag(η−11,…,η−1N) dan c adalah vektor kolom dari konsumsi lapisan individual (c1,…,cL) . C. Prediksi Latensi Transmisi Latensi transmisi dapat diprediksi sebagai berikut: waktu yang dibutuhkan untuk mengirim jumlah data si,j antara lapisan Li dan Lj pada edge (Na,Nb) melalui tautan dengan throughput terukur θa,b adalah Tti,j(Na,Nb)=si,j/θa,b . Waktu untuk mencapai transfer data si,j∈E′⊂E melalui tautan (Na,Nb) adalah: Serupa dengan prediksi latensi inferensi, ini menyiratkan bahwa tautan dibagi secara merata di antara transfer data dari Na ke Nb . Prediksi latensi transmisi bergantung pada estimasi throughput tautan antara node, lebih tepatnya goodput , yaitu, jumlah data berguna yang ditransmisikan per detik. Serupa dengan estimasi latensi inferensi, ini adalah perkiraan orde pertama, yang secara efisien menawarkan hasil prediksi yang baik, seperti yang ditunjukkan pada gambar 3 c, dengan koefisien korelasi R2=0.9998 . Kerugian dari metode ini adalah persyaratannya untuk menjenuhkan tautan untuk mendapatkan estimasi throughput. Diberikan matriks partisi P , matriks latensi transmisi Tt dapat didefinisikan sebagai matriks persegi berukuran L , dengan Tta,b=Tt(Na,Nb) : di mana ° adalah produk suku demi suku, atau produk Hadamard, Θ adalah matriks invers throughput, yaitu, matriks persegi berukuran N dengan Θa,b=θ−1a,b dan S adalah matriks ukuran transmisi, yaitu, matriks persegi berukuran L dengan Si,j=si,j jika Li mengirim data ke Lj , 0 sebaliknya. BAGIAN IV. Partisi DNN Tujuan partisi DNN dalam studi ini adalah untuk memaksimalkan throughput inferensi, dilambangkan dengan C , yang sesuai dengan invers dari latensi maksimum di antara semua latensi komputasi dan transmisi yang berbeda. Diberikan partisi P , throughput inferensi didefinisikan sebagai: Memaksimalkan throughput inferensi sama dengan menemukan min-max gabungan di antara semua suku Tc dan Tt . Ini dapat didefinisikan sebagai masalah optimasi diskrit: dengan Ji,j menjadi matriks semua-satu berukuran i×j , kondisi (6) dan (7) mengharuskan setiap lapisan ditempatkan pada satu dan hanya satu node. Masalah optimasi ini adalah masalah Mixed Integer Non-linear Programming (MINLP). Matriks partisi dapat dilihat sebagai versi one-hot encoded dari vektor berukuran (1×L) dengan nilai dalam [[1,N]] . Masalah MINLP adalah NP-hard, menyiratkan bahwa kompleksitas menemukan partisi DNN optimal adalah O(NL) karena setiap dari L lapisan dapat ditempatkan pada N node. Ada beberapa heuristik untuk mendapatkan solusi optimal atau sub-optimal untuk masalah ini dalam waktu lebih sedikit daripada algoritma brute force, yaitu, Genetic Algorithms (GA) [](javascript:void()) , Particle Swarm Optimization (PSO) [](javascript:void()) , atau Branch and Bound (B&B) [](javascript:void()). Metodologi yang dipilih adalah implementasi B&B yang diadaptasi, yang disajikan pada Bagian IV-A . A. Algoritma Branch and Bound Bagian ini menyajikan adaptasi branch and bound (B&B) ke masalah optimasi partisi DNN yang didefinisikan pada Bagian IV . Dalam algoritma B&B, ruang solusi direpresentasikan oleh sebuah pohon. Prosesnya terdiri dari menghilangkan seluruh cabang di pohon berdasarkan evaluasi skor node akar. Ini menyiratkan keberadaan topologi pohon yang menciptakan hubungan antara skor node di pohon dan batas pada skor semua daunnya.