למה הבינה המלאכותית שלך כבר לא צריכה את הענן כדי לפעול מהר יותר

```html מחברים: תומאס פלטין לאו מרצ'ו חואן-אנטוניו קורדרו-פוארטס פרנק ברוקנרס תומאס ה. קלאוסן תקציר: הסקה ברשתות נוירונים עמוקות (DNN) על נתוני סטרימינג דורשת משאבי חישוב כדי לעמוד בדרישות תפוקת ההסקה. עם זאת, יישומי למידה עמוקה הרגישים לזמן השהיה ולפרטיות אינם יכולים להרשות לעצמם להעביר חישובים לענן מרוחק בשל עלות השידור הכרוכה בכך והיעדר אמון בספקי ענן צד שלישי. בין הפתרונות להגברת הביצועים תוך שמירה על חישוב בסביבה מוגבלת, האצת חומרה יכולה להיות מכבידה, ואופטימיזציית מודלים דורשת מאמצי תכנון נרחבים תוך פגיעה בדיוק. חלוקת DNN היא גישה משלימה שלישית, והיא כוללת הפצת עומס ההסקה על פני מספר מכשירי קצה זמינים, תוך התחשבות בתכונות רשת הקצה ובמבנה ה-DNN, במטרה למקסם את תפוקת ההסקה (מספר הסקות בשנייה). מאמר זה מציג שיטה לחיזוי זמני ההסקה והשידור עבור פריסות DNN מופצות מרובות-תהליכונים, ומגדיר תהליך אופטימיזציה למקסום תפוקת ההסקה. לאחר מכן מוצג ונותח פותר מסוג "ענף וחסם" (branch and bound) כדי לכמת את הביצועים והמורכבות שהושגו. ניתוח זה הוביל להגדרת "אזור ההאצה", המתאר תנאים דטרמיניסטיים בתכונות ה-DNN והרשת שעבורם חלוקת DNN מועילה. לבסוף, תוצאות ניסיוניות מאשרות את הסימולציות ומראות שיפור בתפוקת ההסקה בפריסות קצה לדוגמה. חלוקת DNN בקצה מאפשרת האצת תפוקת ההסקה תוך הפחתת השימוש ברוחב פס וזמן השהיה לשרתים מרכזיים, לדוגמה, בענן. מבוא מכשירים מחוברים יצרו כ-2.5 קווינטיליון בתים של נתונים מדי יום בשנת 2020. בהקשר זה, בינה מלאכותית (AI) היא אחת הטכנולוגיות שיכולות להתמודד בצורה הטובה ביותר עם הכמות הגדלה תמיד של נתונים מיוצרים, במגוון תחומים כגון זיהוי אובייקטים בראייה ממוחשבת, זיהוי פנים, זיהוי דיבור, עיבוד שפה טבעית, או נהיגה אוטונומית. AI, ובפרט למידה עמוקה (DL), דורשת, בנוסף לכמויות גדולות של נתונים, יכולות משמעותיות בכוח עיבוד ובזיכרון, מה שהופך מחשוב ענן לפתרון המארח ה- עבור עומסי עבודה של AI. כתוצאה מכך, בשנת 2019, 96% ממשימות ה-AI בוצעו בענן. 1 de facto 2 ליישומי AI יכולות להיות מגבלות זמן השהיה חזקות, , בנהיגה אוטונומית, ניטור ייצור, או כל הסקה בזמן אמת הכרוכה באינטראקציה עם העולם האמיתי. לדוגמה, זמני תגובה ממוצעים בנהיגה אוטונומית נדרשים להיות פחות מ-100 מילישניות , מה שהופך את זמני הלוך ושוב לענן לארוכים מדי עבור יישומים כאלה. באופן דומה, יישומים מסוימים עשויים להציג שימוש משמעותי בקישוריות ברשת, , במקרה של עיבוד וידאו באיכות גבוהה בראייה ממוחשבת, המונע מהם לפעול בענן. מדיניות פרטיות נתונים או תקנות הגנת נתונים עשויות גם לאסור על נתונים לעזוב סביבות ספציפיות. זה מעודד פריסות AI במחשוב קצה (edge computing), הכולל העברת משימות חישוב ממרכזי נתונים קרוב יותר למכשירי הקצה, , בסמיכות למקורות הנתונים. לדוגמה [[1]](javascript:void()) לדוגמה כלומר בהשוואה לעננים ציבוריים, הקצה הוא סביבה מוגבלת במשאבים עם מגבלות חשובות , ולכן פיתוח AI לקצה שונה באופן אינהרנטי מפיתוח AI לענן. ניתוח נתונים קרוב למקורו יכול להיות מאתגר בשל יכולות מכשיר נמוכות יותר, חוסר גמישות של המשאבים הזמינים, והטרוגניות של רשתות קצה. הורדת יכולת החישוב מרמזת על הורדת תפוקת ההסקה הניתנת להשגה, מה שמסבך עוד יותר את העברת עומסי עבודה כבדים מהענן לקצה. ביישומים מסוימים, תפוקת ההסקה, , ההסקים הניתנים להשגה בשנייה של DNN, יכולים להיות קשורים לדיוק ה-DNN, , עם מעקב אחר אובייקטים בזרמי וידאו, כאשר הפחתת קצב ההסקה מ-15 ל-5 הסקות בשנייה הראתה הפחתה של 10% בציון F1__3__ של גלאי אובייקטים . במילים אחרות, פריסות עם תפוקת הסקה נמוכה עלולות לגרום לאובדן מידע קריטי, למשל, אובדן זיהויים ביישומי מעקב וידאו. [[2]](javascript:void()) כלומר לדוגמה [[3]](javascript:void()) קיימות שתי שיטות עיקריות זמינות לעמידה בדרישות הביצועים ברשתות קצה מוגבלות: דחיסת מודלים או האצת חומרה. מורכבת מצמצום ואופטימיזציה של רשתות נוירונים לגרסה קלת משקל, לרוב עם ביצועים נמוכים, של המודל. שיטות דחיסת מודלים סטנדרטיות כוללות גיזום , , הסרת פרמטרים מיותרים במודל, קוונטיזציה , , הפחתת הזיכרון המוקצה לאחסון המודל, וזיקוק ידע , , אימון רשת נוירונים קטנה יותר עם ידע שנלמד מרשת גדולה יותר. אופטימיזציית מודלים דורשת מאמצי תכנון נרחבים ויכולה להוות מכשול לדיוק המודל. על מכשירי קצה מניחה מציאת חומרה שיכולה להיות יעילה בצריכת אנרגיה וקלת משקל, תוך יכולת עדיין להריץ הסקה בביצועים מספקים. קיימים סוגים שונים של חומרות מועמדות להאצה בקצה, הנבדלות ביעילותן וספציפיותן, אך יחידות עיבוד סטנדרטיות אינן עומדות בציפיות וחומרה ייעודית כגון ASICs נמצאה כבלתי מעשית ויקרה . דחיסת מודלים [[4]](javascript:void()) כלומר [[5]](javascript:void()) כלומר [[6]](javascript:void()) כלומר האצת חומרה [[7]](javascript:void()) חלוקת DNN היא שיטה משלימה להאצת הסקה על ידי מינוף ריבוי המכשירים הקיימים ברשתות קצה כדי להפיץ את חישוב ההסקה – אשר ניתן להשתמש בו לבד, או בשילוב עם שתי השיטות האחרות. חלוקת DNN מורכבת מהתייחסות לרשת נוירונים כאל צינור לפיצול למחיצות, והפצת מחיצות אלו על מכשירי קצה. מיקום מחיצות אלו מבוסס הן על ה-DNN והן על מאפייני הרשת הבסיסית. חלוקת DNN מסתמכת על זיהוי נקודות פיצול, שהן נקודות בגרף המודל שבהן המודל מופרד למחיצות. בזמן ריצה, המחיצות מופעלות ברצף, כאשר כל אחת שולחת תוצאות הסקה ביניים למחיצה הבאה. זה מאפשר לכל מחיצה להתחיל לעבד את נתוני הקלט הבאים בזמן שהמכשירים האחרים ממשיכים לעבד את זה שהועבר, ובכך לשפר את תפוקת ההסקה, כפי שמוצג ב . בשאר המאמר, חלוקת DNN מומחשת באמצעות הדוגמה של הסקה בזמן אמת על זרמי וידאו. איור 1 א. עבודות קשורות שיטות לחלוקת DNN, שמקורן בהעברת עומסים מקצה-ענן נייד, שואפות לאופטימיזציה של מדדי ביצועים משתנים, כגון זמן השהיית חישוב, צריכת אנרגיה, ניצול משאבים, עלות, או תפוקה. חלוקת DNN מסתמכת על שיוך של מדד אחד או יותר מאלה כדי להגדיר מטרה לאופטימיזציה, ושיטה המנצלת מדד זה כדי למצוא סכמות חלוקה. לדוגמה, Neurosurgeon מחפש נקודת פיצול יחידה, שומרת את המחיצה הראשונה בקצה ומעבירה את המחיצה השנייה לענן, כדי למזער זמן השהיה וצריכת אנרגיה. יישומים ב-IoT שקלו גם חלוקה והעברת עומסים משולבת של מספר DNN-ים כדי לאופטימיזציה של אנרגיה, עיכוב, ו/או עלות, באמצעות פותרים שונים כגון SPSO-GA המשלב אופטימיזציית נחיל חלקיקים (PSO) ואלגוריתם גנטי (GA), או DDPQN המשתמש בלמידה חיזוקית עמוקה כדי למצוא סכמות חלוקה. דוגמאות אחרות כוללות DINA , המגדיר בעיית תכנות שלם לא לינארי (INLP), ומשתמש בפותר המבוסס על תיאוריית התאמה, כדי לאופטימיזציה של עיכוב וניצול משאבים ברשתות ערפל. שיטות המאופטימיזציה של תפוקת הסקה כוללות DNN surgery , המשתמשת בגודל הקטן יותר של פלטי שכבות DNN ביניים כדי לחלק את חישוב ההסקה בין הקצה לענן. שני האלגוריתמים יוצרים שתי מחיצות, אחת בקצה והשנייה בענן. מחקרים אחרים בתחום הענן-קצה הנייד כוללים גם חישוב מרובה-תהליכונים בענן להאצת תפוקת ההסקה הכוללת. הסתמכות על הענן עבור חישוב מחיצת ההסקה השנייה מניחה קישוריות רשת טובה, אשר יכולה להיות לא ודאית עם הקישוריות הירודה של פריסות קצה מבודדות מסוימות. Edgent מתאים את המתודולוגיה הקודמת למכשירים ניידים ושרתי קצה זמינים, מרכך את המגבלה של העברת עומסים לענן. שיטה זו מקושרת לאימון וארכיטקטורת מודל ספציפיים, ועדיין מגבילה את החלוקה לשתי מחיצות. שיטות אחרות שקלו נקודות פיצול מרובות, , IONN , המתאר את בעיית החלוקה למזעור זמן השהיה וצריכת אנרגיה, תוך התחשבות גם בזמן העלאת המודלים לשרתי קצה. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) לדוגמה [[15]](javascript:void()) שיטות אלו הן אינטראקטיביות עם עננים מרוחקים, או מוגבלות באופי החלוקה, , מחויבות להתפצל לשתי חלקים בדיוק, עם או בלי ריבוי-תהליכונים. אף אחד ממחקרי חלוקת ה-DNN המפורטים אינו מתחשב גם בנקודות פיצול מרובות וגם בריבוי-תהליכונים. לדוגמה ב. תרומות מאמר זה מציג מסגרת הסקה מבוזרת למקסום תפוקת ההסקה של חישוב DNN בזמן אמת על נתוני סטרימינג, עם נקודות פיצול מרובות וחלוקה מרובת-תהליכונים. התרומות של מאמר זה הן כדלקמן: מודל לחיזוי זמני חישוב ושידור של DNN מבוזר, דרכו ניתן להעריך את תפוקת ההסקה הצפויה של סכמת חלוקה נתונה. ניסוח של בעיית האופטימיזציה לחלוקת DNN, יישום של פותר מסוג ענף וחסם לבעיה זו, והערכה של מורכבותה. סימולציות לחקר שיפורי הביצועים האפשריים עם תכונות רשת ו-DNN משתנות. זיהוי אזורים דטרמיניסטיים בתכונות הרשת וה-DNN המובילים לקיום חלוקות אופטימליות והעלות לחישוב פתרונות כאלה, כלומר, התנאים שבהם חלוקת DNN מועילה. תוצאות ניסיוניות הממחישות את האזורים שהוגדרו בסימולציות, כמו גם את דיוק החיזוי והאצת תפוקת ההסקה הסופית עבור סביבות הומוגניות והטרוגניות. לשאר המאמר, כדי למנוע בלבול, ה-deep neural network המחולק יתייחס כ- , והמונח יסמן את הרשת הפיזית הבסיסית. DNN network ג. מתאר המאמר שאר המאמר מאורגן באופן הבא. מציג רקע של למידה עמוקה וכיצד DNN-ים מיוצגים במחקר זה. מפרט את שיטות חיזוי זמן ההסקה והשידור הנדרשות ל המגדיר את בעיית האופטימיזציה, כמו גם את אלגוריתם הענף והחסם לקבלת החלטות חלוקה. מציג תוצאות סימולציה לכמות הביצועים והמורכבות של אלגוריתם הענף והחסם, כמו גם תנאים המובילים לקיום חלוקה המשפרת את תפוקת ההסקה ברשת הומוגנית. מציג תוצאות ניסיוניות המאשרות את הסימולציות של , ומראה שיפורים בתפוקת ההסקה על מערך ניסיוני הטרוגני. לבסוף, דן בתוצאות ומרחיב על היישום הרחב יותר של שיטה זו. סעיף II סעיף III סעיף IV סעיף V סעיף VI סעיף V סעיף VII סעיף II. רקע: למידה עמוקה בתחום למידת המכונה, למידה עמוקה (DL) מתייחסת לשיטות המסתמכות על שימוש ב-DNN-ים, , רשתות נוירונים מלאכותיות (או שיטות למידת מכונה קשורות) המכילות יותר משכבה נסתרת אחת. אחת ההתייחסויות המוקדמות ביותר לארכיטקטורות למידה עמוקה פורסמה בשנת 1967 , אך רק בשנות ה-2010 DL זכתה לתאוצה, תחילה בזיהוי דיבור, ואז בזיהוי אובייקטים בתמונות, בזכות היכולת ללכוד יחסים מורכבים בנתונים בעלי מימדיות גבוהה. DL מוערכת כמייצגת את רוב יישומי ה-AI בשנת 2022, כאשר יותר מ-75% מהארגונים משתמשים ב-DNN-ים ליישומים שיכלו להשתמש בשיטות קלאסיות. שיטות DL הוגדרו כ-“ ” . מעגלים אלגבריים אלה מאורגנים בדרך כלל בשכבות, היוצרות צעדים בחישוב. המונח מתייחס לאלגוריתמים המורכבים מיותר משכבה אחת. כלומר [[16]](javascript:void()) 4 טכניקות למידת מכונה שבהן השערות הן בצורת מעגלי אלגברה מורכבים עם חוזק חיבורים הניתן לכוונון [[17]](javascript:void()) עמוק קיימים שני מבני DNN עיקריים: רשתות נוירונים קדימה (feed-forward) ורשתות נוירונים רקורנטיות. ניתן לייצג את שני סוגי ה-DNN-ים כגרפי חישוב, כאשר ההבדל העיקרי הוא שניתן לייצג רשתות קדימה כגרפים אציקליים מכוונים (DAGs), בעוד שרשתות רקורנטיות עשויות להכיל מחזורים. רשתות רקורנטיות בנויות עבור רצפים של נתונים, כאשר לכל נקודת נתונים יש תלות פוטנציאלית בנקודות נתונים קודמות ברצף, בעוד שרשתות קדימה אינן מתחשבות באינטראקציות בין נקודות ברצף נתונים. שאר המאמר יתייחס למקרה של DNN-י קדימה. 5 סעיף III. מידול הסקה מבוזרת סעיף זה מציג מודל לייצוג תכונות DNN ורשת כדי לחזות זמני חישוב, זמני שידור, ותפוקת ההסקה הסופית של פתרון חלוקה נתון. א. ייצוג DNN ורשת DNN קדימה בעל N שכבות ממופה כ-DAG GA=(L,E) עם L=(L1,…,LL) השכבות של ה-DNN. קשתות (Li,Lj)∈E הן החיבורים בין שכבות Li ו Lj . לכל שכבה Li יש צריכת חישוב משויכת ci , הנמדדת במספר פעולות נקודה צפה הנדרשות לחישוב מעבר קדימה דרך השכבה. לקשתות (Li,Lj) מוקצית משקל si,j המתאים לגודל הנתונים החולפים בין שכבות Li ו Lj בתים. הרשת הפיזית ממופה כגרף מחובר במלואו G=(N,V) כאשר N=(N1,…,NN) הוא קבוצת צומתי החישוב ו V הוא קבוצת הקישורים בין צמתים. מניחים שלצומתי חישוב N1,…,NN יש קצבי עיבוד η1,…,ηN , בהתאמה, הנמדדים בפעולות נקודה צפה בשנייה. לבסוף, תפוקת הקישור בין שני צמתים סמוכים Na ו Nb מסומנת כ θa,b , הנמדדת בבתים לשנייה. כל צומת Ni מחובר לעצמו עם תפוקה אינסופית כדי לייצג את הקישור הלולאתי, והקישורים מניחים שהם סימטריים, כלומר θa,b=θb,a . חלוקות מוגדרות כמפות P:L→N , , חלוקה משייכת מספר צומת לכל שכבה ב-DNN. ניתן לתאר חלוקה כמטריצה P במימד (N×L) , N הוא מספר הצמתים ברשת ו L מספר שכבות ה-DNN, וכאשר Pa,i=1 אם שכבה Li ממוקמת על צומת Na , 0 אחרת. עם הדוגמה הנתונה ב , L=7 שכבות ו N=2 צומתי חישוב, החלוקה המוצגת עם שכבות {L1,L2,L3,L6,L7} על צומת N1 , ושכבות {L4,L5} על צומת N2 , מיוצגת כך: כלומר איור 2 בהינתן חלוקה, מוגדר כקבוצת שכבות עוקבות בין שתי נקודות פיצול, המופעלות ברצף על אותו צומת. בדוגמה לעיל, צומת N1 יפעיל שני תהליכונים, הראשון מכיל שכבות {L1,L2,L3} והשני מכיל {L6,L7} . תהליכון עם סימונים אלו שהוגדרו, שאר סעיף זה מפתח ביטוי סגור לתפוקת ההסקה המושגת על ידי חלוקה נתונה, כפונקציה של זמני ההסקה (סעיף III-B) וזמני השידור (סעיף III-C). ב. חיזוי זמן השהיית הסקה בהינתן חלוקה, סעיף זה בוחן חיזוי זמן השהיית הסקה על צומת מבודד. זמן ההשהיה הנגרם על ידי חישוב שכבה Li עם צריכה ci , שיש לחשב על צומת Na , עם קצב עיבוד ηa מתבטא כ Tci(Na)=ci/ηa . בהינתן קבוצת שכבות L′⊂L בין כל התהליכונים הפועלים על צומת Na עם קצב עיבוד ηa , זמן השהיית ההסקה ניתן לביטוי כ: ביטוי זה הוא קירוב מסדר ראשון להערכת זמן השהיית הסקה המבוססת על מספר פעולות נקודה צפה (FLOPs) הנדרשות לעיבוד ה-DNN, כלומר, מספר פעולות הכפל-חיבור במודל. הערכת זמן השהיית הסקה במכשירי קצה מסובכת על ידי אופטימיזציות בזמן ריצה. פתרונות קיימים כגון nn-Meter חוזים זמן השהיית הסקה על בסיס FLOPs. פתרונות אחרים מסתמכים על טבלת חיפוש עם זמני הסקה שחושבו מראש להסקה של זמן השהיה. לדוגמה, BRP-NAS משתמש ברשת קונבולוציונית שאומנה מראש כדי לחזות זמני השהיית הסקה, תוך התחשבות באופטימיזציות מודל בזמן ריצה. [[18]](javascript:void()) [[19]](javascript:void()) ב , מניחים בנוסף כי המעבדים משתמשים במלוא הקיבולת שלהם, מה שמניח שמעבדים מרובי-ליבות ממופים כמעבדים חד-ליבתיים עם קצב עיבוד השווה לסכום קצבי העיבוד של הליבות שלהם. מניחים גם שמשאב החישוב משותף באופן שווה בין תהליכונים, כלומר, מעבד מקצה את אותו שיעור מזמנו לכל תהליכון. משוואה 1 בכל הצמתים, התהליכון עם זמן ההשהיה הגבוה ביותר קובע את תפוקת ההסקה עבור ה-DNN המבוזר. בהתעלמות מזמני השהיית השידור, זה מרמז שלאחר שתהליכון מגביל זה סיים לעבד מסגרת נתונים, הוא מתחיל לעבד את הבאה באופן מיידי. לתהליכונים אחרים יהיה זמן השהיה לפני עיבוד מסגרת הנתונים הבאה מכיוון שזמן השהיית ההסקה שלהם נמוך מזמן ההשהיה המרבי הזה, כפי שמוצג ב . איור 1 בהינתן מטריצת חלוקה P , ניתן לבטא את זמני השהיית ההסקה כוקטור יחיד Tc בגודל N כאשר הרכיב ה- a -י הוא זמן השהיית ההסקה המקסימלי של תהליכון בצומת Na , כלומר Tca=Tc(Na) : כאשר H היא המטריצה האלכסונית של קצבי העיבוד ההפוכים של הצמתים diag(η−11,…,η−1N) ו c הוא וקטור העמודות של צריכות שכבה בודדות (c1,…,cL) . ג. חיזוי זמן השהיית שידור ניתן לחזות את זמן השהיית השידור באופן הבא: הזמן שלוקח לשלוח את כמות הנתונים si,j בין שכבות Li ו Lj ב קצה (Na,Nb) על פני קישור עם תפוקה נמדדת θa,b הוא Tti,j(Na,Nb)=si,j/θa,b . הזמן להשגת העברת נתונים si,j∈E′⊂E על פני קישור (Na,Nb) הוא: בדומה לחיזוי זמן השהיית ההסקה, זה מניח שהקישורים משותפים באופן שווה בין העברות נתונים מ Na ל Nb . חיזוי זמן השהיית השידור מסתמך על הערכת תפוקת הקישור