ทำไม AI ของคุณจึงไม่ต้องพึ่งคลาวด์อีกต่อไปเพื่อทำงานได้เร็วขึ้น

ผู้เขียน: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen บทคัดย่อ: การอนุมานโครงข่ายประสาทเทียมเชิงลึก (DNN) บนข้อมูลสตรีมมิ่งจำเป็นต้องใช้ทรัพยากรในการคำนวณเพื่อให้เป็นไปตามข้อกำหนดปริมาณงานการอนุมาน อย่างไรก็ตาม แอปพลิเคชันการเรียนรู้เชิงลึกที่ไวต่อความหน่วงแฝงและความเป็นส่วนตัวไม่สามารถยอมรับการประมวลผลนอกระบบไปยังคลาวด์ระยะไกลได้ เนื่องจากต้นทุนการส่งข้อมูลที่แฝงอยู่และการขาดความไว้วางใจในผู้ให้บริการคลาวด์บุคคลที่สาม ในบรรดาโซลูชันเพื่อเพิ่มประสิทธิภาพในขณะที่ยังคงการประมวลผลไว้ในสภาพแวดล้อมที่มีข้อจำกัด การเร่งด้วยฮาร์ดแวร์อาจเป็นภาระ และการปรับปรุงโมเดลต้องใช้ความพยายามในการออกแบบอย่างกว้างขวางในขณะที่ลดทอนความแม่นยำ การแบ่งส่วน DNN เป็นแนวทางเสริมที่สาม และประกอบด้วยการกระจายปริมาณงานการอนุมานไปยังอุปกรณ์ขอบหลายเครื่องที่มีอยู่ โดยคำนึงถึงคุณสมบัติเครือข่ายขอบและโครงสร้าง DNN โดยมีวัตถุประสงค์เพื่อเพิ่มปริมาณงานการอนุมาน (จำนวนการอนุมานต่อวินาที) เอกสารนี้นำเสนอวิธีการคาดการณ์ความหน่วงแฝงในการอนุมานและการส่งข้อมูลสำหรับการใช้งาน DNN แบบกระจายแบบหลายเธรด และกำหนดกระบวนการเพิ่มประสิทธิภาพเพื่อเพิ่มปริมาณงานการอนุมานให้สูงสุด จากนั้นจะนำเสนอตัวแก้แบบ Branch and Bound และวิเคราะห์เพื่อวัดปริมาณประสิทธิภาพและความซับซ้อนที่ได้รับ การวิเคราะห์นี้นำไปสู่การกำหนดภูมิภาคการเร่ง ซึ่งอธิบายเงื่อนไขที่แน่นอนเกี่ยวกับคุณสมบัติ DNN และเครือข่ายที่การแบ่งส่วน DNN มีประโยชน์ ในที่สุด ผลการทดลองยืนยันการจำลองและแสดงให้เห็นถึงการปรับปรุงปริมาณงานการอนุมานในการใช้งานขอบตัวอย่าง การแบ่งส่วน DNN ที่ขอบช่วยเร่งปริมาณงานการอนุมานพร้อมทั้งลดการใช้แบนด์วิดท์และความหน่วงแฝงไปยังเซิร์ฟเวอร์แบบรวมศูนย์ เช่น ในคลาวด์ บทนำ อุปกรณ์ที่เชื่อมต่อกันสร้างข้อมูลประมาณ 2.5 ควินทิลเลียนไบต์ต่อวันในปี 2020. ในบริบทนี้ ปัญญาประดิษฐ์ (AI) เป็นหนึ่งในเทคโนโลยีที่สามารถรับมือกับปริมาณข้อมูลที่ผลิตเพิ่มขึ้นอย่างต่อเนื่องได้ดีที่สุด ในหลากหลายสาขา เช่น การตรวจจับวัตถุในคอมพิวเตอร์วิทัศน์ การจดจำใบหน้า การรู้จำเสียง การประมวลผลภาษาธรรมชาติ หรือการขับขี่อัตโนมัติ AI และโดยเฉพาะอย่างยิ่ง Deep Learning (DL) ต้องการ นอกเหนือจากข้อมูลปริมาณมาก ความสามารถที่สำคัญในการประมวลผลและหน่วยความจำ ซึ่งทำให้การประมวลผลแบบคลาวด์เป็นโซลูชันโฮสติ้งที่ใช้กันทั่วไปสำหรับปริมาณงาน AI ส่งผลให้ในปี 2019 96% ของงาน AI ถูกประมวลผลในคลาวด์. 1 2 แอปพลิเคชัน AI อาจมีข้อจำกัดด้านความหน่วงแฝงที่เข้มงวด เช่น ในการขับขี่อัตโนมัติ การตรวจสอบการผลิต หรือการอนุมานแบบเรียลไทม์ใดๆ ที่เกี่ยวข้องกับการโต้ตอบกับโลกแห่งความเป็นจริง ตัวอย่างเช่น เวลาตอบสนองเฉลี่ยในการขับขี่อัตโนมัติต้องต่ำกว่า 100 มิลลิวินาที ทำให้เวลาเดินทางไปกลับไปยังคลาวด์นานเกินไปสำหรับแอปพลิเคชันดังกล่าว ในทำนองเดียวกัน แอปพลิเคชันบางอย่างอาจใช้ลิงก์เครือข่ายอย่างมีนัยสำคัญ เช่น ในกรณีของการประมวลผลวิดีโอคุณภาพสูงในการมองเห็นของคอมพิวเตอร์ ซึ่งป้องกันไม่ให้แอปพลิเคชันเหล่านี้ทำงานในคลาวด์ นโยบายความเป็นส่วนตัวของข้อมูลหรือกฎระเบียบการคุ้มครองข้อมูลอาจห้ามไม่ให้ข้อมูลออกจากสภาพแวดล้อมเฉพาะ สิ่งนี้ส่งเสริมการใช้งาน AI ใน Edge Computing ซึ่งประกอบด้วยการย้ายงานประมวลผลจากศูนย์ข้อมูลให้อยู่ใกล้กับอุปกรณ์ขอบมากขึ้น นั่นคือ อยู่ใกล้กับแหล่งข้อมูล [](javascript:void()) เมื่อเทียบกับคลาวด์สาธารณะ Edge เป็นสภาพแวดล้อมที่มีข้อจำกัดด้านทรัพยากรพร้อมข้อจำกัดที่สำคัญ และการพัฒนา AI สำหรับ Edge จึงแตกต่างจากการพัฒนา AI สำหรับคลาวด์โดยเนื้อแท้ การวิเคราะห์ข้อมูลใกล้กับแหล่งกำเนิดอาจเป็นเรื่องท้าทายเนื่องจากความสามารถของอุปกรณ์ที่ต่ำกว่า ความไม่ยืดหยุ่นของทรัพยากรที่มีอยู่ และความแตกต่างของเครือข่ายขอบ การลดความสามารถในการประมวลผลหมายถึงการลดปริมาณงานการอนุมานที่สามารถทำได้ ซึ่งยิ่งทำให้การย้ายปริมาณงานหนักจากคลาวด์ไปยัง Edge ซับซ้อนขึ้น ในบางแอปพลิเคชัน ปริมาณงานการอนุมาน นั่นคือ การอนุมานที่สามารถทำได้ต่อวินาทีของ DNN อาจเชื่อมโยงกับความแม่นยำของ DNN เช่น ด้วยการติดตามวัตถุในสตรีมวิดีโอ ซึ่งการลดอัตราการอนุมานจาก 15 เป็น 5 การอนุมานต่อวินาทีแสดงให้เห็นว่า F1 score__3__ ของตัวตรวจจับวัตถุ ลดลง 10% กล่าวอีกนัยหนึ่ง การใช้งานที่มีปริมาณงานการอนุมานต่ำอาจทำให้เกิดการสูญเสียข้อมูลที่สำคัญ เช่น การสูญเสียการตรวจจับในแอปพลิเคชันเฝ้าระวังวิดีโอ [](javascript:void()) [](javascript:void()) มีสองวิธีหลักที่มีให้เพื่อตอบสนองความต้องการด้านประสิทธิภาพบนเครือข่ายขอบที่มีข้อจำกัด: การบีบอัดโมเดลหรือการเร่งด้วยฮาร์ดแวร์ *การบีบอัดโมเดล* ประกอบด้วยการลดและปรับปรุงโครงข่ายประสาทเทียมให้เป็นเวอร์ชันของโมเดลที่มีน้ำหนักเบา ซึ่งมักจะให้ประสิทธิภาพต่ำ วิธีการบีบอัดโมเดลมาตรฐานรวมถึงการตัดแต่ง นั่นคือ การลบพารามิเตอร์ที่ไม่จำเป็นในโมเดล การควอนไทซ์ นั่นคือ การลดหน่วยความจำที่จัดสรรไว้เพื่อจัดเก็บโมเดล และการกลั่นความรู้ นั่นคือ การฝึกโครงข่ายประสาทเทียมที่เล็กกว่าด้วยความรู้ที่สกัดมาจากโมเดลที่ใหญ่กว่า การปรับปรุงโมเดลต้องใช้ความพยายามในการออกแบบอย่างกว้างขวางและอาจเป็นอุปสรรคต่อความแม่นยำของโมเดล *การเร่งด้วยฮาร์ดแวร์* บนอุปกรณ์ขอบหมายถึงการหาฮาร์ดแวร์ที่มีประสิทธิภาพพลังงานและน้ำหนักเบา ในขณะเดียวกันก็ยังคงสามารถดำเนินการอนุมานด้วยประสิทธิภาพที่เพียงพอ มีฮาร์ดแวร์ประเภทต่างๆ ที่เป็นไปได้สำหรับการเร่งที่ขอบ ซึ่งแตกต่างกันไปในด้านประสิทธิภาพและความเฉพาะเจาะจง แต่หน่วยประมวลผลมาตรฐานไม่สามารถตอบสนองความคาดหวังได้ และฮาร์ดแวร์เฉพาะ เช่น ASIC พบว่าไม่สามารถใช้งานได้จริงและมีราคาแพง [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) การแบ่งส่วน DNN เป็นวิธีการเสริมสำหรับการเร่งการอนุมานโดยใช้ประโยชน์จากอุปกรณ์ที่มีอยู่จำนวนมากบนเครือข่ายขอบเพื่อกระจายการคำนวณการอนุมาน ซึ่งสามารถใช้เพียงอย่างเดียว หรือร่วมกับสองวิธีอื่น การแบ่งส่วน DNN ประกอบด้วยการพิจารณาโครงข่ายประสาทเทียมเป็นไปป์ไลน์เพื่อแบ่งออกเป็นส่วนย่อยๆ และกระจายส่วนย่อยเหล่านี้ไปยังอุปกรณ์ขอบ การวางส่วนย่อยเหล่านี้ขึ้นอยู่กับทั้ง DNN และลักษณะเครือข่ายพื้นฐาน การแบ่งส่วน DNN อาศัยการระบุจุดแยก ซึ่งเป็นจุดในกราฟโมเดลที่โมเดลถูกแบ่งออกเป็นส่วนย่อยๆ ในระหว่างการทำงาน ส่วนย่อยจะทำงานตามลำดับ โดยแต่ละส่วนจะส่งผลลัพธ์การอนุมานระหว่างกลางไปยังส่วนย่อยถัดไป สิ่งนี้ช่วยให้แต่ละส่วนย่อยสามารถเริ่มประมวลผลข้อมูลอินพุตถัดไปในขณะที่อุปกรณ์อื่นยังคงประมวลผลข้อมูลที่ส่งออกไป ทำให้ปริมาณงานการอนุมานดีขึ้น ดังแสดงใน *รูปที่ 1* ในส่วนที่เหลือของเอกสารนี้ การแบ่งส่วน DNN จะแสดงผ่านตัวอย่างการอนุมานแบบเรียลไทม์บนสตรีมวิดีโอ A. งานที่เกี่ยวข้อง วิธีการแบ่งส่วน DNN ซึ่งมาจาก Offloading แบบ Mobile Edge-Cloud มุ่งหวังที่จะปรับปรุงตัวชี้วัดประสิทธิภาพที่แตกต่างกัน เช่น เวลาแฝงในการคำนวณ การใช้พลังงาน การใช้ทรัพยากร ต้นทุน หรือปริมาณงาน การแบ่งส่วน DNN อาศัยการเชื่อมโยงเมตริกหนึ่งอย่างหรือหลายอย่างเพื่อกำหนดเป้าหมายการเพิ่มประสิทธิภาพ และวิธีการที่ใช้ประโยชน์จากเมตริกนี้เพื่อค้นหาส esquema การแบ่งส่วน ตัวอย่างเช่น Neurosurgeon ค้นหาจุดแยกเดียว โดยเก็บส่วนแรกไว้ที่ขอบและ Offload ส่วนที่สองไปยังคลาวด์ เพื่อลดความหน่วงแฝงและการใช้พลังงาน แอปพลิเคชันใน IoT ยังได้พิจารณาการแบ่งส่วนและการ Offloading DNN หลายรายการร่วมกันเพื่อปรับปรุงพลังงาน ความล่าช้า และ/หรือต้นทุน โดยใช้ตัวแก้ปัญหาต่างๆ เช่น SPSO-GA ที่รวม Particle Swarm Optimization (PSO) และ Genetics Algorithm (GA) หรือ DDPQN ซึ่งใช้ Deep Reinforcement Learning เพื่อค้นหาส esquema การแบ่งส่วน ตัวอย่างอื่นๆ ได้แก่ DINA ซึ่งกำหนดปัญหา Integer Non Linear Programming (INLP) และใช้ตัวแก้ปัญหาตามทฤษฎีการจับคู่ เพื่อปรับปรุงความล่าช้าและการใช้ทรัพยากรในเครือข่ายหมอก วิธีการปรับปรุงปริมาณงานการอนุมาน ได้แก่ DNN surgery ซึ่งใช้ขนาดที่เล็กกว่าของผลลัพธ์เลเยอร์ DNN ระหว่างกลางเพื่อแบ่งการคำนวณการอนุมานระหว่าง Edge และคลาวด์ อัลกอริทึมทั้งสองสร้างสองส่วนย่อย ส่วนหนึ่งอยู่ที่ Edge และอีกส่วนหนึ่งในคลาวด์ การศึกษาอื่นๆ ในสาขา Mobile Edge-Cloud ยังรวมถึงการคำนวณแบบหลายเธรดในคลาวด์เพื่อเร่งปริมาณงานการอนุมานโดยรวมให้เร็วขึ้น การพึ่งพาคลาวด์สำหรับการคำนวณการอนุมานส่วนที่สองสันนิษฐานว่ามีการเชื่อมต่อเครือข่ายที่ดี ซึ่งอาจไม่แน่นอนกับการเชื่อมต่อที่ไม่ดีของการใช้งานขอบที่แยกจากกันบางอย่าง Edgent ปรับวิธีการก่อนหน้าให้เข้ากับอุปกรณ์เคลื่อนที่และเซิร์ฟเวอร์ขอบที่มีอยู่ โดยผ่อนคลายข้อจำกัดของการ Offloading ไปยังคลาวด์ วิธีการนี้เชื่อมโยงกับการฝึกอบรมและสถาปัตยกรรมโมเดลเฉพาะ และยังคงจำกัดการแบ่งส่วนไว้ที่สองส่วน วิธีการอื่นๆ ได้พิจารณาจุดแยกหลายจุด เช่น IONN ซึ่งอธิบายปัญหาการแบ่งส่วนเพื่อลดความหน่วงแฝงและการใช้พลังงาน โดยคำนึงถึงเวลาในการอัปโหลดโมเดลไปยังเซิร์ฟเวอร์ขอบด้วย [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) วิธีการเหล่านี้มีปฏิสัมพันธ์กับคลาวด์ระยะไกล หรือมีข้อจำกัดในลักษณะของการแบ่งส่วน เช่น กำหนดให้แบ่งออกเป็นสองส่วนพอดี โดยมีหรือไม่มีหลายเธรด ไม่มีงานวิจัยการแบ่งส่วน DNN ที่ระบุไว้ใดที่พิจารณาทั้งจุดแยกหลายจุดและการทำงานหลายเธรด B. ผลงาน เอกสารนี้นำเสนอเฟรมเวิร์กการอนุมานแบบกระจายเพื่อเพิ่มปริมาณงานการอนุมานของการคำนวณ DNN แบบเรียลไทม์บนข้อมูลสตรีมมิ่ง ด้วยจุดแยกหลายจุดและการแบ่งส่วนแบบหลายเธรด ผลงานของเอกสารนี้มีดังนี้: แบบจำลองสำหรับการคำนวณและเวลาแฝงในการส่งข้อมูลของ DNN แบบกระจาย ซึ่งสามารถประมาณปริมาณงานการอนุมานที่คาดหวังของ esquema การแบ่งส่วนที่กำหนดได้ การกำหนดรูปแบบปัญหาการเพิ่มประสิทธิภาพสำหรับการแบ่งส่วน DNN การนำตัวแก้ปัญหาแบบ Branch and Bound มาใช้สำหรับปัญหานี้ และการประเมินความซับซ้อน การจำลองเพื่อสำรวจการปรับปรุงประสิทธิภาพที่เป็นไปได้ด้วยคุณสมบัติเครือข่ายและ DNN ที่แตกต่างกัน การระบุภูมิภาคที่แน่นอนในคุณสมบัติเครือข่ายและ DNN ที่นำไปสู่การมีอยู่ของ esquemas การแบ่งส่วนที่เหมาะสมที่สุด และต้นทุนในการคำนวณโซลูชันดังกล่าว นั่นคือ เงื่อนไขที่การแบ่งส่วน DNN มีประโยชน์ ผลการทดลองแสดงให้เห็นถึงภูมิภาคที่กำหนดในการจำลอง รวมถึงความแม่นยำของการคาดการณ์และการเร่งปริมาณงานการอนุมานขั้นสุดท้ายสำหรับสภาพแวดล้อมที่เป็นเนื้อเดียวกันและไม่เป็นเนื้อเดียวกัน สำหรับส่วนที่เหลือของเอกสารนี้ เพื่อหลีกเลี่ยงความสับสน DNN ที่แบ่งส่วนแล้วจะถูกอ้างถึงเป็น *DNN* และคำว่า *เครือข่าย* จะหมายถึงเครือข่ายการสื่อสารทางกายภาพพื้นฐาน C. โครงร่างเอกสาร ส่วนที่เหลือของเอกสารนี้จัดระเบียบดังนี้ ส่วนที่ II นำเสนอพื้นฐานของ Deep Learning และวิธีแสดง DNN ในการศึกษานี้ ส่วนที่ III > ให้รายละเอียดวิธีการคาดการณ์เวลาแฝงในการอนุมานและการส่งข้อมูลที่จำเป็นสำหรับ ส่วนที่ IV > ซึ่งกำหนดปัญหาการเพิ่มประสิทธิภาพ รวมถึงอัลกอริทึม Branch and Bound เพื่อตัดสินใจแบ่งส่วน ส่วนที่ V > นำเสนอผลการจำลองเพื่อวัดปริมาณประสิทธิภาพและความซับซ้อนของอัลกอริทึม Branch and Bound รวมถึงเงื่อนไขที่นำไปสู่การมีอยู่ของการแบ่งส่วนที่ปรับปรุงปริมาณงานการอนุมานในเครือข่ายที่เป็นเนื้อเดียวกัน ส่วนที่ VI > นำเสนอผลการทดลองที่ยืนยันการจำลองของ ส่วนที่ V > และแสดงการปรับปรุงปริมาณงานการอนุมานบนชุดทดลองที่ไม่เป็นเนื้อเดียวกัน ในที่สุด ส่วนที่ VII > กล่าวถึงผลลัพธ์และขยายขอบเขตการใช้งานที่กว้างขึ้นของวิธีการนี้ ส่วนที่ II. พื้นฐาน: Deep Learning ภายในสาขา Machine Learning, Deep Learning (DL) หมายถึงวิธีการที่อาศัยการใช้ DNN นั่นคือ โครงข่ายประสาทเทียม (หรือวิธีการเรียนรู้ของเครื่องที่เกี่ยวข้อง) ที่มีชั้นซ่อนอยู่มากกว่าหนึ่งชั้น การอ้างอิงถึงสถาปัตยกรรม Deep Learning ยุคแรกสุดถูกตีพิมพ์ในปี 1967 แต่จนกระทั่งปี 2010 DL จึงได้รับความนิยม ก่อนอื่นในการรู้จำเสียง จากนั้นในการตรวจจับวัตถุในภาพ เนื่องจากความสามารถในการจับความสัมพันธ์ที่ซับซ้อนในข้อมูลมิติสูง คาดว่า Deep Learning จะคิดเป็นส่วนใหญ่ของแอปพลิเคชัน AI ในปี 2022 โดยกว่า 75% ขององค์กรใช้ DNN สำหรับแอปพลิเคชันที่สามารถใช้วิธีการแบบคลาสสิกได้ DL methods ได้รับการนิยามว่าเป็น “เทคนิคสำหรับการเรียนรู้ของเครื่องที่สมมติฐานมีรูปแบบเป็นวงจรพีชคณิตที่ซับซ้อนพร้อมความแข็งแกร่งของการเชื่อมต่อที่ปรับได้” วงจรพีชคณิตเหล่านี้มักจะจัดเรียงเป็นชั้นๆ ซึ่งประกอบขึ้นเป็นขั้นตอนในการคำนวณ คำว่า *deep* หมายถึงอัลกอริทึมที่ประกอบด้วยชั้นมากกว่าหนึ่งชั้น [](javascript:void()) [](javascript:void()) มีโครงสร้าง DNN หลักสองแบบ: โครงข่ายประสาทเทียมแบบป้อนไปข้างหน้า (feed-forward neural networks) และโครงข่ายประสาทเทียมแบบเวียนซ้ำ (recurrent neural networks) DNN ทั้งสองประเภทสามารถแสดงเป็นกราฟการคำนวณได้ โดยมีความแตกต่างหลักคือ โครงข่ายประสาทเทียมแบบป้อนไปข้างหน้าสามารถแสดงเป็นกราฟเชิงเส้นตรงแบบไม่มีวงจร (DAGs) ได้ ในขณะที่โครงข่ายประสาทเทียมแบบเวียนซ้ำอาจมีวงจร โครงข่ายประสาทเทียมแบบเวียนซ้ำสร้างขึ้นสำหรับลำดับข้อมูล โดยที่แต่ละจุดข้อมูลอาจมีความสัมพันธ์กับจุดข้อมูลก่อนหน้าในลำดับ ในขณะที่โครงข่ายประสาทเทียมแบบป้อนไปข้างหน้าไม่ได้พิจารณาปฏิสัมพันธ์ระหว่างจุดในลำดับข้อมูล สำหรับส่วนที่เหลือของเอกสารนี้ จะพิจารณากรณีของ DNN แบบป้อนไปข้างหน้า. 5 ส่วนที่ III. การสร้างแบบจำลองการอนุมานแบบกระจาย ส่วนนี้จะนำเสนอแบบจำลองเพื่อแสดงคุณสมบัติ DNN และเครือข่าย เพื่อคาดการณ์เวลาแฝงในการคำนวณ เวลาแฝงในการส่ง และปริมาณงานการอนุมานขั้นสุดท้ายของ esquema การแบ่งส่วนที่กำหนด A. การแสดง DNN และเครือข่าย DNN แบบป้อนไปข้างหน้าที่มี N เลเยอร์ จะถูกจำลองเป็น DAG GA=(L,E) โดยที่ L=(L1,…,LL) คือเลเยอร์ของ DNN เส้นเชื่อม (Li,Lj)∈E คือการเชื่อมต่อระหว่างเลเยอร์ Li และ Lj แต่ละเลเยอร์ Li มีการใช้พลังงานในการคำนวณ ci ที่เกี่ยวข้อง วัดในจำนวนการดำเนินการแบบจุดลอยตัวที่จำเป็นสำหรับการส่งต่อ (forward pass) ผ่านเลเยอร์ เส้นเชื่อม (Li,Lj) จะได้รับน้ำหนัก si,j ที่สอดคล้องกับขนาดของข้อมูลที่ส่งระหว่างเลเยอร์ Li และ Lj เป็นไบต์ เครือข่ายทางกายภาพจะถูกจำลองเป็นกราฟแบบเชื่อมต่อสมบูรณ์ G=(N,V) โดยที่ N=(N1,…,NN) คือชุดของโหนดการคำนวณ และ V คือชุดของลิงก์ระหว่างโหนด สันนิษฐานว่าโหนดการคำนวณ N1,…,NN มีอัตราการประมวลผล η1,…,ηN ตามลำดับ วัดเป็นปฏิบัติการจุดลอยตัวต่อวินาที สุดท้าย อัตราการส่งข้อมูลของลิงก์ระหว่างโหนดที่อยู่ติดกัน Na และ Nb จะถูกระบุเป็น θa,b วัดเป็นไบต์ต่อวินาที โหนด Ni ทุกโหนดเชื่อมต่อกับตัวเองด้วยอัตราการส่งข้อมูลไม่จำกัดเพื่อแสดงถึงลิงก์ loopback และลิงก์จะถูกสมมติว่าสมมาตร นั่นคือ θa,b=θb,a การแบ่งส่วนจะถูกกำหนดเป็นฟังก์ชัน P:L→N นั่นคือ การแบ่งส่วนจะกำหนดหมายเลขโหนดให้กับแต่ละเลเยอร์ใน DNN การแบ่งส่วนสามารถอธิบายได้ด้วยเมทริกซ์ P ที่มีขนาด (N×L) โดยที่ N คือจำนวนโหนดในเครือข่าย และ L คือจำนวนเลเยอร์ DNN และด้วย P a,i=1 หากเลเยอร์ Li ถูกวางไว้บนโหนด Na ไม่เช่นนั้นจะเป็น 0 ด้วยตัวอย่างที่ให้ไว้ใน *รูปที่ 2* L=7 เลเยอร์ และ N=2 โหนดการคำนวณ การแบ่งส่วนที่แสดงด้วยเลเยอร์ {L1,L2,L3,L6,L7} บนโหนด N1 และเลเยอร์ {L4,L5} บนโหนด N2 จะแสดงเป็น: เมื่อกำหนดการแบ่งส่วนแล้ว *เธรด* จะถูกนิยามว่าเป็นกลุ่มของเลเยอร์ที่ต่อเนื่องกันระหว่างจุดแยกสองจุด ซึ่งทำงานตามลำดับบนโหนดเดียวกัน ในตัวอย่างข้างต้น โหนด N1 จะรันสองเธรด เธรดแรกประกอบด้วยเลเยอร์ {L1,L2,L3} และเธรดที่สองประกอบด้วย {L6,L7} ด้วยสัญกรณ์เหล่านี้ ส่วนที่เหลือของส่วนนี้จะอนุพันธ์นิพจน์ปิดของปริมาณงานการอนุมานที่ได้รับจากการแบ่งส่วนที่กำหนด โดยเป็นฟังก์ชันของเวลาแฝงในการอนุมาน (*ส่วนที่ III-B*) และเวลาแฝงในการส่งข้อมูล (*ส่วนที่ III-C*) B. การคาดการณ์ความหน่วงแฝงในการอนุมาน เมื่อกำหนดการแบ่งส่วน ส่วนนี้จะพิจารณาการคาดการณ์ความหน่วงแฝงในการอนุมานบนโหนดที่แยกออกมา เวลาแฝงที่เกิดจากการคำนวณเลเยอร์ Li ที่มีการใช้พลังงาน ci ซึ่งจะคำนวณบนโหนด Na โดยมีอัตราการประมวลผล ηa จะแสดงเป็น Tci(Na)=ci/ηa เมื่อกำหนดชุดเลเยอร์ L′⊂L ในทุกเธรดที่ทำงานบนโหนด Na ที่มีอัตราการประมวลผล ηa เวลาแฝงในการอนุมานสามารถแสดงเป็น: นิพจน์นี้เป็นการประมาณอันดับแรกของการประมาณเวลาแฝงในการอนุมานโดยอิงจากจำนวนปฏิบัติการจุดลอยตัว (FLOPs) ที่จำเป็นสำหรับการประมวลผล DNN นั่นคือ จำนวนการดำเนินการคูณ-บวกในโมเดล การประมาณเวลาแฝงในการอนุมานบนอุปกรณ์ขอบมีความซับซ้อนจากการปรับปรุงในขณะทำงาน โซลูชันที่มีอยู่ เช่น nn-Meter คาดการณ์เวลาแฝงในการอนุมานโดยอิงจาก FLOPs โซลูชันอื่นๆ อาศัยตารางการค้นหาที่มีเวลาอนุมานที่คำนวณไว้ล่วงหน้าสำหรับการอนุมานเวลาแฝง ตัวอย่างเช่น BRP-NAS ใช้กราฟคอนโวลูชันที่ฝึกไว้ล่วงหน้าเพื่อคาดการณ์เวลาแฝงในการอนุมาน ในขณะที่คำนึงถึงการปรับปรุงโมเดลในขณะทำงาน [](javascript:void()) [](javascript:void()) ใน สมการที่ 1 นอกจากนี้ยังสมมติว่าโปรเซสเซอร์ใช้ความจุเต็มที่ ซึ่งหมายความว่าโปรเซสเซอร์แบบหลายคอร์จะถูกจำลองเป็นโปรเซสเซอร์แบบแกนเดียวที่มีอัตราการประมวลผลเท่ากับผลรวมของอัตราการประมวลผลแกนของมัน นอกจากนี้ยังสมมติว่าทรัพยากรในการคำนวณถูกแบ่งปันเท่าๆ กันระหว่างเธรด นั่นคือ โปรเซสเซอร์จะจัดสรรสัดส่วนเวลาเท่ากันให้กับแต่ละเธรด ในทุกโหนด เธรดที่มีเวลาแฝงสูงสุดจะเป็นตัวกำหนดปริมาณงานการอนุมานสำหรับ DNN แบบกระจาย หากไม่พิจารณาเวลาแฝงในการส่ง ซึ่งหมายความว่าเมื่อเธรดจำกัดนี้คำนวณเฟรมข้อมูลเสร็จสิ้น มันจะเริ่มประมวลผลเฟรมถัดไปทันที เธรดอื่นๆ จะมีเวลาที่ไม่ได้ใช้งานก่อนที่จะประมวลผลเฟรมข้อมูลถัดไปเนื่องจากเวลาแฝงในการอนุมานของพวกมันต่ำกว่าเวลาแฝงสูงสุดนี้ ดังแสดงใน *รูปที่ 1* เมื่อกำหนดเมทริกซ์การแบ่งส่วน P เวลาแฝงในการอนุมานสามารถแสดงเป็นเวกเตอร์เดียว Tc ขนาด N โดยที่ส่วนที่ a คือเวลาแฝงการอนุมานของเธรดสูงสุดบนโหนด Na นั่นคือ Tca=Tc(Na) : โดยที่ H คือเมทริกซ์แนวทแยงของอัตราการประมวลผลโหนดผกผัน diag(η−11,…,η−1N) และ c คือเวกเตอร์คอลัมน์ของการใช้พลังงานเลเยอร์แต่ละตัว (c1,…,cL) C. การคาดการณ์ความหน่วงแฝงในการส่งข้อมูล เวลาแฝงในการส่งข้อมูลสามารถคาดการณ์ได้ดังนี้: เวลาที่ใช้ในการส่งปริมาณข้อมูล si,j ระหว่างเลเยอร์ Li และ Lj บน Edge (Na,Nb) ผ่านลิงก์ที่มีอัตราการส่งข้อมูลที่วัดได้ θa,b คือ Tti,j(Na,Nb)=si,j/θa,b เวลาในการถ่ายโอนข้อมูล si,j∈E′⊂E ผ่านลิงก์ (Na,Nb) คือ: ในทำนองเดียวกันกับการคาดการณ์เวลาแฝงในการอนุมาน วิธีการนี้หมายความว่าลิงก์จะถูกแบ่งปันเท่าๆ กันระหว่างการถ่ายโอนข้อมูลจาก Na ไปยัง Nb การคาดการณ์เวลาแฝงในการส่งข้อมูลอาศัยการประมาณอัตราการส่งข้อมูลของลิงก์ นั่นคือ *goodput* นั่นคือ ปริมาณข้อมูลที่มีประโยชน์ที่ส่งต่อวินาที เช่นเดียวกับการประมาณเวลาแฝงในการอนุมาน นี่คือการประมาณอันดับแรก ซึ่งให้ผลการคาดการณ์ที่ดีอย่างมีประสิทธิภาพ ดังแสดงใน *รูปที่ 3* c โดยมีค่าสัมประสิทธิ์สหสัมพันธ์ R2=0.9998 ข้อเสียของวิธีนี้คือข้อกำหนดในการทำให้ลิงก์อิ่มตัวเพื่อประมาณอัตราการส่งข้อมูล เมื่อกำหนดเมทริกซ์การแบ่งส่วน P เมทริกซ์เวลาแฝงในการส่งข้อมูล Tt สามารถกำหนดเป็นเมทริกซ์จัตุรัสขนาด L โดยที่ Tta,b=Tt(Na,Nb) : โดยที่ ° คือผลคูณแบบเทอมต่อเทอม หรือ Hadamard product, Θ คือเมทริกซ์ผกผันของอัตราการส่งข้อมูล นั่นคือ เมทริกซ์จัตุรัสขนาด N โดยที่ Θa,b=θ−1a,b และ S คือเมทริกซ์ขนาดการส่ง นั่นคือ เมทริกซ์จัตุรัสขนาด L โดยที่ Si,j=si,j หาก Li ส่งข้อมูลไปยัง Lj ไม่เช่นนั้นจะเป็น 0 ส่วนที่ IV. การแบ่งส่วน DNN วัตถุประสงค์ของการแบ่งส่วน DNN ในการศึกษานี้คือการเพิ่มปริมาณงานการอนุมานให้สูงสุด ซึ่งระบุด้วย C ซึ่งสอดคล้องกับค่าผกผันของเวลาแฝงสูงสุดระหว่างเวลาแฝงในการคำนวณและเวลาแฝงในการส่งข้อมูลทั้งหมด เมื่อกำหนดการแบ่งส่วน P ปริมาณงานการอนุมานจะถูกกำหนดเป็น: การเพิ่มปริมาณงานการอนุมานให้สูงสุดเทียบเท่ากับการค้นหาค่า min-max ร่วมกันระหว่างเทอมทั้งหมดของ Tc และ Tt ซึ่งสามารถกำหนดเป็นปัญหาการเพิ่มประสิทธิภาพแบบไม่ต่อเนื่อง: โดยที่ Ji,j คือเมทริกซ์ที่มีแต่ค่า 1 ขนาด i×j เงื่อนไข (6) และ (7) กำหนดให้แต่ละเลเยอร์ต้องถูกวางไว้บนโหนดเดียวเท่านั้น ปัญหาการเพิ่มประสิทธิภาพนี้เป็นปัญหา Mixed Integer Non-linear Programming (MINLP) เมทริกซ์การแบ่งส่วนสามารถมองได้ว่าเป็นเวอร์ชัน one-hot encoded ของเวกเตอร์ขนาด (1×L) ที่มีค่าอยู่ใน [[1,N]] ปัญหา MINLP เป็น NP-hard ซึ่งหมายความว่าความซับซ้อนในการค้นหาการแบ่งส่วน DNN ที่เหมาะสมที่สุดคือ O(NL) เนื่องจากแต่ละเลเยอร์ L สามารถวางบนโหนด N ได้ มีวิธีฮิวริสติกหลายวิธีในการรับโซลูชันที่เหมาะสมที่สุดหรือเกือบเหมาะสมที่สุดสำหรับปัญหานี้ในเวลาน้อยกว่าอัลกอริทึมแบบ Brute Force เช่น Genetic Algorithms (GA) , Particle Swarm Optimization (PSO) , หรือ Branch and Bound (B&B) วิธีการที่เลือกคือการนำ Branch and Bound มาปรับใช้ ซึ่งนำเสนอใน *ส่วนที่ IV-A* [](javascript:void()) [](javascript:void()) [](javascript:void()) A. อัลกอริทึม Branch and Bound ส่วนนี้จะนำเสนอการปรับอัลกอริทึม Branch and Bound (B&B) ให้เข้ากับปัญหาการเพิ่มประสิทธิภาพการแบ่งส่วน DNN ที่กำหนดใน *ส่วนที่ IV* ในอัลกอริทึม B&B พื้นที่โซลูชันจะถูกแสดงด้วยต้นไม้ กระบวนการประกอบด้วยการกำจัดสาขาของต้นไม้ทั้งหมดตามการประเมินคะแนนของโหนดราก สิ่งนี้บ่งบอกถึงการมีอยู่ของโทโพโลยีต้นไม้ที่สร้างความสัมพันธ์ระหว่างคะแนนของโหนดในต้นไม้และขอบเขตของคะแนนของใบทั้งหมด การแสดงต้นไม้ของพื้นที่โซลูชันนี้