หลังจากใช้เวลาหลายคืนในการทำงานกับรูปแบบการเข้ารหัสสี ฉันก็พบว่ามีข้อมูลเกี่ยวกับรูปแบบที่น่าทึ่งนี้เพียงเล็กน้อยเท่านั้น อย่างไรก็ตาม รูปแบบนี้สามารถเป็นประโยชน์อย่างยิ่งสำหรับผู้ที่เกี่ยวข้องกับการสตรีมวิดีโอ P2P หรือการประมวลผลสตรีมวิดีโอด้วย AI YUV เมื่อมองดูครั้งแรก และ อาจดูเหมือนเป็นเพียงวิธีแสดงสีที่แตกต่างกัน แต่ภายใต้ความแตกต่างนี้ยังมีการต่อสู้ที่ยังคงดำเนินต่อไป ได้แก่ ความสะดวกเทียบกับประสิทธิภาพ ความแม่นยำเทียบกับประสิทธิภาพ การรับรู้ที่สมบูรณ์แบบเทียบกับการบีบอัดโดยไม่สูญเสียข้อมูลที่มองเห็นได้ เราอาจถือเอาว่า เป็นราชาแห่งพื้นที่สีที่ไม่มีใครโต้แย้งได้ เพราะกล้อง หน้าจอ และเครือข่ายประสาทส่วนใหญ่ทำงานอยู่ในนั้น อย่างไรก็ตาม ในโลกของการสตรีมและการเข้ารหัสวิดีโอ YUV เป็นผู้นำโดยซ่อนตัวอยู่ภายใต้ชุดการแลกเปลี่ยนที่ซับซ้อนซึ่งช่วยให้เราสามารถรับชมวิดีโอได้โดยไม่เกิดความล่าช้า ประหยัดข้อมูลได้หลายกิกะไบต์ และเร่งการประมวลผลแบบเรียลไทม์ RGB YUV RGB แต่จะเกิดอะไรขึ้นหากคุณต้องการเชื่อมโยงสองโลกนี้เข้าด้วยกัน โมเดล AI ที่ได้รับการฝึกบน RGB จัดการสตรีมวิดีโอใน YUV ได้อย่างไร เหตุใดโคเดกจึงลังเลที่จะทำงานกับ RGB และเป็นไปได้หรือไม่ที่จะบรรลุความสมดุลที่สมบูรณ์แบบระหว่างรูปแบบเหล่านี้ ที่นี่ ฉันจะช่วยให้คุณเจาะลึกว่าทำไม RGB และ YUV จึงเหมือนกับนักมวยสองคนจากรุ่นน้ำหนักที่แตกต่างกันที่ถูกบังคับให้มาพบกันในสังเวียนเดียวกันของการสตรีมวิดีโอและเทคโนโลยี AI RGB และ YUV คืออะไร? รูปแบบ และ ค่อนข้างตรงไปตรงมาและใช้กันอย่างแพร่หลายในกราฟิกคอมพิวเตอร์ ดังนั้นเราจะไม่ลงลึกในพื้นฐานมากเกินไป กล่าวโดยสรุป เมื่อคอมพิวเตอร์ของคุณเรนเดอร์ภาพ คอมพิวเตอร์จะทำงานด้วยสามช่องสัญญาณ , และ นี่คือลักษณะการทำงานของหน้าจอส่วนใหญ่ RGB RGBA ได้แก่ สีแดง (R) สีเขียว (G) สีน้ำเงิน (B) เพิ่มช่องสัญญาณเพิ่มเติม — — ซึ่งควบคุมความโปร่งใส ทำให้มีประโยชน์อย่างยิ่งสำหรับกราฟิกบนเว็บและการออกแบบดิจิทัล แสดงสีได้อย่างแม่นยำโดยไม่เกิดการบิดเบือน แต่มีข้อเสียสำคัญคือใช้พื้นที่มากเกินไป ตัวอย่างเช่น รูปภาพที่มีความละเอียด ในรูปแบบ (ใช้ 1 ไบต์ต่อช่องสัญญาณ) ใช้พื้นที่: RGBA อัลฟา (A) RGB 1920 × 1080 RGBA 1920×1080×4 = 8294400 bytes ≈ 8.2 MB รูปแบบที่บีบอัด เช่น JPEG ช่วยลดขนาดไฟล์ แต่ในโลกของการสตรีมวิดีโอ P2P และการประมวลผลแบบเรียลไทม์ด้วย AI บนเครื่องของลูกค้า เช่น การจดจำวัตถุ การตรวจจับจุดสำคัญ และการแบ่งส่วน นี่ไม่ใช่ตัวเลือกที่เหมาะสม เราจำเป็นต้องส่งและวิเคราะห์ทุกเฟรมแบบเรียลไทม์ โดยไม่ทำให้เกิดอาตีแฟกต์การบีบอัดหรือสูญเสียรายละเอียดที่สำคัญ นั่นคือจุดที่ เข้ามามีบทบาท โดยนำเสนอแนวทางที่ชาญฉลาดกว่าในการสร้างสมดุลระหว่างคุณภาพ ประสิทธิภาพ และประสิทธิภาพการทำงาน YUV YUV คืออะไร? ต่างจาก RGB ที่เก็บข้อมูลสีโดยตรง จะแยกภาพออกเป็นองค์ประกอบลูมา และโครมา วิธีนี้ช่วยให้บีบอัดข้อมูลได้อย่างมีประสิทธิภาพโดยไม่สูญเสียคุณภาพอย่างมาก YUV (Y) (U และ V) – แสดงความสว่างของพิกเซล โดยกำหนดว่าภาพจะสว่างหรือมืดเพียงใด โดยพื้นฐานแล้ว นี่คือภาพในโทนสีเทา (ขาวดำ) โดยคงรูปร่างและรายละเอียดทั้งหมดไว้ Y (Luma, ความสว่าง) – จัดเก็บข้อมูลสีแต่มีความแม่นยำต่ำกว่า เนื่องจากดวงตาของมนุษย์รับรู้ความสว่างได้คมชัดกว่าความแม่นยำของสี กล่าวอย่างง่ายๆ ก็คือ ช่องสัญญาณเหล่านี้ทำหน้าที่เป็น “การเปลี่ยนแปลง” ความสว่างแบบสองมิติไปยังเฉดสีต่างๆ U และ V (Chroma, color) การแยกนี้เป็นกุญแจสำคัญที่ทำให้ YUV มีประสิทธิผลอย่างมากในการบีบอัดวิดีโอ การสตรีมมิ่ง และการประมวลผลวิดีโอที่ใช้ AI เหตุใด YUV จึงดีกว่าสำหรับการสตรีมวิดีโอ? ข้อดีอย่างหนึ่งของ ที่ไม่ชัดเจนแต่มีประสิทธิภาพสูงก็คือ ช่องสัญญาณหนึ่ง ของ YUV นั้นไม่ได้มีไว้สำหรับจัดเก็บสีเลย แต่กลับอธิบายสีได้อย่างชัดเจน ของวัตถุ YUV (Y) รูปร่าง เรื่องนี้เกี่ยวข้องกับการมองเห็นของมนุษย์อย่างไร? ดวงตาของมนุษย์รับรู้ภาพโดยใช้โฟโตรีเซพเตอร์สองประเภทในจอประสาทตา: – ไวต่อความสว่างและความคมชัด แต่ไม่สามารถตรวจจับสีได้ เซลล์รูปแท่งทำให้เราสามารถมองเห็นรูปร่างและรายละเอียดต่างๆ ได้แม้ในสภาพแสงน้อย เซลล์รูปแท่ง (~120 ล้านเซลล์) – มีหน้าที่รับรู้สี แต่มีจำนวนน้อยกว่าถึง 20 เท่า เซลล์รูปกรวยทำงานได้เฉพาะในสภาพแสงที่ดีเท่านั้น และมี 3 ประเภท ได้แก่ สีแดง สีเขียว และสีน้ำเงิน ( ) เซลล์รูปกรวย (~6 ล้านเซลล์) RGB เนื่องจากตัวรับแสงไม่สมดุล สมองของเราจึงให้ความสำคัญกับรูปร่างมากกว่าสี หากความสว่างหรือความคมชัดผิดเพี้ยน เราจะสังเกตเห็นได้ทันที อย่างไรก็ตาม การเปลี่ยนแปลงสีเพียงเล็กน้อยมักไม่ถูกสังเกตเห็น นี่คือหลักการสำคัญของ YUV ช่อง (ความสว่าง) ยังคงไม่เปลี่ยนแปลง เพื่อรักษารูปร่างของวัตถุไว้ ดังนั้นเซลล์แท่งในดวงตาของคุณจึงจะได้รับความพึงพอใจ Y ช่อง และ (ข้อมูลสี) สามารถบีบอัดได้โดยไม่สร้างสิ่งแปลกปลอมที่สังเกตเห็นได้ และเซลล์รูปกรวยน้อยลงจะไม่สังเกตเห็นความแตกต่างใดๆ U V ซึ่งหมายความว่า YUV ปฏิบัติต่อช่องสัญญาณของตนแตกต่างกันตามการรับรู้ของมนุษย์ ซึ่งแตกต่างจาก ที่ช่องสัญญาณทั้งสามมีความสำคัญเท่าเทียมกัน เนื่องจากข้อมูลสี มีความสำคัญน้อยกว่า เราจึงลดปริมาณข้อมูลที่ส่งออกโดยไม่สูญเสียคุณภาพที่รับรู้ได้ RGB (U และ V) นี่เป็นวิธีการทำงานของกลไก Chroma Subsampling โดยเฉพาะ — เพิ่มประสิทธิภาพการเข้ารหัสวิดีโอด้วยการบีบอัดข้อมูลสีแบบเลือกสรรในขณะที่ยังคงรักษาความสว่างไว้ การสุ่มตัวอย่าง Chroma ช่วยโลกของการสตรีมวิดีโอได้อย่างไร เป็นเทคนิคในการลดปริมาณข้อมูลสีในภาพ แทนที่จะเก็บสีไว้สำหรับทุกพิกเซล (เช่นใน ) YUV จะลดความละเอียดของช่องสีในขณะที่ยังคงความสว่าง (รูปร่าง) ไว้ การสุ่มตัวอย่างสี RGB มีมาตรฐานอุตสาหกรรมหลายประการสำหรับการสุ่มตัวอย่างโครมา: – พิกเซลแต่ละคู่จะแบ่งปันข้อมูลสีร่วมกัน ตาแทบจะไม่สังเกตเห็นความแตกต่าง แต่ขนาดไฟล์จะลดลง 33% วิธีนี้ไม่ค่อยได้ใช้ การสุ่มตัวอย่าง แบบ 4:2:2 – สีจะถูกเก็บไว้เพียงหนึ่งพิกเซลจากสี่พิกเซล ช่วยให้เกิดการบีบอัดข้อมูลสูงสุด การสุ่มตัวอย่างแบบ 4:2:0 เหตุใด 4:2:0 จึงเป็นมาตรฐานหลัก? รูปแบบนี้ช่วยลดขนาดข้อมูลลงครึ่งหนึ่งโดยไม่ทำให้คุณภาพของภาพลดลงอย่างเห็นได้ชัด นั่นคือเหตุผลที่รูปแบบนี้จึงเป็นมาตรฐานสำหรับบริการสตรีมมิ่งและแพลตฟอร์มวิดีโอเกือบทั้งหมด ตัวอย่างเช่น Microsoft Teams ส่งสัญญาณวิดีโอที่อัตรา เนื่องจากให้สมดุลที่ดีที่สุดระหว่างคุณภาพและประสิทธิภาพของแบนด์วิดท์ 4:2:0 ในการตั้งค่านี้ ค่าสีเดียวแสดงถึงสี่พิกเซล และดวงตาของมนุษย์ไม่ตรวจพบความแตกต่าง แม้จะซูมเข้าก็ตาม เนื่องจากความสว่าง (Y) ยังคงไม่เปลี่ยนแปลง บนเฟรมเดียว ส่งผลให้ขนาดข้อมูลลดลงมากกว่าสองเท่าเมื่อเทียบกับ โดยไม่สูญเสียคุณภาพที่เห็นได้ชัด! 1920×1080×1.5 = 3110400 bytes ≈ 3.1 MB RGBA รูปภาพด้านล่างแสดงให้เห็นว่าเฟรม/ภาพสุดท้ายมีลักษณะอย่างไรเมื่อใช้การสุ่มตัวอย่าง ของโครมา โปรดสังเกตว่า หนึ่งตัวอธิบาย สี่ตัวได้ ซึ่งหมายความว่าหน่วยความจำจะชนะ 4 เท่า! แบบ 4:2:0 U Y เหตุใด YUV จึงมีประโยชน์มากสำหรับ AI? ในโลกปัจจุบัน แอปพลิเคชัน AI สำหรับการประมวลผลวิดีโอแบบเรียลไทม์กำลังขยายตัวอย่างรวดเร็ว เครือข่ายประสาทเทียมไม่เพียงแต่ใช้สำหรับการวิเคราะห์กล้องวงจรปิดและการปรับปรุงคุณภาพสตรีมเท่านั้น แต่ยังใช้สำหรับงานที่ซับซ้อนกว่า เช่น เอฟเฟกต์เชิงสร้างสรรค์ การปรับเปลี่ยนรูปลักษณ์แบบเรียลไทม์ การจดจำวัตถุ และการติดตามการเคลื่อนไหว ตัวอย่างเช่น เราได้พัฒนาระบบแต่งหน้าเสมือนจริงที่ทาลิปสติกและอายแชโดว์บนใบหน้าของบุคคลในวิดีโอแชท โดยทำได้อย่างสมจริงมากที่สุด ในงานดังกล่าว ความแม่นยำในรูปทรงและการเคลื่อนไหวมีความสำคัญอย่างยิ่ง ในขณะที่ข้อมูลสีมีความสำคัญรองลงมา นอกจากนี้ คุณยังสามารถฝึกโมเดลของคุณให้เข้าใจภาพโทนสีเทาเพื่อเพิ่มประสิทธิภาพได้ ในขณะเดียวกัน การได้รับภาพโทนสีเทาบน GPU จะมีประสิทธิภาพมากกว่ามากหากคุณใช้ เป็นอินพุต เนื่องจากคุณต้องตัดเฉพาะส่วนแรกของภาพเท่านั้นเพื่อให้ได้ช่องโทนสีเทาที่ได้ YUV 4:2:0 ความท้าทายสำคัญในการสตรีมวิดีโอด้วย AI รูปร่างสำคัญมากกว่าสี โมเดล AI เช่นเดียวกับระบบวิชันคอมพิวเตอร์อื่นๆ มุ่งเน้นที่โครงสร้าง รูปร่าง และขอบของวัตถุเป็นหลัก มากกว่าการสร้างสีที่แม่นยำ สิ่งนี้ใช้ได้กับการจดจำใบหน้า การติดตามท่าทาง การตรวจจับความผิดปกติ และเอฟเฟกต์ AR ตัวอย่างเช่น ในระบบการจดจำการเคลื่อนไหว โครงร่างพิกเซลของร่างกายมีความสำคัญมากกว่าโทนสีผิวมาก ประสิทธิภาพเป็นสิ่งสำคัญ สำหรับ AI แบบเรียลไทม์ เฟรมแต่ละเฟรมจะต้องได้รับการประมวลผลภายใน เพื่อรักษาอัตราเฟรมที่ราบรื่น ( ) ยิ่งเครือข่ายประสาทรับและประมวลผลเฟรมได้เร็วเท่าไร แอปพลิเคชันก็จะทำงานได้เป็นธรรมชาติและลื่นไหลมากขึ้นเท่านั้น 20 ms 50–60 FPS รูปแบบ มีน้ำหนักมากเกินไป – เฟรม RGBA มีน้ำหนัก ซึ่งทำให้หน่วยความจำและพลังการประมวลผลทำงานหนักมาก RGB 1920×1080 8.2 MB ที่มีการสุ่มตัวอย่างโครมา 4:2:0 ช่วยลดข้อมูลที่ไม่จำเป็นใน ด้วยการส่งสีที่ความละเอียดต่ำกว่า ช่วยประหยัดทรัพยากรการคำนวณโดยไม่สูญเสียคุณภาพที่มองเห็นได้ YUV O(1) การประมวลผล GPU ที่ได้รับการเพิ่มประสิทธิภาพ GPU สมัยใหม่ได้รับการปรับให้เหมาะสมสำหรับการประมวลผล YUV เป็นอย่างดี ซึ่งหมายความว่าเราสามารถทำงานกับรูปภาพได้โดยไม่ต้องแปลงเป็น RGB ซึ่งจะช่วยลดการคำนวณที่ไม่จำเป็นและเพิ่มความเร็วในการประมวลผล การประหยัดแบนด์วิธและหน่วยความจำ การลดขนาดข้อมูลเป็นสิ่งสำคัญสำหรับการส่งและประมวลผลวิดีโอแบบเรียลไทม์: ในการสตรีม การใช้ 4:2:0 จะลดการส่งข้อมูลลง 50% โดยไม่สูญเสียคุณภาพที่เห็นได้ชัด YUV ใน AI โมเดลสามารถประมวลผลข้อมูลที่บีบอัดได้โดยไม่ต้องขยายเป็น ช่วยประหยัด VRAM และพลังในการคำนวณ RGB บทสรุป พูดตรงๆ ว่า RGB ดูเหมือนจะเป็นตัวเลือกที่ชัดเจน เพราะเป็นมาตรฐานในกล้อง หน้าจอ และกราฟิกคอมพิวเตอร์ แต่เมื่อต้องใช้งานวิดีโอสตรีมมิ่งในโลกแห่งความเป็นจริงและการผสานรวม AI แล้ว กลับกลายเป็น จากนั้น ก็เข้ามาแทนที่ โดยให้ความสมดุลที่สมบูรณ์แบบระหว่างคุณภาพ ความเร็ว และประสิทธิภาพของข้อมูล ระบบจัดเก็บข้อมูลอันชาญฉลาด (แยกความสว่างออกจากสีที่บีบอัด) ช่วยให้สามารถทำสิ่งต่างๆ ที่อาจเป็นฝันร้ายในการประมวลผลใน ได้ RGB ไดโนเสาร์ที่เชื่องช้า YUV RGB ไม่มีใครอยากให้มีเมกะไบต์เพิ่มขึ้นมาทำให้การประมวลผลวิดีโอแบบเรียลไทม์ช้าลง ข้อมูลน้อยลง = ความเร็วที่มากขึ้น สมองของเรามุ่งเน้นไปที่รูปร่าง ไม่ใช่การสูญเสียสีเล็กน้อย ใช้ประโยชน์จากสิ่งนี้ได้อย่างเต็มที่ ตาไม่สังเกตเห็นกลอุบายนี้ YUV เมื่อคุณมีเวลาเพียง 16ms ต่อเฟรม YUV จะขจัดการคำนวณที่ไม่จำเป็นและช่วยประหยัดทรัพยากร AI ให้ความสำคัญกับ FPS ไม่ใช่ความแตกต่างของสี ตัวแปลงสัญญาณที่เร่งด้วยฮาร์ดแวร์ การคำนวณที่รวดเร็ว และการแปลงรูปแบบขั้นต่ำ ซึ่งเป็นทุกสิ่งที่คุณต้องการสำหรับวิดีโอประสิทธิภาพสูง GPU ชื่นชอบ YUV คำตัดสินขั้นสุดท้าย นั้นยอดเยี่ยมมาก แต่ไม่ได้เป็นเช่นนั้นเมื่อต้องเกี่ยวข้องกับประสิทธิภาพแบบเรียลไทม์และ AI สำหรับการสตรีมวิดีโอ ถือเป็นเครื่องมือสำคัญและช่วยขับเคลื่อนโซลูชันหลักๆ มาหลายปีแล้ว RGB YUV ดังนั้น หากคุณยังคิดว่า RGB คือราชา ถึงเวลาต้องคิดใหม่เสียที เพราะรูปแบบวิดีโอต่างๆ ต่างก็เล่นตามกฎเกณฑ์ของตนเองมานานแล้ว
