แว่นตาของคุณอาจเล่นความลับที่ละเอียดอ่อนในการโทรวิดีโอ

ผู้เขียน : (1) Yan Long, วิศวกรรมไฟฟ้าและวิทยาศาสตร์คอมพิวเตอร์, มหาวิทยาลัยมิชิกัน, แอน Arbor, สหรัฐอเมริกา (yanlong@umich.edu) (2) Chen Yan, วิทยาลัยวิศวกรรมไฟฟ้า, มหาวิทยาลัยเจ้อเจียง, หางโจว, จีน (yanchen@zju.edu.cn) (3) Shilin Xiao, วิทยาลัยวิศวกรรมไฟฟ้า, มหาวิทยาลัยเจ้อเจียง, หางโจว, จีน (bixilin@zju.edu.cn) (4) Shivan Prasad, วิศวกรรมไฟฟ้าและวิทยาศาสตร์คอมพิวเตอร์, มหาวิทยาลัยมิชิกัน, แอน Arbor, สหรัฐอเมริกา (shprasad@umich.edu) (5) Wenyuan Xu, วิทยาลัยวิศวกรรมไฟฟ้า, มหาวิทยาลัยเจ้อเจียง, หางโจว, จีน (wyxu@zju.edu.cn) (6) Kevin Fu, วิศวกรรมไฟฟ้าและวิทยาศาสตร์คอมพิวเตอร์, มหาวิทยาลัยมิชิกัน, แอน Arbor, สหรัฐอเมริกา (kevinfu@umich.edu) Authors: (1) Yan Long, วิศวกรรมไฟฟ้าและวิทยาศาสตร์คอมพิวเตอร์, มหาวิทยาลัยมิชิกัน, แอน Arbor, สหรัฐอเมริกา (yanlong@umich.edu) (2) Chen Yan, วิทยาลัยวิศวกรรมไฟฟ้า, มหาวิทยาลัยเจ้อเจียง, หางโจว, จีน (yanchen@zju.edu.cn) (3) Shilin Xiao, วิทยาลัยวิศวกรรมไฟฟ้า, มหาวิทยาลัยเจ้อเจียง, หางโจว, จีน (bixilin@zju.edu.cn) (4) Shivan Prasad, วิศวกรรมไฟฟ้าและวิทยาศาสตร์คอมพิวเตอร์, มหาวิทยาลัยมิชิกัน, แอน Arbor, สหรัฐอเมริกา (shprasad@umich.edu) (5) Wenyuan Xu, วิทยาลัยวิศวกรรมไฟฟ้า, มหาวิทยาลัยเจ้อเจียง, หางโจว, จีน (wyxu@zju.edu.cn) (6) Kevin Fu, วิศวกรรมไฟฟ้าและวิทยาศาสตร์คอมพิวเตอร์, มหาวิทยาลัยมิชิกัน, แอน Arbor, สหรัฐอเมริกา (kevinfu@umich.edu) ตารางด้านซ้าย คําอธิบายและ I. บทนํา II รูปแบบภัยคุกคามและพื้นหลัง III. เว็บแคมมองผ่านแว่นตา IV. ความสามารถในการสะท้อนและปัจจัย V. ความไวต่อเป้าหมายทางข้อความในพื้นที่ไซเบอร์ VI. การรับรู้เว็บไซต์ VII การอภิปราย VIII. งานที่เกี่ยวข้อง IX ข้อสรุปการยอมรับและการอ้างอิง แอปเปิ้ล A: ข้อมูลอุปกรณ์ แอปเปิ้ล B: ดูรูปแบบมุม แอปเปิ้ล C: การปฏิบัติของแพลตฟอร์มการประชุมวิดีโอ แอปเปิ้ล D: การวิเคราะห์ความผิดพลาด แอปเปิ้ล E: Web Textual Targets —Personal video conferencing has become a new norm after COVID-19 caused a seismic shift from in-person meetings and phone calls to video conferencing for daily communications and sensitive business. Video leaks participants’ on-screen information because eyeglasses and other reflective objects unwittingly expose partial screen contents. Using mathematical modeling and human subjects experiments, this research explores the extent to which emerging webcams might leak recognizable textual and graphical information gleaming from eyeglass reflections captured by webcams. The primary goal of our work is to measure, compute, and predict the factors, limits, and thresholds of recognizability as webcam technology evolves in the future. Our work explores and characterizes the viable threat models based on optical attacks using multi-frame super resolution techniques on sequences of video frames. Our models and experimental results in a controlled lab setting show it is possible to reconstruct and recognize with over 75% accuracy on-screen texts that have heights as small as 10 mm with a 720p webcam. We further apply this threat model to web textual contents with varying attacker capabilities to find thresholds at which text becomes recognizable. Our user study with 20 participants suggests present-day 720p webcams are sufficient for adversaries to reconstruct textual content on big-font websites. Our models further show that the evolution towards 4K cameras will tip the threshold of text leakage to reconstruction of most header texts on popular websites. Besides textual targets, a case study on recognizing a closed-world dataset of Alexa top 100 websites with 720p webcams shows a maximum recognition accuracy of 94% with 10 participants even without using machine-learning models. Our research proposes near-term mitigations including a software prototype that users can use to blur the eyeglass areas of their video streams. For possible long-term defenses, we advocate an individual reflection testing procedure to assess threats under various settings, and justify the importance of following the principle of least privilege for privacy-sensitive scenarios. Abstract สารสกัดจาก I. บทนํา การโทรวิดีโอออนไลน์ได้กลายเป็นที่พบบ่อยในฐานะวิธีการสื่อสารระยะไกลโดยเฉพาะอย่างยิ่งเนื่องจากโรค COVID19 ที่เกิดขึ้นเมื่อเร็ว ๆ นี้ซึ่งก่อให้เกิดนโยบายการทํางานจากที่บ้านเกือบสากลในประเทศใหญ่ [24], [27], [31] และทําให้การประชุมทางวิดีโอเป็นมาตรฐานสําหรับ บริษัท และโรงเรียนเพื่อให้สามารถเข้าถึงการสื่อสารระหว่างบุคคลได้แม้กระทั่งหลังโรคปานาเมด [6], [15], [43], [51] ในขณะที่การประชุมทางวิดีโอให้ผู้คนความสะดวกสบายและ immersion ของการโต้ตอบทางวิสัยทัศน์มันไม่ทราบเปิดเผยข้อมูลข้อความที่ละเอียดอ่อนที่อาจถูกใช้ประโยชน์โดยบุคคลที่เป็นอันตรายที่ทําหน้าที่เป็นผู้เข้าร่วมแต่ละวิดีโอ หน้าจอของผู้เข้าร่วมอาจมีข้อมูลส่วนบุคคล เว็บแคมของผู้เข้าร่วมสามารถจับข้อมูลนี้เมื่อสะท้อนให้เห็นโดยแว่นตาของผู้เข้าร่วมและให้ข้อมูลไปยังฝ่ายตรงข้ามโดยไม่ได้รับรู้ (รูปที่ 1) เราอ้างถึงการโจมตีนี้ว่าเป็นการโจมตีการมองเห็นเว็บแคม นอกจากนี้ความสามารถของฝ่ายตรงข้ามจะยังคงเพิ่มขึ้นด้วยการปรับปรุงความละเอียดอัตราการมองเห็นและอื่น ๆ ดังนั้นจึงเป็นสิ่งสําคัญที่จะเข้าใจผลและขีด จํากัด ของการโจมตีการมองเห็นเว็บแคมในปัจจุบันและสถานการณ์ในอนาคตที่เป็นไปได้ การทํางานก่อนหน้านี้แสดงให้เห็นว่าการโจมตีที่คล้ายกันที่ใช้การสะท้อนแสงจากวัตถุใกล้เคียงในการตั้งค่าที่มีการควบคุมเป็นไปได้เช่นการสังเกตของชาบนโต๊ะด้วยกล้องดิจิตอลแบบสะท้อนแสงแบบเดี่ยว (DSLR) และกล้องล้องที่มีคุณภาพสูง [25] [26] ความท้าทายและลักษณะของการมองเห็นโดยใช้เว็บแคมที่ทุกที่ แต่มีคุณภาพแตกต่างกันเนื่องจากภาพที่มีคุณภาพต่ํากว่าของเว็บแคมในปัจจุบัน รูปภาพเว็บแคมที่มีคุณภาพต่ําเกิดจากรูปแบบที่ไม่ซ้ํากันของความผิดปกติคือการถ่ายภาพและเสียงรบกวน ISO เนื่องจากการรับแสงไม่เพียงพอและเรียกร้องใช้เทคนิคการปรับปรุงภาพใหม่ นอกจากนี้ยังจําเป็นต้องใช้โมเดลทางคณิตศาสตร์ใหม่และกรอบการวิเคราะห์เพื่อทําความเข้าใจถึงรูปแบบของการโจมตี มีหลายประเภทของสื่อที่สามารถรั่วซึมผ่านการสะท้อนแสงรวมถึงข้อความและกราฟิก เรามุ่งเน้นไปที่การรั่วซึมข้อความในงานนี้เนื่องจากเป็นจุดเริ่มต้นตามธรรมชาติสําหรับการรับรู้และจําลองการรั่วซึมข้อมูลพื้นฐาน แต่ยังให้ความเข้าใจเกี่ยวกับการรั่วซึมข้อมูลที่ไม่ใช่ข้อความเช่นการสรุปเว็บไซต์ที่แสดงผ่านการรับรู้เนื้อหากราฟิกบนหน้าจอ เราพยายามตอบคําถามสามคําหลักต่อไปนี้: Q1: สิ่งที่ปัจจัยหลักที่ส่งผลกระทบต่อความสามารถของฝ่ายตรงข้ามในการมองเห็นเว็บแคมคืออะไร? Q2: อะไรคือขีด จํากัด ของความสามารถของฝ่ายตรงข้ามในปัจจุบันและในอนาคตที่คาดการณ์ได้และผู้ตรงข้ามสามารถขยายขีด จํากัด ได้อย่างไร? Q3: อะไรคือความเสี่ยงที่สอดคล้องกันของการมองเห็นเว็บแคม เพื่อตอบคําถามที่ 1 เราเสนอรุ่นทางคณิตศาสตร์ที่เรียบง่าย แต่มีความแม่นยํามากสําหรับขนาดพิกเซลสะท้อนแสง รุ่นนี้รวมถึงปัจจัยเช่นความละเอียดของกล้องและระยะทางหน้าจอกระจกและช่วยให้สามารถคาดการณ์ขีด จํากัด ของการมองเห็นเว็บแคมตามเทคโนโลยีกล้องและวิดีโอพัฒนาได้ ด้วยการใช้ตัวเลขความคล้ายคลึงกันของโครงสร้างคลื่นที่ซับซ้อนเป็นเมตริกวัตถุประสงค์สําหรับการรับรู้การสะท้อนแสงเรายังให้การวิเคราะห์ครึ่งปริมาณสําหรับปัจจัยทางกายภาพอื่น ๆ รวมถึงความเข้มของแสงในสภาพแวดล้อมที่มีผลต่ออัตราส่วนสัญญาณต่อเสียงรบกวนของสะท้อนแสง เพื่อตอบคําถามที่ 2 เราวิเคราะห์ความผิดปกติในภาพเว็บแคมและเสนอการสร้างซูเปอร์ความละเอียดหลายเฟรมเพื่อเพิ่มภาพที่มีประสิทธิภาพเพื่อขยายขีด จํากัด จากนั้นเราเก็บรวบรวมข้อมูลการสะท้อนแสงของแว่นตาในสภาพแวดล้อมห้องปฏิบัติการที่เพิ่มประสิทธิภาพและประเมินขีด จํากัด ของความสามารถในการรับรู้ของภาพสะท้อนผ่านทั้งพนักงาน crowdsourcing บน Amazon Mechanical Turk และรุ่นการรับรู้ตัวอักษรแบบออฟติคัล การประเมินผลแสดงให้เห็นถึงความแม่นยํามากกว่า 75% ในการรับรู้ข้อความที่มีความสูงทางกายภาพ 10 มม. ด้วยเว็บแคม 720p เพื่อตอบคําถามที่ 3 เรามุ่งเน้นไปที่เป้าหมายข้อความเว็บเพื่อสร้าง benchmark ที่ช่วยให้การเปรียบเทียบที่มีความหมายระหว่างภัยคุกคามการมองเห็นเว็บแคมในปัจจุบันและในอนาคต ครั้งแรกเราจะทําแผนที่ขีด จํากัด ที่มาจากรูปแบบและการประเมินเนื้อหาข้อความเว็บโดยการสํารวจรายงานก่อนหน้านี้เกี่ยวกับขนาดข้อความเว็บและตรวจสอบตัวอักษรด้วยตนเองใน 117 เว็บไซต์อักษรขนาดใหญ่ 4K จากนั้นเราจะดําเนินการการศึกษาผู้ใช้กับผู้เข้าร่วม 20 และเล่นเกมการตอบสนองความท้าทายที่ผู้เขียนหนึ่งทําหน้าที่เป็นคู่แข่งในการสรุปเนื้อหา HTML ที่สร้างขึ้นโดยผู้เขียนคนอื่น ผลการวิจัยของผู้ใช้แสดงให้เห็นว่าเว็บแคม 720p ในปัจจุบันสามารถมองเห็นข้อความใน 117 เว็บไซต์อักษรขนาดใหญ่และเว็บแคม 4K ในอนาคตได้รับการคาดการณ์ว่าจะวาง สุดท้ายเราจะหารือเกี่ยวกับการบรรเทาความสามารถในระยะสั้นรวมถึงการปรับแสงสว่างในสิ่งแวดล้อมและการปิดผนึกพื้นที่กระจกในซอฟต์แวร์ นอกจากนี้เรายังมีแนวโน้มที่จะมีโซลูชั่นในระยะยาวตามขั้นตอนการประเมินการสะท้อนแบบแต่ละบุคคลและหลักการของสิทธิพิเศษน้อยที่สุด โดยสรุปแล้ววัตถุประสงค์ของงานนี้คือการให้พื้นฐานทางทฤษฎีและมาตรฐานสําหรับการศึกษาของภัยคุกคามการมองเห็นเว็บแคมที่เกิดขึ้นพร้อมกับเทคโนโลยีเว็บแคมที่พัฒนาขึ้นและการพัฒนาโครงสร้างพื้นฐานการประชุมวิดีโอที่ปลอดภัยขึ้น เราสรุปส่วนร่วมหลักของเรา: ∙ งานของเรามีปริมาณขีด จํากัด และปัจจัยหลักที่คาดการณ์ถึงระดับของการรั่วไหลของข้อมูลจากการดูเว็บแคมโดยใช้การจําลองทางทฤษฎีและการทดลอง คุณสมบัตินี้ช่วยให้คาดการณ์ความเสี่ยงที่ไม่รู้จักในอนาคตที่เกี่ยวข้องกับขีด จํากัด ของเทคโนโลยีเว็บแคมที่พัฒนาขึ้นที่ยังไม่ได้มีอยู่ ∙ มาตรฐานที่มุ่งเน้นไปที่เป้าหมายข้อความเว็บที่ช่วยให้การเปรียบเทียบภัยคุกคามการมองเห็นเว็บแคม วิธีการวัดการเปรียบเทียบของเราขึ้นอยู่กับแนวโน้มการออกแบบข้อความเว็บและการศึกษาผู้ใช้ 20 ผู้เข้าร่วมเกี่ยวกับกล้องปัจจุบันเพื่อให้สามารถนําไปใช้กับกล้อง hypothetical และ emerging ในปีที่มา ∙ การวิเคราะห์การบรรเทาความเสี่ยงในระยะสั้นรวมถึงการใช้ตัวกรองการสับสนบนพื้นฐานของซอฟต์แวร์และการเปลี่ยนแปลงการตั้งค่าทางกายภาพเช่นเดียวกับการป้องกันในระยะยาวที่เป็นไปได้โดยการทดสอบอย่างมีนัยสําคัญและปฏิบัติตามหลักการของสิทธิพิเศษน้อยที่สุด การวิเคราะห์ของเราตรวจสอบประสิทธิภาพที่อาจเกิดขึ้นและการใช้วิธีการของการป้องกันที่แตกต่างกัน กระดาษนี้สามารถใช้ได้ภายใต้ใบอนุญาต ATTRIBUTION-NONCOMMERCIAL-NODERIVS 4.0 INTERNATIONAL กระดาษนี้สามารถใช้ได้ภายใต้ใบอนุญาต ATTRIBUTION-NONCOMMERCIAL-NODERIVS 4.0 INTERNATIONAL สามารถใช้ได้ใน Archives