
 
 
 
 
 
 
 
 Forfattere af: (1) Yan Long, elektroteknik og datalogi, University of Michigan, Ann Arbor, USA (yanlong@umich.edu); (2) Chen Yan, College of Electrical Engineering, Zhejiang University, Hangzhou, Kina (yanchen@zju.edu.cn); (3) Shilin Xiao, College of Electrical Engineering, Zhejiang University, Hangzhou, Kina (bixilin@zju.edu.cn); (4) Shivan Prasad, elektroteknik og datalogi, University of Michigan, Ann Arbor, USA (shprasad@umich.edu); (5) Wenyuan Xu, College of Electrical Engineering, Zhejiang University, Hangzhou, Kina (wyxu@zju.edu.cn); (6) Kevin Fu, elektroteknik og datalogi, University of Michigan, Ann Arbor, USA (kevinfu@umich.edu). Authors: (1) Yan Long, elektroteknik og datalogi, University of Michigan, Ann Arbor, USA (yanlong@umich.edu); (2) Chen Yan, College of Electrical Engineering, Zhejiang University, Hangzhou, Kina (yanchen@zju.edu.cn); (3) Shilin Xiao, College of Electrical Engineering, Zhejiang University, Hangzhou, Kina (bixilin@zju.edu.cn); (4) Shivan Prasad, elektroteknik og datalogi, University of Michigan, Ann Arbor, USA (shprasad@umich.edu); (5) Wenyuan Xu, College of Electrical Engineering, Zhejiang University, Hangzhou, Kina (wyxu@zju.edu.cn); (6) Kevin Fu, elektroteknik og datalogi, University of Michigan, Ann Arbor, USA (kevinfu@umich.edu). Bord til venstre Abstrakt og I. Introduktion Trusselsmodel og baggrund Webkameraet kigger gennem briller IV. Reflektionsgenkendelighed og faktorer V. Cyberspace Tekstuel Målfølsomhed VI. Anerkendelse af hjemmesiden VII. Diskussion VIII. Relateret arbejde IX. Konklusion, anerkendelse og referencer Bilag A: Oplysninger om udstyr Bilag B: Visning af vinkelmodel Bilag C: Videokonferenceplatforms adfærd Bilag D: Forvrængningsanalyse Bilag E: Webtekstmæssige mål —Personal video conferencing has become a new norm after COVID-19 caused a seismic shift from in-person meetings and phone calls to video conferencing for daily communications and sensitive business. Video leaks participants’ on-screen information because eyeglasses and other reflective objects unwittingly expose partial screen contents. Using mathematical modeling and human subjects experiments, this research explores the extent to which emerging webcams might leak recognizable textual and graphical information gleaming from eyeglass reflections captured by webcams. The primary goal of our work is to measure, compute, and predict the factors, limits, and thresholds of recognizability as webcam technology evolves in the future. Our work explores and characterizes the viable threat models based on optical attacks using multi-frame super resolution techniques on sequences of video frames. Our models and experimental results in a controlled lab setting show it is possible to reconstruct and recognize with over 75% accuracy on-screen texts that have heights as small as 10 mm with a 720p webcam. We further apply this threat model to web textual contents with varying attacker capabilities to find thresholds at which text becomes recognizable. Our user study with 20 participants suggests present-day 720p webcams are sufficient for adversaries to reconstruct textual content on big-font websites. Our models further show that the evolution towards 4K cameras will tip the threshold of text leakage to reconstruction of most header texts on popular websites. Besides textual targets, a case study on recognizing a closed-world dataset of Alexa top 100 websites with 720p webcams shows a maximum recognition accuracy of 94% with 10 participants even without using machine-learning models. Our research proposes near-term mitigations including a software prototype that users can use to blur the eyeglass areas of their video streams. For possible long-term defenses, we advocate an individual reflection testing procedure to assess threats under various settings, and justify the importance of following the principle of least privilege for privacy-sensitive scenarios. Abstract Abstrakte I. Introduktion Online videoopkald er blevet allestedsnærværende som en fjernkommunikationsmetode, især siden den seneste COVID19 pandemi, der forårsagede næsten universelle arbejds-fra-hjem-politikker i store lande [24], [27], [31] og gjorde videokonferencer til en norm for virksomheder og skoler til at imødekomme interpersonel kommunikation selv efter pandemien [6], [15], [43], [51]. Mens videokonferencer giver folk bekvemmelighed og nedsænkning af visuelle interaktioner, afslører de ubevidst følsomme tekstoplysninger, der kan udnyttes af en ondsindet part, der fungerer som deltager. deltagerens skærm kunne indeholde private oplysninger. Deltagerens eget webcam kunne fange disse oplysninger, når det afspejles af deltagerens briller og ubevidst give oplysningerne til modstanderen (figur 1). Vi henviser til dette angreb som et webcam peeking angreb. Desuden vil modstanderens evner kun fortsætte med at stige med forbedringer til opløsning, frame rate og mere. Tidligere arbejde viser, at lignende angreb, der udnytter optisk refleksion fra nærliggende objekter i kontrollerede opsætninger, er mulige, såsom observation af teapots på et skrivebord med high-end digitale single-lens reflex (DSLR) kameraer og teleskoper på afstand [25], [26]. Udfordringen og karakteriseringen af peeking ved hjælp af de mere ubiquitous webcams er imidlertid kvalitativt forskellige på grund af de lavere kvalitetsbilleder af nutidens webcams. De lavere kvalitets webcam-billeder er forårsaget af unikke typer af forvrængninger, nemlig skud og ISO-støj på grund af utilstrækkelig lysmodtagelse og opfordring til nye billedforstærkende teknikker. Derudover er der behov for nye matematiske modeller og analyserammer for Der er mange typer medier, der kan lække over optiske refleksioner, herunder tekst og grafik. Vi fokuserer på tekstlekning i dette arbejde, da det er et naturligt udgangspunkt for målbar genkendelighed og modellering af den grundlæggende baseline for informationslekning, men også giver indsigt i lækagen af ikke-tekstbaserede oplysninger som f.eks. at udlede vist websteder ved at genkende grafisk indhold på skærmen. Vi søger at besvare følgende tre hovedspørgsmål: Q1: Hvad er de primære faktorer, der påvirker modstanderens evne til at se på webcam? Q2: Hvad er de fysiske grænser for modstanderens evne i dag og i den forudsigelige fremtid, og hvordan kan modstandere muligvis udvide grænserne? Q3: Hvad er de tilsvarende trusler ved at se på webcam mod For at svare på Q1 foreslår vi en forenklet, men rimeligt nøjagtig matematisk model for afspejlingspixelstørrelse. Modellen omfatter faktorer som kameraopløsning og glas-skærm afstand og muliggør forudsigelse af webcam peeking grænser som kamera og video teknologi udvikler.Ved at bruge den komplekse bølge strukturel lighed indeks som en objektiv metrik for afspejling genkendelighed, giver vi også semi-kvantitativ analyse for andre fysiske faktorer, herunder omgivende lysintensitet, der påvirker signal-til-støj-forholdet af refleksioner. For at besvare Q2 analyserer vi forvrængningerne i webcam-billederne og foreslår multi-frame super-opløsningsrekonstruktion for effektiv billedforstærkning for at udvide grænserne. Vi indsamler derefter brillerefleksdata i optimerede laboratoriemiljøer og evaluerer genkendelighedsgrænserne for refleksionerne gennem både crowdsourcingarbejdere på Amazon Mechanical Turk og optiske tegngenkendelsesmodeller. For at besvare Q3 fokuserer vi på webtekstmål for at opbygge et benchmark, der muliggør meningsfulde sammenligninger mellem nutidige og fremtidige webcam-peeking-trusler. Vi kortlægger først de grænser, der stammer fra modellen og evalueringer til webtekstindhold ved at undersøge tidligere rapporter om webtekststststørrelse og manuelt inspicere skrifttyper på 117 websteder med store skrifttyper. Derefter udfører vi en brugerundersøgelse med 20 deltagere og spiller et udfordringsresponsspil, hvor en forfatter fungerer som en modstander for at konkludere HTML-indhold skabt af andre forfattere. Resultater fra brugerundersøgelsen tyder på, at nutidige 720p-webcams kan peek tekst på de 117 websteder med store skriftty Endelig diskuterer vi mulige kortsigtede begrænsninger, herunder justering af miljøbelysning og formørkelse af glasområdet i softwaren. Vi forestiller os også langsigtede løsninger efter en individuel refleksionsvurderingsprocedure og et princip om mindst privilegier. Sammenfattende er målet med dette arbejde at give et teoretisk grundlag og benchmark til undersøgelsen af nye webcam peeking trusler med udviklende webcam teknologier og udviklingen af sikrere videokonferenceinfrastrukturer. Vores arbejde kvantificerer de grænser og primære faktorer, der forudsiger graden af informationslækage fra webcam peeking ved hjælp af teoretisk modellering og eksperimentering. Denne karakterisering hjælper med at forudsige fremtidige ukendte sårbarheder knyttet til grænserne for udviklende webcam teknologier, der endnu ikke eksisterer. Vores benchmarking-metode bygger på webtekstdesignkonventioner og en 20-deltagerbrugerundersøgelse på nutidens kameraer, så benchmark kan anvendes til både hypotetiske og nye kameraer i de kommende år. ∙ Analyse af kortsigtede begrænsninger, herunder anvendelse af softwarebaserede blurringfiltre og ændring af fysiske opsætninger samt mulige langsigtede forsvar ved proaktiv testning og efter princippet om mindste privilegier. 
 
 Denne artikel er tilgængelig på arkiv under ATTRIBUTION-NONCOMMERCIAL-NODERIVS 4.0 INTERNATIONAL licens. Denne artikel er tilgængelig på arkiv under ATTRIBUTION-NONCOMMERCIAL-NODERIVS 4.0 INTERNATIONAL licens. Tilgængelig i arkivet

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

undefined's blog

Denne lyd er produceret på historiens originalsprog!

For langt; At læse

Boost your HackerNoon story @ $159.99! 🚀

Dine briller kan spille følsomme hemmeligheder på videoopkald

About Author

KOMMENTARER

HÆNG TAGS

DENNE ARTIKEL BLEV PRÆsenterET I

Related Stories

Meet Tailscale: HackerNoon Company of the Week

Meet inDrive: The HackerNoon Company of the Week

Meet Octopus Network: HackerNoon Company of the Week

Meet Tailscale: HackerNoon Company of the Week

Meet inDrive: The HackerNoon Company of the Week

Meet Octopus Network: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps