Poznámky inžiniera obrazu, časť 4: Hĺbková analýza technológie ISP

Surové dáta zachytené obrazovými snímačmi sú v podstate len studenými digitálnymi signálmi.Ak chcete tieto dáta premeniť na živé fotografie, ktoré vidíme na obrazovkách, musia prejsť zložitým procesom - Internetový poskytovateľ pôsobí ako digitálna „temná miestnosť“, ktorá dokončí desiatky algoritmických procesov vo veľmi krátkom čase.Tento článok vezme čitateľov do tejto čiernej škatuľky, aby preskúmali magickú cestu od surových dát senzorov k krásnym obrázkom. Image Signal Processor (ISP) Hĺbková analýza kľúčových krokov ISP Typický procesný potrubie ISP je vysoko sekvenčný proces, kde výstup každej fázy slúži ako vstup pre ďalšiu.Diagram nižšie ilustruje úplný tok zo surových dát senzorov do konečného výstupu obrazu, po ktorom nasleduje hĺbková analýza každého kroku. INPUT (Základné údaje RAW) Počiatočným bodom spracovania obrazu sú surové údaje zachytené snímačom. Ako je znázornené v bloku rozsahov Bayer v diagrame, tieto údaje sú zvyčajne usporiadané v vzorci Bayer, kde sú červené, zelené a modré filtre prepojené. Korekcia čiernej úrovne Ako ukazuje posun histogramu v diagrame, tento krok sa zameriava na korekciu východiskovej kompenzácie generovanej snímačom za úplne tmavých podmienok, čím sa zabezpečí, že "čierna" v obraze sa skutočne stane nulou, čím sa zvýši kontrast. Základným princípom je, že fotosenzitívne komponenty, kvôli fyzikálnym faktorom, ako je tmavý prúd, produkujú non-nulové hodnoty napätia aj v neprítomnosti svetla. Implementácia: Okraje snímača zvyčajne obsahujú „optické čierne pixely“, ktoré sú fyzicky chránené pred svetlom. ISP číta priemernú hodnotu týchto pixelov ako referenčný offset a odpočíta túto hodnotu od všetkých pixelových hodnôt v celom obraze. Inžinierske výzvy: Čierna úroveň sa mení s teplotou a ziskom, čo si vyžaduje dynamické kompenzačné mechanizmy. Tuning a Trade-offs: Hlavným parametrom je Offset.Ak je offset príliš vysoký, tmavé detaily budú rezané, čo povedie k "rozdrveným čiernym"; ak je príliš nízka, tmavé oblasti sa objavia sivé, čo vedie k zníženiu celkového kontrastu. DPC (Defect Pixel Correction – korekcia chybných pixelov) Ako ukazujú kontrolované štvorce nahrádzajúce červené kríže v diagrame, úlohou tohto kroku je identifikovať a opraviť chybné pixely na snímači (ako sú trvalo jasné pixely alebo nereagujúce tmavé pixely) spôsobené výrobnými chybami alebo starnutím. Implementácia: Rozdelená na „statickú korekciu“ (skenovanie a zaznamenávanie chybných pixelových súradníc v továrni) a „dynamickú korekciu“ (detekcia pixelov s významnými rozdielmi od ich susedov prostredníctvom algoritmov). Inžinierske výzvy: Vyžaduje presné rozlíšenie medzi „pravdivými vysokofrekvenčnými detailmi“ a „chybnými pixelmi“, aby sa zabránilo chybnému rozmazaniu obrazu. Tuning a kompromis: Kľúčovým parametrom je prahová hodnota. prahová hodnota, ktorá je príliš nízka, omylom identifikuje vysokofrekvenčné detaily (napríklad text, textúry) v obraze ako chybné pixely, čo spôsobuje rozmazanie; prahová hodnota, ktorá je príliš vysoká, nebude schopná účinne detegovať a opraviť skutočné chybné pixely. LSC (Lens Shading Correction – korekcia odtieňa šošoviek) Ako ilustruje porovnanie pred a po krajinných fotografiách, cieľom tohto kroku je kompenzovať oslabenie jasu (vignetting) a potenciálne zmeny farieb na okrajoch obrazu spôsobené optickými vlastnosťami šošovky, čím sa zabezpečí jednotnejšia jasnosť a rozloženie farieb po celom ráme. Ide o prirodzenú fyzikálnu vlastnosť optických systémov, ktorá sa vzťahuje na prirodzené oslabenie intenzity svetla od stredu k okraju šošovky, ktoré je úmerné štvrtej sile kozínu incidentného uhla. Cos⁴ Falloff: Príčinou je fyzická obštrukcia svetla na okrajoch vnútornými štruktúrami šošoviek (napríklad otvory, barel šošoviek). Mechanical Vignetting: Mikroskopy na snímači sú navrhnuté tak, aby prijímať svetlo v špecifických uhloch. Keď uhol hlavného lúča (CRA) svetla vychádzajúceho z šošovky nezodpovedá optimálnemu uhla prijímania mikroskopov, vedie to k zníženiu efektívnosti zhromažďovania svetla okrajových pixelov. CRA Mismatch (Chief Ray Angle Mismatch): Tieto faktory spoločne vedú k jasu a oslabeniu farieb na okrajoch obrazu a cieľom LSC je presne kompenzovať tieto účinky. Implementácia: ISP predkladá mapu korekčného zisku.Existujú dve hlavné metódy implementácie: 1.Radius-based: Predpokladá, že vignetting je radiálne symetrický okolo optického centra, kde hodnota zisku je funkciou vzdialenosti pixelu od stredu. 2.Grid-based: Rozdeľuje obraz na mriežku, ukladá hodnoty pre každý vrchol mriežky a potom interpoluje na výpočet presnej kompenzačnej hodnoty pre každý pixel. Inžinierske výzvy: Farebné posuny sa líšia pod rôznymi zdrojmi svetla, čo si vyžaduje prepínanie medzi viacerými súbormi parametrov. Tuning a Trade-offs: Základným parametrom je Gain Strength. Ak je pevnosť príliš nízka, vignetting nemôže byť plne kompenzovaný a obraz zostáva nerovnomerný; ak je príliš vysoký, zvýši jas okraja a súčasne zosilní hluk v tejto oblasti, čo vedie k zníženiu výnosov. 5. biela rovnováha Nastavenie barovej teploty farieb v diagrame intuitívne demonštruje základnú funkciu vyváženia bielej: nastavenie proporcií červených, zelených a modrých primárov v obraze podľa farebnej teploty svetelného zdroja scény, čím sa zabezpečí, že biele objekty sa na obraze objavia neutrálne biele. Princíp spočíva v tom, že rôzne svetelné zdroje (ako je 2800K volfrámové svetlo a 6500K denné svetlo) majú rôzne spektrálne rozdelenia. Common algorithms include "Gray World Assumption" and "Perfect Reflector." The core is to calculate R gain and B gain (usually based on G) and apply them to the entire image. In recent years, machine learning (ML) techniques, especially Convolutional Neural Networks (CNNs), have also been widely applied to white balance. Through training on large amounts of image data, ML models can more accurately estimate color temperatures in complex or mixed lighting environments and perform scene classification, thereby achieving smarter and more human-perceptual white balance effects. Implementation: Mixed light sources, lack of white reference objects, and color preferences are the main challenges faced by white balance. Engineering Challenges: The main parameters are R/G Gain and B/G Gain. If R/G Gain is too high, the image will appear reddish and warm; if B/G Gain is too high, the image will appear bluish and cool. Precise matching is required to restore neutral colors in the scene. Tuning and Trade-offs: Poznámka: Podrobné informácie o vyvážení bielej farby nájdete v časti „Poznámky inžiniera obrazu č. 3: Automatická expozícia, vyváženie bielej farby, automatické zaostrovanie – odhaľovanie algoritmov 3A „rozhodovacej inteligencie“ fotoaparátu“. Poznámka: Podrobné informácie o vyvážení bielej farby nájdete v časti „Poznámky inžiniera obrazu č. 3: Automatická expozícia, vyváženie bielej farby, automatické zaostrovanie – odhaľovanie algoritmov 3A „rozhodovacej inteligencie“ fotoaparátu“. 6. demonštrácia Ako je znázornené na diagrame, tento krok rekonštruuje monochromatické surové dáta vo formáte Bayer do plnofarebného obrazu RGB, kde každý pixel obsahuje kompletné informácie o červenej, zelenej a modrej farbe.Keďže každý pixel vo formáte Bayer obsahuje iba informácie o jednej farbe, základom demosaikingu je využiť priestorovú koreláciu, odvolávať sa na okolité pixely, aby "odhadli" chýbajúce informácie o farbe pre každý pixel. Implementácia: Rozsah od jednoduchého "bilineárnej interpolácie" až po komplexné "kraj smerované interpolácie" (ktorá najprv detekuje miestne okrajové smery a interpoluje pozdĺž týchto smerov na zachovanie ostrosti okraja a zníženie falošných farieb). Inžinierske výzvy: náchylný k generovaniu moiré vzorov a efektov zipsov pri spracovaní vysokofrekvenčných pruhov. Tuning a kompromis: Hlavnými parametrami sú hraničný prah a potlačenie falošných farieb. hraničný prah, ktorý je príliš nízky, omylom identifikuje hluk ako okraje, čo vytvára chybné textúry; falošné potlačenie farieb, ktoré je príliš vysoké, môže eliminovať normálne farebné detaily, čo vedie k nenasýteným farbám. CCM (Matrix na korekciu farieb) Porovnanie pred a po farebných blokov v diagrame ilustruje úlohu CCM: konverzia farebného priestoru zachyteného snímačom do štandardného farebného priestoru (ako je sRGB), ktorý je konzistentnejší s ľudským videním, aby sa presne prispôsobila saturácia farieb a odtieň. Implementácia: Vezme červené, zelené a modré primárne hodnoty čítané snímačom a po sérii vážených výpočtov ich prepíše do cieľového farebného priestoru. Inžinierske výzvy: Nelineárna reakcia, krížová kontaminácia farieb a zosilňovanie hluku sú hlavnými výzvami, ktorým čelí CCM. Tuning a Trade-offs: Podstatou CCM tuning je nastaviť 3x3 transformácie matice. Diagonálne prvky v matice predovšetkým ovládať zisk každého farebného kanála, ovplyvňujúce celkovú saturáciu a rovnováhu jasu obrazu; off-diagonálne prvky sú zodpovedné za krížovú kompenzáciu medzi farbami, používané na korekciu farebných odtieňov a nastavenie odtieňov. Presné nastavenie týchto matice koeficientov vyžaduje vyváženie snahy o živé farby, presnú reprodukciu tónu pleti a potlačenie zosilnenia hluku. Napríklad nadmerné zvýšenie saturácie môže viesť k farebnému strihanie v oblastiach zvýraznenia, zatiaľ čo nesprávne krížová kompenzácia môže sp Gamma korekcia Vstupná a výstupná krivka v diagrame jasne vysvetľuje proces gama korekcie: aplikácia nelineárnej krivky na úpravu hodnôt jasu obrazu.Základom je, že ľudské vnímanie jasu je logaritmické (citlivé na zmeny v tmavých oblastiach), zatiaľ čo výstup snímača je lineárny. Implementácia: Táto krivka rozťahuje tmavšie oblasti obrazu, aby boli detaily viditeľnejšie, pričom stláča jasnejšie oblasti, aby sa zabránilo nadmernej expozícii, čím sa prechody z svetla do tmy a vrstvenie konečného obrazu viac zhodujú s ľudským vizuálnym vnímaním. Inžinierske výzvy: Nadmerné natiahnutie tmavých oblastí výrazne zosilňuje hluk; súčasne nesprávne zaobchádzanie s jasnými detailmi môže viesť k zdôrazňovaniu strihania alebo farebného pásu, čo spôsobuje, že vysoko osvetlené oblasti ako obloha a svetlá strácajú svoj zmysel pre hĺbku. Nastavenie a prepínanie: Hlavným parametrom je tvar krivky. Ostrší sklon krivky zvyšuje kontrast obrazu, ale môže stratiť detaily v jasných a tmavých oblastiach; jemnejší sklon môže obohatiť vrstvenie, ale môže spôsobiť, že obraz sa zdá byť plochý. 9. zníženie hluku Ako ilustruje porovnanie pred a po obrazu ľudskej tváre, zníženie hluku je zamerané na odstránenie náhodného hluku spôsobeného nízkym svetlom a vysokou citlivosťou ISO, čím sa zlepšuje čistota obrazu. Implementácia: Zníženie hluku je hlavne rozdelené na priestorové zníženie hluku (2DNR) a časové zníženie hluku (3DNR). V praktických potrubiach ISP, farebný formát pre spracovanie nie je jedinou pevnou odpoveďou, ale závisí od umiestnenia produktu (napr. mobilné telefóny, webkamery, automobily), výkonového rozpočtu a stratégie kvality obrazu. 2DNR (Spatial NR) - What Color Format is Typically Used? Common Position 1: Bayer Domain (Raw Domain) Raw Bayer (RGrGbB) Processing Format: Before Demosaic Timing: Can directly model sensor read noise and shot noise; not affected by demosaic interpolation; best SNR Advantages: improvement. Algorithm design is more complex (needs to consider CFA pattern); commonly found in high-quality ISPs Disadvantages: (e.g., mobile phones, automotive). Common Position 2: YUV Domain (Luma & Chroma Separate Processing) : YUV (can process Luma Y and Chroma UV separately) Processing Format After Demosaic + CCM Timing: Lower computational load; can separate Luma and Chroma noise for targeted processing. Luma Denoise Advantages: focuses on preserving details, while Chroma Denoise can use stronger filtering to eliminate large color blotches. Noise has already been amplified or mixed by demosaic; excessive Chroma Denoise strength may lead to Disadvantages: color bleeding; commonly found in webcams or low-power ISPs. 3DNR (Temporal NR) - What Color Format is Typically Used? Common Position: Almost exclusively in the YUV Domain YUV (mostly performs motion detection on Luma Y + temporal filtering) Processing Format: After 2DNR Timing: Motion detection is most stable on the Luma Y channel; the human eye is most sensitive to brightness changes; Reasons: lower memory and computational load. Why is 3DNR rarely done in the RAW Domain? RAW data has not undergone color correction, making cross-frame Theoretically possible, but practically challenging: alignment difficult; motion estimation on a Bayer pattern is complex; high memory bandwidth requirements. Some high-end mobile phone ISPs may perform RAW Temporal NR, or consider HDR multi-frame merge as a form of RAW 3DNR. High-end Applications: Inžinierske výzvy: večná vojna medzi silou znižovania hluku a zachovaním textúry. Tuning a výmena: Hlavnými parametrami sú sila (pevnosť znižovania hluku) a prahová hodnota pohybu (pre 3DNR). Nadmerná sila robí obraz čistým, ale vážne stráca detaily, ako je textúra kože, čo vytvára "plastový" vzhľad. Pre 3DNR je tiež dôležité nastavenie prahovej hodnoty pohybu; príliš nízka hodnota znižuje účinok znižovania hluku, zatiaľ čo príliš vysoká hodnota môže spôsobiť duchovanie alebo sledovanie artefaktov na pohyblivých objektoch. Konverzia farebného priestoru Konverzia medzi farebnými sférami RGB a YUV v diagrame ilustruje funkciu tohto kroku: konverzia obrazu formátu RGB na iné farebné priestory, najčastejšie formát YUV. Účelom je následná kompresia (ako JPEG/H.264) a prenos, prevedením obrazu do priestoru, ktorý oddeľuje jasnosť (Y) a chrominanciu (U/V). Keďže ľudské oko je oveľa citlivejšie na jasnosť ako na chrominanciu, v praxi môže byť U/V vzorkovaný (napr. na 4:2:0), aby sa ušetrila šírka pásma bez významného ovplyvnenia subjektívnej kvality obrazu. The main parameter is Chroma Subsampling format. The 4:4:4 format provides the highest color fidelity but has the largest bandwidth and storage requirements; 4:2:2 or 4:2:0 formats save bandwidth by reducing chrominance resolution, with minimal impact on human visual perception, but may produce slight aliasing at color edges in extreme cases. Tuning and Trade-offs: 11. škrípanie Ako je znázornené v porovnaní pred a po obraze ľudskej tváre, zaostrenie má za cieľ zvýšiť kontrast okrajov objektov v obraze na kompenzáciu rozmazania spôsobeného optickým systémom a digitálnym spracovaním, čím sa zobrazia detaily obrazu jasnejšie. Oversharpening produces white edges (Halo Artifacts). Engineering Challenges: The main parameter is Strength (sharpening strength). If the strength is too low, the image will appear blurry; if too high, it will produce noticeable white edges and amplify noise, making the image look unnatural. Tuning and Trade-offs: Výsledky (záverečný obrázok) Ako je znázornené v záverečnej krajinnej fotografii, po všetkých vyššie uvedených krokoch spracovania sa pôvodné RAW údaje nakoniec transformujú na vysoko kvalitný obraz pripravený na zobrazenie, ukladanie alebo ďalšie použitie. Praktické perspektívy priemyslu: hlboké poznatky od inžinierov obrazu Nastavenie ISP nie je nikdy len jednoduchým vedeckým vzorcom, ale umením hľadať optimálne riešenie medzi fyzickými obmedzeniami, algoritmickým výpočtovým výkonom a požiadavkami na aplikácie. Spotrebná elektronika: Konečné sledovanie senzácie Inžinieri investujú značné úsilie do algoritmov AI pre rozpoznávanie scény a skrášľovanie. Aby sa dosiahol vysoký dynamický rozsah na extrémne malých senzoroch, sú základom komplexné techniky mapovania tónov a syntézy viacerých snímok. Výzvou je dokončiť masívne výpočty vo veľmi krátkom čase a vytvoriť "blockbuster" fotografie, ktoré možno priamo zdieľať na sociálnych médiách. Video spolupráca: vyváženie tónov pokožky a životného prostredia pre , hlavná výzva spočíva v extrémnej zložitosti vnútorného osvetlenia (ako je zmes kancelárskych fluorescenčných svetiel a denného svetla okien). Zameranie tuningu pre inžinierov je na "reprodukciu tónu kože" a "stabilitu rovnováhy bielej." V rámci obmedzeného rozpočtu na napájanie je nevyhnutné zabezpečiť, aby ľudia vo videokonferenciách vyzerali profesionálne a prirodzene. PC platforms and video peripherals Automotive Imaging: Strážca životnej bezpečnosti V oblasti automobilového priemyslu už obrazy nie sú určené pre ľudské videnie, ale pre stroje (ADAS / autonómne algoritmy riadenia). Kľúčmi sú „extrémne vysoký dynamický rozsah (HDR)“ a „extrémne nízka latencia“. Inžinieri musia zabezpečiť, aby pri vstupe a odchode z tunelov alebo pri silnom spätnom osvetlení poskytovateľ internetových služieb mohol vytvárať obrazy s jasnými detailmi v milisekundách bez akýchkoľvek artefaktov, ktoré by mohli spôsobiť algoritmické nesprávne posúdenie. „Krása“ farieb tu nemá zmysel; „linearita“ a „spoľahlivosť“ údajov sú životnými líniami. Lekárske a priemyselné: Posledná skúška presnosti (ako sú endoskopy) vyžaduje maximálnu presnosť farieb, pretože mierne farebné odlievanie by mohlo ovplyvniť diagnózu lekára tkanivových lézií. , na druhej strane, sleduje absolútnu geometrickú presnosť a optickú linearitu.V týchto oblastiach inžinieri zvyčajne zakážu väčšinu funkcií "beautification", namiesto toho sa zameriavajú na opakovateľnosť a integritu údajov spracovania ISP. Medical imaging Industrial vision Bezpečnosť a dohľad: schopnosť rozpoznávania počasie Výzvy v sektore bezpečnosti sa točia okolo "extrémnych prostredí." inžinieri musia extrahovať funkcie dostatočné na identifikáciu tvárí alebo licenčných dosiek v extrémne nízkom osvetlení (dokonca aj v podmienkach hviezdneho svetla) prostredníctvom silného znižovania hluku a získania kontroly. Dronový priemysel: Konečná rovnováha leteckej perspektívy Inžinieri obrazu v Rôzne výzvy, prvé letecké lety sa často stretávajú s drastickým podsvietením a zemským kontrastom, čo vyžaduje, aby poskytovateľ služieb mal vynikajúce schopnosti spracovania HDR. ; ako vytvoriť stabilné obrazy bez jello efektov prostredníctvom ISP v kombinácii s gimbal stabilizácie a elektronickej stabilizácie obrazu (EIS) algoritmy počas vysokorýchlostného letu a telesných vibrácií. ; pre bezpečnosť letu FPV (First Person View) a riadenie v reálnom čase musí byť spracovanie ISP mimoriadne efektívne na zníženie latencie obrazu. Inžinieri musia hľadať optimálnu rovnováhu medzi kvalitou obrazu a výpočtovým výkonom v rámci obmedzenej životnosti batérie a tepelných podmienok, čím zabezpečujú kvalitu obrazu bez toho, aby obetovali čas letu a spoľahlivosť zariadení. drone industry extreme lighting variation high-speed motion compensation low-latency video transmission requirement lightweight design and power consumption balance Zhrnutie Od surových údajov spoločnosti Bayer zachytených snímačom až po konečný obraz bohatý na farby a detaily, cesta je magickou cestou vedenou poskytovateľom internetových služieb. Tento článok sa ponoril do dvanástich kľúčových krokov tejto cesty, od základných fyzických korekcií až po rekonštrukciu základných farieb a nakoniec optimalizáciu kvality obrazu. Nielenže sme analyzovali technické princípy a inžinierske výzvy každého kroku, ale tiež sme integrovali kompromisy nastavenia parametrov, odhaľujúc zložitosť nastavenia obrazu. Čo je dôležitejšie, analýzou praktických perspektív z rôznych priemyselných odvetví, ako je spotrebná elektronika, automobilové a lekárske, môžeme vidieť, že v nastavení ISP neexistuje absol záver Vynikajúci inžinier obrazu musí nielen zvládnuť každý matematický model v potrubí ISP, ale tiež hlboko pochopiť "potreby používateľa" za produktom.V digitálnej temnej miestnosti to, čo prispôsobujeme, nie sú len pixely a zisky, ale rôzne spôsoby, ako rôzne odvetvia interpretujú skutočný svet.Pochopenie týchto základných logík je kľúčom k nastaveniu dokonalého obrazu na križovatke technológií a umenia. Disclaimer Všetky obrázky v tomto článku slúžia výlučne na ilustráciu technických konceptov poskytovateľa a nepredstavujú žiadnu konkrétnu značku alebo produkt. → a je určený len pre všeobecnú technickú diskusiu a zdieľanie skúseností. nepredstavuje žiadne odborné rady alebo usmernenia.Čitatelia by mali posúdiť jeho uplatniteľnosť sami a sú zodpovední za akékoľvek kroky prijaté na základe obsahu tohto článku. Some images are AI-generated The content of this article is based on the author's years of practical experience in image engineering