Egy képmérnök megjegyzései, 4. rész: Az ISP Tech mélyreható elemzése

A képérzékelők által rögzített nyers adatok lényegében csak hideg digitális jelek. Ahhoz, hogy ezeket az adatokat a képernyőn látható élénk fényképekké alakítsuk át, összetett folyamaton kell átesniük – a Az ISP úgy működik, mint egy digitális "sötét szoba", amely nagyon rövid idő alatt több tucat algoritmikus folyamatot hajt végre.Ez a cikk elviszi az olvasókat ebbe a fekete dobozba, hogy felfedezzék a nyers érzékelőadatokból a gyönyörű képekbe való mágikus utazást. Image Signal Processor (ISP) Az ISP kulcsfontosságú lépéseinek mélyreható elemzése Egy tipikus ISP-feldolgozási csővezeték egy nagyon szekvenciális folyamat, ahol az egyes szakaszok kimenete a következő lépés bemenetét szolgálja.Az alábbi diagram a nyers érzékelőadatok teljes áramlását mutatja a végső kép kimenetre, majd minden egyes lépés alapos elemzését. • INPUT (RAW adatbázis) A képfeldolgozás kiindulópontja az érzékelő által rögzített nyers adatok. Amint a diagram Bayer array blokkjában látható, ezek az adatok általában Bayer mintában vannak elrendezve, ahol a piros, a zöld és a kék szűrők egymás között vannak. 2. Fekete szint korrekció Amint azt a diagramban a hisztogram elmozdulása jelzi, ennek a lépésnek az a célja, hogy korrigálja az érzékelő által teljesen sötét körülmények között generált kiindulási kompenzációt, biztosítva, hogy a képben lévő „fekete” valóban nulla legyen, ezáltal növelve a kontrasztot.Az alapelv az, hogy a fényérzékeny komponensek, a fizikai tényezők miatt, mint például a sötét áram, nem nulla feszültségértékeket adnak ki még fény hiányában is. Végrehajtás: Az érzékelő szélei általában „optikai fekete képpontokkal” rendelkeznek, amelyek fizikailag védettek a fénytől.Az ISP ezeknek a képpontoknak az átlagos értékét referenciaként elolvassa, és ezt az értéket levonja az egész kép valamennyi képpontértékétől. Mérnöki kihívások: A fekete szint a hőmérséklettel és a nyereséggel változik, ami dinamikus kompenzációs mechanizmusokat igényel. Tuning és Trade-off: A fő paraméter az Offset. Ha az offset túl magas, sötét részleteket vágnak le, ami "törött feketéket" eredményez; ha túl alacsony, a sötét területek szürke színűek lesznek, ami csökkenti az általános kontrasztot. DPC (Defect Pixel Correction – hibás képpontjavítás) Amint azt a diagramban a piros kereszteket helyettesítő ellenőrzött négyzetek mutatják, ennek a lépésnek az a feladata, hogy azonosítsa és javítsa az érzékelő hibás képpontjait (például az állandóan fényes képpontokat vagy a nem reagáló sötét képpontokat), amelyeket gyártási hibák vagy öregedés okoznak. Végrehajtás: A „statikus korrekció” (a hibás képpontkoordináták gyárban történő szkennelése és rögzítése) és a „dinamikus korrekció” (a szomszédoktól jelentős eltérésekkel rendelkező képpontok algoritmusokon keresztül történő felismerése). Mérnöki kihívások: Pontos megkülönböztetést igényel a „valódi nagyfrekvenciás részletek” és a „hibás képpontok” között a kép téves elmosódásának elkerülése érdekében. A túlságosan alacsony küszöb tévesen azonosítja a kép magas frekvenciájú részleteit (például szöveget, textúrákat) hibás képpontként, ami elmosódást okoz; a túlságosan magas küszöb nem képes hatékonyan észlelni és javítani az igazi hibás képpontokat. LSC (Lens Shading Correction – lencsék árnyékolásának korrekciója) Amint azt a tájképkép előtti és utáni összehasonlítás is szemlélteti, ennek a lépésnek az a célja, hogy kompenzálja a fényerő csökkenését (vignetting) és a kép szélén a objektív optikai jellemzői által okozott lehetséges színváltozásokat, biztosítva az egyenletesebb fényerőt és a színeloszlást az egész keretben. Ez az optikai rendszerek sajátos fizikai tulajdonsága, amely a fény intenzitásának természetes csökkenésére utal a középponttól a lencse széléig, arányosan az ütközési szög negyedik koszinjának erejével. Cos⁴ Falloff: A szélén lévő fény fizikai elzáródása a belső objektívszerkezetek által (például nyílászárók, lencse hordók). Mechanical Vignetting: Amikor a lencsét elhagyó fény fő sugárszöge (CRA) nem egyezik meg a mikrosugárzók optimális fogadási szögével, ez a szélpixelek fénygyűjtési hatékonyságának csökkenéséhez vezet. CRA Mismatch (Chief Ray Angle Mismatch): Ezek a tényezők együttesen a fényerő és a színek csökkenéséhez vezetnek a kép szélén, és az LSC célja, hogy pontosan kompenzálja ezeket a hatásokat. Végrehajtás: Az ISP előkészíti a korrekciós nyereménytérképet. Két fő végrehajtási módszer létezik: 1. Rádium alapú: feltételezi, hogy a vignetting radiálisan szimmetrikus az optikai központ körül, ahol a nyeremény értéke a pixel központtól való távolságának függvénye. 2. Rács alapú: A képet rácsra osztja, minden rács csúcsára értékeket tárol, majd interpolálja, hogy kiszámítsa az egyes pixelek pontos kompenzációs értékét. Mérnöki kihívások: A színváltozások különböző fényforrások alatt változnak, és több paraméterkészletet igényelnek a váltáshoz. Ha az erő túl alacsony, a vignett nem lehet teljes mértékben kompenzálni, és a kép egyenetlen marad; ha túl magas, akkor túl erősíti az élvilágosságot, és egyidejűleg erősíti a zajt ezen a területen, ami csökkenő hozamokat eredményez. 5. Fehér egyensúly A diagram színhőmérsékleti sávjának beállítása intuitív módon bemutatja a fehér egyensúly alapvető funkcióját: a kép piros, zöld és kék elsődleges elemeinek arányát a jelenet fényforrásának színhőmérsékletének megfelelően állítja be, biztosítva, hogy a fehér tárgyak semleges fehérnek tűnjenek a képen.Az elv az, hogy a különböző fényforrásoknak (például 2800K-os volfrámfénynek és 6500K-os napfénynek) különböző spektrális eloszlása van. Common algorithms include "Gray World Assumption" and "Perfect Reflector." The core is to calculate R gain and B gain (usually based on G) and apply them to the entire image. In recent years, machine learning (ML) techniques, especially Convolutional Neural Networks (CNNs), have also been widely applied to white balance. Through training on large amounts of image data, ML models can more accurately estimate color temperatures in complex or mixed lighting environments and perform scene classification, thereby achieving smarter and more human-perceptual white balance effects. Implementation: Mixed light sources, lack of white reference objects, and color preferences are the main challenges faced by white balance. Engineering Challenges: The main parameters are R/G Gain and B/G Gain. If R/G Gain is too high, the image will appear reddish and warm; if B/G Gain is too high, the image will appear bluish and cool. Precise matching is required to restore neutral colors in the scene. Tuning and Trade-offs: Megjegyzés: A fehéregyensúlyra vonatkozó részletes információkért olvassa el a "Image Engineer's Notes #3: Auto Exposure, White Balance, Auto Focus ‒ Demystifying the Camera's 'Decision Intelligence' 3A Algorithms" című részt. Megjegyzés: A fehéregyensúlyra vonatkozó részletes információkért olvassa el a "Image Engineer's Notes #3: Auto Exposure, White Balance, Auto Focus ‒ Demystifying the Camera's 'Decision Intelligence' 3A Algorithms" című részt. 6. Demokrácia Amint az a diagramban látható, ez a lépés a Bayer formátumú monokromatikus nyers adatokat egy teljes színű RGB képre rekonstruálja, ahol minden képpont teljes piros, zöld és kék színinformációt tartalmaz.Mivel a Bayer formátumban minden képpont csak egy színű információt tartalmaz, a demosaicing lényege a térbeli korreláció felhasználása, a környező képpontok hivatkozása, hogy „megbecsülje” az egyes képpontok hiányzó színinformációit. Végrehajtás: Az egyszerű „kétirányú interpolációtól” az összetett „edge-directed interpolációig” (amely először észleli a helyi edge irányokat, és ezen irányok mentén interpolálódik, hogy megőrizze az edge élességét és csökkentse a hamis színeket). Mérnöki kihívások: hajlamos moiré minták és zipper hatások létrehozására a magas frekvenciájú csíkok feldolgozása során. Tuning és Trade-off: A fő paraméterek a szélső küszöbérték és a hamis színelnyomás. A túl alacsony szélső küszöbérték tévesen azonosítja a zajt, mint a széleket, hibás textúrákat hozva létre; a túl magas hamis színelnyomás megszüntetheti a normál színes részleteket, ami telítetlen színeket eredményez. CCM (Color Correction Matrix – színkorrekciós mátrix) A diagram színblokkjainak előtti és utáni összehasonlítása illusztrálja a CCM szerepét: az érzékelő által rögzített színtér átalakítása egy olyan szabványos színtérre (például sRGB), amely következetesebb az emberi látással, a szín telítettségének és árnyékának pontos beállítása érdekében. Végrehajtás: A piros, zöld és kék elsődleges értékeket az érzékelő elolvassa, és egy sor súlyozott számítás után áthelyezi őket a célszíntérbe. Mérnöki kihívások: A nem lineáris válasz, a színkereszteződés és a zajerősítés a CCM előtt álló fő kihívások. Tuning és Trade-offs: A CCM tuning lényege a 3x3 átalakítási mátrix beállítása. A mátrix diagonális elemei elsősorban az egyes színcsatornák nyereségét szabályozzák, befolyásolva a kép teljes telítettségét és fényerejének egyensúlyát; az off-diagonális elemek felelősek a színek közötti keresztkompenzációért, a színdobozok korrekciójáért és az árnyalatok beállításáért. Ezeknek a mátrixkoefficienseknek a pontos beállítása megköveteli az élénk színek keresésének kiegyensúlyozását, a bőr tónusának pontos reprodukcióját és a zajerősítés elnyomását. Például a túlzottan megnövekedett telítettség a kiemelkedő területeken szín 8. Gamma korrekció A diagramban szereplő bemeneti és kimeneti görbe világosan elmagyarázza a gamma korrekció folyamatát: egy nem lineáris görbe alkalmazása a kép fényerő értékének beállításához.Az elv az, hogy az emberi fényerő érzékelése logaritmikus (érzékeny a sötét területek változásaira), míg az érzékelő kimenete lineáris. Végrehajtás: Ez a görbe a kép sötétebb területeit nyújtja, hogy a részleteket nyilvánvalóbbá tegye, miközben a fényesebb területeket tömöríti a túlzott expozíció megelőzésére, így a végső kép fény-sötét átmenetei és rétegei összhangban vannak az emberi vizuális észleléssel. Mérnöki kihívások: A sötét területek túlterhelése jelentősen megerősíti a zajt; ugyanakkor a fényes részletek helytelen kezelése a hangsúlyos vágáshoz vagy a színes sávokhoz vezethet, ami miatt a nagy fényű területek, például az ég és a fények elveszítik mélységérzetüket. Tuning és Trade-off: A fő paraméter a Curve Shape. Egy meredekebb görbe lejtő fokozza a kép kontrasztját, de elveszítheti a részleteket a világos és sötét területeken; egy lágyabb lejtő gazdagíthatja a réteget, de a kép laposnak tűnhet. 9. A zaj csökkentése Amint azt az emberi arckép előtti és utáni összehasonlítása mutatja, a zajcsökkentés célja az alacsony fény és a magas ISO által okozott véletlen zaj kiküszöbölése, javítva a kép tisztaságát. Végrehajtás: A zajcsökkentés elsősorban térbeli zajcsökkentésre (2DNR) és időbeli zajcsökkentésre (3DNR) oszlik.A gyakorlati ISP csővezetékekben a feldolgozás színformátuma nem egyetlen rögzített válasz, hanem a termék pozícionálásától (pl. mobiltelefonok, webkamerák, autóipar), a teljesítmény költségvetésétől és a képminőségi stratégiától függ. 2DNR (Spatial NR) - What Color Format is Typically Used? Common Position 1: Bayer Domain (Raw Domain) Raw Bayer (RGrGbB) Processing Format: Before Demosaic Timing: Can directly model sensor read noise and shot noise; not affected by demosaic interpolation; best SNR Advantages: improvement. Algorithm design is more complex (needs to consider CFA pattern); commonly found in high-quality ISPs Disadvantages: (e.g., mobile phones, automotive). Common Position 2: YUV Domain (Luma & Chroma Separate Processing) : YUV (can process Luma Y and Chroma UV separately) Processing Format After Demosaic + CCM Timing: Lower computational load; can separate Luma and Chroma noise for targeted processing. Luma Denoise Advantages: focuses on preserving details, while Chroma Denoise can use stronger filtering to eliminate large color blotches. Noise has already been amplified or mixed by demosaic; excessive Chroma Denoise strength may lead to Disadvantages: color bleeding; commonly found in webcams or low-power ISPs. 3DNR (Temporal NR) - What Color Format is Typically Used? Common Position: Almost exclusively in the YUV Domain YUV (mostly performs motion detection on Luma Y + temporal filtering) Processing Format: After 2DNR Timing: Motion detection is most stable on the Luma Y channel; the human eye is most sensitive to brightness changes; Reasons: lower memory and computational load. Why is 3DNR rarely done in the RAW Domain? RAW data has not undergone color correction, making cross-frame Theoretically possible, but practically challenging: alignment difficult; motion estimation on a Bayer pattern is complex; high memory bandwidth requirements. Some high-end mobile phone ISPs may perform RAW Temporal NR, or consider HDR multi-frame merge as a form of RAW 3DNR. High-end Applications: Mérnöki kihívások: Az örök háború a zajcsökkentő erő és a textúra megtartása között. Tuning és Trade-off: A fő paraméterek az Erő (hangcsökkentő erő) és a Mozgás küszöbérték (a 3DNR esetében). A túlzott erő teszi a képet tiszta, de súlyosan elveszíti a részleteket, mint a bőr textúrája, ami "műanyag" megjelenést eredményez. 10. Színtér átalakítása Az RGB és a YUV színes gömbök közötti átalakítás a diagramban illusztrálja ennek a lépésnek a funkcióját: az RGB formátumú kép más színtérre történő átalakítása, leggyakrabban a YUV formátumra. A cél a későbbi tömörítés (például JPEG/H.264) és átvitel, a kép átalakítása olyan térbe, amely elválasztja a fényerőt (Y) és a krominanciát (U/V). Mivel az emberi szem sokkal érzékenyebb a fényerőre, mint a krominanciára, a gyakorlatban az U/V-t le lehet mintavételezni (például 4:2:0-ra), hogy megmentse a sávszélességet anélkül, hogy jelentősen befolyás The main parameter is Chroma Subsampling format. The 4:4:4 format provides the highest color fidelity but has the largest bandwidth and storage requirements; 4:2:2 or 4:2:0 formats save bandwidth by reducing chrominance resolution, with minimal impact on human visual perception, but may produce slight aliasing at color edges in extreme cases. Tuning and Trade-offs: 11. Szélesítés Amint az az emberi arckép előtti és utáni összehasonlításában is látható, az élesítés célja, hogy növelje az objektum szélének kontrasztját a képben, hogy ellensúlyozza az optikai rendszer és a digitális feldolgozás által okozott elmosódást, így a kép részletei világosabbak. Oversharpening produces white edges (Halo Artifacts). Engineering Challenges: The main parameter is Strength (sharpening strength). If the strength is too low, the image will appear blurry; if too high, it will produce noticeable white edges and amplify noise, making the image look unnatural. Tuning and Trade-offs: A végső kép (OUTPUT) Amint azt a végső tájfotó is mutatja, a fenti feldolgozási lépések után az eredeti RAW-adatok végül kiváló minőségű képgé alakulnak át, amely készen áll a megjelenítésre, tárolásra vagy további alkalmazásra. Ipari gyakorlati kilátások: mély betekintés a képmérnököktől Az ISP-beállítás soha nem egyszerű tudományos képlet, hanem a fizikai korlátozások, az algoritmikus számítási teljesítmény és az alkalmazási követelmények közötti optimális megoldás keresésének művészete. 1. Fogyasztói elektronika: A szenzáció végső keresése A mobileszközök ágazatában a kép „vonzerejét” jobban értékelik, mint „realizmusát”. A mérnökök jelentős erőfeszítéseket fektetnek be az AI jelenetfelismerő és szépségesítő algoritmusokba. Annak érdekében, hogy a rendkívül kis érzékelőkön magas dinamikus tartományt érjenek el, a komplex hangméretezés és a többképes szintézis technikái középpontjában állnak. A kihívás itt az, hogy hatalmas számításokat végezzenek egy nagyon rövid záridőn belül, és olyan „blockbuster” fotókat készítsenek, amelyeket közvetlenül megoszthatnak a közösségi médiában. 2. Videó együttműködés: A bőr tónusának és a környezetnek a kiegyensúlyozása Azért , az alapvető kihívás a beltéri világítás szélsőséges összetettségében rejlik (például az irodai fluoreszkáló lámpák és az ablak napfényének keveréke). A mérnökök hangolási hangsúlya a "bőrszín reprodukciója" és a "fehér egyensúly stabilitása". Korlátozott energia költségvetésben elengedhetetlen annak biztosítása, hogy a videokonferenciákban dolgozók professzionálisak és természetesek legyenek. PC platforms and video peripherals 3. Autó képalkotás: Az életbiztonság őrzője Az autóiparban a képek már nem emberi megtekintésre szolgálnak, hanem gépek számára (ADAS/autonóm vezetés algoritmusok). A kulcsok itt a „rendkívül magas dinamikus tartomány (HDR)” és a „rendkívül alacsony késleltetés”. A mérnököknek gondoskodniuk kell arról, hogy az alagutak be- és kilépésekor, vagy erős háttérvilágítással szembesülve az ISP képeket készítsen tiszta részletekkel milliszekundumokban, anélkül, hogy bármilyen tárgyat hozna létre, amely algoritmikus félreértést okozhat. 4. Orvosi és ipari: A pontosság végső próbája (például endoszkópok) a legmagasabb színpontosságot igényli, mivel egy könnyű színes öntés befolyásolhatja az orvos szöveti elváltozások diagnózisát. Ezekben a területeken a mérnökök általában kikapcsolják a legtöbb "gyönyörűsítési" funkciót, ahelyett, hogy az ISP feldolgozásának megismételhetőségére és adatintegritására összpontosítanak. Medical imaging Industrial vision 5. Biztonság és felügyelet: Minden időjárás felismerési képesség A biztonsági szektorban a kihívások a „szélsőséges környezetek” körül forognak.A mérnököknek olyan funkciókat kell kiemelniük, amelyek elegendőek az arcok vagy engedélyek azonosításához rendkívül alacsony fényviszonyokban (még csillagfényes körülmények között is) a hatékony zajcsökkentés és az ellenőrzés megszerzése révén.A beállítás filozófiája itt a „láthatóság” a „szépség” felett, és a hőstabilitást garantálni kell a 24/7 hosszú távú működéshez. 6. Drone ipar: A légiközlekedési perspektíva végső egyensúlya A képmérnökök a Számos kihívás előtt állunk: az első A légi járatok gyakran találkoznak drasztikus háttérvilágítással és földi kontrasztokkal, ami megköveteli, hogy az ISP kiváló HDR feldolgozási képességekkel rendelkezzen. Hogyan készítsünk stabil képeket jello hatások nélkül az ISP-n keresztül kombinálva a gimbal stabilizációval és az elektronikus képstabilizációs (EIS) algoritmusokkal a nagy sebességű repülés és a test rezgés közben. ; az FPV (First Person View) repülésbiztonság és a valós idejű vezérlés érdekében az ISP feldolgozásának rendkívül hatékonynak kell lennie a kép késleltetésének csökkentése érdekében. A mérnököknek meg kell keresniük az optimális egyensúlyt a képminőség és a számítási teljesítmény között a korlátozott akkumulátor- és termikus körülmények között, biztosítva a képminőséget anélkül, hogy feláldoznák a repülési időt és a berendezések megbízhatóságát. drone industry extreme lighting variation high-speed motion compensation low-latency video transmission requirement lightweight design and power consumption balance Összefoglaló Az érzékelő által rögzített nyers Bayer-adatoktól a színekben és részletekben gazdag végső képig az ISP által vezetett utazás varázslatos. Ez a cikk az utazás tizenkét kulcsfontosságú lépését vizsgálta, az alapvető fizikai korrekcióktól a magszínrekonstrukcióig, és végül a képminőség optimalizálásáig. Nemcsak az egyes lépések technikai elveit és mérnöki kihívásait elemeztük, hanem a paraméterbeállítás kompromisszumait is integráltuk, feltárva a képbeállítás bonyolultságát. Fontosabb, hogy a különböző iparágak, például a fogyasztói elektronika, az autóipar és az orvostudomány területén a gyakorlati perspektívák elemzésével láthatjuk, hogy az ISP-beállításban nincs absz következtetés A kiemelkedő képmérnöknek nemcsak az ISP Pipeline minden matematikai modelljét kell elsajátítania, hanem mélyen meg kell értenie a termék mögött álló „felhasználói igényeket”.A digitális sötét szobában nemcsak a pixeleket és a nyereségeket kell beállítanunk, hanem a különböző iparágak különböző módjait is, hogy értelmezzék a valós világot. diszkréció A cikkben szereplő képek kizárólag az ISP műszaki koncepcióinak bemutatására szolgálnak, és nem képviselnek semmilyen konkrét márkát vagy terméket. A . és kizárólag általános technikai megbeszélésre és tapasztalatmegosztásra szolgál. nem minősül szakmai tanácsnak vagy útmutatásnak.Az olvasóknak maguknak kell értékelniük alkalmazhatóságát, és felelősséget vállalnak a cikk tartalmán alapuló intézkedésekért. Some images are AI-generated The content of this article is based on the author's years of practical experience in image engineering