Notes d'un ingénieur d'image, Partie 4: Analyse approfondie de la technologie ISP

Les données brutes capturées par les capteurs d'image ne sont, en substance, que des signaux numériques froids. Pour transformer ces données en photos vives que nous voyons sur les écrans, elles doivent subir un processus complexe - le L'ISP agit comme une "chambre noire" numérique, complétant des dizaines de processus algorithmiques en très peu de temps. Cet article emmènera les lecteurs dans cette boîte noire pour explorer le voyage magique des données de capteurs brutes à de belles images. Image Signal Processor (ISP) Analyse approfondie des étapes clés de l’ISP Un pipeline de traitement ISP typique est un processus très séquentiel, où la sortie de chaque étape sert d'entrée pour la prochaine.Le diagramme ci-dessous illustre le flux complet des données de capteurs bruts à la sortie d'image finale, suivi d'une analyse approfondie de chaque étape. Les données RAW (INPUT) Le point de départ du traitement de l'image est les données brutes capturées par le capteur. Comme le montre le bloc d'array de Bayer dans le diagramme, ces données sont généralement organisées dans un motif de Bayer, où les filtres rouges, verts et bleus sont liés entre eux. Correction du niveau noir Comme indiqué par le changement de l'histogramme dans le diagramme, cette étape vise à corriger la compensation de base générée par le capteur dans des conditions complètement sombres, en veillant à ce que le « noir » de l'image devienne réellement zéro, renforçant ainsi le contraste. Le principe sous-jacent est que les composants photosensibles, en raison de facteurs physiques tels que le courant noir, produisent des valeurs de tension non zéro même en l'absence de lumière. Implémentation: Les bords du capteur comportent généralement des « pixels noirs optiques », qui sont physiquement protégés de la lumière.L'ISP lit la valeur moyenne de ces pixels en tant que compensation de référence et soustrait cette valeur de toutes les valeurs de pixels sur l'ensemble de l'image. Défis d'ingénierie : le niveau noir varie avec la température et le gain, nécessitant des mécanismes de compensation dynamiques. Tuning and Trade-offs : Le paramètre principal est Offset.Si l’offset est trop élevé, les détails sombres seront coupés, ce qui entraînera des « noirs écrasés » ; si trop bas, les zones sombres apparaîtront grises, ce qui entraînera une diminution du contraste global. DPC (correction des pixels défectueux) Comme le montrent les carrés contrôlés qui remplacent les croix rouges dans le diagramme, la tâche de cette étape est d'identifier et de réparer les pixels défectueux sur le capteur (tels que les pixels lumineux permanents ou les pixels sombres non réactives) causés par des défauts de fabrication ou le vieillissement. Implémentation : Divisé en « correction statique » (scanning et enregistrement des coordonnées de pixels défectueux à l’usine) et « correction dynamique » (détection de pixels avec des différences significatives de leurs voisins à travers des algorithmes). Défis d'ingénierie: nécessite une différenciation précise entre les "détails de haute fréquence vrais" et les "pixels défectueux" pour éviter de brouiller l'image par erreur. Tuning and Trade-offs: Le paramètre clé est le seuil. Un seuil trop bas identifiera par erreur les détails de haute fréquence (tels que le texte, les textures) dans l'image comme des pixels défectueux, ce qui provoquera un flou ; un seuil trop élevé ne détectera pas et ne réparera pas efficacement les véritables pixels défectueux. Le LSC (Lens Shading Correction) Comme l’illustre la comparaison avant-après de la photo de paysage, cette étape vise à compenser l’atténuation de la luminosité (vignetterie) et les changements de couleur potentiels aux bords de l’image causés par les caractéristiques optiques de la lentille, assurant une luminosité et une répartition des couleurs plus uniformes sur l’ensemble du cadre. C'est une propriété physique inhérente aux systèmes optiques, qui se réfère à l'atténuation naturelle de l'intensité de la lumière du centre au bord de la lentille, proportionnelle à la quatrième puissance de la cosine de l'angle d'incidence. Cos⁴ Falloff: Causée par l'obstruction physique de la lumière aux bords par des structures de lentilles internes (telles que les lames d'ouverture, le baril de lentille). Mechanical Vignetting: Lorsque l'angle de rayonnement principal (CRA) de la lumière sortant de l'objectif ne correspond pas à l'angle de réception optimal des microlens, cela entraîne une réduction de l'efficacité de la collecte de la lumière des pixels de bord. CRA Mismatch (Chief Ray Angle Mismatch): Ces facteurs conduisent collectivement à la luminosité et à l'atténuation des couleurs aux bords de l'image, et l'objectif de LSC est de compenser avec précision ces effets. Implémentation: L'ISP stocke préalablement une carte de gain de correction.Il existe deux méthodes principales de mise en œuvre: 1.Radius-based: Suppose que le vignetting est radialement symétrique autour du centre optique, où la valeur de gain est une fonction de la distance du pixel du centre. 2.Grid-based: Divise l'image en une grille, stocke des valeurs de gain pour chaque sommet de grille, puis interpole pour calculer la valeur de compensation précise pour chaque pixel. Défis d'ingénierie : les changements de couleur varient sous différentes sources de lumière, ce qui nécessite plusieurs ensembles de paramètres pour passer entre eux. Tuning and Trade-offs: Le paramètre de base est Gain Strength. Si la force est trop faible, le vignetting ne peut pas être complètement compensé, et l'image reste inégale; si trop élevé, il va sur-élargir la luminosité de la bordure et simultanément amplifier le bruit dans cette zone, conduisant à diminuer les rendements. 5 - Balance des blancs L'ajustement de la barre de température de couleur dans le diagramme démontre intuitivement la fonction centrale de l'équilibre des blancs : ajustement des proportions des primes rouges, vertes et bleues dans l'image en fonction de la température de couleur de la source de lumière de la scène, en veillant à ce que les objets blancs apparaissent neutres en blanc dans l'image. Le principe est que différentes sources de lumière (telles que la lumière de tungstène 2800K et la lumière du jour 6500K) ont différentes distributions spectrales. Common algorithms include "Gray World Assumption" and "Perfect Reflector." The core is to calculate R gain and B gain (usually based on G) and apply them to the entire image. In recent years, machine learning (ML) techniques, especially Convolutional Neural Networks (CNNs), have also been widely applied to white balance. Through training on large amounts of image data, ML models can more accurately estimate color temperatures in complex or mixed lighting environments and perform scene classification, thereby achieving smarter and more human-perceptual white balance effects. Implementation: Mixed light sources, lack of white reference objects, and color preferences are the main challenges faced by white balance. Engineering Challenges: The main parameters are R/G Gain and B/G Gain. If R/G Gain is too high, the image will appear reddish and warm; if B/G Gain is too high, the image will appear bluish and cool. Precise matching is required to restore neutral colors in the scene. Tuning and Trade-offs: Remarque : Pour des informations détaillées sur l’équilibre des blancs, veuillez consulter « Notes de l’ingénieur de l’image n°3: Exposition automatique, équilibre des blancs, mise au point automatique ‒ Démystifier les algorithmes 3A de l’intelligence de décision de l’appareil photo. » Remarque : Pour des informations détaillées sur l’équilibre des blancs, veuillez consulter « Notes de l’ingénieur de l’image n°3: Exposition automatique, équilibre des blancs, mise au point automatique ‒ Démystifier les algorithmes 3A de l’intelligence de décision de l’appareil photo. » 6 Démocratie Comme le montre le diagramme, cette étape reconstruit les données brutes monochromes au format Bayer en une image RGB en couleur complète où chaque pixel contient des informations complètes de couleur rouge, vert et bleu. Comme chaque pixel au format Bayer ne contient que des informations de couleur unique, le cœur de la démosaïque consiste à utiliser la corrélation spatiale, en référencant les pixels environnants pour « deviner » les informations de couleur manquantes pour chaque pixel. Implémentation : allant de la simple "interpolation bilineuse" à la complexe "interpolation axée sur l'extrémité" (qui détecte d'abord les directions d'extrémité locales et interpole le long de ces directions pour préserver l'acuité de l'extrémité et réduire les fausses couleurs). Défis d'ingénierie : prédisposé à générer des moiré et des effets de zipper lors du traitement des bandes à haute fréquence. Tuning and Trade-offs: Les principaux paramètres sont Edge Threshold et False Color Suppression. Un seuil de bord qui est trop bas identifiera par erreur le bruit comme des bords, créant des textures erronées; la fausse suppression de la couleur qui est trop élevée peut éliminer les détails de couleur normaux, conduisant à des couleurs désaturées. CCM (Color Correction Matrix) - Matrice de correction des couleurs La comparaison avant et après des blocs de couleur dans le diagramme illustre le rôle du CCM: convertir l'espace de couleur capturé par le capteur en un espace de couleur standard (comme sRGB) qui est plus cohérent avec la vision humaine, pour ajuster avec précision la saturation des couleurs et la teinte. Implémentation : Il prend les valeurs primaires rouge, vert et bleu lues par le capteur et, après une série de calculs pondérés, les remappe à l'espace couleur cible. Les défis d’ingénierie : la réponse non linéaire, la contamination croisée des couleurs et l’amplification du bruit sont les principaux défis auxquels le CCM est confronté. Tuning et trade-offs: L'essence du CCM tuning est d'ajuster une matrice de transformation 3x3. Les éléments diagonaux de la matrice contrôlent principalement le gain de chaque canal de couleur, affectant l'équilibre global de la saturation et de la luminosité de l'image; les éléments hors diagonales sont responsables de la compensation croisée entre les couleurs, utilisés pour corriger les coloris et ajuster les teintes. L'ajustement précis de ces coefficients de matrice nécessite l'équilibre de la poursuite des couleurs vibrantes, la reproduction précise du tonus de la peau et la suppression de l'amplification du bruit. Par exemple, une saturation excessive peut conduire à des coupes de couleur dans les zones de mise en évidence, tandis que la compensation Correction Gamma La courbe d'entrée-sortie dans le diagramme explique vivement le processus de correction gamma: l'application d'une courbe non linéaire pour ajuster les valeurs de luminosité d'une image. Le principe est que la perception humaine de la luminosité est logarithmique (sensible aux changements dans les zones sombres), tandis que la sortie du capteur est linéaire. Implémentation: Cette courbe étire les zones plus sombres de l'image pour rendre les détails plus visibles, tout en comprimant les zones plus lumineuses pour prévenir la surexposition, ce qui rend les transitions de la lumière à l'obscurité de l'image finale et la couche plus cohérente avec la perception visuelle humaine. Défis d’ingénierie : l’extension excessive des zones sombres amplifie considérablement le bruit ; en même temps, une manipulation inappropriée des détails lumineux peut entraîner des coupures ou des bandages de couleurs, ce qui entraîne la perte de la profondeur des zones lumineuses telles que le ciel et les lumières. Tuning and Trade-offs: Le paramètre principal est la forme de la courbe. Une pente de courbe plus raide améliore le contraste de l'image mais peut perdre des détails dans les zones claires et sombres; une pente plus douce peut enrichir la couche mais peut faire apparaître l'image plate. 9 - Réduction du bruit Comme illustré par la comparaison avant et après de l'image du visage humain, la réduction du bruit vise à éliminer le bruit aléatoire causé par la faible lumière et l'ISO élevé, améliorant la pureté de l'image. Implémentation: La réduction du bruit est principalement divisée en réduction du bruit spatial (2DNR) et réduction du bruit temporel (3DNR). Dans les pipelines ISP pratiques, le format de couleur pour le traitement n'est pas une seule réponse fixe mais dépend du positionnement du produit (par exemple, téléphones mobiles, webcams, automobiles), du budget de performance et de la stratégie de qualité d'image. 2DNR (Spatial NR) - What Color Format is Typically Used? Common Position 1: Bayer Domain (Raw Domain) Raw Bayer (RGrGbB) Processing Format: Before Demosaic Timing: Can directly model sensor read noise and shot noise; not affected by demosaic interpolation; best SNR Advantages: improvement. Algorithm design is more complex (needs to consider CFA pattern); commonly found in high-quality ISPs Disadvantages: (e.g., mobile phones, automotive). Common Position 2: YUV Domain (Luma & Chroma Separate Processing) : YUV (can process Luma Y and Chroma UV separately) Processing Format After Demosaic + CCM Timing: Lower computational load; can separate Luma and Chroma noise for targeted processing. Luma Denoise Advantages: focuses on preserving details, while Chroma Denoise can use stronger filtering to eliminate large color blotches. Noise has already been amplified or mixed by demosaic; excessive Chroma Denoise strength may lead to Disadvantages: color bleeding; commonly found in webcams or low-power ISPs. 3DNR (Temporal NR) - What Color Format is Typically Used? Common Position: Almost exclusively in the YUV Domain YUV (mostly performs motion detection on Luma Y + temporal filtering) Processing Format: After 2DNR Timing: Motion detection is most stable on the Luma Y channel; the human eye is most sensitive to brightness changes; Reasons: lower memory and computational load. Why is 3DNR rarely done in the RAW Domain? RAW data has not undergone color correction, making cross-frame Theoretically possible, but practically challenging: alignment difficult; motion estimation on a Bayer pattern is complex; high memory bandwidth requirements. Some high-end mobile phone ISPs may perform RAW Temporal NR, or consider HDR multi-frame merge as a form of RAW 3DNR. High-end Applications: Défis d’ingénierie : l’éternelle guerre entre la résistance à la réduction du bruit et la rétention de la texture. Tuning and Trade-offs: Les principaux paramètres sont la force (force de réduction du bruit) et le seuil de mouvement (pour 3DNR). La force excessive rend l'image propre mais perd sévèrement des détails comme la texture de la peau, créant un look "plastique".Pour 3DNR, le réglage du seuil de mouvement est également crucial; une valeur trop faible réduit l'effet de réduction du bruit, tandis qu'une valeur trop élevée peut provoquer des artefacts fantômes ou trailers sur des objets en mouvement. Conversion de l'espace couleur La conversion entre les sphères de couleurs RGB et YUV dans le diagramme illustre la fonction de cette étape : la conversion d'une image au format RGB en d'autres espaces de couleurs, le plus souvent le format YUV. Le but est pour la compression ultérieure (comme JPEG/H.264) et la transmission, en convertissant l'image en un espace qui sépare la luminosité (Y) et la chrominance (U/V). Puisque l'œil humain est beaucoup plus sensible à la luminosité que la chrominance, en pratique, U/V peut être abaissé (par exemple, à 4:2:0) pour économiser la bande passante sans affecter de manière significative la qualité subjective de l'image. The main parameter is Chroma Subsampling format. The 4:4:4 format provides the highest color fidelity but has the largest bandwidth and storage requirements; 4:2:2 or 4:2:0 formats save bandwidth by reducing chrominance resolution, with minimal impact on human visual perception, but may produce slight aliasing at color edges in extreme cases. Tuning and Trade-offs: 11 - Télécharger Comme le montre la comparaison avant-après de l'image du visage humain, l'affinage vise à améliorer le contraste des bords d'objets dans l'image pour compenser le flou causé par le système optique et le traitement numérique, ce qui rend les détails de l'image plus clairs. Une mise en œuvre commune est "Unsharp Masking", qui retire une version floue de l'image originale pour obtenir des composants haute fréquence, puis ajoute ces composants haute fréquence à l'image originale. Oversharpening produces white edges (Halo Artifacts). Engineering Challenges: The main parameter is Strength (sharpening strength). If the strength is too low, the image will appear blurry; if too high, it will produce noticeable white edges and amplify noise, making the image look unnatural. Tuning and Trade-offs: Résultats (photo finale) Comme le montre la photo de paysage finale, après toutes les étapes de traitement ci-dessus, les données RAW originales sont finalement transformées en une image de haute qualité prête à être affichée, stockée ou appliquée ultérieurement. Perspectives pratiques de l'industrie: des connaissances approfondies des ingénieurs de l'image L’ajustement de l’ISP n’est jamais une simple formule scientifique, mais un art de rechercher la solution optimale entre les limitations physiques, la puissance de calcul algorithmique et les exigences d’application. Du point de vue d’un ingénieur d’image, les exigences pour les ISP dans les différentes industries reflètent les différences dans leurs valeurs fondamentales : Électronique de consommation : la poursuite ultime de la sensation Dans le secteur des appareils mobiles, l'«appel» d'une image est plus apprécié que son «réalisme». Les ingénieurs investissent des efforts considérables dans les algorithmes de reconnaissance de scène et d'embellissement d'IA. Pour atteindre une gamme dynamique élevée sur des capteurs extrêmement petits, les techniques complexes de cartographie des tons et de synthèse multi-frames sont au cœur. Le défi ici est de réaliser des calculs massifs dans un très court délai et de produire des photos «blockbuster» qui peuvent être directement partagées sur les médias sociaux. Collaboration vidéo : équilibrer les tons de peau et l’environnement pour , le défi principal réside dans l'extrême complexité de l'éclairage intérieur (comme le mélange de lumières fluorescentes de bureau et de lumière du jour de la fenêtre). L'accent de l'ajustement pour les ingénieurs est sur la "reproduction du tonus de la peau" et la "stabilité de l'équilibre des blancs". Dans un budget d'énergie limité, il est essentiel de veiller à ce que les personnes dans les conférences vidéo soient professionnelles et naturelles. PC platforms and video peripherals Imagerie automobile : gardien de la sécurité de la vie Dans le domaine de l'automobile, les images ne sont plus destinées à la visualisation humaine, mais aux machines (ADAS/algorithmes de conduite autonome). Les clés ici sont « extrêmement haute portée dynamique (HDR) » et « extrêmement faible latence ». Les ingénieurs doivent s'assurer que lors de l'entrée et de la sortie des tunnels ou face à une forte rétroéclairage, l'ISP peut produire des images avec des détails clairs en millisecondes, sans aucun artefact susceptible de provoquer un jugement erroné algorithmique. Médecine et industrie : le test ultime de la précision (tels que les endoscopes) exige la plus grande précision des couleurs, car une légère coloration pourrait affecter le diagnostic d'un médecin de lésions tissulaires. , d'autre part, poursuit l'exactitude géométrique absolue et la linéarité optique. Dans ces domaines, les ingénieurs désactivent généralement la plupart des fonctionnalités de "beautification", en se concentrant plutôt sur la répétabilité et l'intégrité des données du traitement de l'ISP. Medical imaging Industrial vision Sécurité et surveillance: Capacité de reconnaissance tout temps Les ingénieurs doivent extraire des caractéristiques suffisantes pour identifier des visages ou des plaques de licence dans des conditions d'éclairage extrêmement faibles (même dans des conditions de lumière étoilée) grâce à une puissante réduction du bruit et à un contrôle.La philosophie de réglage ici est de «visibilité» sur «beauté», et la stabilité thermique doit être garantie pour un fonctionnement à long terme 24/7. L’industrie des drones : l’équilibre ultime de la perspective aérienne Les ingénieurs de l'image dans le Face à de nombreux défis, d’abord ; les vols aériens rencontrent souvent un éclairage arrière drastique et un contraste au sol, ce qui nécessite que l'ISP possède d'excellentes capacités de traitement HDR. ; comment produire des images stables sans effets jello par l'intermédiaire de l'ISP combiné avec la stabilisation de gimbal et les algorithmes de stabilisation électronique de l'image (EIS) pendant le vol à grande vitesse et les vibrations du corps. ; pour la sécurité du vol FPV (First Person View) et le contrôle en temps réel, le traitement par l'ISP doit être extrêmement efficace pour réduire la latence de l'image. Les ingénieurs doivent rechercher l'équilibre optimal entre la qualité de l'image et la puissance de calcul dans des conditions limitées de vie de la batterie et de la chaleur, assurant la qualité de l'image sans sacrifier le temps de vol et la fiabilité de l'équipement. drone industry extreme lighting variation high-speed motion compensation low-latency video transmission requirement lightweight design and power consumption balance Résumé Des données brutes de Bayer capturées par le capteur à une image finale riche en couleurs et en détails, le parcours est un parcours magique mené par l'ISP. Cet article a plongé dans les douze étapes clés de ce parcours, des corrections physiques de base à la reconstruction des couleurs du noyau, et enfin à l'optimisation de la qualité de l'image. Nous n'avons pas seulement analysé les principes techniques et les défis d'ingénierie de chaque étape, mais aussi intégré les compromis du réglage des paramètres, révélant la complexité du réglage de l'image. Plus important encore, grâce à l'analyse des perspectives pratiques de diverses industries telles que l'électronique de consommation, l'automobile et la médecine, nous pouv Conclusion Un ingénieur d'image exceptionnel doit non seulement maîtriser chaque modèle mathématique dans le pipeline de l'ISP, mais aussi comprendre profondément les « besoins de l'utilisateur » derrière le produit. Dans la salle noire numérique, ce que nous ajustons n'est pas seulement les pixels et les gains, mais les différentes façons dont les différentes industries interprètent le monde réel. Disclaimer Toutes les images contenues dans cet article ont pour seul but d’illustrer les concepts techniques de l’ISP et ne représentent pas une marque ou un produit spécifique. Le . et est destiné à la discussion technique générale et au partage d'expériences uniquement. Il ne constitue pas un conseil professionnel ou une orientation. Les lecteurs devraient évaluer eux-mêmes son application et sont responsables de toute action prise sur la base du contenu de cet article. Some images are AI-generated The content of this article is based on the author's years of practical experience in image engineering