画像エンジニアのノート Part 4: ISP Tech の詳細な分析

画像センサーによって収集される原始データは、本質的には冷たいデジタル信号に過ぎません。これらのデータを画面で見る鮮やかな写真に変換するには、複雑なプロセスに従わなければなりません。 ISPは、数十件のアルゴリズムプロセスを非常に短時間で完了するデジタル「ダークルーム」のように機能します. この記事は読者をこのブラックボックスに連れて行き、原料センサーデータから美しい画像への魔法の旅を探索します。 Image Signal Processor (ISP) 重要なISPステップの詳細な分析 典型的な ISP 処理パイプラインは、それぞれの段階の出力が次の段階の入力として機能する高度に連続的なプロセスです。 INPUT(RAWデータ) イメージ処理の出発点は、センサーによって収集された原始データです。図表のバイエル数列ブロックに示されているように、このデータは通常、赤、緑、青のフィルターが交差しているバイエルパターンに配置されています。 2.ブラックレベル修正 図のヒストグラムの変化によって示されているように、このステップは、完全に暗い条件下でセンサーによって生成されたベースラインオフセットを修正することを目指し、画像の「黒」が真にゼロになることを確実に保証し、したがって対比性を高めます。基礎原則は、光敏なコンポーネントは、暗い電流などの物理的要因により、光がない場合でも非ゼロ電圧の出力値を生成することです。 実装: センサーのエッジには、通常、光から物理的に保護されている「光黒ピクセル」が含まれています. ISP は、これらのピクセルの平均値を参照オフセットとして読み取って、画像全体のすべてのピクセル値からこの値を引く。 エンジニアリングの課題:ブラックレベルは温度と利益によって変化し、ダイナミックな補償メカニズムが必要です。 Tuning and Trade-offs: 主なパラメータは Offset. If the offset is too high, dark details will be cut, resulting in "crushed blacks"; if too low, dark areas will appear gray, leading to a decrease in overall contrast. オフセットがあまりにも高い場合、暗い細部がカットされ、結果として「粉砕された黒」が発生します。 ・DPC(Defect Pixel Correction) 図の赤十字を置き換えるチェックされた平方が示すように、このステップのタスクは、製造上の欠陥や老化によって引き起こされたセンサー上の欠陥のピクセル(永久的に明るいピクセルや反応しない暗いピクセルなど)を識別し、修復することです。 実装:「静的訂正」(工場での欠陥ピクセル座標のスキャンと記録)と「ダイナミック訂正」(アルゴリズムを通じて隣国との大きな違いを持つピクセルを検出)に分けられる。 エンジニアリングの課題:「真の高周波細部」と「欠陥ピクセル」の正確な区別を必要とし、画像を誤って曖昧にすることを避ける。 Tuning and Trade-offs: The key parameter is Threshold. A threshold that is too low will erroneously identify high-frequency details (such as text, textures) in the image as defective pixels, causing blurring; a threshold that is too high will fail to effectively detect and repair true defective pixels. あまりにも低い値は、画像内の高周波数の詳細(テキスト、テクスチャなど)を欠陥のピクセルとして誤って識別し、修復することができなくなります。 LSC(Lens Shading Correction)とは 風景写真の前と後の比較で示すように、このステップは、レンズの光学的特性によって引き起こされる画像のエッジにおける明るさの減少(vignetting)と潜在的な色の変化を補償することを目的とし、全体のフレーム全体でより均一な明るさと色の分布を確保する。 これは光学システムの固有の物理的特性であり、中心からレンズの端まで光の強度の自然な減少を指し、衝突角度のコシンの4番目の力に比例する。 Cos⁴ Falloff: 内側のレンズ構造(例えば開口、レンズバレルなど)による辺の光の物理的妨害による。 Mechanical Vignetting: センサー上のマイクロレンズは、特定の角度で光を受け取るように設計されています。レンズから出る光のメインレイアングル(CRA)がマイクロレンズの最適な受信角度と一致しない場合、それはエッジピクセルの光収集効率を低下させます。 CRA Mismatch (Chief Ray Angle Mismatch): これらの要因は、画像の端に明るさと色の減少をもたらし、LSCの目的は、これらの効果を正確に補償することです。 実装: ISP は修正獲得地図をプレストレージします。実装の主な方法は 2 つあります: 1. ラジウムベース: Vignetting が光学センターの周囲にラジオシンメトリックであると仮定し、得点値は中心からのピクセルの距離の関数です。 2. グリッドベース: 画像をグリッドに分割し、グリッドの各トップの値をストレージし、各ピクセルの正確な補償値を計算するためにインターポールします。 エンジニアリングの課題:色の変化は、異なる光源下で異なり、複数のパラメータセットを交換する必要があります。 Tuning and Trade-offs: コアパラメーターは Gain Strength. If the strength is too low, vignetting cannot be fully compensated, and the image remains uneven; if too high, it will over-enhance edge brightness and simultaneously amplify noise in that area, leading to decreasing returns. コアパラメーターは Gain Strengthです。 5.ホワイトバランス 図の色温度バーの調節は、白バランスのコア機能を直感的に示す:画像の赤、緑、青の原点の割合を、シーンの光源の色温度に応じて調節し、白い物体が画像に中立的に白く表示されることを保証する。 Common algorithms include "Gray World Assumption" and "Perfect Reflector." The core is to calculate R gain and B gain (usually based on G) and apply them to the entire image. In recent years, machine learning (ML) techniques, especially Convolutional Neural Networks (CNNs), have also been widely applied to white balance. Through training on large amounts of image data, ML models can more accurately estimate color temperatures in complex or mixed lighting environments and perform scene classification, thereby achieving smarter and more human-perceptual white balance effects. Implementation: Mixed light sources, lack of white reference objects, and color preferences are the main challenges faced by white balance. Engineering Challenges: The main parameters are R/G Gain and B/G Gain. If R/G Gain is too high, the image will appear reddish and warm; if B/G Gain is too high, the image will appear bluish and cool. Precise matching is required to restore neutral colors in the scene. Tuning and Trade-offs: 注: ホワイトバランスの詳細については、「Image Engineer's Notes #3: Auto Exposure, White Balance, Auto Focus ‒ Demystifying the Camera's 'Decision Intelligence' 3A Algorithms」を参照してください。 注: ホワイトバランスの詳細については、「Image Engineer's Notes #3: Auto Exposure, White Balance, Auto Focus ‒ Demystifying the Camera's 'Decision Intelligence' 3A Algorithms」を参照してください。 第6話 デモ 図に示されているように、このステップでは、バイエル形式のモノクロマティックな原料データをフルカラーRGB画像に再構築し、各ピクセルには完全な赤、緑、青のカラー情報が含まれている。 実装:単純な「二線インターポレーション」から複雑な「エッジ指向インターポレーション」まで(最初に局所エッジ方向を検出し、その方向に沿ってインターポレートしてエッジ鋭さを維持し、偽色を減らす)。 エンジニアリングの課題:高周波ストリップを処理する際にモイレパターンとジッパー効果を生成する傾向がある。 Tuning and Trade-offs: 主なパラメータは Edge Threshold および False Color Suppression. A edge threshold that is too low will erroneously identify noise as edges, creating erroneous textures; false color suppression that is too high may eliminate normal color details, leading to desaturated colors. エッジ・トレード・オフ: エッジ・トレード・オフ: エッジ・オフ: エッジ・オフ: エッジ・オフ: エッジ・オフ: エッジ・オフ: エッジ・オフ: エッジ・オフ: エッジ・オフ: エッジ・オフ: エッジ・オフ: エッジ・オフ: エッジ CCM(Color Correction Matrix) 図におけるカラーブロックの前後の比較は、CCMの役割を示す:センサーがキャプチャしたカラースペースを、人間の視覚により一貫した標準カラースペース(sRGBなど)に変換し、色の飽和と色彩を正確に調整する。 実装: センサーが読み取る赤、緑、青の主要値を取り出し、一連の重量計算の後、それらをターゲット色空間にリメイクします。 エンジニアリングの課題:非線形反応、カラークロス汚染、騒音強化は、CCMが直面する主要な課題です。 調節と交換:CCM調節の本質は3x3変換マトリックスを調整することです。マトリックス内のダイアゴン要素は主に各カラーチャンネルの利益を制御し、画像の全体的な飽和および明るさのバランスを影響します。非ダイアゴン要素は色の間の交差補償に責任があり、カラーキャストを訂正し色彩を調整するために使用されます。これらのマトリックス系数値を正確に調節するには、活気のある色の追求、皮膚のトーンの正確な再生、および騒音の強化の抑制を必要とします。例えば、過度に増加した飽和は、ハイライト領域でのカラーカッピングにつながりますが、間違った交差補償は 8.ガンマ修正 図の入力出力曲線は、ガンマ修正のプロセスを鮮明に説明します:画像の明るさ値を調整するために非線形曲線を適用します。原則は、人間の明るさの感覚はロガリズム(暗い領域の変化に敏感)であり、センサー出力は線形です。 実装:この曲線は画像のより暗い領域を伸ばし、細部をより顕著にする一方で、より明るい領域を圧縮し、過度の曝露を防ぎ、最終画像の光から暗への移行と層化を人間の視覚感覚とより一貫させます。 エンジニアリングの課題:暗い領域を過度に伸ばすことは、騒音を大幅に増幅させます;同時に、明るい細部の不適切な取り扱いは、高明度の領域(天空や光)が深さの感覚を失うことを引き起こす。 Tuning and Trade-offs: 主なパラメーターは Curve Shape. A steeper curve slope enhances image contrast but may lose details in bright and dark areas; a gentler slope can enrich layering but may make the image appear flat. 曲線の傾斜は画像の対比性を向上させますが、明るいと暗い領域では詳細を失うことがあります。 9.ノイズ削減 人間の顔画像の前後の比較で示すように、騒音削減は、低光と高ISOによって引き起こされるランダムな騒音を排除し、画像の純度を改善することを目的としています。 実装:ノイズ削減は主に空間ノイズ削減(2DNR)とタイムノイズ削減(3DNR)に分かれています。実用的なISPパイプラインでは、処理のためのカラー形式は単一の固定回答ではありませんが、製品ポジション(携帯電話、ウェブカメラ、自動車など)、パフォーマンス予算、画像品質戦略に依存します。 2DNR (Spatial NR) - What Color Format is Typically Used? Common Position 1: Bayer Domain (Raw Domain) Raw Bayer (RGrGbB) Processing Format: Before Demosaic Timing: Can directly model sensor read noise and shot noise; not affected by demosaic interpolation; best SNR Advantages: improvement. Algorithm design is more complex (needs to consider CFA pattern); commonly found in high-quality ISPs Disadvantages: (e.g., mobile phones, automotive). Common Position 2: YUV Domain (Luma & Chroma Separate Processing) : YUV (can process Luma Y and Chroma UV separately) Processing Format After Demosaic + CCM Timing: Lower computational load; can separate Luma and Chroma noise for targeted processing. Luma Denoise Advantages: focuses on preserving details, while Chroma Denoise can use stronger filtering to eliminate large color blotches. Noise has already been amplified or mixed by demosaic; excessive Chroma Denoise strength may lead to Disadvantages: color bleeding; commonly found in webcams or low-power ISPs. 3DNR (Temporal NR) - What Color Format is Typically Used? Common Position: Almost exclusively in the YUV Domain YUV (mostly performs motion detection on Luma Y + temporal filtering) Processing Format: After 2DNR Timing: Motion detection is most stable on the Luma Y channel; the human eye is most sensitive to brightness changes; Reasons: lower memory and computational load. Why is 3DNR rarely done in the RAW Domain? RAW data has not undergone color correction, making cross-frame Theoretically possible, but practically challenging: alignment difficult; motion estimation on a Bayer pattern is complex; high memory bandwidth requirements. Some high-end mobile phone ISPs may perform RAW Temporal NR, or consider HDR multi-frame merge as a form of RAW 3DNR. High-end Applications: エンジニアリングの課題:騒音削減の強さとテクスチャー保持の間の永遠の戦争。 Tuning and Trade-offs: The main parameters are Strength (noise reduction strength) and Motion Threshold (for 3DNR). Excessive strength makes the image clean but severely loses details like skin texture, creating a "plastic" look. For 3DNR, the Motion Threshold setting is also crucial; too low a value reduces the noise reduction effect, while too high a value can cause ghosting or trailing artifacts on moving objects. 3DNRの場合、動きの値設定も重要です。 10.色空間変換 図のRGBとYUVの色球間の変換は、このステップの機能を示す:RGB形式の画像を他の色スペース、最も一般的にYUV形式に変換する。その目的は、その後の圧縮(JPEG/H.264)および転送のために、光度(Y)とクロミナンス(U/V)を分離するスペースに画像を変換することです。人間の目はクロミナンスよりも光度に遥かに敏感であるため、実践では、U/Vは、主観的な画像の品質に大きな影響を及ぼさずに帯域幅を節約するために(例えば、4:2:0)サンプル化することができます。 The main parameter is Chroma Subsampling format. The 4:4:4 format provides the highest color fidelity but has the largest bandwidth and storage requirements; 4:2:2 or 4:2:0 formats save bandwidth by reducing chrominance resolution, with minimal impact on human visual perception, but may produce slight aliasing at color edges in extreme cases. Tuning and Trade-offs: 11位 シャープ 人間の顔画像の前と後の比較で示されているように、鋭化は、光学システムやデジタル処理によって引き起こされる曖昧さを補うために画像のオブジェクトエッジの対比性を強化することを目的とし、画像の詳細をより明確に表示する。 Oversharpening produces white edges (Halo Artifacts). Engineering Challenges: The main parameter is Strength (sharpening strength). If the strength is too low, the image will appear blurry; if too high, it will produce noticeable white edges and amplify noise, making the image look unnatural. Tuning and Trade-offs: 最終写真(最終写真) 最終的な風景写真で示されているように、上記のすべての処理ステップを経て、元の RAW データは最終的に表示、ストレージ、またはさらなるアプリケーションのための高品質の画像に変換されます。 業界実用的な展望:イメージエンジニアからの深い洞察 ISPの調節は決して単純な科学的公式ではなく、物理的限界、アルゴリズム計算力、およびアプリケーション要件の最適な解決策を求める芸術である。 タイトル: Consumer Electronics: The Ultimate Pursuit of Sensation モバイルデバイスセクターでは、画像の「魅力」は「現実主義」よりも高く評価されています。エンジニアはAIシーン認識と美化アルゴリズムに大きな努力を投資しています。極めて小さなセンサーで高いダイナミック範囲を達成するためには、複雑なトーンマッピングと複数のフレーム合成技術がコアです。ここでの課題は、非常に短いシャッター遅れで大規模な計算を完了し、ソーシャルメディアで直接共有できる「ブロックバスター」写真を生産することです。 ビデオコラボレーション:皮膚トーンと環境のバランスをとる のために 内部照明の極度の複雑さ(オフィスフラワーライトとウィンドウの日光の組み合わせなど)の核心的な課題は、エンジニアのための調節の焦点は「皮膚トーン再生」と「白バランスの安定性」にあります。制限された電力予算の中で、ビデオ会議で人々がプロフェッショナルで自然に見えるようにすることが不可欠です。 PC platforms and video peripherals 自動車イメージング:生命安全の守護者 自動車業界では、画像はもはや人間の視聴ではなく、機械(ADAS/自動運転アルゴリズム)のためのものです。ここでのキーは「極めて高いダイナミック範囲(HDR)」と「極めて低い遅延」です。エンジニアは、トンネルの入り出たり、あるいは強力なバックライトに直面したとき、ISPは、アルゴリズムの誤った判断を引き起こすようなアーティファクトなしに、ミリ秒で明確な詳細を含む画像を生成できるようにしなければなりません。 医学と産業:精度の究極のテスト (たとえば、エンドスコープ) は最大の色の精度を要求し、軽い色の投与は、医師の組織損傷の診断に影響を与える可能性があります。 , 一方で、絶対的な地理的精度と光学的線形性を追求します. これらの分野では、エンジニアは通常、ISP処理の繰り返し性とデータ整合性に焦点を当て、ほとんどの「美術化」機能を無効にします。 Medical imaging Industrial vision セキュリティと監視:全天候認識能力 エンジニアは、強力なノイズ削減とコントロールを得ることによって、極度に低い照明(スターライト条件でさえ)で顔やライセンスプレートを識別するのに十分な機能を抽出しなければなりません。 ドローン産業:航空展望の究極のバランス 画像エンジニア in the さまざまな課題に直面し、まず、 ; 航空便はしばしば劇的なバックライトと地面の対照に遭遇し、ISPは優れたHDR処理能力を有する必要があります。 ISPを通じて、高速フライトと体振動の間にギンバル安定化と電子画像安定化(EIS)アルゴリズムと組み合わせて、ジェロ効果なしで安定した画像を生成する方法。 ; FPV(ファースト・パーソナル・ビュー)のフライトの安全性とリアルタイムの制御のために、ISPの処理は画像の遅延を減らすために非常に効率的でなければなりません。 エンジニアは、制限されたバッテリー寿命と熱条件の内で画像品質と計算力の最適なバランスを確保し、飛行時間と機器の信頼性を犠牲にすることなく画像品質を確保しなければなりません。 drone industry extreme lighting variation high-speed motion compensation low-latency video transmission requirement lightweight design and power consumption balance 概要 この記事では、この旅の12の重要なステップ、基本的な物理的修正からコア色の再構築に至り、最後に画像品質の最適化に至るまで、各ステップの技術原則とエンジニアリングの課題を分析しただけでなく、パラメータ調節の妥協を統合し、画像調節の複雑さを明らかにしました。さらに重要なことは、消費電気、自動車、医療などのさまざまな業界からの実用的な視点の分析を通じて、ISP調節に絶対的な「最適なソリューション」が存在しないことを見ることができます。代わりに、さまざまなアプリケーションシナリオにおける「画像の品質、パフォーマンス、コスト、信頼性」の異なる強調に基づく優れた妥協のシリーズです 結論 優れたイメージエンジニアは、ISPパイプライン内のすべての数学モデルをマスターするだけでなく、製品の背後にある「ユーザーニーズ」を深く理解する必要があります。デジタルダークルームでは、私たちが調整するものはピクセルと利益だけではなく、さまざまな業界が現実世界を解釈するさまざまな方法です。 ディスカレーター この記事のすべての画像は、ISPの技術概念を説明する唯一の目的であり、特定のブランドまたは製品を表すものではありません。 で。 それは、専門的なアドバイスやガイドラインを構成しません. 読者は、その適用性を自分自身で評価し、この記事の内容に基づいて行われるあらゆる行動の責任を負います。 Some images are AI-generated The content of this article is based on the author's years of practical experience in image engineering