הערות של מהנדס תמונה, חלק 4: ניתוח מעמיק של טכנולוגיית ISP

הנתונים החומריים שנעצרו על ידי חיישני התמונה הם בעצם רק אותות דיגיטליים קרים.כדי להפוך את הנתונים הללו לתמונות החזקות שאנחנו רואים על המסכים, הם חייבים לעבור תהליך מורכב - ה-ISP פועל כמו "חדר אפל" דיגיטלי, ומשלים עשרות תהליכים אלגוריתמיים בזמן קצר מאוד, מאמר זה ייקח את הקוראים אל הקופסה השחורה הזו כדי לחקור את המסע הקסום בין נתוני חיישנים גלויים לתמונות יפות. Image Signal Processor (ISP) ניתוח מעמיק של השלבים העיקריים של ISP צינור עיבוד ISP טיפוסי הוא תהליך רצף גבוה מאוד, שבו היציאה של כל שלב משמש ככניסת עבור השלב הבא.הדיאגרמה להלן מציינת את הזרימה המלאה של נתוני חיישן גלם לתוצאת התמונה הסופית, ולאחר מכן ניתוח מעמיק של כל שלב. נתוני INPUT (RAW Data) נקודת ההתחלה של עיבוד התמונה היא הנתונים האדומים שנאספו על ידי המחשב. כפי שמוצג בלוק התרשים של בייר בתרשים, נתונים אלה מאורגנים בדרך כלל בתבנית של בייר, שם מסננים אדומים, ירוקים וכחולים מחוברים ביניהם. תיקון רמה שחורה כפי שמוצג על ידי שינוי ההיסטוגרם בתרשים, שלב זה שואף לתקן את ההפרדה הבסיסית שנוצרה על ידי המחשב בתנאים כהים לחלוטין, ובכך להבטיח כי "השחור" בתמונה הופך באמת ל"שחור", ובכך להגדיל את הקונסטראט. יישום: הקצוות של החיישן כוללים בדרך כלל "פיקסלים שחורים אופטיים", אשר מוגנים פיזית מפני אור.ה- ISP קורא את הערך הממוצע של פיקסלים אלה כמחליף הפניה ומסיר את הערך הזה מכל הערכים של פיקסלים בכל התמונה. אתגרים הנדסיים: רמת השחור משתנה עם הטמפרטורה והרווח, הדורשת מנגנונים דינמיים של פיצוי. Tuning and Trade-offs: הפרמטר העיקרי הוא Offset.If the offset is too high, dark details will be cut, resulting in "crushed blacks"; if too low, dark areas will appear gray, leading to a decrease in overall contrast. DPC (Defect Pixel Correction - תיקון פיקסלים פגומים) כפי שמוצג על-ידי הרחובות המוחלפים את הצלב האדום בתרשים, המשימה של שלב זה היא לזהות ולתקן פיקסלים פגומים על החיישן (כגון פיקסלים בהירים באופן קבוע או פיקסלים כהים שאינם מגיבים) שנגרמו על-ידי פגמים בייצור או הזדקנות. יישום: מחולק ל"תיקון סטטי" (סריקה והקלטה של קואורדינטות פיקסל פגומים במפעל) ו"תיקון דינמי" (זיהוי פיקסלים עם הבדלים משמעותיים מהשכנים שלהם באמצעות אלגוריתמים). האתגרים הנדסיים: דורשים הבחנה מדויקת בין "פרטים אמיתיים בתדירות גבוהה" לבין "פיקסלים פגומים" כדי למנוע עיוות שגוי של התמונה. סף נמוך מדי יזהה בטעות פרטים בתדירות גבוהה (כגון טקסט, טקסטורות) בתמונה כפיקסלים פגומים, מה שמוביל לבלבול; סף גבוה מדי לא יזהה ולתקן פיקסלים פגומים אמיתיים. LSC (Lens Shading Correction) – תיקון צלליות כפי שמוצג בהשוואה לפני ואחרי צילום הנוף, צעד זה שואף לפצות על הידרדרות בהירות (vignetting) ושינויי צבע פוטנציאליים בקצוות התמונה שנגרמו על ידי המאפיינים האופטיים של העדשה, ובכך להבטיח בהירות שווה יותר וההפצה של הצבעים ברחבי המסגרת כולה. זוהי תכונה פיזית טבעית של מערכות אופטיות, המתייחסת להפחתת העוצמה הטבעית של האור ממרכז לקיצה של העדשה, ביחס לכוח הרביעי של הקוסין של זווית ההשפעה. Cos⁴ Falloff: נגרם על ידי חסימה פיזית של אור על הקצוות על ידי מבנים פנימיים של עדשות (כגון לוחות פתיחה, חביות עדשה). Mechanical Vignetting: מיקרולנסים על המסך נועדו לקבל אור בזוויות ספציפיות.כאשר זווית הזרם המרכזית (CRA) של האור שיוצא מהאובייקט אינה תואמת את זווית ההקלטה האופטימלית של המיקרולנסים, זה מוביל ליעילות האספקה האור של פיקסלים קצה מופחתת. CRA Mismatch (Chief Ray Angle Mismatch): גורמים אלה מובילים באופן קולקטיבי בהירות וצבע נמוכים בקצוות התמונה, והמטרה של LSC היא לפצות על השפעות אלה בצורה מדויקת. יישום: ISP מראש מאחסן מפה גידול תיקון. יש שתי שיטות יישום עיקריות: 1. מבוסס רדיוס: מניח vignetting הוא סימטרי רדיאלי סביב המרכז האופטי, שבו ערך הגידול הוא פונקציה של המרחק של הפיקסל ממרכז. 2. מבוסס ברשת: מחלק את התמונה לרשת, מאחסנים ערכים גידול עבור כל קצה הרשת, ולאחר מכן אינטרפולציה כדי לחשב את הערך הפיצוי המדויק עבור כל פיקסל. אתגרים הנדסיים: שינויים בצבעים משתנים תחת מקורות אור שונים, הדורשים קבוצות מרובות של פרמטרים כדי להחליף בין. התאמה וביטול: הפרמטר הבסיסי הוא כוח גידול.אם העוצמה היא נמוכה מדי, vignetting לא יכול להיות מופרך לחלוטין, ואת התמונה נשארת לא שווה; אם גבוה מדי, זה יגדיל את בהירות הקצה בו זמנית להגדיל את הרעש באזור זה, מה שמוביל להפחתת החזרות. 5 איזון לבן התאמת חוט הטמפרטורה בצבע בתרשים מוכיחה באופן אינטואיטיבי את הפונקציה הבסיסית של איזון הלבן: התאמה של יחסי העיקריים האדומים, הירוקים והכחולים בתמונה בהתאם לטמפרטורת הצבע של מקור האור של הסצנה, ומבטיחה כי אובייקטים לבנים מופיעים לבן באופן ניטרלי בתמונה. Common algorithms include "Gray World Assumption" and "Perfect Reflector." The core is to calculate R gain and B gain (usually based on G) and apply them to the entire image. In recent years, machine learning (ML) techniques, especially Convolutional Neural Networks (CNNs), have also been widely applied to white balance. Through training on large amounts of image data, ML models can more accurately estimate color temperatures in complex or mixed lighting environments and perform scene classification, thereby achieving smarter and more human-perceptual white balance effects. Implementation: Mixed light sources, lack of white reference objects, and color preferences are the main challenges faced by white balance. Engineering Challenges: The main parameters are R/G Gain and B/G Gain. If R/G Gain is too high, the image will appear reddish and warm; if B/G Gain is too high, the image will appear bluish and cool. Precise matching is required to restore neutral colors in the scene. Tuning and Trade-offs: הערה: לקבלת מידע מפורט על איזון הלבן, ראה "הערות של מהנדס התמונה #3: חשיפה אוטומטית, איזון הלבן, ריכוז אוטומטי ‒ דמיסטיזציה של אלגוריתם 3A של 'אינטליגנציה החלטה' של המצלמה". הערה: לקבלת מידע מפורט על איזון הלבן, ראה "הערות של מהנדס התמונה #3: חשיפה אוטומטית, איזון הלבן, ריכוז אוטומטי ‒ דמיסטיזציה של אלגוריתם 3A של 'אינטליגנציה החלטה' של המצלמה". 6 דמוקרטים כפי שמוצג בתרשים, שלב זה מחדש את הנתונים האדומים המונוקרומטיים בפורמט בייר לתמונה RGB צבעונית מלאה שבה כל פיקסל מכיל מידע צבעוני מלא אדום, ירוק וכחול. יישום: החל מ"אינטרפולציה דו-קווית" פשוטה ועד "אינטרפולציה קווית קווית" מורכבת (היא מתחילה לזהות כיוונים מקומיים קוויים ומעבירה אינטרפולציות לאורך כיוונים אלה כדי לשמור על חותמת קווית ולהפחית צבעים שגויים). אתגרים הנדסיים: נוטים ליצור דפוסים מוארי ואפקטים זיפר בעת עיבוד רצועות תדירות גבוהה. התאמה ומחלוקת: הפרמטרים העיקריים הם גבול גבול וחיסול צבעים שגויים. גבול גבול שהוא נמוך מדי יזהה בטעות רעש כמו גבולות, יצירת טקסטורות שגויות; דיכוי צבע שגוי שהוא גבוה מדי עשוי לחסל פרטים צבעים רגילים, מה שמוביל צבעים נטושים. CCM (Color Correction Matrix) – מסגרת תיקון צבעים ההשוואה לפני ואחרי של בלוקי צבע בתרשים מציינת את תפקידו של CCM: המרת החלל הצבעוני שנלקח על ידי החיישן לתוך חלל צבע סטנדרטי (כגון sRGB) אשר תואם יותר את הראייה האנושית, כדי להתאים בצורה מדויקת את צמיחת הצבעים ואת הצבע. יישום: הוא לוקח את הערכים העיקריים האדומים, הירוקים והכחולים הנקראים על-ידי המחשב, ולאחר סדרת חישובים משומשים, מחדש אותם לחלל הצבעים היעד. אתגרים הנדסיים: התגובה הלא ליניארית, זיהום בין צבעים וחיזוק רעש הם האתגרים העיקריים שעומדים בפני CCM. התאמה וביטול: המהות של התאמה CCM היא להתאים מטרייה של 3x3 טרנספורמציה. האלמנטים הדיאגונאליים במטרייה שולטים בעיקר על הרווח של כל ערוץ צבע, המשפיע על יציבות הכללית ואת איזון בהירות של התמונה; האלמנטים הלא-דיאגונאליים אחראים על פיצוי בין צבעים, משמשים כדי לתקן צבעים שופכים ולהתאים גוונים. התאמה מדויקת של עמידות המטרייה האלה דורשת איזון את החיפוש אחר צבעים זוהרים, ייצוג מדויק של טון העור, ודיכוי של חיזוק רעש. לדוגמה, הגדלת יתר של יציבות עלולה להוביל לצבע קליפ באזורים המובנים, בעוד מחלוקת לא נכונה 8 תיקון גמא קווי ההכנסה והיציאה בתרשים מסבירים בבירור את התהליך של תיקון גמא: יישום קווית לא ליניארית כדי להתאים את ערכי הבהירות של תמונה. העיקרון הוא כי התפיסה האנושית של בהירות היא לוגריטית (רגישה לשינויים באזורים כהים), בעוד שהיציאה של חיישן היא ליניארית. יישום: קווית זו מרחיבה אזורים כהים יותר של התמונה כדי להפוך לפרטים ברורים יותר, תוך דחיסה של אזורים בהירים יותר כדי למנוע חשיפה יתר, מה שהופך את המעברים האור-לחושך של התמונה הסופית והדירוג קבועים יותר עם התפיסה החזותית האנושית. אתגרים הנדסיים: מתיחות יתר של אזורים כהים מגבירה באופן משמעותי את הרעש; באותו זמן, התנהגות לא נכונה של פרטים בהירים עלולה להוביל לחתוך צבעים או להדביק, גורם לאזורים בהירים כמו השמים ואורות לאבד את תחושת העומק שלהם. התאמה ומחלוקת: הפרמטר העיקרי הוא צורת הקורבנות.נפילה קדומה יותר משפרת את ניגודת התמונה, אך עלולה לאבד פרטים באזורים בהירים וחשוכים; נפיחות רכה יותר יכולה להעשיר את העיצוב, אך עלולה לגרום לתמונה להיראות שטוחה. 9 הפחתת רעש כפי שמוצג על ידי ההשוואה לפני ואחרי התמונה של הפנים האנושיות, הפחתת רעש שואפת לחסל רעש אקראי שנגרם על ידי אור נמוך ו- ISO גבוה, שיפור טוהר התמונה. יישום: הפחתת רעש מחולקת בעיקר להפחתת רעש מרחבית (2DNR) ופחתת רעש זמני (3DNR). בצינורות ISP מעשיות, תבנית הצבע לעיבוד היא לא תשובה קבועה אחת אלא תלויה במיקום המוצר (למשל, טלפונים ניידים, מצלמות אינטרנט, רכב), תקציב ביצועים ואסטרטגיה לאיכות התמונה. 2DNR (Spatial NR) - What Color Format is Typically Used? Common Position 1: Bayer Domain (Raw Domain) Raw Bayer (RGrGbB) Processing Format: Before Demosaic Timing: Can directly model sensor read noise and shot noise; not affected by demosaic interpolation; best SNR Advantages: improvement. Algorithm design is more complex (needs to consider CFA pattern); commonly found in high-quality ISPs Disadvantages: (e.g., mobile phones, automotive). Common Position 2: YUV Domain (Luma & Chroma Separate Processing) : YUV (can process Luma Y and Chroma UV separately) Processing Format After Demosaic + CCM Timing: Lower computational load; can separate Luma and Chroma noise for targeted processing. Luma Denoise Advantages: focuses on preserving details, while Chroma Denoise can use stronger filtering to eliminate large color blotches. Noise has already been amplified or mixed by demosaic; excessive Chroma Denoise strength may lead to Disadvantages: color bleeding; commonly found in webcams or low-power ISPs. 3DNR (Temporal NR) - What Color Format is Typically Used? Common Position: Almost exclusively in the YUV Domain YUV (mostly performs motion detection on Luma Y + temporal filtering) Processing Format: After 2DNR Timing: Motion detection is most stable on the Luma Y channel; the human eye is most sensitive to brightness changes; Reasons: lower memory and computational load. Why is 3DNR rarely done in the RAW Domain? RAW data has not undergone color correction, making cross-frame Theoretically possible, but practically challenging: alignment difficult; motion estimation on a Bayer pattern is complex; high memory bandwidth requirements. Some high-end mobile phone ISPs may perform RAW Temporal NR, or consider HDR multi-frame merge as a form of RAW 3DNR. High-end Applications: האתגרים הנדסיים: המלחמה הנצחית בין כוח הפחתת רעש וחיזוק טקסטורות. התאמה ומחלוקת: הפרמטרים העיקריים הם כוח (כוח הפחתת רעש) ומגבלת תנועה (ל- 3DNR). כוח מוגזם עושה את התמונה נקיה אך מאבד באופן חמור פרטים כגון טקסטיל העור, ויוצר מראה "פלסטיק". תרגום: Color Space Conversion ההמרה בין ענפי הצבעים RGB ו- YUV בתרשים מציינת את הפונקציה של שלב זה: ההמרה של תמונה בפורמט RGB למרחבי צבעים אחרים, בדרך כלל פורמט YUV. המטרה היא לדחוס מאוחר יותר (כמו JPEG/H.264) והעברה, על ידי ההמרה של התמונה לתוך מרחב המפריד בין בהירות (Y) לבין כרומיננס (U/V). מאז העין האנושית רגישה הרבה יותר לבהירות מאשר כרומיננס, בפועל, U/V ניתן להוריד (לדוגמה, עד 4:2:0) כדי לחסוך רוחב פס מבלי להשפיע באופן משמעותי על איכות התמונה הסובייקטיבית. The main parameter is Chroma Subsampling format. The 4:4:4 format provides the highest color fidelity but has the largest bandwidth and storage requirements; 4:2:2 or 4:2:0 formats save bandwidth by reducing chrominance resolution, with minimal impact on human visual perception, but may produce slight aliasing at color edges in extreme cases. Tuning and Trade-offs: 11 שורש כפי שמוצג בהשוואה לפני ואחרי התמונה של הפנים האנושיות, חיצוניות שואפת להגדיל את הקונטרקט של קצוות האובייקט בתמונה כדי לפצות על החולשה הנגרמת על ידי המערכת האופטית והעיבוד הדיגיטלי, מה שהופך את הפרטים של התמונה להיראות בהירים יותר. Oversharpening produces white edges (Halo Artifacts). Engineering Challenges: The main parameter is Strength (sharpening strength). If the strength is too low, the image will appear blurry; if too high, it will produce noticeable white edges and amplify noise, making the image look unnatural. Tuning and Trade-offs: התמונה הסופית (OUTPUT) כפי שמוצג בתמונה הסופית של הנוף, לאחר כל שלבי העיבוד לעיל, הנתונים RAW המקוריים הופכים לבסוף לתמונה באיכות גבוהה מוכנה להופעה, לאחסון או ליישום נוסף. פרספקטיבות מעשיות בתעשייה: תובנות עמוקות מהנדסי התמונה התאמת ISP היא אף פעם לא רק נוסחה מדעית פשוטה, אלא אמנות של חיפוש הפתרון האופטימלי בין מגבלות פיזיות, כוח מחשוב אלגוריתמי, ודרישות יישום מנקודת המבט של מהנדס תמונה, הדרישות ל- ISP בתעשיות שונות משקפות את ההבדלים בערכי הליבה שלהם: אלקטרוניקה צרכנית: החיפוש האולטימטיבי של התרגשות בענף המכשירים הניידים, "התמונה" של תמונה מוערך יותר מאשר "הריאליזם שלה." מהנדסים משקיעים מאמץ משמעותי באלגוריתם של זיהוי סצנה AI ושיפור.כדי להשיג טווח דינמי גבוה על חיישנים קטנים מאוד, טכניקות מורכבות של צילומי טון וסינתזה מרובים הן ליבה.האתגר כאן הוא להשלים חישובים מסיביים בתוך עיכוב קצר מאוד ולייצר תמונות "blockbuster" שניתן לשתף ישירות ברשתות החברתיות. שיתוף וידאו: איזון גוון העור וסביבה עבור , האתגר העיקרי הוא המורכבות הקיצונית של תאורה בפנים (כגון תערובת של אורות פלואורסנט במשרד ואור יום של חלון). המוקד של התאמה עבור מהנדסים הוא על "שחזור טון העור" ו "שיווי משקל לבן". בתוך תקציב כוח מוגבל, זה חיוני כדי להבטיח כי אנשים ב וידאו כנסים להיראות מקצועי וטבעי. באותו הזמן, 3DNR חייב לספק תמונה נקיה באור נמוך מבלי לייצר חפצים תנועה מפריעה. PC platforms and video peripherals צילום רכב: שומר בטיחות החיים בתחום הרכב, התמונות אינן מיועדות לצפייה אנושית אלא למכונות (ADAS / אלגוריתמים לנהיגה אוטונומית). המפתחות כאן הן "מגוון דינמי גבוה מאוד (HDR)" ו"טינטציה נמוכה מאוד". מהנדסים חייבים להבטיח שכאשר הם נכנסים ומוצאים מנהרות או מתמודדים עם תאורה אחורית חזקה, ה- ISP יכול לייצר תמונות עם פרטים ברורים במילישניות, ללא כל חפצים שיכולים לגרום לטעויות אלגוריתמיות. רפואה ותעשייה: המבחן האולטימטיבי של דיוק (כגון אנדוסקופים) דורש דיוק צבע רב ביותר, כמו צבע קטן עשוי להשפיע על האבחנה של רופא של נגעים רקמות. , מצד שני, שואפת מדויקות גיאומטרית מוחלטת וליניאריות אופטית. בשדות אלה, מהנדסים בדרך כלל להשבית את רוב תכונות "Beautification", במקום להתמקד על חוזר ושלמות נתונים של עיבוד ה- ISP. Medical imaging Industrial vision אבטחה ומעקב: יכולת זיהוי כל מזג האוויר האתגרים בענף האבטחה מסתובבים סביב "סביבות קיצוניות."ההנדסים חייבים לחלץ תכונות מספיקות לזיהוי פנים או צלחות רישיון באור נמוך מאוד (אפילו בתנאי אור כוכבים) באמצעות הפחתת רעש חזקה ולקבל שליטה. תעשיית דרונים: האיזון האולטימטיבי של פרספקטיבה אווירית מהנדסים בתמונות אתגרים רבים, קודם כל טיסות אוויריות נפגשות לעתים קרובות עם תאורה אחורית דרסטית וניגודת קרקע, הדורשת ה- ISP להיות בעל יכולות עיבוד HDR מעולות. כיצד לייצר תמונות יציבות ללא אפקטים ג'לו באמצעות ISP בשילוב עם יציבות ג'ימבל ואלגוריתם של יציבות תמונה אלקטרונית (EIS) במהלך טיסה במהירות גבוהה וטביעות הגוף. ; עבור FPV (First Person View) בטיחות טיסה ובקרה בזמן אמת, עיבוד ISP חייב להיות יעיל מאוד כדי להפחית את עיכוב התמונה. המהנדסים חייבים לחפש את האיזון האופטימלי בין איכות התמונה לבין כוח החישוב בתנאי חיי הסוללה והטמפרטורה המוגבלים, ובכך להבטיח את איכות התמונה מבלי להקריב זמן טיסה ואמינות ציוד. drone industry extreme lighting variation high-speed motion compensation low-latency video transmission requirement lightweight design and power consumption balance סיכום מהנתונים האקראים של בייר שנעצרו על ידי חיישן עד לתמונה הסופית עשירה בצבעים ובפרטים, המסע הוא אחד קסום המוביל על ידי ה- ISP. מאמר זה גילה את 12 השלבים המרכזיים של מסע זה, מהתיקונים הפיזיים הבסיסיים לשיקום צבע הליבה, ובסופו של דבר לאיכות תמונה אופטימיזציה. לא רק ניסינו את העקרונות הטכניים ואת האתגרים הנדסיים של כל צעד, אלא גם שילמנו את התערובות של התאמת פרמטרים, ומגלים את המורכבות של התאמת תמונה. חשוב יותר, באמצעות ניתוח של נקודות מבט מעשיות מענפי תעשיות שונות כגון אלקטרוניקה צרכנית, רכב, ורפואה, אנו יכולים לראות כי אין "ה מסקנה מהנדס תמונה מצטיין צריך לא רק לשלוט בכל מודל מתמטי ב- ISP Pipeline אלא גם להבין לעומק את "צרכי המשתמש" מאחורי המוצר.בחדר האפל הדיגיטלי, מה שאנו מתאימים הוא לא רק פיקסלים ורווחים, אלא את הדרכים השונות של תעשיות שונות לפרש את העולם האמיתי. Disclaimer כל התמונות במאמר זה נועדו אך ורק כדי להדגים את המושגים הטכניים של ISP ואינן מייצגות כל מותג או מוצר ספציפי. → והיא מיועדת לשיחה טכנית כללית ושיתוף חוויות בלבד.היא אינה מהווה ייעוץ מקצועי או הדרכה כלשהי.הקוראים צריכים להעריך את היעילות שלה בעצמם והם אחראים לכל פעולות שנעשו בהתבסס על התוכן של מאמר זה. Some images are AI-generated The content of this article is based on the author's years of practical experience in image engineering