Процесор зображення

Процесор зображення — це спеціалізований процесор цифрових сигналів, що використовується для обробки зображень в цифрових камерах, мобільних телефонах або інших пристроях.^[1]^[2] Процесори зображення часто використовують паралельні обчислення навіть з SIMD або MIMD технологіями задля підвищення швидкості та ефективності. Ядро системи обробки цифрового зображення може виконувати цілий ряд задач. Для більшої інтеграції з вбудованими сервісами часто це система на кристалі з мультипроцесорною архітектурою.

Функції

Баєровська трансформація

Фотодіоди які використовуються у сенсорах зображення за своєю природою не розрізняють кольору: вони здатні записувати тільки відтінки сірого. Для отримання кольору їх покривають кольоровими фільтрами: червоним, зеленим та синім (RGB) у відповідності до схеми Баєровського фільтра. Так як кожен діод записує інформацію виключно для одного пікселя зображення, без процесора зображення ми будемо мати зелений піксель поруч з кожним червоним та синім. (Насправді більшість сенсорів мають два зелених на кожен синій та червоний діоди)

Однак цей процес є досить складним і включає в себе цілий ряд різних операцій. Його якість багато в чому залежить від ефективності алгоритмів, застосовуваних на даних, що надходять від датчика. Математично оброблені дані стають записаним фото-файлом.

Демозаїкізація

Як зазначено вище, процесор зображення обробляє дані про колір та яскравість окремого пікселя, порівнює за даними сусідніх пікселей та використовує демозаїкуючий алгоритм для визначення відповідного кольору та яскравості пікселя. Процесор зображення також використовує все зображення для визначення коректного розподілення контрасту. Регулюючи гаму (змінюючи контрастний діапазон середніх тонів зображення) можна добитися більш реалістичного вигляду тонких градацій кольору, як наприклад людська шкіра або колір неба.

Зниження шуму

Шум — це явище, яке виникає у будь-якій електричній схемі. У цифровій фотографії цей ефект зазвичай виявляться у виді точок вочевидь неправильного кольору на якісь однотонній області. Шум збільшується з температурою та часом експозиції. При виборі більшого ISO, сигнал з сенсора посилюється, що водночас підсилює наявний шум, що призводить до зниження співвідношення сигнал/шум. Процесор зображення намагається відділити шум від інформації та видалити його. Це може бути досить складно через те, що якщо зображення має ділянки зі складними текстурами, то вони можуть втратити у чіткості, якщо будуть розпізнані як шум.

Підвищення різкості

Через те що ми інтерполюємо колір та яскравість кожного пікселя, до зображення доводиться використовувати деяке розмалювання, для згладжування негараздів які могли виникнути під час операції. Для збереження враження глибини та чіткості зображення, процесор повинен додати різкості до країв та контурів. Внаслідок цього необхідно коректно виявляти контури та відновлювати їх гладко та без надмірної різкості.

Моделі

Користувачі процесорів зображення використовують стандартні індустріальні продукти, інтегральні схеми з програмованою користувачем структурою фбо навіть інтегральні схеми для специфічного застосування з торговими іменами: Canon використовує DIGIC, Nikon — EXPEED, Olympus — TruePic, Panasonic — VENUS Engine та Sony — BIONZ. Відомо, що деякі базуються на Fujitsu Milbeaut, Texas Instruments OMAP, Panasonic MN103, Zoran Coach, Altek Sunny або Sanyo процесорах.

ARM-процесори з NEON SIMD Media Processing Engines (MPE) часто використовуються у мобільних телефонах.

Процесори за виробниками

Canon - DIGIC (базується на Texas Instruments OMAP)^[3]
Casio - EXILIM engine
Epson - EDiART
Fujifilm - EXR III або X Processor Pro
Minolta / Konica Minolta - SUPHEED з CxProcess
Leica - MAESTRO (базується на Fujitsu Milbeaut)^[4]
Nikon - EXPEED (базується на Fujitsu Milbeaut)^[5]
Olympus - TruePic (базується на Panasonic MN103/MN103S)
Panasonic - Venus engine (базується на Panasonic MN103/MN103S)
Pentax - PRIME (Pentax Real IMage Engine) (новіші варіанти базуються на Fujitsu Milbeaut)
Ricoh - GR engine (GR digital), Smooth Imaging Engine
Samsung - DRIMe (базується на Samsung Exynos)
Sanyo - Platinum engine
Sigma - True (новіші варіанти базуються на Fujitsu Milbeaut)
Sharp - ProPix
Sony - BIONZ
HTC - ImageSense

Швидкість

Чим більшою стає кількість пікселей на сенсорах, тим критичнішою є швидкодія процесорів зображення: фотографи не хочуть чекати на завершення обробки, більш того, вони навіть не хочуть помічати, що щось проходить всередині камери. Саме тому необхідно постійно оптимізувати процесори для обробки більшої кількості даних за той самий або менший проміжок часу.

Примітки

↑ DIGITAL SIGNAL & IMAGE PROCESSING (PDF). Архів оригіналу (PDF) за 24 вересня 2015. Процитовано 13 жовтня 2016.
↑ Fundamentals of digital image processing (PDF). Архів оригіналу (PDF) за 13 грудня 2016. Процитовано 13 жовтня 2016.
↑ Inside the Canon Rebel T4i DSLR [Архівовано 21 вересня 2012 у Wayback Machine.] Chipworks
↑ Fujitsu Microelectronics-Leica's Image Processing System Solution For High-End DSLR. Архів оригіналу за 7 жовтня 2008. Процитовано 13 жовтня 2016.
↑ Milbeaut and EXPEED [Архівовано 21 травня 2016 у Wayback Machine.] byThom

Див. також

[1] DIGITAL SIGNAL & IMAGE PROCESSING (PDF). Архів оригіналу (PDF) за 24 вересня 2015. Процитовано 13 жовтня 2016.

[2] Fundamentals of digital image processing (PDF). Архів оригіналу (PDF) за 13 грудня 2016. Процитовано 13 жовтня 2016.

[3] Inside the Canon Rebel T4i DSLR [Архівовано 21 вересня 2012 у Wayback Machine.] Chipworks

[4] Fujitsu Microelectronics-Leica's Image Processing System Solution For High-End DSLR. Архів оригіналу за 7 жовтня 2008. Процитовано 13 жовтня 2016.

[5] Milbeaut and EXPEED [Архівовано 21 травня 2016 у Wayback Machine.] byThom

[1]

[2]

[3]

[4]

[5]