Цифровий шум зображення

Цифровий шум - випадкові та випадково розташовані (відсутні на реальному об'єкті) зміни яскравості або кольору пікселів. Шум - це небажаний побічний продукт захоплення зображення, який додає зайву інформацію. Вони можуть бути викликані дефектами цифрової матриці, занадто високою чутливістю або значною зміною температури матриці. Цифровий шум помітний на зображенні у вигляді накладеної маски з пікселів випадкового кольору і яскравості.

Цифровий шум на зображенні

На камерах з масивом кольорових фільтрів (до цього типу належать більшість цифрових камер) цифровий шум зазвичай має візуально більші зерна, ніж пікселі на зображеннях. Це є побічним ефектом для алгоритму отримання кольорового зображення.

Для трьохматричної системи або матриці без фільтра шум буде більш дрібнозернистим.

У кольоровому зображенні шум може мати різну інтенсивність для різних каналів зображення. Це візуально забарвлює його. Шум на фотографії знятої при лампах розжарювання має переважно жовто-сині відтінки, а не зелено-фіолетові. Справа в тому, що хоча спочатку все пікселі однаково схильні до шуму, але після застосування балансу білого синій канал зображення, і, відповідно, шум у ньому збільшуються сильніше.

Шум помітний на однотонних ділянках, а особливо - на темних ділянках зображення.

Як прийнято в електроніці , зазвичай говорять про відношенні сигнал-шум . Наочно можна порівнювати шум різних матриць так: привести дві парні тестові фотографії до одного розміру і однакової яскравості, і після цього візуально оцінити колірні шуми.

Іноді цифровий шум ототожнюють з такими явищами звичайної (хімічної) фотографії, як зернистість плівки і фотографічна вуаль .

Причини виникнення цифрового шуму

У кожному пікселі ПЗЗ-матриці або CMOS- матриці при дії світла виникає внутрішній фотоелектричний ефект . Як результат, у відповідній точці пікселя генеруються носії струму, величина яких залежить прямо пропорційно світловому потоку на поверхню пікселя, що реєструє світло. Однак ці носії також породжуються явищами, які не залежать від освітлення, і вони відповідають за шум, видимий на фотографіях. Шум викликаний тепловою генерацією носіїв у напівпровіднику, дефектами в структурі напівпровідника або неточностями в ізоляції світлочутливої ​​області кожного пікселя від сусідніх областей.

На відношення сигнал-шум впливають шуми аналогової електроніки цифрового фотоапарата ( «обв'язування», підсилювачі, АЦП ), але основним джерелом цифрового шуму є фотосенсор . Цифровий шум в фотосенсорів виникає з наступних причин.

1. Дефекти (домішки та ін.) потенційного бар'єру викликають витік заряду, згенерованого за час експозиції - так званий чорний дефект. Такі дефекти видно на світлому тлі у вигляді темних крапок.
2. Dark current(англ.,темновий струм) - є шкідливим наслідком термоелектронної емісії і «тунельного» ефекту і виникає в сенсорі при подачі потенціалу на електрод, під яким формується потенційна яма . «Темновим» даний струм називається тому, що складається з електронів, що потрапили в яму при відсутності світлового потоку. Такі дефекти видно на темному тлі у вигляді світлих точок, так званий білий дефект. Білі дефекти особливо проявляються при великих експозиціях. Основна причина виникнення темнового струму - це домішки в кремнієвій пластині або пошкодження кристалічної решітки кремнію. Чим чистіше кремній, тим менше темновий струм. На темновий струм впливає температура елементів камери, електромагнітні наведення, як зовнішні, так і внутрішні, від самої камери. При збільшенні температури на 6-8 градусів значення темнового струму подвоюється.

3. 

   На лівій частині зображення наведено фрагмент фотографії, знятої при несприятливих умовах (довга витримка, висока чутливість ISO), шум добре помітний. На правій частині зображення - фрагмент фотографії, знятої за сприятливих умов. Шум практично непомітний

   Через шум, що виникає внаслідок стохастичної природи взаємодії фотонів світла з атомами матеріалу фотодіодів сенсора. При русі фотона усередині кристалічної решітки кремнію, ймовірно, що фотон, «потрапивши» в атом кремнію, виб'є з нього електрон, народивши пару електрон-дірка, але сказати точно, скільки фотонів народить пари, а скільки пропаде з якимись іншими ефектами, не можна. Електричний сигнал, що знімається з сенсора, буде відповідати кількості народжених пар. Знімається сигнал з сенсора при заданих швидкість затвора та фокальної (інтенсивності світла) буде визначати квантова ефективність  - середнє число народжуваних пар електрон-дірка.
4. Через наявність дефектних (які не працюють) пікселів, які виникають при виробництві фотосенсорів (недосконалість технології) і завжди знаходяться в одному і тому ж місці. Для усунення їх негативного впливу використовуються математичні методи інтерполяції, коли замість дефектного «підставляється» або просто сусідній елемент, або середнє по прилеглим елементів, яке значення, обчислене більш складним способом. Природно, що обчислене значення відрізняється від фактичного і погіршує різкість кінцевого зображення. Цей же дефект вносить інтерполяція, коригуюча кінцеве зображення, при використанні фільтра Байера.

Матриці з малим пікселем зазвичай мають більше шуму, ніж матриці з більшими пікселями. Отже, у популярних цифрових камерах, оснащених датчиками з діагоналлю 7-8 мм, шум зазвичай добре видно при чутливості ISO 150-200, тоді як у цифрових дзеркальних камерах, де діагональ матриці становить приблизно 30-40 мм, шум починає турбувати при чутливості ISO 6400-12800. Шум стає помітним при великому збільшенні.

Способи боротьби з цифровим шумом

Цифровий шум, як правило, є небажаним явищем. Є багато способів зменшити шум, зокрема:

Зменшити чутливість

Одним із способів боротьби з цифровим шумом на фотографіях є зменшення чутливості ISO. Це обмежує посилення цифрового сигналу, що в свою чергу зменшує струм. Ефект нижчого струму посилення полягає в обмеженні температури окремих напівпровідникових структур. Чим нижча температура окремих пікселів, тим менше забруднення сигналу надмірною інформацією.

Віднімання чорної рамки

Інший спосіб зменшити шум на фотографіях - відняти чорну рамку. Це передбачає повторне фотографування з тими самими часовими параметрами та тією ж чутливістю, але без відкривання затвора камери. Тоді реєструється лише шум. Отриманий таким чином кадр віднімається від першого знімка, що фактично видаляє від нього небажаний шум.

Недоліком цього рішення є подвоєння часу зйомки однієї фотографії (необхідність зробити другу фотографію з однаковим часом експозиції). У випадку дуже тривалого часу експозиції також існує проблема з різницею температури матриці під час кожної фотографії - після зйомки першої фотографії матриця має більш високу температуру, ніж до її зйомки, тому в чорній рамці буде більше шуму, ніж на першій фотографії.

Збільшити коефіцієнт заповнення пікселів

Окремі пікселі на цифровій матриці повинні реєструвати світло, що падає на частину матриці, яку вони займають. Однак не всі області пікселів використовуються для збору інформації про інтенсивність світла. Більш високий коефіцієнт заповнення пікселів означає, що більше точок вимірюється світлом, що, в свою чергу, дозволяє проводити точніші вимірювання. Чітко видно шум на цифровій фотографії

Збільшення розміру матриці

Розмір датчика зображення є найважливішим фактором рівня сигналу, який визначає відношення сигнал / шум. Загалом, більші світлочутливі масиви генерують менше шуму, ніж малі датчики. Шум залежить головним чином від поверхні датчика, а не від того, як ця область поділена на пікселі. Наприклад, шум, який генерується датчиком Four Thirds при ISO 800, приблизно еквівалентний кількості шуму, що генерується повнокадровим датчиком ISO 3200. У свою чергу, такий же шум видає датчик компактної камери розміром 1/2,5". до ISO 100. Здатність генерувати слабко шумні зображення при високій чутливості є одним з головних факторів при виборі дзеркальних фотокамер досвідченими фотографами.

Див.також

• Шум квантування
• Цифрова електроніка
• Зниження шуму

Джерела

1. Lindsay MacDonald (2006). Digital Heritage. Butterworth-Heinemann. ISBN 0-7506-6183-6.
2. Mehdi Mafi, Harold Martin, Jean Andrian, Armando Barreto, Mercedes Cabrerizo, Malek Adjouadi, “A Comprehensive Survey on Impulse and Gaussian Denoising Filters for Digital Images,” Signal Processing, vol. 157, pp. 236-260, 2019.
3. Rafael C. Gonzalez; Richard E. Woods (2007). Digital Image Processing. Pearson Prenctice Hall. ISBN 978-0-13-168728-8.
4. Alan C. Bovik (2005). Handbook of Image and Video Processing. Academic Press. ISBN 0-12-119792-1.
5. Linda G. Shapiro; George C. Stockman (2001). Computer Vision. Prentice-Hall. ISBN 0-13-030796-3.
6. Boncelet, Charles (2005). "Image Noise Models". In Alan C. Bovik (ed.). Handbook of Image and Video Processing. Academic Press. ISBN 0-12-119792-1.
7. Stroebel, Leslie; Zakia, Richard D. (1995). The Focal encyclopedia of photography. Focal Press. p. 507. ISBN 978-0-240-51417-8.
8. Rohankar, Jayant (Nov 2013). "SURVEY ON VARIOUS NOISES AND TECHNIQUES FOR DENOISING THE COLOR IMAGE" (PDF). International Journal of Application or Innovation in Engineering & Management. 2 (11). Retrieved 15 May 2015.
9. Philippe Cattin (2012-04-24). "Image Restoration: Introduction to Signal and Image Processing". MIAC, University of Basel. Retrieved 11 October 2013.
10. Jun Ohta (2008). Smart CMOS Image Sensors and Applications. CRC Press. ISBN 978-0-8493-3681-2.
11. Junichi Nakamura (2005). Image Sensors and Signal Processing for Digital Still Cameras. CRC Press. ISBN 0-8493-3545-0.
12. Brian W. Keelan; Robert E. Cookingham (2002). Handbook of Image Quality. CRC Press. ISBN 0-8247-0770-2.
13. Joseph G. Pellegrino; et al. (2006). "Infrared Camera Characterization". In Joseph D. Bronzino (ed.). Biomedical Engineering Fundamentals. CRC Press. ISBN 0-8493-2122-0.
14. McHugh, Sean. "Digital Cameras: Does Pixel Size Matter? Part 2: Example Images using Different Pixel Sizes (Does Sensor Size Matter?)". Retrieved 2010-06-03.
15. R. N., Clark (2008-12-22). "Digital Cameras: Does Pixel Size Matter? Part 2: Example Images using Different Pixel Sizes (Does Sensor Size Matter?)". Retrieved 2010-06-03.
16. Wrotniak, J. Anderzej (2009-02-26). "Four Thirds Sensor Size and Aspect Ratio". Retrieved 2010-06-03.
17. Singh, Akansha; Singh, K.K. (2012). Digital Image Processing. Umesh Publications. ISBN 978-93-80117-60-7.
18. Mehdi Mafi, Hoda Rajaei, Mercedes Cabrerizo, Malek Adjouadi, “A Robust Edge Detection Approach in the Presence of High Impulse Intensity through Switching Adaptive Median and Fixed Weighted Mean Filtering,” IEEE Transactions on Image Processing, vol. 27, issue. 11, 2018, pp. 5475-5490.
19. Charles Boncelet (2005), Alan C. Bovik. Handbook of Image and Video Processing. Academic Press. ISBN 0-12-119792-1
20. Janesick, James R. (2001). Scientific Charge-coupled Devices. SPIE Press. ISBN 0-8194-3698-4.
21. Michael A. Covington (2007). Digital SLR Astrophotography. Cambridge University Press. ISBN 978-0-521-70081-8.
22. R. E. Jacobson; S. F. Ray; G. G. Attridge; N. R. Axford (2000). The Manual of Photography. Focal Press. ISBN 0-240-51574-9.
23. Thomas S. Huang (1986). Advances in Computer Vision and Image Processing. JAI Press. ISBN 0-89232-460-0.