Моделювання та рендеринг на основі зображень

У комп'ютерній графіці та комп'ютерному зорі методи моделювання та рендеринг на основі зображень (далі IBMR) (англ. image-based modeling and rendering) покладаються на набір двовимірних зображень сцени для створення тривимірної моделі, а потім створення зображень цієї самої сцени з інших точок.

Традиційний підхід комп'ютерної графіки був використаний для створення геометричної моделі в тривимірному просторі (далі 3D) та спроби перепроектувати її на двовимірне зображення. Комп'ютерний зір, навпаки, в основному зосереджений на виявленні, групуванні та виявленні ознак (країв, облич, тощо), наявних у певній картині та з подальшим використанням їх як підказок для просторового зображення. Моделювання та відображення на основі зображень дозволяє використовувати декілька двовимірних зображень, щоб генерувати безпосередньо нові двовимірні зображення, оминаючи етап ручного моделювання.

Світлове моделювання

Замість того, щоб розглядати лише фізичну модель твердого тіла, методи IBMR більше зосереджуються на моделюванні розповсюдження світла. Фундаментальною концепцією IBMR є пленоптична функція освітлення, яка є параметризацією світлового поля або поля світлового вектора. Пленоптична функція описує світлові промені, що містяться в заданому просторі. Промінь може бути описаний як семи-вимірний об'єкт через положення $(x,y,z)$, напрямок $(\theta ,\phi )$, довжину хвилі $(\lambda )$ та час $(t)$ : $P(x,y,z,\theta ,\phi ,\lambda ,t)$. Методи IBMR намагаються апроксімувати пленоптичну функцію, щоб на основі одного набору двовимірних зображень можна було створити інші двовимірні зображення. Враховуючи високу вимірність цієї функції, практичні методи встановлюють обмеження на кількість параметрів (як правило, від 2 до 4).

Методи та алгоритми IBMR

• Морфінг генерує перехідні кадри між зображеннями
• Панорамне зображення створюється на основі окремих нерухомих зображень
• Люміграф спирається на щільну вибірку сцени
• Різьблення у просторі створює 3D-модель на основі узгодженості фотографій

Див. також

• Генерація зображення
• Об'ємна відбудова
• Структура із руху

Посилання

• Quan, Long. Image-based modeling. Springer Science & Business Media, 2010. [1] [Архівовано 20 жовтня 2018 у Wayback Machine.]
• Ce Zhu; Shuai Li (2016). Depth Image Based View Synthesis: New Insights and Perspectives on Hole Generation and Filling. IEEE Transactions on Broadcasting. 62 (1): 82—93. doi:10.1109/TBC.2015.2475697.
• Mansi Sharma; Santanu Chaudhury; Brejesh Lall; M.S. Venkatesh (2014). A flexible architecture for multi-view 3DTV based on uncalibrated cameras. Journal of Visual Communication and Image Representation. 25 (4): 599—621. doi:10.1016/j.jvcir.2013.07.012.
• Mansi Sharma; Santanu Chaudhury; Brejesh Lall (2014). Kinect-Variety Fusion: A Novel Hybrid Approach for Artifacts-Free 3DTV Content Generation. In 22nd International Conference on Pattern Recognition (ICPR), Stockholm, 2014. doi:10.1109/ICPR.2014.395.
• Mansi Sharma; Santanu Chaudhury; Brejesh Lall (2012). 3DTV view generation with virtual pan/tilt/zoom functionality. Proceedings of the Eighth Indian Conference on Computer Vision, Graphics and Image Processing, ACM New York, NY, USA. doi:10.1145/2425333.2425374. Архів оригіналу за 1 лютого 2016. Процитовано 28 листопада 2019.