Об'ємна відбудова

У комп'ютерному зорі та комп'ютерній графіці об'ємна відбудова або 3D-реконструкція — це процес охоплення форми і зовнішнього вигляду реальних об'єктів. Цей процес може бути виконаний або активними або пасивними методами.^[1] Якщо моделі дозволено змінювати свою форму в часі, це називається нежорсткою або просторово-часовою відбудовою^[2].

Мотивація та застосування

Дослідження 3D реконструкції завжди було важко досяжною метою. За допомогою об'ємної відбудови можна визначити 3D-контури будь-якого об'єкта, а також дізнатися тривимірні координати будь-якої точки контуру. Об'ємна відбудова об'єктів є загально науковою проблемою і основною технологією широкого спектра областей, таких як автоматизоване проєктування (CAGD), комп'ютерна графіка, комп'ютерна анімація, комп'ютерний зір, медична візуалізація, обчислювальна наука^[en], віртуальна реальність, цифрові медіа і т. д. Наприклад, інформація про ураження пацієнтів може бути представлена в тривимірному вигляді на комп'ютері, що пропонує новий і точний підхід в діагностиці, що має життєво важливе клінічне значення^[3]. Цифрові моделі рельєфу місцевості можуть бути відновлені за допомогою таких методів, як повітряна лазерна альтиметрія^[4] або радар із синтезованою апертурою^[5].

Активні методи

Активні методи, тобто методи даних діапазону, враховуючи карту глибини^[en], реконструюють 3D-профіль за допомогою чисельних методів і будують об'єкт на основі моделі. Ці методи активно впливають на реконструйований об'єкт, або механічно, або радіометрично за допомогою далекомірів, щоб отримати карту глибини, наприклад, структуроване світло^[en], лазерний далекомір та інші активні методи зондування. Простий приклад механічного методу буде використовувати глибиномір для вимірювання відстані до обертового об'єкта, поміщеного на поворотний стіл. Більш застосовані радіометричні методи випускають випромінювання в бік об'єкта, а потім вимірюють його відбиту частину. Приклади залежать від рухомих джерел світла, кольорового видимого світла, Time-of-flight камери^[6] до мікрохвиль або 3D-ультразвуку^[en]. Щоб отримати додаткові відомості див. розділ 3D-сканування.

Пасивні методи

Пасивні методи 3D-реконструкції не заважають реконструйованому об'єкту; вони тільки використовують датчик для вимірювання світла, відбитого або випущеного поверхнею об'єкта, щоб вивести його 3D-структуру через розуміння зображення.^[7] Як правило, датчик є зображенням в камері, чутливої до видимого світла, набір цифрових зображень (одне, два або більше) або відео є вхідним сигналом для цього методу. В цьому випадку ми говоримо про реконструкцію на основі зображень, а вихід-це 3D-модель. У порівнянні з активними методами, пасивні методи можуть застосовуватися більш частіше.

Методи монокулярних сигналів

Методи монокулярних^[en] сигналів відносяться до використання одного або декількох зображень з однієї точки зору (камери) для переходу до 3D-побудови. Він використовує 2D-характеристики (наприклад, силуети, затінення і текстуру) для вимірювання 3D-форми, і саме тому він також називається Shape-From-X, де X може бути силуетами, затіненням, текстурою і т. д. 3D-реконструкція за допомогою монокулярних сигналів проста і швидка, і потрібно тільки одне відповідне цифрове зображення. Технічно, це дозволяє уникнути встановлення стерео-відповідності, що є досить складним завданням.

Створення та реконструкція 3D-фігур із одиночних або багатопрофільних карт глибин або силуетів^[8]

Форма-затінення завдяки аналізу інформації про яскравість точок поверхні об'єкта на зображенні, за припущенням ламбертового характеру відбиття, відновлюються нормалі поверхні об'єкта та глибина точок для реконструкції.^[9]

Фототометричне стерео. Цей підхід є складнішим, ніж метод затінення форми. Зображення, зроблені в різних умовах освітлення, використовуються для розв'язання інформації про глибину. Варто відзначити, що при такому підході потрібно більше одного зображення^[10].

Форма текстури. Припустимо, що об'єкт з гладкою поверхнею, вкритий реплікованими текстурними одиницями, і його проєкція з 3D у 2D викликає спотворення і перспективу. Спотворення і перспектива, виміряні у 2D-зображеннях, дають підказку для зворотного розв'язання глибини нормальної інформації поверхні об'єкта.^[11]

Бінокулярне стереобачення

Бінокулярне стереобачення отримує тривимірну геометричну інформацію про об'єкт з декількох зображень, основаних на дослідженні зорової системи людини. Результати представлені у вигляді карт глибин. Зображення об'єкта, отримані двома камерами одночасно під різними кутами огляду або однією камерою в різний час під різними кутами, використовуються для відновлення його тривимірної геометричної інформації і відновлення його тривимірного профілю та місця розташування. Це пряміші методи, ніж монокулярні, такі як форма від затінення.

Метод бінокулярного стереобачення вимагає наявності двох однакових камер з паралельною оптичною віссю для спостереження одного і того ж об'єкта, отримання двох зображень з різних точок зору. З точки зору тригонометричних співвідношень, інформація про глибину може бути обчислена з диспаритету. Бінокулярний метод стереобачення добре розвинений і стабільно сприяє 3D реконструкції, що призводить до кращої продуктивності у порівнянні з іншими 3D-реконструкціями. На жаль, це обчислювально інтенсивніше, до того ж це працює досить погано, коли базова відстань завелика.

Постановка проблеми та основи

Підхід використання бінокулярного стереобачення для отримання тривимірної геометричної інформації об'єкта засновується на бінокулярній невідповідності. На наступному малюнку представлена принципова проста схема бінокулярного стереобачення з горизонтальним зором, де b — базова лінія між проєктивними центрами двох камер.

Геометрія стереоскопічної системи

Початок координат камери знаходиться в оптичному центрі об'єктива, як показано на малюнку. Насправді площина зображення камери знаходиться за оптичним центром об'єктива. Однак для спрощення розрахунку зображення його розміщують перед оптичним центром об'єктива f. Вісь u і вісь v системи координат зображення O₁uv знаходяться в одному напрямку з осями x і y, системи координат камери відповідно. Початок координат зображення знаходиться на перетині площини зображення і оптичної осі. Припустимо, що така світова точка P, відповідні точки зображення якої є P₁ (u₁, v₁) та P₂ (u₂, v₂) відповідно на лівій і правій площині зображення. Припустимо, що дві камери знаходяться в одній площині, тоді Y-координати P₁ і P₂ ідентичні, тобто v₁=v₂. За тригонометричним співвідношенням,

$u_{1}=f{\frac {x_{p}}{z_{p}}}$

$u_{2}=f{\frac {x_{p}-b}{z_{p}}}$

$v_{1}=v_{2}=f{\frac {y_{p}}{z_{p}}}$

де (x _p, y _p, z _p) — координати P в лівій системі координат камери, f — фокусна відстань камери. Візуальна диспропорція визначається як різниця в місці розташування точки до зображення іншої точки світу, отриманою двома камерами,

$d=u_{1}-u_{2}=f{\frac {b}{z_{p}}}$

на підставі чого можуть бути знайдені координати P.

Тому, як тільки координати точок зображення відомі, крім параметрів двох камер, можна визначити тривимірну координату точки.

$x_{p}={\frac {bu_{1}}{d}}$

$y_{p}={\frac {bv_{1}}{d}}$

$z_{p}={\frac {bf}{d}}$

3D-реконструкція складається з наступних розділів:

Здобуття зображень

Отримання 2D цифрового зображення є джерелом інформації для 3D реконструкції. Зазвичай використовується 3D-реконструкція заснована на двох або більше зображеннях, хоча в деяких випадках вона може використовувати тільки одне зображення. Існують різні типи методів отримання зображень, які залежать від випадків і цілей конкретного додатка. Необхідно враховувати не тільки вимоги програми, але і візуальну невідповідність, освітленість, продуктивність камери і особливість сценарію.

Калібрування камери

Див. також: Калібрування камери

Калібрування камери у стереобаченні полягає у визначенні перетворення між координатами точок зображення P₁ (u₁, v₁) та P₂ (u₂, v₂) та координатою відповідної точки P (x_p, y_p, z_p) у 3D-просторі. Калібрування камери є основною частиною 3D-реконструкції за допомогою стереобачення. Калібрування включає визначення внутрішніх (фокальна відстань, принципова точка камери) та зовнішніх (обертання та зсув) параметрів камери, що ставить за кінцеву мету визначення матриць камери необхідних для подальшої тріангуляції.

Виділення ознак

Першим кроком реконструкції тривимірного об'єкта є пошук на зображеннях характерних локальних ознак, що зберігаються при просторових перетвореннях (обертання та переміщення камери) та зміні умов освітлення і тому можуть бути знайдені на інших зображеннях об'єкта. Як правило для цього використовуються SIFT ознаки. У випадку об'єктів із слабко вираженою текстурою визначення ознак може бути складною задачею, в таких випадках доводиться використовувати фотометричні методи.

Стерео відповідність

Стерео відповідність полягає у співставленні визначених на попередньому кроці ознак зображень, тобто у знаходженні пар точок зображень P₁ (u₁, v₁) та P₂ (u₂, v₂) яким відповідає одна й та сама тривимірна точка об'єкта. Слід звернути увагу, що зовнішні фактори, наприклад, освітлення, шум, фізичні характеристики поверхні і т. д. сильно впливають на знаходження відповідностей.

Відновлення

У випадку точного визначення відповідностей на зображеннях та параметрів камери неважко визначити положення відповідної точки у тривимірному просторі за допомогою тріангуляції. Однак у зв'язку з тим, що на точність виділення та співставлення ознак впливає велика кількість зовнішніх факторів, а параметри камери не завжди можливо визначити точно, на практиці використовуються методи пошуку оптимального розв'язку, що мінімізує сумарну похибку, наприклад МНК чи RANSAC. Часто параметри камери невідомі, тоді визначення тривимірних координат точок та параметрів камер ведуться із використанням оптимізаційних підходів спрямованих на зменшення загальної похибки проєкції тривимірних точок на зображення, ця техніка відома як налаштування пучка.

3D-реконструкція медичних зображень

Клінічна процедура діагностики, спостереження за пацієнтами, хірургічна операція за допомогою комп'ютера, хірургічне планування тощо сприяють точним 3D-моделям бажаної частини анатомії людини. Основна мотивація 3D реконструкції містить:

Підвищену точність завдяки багаторазовій агрегації.
Детальну оцінку поверхні.
Може використовуватися для планування, моделювання, керівництва чи іншим чином допомагати хірургу у виконанні медичної процедури.
Можна визначити точне положення та орієнтацію анатомії пацієнта.
Допомагає в ряді клінічних областей, таких як планування променевої терапії та перевірка лікування, хірургія хребта, заміна стегна, нейроінтервенції та аортальне стентування.

Додатки:

3D-реконструкція має застосування у багатьох сферах. В таких як:

Тротуарна техніка
Медицина
Реконструкція відеозображення на вільному огляді
Роботизоване картування^[en]
Містобудування
Томографічна реконструкція^[en]
Ігри
Віртуальне середовище^[en] та віртуальний туризм
Спостереження за Землею^[en]
Археологія
Розширена реальність
Реверсна техніка
Захоплення рухом
Розпізнавання жестів^[en] та відстеження пальців^[en]

Постановка проблеми:

В основному алгоритми, які доступні для 3D-реконструкції, надзвичайно повільні і не можуть використовуватися в реальному часі. Хоча представлені алгоритми все ще знаходяться в початковому стані, але вони мають потенціал для швидкого обчислення.

Існуючі підходи:

Тріангуляція Делоне (25 точок)

Делоне і альфа-форми

Метод Делоне включає вилучення поверхонь тетраедра з початкової хмарної точки. Ідея «форми» для набору точок у просторі задається концепцією альфа-форм. Враховуючи множину кінцевих точок S та реальний параметр альфа, альфа-форма S — це багатогранник (узагальнення до будь-якого двовимірного багатокутника та тривимірного багатогранника), який не є не опуклим. Для великого значення альфа-форма є ідентичною опуклому корпусу С. Алгоритм, запропонований Edelsbrunner та Mucke, який виключає всі тетраедри, які обмежені навколишньою сферою, меншою за α. Потім поверхня виходить із зовнішніх трикутників з отриманого тетраедра.
Інший алгоритм під назвою «Тугий кокон» позначає початкові тетраедри як внутрішні та зовнішні. Трикутники, знайдені в результаті породження отриманої поверхні й за нею.

Обидва методи були нещодавно розширені для відновлення хмар точок з шумом. У цьому методі якість точок визначає доцільність методу. Для точної тріангуляції, оскільки ми використовуємо весь набір хмар точок, точки на поверхні з помилкою вище порога будуть явно представлені на реконструйованій геометрії.

Похідні кубів

Нульові методи

Реконструкція поверхні виконується за допомогою функції відстані, яка присвоює кожній точці в просторі знакову відстань до поверхні S. Алгоритм контуру використовується для отримання нульового набору, який в свою чергу використовується для отримання полігонального подання об'єкта. Таким чином, завдання відновлення поверхні з неорганізованої хмари точок зводиться до визначення функції f з нульовим значенням для відібраних точок і відмінних від нуля значеннях для інших. Алгоритм, названий маршируючими кубами, встановив використання таких методів. Існують різні варіанти для даного алгоритму, деякі використовують дискретну функцію f, в той час як інші використовують полігармонічну радіальну базисну функцію, також для це використовується для установки початкового набору точок. Також використовувалися такі функції, як переміщення найменших квадратів, базові функції з локальною підтримкою, засновані на рівнянні Пуассона. Втрата точності геометрії в областях з екстремальною кривиною, тобто кутів, крайок є однією з основних утворюваних проблем. Крім того, попередня обробка інформації, застосовує деяку техніку фільтрації, яка також впливає на визначення кутів, пом'якшуючи їх. Є кілька досліджень, пов'язаних з методами постобробки, використовуваними в реконструкції для виявлення і уточнення кутів, але ці методи збільшують складність вирішення.

Суцільна геометрія з об'ємним відтворенням зображення люб'язно надано Патріком Крісом Фраґіле, Санта-Барбара

Техніка VR

Повна прозорість об'єму об'єкта візуалізується за допомогою техніки VR. Зображення будуть виконуватися шляхом проєктування променів через об'ємні дані. Уздовж кожного променя, непрозорість і колір повинні бути розраховані на кожному вокселі. Потім інформація, обчислена вздовж кожного променя, буде агрегована в піксель на площині зображення. Ця техніка допомагає нам всебічно побачити всю компактну структуру об'єкта. Тому, метод вимагає величезної кількості обчислень, який в свою чергу вимагає сильної конфігурації комп'ютерів які підходять для даних з низьким контрастом. Два основних методи проєктування променів можна розглядати наступним чином:

Метод об'єктного порядку: Промені проходять через об'єм ззаду вперед (від гучності до площини зображення).
Порядок зображення або променевий метод: Промені проходять через гучність спереду назад (від площини зображення до об'єму). Існують деякі інші способи складання зображення, відповідні методи залежать від цілей користувача. Деякі звичайні методи в медичному зображенні є MIP^[en] (максимальна інтенсивність проєкції), MinIP (мінімальна інтенсивність проєкції), AC (альфа — композитна) і NPVR (не фотореалістичне об'ємне відбивання^[en]).

Відстеження променя через сітку вокселів. Вокселі, які проходять додатково за допомогою стандартного 8-связного алгоритму, показані вилупленими.

Воксельна сітка

У цьому методі фільтрації вхідний простір відбирається з використанням сітки 3D вокселів для зменшення кількості точок. Для кожного вокселя центроїд вибирається як представник всіх точок. Існує два підходи: вибір центроїда вокселя або вибір центроїда точок, що лежить всередині вокселя. Для отримання внутрішніх точок середнє значення має вищі обчислювальні витрати, але він пропонує кращі результати. Таким чином, виходить підмножина вхідного простору, яка приблизно представляє нижче лежачу поверхню. Метод сітки вокселя представляє ті ж проблеми, що й інші методи фільтрації: неможливість визначення кінцевого числа точок, що представляють поверхню, втрата геометричної інформації через зменшення точок всередині вокселя і чутливість до гучних вхідних просторів.

Дивитися також

Список літератури

↑ Moons, Theo, Luc Van Gool, and Maarten Vergauwen. «3D reconstruction from multiple images part 1: Principles.» Foundations and Trends in Computer Graphics and Vision 4.4 (2010): 287—404.
↑ Zollhöfer, Michael, et al. «Real-time non-rigid reconstruction using an RGB-D camera [Архівовано 2021-07-08 у Wayback Machine.]link=.» ACM Transactions on Graphics 33.4 (2014): 156.
↑ Liping Zheng; Guangyao Li; Jing Sha (2007). The survey of medical image 3D reconstruction. Fifth International Conference on Photonics and Imaging in Biology and Medicine. Proceedings of SPIE. Т. 6534. с. 65342K–65342K–6. doi:10.1117/12.741321.
↑ Vosselman, George, and Sander Dijkman. «3D building model reconstruction from point clouds and ground plans link=.» International archives of photogrammetry remote sensing and spatial information sciences 34.3/W4 (2001): 37-44.
↑ Colesanti, Carlo, and Janusz Wasowski. «Investigating landslides with space-borne Synthetic Aperture Radar (SAR) interferometry.» Engineering geology 88.3-4 (2006): 173—199.
↑ Mahmoudzadeh, Ahmadreza; Golroo, Amir; Jahanshahi, Mohammad R.; Firoozi Yeganeh, Sayna (January 2019). Estimating Pavement Roughness by Fusing Color and Depth Data Obtained from an Inexpensive RGB-D Sensor. Sensors. 19 (7): 1655. doi:10.3390/s19071655. PMC 6479490. PMID 30959936.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)
↑ Buelthoff, Heinrich H., and Alan L. Yuille."Shape-from-X: Psychophysics and computation [Архівовано 2011-01-07 у Wayback Machine.]." Fibers' 91, Boston, MA. International Society for Optics and Photonics, 1991.
↑ Soltani, A.A.; Huang, H.; Wu, J.; Kulkarni, T.D.; Tenenbaum, J.B. (2017). Synthesizing 3D Shapes via Modeling Multi-View Depth Maps and Silhouettes With Deep Generative Networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. с. 1511—1519.
↑ Horn, Berthold KP. «Shape from shading: A method for obtaining the shape of a smooth opaque object from one view.» (1970).
↑ Woodham, Robert J. (1980). Photometric method for determining surface orientation from multiple images (PDF). Optical Engineering. 19 (1): 138—141. Bibcode:1980OptEn..19..139W. doi:10.1117/12.7972479. Архів оригіналу (PDF) за 27 березня 2014.
↑ Witkin, Andrew P. (1981). Recovering surface shape and orientation from texture (PDF). Artificial Intelligence. 17 (1–3): 17—45. doi:10.1016/0004-3702(81)90019-9.

Посилання

Синтезування 3D-фігур за допомогою моделювання глибинних карток та силуетів із глибоким переглядом за допомогою глибоких генеративних мереж — Створюйте та реконструюйте тривимірні фігури за допомогою моделювання карток глибин або багатьох силуетів.

Джерела

[1] Moons, Theo, Luc Van Gool, and Maarten Vergauwen. «3D reconstruction from multiple images part 1: Principles.» Foundations and Trends in Computer Graphics and Vision 4.4 (2010): 287—404.

[2] Zollhöfer, Michael, et al. «Real-time non-rigid reconstruction using an RGB-D camera [Архівовано 2021-07-08 у Wayback Machine.]link=.» ACM Transactions on Graphics 33.4 (2014): 156.

[Zheng2-3] Liping Zheng; Guangyao Li; Jing Sha (2007). The survey of medical image 3D reconstruction. Fifth International Conference on Photonics and Imaging in Biology and Medicine. Proceedings of SPIE. Т. 6534. с. 65342K–65342K–6. doi:10.1117/12.741321.

[4] Vosselman, George, and Sander Dijkman. «3D building model reconstruction from point clouds and ground plans link=.» International archives of photogrammetry remote sensing and spatial information sciences 34.3/W4 (2001): 37-44.

[5] Colesanti, Carlo, and Janusz Wasowski. «Investigating landslides with space-borne Synthetic Aperture Radar (SAR) interferometry.» Engineering geology 88.3-4 (2006): 173—199.

[Mahmoudzadeh_16552-6] Mahmoudzadeh, Ahmadreza; Golroo, Amir; Jahanshahi, Mohammad R.; Firoozi Yeganeh, Sayna (January 2019). Estimating Pavement Roughness by Fusing Color and Depth Data Obtained from an Inexpensive RGB-D Sensor. Sensors. 19 (7): 1655. doi:10.3390/s19071655. PMC 6479490. PMID 30959936.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання)

[7] Buelthoff, Heinrich H., and Alan L. Yuille."Shape-from-X: Psychophysics and computation [Архівовано 2011-01-07 у Wayback Machine.]." Fibers' 91, Boston, MA. International Society for Optics and Photonics, 1991.

[3DVAE-8] Soltani, A.A.; Huang, H.; Wu, J.; Kulkarni, T.D.; Tenenbaum, J.B. (2017). Synthesizing 3D Shapes via Modeling Multi-View Depth Maps and Silhouettes With Deep Generative Networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. с. 1511—1519.

[9] Horn, Berthold KP. «Shape from shading: A method for obtaining the shape of a smooth opaque object from one view.» (1970).

[10] Woodham, Robert J. (1980). Photometric method for determining surface orientation from multiple images (PDF). Optical Engineering. 19 (1): 138—141. Bibcode:1980OptEn..19..139W. doi:10.1117/12.7972479. Архів оригіналу (PDF) за 27 березня 2014.

[11] Witkin, Andrew P. (1981). Recovering surface shape and orientation from texture (PDF). Artificial Intelligence. 17 (1–3): 17—45. doi:10.1016/0004-3702(81)90019-9.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]