Опти́чний поті́к (англ. optical flow, optic flow) — це схема видимого руху об'єктів, поверхонь і граней у зоровій сцені, спричинюваного відносним рухом[en] спостерігача та сцени.[1][2] Оптичний потік також можливо визначити як розподіл видимих швидкостей руху візерунку яскравості в зображенні.[3] Поняття оптичного потоку було запроваджено американським психологом Джеймсом Дж. Ґібсоном[en] у 1940-х роках для опису зорових стимулів, що виникають у тварин, які рухаються світом.[4] Джеймс Ґібсон наголосив на важливості оптичного потоку для сприймання можливостей[en], здатності розрізнювати можливості для дій у середовищі. Послідовники Ґібсона та його екологічного підходу до психології згодом показати роль стимулу оптичного потоку для сприймання руху спостерігачем у світі; сприймання форми, відстані й руху об'єктів у світі; та контролю пересування.[5]

Оптичний потік, який сприймається спостерігачем, що обертається (в даному прикладі мухою). Напрямок та величина оптичного потоку в кожній позиції подано стрілками відповідного напрямку і довжини.

Термін «оптичний потік» також використовують робототехніки, охоплюючи споріднені методики з обробки зображень та керування навігацією, включно з виявлянням руху, сегментуванням об'єктів, інформацією про час до контакту, обчисленнями фокусу розширення, освітленістю, кодуванням компенсації руху, та вимірюванням стереодиспаритету.[6][7]

ОцінюванняРедагувати

Послідовності впорядкованих зображень уможливлюють оцінювання руху або як миттєвих швидкостей зображення, або як дискретних зміщень зображень.[7] Фліт та Вейсс пропонують навчальний посібник з оптичного потоку на основі градієнта.[8] Джон Л. Баррон, Девід Дж. Фліт та Стівен Бошемен пропонують аналіз продуктивності низки методик оптичного потоку, з наголосом на точності та густоті вимірювань.[9]

Методи оптичного потоку намагаються обчислювати рух між двома кадрами, що було знято в моменти часу   та  , в положенні кожного вокселя. Ці методи називають диференціальними, оскільки вони ґрунтуються на локальних наближеннях сигналу зображення рядами Тейлора, тобто, вони використовують частинні похідні за просторовими та часовими координатами.

Для (2D + t)-вимірного випадку (випадки 3D та n-D є подібними) воксель у положенні   з інтенсивністю   буде переміщено між цими двома кадрами на  ,   та  , й може бути задано наступне обмеження сталості яскравості (англ. brightness constancy constraint):

 

Якщо виходити з того, що переміщення є невеликим, це обмеження зображення в   може бути розгорнуло за допомогою ряду Тейлора в

 члени вищих порядків[en]

При відкиданні членів вищих порядків (що здійснює лінеаризацію) з цього випливає, що

 

або, при діленні на  ,

 

що в результаті дає

 

де   є складовими   та   швидкості або оптичного потоку  , а  ,   та   є похідними зображення в   у відповідних напрямках. Далі ці похідні може бути позначено через  ,  та  .

Отже:

 

або

 

Це — рівняння з двома невідомими, й саме по собі розв'язаним бути не може. Це відоме як проблема вікна[en] (англ. aperture problem) в алгоритмах оптичного потоку. Щоби знайти оптичний потік, потрібен інший набір рівнянь, заданий деяким додатковим обмеженням. Для оцінювання фактичного потоку всі алгоритми оптичного потоку запроваджують додаткові умови.

Методи визначенняРедагувати

Багато з них, на додачу до поточних алгоритмів на рівні останніх досягнень, оцінюють на наборі даних Middlebury Benchmark Dataset.[13][14] Іншими популярними наборами даних є KITTI та Sintel.

ВикористанняРедагувати

Головними аспектами дослідження оптичного потоку стали оцінювання руху та стискання відео. Хоча поле оптичного потоку на перший погляд і схоже на щільне поле руху, отримуване за допомогою методик оцінювання руху, оптичний потік є дослідженням не лише визначення самого поля оптичного потоку, але також і його використання в оцінюванні тривимірної природи та структури сцени, як і тривимірного руху об'єктів та спостерігача відносно сцени, де здебільшого використовують якобіан зображення.[15]

Дослідники в галузі робототехніки використовували оптичний потік в багатьох областях, таких як виявляння[en] та відстежування об'єктів, виділяння основного плану зображення, виявляння руху, навігація роботів та візуальна одометрія.[6] Інформацію оптичного потоку визнавали корисною для керування мініатюрними літальними апаратами.[16]

До застосувань оптичного потоку належить задача висновування не лише руху спостерігача та об'єктів у сцені, але також і структури об'єктів та середовища. Оскільки усвідомлення руху та породжування ментальних мап структури нашого середовища є критичними складовими тваринного (та людського) зору, перетворення цієї вродженої здібності на комп'ютерну здатність є так само вирішальним й у галузі зору машинного.[17]

 
Вектор оптичного потоку руху об'єкта в послідовності відео.

Розгляньмо п'ятикадровий кліп руху м'яча з лівої нижньої частини поля зору до правої верхньої. Методики оцінювання руху можуть визначити, що на двовимірній площині м'яч рухається вгору та праворуч, й вектори, що описують цей рух, можливо виділити з цієї послідовності кадрів. Для цілей стискання відео (наприклад, MPEG), послідовність тепер описано настільки добре, наскільки потрібно. Проте в галузі машинного зору питання про те, чи це м'яч рухається праворуч, чи спостерігач рухається ліворуч, є непізнанною, але критичною інформацією. Навіть якби в цих п'яти кадрах було присутнє статичне візерункове тло, ми не змогли би з упевненістю стверджувати, що м'яч рухався праворуч, оскільки цей візерунок міг мати нескінченну відстань від спостерігача.

Давач оптичного потокуРедагувати

Давач оптичного потоку — це зоровий давач[en], здатний вимірювати оптичний потік або візуальний рух, та видавати вимірювання, що ґрунтуються на оптичному потоці. Існують різноманітні конфігурації давачів оптичного потоку. Однією з конфігурацій є чип давача зображення, з'єднаний з процесором, запрограмованим виконувати алгоритм оптичного потоку. Інша конфігурація використовує зоровий чип, що є інтегрованою схемою, яка має як давач зображення, так і процесор, на одному й тому ж кристалі, що уможливлює компактне втілення.[18][19] Таким прикладом є звичайний давач оптичної миші. У деяких випадках схему обробки може бути втілено із застосуванням схем з аналоговим або змішаними сигналами для уможливлення швидкого обчислювання оптичного потоку з мінімальним споживанням струму.

Однією з областей сучасних досліджень є застосування методик нейроморфної інженерії[en] для втілення схем, що реагують на оптичний потік, і відтак можуть бути доречними для використання в давачі оптичного потоку.[20] Такі схеми можуть черпати натхнення з біологічних нейронних схем, що реагують на оптичний потік подібним чином.

Давачі оптичного потоку широко використовують у комп'ютерних оптичних мишах як головну давачеву складову для вимірювання руху миші поверхнею.

Давачі оптичного потоку використовують також і в робототехніці, переважно де є потреба у вимірюванні візуального руху або відносного руху робота та інших об'єктів поблизу робота. Однією з областей поточних досліджень також є використання давачів оптичного потоку в безпілотних літальних апаратах (БПЛА) задля забезпечення стабільності та уникання перешкод.[21]

Див. такожРедагувати

ПриміткиРедагувати

  1. Burton, Andrew; Radford, John (1978). Thinking in Perspective: Critical Essays in the Study of Thought Processes. Routledge. ISBN 978-0-416-85840-2.  (англ.)
  2. Warren, David H.; Strelow, Edward R. (1985). Electronic Spatial Sensing for the Blind: Contributions from Perception. Springer. ISBN 978-90-247-2689-9.  (англ.)
  3. Horn, Berthold K.P.; Schunck, Brian G. (August 1981). Determining optical flow. Artificial Intelligence (англ.) 17 (1–3): 185–203. doi:10.1016/0004-3702(81)90024-2.  Проігноровано невідомий параметр |hdl= (довідка) (англ.)
  4. Gibson, J.J. (1950). The Perception of the Visual World. Houghton Mifflin.  (англ.)
  5. Royden, C. S.; Moore, K. D. (2012). Use of speed cues in the detection of moving objects by moving observers. Vision Research 59: 17–24. PMID 22406544. doi:10.1016/j.visres.2012.02.006.  Проігноровано невідомий параметр |s2cid= (довідка) (англ.)
  6. а б Aires, Kelson R. T.; Santana, Andre M.; Medeiros, Adelardo A. D. (2008). Optical Flow Using Color Information. ACM New York, NY, USA. ISBN 978-1-59593-753-7.  (англ.)
  7. а б в Beauchemin, S. S.; Barron, J. L. (1995). The computation of optical flow. ACM Computing Surveys (ACM New York, USA) 27 (3): 433–466. doi:10.1145/212094.212141.  Проігноровано невідомий параметр |s2cid= (довідка) (англ.)
  8. Fleet, David J.; Weiss, Yair (2006). Optical Flow Estimation. У Paragios, Nikos; Chen, Yunmei; Faugeras, Olivier D. Handbook of Mathematical Models in Computer Vision. Springer. с. 237–257. ISBN 978-0-387-26371-7.  (англ.)
  9. Barron, John L.; Fleet, David J.; Beauchemin, Steven (1994). Performance of optical flow techniques. International Journal of Computer Vision 12: 43–77. doi:10.1007/bf01420984.  Проігноровано невідомий параметр |name-list-style= (довідка); Проігноровано невідомий параметр |s2cid= (довідка); Проігноровано невідомий параметр |citeseerx= (довідка) (англ.)
  10. а б Zhang, G.; Chanson, H. (2018). Application of Local Optical Flow Methods to High-Velocity Free-surface Flows: Validation and Application to Stepped Chutes. Experimental Thermal and Fluid Science 90: 186–199. doi:10.1016/j.expthermflusci.2017.09.010.  (англ.)
  11. Glyn W. Humphreys and Vicki Bruce[en] (1989). Visual Cognition. Psychology Press. ISBN 978-0-86377-124-8.  (англ.)
  12. B. Glocker; N. Komodakis; G. Tziritas; N. Navab; N. Paragios (2008). Dense Image Registration through MRFs and Efficient Linear Programming. Medical Image Analysis Journal.  (англ.)
  13. Baker, Simon; Scharstein, Daniel; Lewis, J. P.; Roth, Stefan; Black, Michael J.; Szeliski, Richard (March 2011). A Database and Evaluation Methodology for Optical Flow. International Journal of Computer Vision (англ.) 92 (1): 1–31. ISSN 0920-5691. doi:10.1007/s11263-010-0390-2.  Проігноровано невідомий параметр |s2cid= (довідка) (англ.)
  14. Baker, Simon; Scharstein, Daniel; Lewis, J. P.; Roth, Stefan; Black, Michael J.; Szeliski, Richard. Optical Flow. vision.middlebury.edu. Процитовано 18 жовтня 2019.  (англ.)
  15. Corke, Peter (8 травня 2017). The Image Jacobian. QUT Robot Academy.  (англ.)
  16. Barrows, G. L.; Chahl, J. S.; Srinivasan, M. V. (2003). Biologically inspired visual sensing and flight control. Aeronautical Journal 107 (1069): 159–268. doi:10.1017/S0001924000011891 — через Cambridge University Press.  Проігноровано невідомий параметр |doi-broken-date= (довідка) (англ.)
  17. Brown, Christopher M. (1987). Advances in Computer Vision. Lawrence Erlbaum Associates. ISBN 978-0-89859-648-9.  (англ.)
  18. Moini, Alireza (2000). Vision Chips. Boston, MA: Springer US. ISBN 9781461552673. OCLC 851803922.  (англ.)
  19. Mead, Carver (1989). Analog VLSI and neural systems. Reading, Mass.: Addison-Wesley. ISBN 0201059924. OCLC 17954003.  (англ.)
  20. Stocker, Alan A. (2006). Analog VLSI circuits for the perception of visual motion. Chichester, England: John Wiley & Sons. ISBN 0470034882. OCLC 71521689.  (англ.)
  21. Floreano, Dario; Zufferey, Jean-Christophe; Srinivasan, Mandyam V. та ін., ред. (2009). Flying insects and robots. Heidelberg: Springer. ISBN 9783540893936. OCLC 495477442.  (англ.)

ПосиланняРедагувати