Масштабопросторове сегментування
Масштабопросторо́ве сегментува́ння (англ. scale-space segmentation) або багатомасшта́бне сегментува́ння (англ. multi-scale segmentation) — це загальна система для сегментування сигналів та зображень, яка ґрунтується на обчисленні описувачів зображення в кількох масштабах згладжування.
Одновимірне ієрархічне сегментування сигналу
ред.Засаднича робота Віткіна в просторах масштабів[1][2] містила ідею про те, що одновимірний сигнал можливо однозначно сегментувати на області, з одним параметром масштабу для контролю масштабу сегментування.
Ключове спостереження полягає в тому, що перетини нуля другими похідними (мінімуми та максимуми першої похідної, або нахилу) багатомасштабно згладжених версій сигналу утворюють дерево вкладеності, яке визначає ієрархічні відносини між сегментами в різних масштабах. Зокрема, екстремуми нахилу в грубих масштабах можливо простежувати до відповідних ознак у тонких масштабах. Коли максимум нахилу та мінімум нахилу знищують один одного на більшому масштабі, три розділені ними сегменти зливаються в один сегмент, відтак визначаючи ієрархію сегментів.
Сегментування зображень та первинний ескіз
ред.У цій галузі було багато дослідницьких праць, деякі з яких досягли такого стану, коли їх можливо застосовувати або за допомогою інтерактивного ручного втручання (зазвичай із застосуванням до медичного унаочнювання), або повністю автоматично. Нижче наведено короткий огляд деяких основних дослідницьких ідей, на яких ґрунтуються сучасні підходи.
Втім, структура вкладеності, описана Віткіним, специфічна для одновимірних сигналів, і не передається тривіально на зображення більшої вимірності. Менше з тим, ця загальна ідея надихнула декількох інших авторів дослідити грубо—тонкі схеми для сегментування зображень. Коендерінк[3] запропонував досліджувати, як контури ізояскравості змінюються з масштабом, і цей підхід було досліджено докладніше Ліфшицем і Пайзером.[4] Проте, на жаль, яскравість ознак зображень змінюється з масштабом, що означає, що важко відстежити ознаки зображення грубого масштабу до тонших масштабів, використовуючи інформацію про ізояскравість.
Ліндеберг[5] досліджував задачу зв'язування локальних екстремумів та сідлових точок над масштабами, й запропонував подання зображення, назване масштабопросторовим первинним ескізом (англ. scale-space primal sketch), яке робить явними відношення між структурами в різних масштабах, а також уточнює, які ознаки зображення є стабільними протягом великих діапазонів масштабів, включно з локально відповідними масштабами для них. Берґгольм[6] запропонував виявляти контури на грубих масштабах простору масштабів, а потім простежувати їх до тонших масштабів з ручним вибором як масштабу грубого виявляння, так і масштабу тонкого визначення розташування.
Ґаух та Пайзер[7] досліджували доповняльну задачу хребтів та долин у багатьох масштабах, і розробили інструмент для інтерактивного сегментування зображень на основі багатомасштабних вододілів[en] (англ. multi-scale watersheds). Використання багатомасштабного вододілу із застосуванням до градієнтної карти також було досліджено Олсеном та Нільсеном,[8] і було перенесено до клінічного використання Демом зі співавт.[9] Вінкен зі співавт.[10] запропонували гіперстек для визначення ймовірнісних зв'язків між структурами зображень у різних масштабах. Ахуджа та його співробітники[11][12] розширили використання стабільних структур зображень над масштабами до повністю автоматизованої системи. Повністю автоматичний алгоритм сегментування мозку, заснований на тісно пов'язаних ідеях багатомасштабних вододілів, було запропоновано Ундеманом та Ліндебергом,[13] і було ретельно перевірено на базах даних мозку.
Ці ідеї для багатомасштабного сегментування зображень шляхом зв’язування структур зображення над масштабами також підхопили Флорак і Куйпер.[14] Біжауї та Руе[15] пов'язують структури, виявлені в просторі масштабів вище мінімального шумового порогу, в дерево об'єктів, яке охоплює декілька масштабів і відповідає свого роду ознаці у первинному сигналі. Виділені ознаки точно відновлюються за допомогою ітераційного методу матриці спряжених градієнтів.
Сегментування векторних функцій часу
ред.Масштабопросторове сегментування було розширено Ліоном[16] в іншому напрямку, до векторозначних функцій часу, де векторна похідна не має максимумів та мінімумів, а друга похідна не має перетинів нуля, шляхом розміщення меж сегментів натомість на максимумах евклідової величини векторної похідної згладжених векторних сигналів. Цю методику було застосовано для сегментування мовлення та тексту.[17]
Примітки
ред.- ↑ Witkin, A. P. "Scale-space filtering", Proc. 8th Int. Joint Conf. Art. Intell., Karlsruhe, Germany,1019--1022, 1983. (англ.)
- ↑ A. Witkin, "Scale-space filtering: A new approach to multi-scale description," in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (ICASSP[en]), vol. 9, San Diego, CA, Mar. 1984, pp. 150--153. (англ.)
- ↑ Koenderink, Jan "The structure of images [Архівовано 8 серпня 2017 у Wayback Machine.]", Biological Cybernetics, 50:363--370, 1984 (англ.)
- ↑ Lifshitz, L. and Pizer, S.: A multiresolution hierarchical approach to image segmentation based on intensity extrema, IEEE Transactions on Pattern Analysis and Machine Intelligence, 12:6, 529 - 540, 1990. (англ.)
- ↑ Lindeberg, T.: Detecting salient blob-like image structures and their scales with a scale-space primal sketch: A method for focus-of-attention, International Journal of Computer Vision, 11(3), 283--318, 1993. [Архівовано 19 червня 2022 у Wayback Machine.] (англ.)
- ↑ Bergholm, F: Edge focusing, IEEE Transactions on Pattern Analysis and Machine Intelligence, 9:6, pages 726 - 741, 1987. (англ.)
- ↑ Gauch, J. and Pizer, S.: Multiresolution analysis of ridges and valleys in grey-scale images, IEEE Transactions on Pattern Analysis and Machine Intelligence, 15:6 (June 1993), pages: 635 - 646, 1993. (англ.)
- ↑ Olsen, O. and Nielsen, M.: Multi-scale gradient magnitude watershed segmentation [Архівовано 19 червня 2022 у Wayback Machine.], Proc. of ICIAP 97, Florence, Italy, Lecture Notes in Computer Science, pages 6–13. Springer Verlag, September 1997. (англ.)
- ↑ Dam, E., Johansen, P., Olsen, O. Thomsen,, A. Darvann, T. , Dobrzenieck, A., Hermann, N., Kitai, N., Kreiborg, S., Larsen, P., Nielsen, M.: "Interactive multi-scale segmentation in clinical use" in European Congress of Radiology 2000. (англ.)
- ↑ Vincken, K., Koster, A. and Viergever, M.: Шаблон:Doi-inline, IEEE Transactions on Pattern Analysis and Machine Intelligence, 19:2, pp. 109-120, 1997.] (англ.)
- ↑ M. Tabb and N. Ahuja, Unsupervised multiscale image segmentation by integrated edge and region detection, IEEE Transactions on Image Processing, Vol. 6, No. 5, 642-655, 1997. [Архівовано 2011-07-20 у Wayback Machine.] (англ.)
- ↑ E. Akbas and N. Ahuja, "From Ramp Discontinuities to Segmentation Tree", Asian Conference on Computer Vision, 2009, Xi'an, China. (англ.)
- ↑ C. Undeman and T. Lindeberg (2003) "Fully Automatic Segmentation of MRI Brain Images using Probabilistic Anisotropic Diffusion and Multi-Scale Watersheds", Proc. Scale-Space'03, Isle of Skye, Scotland, Springer Lecture Notes in Computer Science, volume 2695, pages 641--656. [Архівовано 19 червня 2022 у Wayback Machine.] (англ.)
- ↑ Florack, L. and Kuijper, A.: The topological structure of scale-space images [Архівовано 20 серпня 2017 у Wayback Machine.], Journal of Mathematical Imaging and Vision, 12:1, 65-79, 2000. (англ.)
- ↑ Bijaoui, A., Rué, F.: 1995, A Multiscale Vision Model, Signal Processing 46, 345 (англ.)
- ↑ Richard F. Lyon. "Speech recognition in scale space," Proc. of 1987 ICASSP. San Diego, March, pp. 29.3.14, 1987. [Архівовано 17 лютого 2022 у Wayback Machine.] (англ.)
- ↑ Slaney, M. Ponceleon, D., "Hierarchical segmentation using latent semantic indexing in scalespace", Proc. Intl. Conf. on Acoustics, Speech, and Signal Processing (ICASSP '01) 2001 [Архівовано 19 вересня 2006 у Wayback Machine.] (англ.)