Ядрове згладжування
Ядрове згладжування або згладження (англ. kernel smoother) — це статистичний метод оцінки дійснозначної функції як середньозважене значення сусідніх спостережених точок. Ваги задаються ядром, так щоб найближчі точки отримали найвищі ваги. Оцінювана функція є гладкою, а рівень гладкості задається єдиним параметром. Ядрове згладжування є типом зваженого рухомого середнього.
Означення
ред.Нехай ядро, задане формулою
де:
- - евклідова норма
- - параметр (радіус ядра)
- D ( t ) зазвичай позитивна дійсна функція, значення якої зменшується (або не зростає) зі збільшенням відстані між X і X0 .
Популярні ядра, що використовуються для згладжування, включають параболічне (Епанечнікова), кубне та гауссове ядра.
Нехай - неперервною функцією від X. Для кожного , ядро-зважене середнє Надарая-Ватсона (згладжена оцінка Y(X)) визначається
де:
- N – кількість спостережуваних точок
- Y ( X i ) — спостереження в точках Xi .
Далі ми опишемо деякі окремі випадки ядрових згладжень.
Ядрове згладження Ґауса
ред.Ядро Ґауса є одним із найпоширеніших ядер і виражається за допомогою рівняння
Тут b — масштаб довжини для вхідного простору.
Ядрове згладження найближчих точок
ред.Ідея ядрового згладження найближчого сусіда полягає в наступному. Для кожної точки X0 беремо m найближчих сусідів і оцінюємо значення Y(X0) шляхом усереднення значень цих сусідів.
Формально, , де є m-м найближчим до X0 сусідом, і
Приклад ядрового згладження найближчих точок зображено на малюнку ліворуч. У цьому прикладі X є одновимірним. Для кожного X0, є середнім значенням 16 найближчих до X0 точок (позначено червоним кольором). Результат недостатньо гладкий.
Середньо ядрове згладження
ред.Ідея середньо ядрового згладження полягає в наступному. Для кожної точки даних X0 виберемо стале значення відстані λ (радіус ядра або ширину вікна для p = 1 вимір) і обчислимо зважене середнє для всіх точок даних, які ближче ніж до X0 (чим ближче до X0 точки тим більшу вагу вони отримають).
Формально, а D(t) — одне з популярних ядер.
Наприклад середньо ядрового згладження зображено на малюнку праворуч. Для кожного X0 ширина вікна стала, а вага кожної точки у вікні схематично позначена жовтою тінню на графіку. Видно, що оцінка плавна, але граничні точки зміщені. Причиною цього є неоднакова кількість точок (справа і зліва до X0 ) у вікні, коли X0 знаходиться досить близько до межі.
Локальна лінійна регресія
ред.У двох попередніх розділах закладалось, що базова функція Y(X) локально константа, що давало змогу використовувати середньозважене значення оцінки. Ідея локальної лінійної регресії полягає в тому, що функція локально відповідає прямій лінії (чи гіперплощині у випадку вищих порядків), а не константі (горизонтальній лінії). Після підгонки лінії оцінка визначається значенням цієї лінії в точці X0. Повторюючи цю процедуру для кожного X0, можна отримати оцінку-функцію . Як і в розділі вище ширина вікна постійна Формально локальна лінійна регресія обчислюється шляхом оптимізації зваженої задачі найменшого квадрата.
У одновимірному випадку ( p = 1):
Розв'язок у вигляді формули:
де:
На рисунку наведена візуалізація локальної лінійної регресії. Отримана функція є гладкою, і проблема зі зміщеними граничними точками не настільки кричуща.
Локальну лінійну регресію можна застосувати у будь-якому просторі, хоча питання про те, що таке локальне сусідство ускладнюється. Зазвичай використовують k найближчих тренувальних точок до тестової точки, щоб відповідати локальній лінійній регресії. Це може призвести до великої дисперсії встановленої функції. Щоб обмежити дисперсію, набір навчальних точок повинен містити тестову точку у своїй опуклій оболонці (див. посилання на Gupta et al.).
Локальна поліноміальна регресія
ред.Замість підгонки локально лінійних функцій можна допасувати поліноміальні функції.
Для p=1 слід розв'язати задачу мінімізації:
з
У загальному випадку (p>1) слід мінімізувати:
Див. також
ред.- Фільтр Савицького–Голея
- Ядрові методи
- Оцінка щільності ядра
- Локальна регресія
- Ядерна регресія
Список літератури
ред.- Li, Q. and J.S. Racine. Nonparametric Econometrics: Theory and Practice. Princeton University Press, 2007, ISBN 0-691-12161-3.
- T. Hastie, R. Tibshirani and J. Friedman, The Elements of Statistical Learning, Chapter 6, Springer, 2001. ISBN 0-387-95284-5ISBN 0-387-95284-5 (companion book site).
- M. Gupta, E. Garcia and E. Chin, "Adaptive Local Linear Regression with Application to Printer Color Management," IEEE Trans. Image Processing 2008.