Відкрити головне меню

Метод найменших квадратів — метод знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в регресійному аналізі. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку системи лінійних рівнянь. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у лінійній регресії, що широко застосовується у математичній статистиці і економетриці.

Результат підгонки сукупності спостережень (червоним) квадратичною функцією (синім). У лінійних найменших квадратах функція не повинна бути лінійною у своєму аргументі а лише щодо своїх параметрів які треба визначити для отримання найкращого результату

Зміст

Мотиваційний прикладРедагувати

 
Графік точок даних (червоним), лінія найменших квадратів (синім) і відстані (зеленим)

В результаті досліду, отримали чотири   точки даних:       і   (позначені червоним). Ми хочемо знайти лінію  , яка найкраще підходить для цих точок. Інакше кажучи, ми хотіли б знайти числа   і  , які приблизно розв'язують надвизначену лінійну систему

 

чотирьох рівнянь з двома невідомими в деякому найкращому сенсі.

Підхід найменших квадратів розв'язання цієї проблеми полягає у спробі зробити якомога меншою суму квадратів похибок між правою і лівою сторонами цієї системи, тобто необхідно знайти мінімум функції

 

Мінімум визначають через обчислення часткової похідної від   щодо   і   і прирівнюванням їх до нуля

 
 

Це приводить нас до системи з двох рівнянь і двох невідомих, які звуться нормальними рівняннями. Якщо розв'язати, ми отримуємо

 
 

І рівняння   є рівнянням лінії, яка підходить найбільше. Мінімальна сума квадратів похибок є  

Використання квадратичної моделіРедагувати

Важливо, у методі лінійних найменших квадратів ми не обмежені використанням лінії як моделі як у попередньому прикладі. Наприклад, ми могли вибрати обмежену квадратичну модель  . Ця модель все ще лінійна в сенсі параметру  , отже ми все ще можемо здійснювати той самий аналіз, будуючи систему рівнянь з точок даних:

 

Часткові похідні щодо параметрів (цього разу лише одного) знов обчислені і прирівняні до 0:

 

і розв'язані

 

що призводить до визначенння найбільш підходящої моделі  

Лінійний випадокРедагувати

Одна незалежна зміннаРедагувати

Нехай маємо лінійну регресію зі скалярною змінною x:

 

а також вибірку початкових даних   розміру M. Тоді

 

Множинна регресія (випадок багатьох незалежних змінних)Редагувати

Для надлишково-визначеної системи m лінійних рівнянь з n невідомими  

 

чи в матричній формі запису:

 

зазвичай не існує точного розв'язку, і потрібно знайти такі β, які мінімізують наступну норму:

 

Такий розв'язок завжди існує і він є єдиним:

 

хоч дана формула не є ефективною через необхідність знаходити обернену матрицю.

Виведення формулиРедагувати

Значення   досягає мінімуму в точці в якій похідна по кожному параметру рівна нулю. Обчислюючи ці похідні одержимо:

 

де використано позначення  

Також виконуються рівності:

 

Підставляючи вирази для залишків і їх похідних одержимо рівність:

 

Дану рівність можна звести до вигляду:

 

або в матричній формі:

 

Числові методи для обчислення розв'язкуРедагувати

Якщо матриця   є невиродженою та додатноозначеною, тобто має повний ранг, тоді система може бути розв'язана за допомогою розкладу Холецького  , де   — верхня трикутна матриця.

 

Розв'язок отримаємо в два кроки:

  1. Отримаємо   з рівняння  
  2. Підставимо і отримаємо   з  

В обох випадках використовуються властивості трикутної матриці.

Статистичні властивостіРедагувати

Одним із найважливіших застосувань лінійного МНК є оцінка параметрів лінійної регресії. Для заданого набору даних   будується модель:

 

або в матричній формі:

 

де:

 

В цих формулах   — вектор параметрів, які оцінюються, наприклад, за допомогою методу найменших квадратів, а   — вектор випадкових змінних.

У класичній моделі множинної лінійної регресії приймаються такі умови:

  •  
  •  
  •  
тобто випадкові змінні є гомоскедастичними і між ними відсутня будь-яка залежність.

Для такої моделі оцінка   одержана методом найменших квадратів володіє властивостями:

  • Незміщеність. Оцінка   є незміщеною, тобто   Справді:
 
  • Коваріаційна матриця оцінки   рівна:
 
Це випливає з того, що   і
 
 
  • Ефективність. Згідно з теоремою Гауса — Маркова оцінка, що одержана МНК, є найкращою лінійною незміщеною оцінкою.
  • Змістовність. При доволі слабких обмеженнях на матрицю X метод найменших квадратів є змістовним, тобто при збільшенні розміру вибірки, оцінка за імовірністю прямує до точного значення параметру. Однією з достатніх умов є наприклад прямування найменшого власного значення матриці   до безмежності при збільшенні розміру вибірки.
  • Якщо додатково припустити нормальність змінних   то оцінка МНК має розподіл:
 

В математичному моделюванніРедагувати

Нехай ми маємо вибірку початкових даних  . Функція   — невідома.

Якщо ми знаємо приблизний вигляд функції  , то задамо її у вигляді функціоналу  , де   — невідомі константи.

Нам потрібно мінімізувати відмінності між   та  . Для цього беруть за міру суму квадратів різниць значень цих функцій у всіх точках   і її мінімізують (тому метод так і називається):

 

Коефіцієнти   в яких така міра мінімальна знаходять з системи:

 

Див. такожРедагувати

ДжерелаРедагувати

  • Лоусон Ч., Хенсон Р. Численное решение задач методом наименьших квадратов. — М.: Наука, 1986.
  • Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. — Т. 2: Айвазян С А. Основы эконометрики. — М.: ЮНИТИ- ДАНА, 2001. — 432 с. ISBN 5-238-00305-6
  • Björck, Åke (1996). Numerical methods for least squares problems. Philadelphia: SIAM. ISBN 0-89871-360-9.
  • Greene, William H. (2002). Econometric analysis (5th ed.). New Jersey: Prentice Hall