Метод найменших квадратів: відмінності між версіями

м
+Шаблон:Статистика
[перевірена версія][перевірена версія]
м (Removing Link GA template (handled by wikidata))
м (+Шаблон:Статистика)
'''Метод найменших квадратів'''  — метод знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в [[регресійний аналіз|регресійному аналізі]]. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку [[СЛАР|системи лінійних рівнянь]]. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у [[лінійна регресія|лінійній регресії]], що широко застосовується у [[математична статистика|математичній статистиці]] і [[економетрика|економетриці]].
 
[[Файл:Linear least squares2.png|right|thumb|Результат підгонки сукупності спостережень <math>(x_i, y_i)</math> (червоним) квадратичною функцією <math>y=\beta_1+\beta_2x+\beta_3x^2\,</math> (синім). У лінійних найменших квадратах функція не повинна бути лінійною у своєму аргументі <math>x,</math> а лише щодо своїх параметрів <math>\beta_j,</math> які треба визначити для отримання найкращого результату]]
 
== Мотиваційний приклад ==
[[ImageФайл:Linear least squares example2.svg|right|thumb|Графік точок даних (червоним), лінія найменших квадратів (синім) і відстані (зеленим)]]
 
У висліді досліду, отримали чотири <math>(x, y)</math> точки даних: <math>(1, 6),</math> <math>(2, 5),</math> <math>(3, 7)</math> і <math>(4, 10)</math> (позначені червоним). Ми хочемо знайти лінію <math>y=\beta_1+\beta_2 x</math>, яка найкраще підходить для цих точок. Інакше кажучи, ми хотіли б знайти числа <math>\beta_1</math> і <math>\beta_2</math>, які приблизно розв'язують надвизначену лінійну систему
: <math>\begin{alignat}{3}
\beta_1 + 1\beta_2 &&\; = \;&& 6 & \\
\beta_1 + 2\beta_2 &&\; = \;&& 5 & \\
Мінімум визначають через обчислення [[часткова похідна|часткової похідної]] від <math>S(\beta_1, \beta_2)</math> щодо <math>\beta_1</math> і <math>\beta_2</math> і прирівнюванням їх до нуля
 
: <math>\frac{\partial S}{\partial \beta_1}=0=8\beta_1 + 20\beta_2 -56</math>
: <math>\frac{\partial S}{\partial \beta_2}=0=20\beta_1 + 60\beta_2 -154.</math>
 
Це приводить нас до системи з двох рівнянь і двох невідомих, які звуться нормальними рівняннями. Якщо розв'язати, ми отримуємо
 
: <math>\beta_1=3.5</math>
: <math>\beta_2=1.4</math>
 
І рівняння <math>y=3.5+1.4x</math> є рівнянням лінії, яка підходить найбільше. Мінімальна сума квадратів похибок є <math>S(3.5, 1.4)=1.1^2+(-1.3)^2+(-0.7)^2+0.9^2=4.2.</math>
 
=== Використання квадратичної моделі ===
Важливо, у методі ''лінійних'' найменших квадратів ми не обмежені використанням лінії як моделі як у попередньому прикладі. Наприклад, ми могли вибрати обмежену квадратичну модель <math>y=\beta_1 x^2</math>. Ця модель все ще лінійна в сенсі параметру <math>\beta_1</math>, отже ми все ще можемо здійснювати той самий аналіз, будуючи систему рівнянь з точок даних:
 
: <math>\begin{alignat}{2}
6 &&\; = \beta_1 (1)^2 \\
5 &&\; = \beta_1 (2)^2 \\
<math>\frac{\partial S}{\partial \beta_1} = 0 = 708 \beta_1 - 498</math>
 
і розв'язані
 
<math>\beta_1 = .703,</math>
=== Числові методи для обчислення розв'язку ===
 
Якщо матриця <math>\ X^\top X</math> є [[невироджена матриця|невиродженою]] та [[додатноозначена матриця|додатноозначеною]], тобто має повний [[ранг матриці|ранг]], тоді система може бути розв'язана за допомогою [[розклад Холецького|розкладу Холецького]] <math>X^\top X=R^\top R</math>, де <math>R</math> &nbsp;— верхня [[трикутна матриця]].
 
: <math> R^\top R \hat \boldsymbol \beta = X^\top \mathbf y.</math>
: <math>y = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix}, \quad X = \begin{pmatrix} x'_1 \\ x'_2 \\ \vdots \\ x'_n \end{pmatrix} = \begin{pmatrix} x_{11} & \cdots & x_{1p} \\ x_{21} & \cdots & x_{2p} \\ \vdots & \ddots & \vdots \\ x_{n1} & \cdots & x_{np} \end{pmatrix}, \quad \beta = \begin{pmatrix} \beta_1 \\ \vdots \\ \beta_p \end{pmatrix}, \quad \varepsilon = \begin{pmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{pmatrix}.</math>
 
В цих формулах <math>\beta</math> &nbsp;— вектор параметрів, які оцінюються, наприклад, за допомогою методу найменших квадратів, а <math>\varepsilon</math> &nbsp;— вектор випадкових змінних.
 
У класичній моделі множинної лінійної регресії приймаються такі умови:
: <math>\operatorname{E}[\,\hat\beta] = \operatorname{Var}[\, (X^ \top X )^{-1}X^ \top Y \,]= (X^ \top X )^{-1}X^ \top \operatorname{Var}[\, Y \,] X (X^ \top X )^{-1} = </math>
::: <math>= \sigma^2(X'X)^{-1} (X^ \top X )^{-1}(X^ \top X ) = \sigma^2(X'X)^{-1}</math>
* '''Ефективність.''' Згідно з [[теорема Гауса — Маркова|теоремою Гауса &nbsp;— Маркова]] оцінка, що одержана МНК, є найкращою лінійною незміщеною оцінкою.
* '''Змістовність.''' При доволі слабких обмеженнях на матрицю ''X'' метод найменших квадратів є змістовним, тобто при збільшенні розміру вибірки, оцінка за імовірністю прямує до точного значення параметру. Однією з достатніх умов є наприклад прямування найменшого [[власне значення|власного значення]] матриці <math>(X^ \top X )</math> до безмежності при збільшенні розміру вибірки.
* Якщо додатково припустити [[нормальний розподіл|нормальність]] змінних <math>\varepsilon,</math> то оцінка МНК має розподіл:
== В математичному моделюванні ==
 
Нехай ми маємо вибірку початкових даних <math>f(x_i)=y_i\ i=\overline{1..n}</math>. Функція <math>f</math> &nbsp;— невідома.
 
Якщо ми знаємо приблизний вигляд функції <math>f(x)</math>, то задамо її у вигляді функціоналу <math>F(x_i,a_0,\ldots,a_m) \approx y_i</math>, де <math>a_0,\ldots , a_m</math> &nbsp;— невідомі константи.
 
Нам потрібно мінімізувати відмінності між <math>F</math> та <math>f</math>. Для цього беруть за міру суму квадратів різниць значень цих функцій у всіх точках <math>x_i</math> і її мінімізують (тому метод так і називається):
== Джерела ==
 
* Лоусон Ч., Хенсон Р. ''Численное решение задач методом наименьших квадратов''. &nbsp;— М.: Наука, 1986.
* ''Прикладная статистика. Основы эконометрики: Учебник для вузов'': В 2 т. 2-е изд., испр. &nbsp;— Т. 2: Айвазян С А. ''Основы эконометрики''. &nbsp;— М.: ЮНИТИ- ДАНА, 2001. -&nbsp;— 432 с. ISBN 5-238-00305-6
* Björck, Åke (1996). ''Numerical methods for least squares problems''. Philadelphia: SIAM. ISBN 0-89871-360-9.
* Greene, William H. (2002). ''Econometric analysis (5th ed.)''. New Jersey: Prentice Hall
 
{{Статистика}}
 
[[Категорія:Прикладна математика]]