Метод найменших квадратів: відмінності між версіями

нема опису редагування
[перевірена версія][перевірена версія]
м (додана Категорія:Регресійний аналіз з допомогою HotCat)
Немає опису редагування
 
[[Файл:Linear least squares2.png|right|thumb|Результат підгонки сукупності спостережень [[квадратична функція|квадратичною функцією]].]]
 
== Мотиваційний приклад ==
[[Image:Linear least squares example2.svg|right|thumb|Графік точок даних (червоним), лінія найменших квадратів (синім) і відстані (зеленим)]]
 
У висліді досліду, отримали чотири <math>(x, y)</math> точки даних: <math>(1, 6),</math> <math>(2, 5),</math> <math>(3, 7)</math> і <math>(4, 10)</math> (позначені червоним). Ми хочемо знайти лінію <math>y=\beta_1+\beta_2 x</math>, яка найкраще підходить для цих точок. Інакше кажучи, ми хотіли б знайти числа <math>\beta_1</math> і <math>\beta_2</math>, які приблизно розв'язують надвизначену лінійну систему
:<math>\begin{alignat}{3}
\beta_1 + 1\beta_2 &&\; = \;&& 6 & \\
\beta_1 + 2\beta_2 &&\; = \;&& 5 & \\
\beta_1 + 3\beta_2 &&\; = \;&& 7 & \\
\beta_1 + 4\beta_2 &&\; = \;&& 10 & \\
\end{alignat}</math>
чотирьох рівнянь з двома невідомими в деякому ''найкращому'' сенсі.
 
Підхід [[Метод найменших квадратів|найменших квадратів]] розв'язання цієї проблеми полягає у спробі зробити якомога меншою суму квадратів ''похибок'' між правою і лівою сторонами цієї системи, тобто необхідно знайти мінімум функції
 
: <math>\begin{align}S(\beta_1, \beta_2) =&
\left[6-(\beta_1+1\beta_2)\right]^2
+\left[5-(\beta_1+2\beta_2) \right]^2 \\
&+\left[7-(\beta_1 + 3\beta_2)\right]^2
+\left[10-(\beta_1 + 4\beta_2)\right]^2.\end{align}</math>
 
Мінімум визначають через обчислення [[часткова похідна|часткової похідної]] of <math>S(\beta_1, \beta_2)</math> щодо <math>\beta_1</math> і <math>\beta_2</math> і прирівнюванням їх до нуля
 
:<math>\frac{\partial S}{\partial \beta_1}=0=8\beta_1 + 20\beta_2 -56</math>
:<math>\frac{\partial S}{\partial \beta_2}=0=20\beta_1 + 60\beta_2 -154.</math>
 
Це приводить нас до системи з двох рівнянь і двох невідомих, які звуться нормальними рівняннями. Якщо розв'язати, ми отримуємо
 
:<math>\beta_1=3.5</math>
:<math>\beta_2=1.4</math>
 
І рівняння <math>y=3.5+1.4x</math> є рівнянням лінії, яка підходить найбільше. Мінімальна сума квадратів похибок є <math>S(3.5, 1.4)=1.1^2+(-1.3)^2+(-0.7)^2+0.9^2=4.2.</math>
 
== Лінійний випадок ==
11 936

редагувань