Метод максимальної правдоподібності

Метод максимальної правдоподібності (також метод найбільшої вірогідності) у математичній статистиці — це метод оцінювання невідомого параметра шляхом максимізації функції правдоподібності. Він ґрунтується на припущенні про те, що вся інформація про статистичну вибірку міститься у цій функції. Метод максимальної правдоподібності був проаналізований, рекомендований і значно популяризуваний Р. Фішером між 1912 і 1922 роками (хоча раніше він використовувався Гаусом, Лапласом і іншими). Оцінка максимальної правдоподібності є популярним статистичним методом, який використовується для створення статистичної моделі на основі даних, і забезпечення оцінки параметрів моделі.

Метод максимальної правдоподібності відповідає багатьом відомим методам оцінки в області статистики. Наприклад, припустимо, що ви зацікавлені зростом мешканців України. Припустимо, у вас дані стосовно зросту деякої кількості людей, а не всього населення. Крім того передбачається, що зріст є нормально розподіленою величиною з невідомою дисперсією і середнім значенням. Вибіркові середнє значення і дисперсія зросту є максимально правдоподібними до середнього значення і дисперсії всього населення.

Для фіксованого набору даних і базової імовірнісної моделі, використовуючи метод максимальної правдоподібності, ми набудемо значень параметрів моделі, які роблять дані «ближчими» до реальних. Оцінка максимальної правдоподібності дає унікальний і простий спосіб визначити рішення у разі нормального розподілу.

Застосування ред.

Метод оцінки максимальної правдоподібності застосовується для широкого кола статистичних моделей, зокрема:

Метод застосовується в широких областях науки, зокрема:

  • системи зв'язку;
  • психометрія;
  • економетрика;
  • оцінювання кутових координат джерел сигналів, їх частоти і часу затримки в акустичних і електромагнітних системах[1][2];
  • моделювання в ядерній фізиці і фізиці елементарних частинок;
  • обчислювальна філогенетика;
  • моделювання каналів в транспортних мережах.

Визначення ред.

Нехай маємо вибірку   з розподілу  , де   — невідомий параметр. Нехай   — функція правдоподібності, де  . Точкова оцінка

 

називається оцінкою максимальної правдоподібності параметра  . Таким чином, оцінка максимальної правдоподібності — це така оцінка, яка максимізує функцію правдоподібності при фіксованій реалізації вибірки.

Зауваження ред.

  • Оскільки функція   монотонно зростає на всій області визначення, максимум будь-якої функції   є максимумом функції  , і навпаки. Таким чином,
 ,

де   — логарифмічна функція правдоподібності.

  • Оцінка максимальної правдоподібності, загалом, може бути зміщеною (див. приклади).

Приклади ред.

  • Нехай   — незалежна вибірка з неперервного рівномірного розподілу на відрізку  , де   — невідомий параметр. Тоді функція правдоподібності має вигляд
 

Остання рівність може бути переписана у вигляді:

 

де  , звідки видно, що свого максимуму функція правдоподібності досягає в точці  . Таким чином

 .
  • Нехай   — незалежна вибірка з нормального розподілу з відомим середнім і дисперсією. Побудуємо оцінку максимальної правдоподібності   для невідомого вектора параметрів  . Логарифмічна функція правдоподібності приймає вигляд
 .

Щоб знайти її максимум, прирівнюємо до нуля часткові похідні:

 

звідки

  — вибіркове середнє, а
  — вибіркова дисперсія.

Примітки ред.

  1. Слюсар В.И. Синтез алгоритмов измерения дальности М источников при дополнительном стробировании отсчетов АЦП.// Известия высших учебных заведений. Радиоэлектроника.- 1996. - Том 39, № 5. - C. 55 - 62.[1] [Архівовано 5 червня 2014 у Wayback Machine.]
  2. Слюсар В.И. Предельное разрешение дальномерных процедур максимального правдоподобия.// Известия высших учебных заведений. Радиоэлектроника.- 1998. - Том 41, № 11. - C. 39 - 45. [2] [Архівовано 25 січня 2020 у Wayback Machine.]

Джерела ред.