Перехресна ентропія: відмінності між версіями
| [перевірена версія] | [перевірена версія] |
Вилучено вміст Додано вміст
доповнення |
м →Застосування у машинному навчанні: оформлення |
||
Рядок 42:
== Застосування у машинному навчанні ==
У контексті машинного навчання перехресна ентропія є мірою помилки для задачі {{нп|багатокласова класифікація|багатокласової класифікації||Multiclass classification}}. Зазвичай «істинний» розподіл (той, якому намагається відповідати
Наприклад, припустимо, що для конкретного навчального екземпляра справжньою міткою є B з можливих міток A, B і C. Таким чином, унітарний розподіл для цього навчального екземпляра буде:
{| class="wikitable"
|-
! Pr(Class A)
|-
| 0.0
|}
Ми можемо інтерпретувати наведений вище істинний розподіл так, що навчальний екземпляр має <nowiki>0%</nowiki> ймовірності бути класом A, <nowiki>100%</nowiki> ймовірності бути класом B і <nowiki>0%</nowiki> ймовірністю бути класом C.
Тепер припустимо, що алгоритм машинного навчання прогнозує такий розподіл ймовірностей:
{| class="wikitable"
|-
! Pr(Class A)
|-
| 0.10
|}
Наскільки близький прогнозований розподіл до справжнього? Саме це визначає перехресна ентропія, якщо її обрано як [[Функція втрат|функцію втрати]]. Застосуємо формулу (Рів. 1):
: <math>H(p,q) = - (0.0*\ln(0.1) + 1.0*\ln(0.7) + 0.0*\ln(0.2)) = -\ln(0.7) \approx 0.36 </math>
== Див. також ==
| |||