Функції втрат для класифікації

У машинному навчанні та математичній оптимізації функції втрат для класифікації є обчислювальними функціями втрат, що представляють ціну, сплачену за неточність прогнозів у задачах класифікації (потрібно ідентифікувати до якої категорії належить конкретне спостереження).

Баєсові функції втрат: фунція втрат 0-1 (сірий), фунція втрат Севіджа (зелений), логістична функція втрат (помаранчевий), експоненціальна функція втрат (фіолетовий), тангенсна функція втрат (коричневий), квадратична функція втрат (синій).

Дано ${\mathcal {X}}$ як простір усіх можливих вхідних даних (зазвичай ${\mathcal {X}}\subset \mathbb {R} ^{d}$), і ${\mathcal {Y}}=\{-1,1\}$ як набір міток (можливих вихідних даних), типовою метою алгоритмів класифікації є пошук функції $f:{\mathcal {X}}\mapsto \mathbb {R}$, яка найкраще прогнозує значення мітки $y$ для заданого входу ${\vec {x}}$. Однак, через неповну інформацію, наявність шуму під час вимірювання, або ймовірнісні складові процесу, який досліджується, можливо для одного і того ж самого ${\vec {x}}$ мати, як передбачення, різні $y$. В результаті, метою навчання є мінімізація очікуваних втрат (також відомих як ризик), визначених як

$I[f]=\displaystyle \int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)p({\vec {x}},y)\,d{\vec {x}}\,dy$

де $V(f({\vec {x}}),y)$ — задана функція втрат і $p({\vec {x}},y)$ — функція густини ймовірності процесу, яка генерує дані. Еквівалентно цю функцію можна записати як

$p({\vec {x}},y)=p(y\mid {\vec {x}})p({\vec {x}}).$

У рамках класифікації часто використовують функції втрат, трактовані виключно в термінах добутку справжньої мітки $y$ на передбачену мітку $f({\vec {x}})$. Отже, їх можна визначити як функцію лише однієї змінної $\upsilon =yf({\vec {x}})$, таким чином $V(f({\vec {x}}),y)=\phi (yf({\vec {x}}))=\phi (\upsilon )$ з правильно обраною функцією $\phi :\mathbb {R} \to \mathbb {R}$. Вони називаються функціями втрат на основі маржі (margin-based loss functions). Вибір функції втрат на основі маржі прирівнюється до вибору $\phi$. Обрання функції втрат у цій структурі впливає на оптимальну $f_{\phi }^{*}$, яка мінімізує очікуваний ризик.

У разі бінарної класифікації можна спростити розрахунок очікуваного ризику за допомогою зазначеного вище інтегралу. Зокрема,

${\begin{aligned}I[f]&=\int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)p({\vec {x}},y)\,d{\vec {x}}\,dy\\[6pt]&=\int _{\mathcal {X}}\int _{\mathcal {Y}}\phi (yf({\vec {x}}))p(y\mid {\vec {x}})p({\vec {x}})\,dy\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))p(-1\mid {\vec {x}})]p({\vec {x}})\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))(1-p(1\mid {\vec {x}}))]p({\vec {x}})\,d{\vec {x}}\end{aligned}}$

Друга рівність випливає з описаних вище властивостей. Третя рівність випливає з того факту, що 1 і −1 є єдино можливими значеннями для $y$, а четверте — за рахунок $p(-1\mid x)=1-p(1\mid x).$ Вираз у дужках $[\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))(1-p(1\mid {\vec {x}}))]$ відомий як очікуваний ризик.

Для мінімізатора $I[f]$ можна вирішити проблему, взявши функціональну похідну від останньої рівності відносно $f$, при цьому встановити похідну рівною 0. Це призведе до рівняння

${\frac {\partial \phi (f)}{\partial f}}\eta +{\frac {\partial \phi (-f)}{\partial f}}(1-\eta )=0\;\;\;\;\;(1)$

що також є еквівалентним встановленню похідної від умовного ризику рівною нулю.

Враховуючи бінарну природу класифікації, природним відбором для функції втрат (припускаючи однакову вартість хибно позитивного та хибно негативного) буде функція втрат 0-1 (характеристична функція 0–1). Вона приймає значення 0, якщо прогнозована класифікація дорівнює класифікації істинного класу або 1, якщо прогнозована класифікація не відповідає істинному класу. Цей вибір моделюється за формулою

$V(f({\vec {x}}),y)=H(-yf({\vec {x}}))$

де $H$ позначає ступінчасту функцію Гевісайда. Однак, ця функція втрат є неопуклою і негладкою, і пошук оптимального рішення є NP-складною комбінаторною задачею оптимізації. Як результат, краще розглянути сурогатні функції втрат, які підходять для часто вживаних алгоритмів навчання, оскільки вони мають і опуклі, і гладкі властивості. На додаток до їх обчислювальної керованості, можна показати, що вирішення проблеми навчання з використанням цих сурогатних функцій втрат дозволяють відновити фактичне вирішення вихідної проблеми класифікації. Деякі з цих сурогатів описані нижче.

На практиці, розподіл ймовірностей $p({\vec {x}},y)$ є невідомим. Отже, використовуючи навчальний набір з $n$ незалежних та однаково розподілених точок вибірки

$S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}$

взятих з простору елементарних подій, ми прагнемо мінімізувати емпіричний ризик

$I_{S}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})$

як непрямий показник очікуваного ризику. (Див. статистичну теорію навчання для більш детального опису.)

Узгодженість Баєса

Використовуючи теорему Баєса, можна показати, що оптимальне $f_{0/1}^{*}$, тобто те, що мінімізує очікуваний ризик пов'язаний із 0-1 втратою, реалізує правило оптимального рішення Байєса для проблеми бінарної класифікації та має форму

$f_{0/1}^{*}({\vec {x}})\;=\;{\begin{cases}\;\;\;1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\\;\;\;0&{\text{if }}p(1\mid {\vec {x}})=p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}$ .

Кажуть, що функція втрат є каліброваною за класифікацією або узгодженою за Баєсом, якщо її оптимальне $f_{\phi }^{*}$ є таким, що $f_{0/1}^{*}({\vec {x}})=\operatorname {sgn} (f_{\phi }^{*}({\vec {x}}))$ і, таким чином, є оптимальним за правилом Баєса. Узгоджена функція втрат Баєса дозволяє нам знайти функцію оптимального рішення Баєса $f_{\phi }^{*}$ шляхом безпосередньої мінімізації очікуваного ризику і без необхідності явного моделювання функцій густини ймовірності.

Для опуклої функції втрат маржі $\phi (\upsilon )$, можна показати, що $\phi (\upsilon )$ є узгодженою за Баєсом тоді і тільки тоді, коли вона диференційована в 0 і $\phi '(0)<0$. Проте цей результат не виключає існування неопуклих та узгоджених за Байєсом функцій втрат. Більш загальний результат стверджує, що узгоджені функції втрат Баєса можна створити за допомогою наступної формулювання

$\phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]\;\;\;\;\;(2)$ ,

де $f(\eta ),(0\leq \eta \leq 1)$ — будь-яка інвертована функція така, що $f^{-1}(-v)=1-f^{-1}(v)$ і $C(\eta )$ — будь-яка диференційована строго угнута функція така, що $C(\eta )=C(1-\eta )$. Таблиця-I демонструє створені узгоджені функції втрат Баєса для деяких прикладів $C(\eta )$ і $f^{-1}(v)$. Зверніть увагу, що функції втрат Savage і Tangent не є опуклими. Виявилося, що такі неопуклі функції втрат корисні для боротьби з промахами в класифікації. Для всіх функцій втрат, породжених з (2), апостеріорну ймовірність $p(y=1|{\vec {x}})$ можна знайти за допомогою функції зворотного звʼязку як $p(y=1|{\vec {x}})=\eta =f^{-1}(v)$. Функції втрат, де апостеріорна ймовірність може бути відновлена за допомогою інветнованого зв'язку, називаються власними функціями втрат.

Таблиця-I

Назва функції втрат	$\phi (v)$	$C(\eta )$	$f^{-1}(v)$	$f(\eta )$
Експоненціальна	$e^{-v}$	$2{\sqrt {\eta (1-\eta )}}$	${\frac {e^{2v}}{1+e^{2v}}}$	${\frac {1}{2}}\log({\frac {\eta }{1-\eta }})$
Логістична	${\frac {1}{\log(2)}}\log(1+e^{-v})$	${\frac {1}{\log(2)}}[-\eta \log(\eta )-(1-\eta )\log(1-\eta )]$	${\frac {e^{v}}{1+e^{v}}}$	$\log({\frac {\eta }{1-\eta }})$
Квадратна	$(1-v)^{2}$	$4\eta (1-\eta )$	${\frac {1}{2}}(v+1)$	$2\eta -1$
Savage	${\frac {1}{(1+e^{v})^{2}}}$	$\eta (1-\eta )$	${\frac {e^{v}}{1+e^{v}}}$	$\log({\frac {\eta }{1-\eta }})$
Tangent	$(2\arctan(v)-1)^{2}$	$4\eta (1-\eta )$	$\arctan(v)+{\frac {1}{2}}$	$\tan(\eta -{\frac {1}{2}})$

Єдиний мінімізатор очікуваного ризику, $f_{\phi }^{*}$, пов'язаний з вищезгаданими функціями втрат, можна безпосередньо знайти з рівняння (1) і показати, що він дорівнює відповідній $f(\eta )$. Це справедливо навіть для неопуклих функцій втрат і означає, що алгоритми на основі градієнтного спуску, такі як бустер градієнта, можна використовувати для побудови мінімізатора.

Власні функції втрат, маржа втрат та регуляризація

(Червоний) стандартна логістична втрата ($\gamma =1,\mu =2$) і (Синій) підвищена маржа у логістичній втраті ($\gamma =0.2$).

Для власних функцій втрат маржу можна визначити як $\mu _{\phi }=-{\frac {\phi '(0)}{\phi ''(0)}}$ і показати, що вона безпосередньо пов'язана з властивостями регуляризації класифікатора. Зокрема, функція втрат з більшою маржою збільшує регуляризацію і дає кращі оцінки апостеріорної ймовірності. Наприклад, маржа втрат може бути збільшена для логістичних функцій втрат шляхом введення $\gamma$ параметра і визначення функції як ${\frac {1}{\gamma }}\log(1+e^{-\gamma v})$, де менший $0<\gamma <1$ збільшує маржу втрат. Показано, що це прямо еквівалентно зменшенню швидкості навчання при градієнтному бустері $F_{m}(x)=F_{m-1}(x)+\gamma h_{m}(x),$ де зменшення параметру $\gamma$ покращує регуляризацію посиленого класифікатора. Теорія чітко дає зрозуміти, що використання швидкості навчання $\gamma$ зумовлює появу корректної формули для отримання апостеріорної ймовірності $\eta =f^{-1}(\gamma F(x))$.

На закінчення, обравши функцію втрат з більшою маржою (меншим $\gamma$), ми збільшуємо регуляризацію та покращуємо наші оцінки апостеріорної ймовірності, що, у свою чергу, покращує криву ROC кінцевого класифікатора.

Квадратична функція втрат

Хоча квадратична функція втрат частіше використовується в регресії, її можна переписати як функцію $\phi (yf({\vec {x}}))$ і використовувати для класифікації. Квадратичну функцію можна створити за допомогою (2) і Таблиці-I наступним чином

$\phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4({\frac {1}{2}}(v+1))(1-{\frac {1}{2}}(v+1))+(1-{\frac {1}{2}}(v+1))(4-8({\frac {1}{2}}(v+1)))=(1-v)^{2}.$

Функція квадратичних втрат є як опуклою, так і гладкою. Однак, квадратична функція втрат має тенденцію надмірно штрафувати промахи, що призводить до повільніших показників збіжності (що стосується складності вибірки) порівняно з функціями логістичних або шарнірних втрат. Крім того, функції, які дають високі значення $f({\vec {x}})$ для деяких $x\in X$ будуть погано працювати з функцією квадратичних втрат, оскільки високі значення $yf({\vec {x}})$ будуть суворо каратися, незалежно від того, чи співпадають ознаки у $y$ і $f({\vec {x}})$.

Перевага функції квадратичних втрат полягає в тому, що її структура піддається легкій перехресній перевірці параметрів регуляризації. Спеціально для регуляризації Тихонова можна вирішити задачу для параметра регуляризації, використовуючи перехресну перевірку без виключення, за той самий час, що й для вирішення однієї проблеми.

Мінімізатор $I[f]$ для квадратичної функції втрат можна знайти безпосередньо з рівняння (1) як

$f_{\text{Square}}^{*}=2\eta -1=2p(1\mid x)-1.$

Логістична функція втрат

Логістична функція втрат може бути отримана за допомогою (2) та таблиці-I наступним чином

${\begin{aligned}\phi (v)&=C[f^{-1}(v)]+\left(1-f^{-1}(v)\right)\,C'\left[f^{-1}(v)\right]\\&={\frac {1}{\log(2)}}\left[{\frac {-e^{v}}{1+e^{v}}}\log {\frac {e^{v}}{1+e^{v}}}-\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\log \left(1-{\frac {e^{v}}{1+e^{v}}}\right)\right]+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left[{\frac {-1}{\log(2)}}\log \left({\frac {\frac {e^{v}}{1+e^{v}}}{1-{\frac {e^{v}}{1+e^{v}}}}}\right)\right]\\&={\frac {1}{\log(2)}}\log(1+e^{-v}).\end{aligned}}$

Логістична функція втрат є опуклою і зростає лінійно для від'ємних значень, що робить її менш чутливою до викидів. Логістичні втрати використовуються в LogitBoost алгоритмі.

Мінімізатор $I[f]$ для логістичної функції втрат можна знайти безпосередньо з рівняння (1) як

$f_{\text{Logistic}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).$

Ця функція не визначена, коли $p(1\mid x)=1$ або $p(1\mid x)=0$ (що прямує до ∞ і −∞ відповідно), але передбачає плавну криву, яка зростає, коли $p(1\mid x)$ росте і дорівнює 0, коли $p(1\mid x)=0.5.$

Легко перевірити, що логістична функція втрат та функція втрат від двійково перехресної ентропії (Log втрата) насправді однакові (до множення на константу ${\frac {1}{\log(2)}}$). Функція втрат від перехресної ентропії тісно пов'язана з розходженням Кульбака–Лейблера між емпіричним і прогнозованим розподілом. Перехресні втрати ентропії є широко розповсюдженими у сучасних глибоких нейронних мережах.

Експоненціальна функція втрат

Експоненціальну функцію втрат можна згенерувати за допомогою (2) та таблиці-I наступним чином

$\phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=2{\sqrt {({\frac {e^{2v}}{1+e^{2v}}})(1-{\frac {e^{2v}}{1+e^{2v}}})}}+(1-{\frac {e^{2v}}{1+e^{2v}}})({\frac {1-{\frac {2e^{2v}}{1+e^{2v}}}}{\sqrt {{\frac {e^{2v}}{1+e^{2v}}}(1-{\frac {e^{2v}}{1+e^{2v}}})}}})=e^{-v}$

Експоненціальна функція втрат є опуклою і зростає експоненціально для негативних значень, що робить її більш чутливою до викидів. Експоненціальна функція втрат використовується в AdaBoost алгоритмі.

Мінімізатор $I[f]$ для експоненціальної функції втрат можна безпосередньо знайти з рівняння (1) як

$f_{\text{Exp}}^{*}={\frac {1}{2}}\log \left({\frac {\eta }{1-\eta }}\right)={\frac {1}{2}}\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).$

Функція втрат Savage

Функцію втрат Savage можна отримати за допомогою (2) та таблиці-I наступним чином

$\phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=({\frac {e^{v}}{1+e^{v}}})(1-{\frac {e^{v}}{1+e^{v}}})+(1-{\frac {e^{v}}{1+e^{v}}})(1-{\frac {2e^{v}}{1+e^{v}}})={\frac {1}{(1+e^{v})^{2}}}.$

Функція втрат Savage є квазіопуклою і обмеженою для великих від'ємних значень, що робить її менш чутливою до викидів. Функція втрат Savage була використана для градієнтного бустера та в алгоритмі SavageBoost.

Мінімізатор $I[f]$ для функції втрат Savage можна безпосередньо знайти з рівняння (1) як

$f_{\text{Savage}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).$

Функція втрат Tangent

Тангенсну функцію втрат можна отримати за допомогою (2) та таблиці-I наступним чином

${\begin{aligned}\phi (v)&=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4(\arctan(v)+{\frac {1}{2}})(1-(\arctan(v)+{\frac {1}{2}}))+(1-(\arctan(v)+{\frac {1}{2}}))(4-8(\arctan(v)+{\frac {1}{2}}))\\&=(2\arctan(v)-1)^{2}.\end{aligned}}$

Тангенсна функція втрат є квазіопуклою і обмеженою для великих від'ємних значень, що робить її менш чутливою до викидів. Цікаво, що тангенсна функція втрат також накладає обмежене покарання на точки, які були класифіковані як «занадто правильні». Це може допомогти у запобіганні перенавчанню набору даних. Тангенсна функція втрат використовується для градієнтного бустера, алгоритму TangentBoost та Alternating Decision Forests.

Мінімізатор $I[f]$ для тангенсної функції втрат можна безпосередньо знайти з рівняння (1) як

$f_{\text{Tangent}}^{*}=\tan(\eta -{\frac {1}{2}})=\tan(p(1\mid x)-{\frac {1}{2}}).$

Завісна функція втрат

Завісна функція втрат визначається за допомогою $\phi (\upsilon )=\max(0,1-\upsilon )=[1-\upsilon ]_{+}$, де $[a]_{+}=\max(0,a)$ — додатня частина функції.

$V(f({\vec {x}}),y)=\max(0,1-yf({\vec {x}}))=[1-yf({\vec {x}})]_{+}.$

Завісна функція втрат забезпечує відносно жорстку, опуклу верхню межу для характеристичної функції 0–1. Зокрема, завісна функція втрат дорівнює характеристичній функції 0–1, коли $\operatorname {sgn} (f({\vec {x}}))=y$ і $|yf({\vec {x}})|\geqslant 1$. Крім того, емпірична мінімізація ризику цієї втрати еквівалентна класичному формулюванню для методу опорного вектора (SVM). Правильно класифіковані точки, що лежать за межами мержі опорних векторів, не штрафуються, тоді як точки в межах границь або на неправильній стороні гіперплощини штрафуються лінійно порівняно з їх відстанню до правильної межі.

Хоча завісна функція втрат є як опуклою, так і безперервною, вона не є гладкою (не диференційованою) при $yf({\vec {x}})=1$. Отже, вона не може використовуватися з методами градієнтного спуску або методами стохастичного градієнтного спуску, які покладаються на диференційованість по всій області. Проте завісна функція втрат має субградієнт на $yf({\vec {x}})=1$, що дозволяє використовувати субградієнтні методи спуску. SVM, які використовують завісну функцію втрат, також можна вирішити за допомогою квадратичного програмування .

Мінімізатор $I[f]$ для завісної функції втрат визначається як

$f_{\text{Hinge}}^{*}({\vec {x}})\;=\;{\begin{cases}1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}$

коли $p(1\mid x)\neq 0.5$, що відповідає характеристичній функції 0–1. Цей висновок робить завісну функція втрат досить привабливою, оскільки можна встановити межі як різницю між очікуваним ризиком та знаком завісної функції втрат. Завісну функція втрат не можна отримати з (2), оскільки $f_{\text{Hinge}}^{*}$ не є оберненою.

Узагальнена плавна завісна функція втрат

Узагальнена плавна завісна функція втрат з параметром $\alpha$ визначається як

$f_{\alpha }^{*}(z)\;=\;{\begin{cases}{\frac {\alpha }{\alpha +1}}-z&{\text{if }}z\leqslant 0\\{\frac {1}{\alpha +1}}z^{\alpha +1}-z+{\frac {\alpha }{\alpha +1}}&{\text{if }}0<z<1\\0&{\text{if }}z\geqslant 1\end{cases}},$

де

$z=yf({\vec {x}}).$

Вона монотонно зростає і досягає 0, коли $z=1$.

Див. також

• Диференційоване програмування