Метод корекції зі зворотною передачею сигналу помилки

Метод корекції зі зворотною передачею сигналу помилки - стохастичний метод навчання перцептрона, необхідний для того, щоб гарантувати збіжність при змінних зв'язках більше ніж у одного шару. Метод був запропонований Розенблаттом для перцептрона зі змінними SA зв'язками і може бути використаний для бінарних багатошарових перцептронів. Є альтернативою методу зворотного поширення помилки, але на відміну від нього гарантує процес збіжності (досягнення рішення).

Алгоритм

• Для кожного R-елементу встановлюється помилка $E_{r}=R^{*}-r^{*}$, де $R^{*}$ - необхідна, а $r^{*}$ - досягнута реакція.
• Для кожного А-елемента $a_{i}$ помилка обчислюється так:
  • Спочатку $E_{i}=0$;
  • Якщо елемент $a_{i}$ активний і зв'язок $c_{(}ir)$ закінчується на R-елементі з ненульовою помилкою $E_{r}$, що відрізняється по знаку від ваги зв'язку < math>w_ (ir)/math>, то з ймовірністю $p_{1}$ до $E_{i}$ слід додати корекцію, що дорівнює -1;
  • Якщо елемент $a_{i}$ неактивний і зв'язок $c_{(}ir)$ закінчується на R-елементі з ненульовою помилкою $E_{r}$, не відрізняється (збігається) за знаком від ваги зв'язку $w_{(}ir)$, то з ймовірністю $p_{2}$ до $E_{i}$ слід додати корекцію, що дорівнює 1;
  • Якщо елемент $a_{i}$ неактивний і зв'язок $c_{(}ir)$ закінчується на R-елементі з ненульовою помилкою $E_{r}$, що відрізняється по знаку від ваги зв'язку $w_{(}ir)$ (або $w_{(}ir)=0$), то з ймовірністю $p_{3}$ до $E_{i}$ слід додати корекцію , що дорівнює 1;
  • При всіх інших умовах $E_{i}$ не змінюється.
• Якщо $E_{i}\not =0$, то до всіх активних зв'язків, що закінчується на А чи R елементі, додаємо корекцію $\eta$ з знаком, що збігається зі знаком $E_{i}$, тобто $\Delta w_{(}ij)=a_{i}^{*}sign(E_{i})\varepsilon$, де $\varepsilon$ - абсолютне значення $\eta$ (як правило одиниця ).

У більшості випадків найкращі характеристики можуть бути отримані якщо ймовірності будуть вибрана відповідно до наступного умові $p_{1}>p_{2}>p_{3}$.

Див. також

• Перцептрон
• Метод корекції помилки

Література

1. Фрэнк Розенблатт Принципы нейродинамики: перцептроны и теория механизмов мозга = Principles of Neurodynamic: perceptrons and the theory of brain mechanisms. — М.: «Мир», 1965.
2. Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. - CRC Press, CRC Press LLC, 1998