Вчителеве нав'язування
Вчи́телеве нав'я́зування (англ. teacher forcing) — це алгоритм для тренування ваг рекурентних нейронних мереж (РНМ).[1] Він передбачає подавання спостережуваних значень послідовності (тобто, істинних зразків) назад до РНМ після кожного кроку, відтак змушуючи РНМ триматися близько до істинної послідовності.[2]
Термін «вчителеве нав'язування» може бути обґрунтовано порівнянням РНМ з людиною-студентом, яка складає багаточастинний іспит, де відповідь на кожну частину (наприклад, математичний розрахунок) залежить від відповіді на попередню частину.[3] У цій аналогії, замість того, щоб оцінювати кожну відповідь у кінці, з ризиком того, що студент завалить всі окремі частини, навіть якщо помилку він зробив лише в першій, вчитель записує оцінку для кожної окремої частини, а потім говорить студентові правильну відповідь, яка буде використовуватися в наступній частині.[3]
Використання зовнішнього вчителевого сигналу відрізняється від реальночасового рекурентного навчання (РЧРН, англ. RTRL).[4] Вчителеві сигнали відомі з осциляторних мереж.[5] Перспектива полягає в тому, що вчителеве нав'язування допомагає скорочувати час тренування.[6]
Термін «вчителеве нав'язування» запровадили 1989 року Рональд Вільямс[en] та Давід Ціпсер, які повідомили, що цю методику в той час вже «часто використовували у завданнях з динамічного керованого навчання».[7][2]
Доповідь NeurIPS[en] 2016 року представила пов'язаний метод «професорового нав'язування» (англ. "professor forcing").[2]
Див. також ред.
Посилання ред.
- ↑ John F. Kolen; Stefan C. Kremer (15 January 2001). A Field Guide to Dynamical Recurrent Networks (англ.). John Wiley & Sons. с. 202–. ISBN 978-0-7803-5369-5.
- ↑ а б в Lamb, Alex M; Goyal, Anirudh; Zhang, Ying; Zhang, Saizheng; Courville, Aaron C; Bengio, Yoshua (2016). Professor Forcing: A New Algorithm for Training Recurrent Networks. Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 29.
- ↑ а б Wong, Wanshun (15 жовтня 2019). What is Teacher Forcing?. Towards Data Science (англ.). Процитовано 25 березня 2022.
- ↑ Zhang, Ming (31 July 2008). Artificial Higher Order Neural Networks for Economics and Business (англ.). IGI Global. с. 195–. ISBN 978-1-59904-898-7.
- ↑ Yves Chauvin; David E. Rumelhart (1 February 2013). Backpropagation: Theory, Architectures, and Applications (англ.). Psychology Press. с. 473–. ISBN 978-1-134-77581-1.
- ↑ George Bekey; Kenneth Y. Goldberg (30 November 1992). Neural Networks in Robotics (англ.). Springer Science & Business Media. с. 247–. ISBN 978-0-7923-9268-2.
- ↑ Williams, Ronald J.; Zipser, David (June 1989). A Learning Algorithm for Continually Running Fully Recurrent Neural Networks. Neural Computation (англ.). 1 (2): 270—280. CiteSeerX 10.1.1.52.9724. doi:10.1162/neco.1989.1.2.270. ISSN 0899-7667. S2CID 14711886.