Штучна нейронна мережа: відмінності між версіями
| [перевірена версія] | [перевірена версія] |
Вилучено вміст Додано вміст
м →Зворотне поширення: скорочення перенаправлення |
→Зворотне поширення: скорочення перенаправлення |
||
Рядок 48:
Щоби подолати цю проблему, {{нп|Юрген Шмідгубер|Шмідгубер||Juergen Schmidhuber}} обрав багатошарову ієрархію мереж (1992), попередньо тренованих по одному шарові за раз за допомогою спонтанного навчання, а потім тонко налаштовуваних [[Зворотне поширення|зворотним поширенням]].<ref name="SCHMID1992">J. Schmidhuber., "Learning complex, extended sequences using the principle of history compression, " ''Neural Computation'', 4, pp. 234—242, 1992. {{ref-en}}</ref> Бенке (2003) в таких задачах, як відбудова зображень та визначення положень облич, покладався лише на знак градієнту ({{нп|еластичне зворотне поширення|||Rprop}}).<ref>{{cite book|url=http://www.ais.uni-bonn.de/books/LNCS2766.pdf|title=Hierarchical Neural Networks for Image Interpretation.|publisher=Springer|year=2003|series=Lecture Notes in Computer Science|volume=2766|author=Sven Behnke}} {{ref-en}}</ref>
{{нп|Джефрі Хінтон|Хінтон||Geoffrey Hinton}} та ін. (2006) запропонували навчання високорівневих представлень із застосуванням послідовних шарів двійкових або дійснозначних [[Латентна змінна|латентних змінних]] з [[Обмежена машина Больцмана|обмеженою машиною Больцмана]]<ref name="smolensky1986">{{cite book|url=http://portal.acm.org/citation.cfm?id=104290|title=Parallel Distributed Processing: Explorations in the Microstructure of Cognition|year=1986|editors=D. E. Rumelhart, J. L. McClelland, & the PDP Research Group|volume=1|pages=194–281|chapter=Information processing in dynamical systems: Foundations of harmony theory.|last1=Smolensky|first1=P.|authorlink1=Пол Смоленський}}</ref> для моделювання кожного шару. Щойно навчено достатньо багато шарів, можна застосовувати глибинну архітектуру як [[Породжувальна модель|породжувальну модель]], відтворюючи дані здійсненням вибірки моделлю донизу («спадковий прохід») від збудження ознак верхнього рівня.<ref name="hinton2006">{{cite journal|last2=Osindero|first2=S.|last3=Teh|first3=Y.|year=2006|title=A fast learning algorithm for deep belief nets|url=http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf|journal={{нп|Neural Computation (журнал)|Neural Computation||Neural Computation (journal)}}|volume=18|issue=7|pages=1527–1554|doi=10.1162/neco.2006.18.7.1527|pmid=16764513|last1=Hinton|first1=G. E.|authorlink1=Джефрі Хінтон}} {{ref-en}}</ref><ref>{{Cite journal|year=2009|title=Deep belief networks|url=http://www.scholarpedia.org/article/Deep_belief_networks|journal=Scholarpedia|volume=4|issue=5|pages=5947|doi=10.4249/scholarpedia.5947|pmc=|pmid=|last1=Hinton|first1=G.|bibcode=2009SchpJ...4.5947H}} {{ref-en}}</ref> 2012 року {{нп|Ендрю Ин|Ин||Andrew Ng}} та [[Джефф Дін (
=== Апаратні конструкції ===
| |||