Штучна нейронна мережа: відмінності між версіями
| [перевірена версія] | [перевірена версія] |
Вилучено вміст Додано вміст
вікіфікація |
вікіфікація |
||
Рядок 30:
Дослідження нейронних мереж зазнало застою після дослідження [[Машинне навчання|машинного навчання]] [[Марвін Мінський|Мінського]] та [[Сеймур Пейперт|Пейперта]] (1969),<ref>{{cite book|url={{google books |plainurl=y |id=Ow1OAQAAIAAJ}}|title=Perceptrons: An Introduction to Computational Geometry|last=Minsky|first=Marvin|first2=Seymour|publisher=MIT Press|year=1969|isbn=0-262-63022-2|location=|pages=|author2=Papert}} {{ref-en}}</ref> які відкрили дві ключові проблеми з обчислювальними машинами, що обробляли нейронні мережі. Першою було те, що базові перцептрони були нездатні обробляти схему виключного «або». Другою було те, що комп'ютери не мали достатньої обчислювальної потужності для ефективного виконання роботи, потрібної великим нейронним мережам. Дослідження нейронних мереж уповільнилося, поки комп'ютери не досягли набагато більшої обчислювальної потужності.
Значну частину [[Штучний інтелект|штучного інтелекту]] було зосереджено на оброблюваних [[алгоритм]]ами високорівневих (символьних) моделях, які характеризують, наприклад, [[Експертна система|експертні системи]] зі знаннями, втіленими в правилах «якщо — то», поки наприкінці 1980-х років дослідження не поширилися на низькорівневе (саб-символьне) [[машинне навчання]], що характеризується втіленням знання в параметрах
=== Зворотне поширення ===
Рядок 161:
де <math> \eta </math> є темпом навчання, <math> C </math> є функцією витрат (втрат), а <math>\xi(t)</math> — стохастичним членом. Вибір функції витрат залежить від таких чинників як тип навчання (кероване, спонтанне, [[Навчання з підкріпленням|з підкріпленням]] тощо) та [[Функція збудження|функції збудження]]. Наприклад, при здійсненні керованого навчання на задачі {{нп|Багатокласова класифікація|багатокласової класифікації||Multiclass classification}} поширеними варіантами вибору функції збудження та функції витрат є [[нормована експоненційна функція]] та функція [[Перехресна ентропія|перехресної ентропії]] відповідно. Нормалізовану експоненційну функцію визначають як <math> p_j = \frac{\exp(x_j)}{\sum_k \exp(x_k)} </math>, де <math> p_j </math> представляє ймовірність класу (вихід вузла <math> j </math>), а <math> x_j </math> та <math> x_k </math> представляють загальний вхідний сигнал вузлів <math> j </math> та <math> k </math> одного й того ж рівня відповідно. Перехресну ентропію визначають як <math> C = -\sum_j d_j \log(p_j) </math>, де <math> d_j </math> представляє цільову ймовірність для вузла виходу <math> j </math>, а <math> p_j </math> є виходом ймовірності для <math> j </math> після застосування функції збудження.<ref>{{Cite journal|last=Hinton|first=G.|last2=Deng|first2=L.|last3=Yu|first3=D.|last4=Dahl|first4=G. E.|last5=Mohamed|first5=A. r|last6=Jaitly|first6=N.|last7=Senior|first7=A.|last8=Vanhoucke|first8=V.|last9=Nguyen|first9=P.|date=November 2012|title=Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups|url=http://ieeexplore.ieee.org/document/6296526/|journal=IEEE Signal Processing Magazine|volume=29|issue=6|pages=82–97|doi=10.1109/msp.2012.2205597|issn=1053-5888|bibcode=2012ISPM...29...82H}} {{ref-en}}</ref>
Це можливо використовувати для виведення [[Мінімальна обмежувальна коробка|обмежувальних коробок]] об'єкта у вигляді двійкової маски. Їх також використовують для багатомасштабної регресії для підвищення точності визначення положення. Регресія на основі [[Глибинна нейронна мережа|ГНМ]] може навчатися ознак, що схоплюють геометричну інформацію, на додачу до того, що вони слугують добрим класифікатором. Вони усувають вимогу явного моделювання частин та їхніх взаємозв'язків. Це допомагає розширити розмаїття об'єктів, яких можна навчитися. Модель складається з декількох шарів, кожен з яких має
До альтернатив зворотному поширенню належать [[Машина екстремального навчання|машини екстремального навчання]],<ref>{{cite journal|last2=Zhu|first2=Qin-Yu|last3=Siew|first3=Chee-Kheong|year=2006|title=Extreme learning machine: theory and applications|url=|journal=Neurocomputing|volume=70|issue=1|pages=489–501|doi=10.1016/j.neucom.2005.12.126|last1=Huang|first1=Guang-Bin}} {{ref-en}}</ref> «безпоширні» ({{lang-en|«No-prop»}}) мережі,<ref>{{cite journal|year=2013|title=The no-prop algorithm: A new learning algorithm for multilayer neural networks|url=|journal=Neural Networks|volume=37|issue=|pages=182–188|doi=10.1016/j.neunet.2012.09.020|last1=Widrow|first1=Bernard|display-authors=etal}} {{ref-en}}</ref> тренування без пошуку з вертанням,<ref>{{cite arXiv|eprint=1507.07680|first=Yann|last=Ollivier|first2=Guillaume|last2=Charpiat|title=Training recurrent networks without backtracking|year=2015|class=cs.NE}} {{ref-en}}</ref> «безвагові» ({{lang-en|weightless}}) мережі<ref>ESANN. 2009 {{ref-en}}</ref><ref name="RBMTRAIN">{{Cite journal|last=Hinton|first=G. E.|date=2010|title=A Practical Guide to Training Restricted Boltzmann Machines|url=https://www.researchgate.net/publication/221166159_A_brief_introduction_to_Weightless_Neural_Systems|journal=Tech. Rep. UTML TR 2010-003,|volume=|pages=|via=}} {{ref-en}}</ref> та {{нп|Голографічна асоціативна пам'ять|не-конективістські нейронні мережі||Holographic associative memory}}.
Рядок 261:
Нейронна мережа ''LAMSTAR'' може слугувати динамічною нейронною мережею в просторовій, часовій області визначення, та в обох. Її швидкість забезпечується [[Геббова теорія|геббовими]] вагами з'єднань,<ref name=book2013a>D. Graupe, „Principles of Artificial Neural Networks.3rd Edition“, World Scientific Publishers, 2013, pp.203-274. {{ref-en}}</ref> що об'єднують різні та, як правило, несхожі фільтри (функції попередньої обробки) у її численні шари, і для динамічного ранжування значимості різних шарів та функцій по відношенню до заданої задачі для навчання. Це грубо імітує біологічне навчання, що об'єднує різні попередні обробники ([[Завитка|зави́тку]], [[Сітківка|сітківку]] тощо), кори ({{нп|Слухова кора|слухову||Auditory cortex}}, [[Зорова кора|зорову]] тощо) та різні їхні області. Її здатність до глибинного навчання додатково підсилюється використанням пригнічування, кореляції та її здатністю впоруватися з неповними даними, або „втраченими“ нейронами чи шарами навіть посеред завдання. Через свої ваги з'єднань вона є повністю прозорою. Ці ваги з'єднань також уможливлюють динамічне визначення нововведення й надмірності, та слугують ранжуванню по відношенню до завдання шарів, фільтрів та окремих нейронів.
''LAMSTAR'' застосовували в багатьох областях, включно з медичними<ref>{{Cite journal|last=Nigam|first=Vivek Prakash|last2=Graupe|first2=Daniel|date=2004-01-01|title=A neural-network-based detection of epilepsy|url=https://dx.doi.org/10.1179/016164104773026534|journal=Neurological Research|volume=26|issue=1|pages=55–60|doi=10.1179/016164104773026534|issn=0161-6412|pmid=14977058}} {{ref-en}}</ref><ref name=":11">{{Cite journal|last=Waxman|first=Jonathan A.|last2=Graupe|first2=Daniel|last3=Carley|first3=David W.|date=2010-04-01|title=Automated Prediction of Apnea and Hypopnea, Using a LAMSTAR Artificial Neural Network|url=http://www.atsjournals.org/doi/abs/10.1164/rccm.200907-1146OC|journal=American Journal of Respiratory and Critical Care Medicine|volume=181|issue=7|pages=727–733|doi=10.1164/rccm.200907-1146oc|issn=1073-449X}} {{ref-en}}</ref><ref name="GrGrZh">{{cite journal|last2=Graupe|first2=M. H.|last3=Zhong|first3=Y.|last4=Jackson|first4=R. K.|year=2008|title=Blind adaptive filtering for non-invasive extraction of the fetal electrocardiogram and its non-stationarities|url=|journal=Proc. Inst. Mech Eng., UK, Part H: Journal of Engineering in Medicine|volume=222|issue=8|pages=1221–1234|doi=10.1243/09544119jeim417|last1=Graupe|first1=D.}} {{ref-en}}</ref> та фінансовими прогнозуваннями,<ref name="book2013b">{{harvnb|Graupe|2013|pp=240–253}}</ref> адаптивним фільтруванням зашумленого мовлення в невідомому шумі,<ref name="GrAbon">{{cite journal|last2=Abon|first2=J.|year=2002|title=A Neural Network for Blind Adaptive Filtering of Unknown Noise from Speech|url=https://www.tib.eu/en/search/id/BLCP:CN019373941/Blind-Adaptive-Filtering-of-Speech-from-Noise-of/|journal=Intelligent Engineering Systems Through Artificial Neural Networks|language=en|publisher=Technische Informationsbibliothek (TIB)|volume=12|issue=|pages=683–688|last1=Graupe|first1=D.|accessdate=2017-06-14}} {{ref-en}}</ref> розпізнаванням нерухомих зображень,<ref name="book2013c">D. Graupe, „Principles of Artificial Neural Networks.3rd Edition“, World Scientific Publishers», 2013, pp.253-274. {{ref-en}}</ref> розпізнаванням відеозображень,<ref name="Girado">{{cite journal|last2=Sandin|first2=D. J.|last3=DeFanti|first3=T. A.|year=2003|title=Real-time camera-based face detection using a modified LAMSTAR neural network system|url=|journal=Proc. SPIE 5015, Applications of Artificial Neural Networks in Image Processing VIII|volume=5015|issue=|pages=36|page=|doi=10.1117/12.477405|last1=Girado|first1=J. I.|series=Applications of Artificial Neural Networks in Image Processing VIII|bibcode=2003SPIE.5015...36G}} {{ref-en}}</ref> безпекою програмного забезпечення<ref name="VenkSel">{{cite journal|last2=Selvan|first2=S.|year=2007|title=Intrusion Detection using an Improved Competitive Learning Lamstar Network|url=|journal=International Journal of Computer Science and Network Security|volume=7|issue=2|pages=255–263|last1=Venkatachalam|first1=V}} {{ref-en}}</ref> та адаптивним керуванням нелінійними системами.<ref>{{Cite web|url=https://www.researchgate.net/publication/262316982_Control_of_unstable_nonlinear_and_nonstationary_systems_using_LAMSTAR_neural_networks|title=Control of unstable nonlinear and nonstationary systems using LAMSTAR neural networks|last=Graupe|first=D.|last2=Smollack|first2=M.|date=2007|website=ResearchGate|publisher=Proceedings of 10th IASTED on Intelligent Control, Sect.592,|pages=141–144|language=en|archive-url=|archive-date=|dead-url=|accessdate=2017-06-14}} {{ref-en}}</ref> ''LAMSTAR'' мала значно вищу швидкість навчання та дещо нижчий рівень похибок, ніж ЗНМ на основі фільтрів на
Ці застосування показують занурення в аспекти даних, що є прихованими від мереж поверхневого навчання та людських чуттів, як у випадках передбачення настання подій [[апное уві сні]],<ref name=":11" /> електрокардіограми [[Плід (анатомія)|плоду]] при записі з електродів, розташованих на поверхні шкіри живота матері в ранній період вагітності,<ref name="GrGrZh" /> фінансового прогнозування<ref name="book2013" /> та сліпого фільтрування зашумленого мовлення.<ref name="GrAbon" />
| |||