Перцептрон: відмінності між версіями

'''Перцептро́н''', або '''пер''с''ептро́н''', '''<font color="red">-а</font>'''&nbsp;— математична та [[комп'ютерне моделювання | комп'ютерна модель]] [[Сприйняття | сприйняття]] [[Інформація | інформації]] [[головний мозок|мозком]] ( [[кібернетика | кібернетична]]'' [[модель мозку]]''), запропонована [[Френк Розенблат| Френком Розенблатом]] в [[1957]] році <ref>Rosenblatt, Frank (1958), The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Cornell Aeronautical Laboratory, Psychological Review, v65, No. 6, pp. 386—408.</ref> і реалізована у вигляді електронної машини [[Марк-1 | «Марк-1»]] <ref group="nb"> «Марк-1», зокрема, був системою, що імітує [[Зорова система | людське око]] та його взаємодію з мозком. </ref> У [[1960]] році перцептрон став однією з перших моделей '' [[Штучна нейронна мережа | нейромереж ]] '', а «Марк-1»&nbsp;— першим у світі ''[[нейрокомп'ютер]]ом''. Не зважаючи на свою простоту, перцептрон здатний [[Машинне навчання | навчатися]] і вирішувати досить складні завдання.

Перцептрон складається з трьох типів елементів, а саме: '''сенсорні''', '''асоціативні''' та '''реагуючі'''. [[Сигнал]]и, що надходять від сенсорних елементів передаються асоціативним, а потім реагуючим елементам. Таким чином, перцептрони дозволяють створити набір [[Асоціація (психологія) | «асоціацій»]] між вхідними [[стимул]]ами і необхідною [[Реакція (біологія) | реакцією]] на виході. В біологічному плані це відповідає перетворенню, наприклад, зорової інформації в [[Фізіологічна реакція | фізіологічну відповідь]] рухових [[Нейрон | нейронів]]. Відповідно до сучасної термінології, перцептрони можуть бути класифіковані як штучні нейронні мережі:

# З [[Штучний нейрон # Порогова передавальна функція | пороговою передавальною функцією]];

# З [[Штучна нейронна мережа # Мережі прямого поширення (Feedforward) | прямим розповсюдженням сигналу]].

На тлі зростання популярності нейронних мереж, в [[1969]] році вийшла книга [[Марвін Мінський | Марвіна Мінського]] та [[Сеймур Паперті | Сеймура Паперті]], яка показала принципові обмеження перцептронів. Це призвело до зміщення інтересу дослідників [[Штучний інтелект | штучного інтелекту]] в протилежну від нейромереж область [[символьні обчислення | символьних обчислень]]. <ref Group="nb"> В межах символьному підходу працюють над створенням [[Експертна система | експертних систем]], організацією [[База знань | баз знань]], [[Обробка природної мови | аналізом текстів ]] .</ref> Крім того, через складність [[Математика | математичного]] аналізу перцептронів, а також відсутність загальноприйнятої термінології, виникли різні [[# Традиційні помилки | неточності і помилки]]. Згодом інтерес до нейромереж, і зокрема, робіт Розенблата, поновився.

[[Файл:Single_layer_perceptron.png‎|міні|ліворуч|200пкс|Схема [[Штучний нейрон | штучного нейрону]]&nbsp;— базового елементу будь-якої нейронної мережі]]

В [[1943]] році в своїй статті «Логічне числення ідей, що відносяться до нервової активності» <ref> [http://www.springerlink.com/content/61446605110620kg/fulltext.pdf {{lang|en|Warren S. McCulloch and Walter Pitts, A logical calculus of the ideas immanent in nervous activity}}] </ref> [[Уоррен Мак-Каллок]] і [[Уолтер Піттс]] запропонували поняття [[Штучна нейронна мережа | штучної нейронної мережі]]. Зокрема, ними була запропонована модель [[Штучний нейрон | штучного нейрону]]. [[Дональд Хебб]] в роботі «Організація поведінки» <ref name="hebb"> Donald Olding Hebb The Organization of Behavior: A Neuropsychological Theory [http://books.google.com/books?id=VNetYrB8EBoC] </ref> в [[1949]] році описав основні принципи навчання нейронів.

Ці ідеї кілька років пізніше розвинув американський [[нейрофізіологія|нейрофізіолог]] [[Френк Розенблат]]. Він запропонував схему пристрою, що [[Імітаційне моделювання | моделює]] процес [[органи чуття | людського сприйняття]], і назвав його «перцептроном». Перцептрон передавав сигнали від [[фотоелемент]]ів, що представляють собою сенсорне поле, в блоки електромеханічних елементів пам'яті. Ці комірки з'єднувалися між собою випадковим чином відповідно до принципів [[конективізм]]у. В [[1957]] році в Корнельській Лабораторії Аеронавтики успішно було завершено моделювання роботи перцептрона на комп'ютері [[IBM 704]], а два роки пізніше, [[23 червня]] [[1960]] року в [[Корнельський університет | Корнельському університеті]], був продемонстрований перший [[нейрокомп'ютер]]&nbsp;— '''«Марк-1»''', який був здатний розпізнавати деякі з букв англійського алфавіту. <ref> [http://ei.cs.vt Perceptrons.Estebon.html Perceptrons: An Associative Learning Network]</ref> <ref> [http://www.e-ink.ru/article/iui/poavlenie_perceptrona.htm Поява перцептрону]</ref>

Щоб «навчити» перцептрон класифікувати образи, був розроблений спеціальний ітераційний метод навчання проб і помилок, що нагадує процес навчання людини&nbsp;— [[метод корекції помилки]]. <ref Namename="learning"> [http://www.iskint.ru/ Системи розпізнавання образів] </ref> Крім того, при розпізнанні тієї чи іншої літери перцептрон міг виділяти характерні особливості букви, які статистично зустрічаються частіше, ніж незначні відмінності в індивідуальних випадках. Таким чином перцептрон був здатний узагальнювати літери, написані по-різному (різним почерком), в один узагальнений образ. Проте можливості перцептрона були обмеженими: машина не могла надійно розпізнавати частково закриті літери, а також букви іншого розміру, розташовані зі зрушенням або поворотом, ніж ті, які використовувалися на етапі її навчання.

В [[1958]] році Розенблат опублікував статтю «Перцептрон: Ймовірна модель зберігання та організації інформації в головному мозку». <ref> [http://www.manhattanrarebooks-science.com/ rosenblatt.htm The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain] </ref> Але докладніше свої теорії і припущення щодо процесів сприйняття і перцептронов він описує у [[1962]] році в книзі "Принципи нейродинаміки: Перцептрони та теорія механізмів мозку ". У книзі він розглядає не тільки вже готові моделі перцептрону з одним прихованим шаром, але і [[Багатошаровий перцептрон Розенблата | багатошарових перцептронів]] з [[Перцептрони з перехресними зв'язками | перехресними]] (третій розділ) і [[Перцептрони зі зворотним зв'язком | зворотніми]] (четвертий розділ) зв'язками. У книзі також вводиться ряд важливих ідей і теорем, наприклад, доводиться [[теорема збіжності перцептрону]].

Елементарний перцептрон складається з елементів 3-х типів: S-елементів, A-елементів і ''одного'' R-елементу. S-елементи&nbsp;— це шар сенсорів, або рецепторів. У фізичному втіленні вони відповідають, наприклад, світлочутливим клітинам [[Сітківка | сітківки ока]] або [[Фоторезистор]]ам матриці камери. Кожен рецептор може перебувати в одному з двох станів - ''спокою'' ''або'' ''збудження'', і тільки в останньому випадку він передає одиничний сигнал у наступний шар асоціативним елементів.

A-елементи називаються асоціативними, тому що кожному такому елементу, як правило, відповідає цілий набір (асоціація) S-елементів. A-елемент активізується, як тільки кількість сигналів від S-елементів на його вході перевищує певну величину θ. <ref Group="nb"> Формально A-елементи, як і R-елементи, являють собою [[суматор]]и з ''порогом'', тобто [[Штучний нейрон |поодинокі нейрони]].</ref>

Так само як і A-елементи, R-елемент підраховує суму значень вхідних сигналів, помножених на ваги ([[Лінійна форма |лінійну форму]]). R-елемент, а разом з ним і елементарний перцептрон, видає «1», якщо лінійна форма перевищує поріг θ, інакше на виході буде «-1». Математично, функцію, яку реалізують R-елементом, можна записати так:

[[Машинне навчання | Навчання]] елементарного перцептрона полягає у зміні вагових коефіцієнтів <math> w_i </math> зв'язків A-R. Ваги зв'язків S-A (які можуть приймати значення (-1; 0; 1)) і значення порогів A-елементів вибираються випадковим чином на самому початку і потім не змінюються. (Опис алгоритму див. [[# Алгоритми навчання | нижче]].)

Після навчання перцептрон готовий працювати в режимі '' [[розпізнавання образів | розпізнавання ]] '' або'' [[узагальнення понять | узагальнення ]] ''. У цьому режимі перцептрону пред'являються раніше невідомі йому об'єкти, і він повинен встановити, до якого класу вони належать. Робота перцептрона полягає в наступному: при пред'явленні об'єкта, збуджені A-елементи передають сигнал R-елементу, що дорівнює сумі відповідних коефіцієнтів <math> w_i </math>. Якщо ця сума позитивна, то приймається рішення, що даний об'єкт належить до першого класу, а якщо вона негативна&nbsp;— то до другого.<ref>''Брюхомицкий Ю. А. ''Нейросетевые модели для систем информационной безопасности, 2005.</ref>

Серйозне ознайомлення з теорією перцептроів вимагає знання базових визначень і теорем, сукупність яких і являє собою базову основу для всіх наступних видів [[штучна нейронна мережа | штучних нейронних мереж]]. Але, як мінімум, необхідно розуміння хоча б з точки зору [[Теорія сигналів | теорії сигналів]], що є оригінальним, тобто описане автором перцептрону Ф. Розенблатом.

Для початку визначимо складові елементи перцептрона, які є частковими випадками [[штучний нейрон | штучного нейрону]] з [[Штучний нейрон # Порогова передавальна функція | пороговою функцією передачі]].

Всі розглянуті елементи називаються ''простими'', тому що вони реалізують ''стрибкоподібні функції''. Розенблат стверджував, що для вирішення складніших завдань можуть знадобитися інші види функцій, наприклад, [[Лінійна функція | лінійна]].

* '''[[Перцептрон зі зворотнім зв'язком]]'''&nbsp;— це система, в якій існує хоча б один зв'язок від логічно віддаленішого елемента до менш віддаленого. Відповідно до сучасної термінології такі мережі називаються [[Рекурентна нейронна мережа | рекурентними нейронними мережами]].

Марвін Мінський вивчав властивості [[Паралельні обчислення | паралельних обчислень]], окремим випадком яких на той час був перцептрон. Для аналізу його властивостей йому довелося перекласти теорію перцептронів на мову [[предикат]]ів. Суть підходу полягала в наступному:

: Це модель, у якій вхідні елементи безпосередньо з'єднані з вихідними за допомогою системи ваг. Чи є найпростішою [[Штучна нейронна мережа # Мережі прямого поширення (Feedforward) | мережею прямого розповсюдження]]&nbsp;— [[Лінійний класифікатор | лінійним класифікатором]], і окремим випадком класичного перцептрона, в якому кожен S-елемент однозначно відповідає одному A-елементу, S-A зв'язку мають вагу 1 і всі A-елементи мають поріг θ = 1. Одношарові перцептрони фактично є [[Штучний нейрон | формальними нейронами]], тобто пороговими елементами Мак-Каллока&nbsp;— Піттса. Вони мають безліч обмежень, зокрема, вони не можуть ідентифікувати ситуацію, коли на їхні входи подані різні сигнали («завдання XOR», див [[# Функціональні помилки | нижче]]).

; [[Багатошаровий перцептрон Розенблата | Багатошаровий перцептрон]] (за Розенблатом)

; [[Багатошаровий перцептрон Румельхарта | Багатошаровий перцептрон]] (за Румельхартом)

: Це перцептрон, в якому присутні додаткові шари A-елементів, причому, навчання такої мережі проводиться за методом [[Метод зворотного поширення помилки | зворотного поширення помилки]], причому навчаються всі шари перцептрону (у тому числі S-A). Цей перцептрон є частковим випадком багатошарового перцептрону Розенблата.

Важливою властивістю будь-якої нейронної мережі є [[Машинне навчання | здатність до навчання]]. У своїй книзі Розенблат намагався класифікувати різні алгоритми навчання перцептрону, називаючи їх системами підкріплення.

Описуючи ці системи підкріплення і уточнюючи можливі їхні види, Розенблат ґрунтувався на ідеях [[ Дональд Хебб | Д. Хебба]] про навчання, запропонованих ним в [[1949]] році, які можна перефразувати в наступне правило, яке складається з двох частин:

''' [[ Теорема збіжності перцептрону ]] ''', описана і доведена Ф. Розенблатом (за участю Блока, Джозефа, Кеста та інших дослідників, які працювали разом з ним), показує, що елементарний перцептрон, навчений за таким алгоритмом, незалежно від початкового стану вагових коефіцієнтів і послідовності появи стимулів ''завжди'' приведе до досягнення рішення за скінченний проміжок часу.

Крім класичного методу навчання перцептрону, Розенблат також ввів поняття про [[Навчання без учителя | навчання без учителя]], запропонувавши наступний спосіб:

Пізніше, з розробкою поняття [[багатошаровий перцептрон Румельхарта | багатошарового перцептрону]], альфа-система була модифікована і її стали називати ''[[дельта-правило ]] ''. Модифікація була проведена з метою зробити функцію навчання [[Диференціювання | диференційованою]] (наприклад, [[Сигмоїда|сигмоїдною]]), що в свою чергу потрібно для застосування методу [[Метод найшвидшого спуску | градієнтного спуску]], завдяки якому можливе навчання більше одного шару.

Для навчання багатошарових мереж ряд учених, у тому числі [[Румельхарт Девід | Д. Румельхартом]], був запропонований [[Метод найшвидшого спуску | градієнтний алгоритм]] навчання з учителем, який проводить сигнал помилки, обчислений ''виходами'' перцептрона, до його ''входів'', шар за шаром. Зараз це найпопулярніший метод навчання багатошарових перцептронов. Його перевага в тому, що він може навчити ''всі'' шари нейронної мережі, і його легко прорахувати локально. Однак цей метод є дуже довгим, до того ж, для його застосування потрібно, щоб передавальна функція нейронів була диференційованою. При цьому в перцептронах довелося відмовитися від бінарного сигналу, і користуватися на вході [[Дійсні числа | неперервними значеннями]].

: [[Теорема збіжності перцептрона]] доводить, що немає і не може бути ніякого «може і не пощастити» при рівності А-елементів числа стимулів і не особливою [[G-матриця перцептрона | G-матриці]]&nbsp;— імовірність рішення дорівнює 100&nbsp; %. Тобто при [[відображення | відображенні]] рецепторного поля на асоціативне поле, [[Розмірність простору | розмірності]] більшої на одну, випадковим (нелінійним) [[Оператор (математика) | оператором]], нелінійна задача перетворюється на лінійно роздільну. А наступний шар, що навчається вже знаходить лінійне вирішення в іншому просторі входів.

: На практиці виявляється, що дана задача дуже проста для перцептрона: щоб її вирішити, перцептрону достатньо 1500 А-елементів (замість повних 65 536, необхідних для будь-якої задачі). При цьому число [[Ітерація | ітерацій]] близько 1000. При 1000 А-елементів перцептрон не сходиться за 10 000 ітерацій. Якщо ж збільшити число А-елементів до 40 000, то сходження можна чекати за 30-80 ітерацій.

: Розенблатом було показано, що число А-елементів залежить тільки від кількості стимулів, які треба розпізнати (див. попередній пункт або [[теорема збіжності перцептрону | теорему збіжності перцептрону]]). Таким чином, якщо число А-елементів є фіксованим, можливість перцептрона до розв'язання задач довільної складності безпосередньо не залежит від зростання числа рецепторів.

: Крім того, Мінський досліджував і інші предикати, наприклад «рівність». Але всі ці предикати є достатньо специфічними завдання на узагальнення, а не на розпізнавання або прогнозування. Так, наприклад, щоб перцептрон міг виконувати предикат «парність»&nbsp;— він повинен сказати, парне чи ні число чорних крапок на чорно-білому зображенні, а для виконання предикату «рівність»&nbsp;— сказати, ривна чи ні права частина зображення лівій. Ясно, що такі завдання виходять за рамки задач розпізнавання і прогнозування, і являють собою завдання на узагальнення або просто на підрахунок певних характеристик. Це і було переконливо показано Мінським, і є обмеженням не тільки перцептронов, але і всіх [[Паралельні обчислення | паралельних алгоритмів]], які не здатні швидше послідовних алгоритмів обчислити такі предикати.

: Тому такі завдання обмежують можливості всіх нейронних мереж і перцептронів зокрема, але це ніяк не пов'язано з фіксованими зв'язками першого шару; тому що, по-перше, мова йшла про величину коефіцієнтів зв'язків другого шару, а по-друге, питання тільки в ефективності, а не в принциповій можливості. Тобто перцептрон можна навчити і цьому завданню, але обсяг пам'яті та швидкість навчання будуть більшими, ніж при застосуванні простого послідовного алгоритму. Введення ж у першому шарі вагових коефіцієнтів, що навчаються, лише погіршить стан справ, бо потребує більшого часу навчання. Причому, при підготовці перцептрону до задачі розпізнавання стимулів особливого типу, будуть потрібні особливі умови стохастичного навчання для збереження ефективності, що було показано Розенблатом в експериментах з [[Перцептрон зі змінними S-A зв'язками | перцептроном зі змінними S-A зв'язками]].

В [[1969]] році [[Мінський Марвін Лі | Марвін Мінський]] та [[Паперті Сеймур | Сеймур паперті]] опублікували книгу «Перцептрони»<ref>Minsky M L and Papert S A 1969 Perceptrons (Cambridge, MA: MIT Press)</ref>, де математично показали, що перцептрони, подібні до розенблатівських, принципово не в змозі виконувати багато функцій, які хотіли б отримати від перцептронов. До того ж, у той час була слабо розвинена теорія про паралельних обчислень, а перцептрон повністю відповідав принципам таких обчислень. За великим рахунком, Мінський показав перевагу послідовних обчислень перед [[Паралельні обчислення | паралельними]] в певних класах завдань, пов'язаних з інваріантні представленням. Його критику можна розділити на три теми:

# Перцептрони не мають функціонального переваги над [[Аналітичні методи | аналітичними методами]] (наприклад, [[Статистичні методи | статистичними]]) в задачах, пов'язаних з [[прогнозування]]м. Тим не менше, в деяких випадках вони представляють простіший і [[Продуктивність | продуктивніший]] метод [[Інтелектуальний аналіз даних | аналізу даних]].

# Було показано, що деякі завдання в принципі можуть бути вирішені перцептроном, але можуть вимагати нереально [[Теорія складності обчислень | великого часу]] або нереально великої оперативної [[Оперативна пам'ять | пам'яті]].

[[Файл:Edge approximation.svg | thumb | 200px | left | Приклад [[Класифікація | класифікації]] об'єктів. Зелена лінія&nbsp;— межа класів.]]

Розенблат запропонував ряд [[Психологічний тест | психологічних тестів]] для визначення можливостей нейромереж: експерименти з [[Кластеризація | розрізнення]], [[узагальнення]], [[Пошук закономірностей | розпізнавання послідовностей]], [[Абстрагування | утворення абстрактних понять]], формування і властивостей « [[Самосвідомість | самосвідомості]]», [[Творчість | творчості]], [[Уява | уяви]] та інші. Деякі з цих експериментів далекі від сучасних можливостей перцептронів, тому їхній розвиток відбувається більше [[Філософія | філософськи]], в межах напряму [[коннектівізм]]у. Тим не менше, для перцептронів встановлені два важливих факти, що знаходять застосування у практичних задачах: ''можливість [[класифікація | класифікації]]''(об'єктів) і ''можливість [[апроксимація | апроксимації]]'' (класів і функцій). <ref>[http://www.intuit.ru/department/expert/neurocomputing/3/2.html Лекція 3: Навчання з учителем: Розпізнавання образів]</ref>

Перцептрон може бути використаний як приклад для [[апроксимація|апроксимації]] функцій, для завдання '' [[Прогнозування | прогнозування]]'' (і еквівалентне йому завдання '' [[Розпізнавання образів | розпізнавання образів ]] ''), що вимагає високої точності, та завдання '' [[Інтелектуальний агент | керування агентами]]'', що вимагає високої швидкості навчання.

[[Файл:Learnign_agent_ua.JPG | thumb | 350px | right | Взаємодія [[Інтелектуальний агент |інтелектуального агента]] із середовищем. Важливою частиною такої системи є зворотні зв'язки.]]

У цих завданнях перцептрону потрібно встановити приналежність об'єкта до якого-небудь класу за його параметрами (наприклад, за зовнішнім виглядом, формою, силуету). Причому, точність розпізнавання багато в чому залежатиме від представлення вихідних реакцій перцептрону. Тут можливі три типи кодування: [[Конфігураційне кодування | конфігураційне]], [[позиційне кодування | позиційне]], і гібридне. За позиційного кодування, кожному класу відповідає свій R-елемент, що дає точніші результати, ніж інші види. Однак цей тип кодування не застосовується в тих випадках, коли кількість класів велика, наприклад, кілька сотень. Тоді можна застосовувати гібрид&nbsp;— конфігураційно-позиційне кодування.

У теорії [[ШІ|штучного інтелекту]] часто розглядаються агенти, які навчаються ( [[Адаптивна система | адаптуються]] до [[навколишнє середовище | навколишнього середовища]]). При цьому в [[умови невизначеності | умовах невизначеності]] стає важливим аналізувати не тільки поточну інформацію, а й загальний контекст ситуації, в яку потрапив агент, тому тут застосовуються [[перцептрони зі зворотним зв'язком]]. Крім того, в деяких завданнях стає важливим підвищення швидкості навчання перцептрона, наприклад, за допомогою моделювання [[рефрактерний період | рефрактерності]]. <ref>''Яковлев С. С.'', Investigation of Refractoriness principle in Recurrent Neural Networks, Scientific proceedings of Riga Technical University, Issue 5, Vol.36, RTU, Riga, 2008, P. 41-48. [http://ru.vlab.wikia.com/wiki/Сергей_Яковлев:Статья:Yak2 Читати] {{ref-ru}}</ref>

* [http://page.mi.fu-berlin.de/rojas/neural/chapter/K3.pdf Chapter 3 Weighted networks - the perceptron ] and [http://page.mi.fu-berlin.de/rojas/neural/chapter/K4.pdf Chapter 4 Perceptron learning] of [http://page.mi.fu-berlin.de/rojas/neural/index.html.html ''Neural Networks - A Systematic Introduction''] by Raúl Rojas (ISBN 978-35406050583-540-60505-8)