Нейронна мережа Гопфілда

Нейронна мережа Гопфілда — це тип рекурентної, повнозв'язної, штучної нейронної мережі з симетричною матрицею зв'язків. У процесі роботи динаміка таких мереж сходиться (конвергує) до одного з положень рівноваги. Ці положення рівноваги є локальними мінімумами функціоналу, що називається енергія мережі (у найпростішому випадку — локальними мінімумами негативно визначеної квадратичної форми на n-вимірному кубі). Така мережа може бути використана як автоасоціативна пам'ять^[en], як фільтр, а також для розв'язання деяких завдань оптимізації. На відміну від багатьох нейронних мереж, що працюють до отримання відповіді через певну кількість тактів, мережі Гопфілда працюють до досягнення рівноваги, коли наступний стан мережі дорівнює попередньому.

Архітектура мережі ред.

Схема мережі Гопфілда з трьома нейронами

Нейронна мережа Гопфілда складається з $N$ штучних нейронів. Кожен нейрон системи може набувати одного з двох станів (що аналогічно виходу нейрона з пороговою функцією активації):

y_{i}=\left\{{\begin{matrix}1,\\-1\end{matrix}}\right.

Через їхню біполярну природу нейрони мережі Гопфілда іноді називають спінами.

Взаємодія спінів мережі описується виразом:

E={\frac {1}{2}}\sum _{i,j=1}^{N}w_{ij}x_{i}x_{j}

де $w_{ij}$ — елемент матриці взаємодій $W$ , яка складається з вагових коефіцієнтів зв'язків між нейронами. У цю матрицю в процесі навчання записується М «образів» — N-вимірних бінарних векторів: $S_{m}=(s_{m1},s_{m2},...,s_{mN})$

У мережі Гопфілда матриця зв'язків є симетричною ( $w_{ij}=w_{ji}$ ), а діагональні елементи матриці покладаються рівними нулю ( $w_{ii}=0$ ), що виключає ефект впливу нейрона на самого себе та є необхідним для мережі Гопфілда, але не достатньою умовою стійкості в процесі роботи мережі. Достатнім є асинхронний режим роботи мережі. Подібні властивості визначають тісний зв'язок з реальними фізичними речовинами, що назваються спіновими склами.

Література ред.

J. J. Hopfield, «Neural networks and physical systems with emergent collective computational abilities», Proceedings of National Academy of Sciences, vol. 79 no. 8 pp. 2554—2558, April 1982. PNAS Reprint (Abstract) PNAS Reprint (PDF)
J. J. Hopfield Neural with graded response have collective computational properties like those of two-state neurons.. — 1984.
J. J. Hopfield Learning algorithms and probability distributions in feed-forward and feed-back networks. — 1987.
Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика = Neural Computing. Theory and Practice. — М.: Мир, 1992. — 240 с. — ISBN 5-03-002115-9
McEliece R.J., Posner E.C., Rodemich E.R., Venkatesh S.S., The capacity of the Hopfield associative memory, IEEE Transactions on Information Theory, Volume 33, Issue 4 (July 1987), 461—482.
B.V.Kryzhanovsky, L.B.Litinskii, A.L.Mikaelian. «Vector-neuron models of associative memory», Proc. of Int. Joint Conference on Neural Networks IJCNN-04, Budapest-2004, pp.909-1004.
B.V.Kryzhanovsky, B.M.Magomedov, A.L.Mikaelian. «A Domain model of neural network», Doklady Mathematics vol.71, pp.310-314 (2005).