Система пам'яті — передбачування

Систе́ма па́м'яті — передба́чування (англ. memory-prediction framework) — це теорія функціювання мозку, створена Джеффом Гокінсом, та описана в його книзі «Про інтелект» 2004 року. Ця теорія розглядає роль нової кори ссавців та її зв'язків із гіпокампами та таламусом у співставлянні сенсо́рних входів зі збереженими образами в пам'яті, а також те, як цей процес веде до передбачування того, що станеться в майбутньому.

Загальний огляд

Цю теорію вмотивовано спостережуваними подібностями між структурами головного мозку (особливо тканини нової кори), які використовуються для широкого кола типів поведінки, доступних ссавцям. Ця теорія стверджує, що надзвичайно однорідне фізичне влаштування тканини кори відображає єдиний принцип або алгоритм, який лежить в основі всієї кортикальної обробки інформації. Вбачається, що основним принципом обробки є петля зворотного зв'язку / пригадування, що включає як кортикальну, так і позакортикальну участь (останню, зокрема, з боку таламуса та гіпокампів).

Основна теорія: розпізнавання та передбачування у двоспрямованих ієрархіях

Центральна концепція системи пам'яті — передбачування полягає в тому, що висхідні входи підпаровуються в ієрархії розпізнавання, й викликають низку низхідних очікувань, кодованих як потенціювання. Ці очікування взаємодіють із висхідними сигналами, щоби як аналізувати ці входи, так і породжувати передбачування подальших очікуваних входів. Кожен рівень ієрархії запам'ятовує часто спостережувані часові послідовності входових образів, і породжує мітки (англ. labels) або «назви» (англ. "names") для цих послідовностей. Коли входова послідовність підпаровується до запам'ятованої послідовності на заданому рівні ієрархії, мітка або «назва» поширюється ієрархією вгору — усуваючи таким чином деталі на вищих рівнях, і дозволяючи їм навчатися послідовностей вищого порядку. Цей процес створює підвищену інваріантність на вищих рівнях. Вищі рівні передбачують майбутні входи, підпаровуючи часткові послідовності, та проєктуючи свої очікування на нижчі рівні. Проте, коли між входовими та запам'ятованими/передбачуваними послідовностями виникає невідповідність, угору поширюється повніше подання. Це спричинює активування альтернативних «інтерпретацій» на вищих рівнях, що, своєю чергою, породжує інші передбачування на нижчих рівнях.

Розгляньмо, наприклад, процес бачення. Висхідна інформація починається як низькорівневі сигнали від сітківки (що вказують на наявність простих візуальних елементів та контрастностей). На вищих рівнях ієрархії видобувається дедалі змістовніша інформація щодо наявності ліній, областей, рухів тощо. Ще вище за ієрархією активність відповідає наявності конкретних об'єктів — а потім і до поведінки цих об'єктів. Низхідна інформація заповнює деталі про розпізнані об'єкти, а також про їхню очікувану поведінку з плином часу.

Сенсо́рна ієрархія зумовлює ряд відмінностей між різними рівнями. У міру просування вгору цією ієрархією подання зазнають зростання:

• Обширу — наприклад, більші області поля зору, або обширніші тактильні області.
• Часової стійкості — сутності нижчих рівнів змінюються швидко, тоді як сприйняття на вищих рівнях схильні бути стійкішими.
• Абстрактності — через процес послідовного виділяння інваріантних ознак розпізнаються все абстрактніші сутності.

Важливим аспектом основної теорії є взаємозв'язок між сенсо́рною та моторною обробкою. Зроблено припущення, що моторні області кори складаються з поведінкової ієрархії, подібної до сенсо́рної, де найнижчі рівні складаються з явних моторних команд м'язам, а найвищі рівні відповідають абстрактним розпорядженням (наприклад, «змінити розмір браузера»). Сенсо́рна та моторна ієрархії є тісно пов'язаними між собою, зі збуджуванням поведінкою сенсо́рних очікувань, та сенсорними сприйняттями, що рухають моторними процесами.

Нарешті, важливо зазначити, що всіх спогадів у кортикальній ієрархії повинно бути навчено — ця інформація не є прошитою в мозку заздалегідь. Отже, висувається теорія, що процес виділяння цього подання з потоку входів та поведінки є процесом, що відбувається безперервно під час пізнання.

В інших термінах

Гокінс має велику підготовку як інженер з електроніки. Інший спосіб описати цю теорію (натяк на який зроблено в його книзі) — це навчальна ієрархія стохастичних скінченних автоматів з прямим зв'язком. З цієї точки зору головний мозок аналізують як задачу кодування, яка не надто відрізняється від кодів виправляння помилок, що передбачують майбутнє. Ця ієрархія — це ієрархія абстракції, де стани машин вищого рівня представляють абстрактніші умови або події, й ці стани схиляють машини нижчого рівня до здійснення певних переходів. Машини нижчого рівня моделюють обмежені області визначення відчуттів, або контролюють чи інтерпретують сенсори чи ефектори. Система в цілому фактично контролює поведінку організму. Оскільки цей скінченний автомат — «з прямим зв'язком», організм реагує на майбутні події, передбачені з даних минулого. Оскільки вона є ієрархічною, ця система демонструє поведінкову гнучкість, легко виробляючи нові послідовності поведінки у відповідь на нові сенсо́рні дані. Оскільки система навчається, нова поведінка пристосовується до мінливих умов.

Тобто, еволюційним призначенням мозку є передбачувати майбутнє, звісно, обмеженими способами, щоби змінювати його.

Нейрофізіологічне втілення

Теоретично, описані вище ієрархії мають місце переважно в новій корі головного мозку ссавців. Зокрема, передбачається, що нова кора складається з великої кількості колонок (припущення про що також висував Вернон Бенджамін Маунткасл, з анатомічних та теоретичних міркувань). Кожна колонка є наладованою на певну ознаку на заданому рівні в ієрархії. Вона отримує висхідні входи з нижчих рівнів, та низхідні входи з вищих рівнів. (Інші колонки на тому ж рівні також подають на вхід до заданої колонки, й слугують переважно для пригнічування активаційно-ексклюзивних подань.) Коли вхід розпізнається — тобто, отримується прийнятна згода між висхідними та низхідними джерелами, — колонка породжує виходи, які своєю чергою поширюються як до нижчого, так і до вищого рівнів.

Кора

Ці процеси добре відображуються на певні шари в корі головного мозку ссавців. (Шари кори не слід плутати з різними рівнями ієрархії обробки: усі шари в одній колонці беруть участь як один елемент на одному ієрархічному рівні). Висхідний вхід надходить до шару IV, звідки він поширюється до шарів II та III для розпізнавання інваріантного вмісту. Низхідна активація надходить до шарів II та III через шар I (переважно аксонний шар, який роздає активацію локально між колонками). Шари II та III порівнюють висхідну та низхідну інформацію, та породжують або інваріантні «назви» (англ. "names"), коли досягнуто достатнього збігу, або більше мінливих сигналів, що виникають, коли це не вдається. Ці сигнали поширюються вгору ієрархією (через шар V), а також вниз ієрархією (через шари VI та I).

Таламус

Щоби пояснити зберігання та розпізнавання послідовностей образів, запропоновано поєднання двох процесів. Неспецифічний таламус діє як «лінія затримки» — тобто, шар V активує цю область мозку, яка знову активує шар I після невеликої затримки. Таким чином, вихід однієї колонки породжує активність шару I, яка збігатиметься із входом до колонки, який є хронологічно наступним у межах послідовності. Це чергування в часі діє у поєднанні з ідентифікацією послідовності на вищому рівні, яка не змінюється в часі; отже, активація подання послідовності спричинює передбачування складових нижчого рівня однієї за одною. (Окрім цієї ролі в послідовностях, таламус також діє як сенсо́рна зупинка в дорозі — ці ролі, очевидно, стосуються різних областей цієї анатомічно неоднорідної структури.)

Гіпокамп

Ще однією анатомічно відмінною структурою мозку, що, як передбачається, відіграє важливу роль в ієрархічнім пізнанні, є гіпокамп. Загальновідомо, що пошкодження обох гіпокампів погіршує формування довготривалої декларативної пам'яті; особи з такими пошкодженнями не в змозі формувати нові спогади епізодичного характеру, хоча вони можуть без труднощів згадувати попередні спогади, а також можуть засвоювати нові навички. У даній теорії гіпокампи розглядаються як найвищий рівень кортикальної ієрархії; вони спеціалізуються на зберіганні спогадів про події, що поширюються аж до верху. Оскільки такі події вписуються у передбачувані образи, вони стають запам'ятовуваними на нижчих рівнях ієрархії. (Такий рух спогадів ієрархією донизу є, до речі, загальним передбаченням цієї теорії.) Таким чином, гіпокампи постійно запам'ятовують «несподівані» події (тобто ті, що не було передбачено на нижчих рівнях); якщо їх пошкоджено, весь процес запам'ятовування через ієрархію порушується.

Детальніші відомості з цієї теми ви можете знайти в статті Коло Папеса.

2016 року Джефф Гокінс висунув гіпотезу, що кортикальні колонки фіксують не просто відчуття, а й відносне розташування цього відчуття у трьох вимірах, а не у двох (ситуаційне вловлювання, англ. situated capture), стосовно того, що було навколо. «Коли мозок будує модель світу, все має своє місце щодо всього іншого» — Джеф Гокінс.

Пояснювальні успіхи та передбачення

Система пам'яті—передбачування пояснює низку психологічно важливих аспектів пізнання. Наприклад, здатність експертів у будь-якій галузі без особливих зусиль аналізувати та запам'ятовувати складні проблеми у своїй галузі є природним наслідком формування ними все витонченіших ієрархій понять. Крім того, перехід від «сприйняття» до «розуміння» є легко зрозумілим як результат підпаровування низхідних та висхідних очікувань. Невідповідності, навпаки, породжують вишукану здатність біологічного пізнання виявляти несподівані сприйняття та ситуації. (Недоліки в цьому плані є загальною характеристикою поточних підходів до штучного інтелекту.)

Окрім цих суб'єктивно задовільних пояснень, ця система робить також низку перевірних передбачень. Наприклад, важлива роль, яку передбачування відіграє в сенсо́рних ієрархіях, вимагає випереджувальної нервової активності в певних клітинах по всій сенсо́рній корі. Крім того, клітини, що «називають» певні інваріанти, повинні залишатися активними протягом усієї присутності цих інваріантів, навіть якщо входи, що лежать в основі, змінюються. Передбачувані взірці висхідної та низхідної активності — причому перші є складнішими, коли очікування не виправдовуються, — може бути виявлено, наприклад, за допомогою функціональної магнітно-резонансної томографії (фМРТ).

Незважаючи на те, що ці передбачення не є особливо специфічними для пропонованої теорії, вони є достатньо однозначними, щоб уможливити перевірку або відхилення її центральних положень. Докладніше про передбачення та висновки див. «Про інтелект».

Внесок та обмеження

За задумом, ця теорія в її поточному стані спирається на роботу численних нейробіологів, і можна стверджувати, що більшість з цих ідей вже було запропоновано такими дослідниками як Гросберг та Маунткасл. З іншого боку, нововведене відокремлення концептуального механізму (тобто двоспрямованої обробки та інваріантного розпізнавання) від біологічних деталей (тобто нейронних шарів, колонок та структур) закладає основу для абстрактного мислення про широкий спектр процесів пізнання.

Найсуттєвішим обмеженням цієї теорії є її поточний брак деталізації. Наприклад, концепція інваріантності відіграє вирішальну роль; Гокінс постулює «клітини назв» принаймні для деяких із цих інваріантів. (Див. також Нейронний ансамбль § Кодування про нейрони бабусі, що виконують цей тип функцій, та дзеркальні нейрони з точки зору соматосенсорної системи.) Але далеко не очевидно, як розробити математично строге визначення, що нестиме необхідне концептуальне навантаження в усіх областях, представлених Гокінсом. Так само, повна теорія вимагатиме достовірних деталей як щодо короткострокової динаміки, так і щодо процесів навчання, які дозволять шарам кори поводитися так, як заявлено.

Модель Гокінса впроваджує IBM.

Моделі машинного навчання

Теорія пам'яті—передбачування стверджує, що в усіх областях нової кори використовується загальний алгоритм. Ця теорія породила низку програмних моделей, спрямованих на імітацію цього загального алгоритму за допомогою пам'яті ієрархічної структури. Рік у переліку нижче вказує, коли модель було крайній раз оновлено.

Моделі на основі баєсових мереж

Наступні моделі використовують поширення переконань або перегляд переконань в однозв'язних баєсових мережах .

• Ієрархічна часова пам'ять (ІЧП), модель, відповідна платформа розробки та початковий код Numenta, Inc. (2008).
• HtmLib^{[недоступне посилання з 01.11.2012]}, альтернативне втілення алгоритмів ІЧП Грегом Кочаняком з низкою модифікацій для підвищення точності та швидкості розпізнавання (2008).
• Project Neocortex, проєкт з відкритим кодом для моделювання системи пам'яті — передбачування (2008).
  • Сторінка досліджень Саулюса Гаралевічюса, наукові праці та програми, що представляють експериментальні результати з моделлю системи пам'яті — передбачування, основа для проєкту Neocortex (2007).
• George, Dileep (2005). A Hierarchical Bayesian Model of Invariant Pattern Recognition in the Visual Cortex. CiteSeerX 10.1.1.132.6744. стаття, що описує ранню баєсову модель до ІЧП від співзасновника Numenta. Це перша модель системи пам'яті—передбачування, яка використовує баєсові мережі, і всі вищезазначені моделі ґрунтуються на цих початкових ідеях. Первинний код Matlab цієї моделі був у вільному доступі для завантаження протягом ряду років.

Інші моделі

• Implementation of MPF, стаття Саулюса Гаралевічюса, що описує метод класифікації та передбачування в моделі, яка зберігає часові послідовності та використовує некероване навчання (2005).
• M5, машина образів для Palm OS, яка зберігає послідовності образів і згадує образи, що відповідають її поточному середовищу (2007).
• BrainGame, клас передбачувачів з відкритим кодом, який навчається образів та може бути з'єднаним з іншими передбачувачами (2005).

Див. також

• Вернон Маунткасл, невролог, який виявив і описав колонкоподібну будову кори головного мозку.
• Теорія адаптивного резонансу, нейромережна архітектура, розроблена Стівеном Гросбергом.
• Обчислювальна нейронаука
• Нейронний дарвінізм
• Передбачувальне кодування
• Передбачувальне навчання
• Розріджена розподілена пам'ять

Література

• Jeff Hawkins (2004), On Intelligence, New York: Henry Holt. Bibliography, Index, 251 pages. ISBN 0-8050-7456-2 (англ.)
  • Джефф Хокинс и Сандра Блейксли. Об интеллекте. — Москва • Санкт-Петербург • Киев : Вильямс, 2016. — 240 с. — 200 прим. — ISBN 978-5-8459-2067-6. (рос.)

Посилання

• Первинний код та дані алгоритму ієрархічного бачення (англ.)
  — подібні до Системи Пам'яті—Передбачування (від Центру біологічного та обчислювального навчання МТІ)
• Група статей про нейронауку та ШІ (англ.)
  — Група статей та робіт, що підтримують теорію СПП Джефа.
• MIT Technology Review Monday, February 12, 2007: Building the Cortex in Silicon (англ.)