Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

Рисунок 3.5. Связь между элементами A и B – возбуждающая; связь между A и C – тормозящая. Поэтому активация элемента A усиливает активацию B и ослабляет активацию C. Поскольку B и C не связаны, активация C напрямую не зависит от активации B, и наоборот

Вернемся к входным элементам, которые принимают внешние сигналы и активируются. На рисунке 3.6 стрелки показывают, что внешние сигналы поступают на два левых элемента, активируя их. Входные элементы связаны с другими элементами, которые не могут напрямую получать сигналы извне. Однако благодаря возбуждающим связям от входных элементов они тоже могут активироваться. Эти элементы среднего слоя, в свою очередь, связаны с крайним правым элементом и могут его активировать. Такие крайние правые элементы обычно считают выходными, поскольку они передают активацию за пределы сети, возможно, инициируя действия; для простоты в нашей сети есть только один такой элемент. Как мы уже отмечали, внутренние слои, не получающие внешних сигналов и не выдающие выходных данных, называются скрытыми слоями. В нашей сети один скрытый слой с двумя элементами. Современные сети глубокого обучения могут иметь до 1000 скрытых слоев, и в каждом слое – сотни или даже тысячи элементов.

В мозге не всегда можно точно подсчитать количество скрытых слоев, и как в естественных, так и в искусственных сетях встречаются связи, перескакивающие через слои. Такие сети сложнее той, что изображена на рисунке 3.6, но работают они по тем же принципам, которые мы начинаем изучать.

Обратите внимание на схему связей на рисунке 3.6. Как видно на панели 1, элемент D в скрытом слое получает возбуждающие сигналы от обоих входных элементов, а элемент C – только от элемента A. Выходной элемент E получает возбуждающие сигналы от обоих элементов скрытого слоя. Панель 1 демонстрирует состояние покоя: внешние сигналы отсутствуют, активация всех элементов равна нулю.

Рисунок 3.6. Упрощенная схема потоков активации в нейронной сети

Рассмотрим, как распространяется активация в нашей нейронной сети. Сразу оговоримся: мы изобразили пошаговый процесс, где активация каждого слоя полностью определяется до того, как повлиять на следующий слой. Такой пошаговый процесс типичен для искусственных нейронных сетей и может служить отправной точкой для моделирования процессов в мозге, хотя в мозге активация нарастает постепенно – обычно меньше чем за секунду.

На панели 2 входные сигналы активировали элементы A и B. Размер ореола показывает степень активации. Оба элемента активированы одинаково, поскольку мы подали равные входные сигналы.

Теперь проследим, как активация передается по связям. Пока что наши связи передают полную активацию передающего элемента всем связанным с ним принимающим элементам. На панели 3 элемент C получает активацию только от A, поэтому его активация равна активации A. Элемент D, напротив, активирован сильнее любого из источников своей активации. Это происходит потому, что D суммирует активацию от A и B. На панели 4 элемент E становится самым активным в сети, поскольку суммирует активацию от C и D.

Эта сеть показывает, как внешние сигналы активируют входные элементы, как активация распространяется дальше и как активация элемента определяется суммой получаемых им сигналов. Именно так работала первая нейросетевая модель Джея Макклелланда, вдохновленная потоками воды в горах. Активация, конечно, не течет, как вода, – связанные элементы влияют на активацию друг друга. И все же метафора Джея помогает понять принципы работы нейронной сети.

Мы уже отмечали, что в мозге активация нарастает постепенно и при достаточно длительном входном сигнале достигает устойчивого состояния. Соответственно, при прекращении входного сигнала активация элементов стремится вернуться к состоянию покоя, показанному на панели 1. Как и следовало ожидать, нейроны не остаются активными вечно.

Мы только в начале пути, но давайте попробуем создать нейронную сеть, которая отражает некоторые аспекты поведения. Представим, что у человека есть группа нейронов, активирующихся при жажде. Чем сильнее жажда, тем активнее эти нейроны. Есть и другая группа нейронов, реагирующая на голод. Представим также третью группу нейронов: при достаточно высокой активации они заставляют человека идти к холодильнику. У реального человека эквивалентом такого выходного сигнала было бы сообщение скелетным мышцам начать движение к холодильнику. Наконец, предположим, что от нейронов голода и жажды идут возбуждающие связи к нейронам «Идти к холодильнику» (о том, как возникают такие связи, поговорим позже).

Как изобразить эту ситуацию в виде нейронной сети? Начнем с элементов «Жажда», «Голод» и «Идти к холодильнику» (рисунок 3.7). Поскольку элемент «Жажда» влияет на активацию элемента «Идти к холодильнику», между ними есть связь. Аналогичная связь существует между элементами «Голод» и «Идти к холодильнику». А вот между «Жаждой» и «Голодом» связи нет – мы исходим из того, что жажда не вызывает голод и наоборот.

Рисунок 3.7. Нейронная сеть, где элемент «Идти к холодильнику» срабатывает, только если входной сигнал превышает пороговое значение 0,5

Мы уже подчеркивали: чтобы человек пошел к холодильнику, активация соответствующих нейронов должна превысить определенный уровень. В нашей модели это отражено пороговым значением активации, которое мы установили равным 0,5.

Проследим, как работает эта нейронная сеть. Сначала рассмотрим случай, когда элемент «Жажда» имеет активацию 0,3, а элемент «Голод» полностью неактивен. Это соответствует ситуации, когда человек слегка хочет пить, но совсем не голоден. Как и прежде, связь между элементами «Жажда» и «Идти к холодильнику» передает полную активацию, поэтому элемент «Идти к холодильнику» тоже получит активацию 0,3. Это меньше порогового значения 0,5, и выходной сигнал не генерируется. Однако если элемент «Жажда» получит входной сигнал 0,6 (более сильная жажда), элемент «Идти к холодильнику» достигнет активации 0,6, что превысит порог 0,5 и вызовет выходной сигнал. Точно так же отсутствие сигнала жажды при сигнале голода 0,6 тоже активирует нейрон «Идти к холодильнику».

Теперь рассмотрим случай умеренной жажды и умеренного голода. Допустим, оба элемента – «Жажда» и «Голод» – имеют активацию 0,3 и передают ее элементу «Идти к холодильнику». Поскольку элементы суммируют получаемые сигналы, элемент «Идти к холодильнику» получит суммарную активацию 0,6. Это выше порога, и элемент выдаст выходной сигнал. По той же логике комбинация «Жажда» 0,4 и «Голод» 0,2 активирует элемент «Идти к холодильнику», а комбинация «Жажда» 0,2 и «Голод» 0,2 – нет.

Эта упрощенная нейронная сеть демонстрирует принципы порога и суммирования активации (активация от элементов «Жажда» и «Голод» складывается в элементе «Идти к холодильнику»). Но главное – она раскрывает важную психологическую закономерность: