Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

И тут вы вправе возразить: «Минуточку! А откуда у этого передающего нейрона взялся потенциал действия?» Ответ прост: его вызвали другие передающие нейроны, расположенные выше по цепи. Иначе говоря, наш передающий нейрон был принимающим для вышележащих нейронов. Он стал передающим благодаря полученному сигналу – точно так же наш принимающий нейрон станет передающим для нейронов, расположенных ниже по цепи.

Вернемся к нашему передающему нейрону с потенциалом действия, бегущим по аксону. Когда потенциал действия достигает передающей стороны синапса, в синаптическую щель между передатчиком и приемником выделяется химическое вещество – нейромедиатор. Нейромедиатор открывает поры на принимающей стороне, и положительно заряженные ионы устремляются внутрь. Если в принимающий нейрон попадает достаточно положительных ионов, он может запустить собственный потенциал действия. Обычно в запуске потенциала действия принимающего нейрона участвует множество передающих нейронов. Нейромедиатор, выделенный в синапсе, затем обратно захватывается передающим нейроном.

Стоит выделить четыре свойства межнейронной коммуникации, поскольку они пригодятся нам при дальнейшем обсуждении нейронных сетей.

Рисунок 3.2. События в синапсе. Потенциал действия в передающем нейроне высвобождает нейромедиаторы в синапс, что может запустить потенциал действия в принимающем нейроне

Во-первых, хотя потенциалы действия – дискретные события по принципу «все или ничего», мы и многие другие исследователи рассматриваем сигнал нейрона как непрерывную величину – частоту разрядов, измеряемую в потенциалах действия в секунду. Это удобно, поскольку осмысленные сигналы обычно передаются группами нейронов и их совокупное воздействие нарастает и спадает за десятки миллисекунд. Группа нейронов, генерирующих по 50 потенциалов действия в секунду, гораздо активнее (и влиятельнее), чем группа с частотой 10 потенциалов действия в секунду. В главе 2 мы отождествили частоту разрядов нейронов с активацией элементов нейронной сети.

Во-вторых, передающий нейрон может влиять на принимающий, увеличивая или уменьшая его частоту разрядов. Эти возбуждающие или тормозящие эффекты возникают потому, что разные нейромедиаторы открывают в клеточной мембране поры для положительных или отрицательных ионов из окружающей жидкости. Положительные ионы приближают потенциал нейрона к порогу срабатывания – это базовый механизм возбуждения нейрона. Отрицательные ионы, входящие в нейрон (или положительные, покидающие его), отдаляют потенциал от порога срабатывания – это базовый механизм торможения. Таким образом, воздействие одного нейрона на другой может быть возбуждающим или тормозящим. Без возбуждения мозг был бы инертен и неспособен порождать мысли или действия. Без торможения ничто не сдерживало бы непрерывную генерацию потенциалов действия, и мозг вечно гудел бы, заглушая полезные сигналы шумом.

В-третьих, влияние одного нейрона на другой – всегда вопрос степени. Сила отдельных синапсов различна, и один передающий нейрон может образовывать несколько синапсов с принимающим. Если рассматривать целые группы нейронов, влияние одной группы на другую зависит от общего числа синапсов между всеми передающими и принимающими нейронами. В целом степень влияния одного нейрона на другой определяется множеством факторов. В нейронных сетях мы будем представлять это градуированное влияние как силу связи между элементами.

В-четвертых, суммарный вход нейрона объединяет все получаемые им индивидуальные сигналы. Сигнал в одном синапсе вызывает очень слабое изменение – обычно недостаточное для запуска потенциала действия в принимающем нейроне. Но у типичного пирамидального нейрона десятки тысяч синапсов на дендритном дереве – мест, где он принимает сигналы от других нейронов. В первом приближении нейроны вычисляют суммарный вход как сумму всех возбуждающих сигналов минус сумма тормозящих. Положительный суммарный вход повышает частоту разрядов нейрона, отрицательный – снижает.

Вот и вся нейронаука, которая нам понадобится. Теперь мы готовы использовать эти четыре свойства нейронов для построения нейронных сетей.

Теперь применим рассмотренные принципы нейронауки для разработки нейронных сетей и изучения их работы.

Базовый вычислительный элемент мозга – нейрон. Соответствующий базовый элемент нейронной сети называется элементом. Элементы – это гипотетические конструкты: мы постулируем, что они существуют, и исследуем, чему мы можем научиться, если это так. Элементы в моделях не обязательно точно соответствуют отдельным нейронам. Часто удобнее представлять элемент как группу нейронов, совместная активность которых отражает нечто осмысленное – например, объект или возможное действие.

Некоторые нейроны генерируют потенциалы действия в ответ на события внешнего мира. Например, обонятельные нейроны реагируют на запах духов, а нейроны глаза – на вспышку света. Аналогично в наших нейронных сетях будут элементы, способные принимать сигналы извне сети. Мы будем называть их входными элементами.

Нейроны, получающие достаточно сильный внешний сигнал, надежно активируют связанные с ними нейроны. Чем выше частота разрядов нейрона, тем сильнее его влияние на связанные с ним нейроны. Точно так же мы предполагаем, что каждый элемент нейронной сети имеет уровень активации. Поскольку элемент соответствует группе нейронов, его уровень активации отражает среднюю частоту разрядов этой группы. Как и у нейронов, чем выше активация элемента, тем сильнее его влияние на связанные с ним элементы.

Как говорилось в главе 1, элементы нейронной сети обычно изображают кружками. Уровень активации элемента можно показать толщиной ореола вокруг кружка (рисунок 3.3).

Рисунок 3.3. Три элемента с разными уровнями активации. Активация элемента соответствует средней частоте разрядов группы нейронов, которую он представляет

На рисунке 3.3 показаны три элемента – A, B и C, которые можно считать строительными блоками нашей первой нейронной сети. Элемент A активирован сильно, B – средне, а C – еще слабее.

Есть другой, более точный способ показать уровень активации – при помощи чисел. Значения активации должны быть ограничены минимумом и максимумом. Примем распространенное соглашение: активация варьируется от чуть меньше 0 до 1. Нулевая активация соответствует базовой частоте разрядов; положительные значения означают частоту выше базовой, отрицательные – ниже базовой. На рисунке 3.4 изображены те же элементы, но их активация показана числами.

Рисунок 3.4. Активация представлена положительными или отрицательными числами в зависимости от того, превышает ли частота разрядов элемента базовый уровень или нет

Пока все понятно. Но чтобы элементы образовали сеть, между ними должны быть связи. Если один элемент влияет на активацию другого, обозначим связь линией. Договоримся показывать возбуждающую связь стрелкой на принимающем конце, а тормозящую – точкой. На рисунке 3.5 элемент A имеет возбуждающую связь с элементом B и тормозящую – с элементом C. Элементы B и C не связаны и не влияют друг на друга. Кроме того, схема показывает, что ни B, ни C не влияют на A. Такие обратные связи существуют, и мы рассмотрим их в следующих главах.