Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

Одной из фундаментальных проблем, которой занимался Хебб, было влияние опыта на мозг. Он предложил простую идею: когда один нейрон активирует соседний нейрон, связь между ними укрепляется. Вот его точная формулировка:

Позднее эта идея была обобщена в запоминающейся формуле: «Нейроны, активирующиеся вместе, связываются вместе». Суть идеи Хебба: если два нейрона часто активны одновременно или почти одновременно, сила (возбуждающей) связи между ними возрастает. Важное дополнение: если один нейрон часто активен, когда другой молчит, или наоборот, – их взаимные связи ослабевают.

Этот принцип проявляется во многих сферах нашей жизни. Чем больше практикуешься – играешь на музыкальном инструменте, говоришь на новом языке или, как обезьяна в психологическом эксперименте, достаешь еду граблями, – тем лучше получается. По Хеббу, эти изменения происходят потому, что нейронные ансамбли, кодирующие стимул, все теснее связываются с ансамблями, кодирующими реакцию. В полном соответствии с пословицей «Повторенье – мать ученья» эти связи при многократной совместной активации становятся быстрее, прочнее и эффективнее. У привычных реакций на стимулы формируются прочные связи между появлением стимула и запуском привычного действия. Пристегивание ремня при посадке в машину – типичный пример.

В нейронных сетях более быстрая, прочная и эффективная связь между элементами обозначается более высокой силой связи, или весом. Чем больше вес связи, тем сильнее ее влияние.

Эсекьель. Все, чем был этот человек, все, что он знал, его надежды и печали, его стихи и планы, его любовь и утраты – все это сейчас у вас в руках.

Прия. Я правда не понимаю. Этот человек мертв. Мозг мертв. Как он может хранить знания?

Эсекьель. Его знания – в связях между нейронами. Таких связей сотни триллионов. В них его память и знания.

Прия. Теоретически, если активировать нейроны, отвечающие за слово «предложение» и имя его жены, можно пробудить воспоминание о том, где он делал предложение?

Эсекьель. Думаю, да. Хотя мы не знаем, как найти синапсы с конкретными воспоминаниями о жене. Эти синапсы рассеяны по всей коре – внешнему слою мозга.

Прия. А можно как-то оживить весь мозг?

Эсекьель. Есть серьезные ученые, которые считают это возможным. Они называют процедуру перфузией ex vivo. Пока удалось реанимировать лишь несколько нейронов в мозге свиньи.

Прия. Значит, теоретически этот мозг можно реанимировать, и он будет знать все, что знал человек при жизни?

Эсекьель. Полагаю, да, хотя это крайне сложно. Этот человек всю жизнь создавал синаптические связи, с которыми и умер. Они все еще здесь, как высохшее русло реки. Если бы удалось реанимировать нейроны, эти связи воссоздали бы паттерны активации, существовавшие при жизни. Все его знания – в связях.

Шлюз между водохранилищами на разных уровнях – удачная метафора для связей между элементами сети. В этой метафоре элемент представлен резервуаром, а его активация – уровнем воды. Такая аналогия помогает понять различия в силе связей. Широкий шлюз позволяет передающему резервуару существенно влиять на уровень воды в принимающем. Точно так же большой вес связи между передающим и принимающим элементами позволяет первому сильно влиять на уровень активации второго. Эта интерпретация соответствует биологическим нейронным сетям, где активация одного нейрона вызывает больший или меньший выброс нейромедиаторов в синапсах, что приводит к более или менее интенсивной активации принимающих нейронов. В главе 9 мы рассмотрим эксперименты, демонстрирующие, как связи между нейронами могут укрепляться под действием активационных сигналов – в полном соответствии с идеями Хебба.

Как и любая метафора, аналогия со шлюзом несовершенна. Например, она плохо подходит для описания тормозных связей, где передающий элемент снижает активацию принимающего. И все же она помогает интуитивно понять принципы работы межэлементных связей. На рисунке 3.8 показаны два элемента – А и В. Элемент А получает умеренный или высокий входной сигнал. Он соединен с элементом В возбуждающей связью с низким или высоким весом. По традиции связи с бóльшим весом изображают более толстыми линиями.

Рисунок 3.8. Высокий вес связи (сила связи) означает, что передающий нейрон может сильнее влиять на принимающий нейрон

Низкий вес означает, что элемент А слабо влияет на элемент В. При малом весе умеренный входной сигнал в элемент А вызывает лишь слабую активацию элемента В, а сильный входной сигнал – умеренную активацию. Напротив, высокий вес означает, что элемент А сильно влияет на элемент В. Возвращаясь к метафоре с резервуарами: передающий резервуар оказывает максимальное воздействие при высоком уровне воды (соответствует высокой входной активации) и широком шлюзе (соответствует большому весу связи).

Подобно тому как мы представляли активацию числами, весá связей тоже можно выразить численно. Тормозные связи имеют отрицательные веса, выраженные отрицательными числами, а возбуждающие – положительные веса, выраженные положительными числами.

С учетом этих обозначений мы можем теперь указывать уровни активации и весá связей (силу связей) в нейронной сети. Вернемся к нашей сети с холодильником, но теперь (см. рисунок 3.9) предположим, что связь между элементом «Жажда» и элементом «Идти к холодильнику» имеет высокий вес (+0,9), а связь между элементом «Голод» и тем же выходным элементом – низкий вес (+0,3). Такая сеть может моделировать ситуацию, когда у человека есть устойчивая привычка идти к холодильнику, чтобы утолить жажду, но гораздо меньшая склонность делать это, если он голоден (возможно, вместо этого он тянется к банке с печеньем!). Как и раньше, элемент «Идти к холодильнику» должен получить активацию не менее 0,5 для генерации выходного сигнала (то есть его порог по-прежнему равен 0,5).

Рисунок 3.9. Связи разного веса определяют степень влияния передающих нейронов

Эта нейронная сеть обладает иными свойствами, чем рассмотренная ранее (см. рисунок 3.7), поскольку ее связи