Документ взят из кэша поисковой машины. Адрес оригинального документа : http://ecology.genebee.msu.ru/3_SOTR/CV_Terekhin_publ/2009_Rostov_Varifoc.doc Дата изменения: Tue Jun 9 15:41:33 2009 Дата индексирования: Mon Oct 1 21:37:37 2012 Кодировка: koi8-r Поисковые слова: п п п п п п п п п п п п п

НЕЙРОСЕТЕВЫЕ МЕХАНИЗМЫ КОГНИТИВНОЙ ГИБКОСТИ

А.Т. Терехин, Е.В. Будилова, М.П. Карпенко, Л.М. Качалова, Е.В. Чмыхова




1. Биологический факультет МГУ им. М.В. Ломоносова, Москва, Россия

2. Институт когнитивной нейрологии СГА, Москва, Россия

E-mail: terekhin_a@mail.ru





Cognitive flexibility of a neural network is defined as the range of
smoothness of its Lyapunov function: greater smoothness makes easier
finding strategically more effective solutions of problems whereas lesser
one is necessary for elaborating details. We use as a model the gradual
Hopfield network ensuring the variation of smoothness of the Lyapunov
function by changing the activation function smoothness parameter.

Когнитивная гибкость нейронной сети определяется как актуальный диапазон
изменения гладкости ее функции Ляпунова - большая гладкость облегчает
нахождение стратегически эффективных направлений решения задачи, а меньшая
необходима для проработки его деталей. В качестве модели используется
градуальная сеть Хопфилда, в которой изменение гладкости функции Ляпунова
обеспечивается изменением параметра гладкости сигмоидной функции
активации.


Постановка задачи


Как в повседневной жизни, так и в серьезных психологических исследованиях
важной характеристикой мышления человека считается степень его гибкости
(флексибильности) - свойства, противоположного когнитивной жесткости
(ригидности) [3]. На нейробиологическом уровне обнаруживается обратная
зависимость гибкости мышления от активности катехоламиновых систем мозга
[7]; снижение когнитивной гибкости наблюдается при некоторых психических
заболеваниях - шизофрении [13], аутизме [8]. Гибкость мышления тесно
связана с его креативностью [9, 12]. Задача данного исследования состоит в
выявлении механизмов, обеспечивающих гибкость мышления на информационном,
нейросетевом уровне. В качестве нейросетевой модели, описывающей базовые
аспекты когнитивной деятельности мозга, используется градуальная сеть
Хопфилда с сигмоидной функцией активации, содержащей изменяемый параметр
гладкости. При неизменных синаптических весах увеличение параметра
гладкости приводит к увеличению гладкости функции энергии сети. В свою
очередь, степень гладкости функции энергии определяет масштаб переходов
между аттракторами сети: большая гладкость обеспечивает возможность
перехода между более удаленными аттракторами сети. Соответственно, в рамках
данной модели, мы определяем когнитивную гибкость сети как диапазон
изменения степени гладкости функции энергии, но полагаем, что, в общих
чертах, этот подход применим и к пониманию механизмов обеспечения гибкости
мыслительного процесса реального мозга.




Модель


Cеть Хопфилда [11] характеризуется тем, что все ее элементы (нейроны)
связаны со всеми остальными и есть только два ограничения на веса
синаптических связей: веса прямых и обратных связей равны между собой, а
вес связи нейрона с самим собой равен нулю. Состояние каждого нейрона
[pic], [pic], в момент времени [pic] задается переменной состояния [pic],
принимающей значение от -1 до 1. Динамика сети определяется правилами
изменения состояний ее нейронов и весов [pic] синаптических связей,
соединяющих нейроны [pic] и [pic]. Если веса [pic] и состояния [pic] сети
в момент времени [pic] заданы, то в следующий момент [pic] состояние
нейрона [pic] изменится в соответствии с правилом
[pic]
где [pic] - параметр гладкости сигмоидной функции, задаваемой правой частью
уравнения (при [pic] сигмоидная функция превращается в пороговую, а при
[pic] приближается к горизонтальной прямой, совпадающей с осью абсцисс).
Что касается синаптических весов, то при обучении сети они изменяются для
всех [pic] в соответствии с правилом Хебба
[pic]
т.е вес увеличивается на единицу, если нейроны [pic] и [pic]находятся в
одинаковых состояниях и уменьшается на единицу, если - в разных [10].
Поведение сети Хопфилда очень удобно интерпретировать в терминах функции
Ляпунова (функции энергии), вид которой в момент [pic] определяется
значениями весов связей и которая задается формулой
[pic]

Можно показать, что изменение состояния сети может происходить только в
направлении уменьшения функции энергии. Этот факт позволяет наглядно
представлять изменение состояния сети как его движение по поверхности
функции энергии. Все пространство состояний распадается на области,
образующие так называемые бассейны притяжения аттракторов, и динамика сети,
установленной в некоторое начальное состояние, полностью зависит от того, в
бассейн притяжения какого из аттракторов она попала.
Определенная таким образом сеть обладает рядом интересных свойств с точки
зрения ее использования как модели биологических когнитивных процессов
[см., напр.: 2, 6]. Пусть вначале все синаптические веса сети равны нулю и
ее функция энергии представляет собой «горизонтальную» гиперплоскость
[pic]. Если на входы нейронов сети поступит некоторая конфигурация
сигналов - образ и нейроны установятся в состояния, соответствующие этому
образу, то, в соответствии с правилом Хебба, сформируются новые веса сети.
Если после этого предъявить сети любое другое сочетание сигналов и
разрешить ей свободно эволюционировать во времени, то через небольшое число
шагов состояние сети стабилизируется на ранее предъявленном образе. Можно
сказать, что сеть его «запомнила». Что касается функции энергии, то в
точке, соответствующей запомненному образу при запоминании образуется
локальный минимум.
Предъявление других образов внесет свой вклад в изменение
синаптическиех весов и если затем предъявить сети образ, похожий на один из
прежних, то сеть придет в состояние, соответствующее именно этому образу,
т.е. вспоминание имеет ассоциативный характер - сеть эволюционирует в
направлении локального минимума, в бассейн притяжения которого она попала.
При запоминании образов (обучении сети) могут образоваться и
дополнительные локальные минимумы, соответствущие образам, как бы
составленным из частей запоминаемых образов, т.е. своего рода «химеры»
[см., напр.: 5]. Возможность появления таких химер наделяет сеть, в
некотором смысле, способностью к «творческой фантазии» и «обобщению», т.е.,
действительно, сеть Хопфилда описывает базовые свойства когнитивной
деятельности мозга и, следовательно, может служить основой для
моделирования феномена когнитивной гибкости.

Анализ

Рассмотрим изменение свойств функции энергии при изменении параметра
[pic], определяющего степень гдадкости сигмоидной функции активации. Когда
значение [pic] очень мало, т.е. сигмоидная кривая близка к пороговой
функции, то второй член в правой части формулы энергии, обозначим его
[pic], становится пренебрежимо малым и в ней доминирует первый член -
обозначим его [pic]. На рис. 1 для случая сети из двух нейронов с
синаптическими весами [pic] и параметром сглаженности [pic] представлены
графики [pic], [pic] и [pic] в сечении [pic]. Мы видим, что минимумы
функции энергии наиболее выражены (и соответствуют крайним состояниям
нейронов) при малых [pic] (либо при больших абсолютных значениях
синаптических весов), а при увеличении гладкости [pic] (или уменьшении
весов) минимумы становятся все менее и менее выраженными и соответствуют
значениям состояний нейронов, приближающимся к нулю. При некоторой
достаточно большой гладкости [pic] минимумы исчезают полностью, а состояния
нейронов обращаются в нуль.
[pic]
Рис. 1. Графики функции энергии E1+E2 и ее компонент E1 и E2 в сечении
x1+x2.

При числе нейронов [pic], большем двух, характер расположения минимумов
функции энергии и его изменение при изменении [pic] аналогичны случаю
[pic]. Подобно тому, как в двумерном случае при малых [pic] минимумы
функции энергии находятся в противоположных вершинах квадрата и при
увеличении [pic] перемещаются к центру квадрата вдоль диагонали,
соединяющей эти вершины, в n-мерном случае они находятся в противоположных
вершинах n-мерного куба и при увеличении [pic] перемещаются к центру куба
вдоль соединяющей эти вершины диагонали. Поскольку различные минимумы могут
иметь разную глубину, то при монотонном увеличении [pic], начиная с нуля,
они будут постепенно исчезать - сначала самые мелкие, затем более
глубокие, пока, в конечном итоге, не исчезнут все.
В качестве иллюстрации на рис. 2 представлен график уменьшения числа
аттракторов первоначально обученной сети из 81 нейрона при увеличени
параметра сглаженности [pic].
[pic] Рис. 2. Зависимость числа аттракторов от значения [pic] для сети из
81 нейрона.

Обсуждение

Таким образом, при увеличении параметра [pic] происходит сглаживание
функции энергии - можно назвать ее когнитивным энергетическим ландшафтом.
Этот эффект наглядно проиллюстрирован на рис. 3. При больших [pic] сеть как
бы не замечает мелких минимумов и ее состояние эволюционирует в направлении
более глубокого минимума, что можно интерпретировать как нахождение
стратегически более эффективного решения задачи.
[pic]
Рис. 3. Эффект сглаживания когнитивного энергетического ландшафта: [pic].
В частности, в [4], основываясь на том, что возрастные изменения мозга
(например, снижение плотности дофаминовых рецепторов) приводят, в основном,
к ослаблению межнейронных связей и, следовательно к глаживанию
когнитивного ландшафта, был сделан вывод о том, что при старении мозга
наряду с отрицательными изменениями его когнитивных свойств, такими как
ослабление памяти на детали повседневной жизни [см., напр.: 1], у него
появляется ценная способность видеть проблемные ситуации с более общей
точки зрения, выделять в них главное и, в конечном итоге, находить наиболее
эффективные решения, т.е. возникает способность, которую можно
рассматривать как составляющую часть мудрости - когнитивного свойства,
традиционно ассоциирующегося с пожилым возрастом.
Однако умение вникнуть в детали решаемой задачи также является ценным
когнитивным качеством. В идеале, желательно, чтобы мозг обладал
способностью произвольно и в полном диапазоне менять степень подробности
анализа проблемы, подобно тому как человек с нормальным зрением (в отличие
от близорукого или дальнозоркого) может без очков легко перестроиться с
созерцания пейзажа на чтение текста, написанного мелким шрифтом, и
наоборот. Можно назвать эту способность «трансфокальностью» мышления (по
аналогии с функцией «зум» фотоаппарата, обеспечиваемой специальным
устройством - трансфокатором).
В рамках данной модели можно определить когнитивную гибкость как диапазон
изменения степени гладкости когнитивного ландшафта. Следует, однако
учитывать, что диапазоны одинаковой ширины могут отличаться своим
положением на шкале гладкости, поэтому исчерпывающе когнитивная гибкость
определяется двумя значениями - нижней и верхней границами достигаемой
гладкости.

Список литературы

1. Будилова Е.В., Карпенко М.П., Качалова Л.М., Терехин А.Т. Блокирование
памяти: факты, проблемы, модели. Биофизика, 2009, т. 54, вып. 2, 287-292.

2. Веденов А. А. Моделирование элементов мышления. Москва: Наука, 1988.

3. Залевский Г.В. Психическая ригидность в норме и патологии. Томск: Изд-во
ТГУ, 1993.

4. Карпенко М.П., Качалова Л.М., Будилова Е.В, Терехин А.Т. Когнитивные
преимущества третьего возраста: нейросетевая модель старения мозга. Журнал
высшей нервной деятельности, 2009, т. 59, вып. 2, 252-256.

5. Терехин А.Т., Будилова Е.В. Сетевые механизмы биологической регуляции.
Успехи физиологических наук Т. 26, No 4, 1995. С. 75-97.

6. Amit D.J. Modeling brain function. The world of attractor neural
networks. New York: Cambridge University Press, 1989.


7. Beversdorf D. Q., Hughes J. D., Steinberg B. A., Lewis L. D., Heilman K.
Noradrenergic modulation of cognitive flexibility in problem solving.
Cognitive Neuroscience, 1999, v. 10(13), 2763-2767.

8. Botting Т., Conti-Ramsden G. Autism, primary pragmatic difficulties,
and specific language impairment: can we distinguish them using
psycholinguistic markers? Developmental Medicine and Child Neurology, 2003,
45(8), 515-524.

9. Guilford J.P. The nature of human intelligence. New York: McGraw-Hill,
1967.

10. Hebb D. O. The organization of behavior. New York: Wiley, 1949.

11. Hopfield J.J. Neurons with graded response have collective
computational properties like those of two-state neurons. Proc. Natl. Acad.
Sci. USA, 1984, v. 81, 3088-3092.

12. Torrance E. P. Can we teach children to think creatively? Journal of
Creative Behavior, 1972, v. 6, 236-262.

13. Twamley E.W., Jeste D.V., Bellack A.S. A Review of Cognitive Training
in Schizophrenia Schizophrenia Bulletin, 2003, v. 29(2), 359-382.