Моделирование памяти нейронной сети

МОДЕЛИРОВАНИЕ ПАМЯТИ НЕЙРОННОЙ СЕТИ Понятие памяти способы построения матриц памяти Понятие памяти (Хайкин) В контексте нейробиологии под памятью понимается относительно продолжительная во времени модификация структуры нейронов, вызванная взаимодействием организма с внешней средой [1051] (например, отключением синаптических входов от щупалец дендритов или переключением с одного щупальца на другое). Без такой деформации память не существует. Чтобы память была полезной, она должна быть доступной для нервной системы. Только тогда она может влиять на будущее поведение организма. Однако для этого в памяти предварительно должны быть накоплены определенные модели поведения. Это накопление осуществляется с помощью процесса обучения (learning process). Память и обучение тесно взаимосвязаны. При изучении некоторого образа он сохраняется в структуре мозга, откуда может быть впоследствии извлечен в случае необходимости. Формально память можно разделить на кратковременную и долговременную, в зависимости от сроков возможного хранения информации. Кратковременная память является отображением текущего состояния окружающей среды. Каждое "новое" состояние среды, отличное от образа, содержащегося в кратковременной памяти, приводит к обновлению данных в памяти. С другой стороны, в долговременной памяти хранятся знания, предназначенные для продолжительного (или даже постоянного) использования. Ррассматриваются вопросы ассоциативной памяти, которая характеризуется следующими особенностями. • Эта память является распределенной. • Стимулы (ключи) и отклики (хранимые образы) ассоциативной памяти представляют собой векторы данных. • Информация запоминается с помощью формирования пространственных образов нейросетевой активности на большом количестве нейронов. • Информация, содержащаяся в стимуле, определяет не только место ее запоминания, но и адрес для ее извлечения. • Несмотря на то что нейроны не являются надежными вычислительными элементами и работают в условиях шума, память обладает высокой устойчивостью к помехам и искажению данных. • Между отдельными образами, хранимыми в памяти, могут существовать внутренние взаимосвязи. (В противном случае размер памяти должен быть невероятно велик, чтобы вместить все отдельные изолированные образы.) Отсюда и проистекает вероятность ошибок при извлечении информации из памяти. В распределенной памяти (distributed memory) главный интерес представляет одновременное или почти параллельное функционирование множества различных нейронов при обработке внутренних или внешних стимулов. Нейррнная активность формирует в памяти пространственные образы, содержащие информацию о стимулах. Таким образом, память выполняет распределенное отображение образов в пространстве входных сигналов в другие образы выходного пространства. Некоторые важные свойства отображения распределенной памяти можно проиллюстрировать на примере идеализированной нейросети, состоящей из двух слоев нейронов. На рис. 2.17, а показана сеть, которую можно рассматривать как модельный компонент нервной системы (model component of nervous system) [210], [953]. Все нейроны входного слоя соединены со всеми нейронами выходного. В реальных системах синаптические связи между нейронами являются сложными и избыточными. В модели, показанной на рис. 2.17, а, для представления общего результата от всех синаптических контактов между денд- ритами нейронов входного слоя и ответвлениями аксонов нейронов выходного слоя использовались идеальные соединения. Уровень активности нейрона входного слоя может оказывать влияние на степень активности любого нейрона выходного слоя. Аналогичная ситуация для искусственной нейронной сети показана на рис. 2.17, б. В данном случае уз™ источника из входного слоя и нейроны выходного слоя работают как вычислительные элементы. Синаптические веса интегрированы в нейроны выходного слоя. Связи между двумя слоями сети представляют собой простые "проволочные" соединения. Моделирование памяти НС. Извлечение из памяти. Моделирование автоассоциативной и гетероассоциативной памяти В нижеследующих математических выкладках нейронные сети, изображенные на рис. 2.17, считаются линейными. В результате этого предположения все нейроны рассматриваются как линейные сумматоры, что и показано на графе передачи сигнала (рис. 2.18). Для дальнейшего анализа предположим, что во входной слой передается образ xfc, при этом в выходном слое возникает образ ук. Рассмотрим вопрос обуче- ния на основе ассоциации между образами xfc и уц.. Образы хк и ук представлены векторами, развернутая форма которых имеет следующий вид: Пример. х1=[1; 0; 0; 0]т y1=[5; 1; 0]т х2=[0; 1; 0; 0]т y2=[-2; 1; 6]т х3=[0; 0; 1; 0]т y3=[-2; 4; 3]т х4=[0; 0; 0; 1]т y4=[4;1; -3]т 1. Построить матрицу памяти 2. Показать, что память обладает совершенной ассоциативностью 3. Вічислить отклик для зашумленного ключа х1: Вычислить отклик и сравнить его с ожидаемым у1. P.S. Есть на листочках решенный пример Моделирование памяти НС. Дискретная сеть Хопфилда и двунаправленная сеть (BAM) (Каллан) Решение в листочках: → →