Программная сеть Хопфилда — это полносвязная нейронная сеть с симметричной матрицей связей.
Нейронная сеть
В биологии нейронами называются специализированные клетки, из которых построена нервная система человека. Биологический нейрон обладает строением, показанным на рисунке ниже.
Рисунок 1. Нейрон. Автор24 — интернет-биржа студенческих работ
Нейронная сеть может быть определена как набор нейронов и их взаимосвязей. Таким образом, для того, чтобы сформировать искусственную (не биологическую) нейронную сеть нудно выполнить следующие действия:
- Осуществить задание сетевой архитектуры.
- Определить динамические характеристики отдельных компонентов сети, то есть, нейронов.
- Сформировать набор правил, по которым нейроны должны осуществлять взаимодействие между собой.
- Выполнить описание алгоритма обучения, то есть, формирования связей, необходимых для решения поставленной задачи.
Ярким примером архитектуры нейронной сети может считаться сеть Хопфилда. Эта модель, по всей видимости, является самой распространенной математической моделью в сфере нейронауки. Это объясняется ее простотой и наглядность. Сеть Хопфилда отображает, каким образом можно организовать память в сети из компонентов, которые не могут считаться достаточно надежными. Эксперименты показали, что при возрастании числа вышедших из строя нейронов до пятидесяти процентов, вероятность правильного ответа приближается к ста процентам. Даже приближённое сравнение нейронной сети, к примеру, мозга, и электронной вычислительной машины способно показать, насколько сильно отличаются данные объекты. Например, частота изменения состояний нейронов, то есть, в компьютерной терминологии тактовая частота, не превышает двести герц, при этом частота изменения состояния компонентов передовых процессоров достигает нескольких гигагерц.
Программная сеть Хопфилда
Нейронные сети Хопфилда имеют в своём составе один слой нейронов, помимо входного, причем выходы всех нейронов единственного слоя подаются на свои входы. В нейронной сети Хопфилда предполагается, что компоненты входного вектора способны принимать значения только -1 и 1. Эта сеть работает по тактам.
Джон Хопфилд, известный физик из Соединённых Штатов, представил первую ассоциативную сеть (на базе авто ассоциативной памяти) в 1982-ом году в Национальной Академии Наук.
Авто ассоциативной памятью называется память, способная завершить или исправить образ, но не способная ассоциировать сформированный образ с другим образом. Этот факт выступает как результат одноуровневой структуры ассоциативной памяти, в которой вектор, то есть образец определённого класса, может появиться на выходе тех же нейронов, на которые поступал входной вектор.
Нейронная сеть Хопфилда организует реализацию важного свойства ассоциативной памяти, а именно, восстановление искаженного (зашумленного) сигнала (образца) по ближайшему к нему эталонному. Входной вектор в процессе обучения сети применяется как исходное состояние сети, а далее сеть работает согласно выбранной динамике. При работе сети каждый обучающий пример, расположенный в области эталона образа, применяется как указатель для его восстановления. Сформированный выходной образ может быть определён в том случае, если есть достижение равновесного состояния.
Нейронная сеть Хопфилда имеет в своём составе следующие три слоя:
- Входной слой.
- Слой Хопфилда.
- Выходной слой.
Все слои обладают одинаковым количеством нейронов. Входы слоя Хопфилда подсоединяются к выходам соответствующих нейронов входного слоя через переменные веса соединений. Выходы слоя Хопфилда подсоединены ко входам всех нейронов слоя Хопфилда, кроме самого себя, а также к соответствующим компонентам выходного слоя.
То есть выходы нейронов единственного слоя Хопфилда должны подаваться на свои входы. Выход любого нейрона подсоединен ко входам всех других нейронов. Сети прямого распространения могут быть отнесены к статистическим. Рекуррентные нейронные сети формируют динамический отклик сети, при котором сигналы отдельных нейронов должны подаваться на входы нейронов, расположенных в текущем или предыдущем слоях.
В рабочем режиме сеть посылает данные из входного слоя через фиксированные веса соединений к слою Хопфилда. Структурная организация сети Хопфилда изображена на рисунке ниже.
Рисунок 2. Структурная организация сети Хопфилда. Автор24 — интернет-биржа студенческих работ
В отличие от многослойных сетей типа персептрона, где входные и выходные нейроны являются разделенными в пространстве, в модели Хопфилда каждый нейрон одновременно считается и входным, и скрытым, и выходным. Роль входа в таких сетях исполняет исходная конфигурация активностей (весовых коэффициентов) нейронов, а роль выхода осуществляет конечная стационарная конфигурация их активностей.
В отличие от многих нейронных сетей, работающих до тех пор, пока не будет получен ответ через определённое количество тактов, сети Хопфилда работают до момента достижения равновесия, когда последующее состояние сети точно повторяет предыдущее, то есть, начальное состояние выступает как входной образ, а при достижении равновесия формируется выходной образ.
Проблема устойчивости сети Хопфилда получила решение после того, как Кохонен и Гроссберг доказали теорему, определяющую достаточное условие устойчивости сетей с обратными связями, то есть сеть с обратными связями будет устойчивой, если матрица весов является симметричной и имеет нули на главной диагонали.
В сети Хопфилда на веса связей, которые определяются выражением:
Sj = wij Xi + woj
Накладываются следующие условия:
- Каждый элемент имеет связь со всеми остальными.
- w ij = w ji, то есть все прямые и обратные связи являются симметричными.
- wii = 0, то есть, диагональные элементы матрицы связей равняются нулю.
Последнее условие, как правило, добавляют для исключения непосредственной обратной связи с выхода нейрона на собственный вход.
Нейронная сеть Хопфилда является полносвязной нейронной сетью, имеющей симметричную матрицу связей. В процессе работы динамика подобных сетей должна сходиться к одному из положений равновесия.
