Введение в нейронные сети. Модель формального нейрона

1 Тема: Введение в нейронные сети 1. Модель формального нейрона В 1943 году У. Маккалох и У. Питтс предложили в качестве искусственного нейрона использовать бинарный (релейный) элемент. Этот формальный нейрон вычислял взвешенную сумму n входных сигналов xi и формировал на выходе единичный сигнал, если эта сумма превышала некоторый порог θ и нуль в противном случае. Этими же авторами было показано, что при определенном выборе весов, система параллельно функционирующих нейронов способна производить достаточно универсальные вычисления. В дальнейшем эта модель совершенствовалась и в настоящее время под нейроном Маккалоха-Питтса понимают многовходовой нелинейный преобразователь со взвешенными входными сигналами, показанный на рис. 1. Рисунок 1 – Нейрон Маккалоха-Питтса На входы j - го нейрона поступает n сигналов x1 , x2 ,..., xn , которые взвешиваются усилителями, реализующими синаптические веса, после чего взвешенные значения w j1 x1 , w j 2 x2 ,..., w jn xn вместе с пороговым значением θ j , именуемым также сигналом смещения, подаются на сумматор ∑, в результате чего формируется внутренний сигнал u j . Сома биологического нейрона моделируется с помощью некоторой нелинейной функции ψ (uj ) , называемой в теории ИНС либо активационной, либо передаточной функцией формального нейрона. Таким образом, математическая модель Маккалоха-Питтса может быть записана в виде 1.1 (1.1) 2 Вводя вектор синаптических весов j -го нейрона w j = (w j 0, w j1T ,..., w jn ) и вектор входов x = (1, x1 , x2,..., xn)T , можно переписать (1.1) в векторной форме более компактной и удобной для нейронов, так и сформированных из них сетей. анализа поведения как 2. Классификация функция активации Функциональные характеристики отдельных нейронов и сетей в целом определяются видом используемых активационных функций. Так, если первоначальная модель Маккалоха-Питтса использовала бинарный ограничитель (релейную функцию), то в настоящее время используется множество иных преобразований, некоторые из которых приведены на рис. 2. 3. Классификация нейронных сетей Классификация нейронных сетей. Под нейронной сетью понимают совокупность нейроподобных элементов, которые определенным образом соединены как друг с другом, так и с внешней средой с помощью связей, которые определяются весовыми коэффициентами. В зависимости от выполняемых функций в сети, можно выделить три разновидности нейронов: ♦ входные нейроны, на которые подается сигнал, кодирующий входное воздействие или же образ внешней среды; входной слой обычно не выполняет никаких вычислений, а лишь распределяет входные сигналы [1]; ♦ выходные нейроны, значения которых представляют выходы нейронной сети; преобразования в них осуществляются по заранее заложенным математическим функциям [1,2]; ♦ промежуточные нейроны – составляют основу нейронных сетей; в них также выполняются преобразования. В большинстве существующих нейросетевых моделей тип нейрона зависит от его расположения в сети. Если нейрон имеет только выходные связи, то это входной нейрон, если наоборот – выходной нейрон. Так же возможна ситуация, когда выход внутреннего нейрона рассматривается как часть выхода сети. 3 В процессе функционирования сети осуществляется преобразование входного сигнала в выходной посредствам некоторой переработки информации. Конкретный вид выполняемого сетью преобразования данных зависит не только от характеристик отдельных нейроподобных элементов, но и от особенностей всей архитектуры. Среди таких особенностей можно выделить: топологии связей между нейронами, задачи выбора определенных подмножеств нейроподобных элементов, как для ввода, так и для вывода информации, различные способы обучения сети, факторы наличия или отсутствия конкуренции между нейронами, а так же направления и способы управления и синхронизации передачи информации между нейронами [2,3]. Классификацию существующих парадигм нейронных сетей по топологии можно представить в следующем виде (рис. 1). Таким образом, с точки зрения топологии, среди нейронных сетей, сформированных на основе нейроподобных элементов, можно выделить три основных типа [3]: ♦ полносвязные сети; ♦ многослойные или слоистые сети; ♦ слабосвязные сети (нейронные сети с локальными связями). Полносвязные нейронные сети. В полносвязных нейронных сетях каждый нейрон передает свой выходной сигнал остальным нейронам, включая самого себя. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети. Все входные сигналы подаются всем нейронам [4]. Многослойные сети. Могут строиться из каскадов слоев. Выход одного слоя является входом для последующего слоя [5]. Каждый такой слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В общем случае сеть состоит из N слоев, которые нумеруются слева направо, начиная с 0. Внешние сигналы подаются на входы нейронов 4 входного слоя (его часто нумеруют как нулевой), а выходами сети являются выходные сигналы последнего слоя [3]. В свою очередь, среди многослойных нейронных сетей выделяют следующие типы. 1) Сети прямого распространения (feedforward networks) – это сети без обратных связей. Передача сигналов в таких сетях происходит только в одном направлении от входа к выходу [6]. Сигналы поступают на нейроны входного слоя, который преобразует их и передает далее последовательно на каждый скрытый слой, пока не будет достигнут выходной слой, который уже выдает сигналы пользователю. Таким образом, что в зависимости от способа соединения слоев, сигнал n-го слоя подается на входы (n+1)-го слоя, либо на входы нейронов (n+m)-го слоя. Среди нейронных сетей прямого распространения выделяют два типа: однослойные и многослойные сети прямого распространения. Однослойная сеть прямого распространения представляет собой простейший случай прямонаправленной многослойной сети. Она включает в себя слой входных нейронов и слой выходных. Нейроны входного слоя просто передают сигналы на выходной слой, не преобразуя их. В выходном слое происходит преобразование сигналов и формирование реакции сети. В отличие от принятой методики обозначения, такие нейронные сети называются однослойными, а не двухслойными. Этим подчеркивается, что вычисления производятся лишь одним слоем сети [7]. Многослойная сеть прямого распространения. Особенностью такой сети является наличие кроме входного и выходного слоев одного или нескольких скрытых слоев (hidden layer) или скрытых элементов (hidden unit). Они представляют собой нейроны, которые не имеют непосредственных входов, а связаны лишь с выходами входного слоя и с входом выходного слоя. Функция скрытых нейронов заключается в посредничестве между внешним входным сигналом и выходом нейронной сети [8]. Таким образом, скрытые слои дополнительно преобразуют информацию и привносят в модель нелинейности. 2) Монотонные. В таких сетях каждый слой, кроме последнего (выходного), состоит из двух блоков: возбуждающего и тормозящего. Связи между блоками тоже разделяются на тормозящие и возбуждающие. Если от нейронов блока А к нейронам блока В ведут только возбуждающие связи, то это означает, что любой выходной сигнал блока В является монотонной неубывающей функцией любого выходного сигнала блока А. Если же эти связи только тормозящие, то любой выходной сигнал блока В является невозрастающей функцией любого выходного сигнала блока А. Для нейронов монотонных сетей необходима монотонная зависимость выходного сигнала нейрона от параметров входных сигналов [3]. 3) Рекуррентные сети (recurrent networks) или сети с обратными связями организованы так, что каждый нейрон получает входную 5 информацию от других нейронов, возможно, и от самого себя, и от окружающей среды. В отличие от нейронных сетей прямого распространения, в рекуррентных сетях, состоящих из входного, скрытого и выходного слоев, у нейронов второго слоя имеется две группы входов. Первая группа входов i-го нейрона соединена синаптическими связями с m сенсорными элементами, а вторая – соединена с выходами элементов, вносящих задержку выходных сигналов на один такт, i = 1,..., m. Конфигурация подобной сети (рис. 4) определяется числом входов m и числом нейронов скрытого слоя. Среди сетей с обратными связями, в свою очередь, выделяют следующие: ♦ слоисто-циклические, отличающиеся тем, что слои замкнуты в кольцо: последний слой передает свои выходные сигналы первому; все слои равноправны и могут как получать входные сигналы, так и выдавать выходные; ♦ слоисто-полносвязанные состоят из слоев, каждый из которых представляет собой полносвязную сеть, а сигналы передаются как от слоя к слою, так и внутри слоя; в каждом слое цикл работы распадается на три части: прием сигналов с предыдущего слоя, обмен сигналами внутри слоя, выработка выходного сигнала и передача к последующему слою; ♦ полносвязанно-слоистые, по своей структуре аналогичные слоистополносвязанным, но функционирующим по-другому: в них не разделяются фазы обмена внутри слоя и передачи следующему, на каждом такте нейроны всех слоев принимают сигналы от нейронов, как своего слоя, так и последующих [2]. Слабосвязные сети. В слабосвязных нейронных сетях (рис. 5) нейроны располагаются в узлах прямоугольной или гексагональной решетки. Каждый нейрон в такой архитектуре связан с четырьмя (область фон Неймана), шестью (область Голея) или восемью (область Мура) своими ближайшими соседями [2]. Известные на сегодняшний день нейронные сети можно также разделить по типам структур нейронов на гомогенные (однородные) и гетерогенные. Гомогенные сети состоят из нейронов одного типа с единой 6 функцией активации, а в гетерогенную сеть входят нейроны с различными функциями активации. Рассматривая возможные классификации нейронных сетей, важно отметить существование классификации нейронных сетей по типу сигнала. Так, нейросети разделяются на бинарные и аналоговые. Первые из них оперируют только двоичными сигналами и выход каждого нейрона может принимать в качестве входного значения логический ноль ("заторможенное" состояние) или логическая единица ("возбужденное" состояние). В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения [2]. Еще одна классификация делит нейронные сети на синхронные и асинхронные [9]. В первом случае, в каждый момент времени свое состояние меняет лишь один нейрон. Во втором – состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Сети можно классифицировать также по числу слоев [2]. Теоретически число слоев и число нейронов в каждом слое может быть произвольным, на практике же оно ограничено ресурсами аппаратной базы, на которой реализуется нейронная сеть. Чем сложнее сеть, тем более сложные задачи она может решать.