Нейронные сети

1) Понятие искусственной нейронной сети (ИНС). Определения ИНС с точки зрения различных наук. Искусственные нейронные сети (ИНС) — математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. ИНС представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты, особенно в сравнении с процессорами, используемыми в персональных компьютерах. Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи. Определения ИНС с точки зрения разных наук могут быть следующими: - С точки зрения машинного обучения, нейронная сеть представляет собой частный случай методов распознавания образов, методов кластеризации и т.п. - С математической точки зрения, обучение нейронных сетей - это задача нелинейной оптимизации. - С точки зрения кибернетики, нейронная сеть используется в задачах управления и как алгоритмы для робототехники. - С точки зрения развития вычислительной техники и программирования, нейронная сеть — эффективный способ решений задачи параллельных вычислений. - С точки зрения искусственного интеллекта, ИНС является основным направлением в структурном подходе по изучению возможности построения естественного интеллекта с помощью компьютерных алгоритмов. Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что, в случае успешного обучения, сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или "зашумленных", частично искаженных данных. 2) Основные проблемы, решаемые с применением ИНС. Классификация образов. Задача состоит в указании принадлежности входного образа (например, речевого сигнала или рукописного символа), представленного вектором признаков, одному или нескольким предварительно определенным классам. К известным приложениям относятся распознавание букв, распознавание речи, классификация сигнала электрокардиограммы, классификация клеток крови. Кластеризация. При решении задачи кластеризации, которая известна также как классификация образов «без учителя», отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных. Аппроксимация функций. Предположим, что имеется обучающая выборка ((x1,y1),(x2,y2),...,(xN,yN)) (пары данных вход-выход), которая генерируется неизвестной функцией F(x), искаженной шумом. Задача аппроксимации состоит в нахождении оценки неизвестной функции F(x). Аппроксимация функций необходима при решении многочисленных инженерных и научных задач моделирования. Предсказание/прогноз. Пусть заданы n дискретных отсчетов {y(t1),y(t2),..., y{tk)} в последовательные моменты времени t1,t2,...,tk. Задача состоит в предсказании значения y(tk+1) в некоторый будущий момент времени tk+1. Предсказание/прогноз имеет значительное влияние на принятие решений в бизнесе, науке и технике. Предсказание цен на фондовой бирже и прогноз погоды являются типичными приложениями техники предсказания/прогноза. Оптимизация. Многочисленные проблемы в математике, статистике, технике, науке, медицине и экономике могут рассматриваться как проблемы оптимизации. Задачей алгоритма оптимизации является нахождение такого решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию. Память, адресуемая по содержанию. В модели вычислений фон Неймана обращение к памяти доступно только посредством адреса, который не зависит от содержания памяти. Более того, если допущена ошибка в вычислении адреса, то может быть найдена совершенно иная информация. Ассоциативная память, или память, адресуемая по содержанию, доступна по указанию заданного содержания. Содержимое памяти может быть вызвано даже по частичному входу или искаженному содержанию. Ассоциативная память чрезвычайно желательна при создании мультимедийных информационных баз данных. Управление. Рассмотрим динамическую систему, заданную совокупностью {u(t), y(t)}, где u(t) является входным управляющим воздействием, a y(t) - выходом системы в момент времени t. В системах управления с эталонной моделью целью управления является расчет такого входного воздействия u(t), при котором система следует по желаемой траектории, диктуемой эталонной моделью. 3) Практические задачи, решаемые с использованием ИНС. 1. Задачи управления: ◦ самолётами и ракетами, ◦ технологическими процессами непрерывного производства (в энергетике, металлургии и др.). 2. Распознавание образов: ◦ изображений, человеческих лиц, букв и иероглифов, отпечатков пальцев в криминалистике, речи, сигналов радара и сонара, ◦ элементарных частиц и происходящих с ними физических процессов (эксперименты на ускорителях или наблюдение за космическими лучами), ◦ заболеваний по симптомам (в медицине), ◦ местностей, где следует искать полезные ископаемые (в геологии, по косвенным признакам), ◦ признаков опасности в системах безопасности 3. Прогнозирование в реальном времени: ◦ погоды, ◦ курса акций (и других финансовых показателей), ◦ исхода лечения, ◦ политических событий (результатов выборов, международных отношений и др.), ◦ поведения противника (реального или потенциального) в военном конфликте и в экономической конкуренции. 4. Оптимизация — поиск наилучших вариантов: ◦ при конструировании технических устройств, ◦ при выборе экономической стратегии, ◦ при подборе команды (от сотрудников предприятия до спортсменов и участников полярных экспедиций), ◦ при лечении больного. 5. Обработка сигналов при наличии больших шумов. 6. Протезирование («умные протезы») и усиление естественных функций, в том числе — за счёт прямого подключения нервной системы человека к компьютерам (Нейро-компьютерный интерфейс). 7. Психодиагностика 8. Телекоммуникационное мошенничество, его обнаружение и предотвращение с помощью нейросетевых технологий — по мнению некоторых специалистов являются одной из самый перспективных технологий в области защиты информации в телекоммуникационных сетях. 4) Биологический нейрон. Нервная система и мозг человека состоят из нейронов, соединенных между собой нервными волокнами. Нервные волокна способны передавать электрические импульсы между нейронами. Нейрон (нервная клетка) является особой биологической клеткой, которая обрабатывает информацию. Он состоит из тела и отростков нервных волокон двух типов - дендритов, по которым принимаются импульсы, и единственного аксона, по которому нейрон может передавать импульс. Нейрон получает сигналы (импульсы) от аксонов других нейронов через дендриты (приемники) и передает сигналы, сгенерированные телом клетки, вдоль своего аксона (передатчик), который в конце разветвляется на волокна. На окончаниях этих волокон находятся специальные образования - синапсы, которые влияют на силу импульса. В теле нейрона импульсы суммируются, причем одни входы стремятся возбудить нейрон, другие — воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону сигнал другим нейронам. 5) Формальный (искусственный нейрон). Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. Формальный нейрон осуществляет операцию нелинейного преобразования суммы про­изведений входных сигналов на весовые коэффициенты: = F(WX) где X = (х1, х2, ..., хn)T - вектор входного сигнала; W = (w1, w2, ..., wn) - весовой вектор; F - оператор нелинейного преобразования. Схема нейронного элемента состоит из сумматора ∑ и блока нелинейного преобразования F. Каждому i-му входу нейрона соответствует весовой коэффициент wi, характеризующий силу синаптической связи по аналогии с биологическим нейроном. Сумма произведений входных сигналов на весовые коэффициен­ты называется взвешенной суммой. Она представляет собой скалярное произведение вектора весов на входной вектор: где |W|,|X|- соответственно длины векторов W и X; а=W ,^ Х- угол между векторами W и X. Длины весового и входного векторов определяются через их ко­ординаты: Если сила связи wi, отрицательная, то такая связь называется тормозящей. В противном случае синаптическая связь является уси­ливающей. Оператор нелинейного преобразования называется функцией активации нейронного элемента. 6) Функции активации искусственных нейронов. Свойства сигмоидной функции активации. В качестве оператора нелинейного преобразования могут использоваться различные функции, которые определяются в соответствии с решаемой задачей и типом нейронной сети. Рассмотрим наиболее распространенные функции активации нейронных элементов. 1. Линейная функция. В этом случае выходное значение нейронного элемента равняется взвешенной сумме, умноженной на коэффициент: y = kS, где k – коэффициент наклона прямой. 2. Пороговая функция. В качестве пороговой функции активации может использоваться биполярная или бинарная функция. В случае использования пороговой бинарной, функция активации выглядит следующим образом: Если применяется пороговая биполярная функция активации, то выходное значение нейронного элемента принимает вид: 3. Сигмоидная функция Эта функция является непрерывной, возрастающей в диапазоне значений [0,1]: c>0 – коэффициент, характеризующий ширину сигмоидной функции по оси абсцисс. Сигмоидная функция является монотонной и всюду дифференцируемой. Поэтому она получила широкое распространение в искусственных сетях. 4. Гиперболический тангенс Функция гиперболического тангенса аналогична биполярной сигмоидной функции и определяется следующим образом: с –коэффициент, характеризующий ширину функции по оси абсцисс Среди важных свойств сигмоидной функции можно выделить: 1. Простое выражение для её производной, вычисление которой используется при функционировании НС. 2. Дифференцируемость на всей оси абсцисс, что используется в некоторых алгоритмах обучения. 3. Свойство усиливать слабые сигналы лучше, чем сильные и предотвращать насыщение от сильных сигналов. 7) Принцип работы ИНС. Этапы создания ИНС. Искусственная нейронная сеть (ИНС, нейросеть) - это набор нейронов, соединенных между собой. Как правило, передаточные (активационные) функции всех нейронов в сети фиксированы, а веса являются параметрами сети и могут изменяться. Некоторые входы нейронов помечены как внешние входы сети, а некоторые выходы - как внешние выходы сети. Подавая любые числа на входы сети, мы получаем какой-то набор чисел на выходах сети. Таким образом, работа нейросети состоит в преобразовании входного вектора X в выходной вектор Y, причем это преобразование задается весами сети. Задача построения нейронной сети сводится к двум основным этапам: 1. Выбор типа (архитектуры) сети. 2. Подбор весов (обучение) сети. На первом этапе следует выбрать следующее: 1) какие нейроны мы хотим использовать (число входов, передаточные функции); 2) каким образом следует соединить их между собой; 3) что взять в качестве входов и выходов сети. На втором этапе следует «обучить» выбранную сеть, т.е. подобрать такие значения ее весов, чтобы сеть работала нужным образом. 8) Классификация ИНС с точки зрения топологии. - С точки зрения топологии можно выделить три основных типа НС: 1. Полносвязные сети Полносвязные сети представляют собой ИНС, каждый нейрон которой передает свой выходной сигнал остальным нейронам, в том числе и самому себе. Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети. 2. Многослойные (слоистые) сети В многослойных сетях нейроны объединяются в так называемые слои. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в каждом слое может быть любым и никак заранее не связано с количеством нейронов в других слоях. В общем случае сеть состоит из Q слоев, пронумерованных слева направо. Внешние входные сигналы подаются на входы нейронов первого слоя (входной слой часто нумеруют как нулевой), а выходами сети являются выходные сигналы последнего слоя. Вход нейронной сети можно рассматривать как выход «нулевого слоя» вырожденных нейронов, которые служат лишь в качестве распределительных точек, суммирования и преобразования сигналов здесь не производится. Кроме входного и выходного слоев в многослойной нейронной сети есть один или несколько промежуточных (скрытых) слоев. В свою очередь, среди слоистых сетей выделяют следующие типы: а). Монотонные. Это специальный частный случай слоистых сетей с дополнительными условиями на связи и элементы. Каждый слой, кроме последнего (выходного), разбит на два блока: возбуждающий (В) и тормозящий (Т). Связи между блоками тоже разделяются на тормозящие и возбуждающие. б). Сети без обратных связей. В таких сетях нейроны входного слоя получают входные сигналы, преобразуют их и передают нейронам 1-го скрытого слоя, далее срабатывает 1-й скрытый слой и т.д. до Q-го, который выдает выходные сигналы для интерпретатора и пользователя. в). Сети с обратными связями. Это сети, у которых информация с последующих слоев передается на предыдущие. 3. Слабосвязные сети (нейронные сети с локальными связями) 9) Классификация ИНС по принципу структуры нейронов, по типу сигналов, по числу слоев. Способ оценки количества нейронов в скрытых слоях. - По принципу структуры нейронов сети можно разделить на гомогенные (однородные) и гетерогенные. 1. Гомогенные сети состоят из нейронов одного типа с единой функцией активации. 2. В гетерогенную сеть входят нейроны с различными функциями активации. - По типу сигналов НС бывают: 1. Бинарные Нейроны сети работают только с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль («заторможенное» состояние) и логическая единица («возбужденное» состояние). 2. Аналоговые Уровень сигнала может принимать любое действительное значение. - По времени смены состояния сети делятся на 1. Асинхронные В этом случае в каждый момент времени свое состояние меняет лишь один нейрон. 2. Синхронные Состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. - Сети можно классифицировать также по числу слоев. Для оценки необходимого числа синаптических весов (в многослойной сети с сигмоидной передаточной функцией): n – размерность входного сигнала, m – размерность выходного сигнала, N – число элементов обучающей выборки. Оценив необходимое число весов, можно рассчитать число нейронов в скрытых слоях. Например, число нейронов в двухслойной сети составит: 10) Суть процедуры обучения ИНС: описательно, с математической точки зрения. Обучить НС - значит, сообщить ей, чего мы от нее добиваемся. Описательно процесс обучения можно представить следующим образом: У нас имеется некоторая база данных, содержащая примеры. Предъявляя эти примеры, мы получаем от сети некоторый ответ, не обязательно верный. Нам известен и верный (желаемый) ответ. Вычисляя разность между желаемым ответом и реальным ответом сети, мы получаем вектор ошибки. Алгоритм обучения – это набор формул, который позволяет по вектору ошибки вычислить требуемые поправки для весовых коэффициентов сети. После многократного предъявления примеров веса сети стабилизируются, причем сеть дает правильные ответы на все (или почти все) примеры из базы данных. В таком случае говорят, что «сеть обучена». Когда функция ошибки достигает нуля или приемлемого малого уровня, тренировку останавливают, а полученную сеть считают натренированной и готовой к применению на новых данных. Важно отметить, что вся информация, которую сеть имеет о задаче, содержится в наборе примеров. Поэтому качество обучения сети напрямую зависит от количества примеров в обучающей выборке, а также от того, насколько полно эти примеры описывают данную задачу. С точки зрения математики процесс обучения можно описать следующим образом: Пусть решением задачи является некоторая неизвестная функция Y=F(X). В ходе функционирования НС формирует выходной сигнал Y в соответствии с входным сигналом X, реализуя некоторую функцию Y=G(X). При этом вид функции G определяется выбранной архитектурой сети и значениям синаптических весов. Обучение состоит в поиске (синтезе) функции G, близкой к F с использованием некоторой функции E. 11) Правило обучения Хебба. Пример применения правила Хебба. Правило обучение Хебба имеет биологические предпосылки. Согласно этому правилу, обучение происходит в результате усиления силы связи (синаптического веса) между одновременно активными нейронами. Исходя из этого, часто используемые в сети связи усиливаются, что объясняет феномен обучения путем повторения и привыкания. Пусть имеется два нейронных элемента i и j, между которыми существует сила связи, равная wij. Тогда правило обучения Хебба можно записать следующим образом: где t – время; xi и yi – соответственно выходное значение i-го и j-го нейронов. В начальный момент времени предполагается, что wij(t=0) = 0. Правило Хебба может использоваться как при обучении с учите­лем, так и без него. Если в качестве выходных значений у нейронной сети используются эталонные значения, то это правило будет соответ­ствовать обучению с учителем. При использовании в качестве y ре­альных значений, которые получаются при подаче на вход сети вход­ных образов, правило Хебба соответствует обучению без учителя. В последнем случае весовые коэффициенты нейронной сети в начальный момент времени инициализируются случайным образом. Обучение с использованием правила Хебба заканчивается после пода­чи всех имеющихся входных образов на нейронную сеть. НО! Правило Хебба не гарантирует положительного результата обучения для любой функции. Данное правило в основном используется для организации различного рода нейросетевой памяти. 12) Персептрон. Правило обучения Розенблатта. Пример применения правла Розенблатта. Данную процедуру предложил американский ученый Ф. Розенблатт в 1959 г. для нейронной сети, которую он назвал персептроном. Персептрон - это сеть, состоящая из S, A и R нейрон­ных элементов. - Нейроны слоя S называются сенсорными и предназначены для формирования входных сигналов в результате внеш­них воздействий. - Нейроны слоя A называются ассоциативными и предназначены для непосред­ственной обработки входной информации. - Нейроны слоя R называют­ся эффекторными. Они служат для передачи сигналов возбуждения к соответствующему объекту, например, к мышцам. Таким образом, персептрон Розенблатта содержит один слой обра­батывающих нейронных элементов, в качестве которых используются нейронные элементы с пороговой функцией активации. Поэтому обуче­ние персептрона происходит путем настройки весовых коэффициентов w между слоями S и A. Входные нейроны выполняют чисто распределительные функции. Математическую формулировку правила обучения Розенблатта можно представить в следующем виде: wij(t+1) = wij(t) + αxitj , где tj - эталонное значение j-го выхода нейронной сети; α - коэффи­циент, характеризующий скорость обучения сети. Величина скорости обучения характеризуется следующими зна­чениями: α = const, 0 < α <= 1. Процедура обучения Розенблатта называется алгоритмом обуче­ния с подкреплением. Она характеризуется тем, что весовые коэффи­циенты нейронной сети изменяются только в том случае, если выход­ная реакция сети не совпадает с эталонной. Алгоритм обучения Ро­зенблатта состоит из следующих шагов: 1. Весовые коэффициенты W нейронной сети инициализируются случайным образом или устанавливаются в нулевое состояние. 2. На входы сети поочередно подаются входные образы X из обучающей выборки, которые трансформируются в выходные сигна­лы нейронных элементов Y. 3. Если реакция нейронной сети уj совпадает с эталонным зна­чением tj, т.е. уj =tj, то весовой коэффициент wij не изменяется. 4. Если выходная реакция не совпадает с эталонной, т.е. уj≠tj, то производится модификация весовых коэффициентов по правилу: wij(t+1) = wij(t) + αxitj 5. Алгоритм продолжается до тех пор, пока не станет уj =tj для всех входных образов, или не перестанут изменяться весовые коэф­фициенты. Согласно теореме сходимости персептрона, алгоритм схо­дится за конечное число шагов, если существует решение задачи. Основные отличия процедуры обучения Розенблатта от правила обучения Хебба заключаются в следующем: 1. В правиле обучения Розенблатта для персептрона присутству­ет скорость обучения α. 2. Персептрон не изменяет весовые коэффициенты, если выход­ные сигналы совпадают с эталонными. 3. Входные образы из обучающей выборки в модели персептрона подаются до тех пор, пока не произойдет обучение сети. 4. Персептрон обучается за конечное число шагов, если сущест­вует решение задачи. 13) Суть правила обратного распространения ошибки. Алгоритм обратного распространения используется для обуче­ния многослойных нейронных сетей с последовательными свя­зями. Наиболее приемлемым вариантом обучения оказался метод поиска минимума функции ошибки с рассмотрением сигналов ошибки от выходов НС к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. В данном алгоритме общая функция ошибки представляет собой сумму квадратов ошибки желаемого выхода сети и реального. При вычислении элементов вектора-градиента использован своеобразный вид производных функций активации сигмоидного типа. Алгоритм действует циклически (итеративно), и его циклы принято называть эпохами. На каждой эпохе на вход сети поочередно подаются все обучающие наблюдения, выходные значения сети сравниваются с целевыми значениями и вычисляется ошибка. Значение ошибки используется для корректировки весов, после чего все действия повторяются. Начальная конфигурация сети выбирается случайным образом, и процесс обучения прекращается, либо когда пройдено определенное количество эпох, либо когда ошибка достигнет некоторого определенного уровня малости, либо когда ошибка перестанет уменьшаться. Словесное описание алгоритма. Шаг 1. Весам сети присваиваются небольшие начальные значения. Шаг 2. Выбирается очередная обучающая пара (X, Y) из обучающего множества; вектор X подается на вход сети. Шаг 3. Вычисляется выход сети. Шаг 4. Вычисляется разность между требуемым (целевым, Y) и реальным (вычисленным) выходом сети. Шаг 5. Веса сети корректируются так, чтобы минимизировать ошибку. Шаг 6. Шаги со 2-го по 5-й повторяются для каждой пары обучающего множества до тех пор, пока ошибка на всем множестве не достигнет приемлемой величины. Шаги 2 и 3 подобны тем, которые выполняются в уже обученной сети. Шаги 2 и 3 можно рассматривать как «проход вперед», так как сигнал распространяется по сети от входа к выходу. Шаги 4 и 5 составляют «обратный проход», поскольку здесь вычисляемый сигнал ошибки распространяется обратно по сети и используется для подстройки весов. 14) Однонейронная сеть. Математическое представление алгоритма обратного распространения ошибки. Рассмотрим математическое представление алгоритма обучения: // потом привести к одному виду o=y и т.д. Следует сразу сказать, что при рассмотрении этого метода мы будем иметь дело с векторными значениями: x = (x1, ..., xn) - вектор входных сигналов; w = (w1, ... ..., wn) - вектор весов сети. Будем полагать, что выход (output) сети o = F(S) определяется функцией активации сигмоидного типа «Т» - символ транспонирования. Предположим, далее, что для обучения сети используется выборка: где уk - значения желаемого (целевого, эталонного) выхода. В качестве функции ошибки для k-го образца (k-го элемента обучающей выборки) примем величину, пропорциональную квадрату разности желаемого выхода и выхода сети: Соответственно, суммарная функция ошибки по всем элементам выборки: Очевидно, как Ek, так и E являются функциями вектора весов сети w. Задача обучения сети сводится в данном случае к подбору такого вектора w, при котором достигается минимум E. Данную задачу будем решать градиентным методом, используя соотношение где «:=» - оператор присвоения, Е'k(w) - обозначение вектора-градиента, η - некоторая константа, соответствующая скорости обучения сети. Представляя данный вектор в развернутом виде и учитывая приведенное выше выражение для производной сигмоидной функции, получим: Это дает возможность записать алгоритм коррекции (подстройки) вектора весовых коэффициентов сети в форме где Полученные математические выражения полностью определяют алгоритм обучения рассматриваемого нейрона, который может быть представлен теперь в следующем виде: 1. Задаются некоторые η (0<η<1), Emax и некоторые малые случайные веса wi сети; 2. Задаются k=1 (номер элемента выборки) и E=0 (ошибка обучения); 3. Вводится очередная обучающая пара (xk, yk). Производятся обозначения: x:=xk, y:=yk и вычисляется величина выхода сети: 4. Обновляются (корректируются) веса: w – вектор, включающий значения w1, w2. 5. Корректируется (наращивается) значение функции ошибки: 6. Если k < N, тогда k:=k+1 и переход к шагу 3, в противоположном случае – переход к шагу 7. 7. Завершение цикла обучения. Если E < Emax, то окончание всей процедуры обучения. Если E ≥ Emax, тогда начинается новый цикл обучения переходом к шагу 2. 15) Многослойная нейронная сеть. Математическое представление алгоритма обратного распространения ошибки. Ранее были разобраны только варианты обучения сетей состоящих всего из одного нейрона. Далее будет предложен алгоритм обратного распространения ошибки для сети, состоящей из множества нейронов. Алгоритм обучения для многослойной нейронной сети: 1. Задаются некоторые nu (0 < η < 1), Emax и некоторые малые случайные веса wi сети. 2. Задаются k = 1 и Е = 0. 3. Вводится очередная обучающая пара (xk, уk). Производятся обозначения x := xk, у := уk и вычисляется величина выхода сети: где W - вектор весов выходного нейрона, ok - вектор выходов нейронов скрытого слоя с элементами wi - обозначает вектор весов, связанных с i-м скрытым нейроном, i = 1, 2, ..., L. 4. Производится корректировка весов выходного нейрона: где δ= (y-O)O(1-O). 5. Корректируются веса нейронов скрытого слоя: 6. Корректируется (наращивается) значение функции ошибки: Если k < N, тогда k := k + 1 и переход к шагу 3, в противоположном случае переход на шаг 7. 7. Завершение цикла обучения. Если Е