Нейронный сети

Нейронный сети Кольцов С.Н Биологические основы нейронных сетей Мозг представляет собой огромную сеть, где каждым узлом является нервная клетка (нейрон). В мозгу человека от 5 до 20 млрд. нейронов. Передача информации в мозгу, как и нервной системе в целом, осуществляется посредством нервных импульсов. Нейроны человеческого мозга Передача информации в мозгу, как и нервной системе в целом, осуществляется посредством нервных импульсов. Они распространяются в направлении от тела клетки к концевому отделу аксона, который может ветвиться, образуя множество окончаний, контактирующих с другими нейронами через узкую щель – синапс Важно, что нейроны работают не сами по себе, а иерархически объединяются. Сначала – в локальные нейронные контуры (или локальные сети), которые состоят из нейронов, выполняющих одну функцию. Локальные контуры объединяются в отделы, которые выполняют совокупность схожих функций. Искусственный нейрон 1. Клетка - элементарный процессор, способный к простейшей обработке информации. 2. Нейрон - элемент клеточной структуры мозга. 3. Нейрон осуществляет прием и передачу информации в виде импульсов нервной активности. 4. Природа импульсов – электрохимическая. Искусственный нейрон — узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона. Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента — линейной комбинации всех входных сигналов. Данную функцию называют функцией активации или функцией срабатывания, передаточной функцией. Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети — соединяют выходы одних нейронов с входами других. Формальное описание искусственного нейрона X –Входы, группа синапсов W-Вес синаптической связи S -Текущее состояние нейрона, определяется взвешенная сумма его входов Y-Выход нейрона, определяется функцией активации F(S) Математическая модель нейрона 1. Синапсы, характеризуется своим весом, осуществляют связь между нейронами, умножают входной сигнал на весовой коэффициент синапса; 2. Сумматор, аналог тела клетки нейрона. Выполняет сложение внешних входных сигналов или сигналов, поступающих по синаптическим связям от других нейронов. Определяет уровень возбуждения нейрона; 3. Функция активации, определяет окончательный выходной уровень нейрона, с которым сигнал возбуждения (торможения) поступает на синапсы следующих нейронов. Формальное описание искусственного нейрона • Y = f(X) ≡ ϕ(X⋅W) • Входной вектор – X = {1, X1, …, XN} • Веса нейрона – W = {w0, w1, …, wN} • Передаточная функция f(x) – Скалярная – Дифференцируемая, ограниченная – Монотонно возрастающая Активационные функции Существует множество видов активационных функций, но более всего распространены следующие три: 1. Пороговая (кусочно линейная) функция: 2. Cигмоидальная функция Y ( x) = 1 1 + exp(−c ⋅ x) 3. радиально-базисная активационные функции  − s2   , Y ( s ) = exp 2   2 ⋅σ  Однослойные искусственные нейронные сети Каждый элемент из множества входов Х отдельным весом соединен с каждым искусственным нейроном. А каждый нейрон выдает взвешенную сумму входов в сеть. Однослойный персептрон Вычисление выходного вектора Y, компонентами которого являются выходы OUT нейронов, сводится к матричному умножению Y =XW, где N и Х векторы-строки. W – вектор, n – число входов. Многослойные искусственные нейронные сети Входной сигнал Матрица весов Входной слой нейронов Выходной слой нейронов Выходной сигнал Скрытые слои нейронов Вычисление выходного вектора Y, компонентами которого являются выходы OUT нейронов, сводится к матричному умножению Y =XW, где M – число входов, N – число слоев, и Х - векторы-строки. Обучение нейронной сети Обучить нейронную сеть - значит, сообщить ей, чего мы от нее добиваемся. Этот процесс очень похож на обучение ребенка алфавиту. Показав ребенку изображение буквы "А", мы спрашиваем его: "Какая это буква?" Если ответ неверен, мы сообщаем ребенку тот ответ, который мы хотели бы от него получить: "Это буква А". Ребенок запоминает этот пример вместе с верным ответом, то есть в его памяти происходят некоторые изменения в нужном направлении. Алгоритм обучения нейронных сетей Шаг 1 На начальном этапе величины матрицы W заданы произвольным образом. У нас есть набор тестовых объектов, и мы знаем какие выходные данные (то есть правильный ответ) соответствуют нашим исходным данным. 1. На первом этапе мы подаем последовательность наших данных и рассчитываем что получается на выходе при начальных произвольных величинах матрицы W. Алгоритм обучения нейронных сетей Шаг 2 На втором этапе определяем разницу между правильными ответами и теми что получились при использовании произвольной матрицы W. То есть строим вектор ошибки. Алгоритм обучения нейронных сетей Шаг 3 На данном этапе модифицируем наши веса, таким образом, что бы минимизировать наш вектор ошибки. То есть изменим наши веса, и снова подадим исходные данные на вход сети с уже изменёнными весам. Алгоритм обучения нейронных сетей Множество итераций Сеть обучается путем предъявления каждого входного набора данных и последующего распространения ошибки. Цикл повторяется много раз. После того как сеть обучится, на вход можно подавать другие данные. Соответственно сеть будет осуществлять классификацию данных на основе полученной матрицы W. Обучения нейронных сетей Не обученная нейронная сеть подобна ребенку - ее можно научить чему угодно. В используемых на практике нейронных сетях количество весов может составлять несколько десятков тысяч, поэтому обучение - действительно сложный процесс. Многослойная нейронная сеть для классификации изображений Исходная картинка растеризуется, и на вход подаются пиксели. Соответственно сеть может распознать лица с очками и без, лица слегка повернутые, с измененным освещением и так далее. Серьезной проблемой, стоящей перед системами компьютерного зрения, является большая изменчивость визуальных образов, связанная с изменениями освещенности, окраски, масштабов, ракурсов наблюдения. Кроме того, люди имеют привычку ходить по улицам и в помещении одетыми, что приводит к существенной изменчивости изображений одного и того же человека. Примеры применения нейронных сетей в менеджменте 1. Прогнозирование временных рядов на основе нейросетевых методов обработки (валютный курс, спрос и котировки акций, фьючерсные контракты и др.) 2. Страховая деятельность банков. 3. Прогнозирование банкротств на основе нейросетевой системы распознавания. 4. Определение курсов облигаций и акций предприятий с целью вложения средств в эти предприятия. 5. Применение нейронных сетей к задачам биржевой деятельности. 6. Прогнозирование экономической эффективности финансирования экономических и инновационных проектов. 7. Предсказание результатов займов. Пример применения НС для оценки банкротства Входные параметры: X1 = Работающий капитал. X2 = Сохраняемая прибыль. X3 = Прибыль до капиталовложений и налога. X4 = Рыночная стоимость акции. X5 = Величина продаж. В качестве тестовой коллекции можно выбрать две группы фирм, одна из которых будет представлять обанкротившиеся фирмы, а другая нет, взять их показатели для формирования обучающего множества, обучить сеть давать ответ <банкрот> или <не банкрот>. После этого можно брать любую фирму, предъявлять ее показатели сети и сеть будет оценивать фирму как <банкрот> или <не банкрот>. Может быть фирма еще не обанкротилась, но давать кредиты такой фирме опасно. Вероятность правильного ответа может достигать 80%-97%. Пример применения НС медицинских целей Диагностика инфаркта миокарда. Скорая помощь доставляет больного в приемный покой с острой болью в груди, где дежурный врач должен поставить диагноз и определить, действительно ли это инфаркт миокарда. Опыт показывает, что доля пациентов, перенесших инфаркт среди поступивших с аналогичными симптомами, невелика. По статистике врач правильно диагностирует инфаркт миокарда у 88% больных и ошибочно ставит этот диагноз в 29% случаев. В 1990 году Вильям Бакст из Калифорнийского университета в Сан-Диего использовал нейронную сеть – многослойный персептрон – для распознавания инфаркта миокарда у пациентов, поступающих в приемный покой с острой болью в груди. Бакст использовал лишь 20 параметров, среди которых были возраст, пол, локализация боли, реакция на нитроглицерин, тошнота и рвота, потение, обмороки, частота дыхания, учащенность сердцебиения, предыдущие инфаркты, диабет, гипертония, вздутие шейной вены, ряд особенностей ЭКГ и наличие значительных ишемических изменений. Сеть продемонстрировала точность 92% при обнаружении инфаркта миокарда и дала только 4% случаев сигналов ложной тревоги Недостатки применения НС 1. Для построения модели объекта на основе НС требуется выполнение многоцикловой настройки внутренних элементов и связей между ними; 2. Проблемы, возникающие при подготовке обучающей выборки, связанные с трудностями нахождения достаточного количества обучающих примеров; 3. Обучение сети в ряде случаев приводит к тупиковым ситуациям; 4. Продолжительные временные затраты на выполнение процедуры обучения зачастую не позволяют применять ИНС в системах реального времени; 5. Поведение обученной ИНС не всегда может быть однозначно предсказуемо, что увеличивает риск применения ИНС для управления дорогостоящими техническими объектами; 6. Обучить и эксплуатировать нейронную сеть для решения многих задач, как правило, может и не специалист, но надежно интерпретировать результаты, а также численно оценивать значимость получаемых прогнозов способны специалисты, имеющие навыки в моделировании нейронных сетей.