Распознавание образов. Часть 1

Распознавание образов Часть 1 #deepdream 1 Популярность нейронных сетей 2 Решаемые задачи Классификация Поиск объектов на изображении Поиск похожих изображений Сегментация Регрессия (оценка значений) Сокращение размерности (компактное представление) ... 3 Биологические нейронные сети ● 86 млрд нейронов ● До 20 тыс. связей у каждого нейрона 4 Искусственные нейронные сети Каждый нейрон: x₁ x₂ x₃ ∑+b a xᵢ - входные значения a - активация, выходное значение wᵢ - веса входов (weights) b - смещение (bias) F - функция активации, нелинейность 5 Функция активации (без нелинейности) 6 Функция активации - сигмоида 7 Функция активации - “выпрямитель”, ReLU (rectified linear unit) 8 Искусственные нейронные сети Входы - значения пикселей или какие-либо другие числа Выход(ы) Бинарная классификация, регрессия с одним значением - один выход Многоклассовая классификация - по числу классов (сходство с каждым из них) Сегментация, поиск объектов (один из подходов) - по числу пикселей ... 9 Обучение нейронных сетей: данные Бинарная классификация Поиск точек (регрессия) кошка = 1 не кошка = -1 ... Выходной нейрон - один: > 0 - кошка ≤ 0 - не кошка Выходные нейроны: число точек ❌ 2 - (x; y) 10 Обучение нейронных сетей: целевая функция Целевая функция (objective/cost/loss function) - мера расстояния до точного решения. Квадратичная целевая функция: 11 Обучение нейронных сетей: оптимизация Метод градиентного спуска На каждой итерации: h - темп обучения Для быстрого вычисления градиента - метод обратного распространения ошибки. 12 Обучение нейронных сетей: эпохи Одна эпоха - однократное обучение сети на каждом примере 13 Переобучение 14 Переобучение Все размеченные данные: Ранняя остановка обучения: Обучающая выборка (Training set) Проверочная выборка (Validation set) Контрольная выборка (Test test) 15 Перцептрон Ф. Розенблатт, 1957 г. Функция активации: 16 Перцептрон: геометрическая интерпретация Каждый нейрон скрытого слоя - разделяющая прямая 17 Многослойный перцептрон 18 Проблемы размера сети Почему просто не сделать сеть размером с мозг? 1. Время обучения растёт нелинейно a. Растёт объём вычислений b. Растёт количество итераций 2. Переобучение 19 Свёрточные нейронные сети Специализация под обработку изображений Разделение весов. Сокращает количество параметров при том же количестве данных, что позволяет увеличивать сеть => глубокое обучение. Pooling. Даёт небольшую устойчивость к смещению и повороту изображения. 20 Свёрточные нейронные сети: интерпретация Простые признаки “Смысловое” представление Классификация 21 Несколько разновидностей Сиамские нейронные сети 22 Несколько разновидностей Сегментация изображений 23 Проблемы нейронных сетей Много степеней свободы => Необходимо много данных Время обучения Чёрный ящик => Тяжело заметить проблемы, нельзя интерактивно подправить ошибку и т.д. 24 В следующий раз: Что ещё есть в мире машинного обучения? 25