Распознавание образов.Часть 2

Распознавание образов Часть 2 #deepdream 1 Напоминание: структура свёрточных НС Простые признаки “Смысловое” представление Классификация Типичный pipeline Извлечение признаков Сокращение размерности Классификация Признаки На входе – изображение На выходе – набор чисел, как правило, большей размерности Признаки HOG 1. Считаем градиент изображения (производные по 2 осям) 2. Разбиваем сеткой 3. В каждой ячейке считаем гистограмму 4. Конкатенируем гистограммы Признаки LBP порог 1. Каждый пиксель сравниваем с 8 соседями 2. Записываем все “больше/меньше” как биты (1/0) числа 3. Разбиваем полученное “изображение” сеткой 4. В каждой ячейке считаем гистограмму 5. Конкатенируем гистограммы Признаки Фильтры Габора (Gabor filters) ... ... ... ... ← Частота → ← Ориентация → Набор фильтров (filter bank) раскладывает изображение на частотные диапазоны. Объединяются они, опять же, конкатенацией. Фильтры комплексные, но используют обычно только действительную часть. Признаки Геометрические признаки В некоторых задачах получается строить геометрическую модель объекта, двух- или трёхмерную. Можно использовать сами координаты, расстояния, пропорции… Можно также извлекать локальные текстурные признаки (чтобы сравнивать описание, например, глаза с описанием глаза, а не с чем попало) и ещё много чего. Сокращение размерности На входе – набор чисел На выходе – набор чисел поменьше Supervised и unsupervised: может использовать метки классов, а может не использовать. Цели: Экономия времени и памяти Иногда – точность (“Проклятие размерности”) Сокращение размерности PCA Находим такие направления в пространстве признаков, по которым в данных наибольшее разнообразие, и берём проекции на эти направления. Если от проекций перейти обратно в полное пространство, получим что-то похожее на исходный пример. Применяется как к изображениям, так и к различным признакам. Сокращение размерности PCA: “собственные лица” Сокращение размерности Случайная проекция (Random projection) Есть лемма (Johnson–Lindenstrauss lemma) о том, что если набор точек в Nмерном пространстве относительно небольшой, то его можно спроецировать на M-мерное подпространство (M << N) с незначительными изменениями расстояний между точками. Сокращение размерности Feature selection Отбрасывать признаки, которые почти одинаковы у всех точек Отбрасывать признаки, которые сильно коррелируют с какими-то другими Пробовать отбрасывать по одному признаку и на каждой итерации выбирать самый несущественный Пробовать добавлять по одному признаку и выбирать самый полезный ... Классификаторы На входе – набор чисел (обычно – порядка сотен). На выходе – один из 2 или N классов, у некоторых – некоторая оценка уверенности. Классификаторы Метод ближайших соседей (Nearest Neighbors) Ищем конкретные примеры, на которые похож объект. Варианты: Количество соседей (k) Чаще всего порядка 5 Метрика расстояния Евклидово (L2 norm), метрика кварталов (L1 норм), ... Распределение весов соседей Равномерное, по расстоянию, ... Метод поиска Полный перебор, дерево поиска, ... Классификаторы Наивный байесовский классификатор (Naive Bayes) Моделируем распределение каждого класса: Наивность: предполагаем, что признаки (xᵢ) независимы, т.е. Подставляем , выбираем тот Cₖ, у которого y получается наибольшим. Как правило, распределение – нормальное. Классический пример генеративных методов, в отличие от дискриминативных. Как правило, лучше работают при небольшом обучающем наборе. Классификаторы Метод опорных векторов (SVM) Исходно, линейный классификатор. Из всего набора данных выбираем только часть примеров на границе – опорные вектора – и проводим между ними гиперплоскость (в 2D – прямую) с максимальным зазором. Когда идеально не получается (т.е. в реальности), вводим штраф за примеры, которые приходится игнорировать. Здесь A – оптимальная разделяющая прямая Классификаторы Метод опорных векторов (SVM): kernel trick В формуле линейного классификатора заменяем скалярное произведение на нелинейную функцию – ядро, – которая соответствует произведению в пространстве высокой размерности. Какое именно пространство – подбирается перебором. Популярные ядра: полиномиальное, RBF. Классификаторы Метод опорных векторов (SVM): >2 классов Обобщение любого бинарного классификатора для многоклассовой классификации, самые популярные стратегии: 1 vs 1 1 vs All Классификаторы Дерево принятия решений и Случайный лес (Decision Tree & Random Forest) Дерево: рассматриваем по одному признаку за раз. Когда признаков много, получаются огромные деревья. Случайный лес: строим множество небольших деревьев по случайным подмножествам признаков и выбираем лучшие. Классификаторы На входе – набор чисел (обычно – порядка сотен). На выходе – один из 2 или N классов, у некоторых – некоторая оценка уверенности.