Каскадные искусственные нейронные сети (КИНС)

Лекция 7 КАСКАДНЫЕ СЕТИ Каскадные искусственные нейронные сети (КИНС)это комбинированные или гибридные сети, в принципе давно известные. Так, в частности, к ним относится и сеть встречного распространения. Однако КИНС отличаются от них известных вариантов гибридных сетей организацией процесса обучения. Он включает в себя: - обучение сети первого каскада с использованием всей исходной обучающей выборки; - формирование по результатам обучения указанной сети (ИНС первого каскада) обучающей выборки для сети (или нескольких сетей) второго каскада; такое формирование может осуществляться путем сортировки элементов исходной выборки, использованием некоторого преобразования исходной информации и.т.д.; - продолжение такого рода операций для последующих каскадов, если таковые имеются или необходимость которых выявляется в ходе обучения. Таким образом, существенным признаком предлагаемых комбинированных ИНС является использования различных обучающих выборок для обучения ИНС различных каскадов, причем эти обучающие выборки формируются с использованием результатов обучения ИНС предыдущего каскада. В целом сам процесс обучения осуществляется последовательно от первого каскада до последнего. Продемонстрируем возможности предложенной разновидности ИНС при решении трех типовых задач: a. задача классификации с разноудаленными классами; b. задача классификации с разноинформативными данными; c. задача идентификации объекта при наличии нескольких рабочих режимов. а) Рассматривается задача классификации на основе использования ИНС типа многослойного персептрона. При этом известно, что имеет место существенная неоднородность в размещении точек обучающей выборки, относящихся к разным классам, в n – мерном пространстве (по принципу «где - густо, где - пусто»). Иными словами, точки некоторых классов удалены друг от друга на значительные расстояния и поэтому легко разделяемы, в то время, как точки каких-то других классов слабо удалены друг от друга и разделить их затруднительно. Такая ситуация в упрощенном виде представлена на рис.27, где точки классов 1 и 2 разделяются легко в отличии от классов 3 и 4; с другой стороны классы 3 и 4 в совокупности легко отделимы от каждого из классов 1 и 2. Рис. 27 Пример неоднородного размещения точек Кратко такую задачу классификации можно назвать задачей классификации с разноудаленными классами. Многослойный персептрон в подобных случаях становится малоэффективным. Тогда предлагается использовать каскадирование нескольких многослойных персептронов. Пусть требуется различить m классов, и А1 , А2 ,…, Аm – множества точек наблюдений, относящихся к этим классам. В качестве первого каскада синтезируется многослойный персептрон, содержащий n входов и m выходов. Если после обучения такой персептрон с приемлемой степенью надежности различает все m классов, то задачу можно считать решенной. Однако для варианта разноудаленных классов, как правило, сеть надежно различает лишь k классов (например, А1 , А2 ,…, Аk), а точки остальных классов плохо различимы, вследствие чего имеет место появление значительного числа ошибок классификации. Образуем из этих точек новое множество B = Аk+1 Аk+2 … Аm, и преобразуем исходный персептрон для распознавания точек множеств А1 , А2 ,…, Аk, B. Очевидно, он будет иметь k+1 выход. Второй каскад строится с использованием нового персептрона, предназначенного для различения точек, относящихся к разным классам, входящим во множество B, и имеющий число выходов, равное числу этих классов. При этом для его обучения используются только те элементы обучающей выборки, которые соответствуют классам, принадлежащим множеству B. Рис. 28 наглядно демонстрирует результаты функционирования подобной двухкаскадной ИНС. Персептрон первого каскада подразделяет точки классов 1, 3 и совместно классов 3 и 4, а персептрон второго каскада разделяет затем классы 3 и 4. Рис. 28 Пример классификации с помощью двухкаскадной сети Ясно, что все предыдущие рассуждения, связанные с первым каскадом, теперь могут быть повторены применительно к множеству B и т.д. Такое наращивание (каскадирование) персептронов продолжается до тех пор, пока не будет обеспечено распознавание всех классов (если, конечно, это возможно). Естественным обобщением данного рассмотрения является вариант, когда на первом этапе удается лишь подразделить исходную совокупность А1 , А2 ,…, Аk на несколько подмножеств B1 ,B2 ,…, BL , L