Справочник от Автор24
Поделись лекцией за скидку на Автор24

Распознавание образов

  • 👀 445 просмотров
  • 📌 409 загрузок
  • 🏢️ СФУ
Выбери формат для чтения
Загружаем конспект в формате pdf
Это займет всего пару минут! А пока ты можешь прочитать работу в формате Word 👇
Конспект лекции по дисциплине «Распознавание образов» pdf
Ðàñïîçíàâàíèå îáðàçîâ Âàðûãèíà Ì.Ï. ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ Ñîäåðæàíèå 1 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ. Ëàáîðàòîðíàÿ ðàáîòà  1. 2 Äèñêðèìèíàíòíûé ïîäõîä. 3 Àëãîðèòìû êëàñòåðèçàöèè. Ëàáîðàòîðíàÿ ðàáîòà  2. 4 Íåéðîííûå ñåòè. Ëàáîðàòîðíàÿ ðàáîòà  3. 5 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ. Ïðàêòè÷åñêîå çàíÿòèå  1. 6 Íå÷åòêàÿ ëîãèêà. Ëàáîðàòîðíàÿ ðàáîòà  4.Ïðàêòè÷åñêîå çàíÿòèå  2. 7 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé. Ïðàêòè÷åñêîå çàíÿòèå  3. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 2 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ñîäåðæàíèå 1 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Íàïðàâëåíèÿ ïðèìåíåíèÿ ðàñïîçíàâàíèÿ îáðàçîâ Ñïèñîê ëèòåðàòóðû Ëàáîðàòîðíàÿ ðàáîòà  1 Îñíîâíûå îïðåäåëåíèÿ Ñèñòåìû ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 3 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Íàïðàâëåíèÿ ïðèìåíåíèÿ ðàñïîçíàâàíèÿ îáðàçîâ Íàïðàâëåíèÿ ïðèìåíåíèÿ ðàñïîçíàâàíèÿ îáðàçîâ 1 Ñèìâîëüíîå ðàñïîçíàâàíèå 2 Ðàñïîçíàâàíèå èçîáðàæåíèé è àíàëèç ñöåí 3 Ðàñïîçíàâàíèå ðå÷è 4 Äèàãíîñòèêà â ìåäèöèíå 5 Ñèñòåìû áåçîïàñíîñòè 6 Ãåîëîãèÿ, ñåéñìîðàçâåäêà 7 Êëàññèôèêàöèÿ, êëàñòåðèçàöèÿ è ïîèñê â áàçàõ äàííûõ è çíàíèé 8 Äîïîëíåííàÿ ðåàëüíîñòü 9 ... (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) > > > > > > Ðàñïîçíàâàíèå îáðàçîâ 4 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ñïèñîê ëèòåðàòóðû Ñïèñîê ëèòåðàòóðû 1 Ãîðåëèê À.Ë., Ñêðèïêèí Â.À. Ìåòîäû ðàñïîçíàâàíèÿ: Ó÷åá. ïîñîáèå.  Ì.: Âûñø. øê., 1984. 2 Õàíò Ý. Èñêóññòâåííûé èíòåëëåêò. Ì.: Ìèð, 1978. 3 Ôîð À. Âîñïðèÿòèå è ðàñïîçíàâàíèå îáðàçîâ/ Ïåð. ñ ôð.  Ì.: Ìàøèíîñòðîåíèå, 1989. 4 Ôó Ê. Ñòðóêòóðíûå ìåòîäû â ðàñïîçíàâàíèè îáðàçîâ/ Ïåð. ñ àíãë.  Ì.: Ìèð, 1977. 5 Äóäà Ð., Õàðò Ï. Ðàñïîçíàâàíèå îáðàçîâ è àíàëèç ñöåí.  Ì.: Ìèð, 1976. 6 Òó Äæ., Ãîíñàëåñ Ð. Ïðèíöèïû ðàñïîçíàâàíèÿ îáðàçîâ.  Ì.: Ìèð, 1978. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 5 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ëàáîðàòîðíàÿ ðàáîòà  1 Ëàáîðàòîðíàÿ ðàáîòà  1. Ðàñïîçíàâàíèå ïå÷àòíûõ ñèìâîëîâ Öåëü ëàáîðàòîðíîé ðàáîòû  èññëåäîâàíèå âîçìîæíîñòåé ðàñïîçíàâàíèÿ ïå÷àòíûõ ñèìâîëîâ. Çàäà÷è ëàáîðàòîðíîé ðàáîòû 1 Ïîäãîòîâêà ýòàëîííûõ (îáó÷àþùèõ) îáðàçîâ ïå÷àòíûõ ñèìâîëîâ â âèäå íàáîðà ãðàôè÷åñêèõ ôàéëîâ (10x10 pxls). 2 Âûïîëíåíèå êîíòðîëüíûõ ðàñïîçíàâàíèé äëÿ íåèçâåñòíûõ ïå÷àòíûõ ñèìâîëîâ. Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷ 1 ×èñëî êëàññîâ: 10 2 ×èñëî îïèñàíèé êàæäîãî êëàññà: 4-5 Ïðèìåðîì íàáîðà ýòàëîííûõ îáðàçîâ ÿâëÿåòñÿ ïîñëåäîâàòåëüíîñòü èç äåñÿòè öèôð îò 0 äî 9 (ïîñëåäîâàòåëüíîñòü áóêâ A-Z, À-ß).  êà÷åñòâå ìåðû ðàññòîÿíèÿ îò îäíîãî ðèñóíêà äî äðóãîãî âûáðàòü ÷èñëî íåñîâïàäàþùèõ â íèõ ïèêñåëåé. < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 6 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Îñíîâíûå îïðåäåëåíèÿ Îñíîâíûå îïðåäåëåíèÿ Ðàñïîçíàâàíèå îáðàçîâ (Pattern Recognition)  ýòî íàóêà î ìåòîäàõ è àëãîðèòìàõ êëàññèôèêàöèè îáúåêòîâ ðàçëè÷íîé ïðèðîäû. , êëàññ (Pattern)  êëàññèôèêàöèîííàÿ ãðóïïèðîâêà, îáúåäèíÿþùàÿ (âûäåëÿþùàÿ) îïðåäåëåííóþ ãðóïïó îáúåêòîâ ïî íåêîòîðîìó ïðèçíàêó. Îáðàç Ïðåöåäåíò  îáðàç, ïðàâèëüíàÿ êëàññèôèêàöèÿ êîòîðîãî èçâåñòíà. Ìåòîäèêà îòíåñåíèÿ ýëåìåíòà ê êàêîìó-ëèáî îáðàçó íàçûâàåòñÿ ðåøàþùèì ïðàâèëîì. Ñïîñîá îïðåäåëåíèÿ ðàññòîÿíèÿ ìåæäó ýëåìåíòàìè óíèâåðñàëüíîãî ìíîæåñòâà  ìåòðèêà. Èçìåðåíèÿ, èñïîëüçóåìûå äëÿ êëàññèôèêàöèè îáðàçîâ, íàçûâàþòñÿ ïðèçíàêàìè. Ïðèçíàê  ýòî íåêîòîðîå êîëè÷åñòâåííîå èçìåðåíèå îáúåêòà ïðîèçâîëüíîé ïðèðîäû. Âûäåëÿþò ïðèçíàêè äåòåðìèíèðîâàííûå, âåðîÿòíîñòíûå, ëîãè÷åñêèå, ñòðóêòóðíûå. Ñîâîêóïíîñòü ïðèçíàêîâ, îòíîñÿùèõñÿ ê îäíîìó îáðàçó, íàçûâàåòñÿ âåêòîðîì ïðèçíàêîâ. Âåêòîðà ïðèçíàêîâ ïðèíèìàþò çíà÷åíèÿ â ïðîñòðàíñòâå ïðèçíàêîâ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 7 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Îñíîâíûå îïðåäåëåíèÿ Îñíîâíûå îïðåäåëåíèÿ Ðàñïîçíàâàíèå îáðàçîâ (Pattern Recognition)  ýòî íàóêà î ìåòîäàõ è àëãîðèòìàõ êëàññèôèêàöèè îáúåêòîâ ðàçëè÷íîé ïðèðîäû. , êëàññ (Pattern)  êëàññèôèêàöèîííàÿ ãðóïïèðîâêà, îáúåäèíÿþùàÿ (âûäåëÿþùàÿ) îïðåäåëåííóþ ãðóïïó îáúåêòîâ ïî íåêîòîðîìó ïðèçíàêó. Îáðàç Ïðåöåäåíò  îáðàç, ïðàâèëüíàÿ êëàññèôèêàöèÿ êîòîðîãî èçâåñòíà. Ìåòîäèêà îòíåñåíèÿ ýëåìåíòà ê êàêîìó-ëèáî îáðàçó íàçûâàåòñÿ ðåøàþùèì ïðàâèëîì. Ñïîñîá îïðåäåëåíèÿ ðàññòîÿíèÿ ìåæäó ýëåìåíòàìè óíèâåðñàëüíîãî ìíîæåñòâà  ìåòðèêà. Èçìåðåíèÿ, èñïîëüçóåìûå äëÿ êëàññèôèêàöèè îáðàçîâ, íàçûâàþòñÿ ïðèçíàêàìè. Ïðèçíàê  ýòî íåêîòîðîå êîëè÷åñòâåííîå èçìåðåíèå îáúåêòà ïðîèçâîëüíîé ïðèðîäû. Âûäåëÿþò ïðèçíàêè äåòåðìèíèðîâàííûå, âåðîÿòíîñòíûå, ëîãè÷åñêèå, ñòðóêòóðíûå. Ñîâîêóïíîñòü ïðèçíàêîâ, îòíîñÿùèõñÿ ê îäíîìó îáðàçó, íàçûâàåòñÿ âåêòîðîì ïðèçíàêîâ. Âåêòîðà ïðèçíàêîâ ïðèíèìàþò çíà÷åíèÿ â ïðîñòðàíñòâå ïðèçíàêîâ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 7 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Îñíîâíûå îïðåäåëåíèÿ Îñíîâíûå îïðåäåëåíèÿ Ðàñïîçíàâàíèå îáðàçîâ (Pattern Recognition)  ýòî íàóêà î ìåòîäàõ è àëãîðèòìàõ êëàññèôèêàöèè îáúåêòîâ ðàçëè÷íîé ïðèðîäû. , êëàññ (Pattern)  êëàññèôèêàöèîííàÿ ãðóïïèðîâêà, îáúåäèíÿþùàÿ (âûäåëÿþùàÿ) îïðåäåëåííóþ ãðóïïó îáúåêòîâ ïî íåêîòîðîìó ïðèçíàêó. Îáðàç Ïðåöåäåíò  îáðàç, ïðàâèëüíàÿ êëàññèôèêàöèÿ êîòîðîãî èçâåñòíà. Ìåòîäèêà îòíåñåíèÿ ýëåìåíòà ê êàêîìó-ëèáî îáðàçó íàçûâàåòñÿ ðåøàþùèì ïðàâèëîì. Ñïîñîá îïðåäåëåíèÿ ðàññòîÿíèÿ ìåæäó ýëåìåíòàìè óíèâåðñàëüíîãî ìíîæåñòâà  ìåòðèêà. Èçìåðåíèÿ, èñïîëüçóåìûå äëÿ êëàññèôèêàöèè îáðàçîâ, íàçûâàþòñÿ ïðèçíàêàìè. Ïðèçíàê  ýòî íåêîòîðîå êîëè÷åñòâåííîå èçìåðåíèå îáúåêòà ïðîèçâîëüíîé ïðèðîäû. Âûäåëÿþò ïðèçíàêè äåòåðìèíèðîâàííûå, âåðîÿòíîñòíûå, ëîãè÷åñêèå, ñòðóêòóðíûå. Ñîâîêóïíîñòü ïðèçíàêîâ, îòíîñÿùèõñÿ ê îäíîìó îáðàçó, íàçûâàåòñÿ âåêòîðîì ïðèçíàêîâ. Âåêòîðà ïðèçíàêîâ ïðèíèìàþò çíà÷åíèÿ â ïðîñòðàíñòâå ïðèçíàêîâ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 7 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Îñíîâíûå îïðåäåëåíèÿ Îñíîâíûå îïðåäåëåíèÿ Ðàñïîçíàâàíèå îáðàçîâ (Pattern Recognition)  ýòî íàóêà î ìåòîäàõ è àëãîðèòìàõ êëàññèôèêàöèè îáúåêòîâ ðàçëè÷íîé ïðèðîäû. , êëàññ (Pattern)  êëàññèôèêàöèîííàÿ ãðóïïèðîâêà, îáúåäèíÿþùàÿ (âûäåëÿþùàÿ) îïðåäåëåííóþ ãðóïïó îáúåêòîâ ïî íåêîòîðîìó ïðèçíàêó. Îáðàç Ïðåöåäåíò  îáðàç, ïðàâèëüíàÿ êëàññèôèêàöèÿ êîòîðîãî èçâåñòíà. Ìåòîäèêà îòíåñåíèÿ ýëåìåíòà ê êàêîìó-ëèáî îáðàçó íàçûâàåòñÿ ðåøàþùèì ïðàâèëîì. Ñïîñîá îïðåäåëåíèÿ ðàññòîÿíèÿ ìåæäó ýëåìåíòàìè óíèâåðñàëüíîãî ìíîæåñòâà  ìåòðèêà. Èçìåðåíèÿ, èñïîëüçóåìûå äëÿ êëàññèôèêàöèè îáðàçîâ, íàçûâàþòñÿ ïðèçíàêàìè. Ïðèçíàê  ýòî íåêîòîðîå êîëè÷åñòâåííîå èçìåðåíèå îáúåêòà ïðîèçâîëüíîé ïðèðîäû. Âûäåëÿþò ïðèçíàêè äåòåðìèíèðîâàííûå, âåðîÿòíîñòíûå, ëîãè÷åñêèå, ñòðóêòóðíûå. Ñîâîêóïíîñòü ïðèçíàêîâ, îòíîñÿùèõñÿ ê îäíîìó îáðàçó, íàçûâàåòñÿ âåêòîðîì ïðèçíàêîâ. Âåêòîðà ïðèçíàêîâ ïðèíèìàþò çíà÷åíèÿ â ïðîñòðàíñòâå ïðèçíàêîâ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 7 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Îñíîâíûå îïðåäåëåíèÿ Äåòåðìèíèðîâàííûå ïðèçíàêè Ïðèíèìàþò êîíêðåòíûå ÷èñëîâûå çíà÷åíèÿ. Ìîãóò ðàññìàòðèâàòüñÿ â êà÷åñòâå êîîðäèíàò òî÷êè â ïðèçíàêîâîì ïðîñòðàíñòâå, ñîîòâåòñòâóþùåé äàííîìó îáúåêòó. Ïðè ðàññìîòðåíèè ïðèçíàêîâ îøèáêàìè èçìåðåíèé ïðåíåáðåãàþò. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 8 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Îñíîâíûå îïðåäåëåíèÿ Âåðîÿòíîñòíûå ïðèçíàêè Cëó÷àéíûå çíà÷åíèÿ ïðèçíàêîâ ðàñïðåäåëåíû ïî âñåì êëàññàì îáúåêòîâ. Ðåøåíèå î ïðèíàäëåæíîñòè ðàñïîçíàâàåìîãî îáúåêòà ê òîìó èëè äðóãîìó êëàññó ìîæåò ïðèíèìàòüñÿ òîëüêî íà îñíîâàíèè êîíêðåòíûõ çíà÷åíèé ïðèçíàêîâ äàííîãî îáúåêòà, îïðåäåëåííûõ â ðåçóëüòàòå ïðîâåäåíèÿ ñîîòâåòñòâóþùèõ îïûòîâ. Ïðèçíàêè  âåðîÿòíîñòíûå, åñëè èçìåðåíèå èõ ÷èñëîâûõ çíà÷åíèé ïðîèçâîäèòñÿ ñ òàêèìè îøèáêàìè, ÷òî ïî ðåçóëüòàòàì èçìåðåíèé, íåâîçìîæíî ñ ïîëíîé îïðåäåëåííîñòüþ ñêàçàòü êàêîå ÷èñëîâîå çíà÷åíèå äàííàÿ âåëè÷èíà ïðèíÿëà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 9 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Îñíîâíûå îïðåäåëåíèÿ Ëîãè÷åñêèå ïðèçíàêè Ýëåìåíòàðíûå âûñêàçûâàíèÿ, ïðèíèìàþùèå äâà çíà÷åíèÿ èñòèííîñòè (äà - íåò èëè èñòèíà - ëîæü) ñ ïîëíîé îïðåäåëåííîñòüþ. Ïðèçíàêè, íå èìåþùèå êîëè÷åñòâåííîãî âûðàæåíèÿ. Ñóæäåíèÿ êà÷åñòâåííîãî õàðàêòåðà òèïà íàëè÷èÿ èëè îòñóòñòâèÿ íåêîòîðûõ ñâîéñòâ ó ðàñïîçíàâàåìûõ îáúåêòîâ èëè ÿâëåíèé. Ïðèçíàêè, ó êîòîðûõ âàæíà íå âåëè÷èíà, à ñàì ôàêò ïîïàäàíèÿ èëè íå ïîïàäàíèÿ â çàäàííûé èíòåðâàë.  ïðåäåëàõ ýòèõ èíòåðâàëàõ ïîÿâëåíèå ðàçëè÷íûõ çíà÷åíèé ïðèçíàêîâ ïðåäïîëàãàåòñÿ ðàâíîâåðîÿòíûì. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 10 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Îñíîâíûå îïðåäåëåíèÿ Ñòðóêòóðíûå (ëèíãâèñòè÷åñêèå, ñèíòàêñè÷åñêèå) Íåïðîèçâîäíûå ýëåìåíòû (ñèìâîëû) ñòðóêòóðû îáúåêòà, èíà÷å ýòè ýëåìåíòû íàçûâàþò òåðìèíàëàìè. Êàæäûé îáúåêò ìîæåò ðàññìàòðèâàòüñÿ êàê öåïî÷êà ñèìâîëîâ èëè òåðìèíàëîâ.  ðàñïîçíàâàíèè áóêâ ê òåðìèíàëàì ìîæíî îòíåñòè ãîðèçîíòàëüíûå, âåðòèêàëüíûå, íàêëîííûå, ÷åðòî÷êè, íàëè÷èå óãëà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 11 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ñèñòåìû ðàñïîçíàâàíèÿ îáðàçîâ Ñèñòåìû ðàñïîçíàâàíèÿ îáðàçîâ Ñõåìà ïîñòðîåíèÿ ñèñòåìû ðàñïîçíàâàíèÿ: Îáðàç Ïðåîáðàçîâàíèå îáðàçà x Âûáîð èíôîðìàòèâíûõ x e Êëàññèôèêàòîð Êëàññ ω ïðèçíàêîâ Îáó÷åíèå Îñíîâíûå çàäà÷è ðàñïîçíàâàíèÿ îáðàçîâ: Ïðåîáðàçîâàíèå èñõîäíûõ äàííûõ ê âèäó, óäîáíîìó äëÿ ðàñïîçíàâàíèÿ, Ìàòåìàòè÷åñêîå îïèñàíèå îáðàçîâ, Âûáîð íàèáîëåå èíôîðìàòèâíûõ ïðèçíàêîâ, Îïèñàíèå êëàññîâ ðàñïîçíàâàåìûõ îáúåêòîâ, Âûðàáîòêà ðåøàþùåãî ïðàâèëà (êëàññèôèêàòîðà), Îöåíêà äîñòîâåðíîñòè êëàññèôèêàöèè îáðàçîâ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 12 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ñèñòåìû ðàñïîçíàâàíèÿ îáðàçîâ Òèïû ñèñòåì ðàñïîçíàâàíèÿ Êëàññèôèêàöèÿ ñèñòåì ðàñïîçíàâàíèÿ ïî õàðàêòåðó èíôîðìàöèè î ïðèçíàêàõ ðàñïîçíàâàåìûõ îáúåêòàõ:  èñïîëüçóþòñÿ ãåîìåòðè÷åñêèå ìåðû áëèçîñòè, îñíîâàííûå íà èçìåðåíèè ðàññòîÿíèé ìåæäó ðàñïîçíàâàåìûì îáúåêòîì è ýòàëîíàìè êëàññîâ. Äåòåðìèíèðîâàííûå  èñïîëüçóþòñÿ âåðîÿòíîñòíûå ìåòîäû, îñíîâàííûå íà òåîðèè ñòàòèñòè÷åñêèõ ðåøåíèé. Âåðîÿòíîñòíûå  èñïîëüçóþòñÿ ëîãè÷åñêèå ìåòîäû ðàñïîçíàâàíèÿ, îñíîâàííûå íà äèñêðåòíîì àíàëèçå è áàçèðóþùåìñÿ íà íåì èñ÷èñëåíèè âûñêàçûâàíèé. Ëîãè÷åñêèå (ëèíãâèñòè÷åñêèå)  èñïîëüçóþòñÿ ñïåöèàëüíûå ãðàììàòèêè, ïîðîæäàþùèå ÿçûêè, ñîñòîÿùèå èç ïðåäëîæåíèé, êàæäîå èç êîòîðûõ îïèñûâàåò îáúåêòû, ïðèíàäëåæàùèå êîíêðåòíîìó êëàññó. Ñòðóêòóðíûå (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 13 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ñèñòåìû ðàñïîçíàâàíèÿ îáðàçîâ Òèïû ñèñòåì ðàñïîçíàâàíèÿ Êëàññèôèêàöèÿ ñèñòåì ðàñïîçíàâàíèÿ ïî êîëè÷åñòâó àïðèîðíîé èíôîðìàöèè î ðàñïîçíàâàåìûõ îáúåêòàõ: Ñèñòåìû áåç îáó÷åíèÿ  åñëè èìååòñÿ ìíîæåñòâî âåêòîðîâ ïðèçíàêîâ, ïîëó÷åííûõ äëÿ íåêîòîðîãî íàáîðà îáðàçîâ, íî ïðàâèëüíàÿ êëàññèôèêàöèÿ ýòèõ îáðàçîâ íåèçâåñòíà. Ðàçäåëåíèå ýòèõ îáðàçîâ íà êëàññû ïðîèñõîäèò ïî ñõîäñòâó ñîîòâåòñòâóþùèõ âåêòîðîâ ïðèçíàêîâ. (ó÷èòåëåì)  åñëè êîëè÷åñòâà àïðèîðíîé èíôîðìàöèè äîñòàòî÷íî òîëüêî äëÿ ôîðìèðîâàíèÿ íàáîðà ïðèçíàêîâ, íî íå äëÿ îïðåäåëåíèÿ ãðàíèö ìåæäó êëàññàìè. Ñèñòåìå ðàñïîçíàâàíèÿ ïðåäúÿâëÿåòñÿ íåêîòîðîå îáó÷àþùåå ìíîæåñòâî (îáó÷àþùàÿ âûáîðêà, ìíîæåñòâî ïðåöåäåíòîâ), ñ óêàçàíèåì, ê êàêèì êëàññàì ýòè îáúåêòû ïðèíàäëåæàò. Ñèñòåìû ñ îáó÷åíèåì  åñëè êîëè÷åñòâà àïðèîðíîé èíôîðìàöèè íåäîñòàòî÷íî äàæå äëÿ ôîðìèðîâàíèÿ íàáîðà ïðèçíàêîâ.  ñèñòåìó ðàñïîçíàâàíèÿ îáðàçîâ ââîäèòñÿ âûðàáîòàííûé ýêñïåðòàìè ñïèñîê ïðàâèë, îáúÿñíÿþùèé çàäà÷è ðàñïîçíàâàíèÿ îáðàçîâ (ýêñïåðòíûå ñèñòåìû). Ñèñòåìû ñ ñàìîîáó÷åíèåì (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 14 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Îïèñàíèå îáðàçà  ïðîöåññå èçìåðåíèÿ ó÷àñòâóþò äâà îáúåêòà: èçìåðèòåëüíûé ïðèáîð è èçìåðÿåìûé îáúåêò. Ýìïèðè÷åñêàÿ ñèñòåìà E = {A, R}, A  ìíîæåñòâî èçìåðÿåìûõ îáúåêòîâ, R  îòíîøåíèÿ ìåæäó íèìè. Cèìâîëüíàÿ ñèñòåìà N = {M, P }, M  ìíîæåñòâî ñèìâîëîâ, P  êîíå÷íûé íàáîð îòíîøåíèé íà ýòèõ ñèìâîëàõ. Äîãîâîðåííîñòü èñïîëüçîâàòü ôèêñèðîâàííîå îòîáðàæåíèå ñèñòåìû E íà N îçíà÷àåò âûáîð íåêîòîðîãî îïðåäåëåííîãî ïðàâèëà îòîáðàæåíèÿ g . Òðîéêà < E, N, g > íàçûâàåòñÿ øêàëîé. Ìîæíî äîãîâîðèòüñÿ î íåêîòîðîì äðóãîì ñïîñîáå îòîáðàæåíèÿ g ∗ , è òîãäà áóäåì èìåòü äåëî ñ äðóãîé øêàëîé < E, N, g ∗ >. Íàïðèìåð, â g çàïèñûâàåì âåñ â êèëîãðàììàõ, à â g ∗  â òîííàõ. Öèôðîâàÿ çàïèñü îêàçûâàåòñÿ ðàçëè÷íîé ïðè îäèíàêîâîì ýìïèðè÷åñêîì ñîäåðæàíèè. Äîïóñòèìî ïðåîáðàçîâàíèå g = f (g ∗ ), f  òèï øêàëû. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 15 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Îïèñàíèå îáðàçà  ïðîöåññå èçìåðåíèÿ ó÷àñòâóþò äâà îáúåêòà: èçìåðèòåëüíûé ïðèáîð è èçìåðÿåìûé îáúåêò. Ýìïèðè÷åñêàÿ ñèñòåìà E = {A, R}, A  ìíîæåñòâî èçìåðÿåìûõ îáúåêòîâ, R  îòíîøåíèÿ ìåæäó íèìè. Cèìâîëüíàÿ ñèñòåìà N = {M, P }, M  ìíîæåñòâî ñèìâîëîâ, P  êîíå÷íûé íàáîð îòíîøåíèé íà ýòèõ ñèìâîëàõ. Äîãîâîðåííîñòü èñïîëüçîâàòü ôèêñèðîâàííîå îòîáðàæåíèå ñèñòåìû E íà N îçíà÷àåò âûáîð íåêîòîðîãî îïðåäåëåííîãî ïðàâèëà îòîáðàæåíèÿ g . Òðîéêà < E, N, g > íàçûâàåòñÿ øêàëîé. Ìîæíî äîãîâîðèòüñÿ î íåêîòîðîì äðóãîì ñïîñîáå îòîáðàæåíèÿ g ∗ , è òîãäà áóäåì èìåòü äåëî ñ äðóãîé øêàëîé < E, N, g ∗ >. Íàïðèìåð, â g çàïèñûâàåì âåñ â êèëîãðàììàõ, à â g ∗  â òîííàõ. Öèôðîâàÿ çàïèñü îêàçûâàåòñÿ ðàçëè÷íîé ïðè îäèíàêîâîì ýìïèðè÷åñêîì ñîäåðæàíèè. Äîïóñòèìî ïðåîáðàçîâàíèå g = f (g ∗ ), f  òèï øêàëû. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 15 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Îïèñàíèå îáðàçà  ïðîöåññå èçìåðåíèÿ ó÷àñòâóþò äâà îáúåêòà: èçìåðèòåëüíûé ïðèáîð è èçìåðÿåìûé îáúåêò. Ýìïèðè÷åñêàÿ ñèñòåìà E = {A, R}, A  ìíîæåñòâî èçìåðÿåìûõ îáúåêòîâ, R  îòíîøåíèÿ ìåæäó íèìè. Cèìâîëüíàÿ ñèñòåìà N = {M, P }, M  ìíîæåñòâî ñèìâîëîâ, P  êîíå÷íûé íàáîð îòíîøåíèé íà ýòèõ ñèìâîëàõ. Äîãîâîðåííîñòü èñïîëüçîâàòü ôèêñèðîâàííîå îòîáðàæåíèå ñèñòåìû E íà N îçíà÷àåò âûáîð íåêîòîðîãî îïðåäåëåííîãî ïðàâèëà îòîáðàæåíèÿ g . Òðîéêà < E, N, g > íàçûâàåòñÿ øêàëîé. Ìîæíî äîãîâîðèòüñÿ î íåêîòîðîì äðóãîì ñïîñîáå îòîáðàæåíèÿ g ∗ , è òîãäà áóäåì èìåòü äåëî ñ äðóãîé øêàëîé < E, N, g ∗ >. Íàïðèìåð, â g çàïèñûâàåì âåñ â êèëîãðàììàõ, à â g ∗  â òîííàõ. Öèôðîâàÿ çàïèñü îêàçûâàåòñÿ ðàçëè÷íîé ïðè îäèíàêîâîì ýìïèðè÷åñêîì ñîäåðæàíèè. Äîïóñòèìî ïðåîáðàçîâàíèå g = f (g ∗ ), f  òèï øêàëû. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 15 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Òèïû øêàë 1 2 3 4 5 Àáñîëþòíàÿ øêàëà. Äîïóñòèìîå ïðåîáðàçîâàíèå äëÿ øêàë äàííîãî òèïà ïðåäñòàâëÿåò èç ñåáÿ òîæäåñòâî. Ïðèìåð: 6=VI. Øêàëà îòíîøåíèé. Ìåæäó ðàçíûìè ïðîòîêîëàìè äîëæíî âûïîëíÿòüñÿ îòíîøåíèå y = ax. Ïðèìåð: 16 êã, 16000 ã, 1 ïóä. Øêàëà èíòåðâàëîâ. Ìåæäó ïðîòîêîëàìè äîïóñòèìû ëèíåéíûå ïðåîáðàçîâàíèÿ y = ax + b. Ïðèìåð: èçìåðåíèå òåìïåðàòóðû (Öåëüñèÿ, Êåëüâèíà, Ôàðåíãåéòà). Øêàëà ïîðÿäêà. Äîïóñòèìû âñå ìîíîòîííûå ïðåîáðàçîâàíèÿ, ò.å. òàêèå, êîòîðûå íå íàðóøàþò ïîðÿäîê ñëåäîâàíèÿ çíà÷åíèé èçìåðÿåìûõ âåëè÷èí. Ïðèìåð: ¾1,2,3¿ è ¾5.3, 7.5, 19.2¿ øêàëû áàëëîâ. Ïðèìåð: îò 1 äî 20 (ðåéòèíã). øêàëû ðàíãîâ. Ïðèìåð: ðàíãè ñëîâ â òåêñòå ñ ñîâïàäàþùèìè ÷àñòîòàìè. Øêàëû ïîðÿäêà ñîäåðæàò èíôîðìàöèþ òîëüêî î òðåõ ýìïèðè÷åêèõ îòíîøåíèÿõ >, < è =. Øêàëà íàèìåíîâàíèé. Ôèêñèðóþòñÿ 2 îòíîøåíèÿ: = è 6=. Äîïóñòèìû ïðåîáðàçîâàíèÿ, â êîòîðûõ ðàçíûå îáúåêòû èìåþò ðàçíûå íàçâàíèÿ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 16 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Òèïû øêàë 1 2 3 4 5 Àáñîëþòíàÿ øêàëà. Äîïóñòèìîå ïðåîáðàçîâàíèå äëÿ øêàë äàííîãî òèïà ïðåäñòàâëÿåò èç ñåáÿ òîæäåñòâî. Ïðèìåð: 6=VI. Øêàëà îòíîøåíèé. Ìåæäó ðàçíûìè ïðîòîêîëàìè äîëæíî âûïîëíÿòüñÿ îòíîøåíèå y = ax. Ïðèìåð: 16 êã, 16000 ã, 1 ïóä. Øêàëà èíòåðâàëîâ. Ìåæäó ïðîòîêîëàìè äîïóñòèìû ëèíåéíûå ïðåîáðàçîâàíèÿ y = ax + b. Ïðèìåð: èçìåðåíèå òåìïåðàòóðû (Öåëüñèÿ, Êåëüâèíà, Ôàðåíãåéòà). Øêàëà ïîðÿäêà. Äîïóñòèìû âñå ìîíîòîííûå ïðåîáðàçîâàíèÿ, ò.å. òàêèå, êîòîðûå íå íàðóøàþò ïîðÿäîê ñëåäîâàíèÿ çíà÷åíèé èçìåðÿåìûõ âåëè÷èí. Ïðèìåð: ¾1,2,3¿ è ¾5.3, 7.5, 19.2¿ øêàëû áàëëîâ. Ïðèìåð: îò 1 äî 20 (ðåéòèíã). øêàëû ðàíãîâ. Ïðèìåð: ðàíãè ñëîâ â òåêñòå ñ ñîâïàäàþùèìè ÷àñòîòàìè. Øêàëû ïîðÿäêà ñîäåðæàò èíôîðìàöèþ òîëüêî î òðåõ ýìïèðè÷åêèõ îòíîøåíèÿõ >, < è =. Øêàëà íàèìåíîâàíèé. Ôèêñèðóþòñÿ 2 îòíîøåíèÿ: = è 6=. Äîïóñòèìû ïðåîáðàçîâàíèÿ, â êîòîðûõ ðàçíûå îáúåêòû èìåþò ðàçíûå íàçâàíèÿ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 16 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Òèïû øêàë 1 2 3 4 5 Àáñîëþòíàÿ øêàëà. Äîïóñòèìîå ïðåîáðàçîâàíèå äëÿ øêàë äàííîãî òèïà ïðåäñòàâëÿåò èç ñåáÿ òîæäåñòâî. Ïðèìåð: 6=VI. Øêàëà îòíîøåíèé. Ìåæäó ðàçíûìè ïðîòîêîëàìè äîëæíî âûïîëíÿòüñÿ îòíîøåíèå y = ax. Ïðèìåð: 16 êã, 16000 ã, 1 ïóä. Øêàëà èíòåðâàëîâ. Ìåæäó ïðîòîêîëàìè äîïóñòèìû ëèíåéíûå ïðåîáðàçîâàíèÿ y = ax + b. Ïðèìåð: èçìåðåíèå òåìïåðàòóðû (Öåëüñèÿ, Êåëüâèíà, Ôàðåíãåéòà). Øêàëà ïîðÿäêà. Äîïóñòèìû âñå ìîíîòîííûå ïðåîáðàçîâàíèÿ, ò.å. òàêèå, êîòîðûå íå íàðóøàþò ïîðÿäîê ñëåäîâàíèÿ çíà÷åíèé èçìåðÿåìûõ âåëè÷èí. Ïðèìåð: ¾1,2,3¿ è ¾5.3, 7.5, 19.2¿ øêàëû áàëëîâ. Ïðèìåð: îò 1 äî 20 (ðåéòèíã). øêàëû ðàíãîâ. Ïðèìåð: ðàíãè ñëîâ â òåêñòå ñ ñîâïàäàþùèìè ÷àñòîòàìè. Øêàëû ïîðÿäêà ñîäåðæàò èíôîðìàöèþ òîëüêî î òðåõ ýìïèðè÷åêèõ îòíîøåíèÿõ >, < è =. Øêàëà íàèìåíîâàíèé. Ôèêñèðóþòñÿ 2 îòíîøåíèÿ: = è 6=. Äîïóñòèìû ïðåîáðàçîâàíèÿ, â êîòîðûõ ðàçíûå îáúåêòû èìåþò ðàçíûå íàçâàíèÿ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 16 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Òèïû øêàë 1 2 3 4 5 Àáñîëþòíàÿ øêàëà. Äîïóñòèìîå ïðåîáðàçîâàíèå äëÿ øêàë äàííîãî òèïà ïðåäñòàâëÿåò èç ñåáÿ òîæäåñòâî. Ïðèìåð: 6=VI. Øêàëà îòíîøåíèé. Ìåæäó ðàçíûìè ïðîòîêîëàìè äîëæíî âûïîëíÿòüñÿ îòíîøåíèå y = ax. Ïðèìåð: 16 êã, 16000 ã, 1 ïóä. Øêàëà èíòåðâàëîâ. Ìåæäó ïðîòîêîëàìè äîïóñòèìû ëèíåéíûå ïðåîáðàçîâàíèÿ y = ax + b. Ïðèìåð: èçìåðåíèå òåìïåðàòóðû (Öåëüñèÿ, Êåëüâèíà, Ôàðåíãåéòà). Øêàëà ïîðÿäêà. Äîïóñòèìû âñå ìîíîòîííûå ïðåîáðàçîâàíèÿ, ò.å. òàêèå, êîòîðûå íå íàðóøàþò ïîðÿäîê ñëåäîâàíèÿ çíà÷åíèé èçìåðÿåìûõ âåëè÷èí. Ïðèìåð: ¾1,2,3¿ è ¾5.3, 7.5, 19.2¿ øêàëû áàëëîâ. Ïðèìåð: îò 1 äî 20 (ðåéòèíã). øêàëû ðàíãîâ. Ïðèìåð: ðàíãè ñëîâ â òåêñòå ñ ñîâïàäàþùèìè ÷àñòîòàìè. Øêàëû ïîðÿäêà ñîäåðæàò èíôîðìàöèþ òîëüêî î òðåõ ýìïèðè÷åêèõ îòíîøåíèÿõ >, < è =. Øêàëà íàèìåíîâàíèé. Ôèêñèðóþòñÿ 2 îòíîøåíèÿ: = è 6=. Äîïóñòèìû ïðåîáðàçîâàíèÿ, â êîòîðûõ ðàçíûå îáúåêòû èìåþò ðàçíûå íàçâàíèÿ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 16 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Òèïû øêàë 1 2 3 4 5 Àáñîëþòíàÿ øêàëà. Äîïóñòèìîå ïðåîáðàçîâàíèå äëÿ øêàë äàííîãî òèïà ïðåäñòàâëÿåò èç ñåáÿ òîæäåñòâî. Ïðèìåð: 6=VI. Øêàëà îòíîøåíèé. Ìåæäó ðàçíûìè ïðîòîêîëàìè äîëæíî âûïîëíÿòüñÿ îòíîøåíèå y = ax. Ïðèìåð: 16 êã, 16000 ã, 1 ïóä. Øêàëà èíòåðâàëîâ. Ìåæäó ïðîòîêîëàìè äîïóñòèìû ëèíåéíûå ïðåîáðàçîâàíèÿ y = ax + b. Ïðèìåð: èçìåðåíèå òåìïåðàòóðû (Öåëüñèÿ, Êåëüâèíà, Ôàðåíãåéòà). Øêàëà ïîðÿäêà. Äîïóñòèìû âñå ìîíîòîííûå ïðåîáðàçîâàíèÿ, ò.å. òàêèå, êîòîðûå íå íàðóøàþò ïîðÿäîê ñëåäîâàíèÿ çíà÷åíèé èçìåðÿåìûõ âåëè÷èí. Ïðèìåð: ¾1,2,3¿ è ¾5.3, 7.5, 19.2¿ øêàëû áàëëîâ. Ïðèìåð: îò 1 äî 20 (ðåéòèíã). øêàëû ðàíãîâ. Ïðèìåð: ðàíãè ñëîâ â òåêñòå ñ ñîâïàäàþùèìè ÷àñòîòàìè. Øêàëû ïîðÿäêà ñîäåðæàò èíôîðìàöèþ òîëüêî î òðåõ ýìïèðè÷åêèõ îòíîøåíèÿõ >, < è =. Øêàëà íàèìåíîâàíèé. Ôèêñèðóþòñÿ 2 îòíîøåíèÿ: = è 6=. Äîïóñòèìû ïðåîáðàçîâàíèÿ, â êîòîðûõ ðàçíûå îáúåêòû èìåþò ðàçíûå íàçâàíèÿ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 16 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë Èíôîðìàòèâíîñòü øêàë óáûâàåò â ïîðÿäêå èõ ïåðå÷èñëåíèÿ. Ïðèìåð: Àáñîëþòíàÿ øêàëà: ìíîæåñòâî A ñîäåðæèò 30 ýëåìåíòîâ, à ìíîæåñòâî B  10. Øêàëà îòíîøåíèé: ìíîæåñòâî A ñîäåðæèò â òðè ðàçà áîëüøå ýëåìåíòîâ, ÷åì ìíîæåñòâî B. Øêàëà ïîðÿäêà: ìíîæåñòâî A ñîäåðæèò áîëüøå ýëåìåíòîâ, ÷åì ìíîæåñòâî B. Øêàëà íàèìåíîâàíèé: ìíîæåñòâà À è  ñîäåðæàò ðàçëè÷íîå ÷èñëî ýëåìåíòîâ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 17 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë Èíôîðìàòèâíîñòü øêàë óáûâàåò â ïîðÿäêå èõ ïåðå÷èñëåíèÿ. Ïðèìåð: Àáñîëþòíàÿ øêàëà: ìíîæåñòâî A ñîäåðæèò 30 ýëåìåíòîâ, à ìíîæåñòâî B  10. Øêàëà îòíîøåíèé: ìíîæåñòâî A ñîäåðæèò â òðè ðàçà áîëüøå ýëåìåíòîâ, ÷åì ìíîæåñòâî B. Øêàëà ïîðÿäêà: ìíîæåñòâî A ñîäåðæèò áîëüøå ýëåìåíòîâ, ÷åì ìíîæåñòâî B. Øêàëà íàèìåíîâàíèé: ìíîæåñòâà À è  ñîäåðæàò ðàçëè÷íîå ÷èñëî ýëåìåíòîâ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 17 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë Èíôîðìàòèâíîñòü øêàë óáûâàåò â ïîðÿäêå èõ ïåðå÷èñëåíèÿ. Ïðèìåð: Àáñîëþòíàÿ øêàëà: ìíîæåñòâî A ñîäåðæèò 30 ýëåìåíòîâ, à ìíîæåñòâî B  10. Øêàëà îòíîøåíèé: ìíîæåñòâî A ñîäåðæèò â òðè ðàçà áîëüøå ýëåìåíòîâ, ÷åì ìíîæåñòâî B. Øêàëà ïîðÿäêà: ìíîæåñòâî A ñîäåðæèò áîëüøå ýëåìåíòîâ, ÷åì ìíîæåñòâî B. Øêàëà íàèìåíîâàíèé: ìíîæåñòâà À è  ñîäåðæàò ðàçëè÷íîå ÷èñëî ýëåìåíòîâ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 17 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë Èíôîðìàòèâíîñòü øêàë óáûâàåò â ïîðÿäêå èõ ïåðå÷èñëåíèÿ. Ïðèìåð: Àáñîëþòíàÿ øêàëà: ìíîæåñòâî A ñîäåðæèò 30 ýëåìåíòîâ, à ìíîæåñòâî B  10. Øêàëà îòíîøåíèé: ìíîæåñòâî A ñîäåðæèò â òðè ðàçà áîëüøå ýëåìåíòîâ, ÷åì ìíîæåñòâî B. Øêàëà ïîðÿäêà: ìíîæåñòâî A ñîäåðæèò áîëüøå ýëåìåíòîâ, ÷åì ìíîæåñòâî B. Øêàëà íàèìåíîâàíèé: ìíîæåñòâà À è  ñîäåðæàò ðàçëè÷íîå ÷èñëî ýëåìåíòîâ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 17 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë Èíôîðìàöèè, ñîäåðæàùåéñÿ â àáñîëþòíîé øêàëå, äîñòàòî÷íî äëÿ åå îäíîçíà÷íîãî îòîáðàæåíèÿ íà áîëåå ñëàáóþ øêàëó. Îáðàòíîå íå âåðíî. Èíôîðìàöèþ, çàïèñàííóþ â øêàëàõ ïåðâûõ òðåõ òèïîâ ìîæíî ïîäâåðãàòü ìàòåìàòè÷åñêèì ïðåîáðàçîâàíèÿì. Èõ íàçûâàþò ñèëüíûìè, êîëè÷åñòâåííûìè èëè ìàòåìàòè÷åñêèìè øêàëàìè. Øêàëû ïîðÿäêà è íàèìåíîâàíèé íàçûâàþò ñëàáûìè è êà÷åñòâåííûìè. Îöåíêà ïîòåðè èíôîðìàöèè ïðè ïåðåõîäå îò ñèëüíûõ øêàë ê áîëåå ñëàáûì îñóùåñòâëÿåòñÿ ïîäñ÷åòîì êîëè÷åñòâà íåèçîìîðôíûõ (ðàçíûõ) ïðîòîêîëîâ â ðàçíûõ øêàëàõ. Ïðèìåð: Ïðîòîêîëû ¾2, 6¿, ¾3, 9¿ â àáñîëþòíîé øêàëå íåèçîìîðôíû, à â øêàëå îòíîøåíèé, ïîðÿäêà è íàèìåíîâàíèé èçîìîðôíû. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 18 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ýëåìåíòû òåîðèè èçìåðåíèé Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë Ïóñòü so , sn , sa  êîëè÷åñòâî íåèçîìîðôíûõ ïðîòîêîëîâ äëÿ øêàëû ïîðÿäêà, íàèìåíîâàíèÿ è àáñîëþòíîé øêàëû ñîîòâåòñâåííî. Áóäåì ñ÷èòàòü, ÷òî èçìåðèòåëüíûé ïðèáîð ìîæåò ïðèíèìàòü îäíî èç m ñîñòîÿíèé. Çàôèêñèðóåì çíà÷åíèÿ ÷èñëà ãðàäàöèé. Ñ óâåëè÷åíèåì êîëè÷åñòâà èçìåðÿåìûõ îáúåêòîâ n ðàçëè÷èÿ â èíôîðìàòèâíîñòè øêàë óìåíüøàþòñÿ. Îòíîøåíèå sn /sa îñòàåòñÿ ìàëûì è ìåíÿåòñÿ ñëàáî. Îòíîøåíèå so /sa ðàñòåò áûñòðî è ïðè n > 5m äîñòèãàåò çíà÷åíèÿ 0.9. Èíôîðìàòèâíîñòü øêàëû ïîðÿäêà ïðè ýêñïåðèìåíòàõ ñ áîëüøèì ÷èñëîì îáúåêòîâ ïðèáëèæàåòñÿ ê èíôîðìàòèâíîñòè àáñîëþòíîé øêàëû. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 19 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ïðèëîæåíèÿ Ñèìâîëüíîå ðàñïîçíàâàíèå Îïòè÷åñêîå ñèìâîëüíîå ðàñïîçíàâàíèå (OCR); Ââîä è õðàíåíèå äîêóìåíòîâ; Pen computer; Îáðàáîòêà áàíêîâñêèõ ÷åêîâ è äåíåæíûõ êóïþð; Îáðàáîòêà ïî÷òû. < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 20 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ïðèëîæåíèÿ Ðàñïîçíàâàíèå ðå÷è Çàäà÷à ðàñïîçíàâàíèÿ ðå÷è: Âûäåëèòü, êëàññèôèöèðîâàòü è ñîîòâåòñòâóþùèì îáðàçîì îòðåàãèðîâàòü íà ÷åëîâå÷åñêóþ ðå÷ü èç âõîäíîãî çâóêîâîãî ïîòîêà.  âûïîëíåíèå îïðåäåëåííîãî äåéñòâèÿ íà êîìàíäó ÷åëîâåêà;  âûäåëåíèå îïðåäåëåííîãî ñëîâà-ìàðêåðà èç áîëüøîãî ìàññèâà òåëåôîííûõ ïåðåãîâîðîâ;  ñèñòåìû äëÿ ãîëîñîâîãî ââîäà òåêñòà. < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 21 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ïðèëîæåíèÿ Ñèñòåìû áåçîïàñíîñòè Íàïðàâëåíèÿ Äàêòèëîñêîïèÿ; Ìàøèííîå çðåíèå; Ðàñïîçíàâàíèå ïî ðàäóæíîé îáîëî÷êå ãëàçà; Ðàñïîçíàâàíèå ëèö; Ðàñïîçíàâàíèå ïîäïèñè; Êðèìèíàëèñòè÷åñêàÿ ýêñïåðòèçà; ... < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 22 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ïðèëîæåíèÿ Äèàãíîñòèêà â ìåäèöèíå Íàïðàâëåíèÿ Ðåíòãåíîãðàôèÿ; Ïîñòàíîâêà äèàãíîçà ïî èñòîðèè áîëåçíè; Ýëåêòðîêàðäèîãðàììà; ... < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 23 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ïðèëîæåíèÿ Ãåîëîãèÿ, ñåéñìîðàçâåäêà Íàïðàâëåíèÿ Ïîèñê ïîëåçíûõ èñêîïàåìûõ; Ïîèñê íåôòåíîñíûõ ñëîåâ; Îïðåäåëåíèå ïàðàìåòðîâ ñðåäû; ... < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 24 / 155 Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ Ïðèëîæåíèÿ Äîïîëíåííàÿ ðåàëüíîñòü Äîïîëíåííàÿ ðåàëüíîñòü (Augmented Reality)  òåðìèí, îòíîñÿùèéñÿ êî âñåì ïðîåêòàì, íàïðàâëåííûì íà äîïîëíåíèå ðåàëüíîñòè ëþáûìè âèðòóàëüíûìè ýëåìåíòàìè. < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 25 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ñîäåðæàíèå 2 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 26 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé Çàäà÷à: ðàçäåëèòü îáëàñòü ïðè ïîìîùè ïëîñêîñòåé íà 2 ìíîæåñòâà. 001 011 101 111 000 010 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 100 110 Ðàñïîçíàâàíèå îáðàçîâ 27 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé Çàäà÷à: ðàçäåëèòü îáëàñòü ïðè ïîìîùè ïëîñêîñòåé íà 2 ìíîæåñòâà. 001 011 101 111 000 010 100 110 Òîëüêî îäíà ðàçäåëÿþùàÿ ïëîñêîñòü. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 27 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé Çàäà÷à: ðàçäåëèòü îáëàñòü ïðè ïîìîùè ïëîñêîñòåé íà 2 ìíîæåñòâà. 001 011 101 111 000 010 100 110 Ëþáàÿ ïëîñêîñòü, ïåðåñåêàþùàÿ îòðåçîê (000111)  ðàçäåëÿþùàÿ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 27 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé Çàäà÷à: ðàçäåëèòü îáëàñòü ïðè ïîìîùè ïëîñêîñòåé íà 2 ìíîæåñòâà. 001 011 101 111 000 010 100 110 Ðàçäåëåíèå âîçìîæíî òîëüêî ñ ïîìîùüþ òðåõ ïëîñêîñòåé. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 27 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé Ìíîæåñòâà òî÷åê ðàçäåëÿþòñÿ òåì òðóäíåå, ÷åì áîëüøå â íèõ ãðàíè÷íûõ òî÷åê. Ãðàíè÷íàÿ òî÷êà ìíîæåñòâà  òî÷êà, â êîòîðîé èçìåíåíèå õîòÿ áû îäíîé öèôðû êîäà ïåðåâîäèò ýòó òî÷êó â äðóãîå ìíîæåñòâî. Òî÷êà  âíóòðåííÿÿ òî÷êàÿ ìíîæåñòâà, åñëè â åå êîäå îòñóòñòâóþò öèôðû, èçìåíåíèå îäíîé èç êîòîðûõ ïåðåâîäèò òî÷êó â äðóãîå ìíîæåñòâî. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 28 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé 001 011 101 111 000 010 100 110 Ìíîæåñòâà íå èìåþò ãðàíè÷íûõ òî÷åê. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 29 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé 001 011 101 111 000 010 100 110 Ìíîæåñòâà èìåþò ïî 3 ãðàíè÷íûõ è ïî 1 âíóòðåííåé òî÷êå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 29 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé 001 011 101 111 000 010 100 110 Âñå òî÷êè ãðàíè÷íûå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 29 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Ïðîñòîìó çðèòåëüíîìó îáðàçó ñîîòâåòñòâóåò êîìïàêòíîå ìíîæåñòâî òî÷åê â ïðîñòðàíñòâå èçîáðàæåíèé: 1 âñåãäà âîçìîæåí ïëàâíûé ïåðåõîä îò îäíîãî èçîáðàæåíèÿ ê äðóãîìó âíóòðè äàííîãî îáðàçà òàê, ÷òî è âñå ïðîìåæóòî÷íûå èçîáðàæåíèÿ áóäóò âîñïðèíèìàòüñÿ êàê èçîáðàæåíèÿ ýòîãî æå îáðàçà; è, íàîáîðîò, îò èçîáðàæåíèé îäíîãî îáðàçà íåëüçÿ ïëàâíî ïåðåéòè ê ýëåìåíòàì äðóãîãî áåç âîçíèêíîâåíèÿ èçîáðàæåíèé, ñ íåîïðåäåëåííîé ïðèíàäëåæíîñòüþ; 2 ïðè ìàëîé äåôîðìàöèè èçîáðàæåíèé â ëþáîì íàïðàâëåíèè îíè íå âûõîäÿò çà ïðåäåëû äàííîãî îáðàçà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 30 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Ãèïîòåçà λ-êîìïàêòíîñòè (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 31 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ Ãèïîòåçà λ-êîìïàêòíîñòè α β Ôîðìóëèðîâêà ãèïîòåçû λ-êîìïàêòíîñòè îïèðàåòñÿ íà ïîíÿòèå λ-ðàññòîÿíèÿ. Ïîñòðîèì ïîëíûé ãðàô, êîòîðûé ñîåäèíÿåò âñå òî÷êè äðóã ñ äðóãîì. Âûäåëèì íà ýòîì ãðàôå 2 âåðøèíû. Îáîçíà÷èì äëèíó ñâÿçûâàþùåãî èõ ðåáðà ÷åðåç α, à äëèíó ìèíèìàëüíîãî èç ñìåæíûõ åìó ðåáåð ÷åðåç β , òî îòíîøåíèå äëèí ýòèõ ðåáåð λ = α/β  ìåðà ëîêàëüíîé íåîäíîðîäíîñòè (λðàññòîÿíèå). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 31 / 155 Äèñêðèìèíàíòíûé ïîäõîä Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ Ðàçäåëèìûå è íåðàçäåëèìûå ìíîæåñòâà Óòî÷íèì ïîíÿòèå. Êîìïàêòíûì íàçûâàåòñÿ òàêîå ìíîæåñòâî òî÷åê, äëÿ êîòîðîãî: 1 ÷èñëî ãðàíè÷íûõ òî÷åê ìàëî ïî ñðàâíåíèþ ñ èõ îáùèì ÷èñëîì; 2 ëþáûå äâå âíóòðåííèå òî÷êè ìíîæåñòâà ìîãóò áûòü ñîåäèíåíû äîñòàòî÷íî ïëàâíîé ëèíèåé, ïðîõîäÿùåé òîëüêî ÷åðåç òî÷êè òîãî æå ìíîæåñòâà; 3 ïî÷òè êàæäàÿ âíóòðåííÿÿ òî÷êà èìååò â îáøèðíîé îêðåñòíîñòè òîëüêî òî÷êè ýòîãî æå ìíîæåñòâà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 32 / 155 Äèñêðèìèíàíòíûé ïîäõîä Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ Óñëîâèÿ ëèíåéíîé ðàçäåëèìîñòè êëàññîâ x1 α 1 x1 + α 2 x2 x2 Îïðåäåëåíèå. Ìíîæåñòâî, ñîäåðæàùåå îòðåçîê, ñîåäèíÿþùèé äâå ïðîèçâîëüíûå âíóòðåííèå òî÷êè, íàçûâàåòñÿ âûïóêëûì. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 33 / 155 Äèñêðèìèíàíòíûé ïîäõîä Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ Óñëîâèÿ ëèíåéíîé ðàçäåëèìîñòè êëàññîâ x1 α 1 x1 + α 2 x2 x2 Îïðåäåëåíèå. Ìíîæåñòâî, ñîäåðæàùåå îòðåçîê, ñîåäèíÿþùèé äâå ïðîèçâîëüíûå âíóòðåííèå òî÷êè, íàçûâàåòñÿ âûïóêëûì. Îïðåäåëåíèå. Âûïóêëàÿ îáîëî÷êà  ýòî ìèíèìàëüíîå âûïóêëîå ìíîæåñòâî, ñîäåðæàùåå äàííîå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 33 / 155 Äèñêðèìèíàíòíûé ïîäõîä Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ Óñëîâèÿ ëèíåéíîé ðàçäåëèìîñòè êëàññîâ x1 α 1 x1 + α 2 x2 x2 Óòâåðæäåíèå. Äâà ìíîæåñòâà íà ïëîñêîñòè ëèíåéíî ðàçäåëèìû òîãäà è òîëüêî òîãäà, êîãäà èõ âûïóêëûå îáîëî÷êè íå ïåðåñåêàþòñÿ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 33 / 155 Äèñêðèìèíàíòíûé ïîäõîä Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ Óñëîâèÿ ëèíåéíîé ðàçäåëèìîñòè êëàññîâ x1 α 1 x1 + α 2 x2 x2 Ïðàâèëî ïðîâåðêè ðàçäåëèìîñòè ìíîæåñòâ íà ïëîñêîñòè: 1 Ïîñòðîèòü âûïóêëûå îáîëî÷êè. 2 Ïðîâåðèòü èõ ïåðåñå÷åíèå. Åñëè îíè íå ïåðåñåêàþòñÿ, òî ìíîæåñòâà ðàçäåëèìû. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 33 / 155 Äèñêðèìèíàíòíûé ïîäõîä Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ Óñëîâèÿ ëèíåéíîé ðàçäåëèìîñòè êëàññîâ x1 α 1 x1 + α 2 x2 x2 Ïðàâèëî íàõîæäåíèÿ ðàçäåëÿþùåé ïðÿìîé: 1 Íàéòè áëèæàéøóþ ïàðó òî÷åê â âûïóêëûõ îáîëî÷êàõ îáîèõ ìíîæåñòâ. 2 Ïîñòðîèòü ñðåäèííûé ïåðïåíäèêóëÿð ê îòðåçêó, ñîåäèíÿþùåìó ýòè òî÷êè. Ýòîò ïåðïåíäèêóëÿð è áóäåò ðàçäåëÿþùåé ïðÿìîé. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 33 / 155 Äèñêðèìèíàíòíûé ïîäõîä Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ Ñëó÷àè ëèíåéíîé ðàçäåëèìîñòè êëàññîâ Êàæäûé êëàññ îòäåëÿåòñÿ îò âñåõ îñòàëüíûõ êëàññîâ îäíîé ëèíåéíîé ðåøàþùåé ôóíêöèåé Êàæäûå äâà êëàññà ìîæíî ðàçäåëèòü îäíîé ëèíåéíîé ðàçäåëÿþùåé ïîâåðõíîñòüþ ω3 ω3 ω1 ω1 ω2 ω2 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 34 / 155 Äèñêðèìèíàíòíûé ïîäõîä Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé Ðàñïîçíàâàíèå ïî ðàññòîÿíèþ ìåæäó òî÷êàìè â ïðîñòðàíñòâå èçîáðàæåíèé ω1 ω2 X ω3 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 35 / 155 Äèñêðèìèíàíòíûé ïîäõîä Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé Ìåðû áëèçîñòè Ñâîéñòâà ðàññòîÿíèÿ 1 d(x, y) = d(y, x); 2 d(x, x) = 0; 3 d(x, y) = 0 ⇐⇒ x = y ; 4 d(x, y) ≤ d(x, z) + d(z, y). Ðàññìàòðèâàþò ìåðû áëèçîñòè ìåæäó: äâóìÿ îáðàçàìè; îáðàçîì è êëàññîì; äâóìÿ êëàññàìè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 36 / 155 Äèñêðèìèíàíòíûé ïîäõîä Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé Ðàññòîÿíèÿ ìåæäó âåêòîðàìè ïðèçíàêîâ Ìåòðèêà Åâêëèäà d2 (x, y) = n X !1/2 2 (xi − yi ) k=1 Ìàíõåòòåíîâñêàÿ ìåòðèêà d1 (x, y) = ||x − y||1 = |x1 − y1 | + ... + |xn − yn | Åñëè xi ∈ {−1, 1}, òî d1  ìåòðèêà Õåììèíãà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 37 / 155 Äèñêðèìèíàíòíûé ïîäõîä Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé Ðàññòîÿíèÿ ìåæäó âåêòîðàìè ïðèçíàêîâ Ìåòðèêà Ìèíêîâñêîãî dp (x, y) = ||x − y||p = n X !1/p p |xi − yi | k=1 Ðàâíîìåðíàÿ ìåòðèêà d∞ (x, y) = ||x − y||∞ = max |xi − yi | i Óãîë ìåæäó âåêòîðàìè d(x, y) = arccos (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) xy ||x|| ||y|| Ðàñïîçíàâàíèå îáðàçîâ 38 / 155 Äèñêðèìèíàíòíûé ïîäõîä Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé Ðàññòîÿíèå îò îáðàçà äî êëàññà Ðàññòîÿíèå îò îáðàçà äî öåíòðà êëàññà c1 c2 X c3 Ðåøàþùåå ïðàâèëî: X ∈ ωj , åñëè d(X, cj ) = min d(X, cj ) j (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 39 / 155 Äèñêðèìèíàíòíûé ïîäõîä Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé Ðàññòîÿíèå îò îáðàçà äî êëàññà Ðàññòîÿíèå îò îáðàçà äî öåíòðà êëàññà Ìåòîä áëèæàéøåãî ñîñåäà c1 ω1 c2 ω2 X X c3 ω3 Ðåøàþùåå ïðàâèëî: Ðåøàþùåå ïðàâèëî: X ∈ ωj , åñëè d(X, cj ) = min d(X, cj ) X ∈ ωj , åñëè ||x − xj || = min ||x − xi ||, xj ∈ ωj j (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) i Ðàñïîçíàâàíèå îáðàçîâ 39 / 155 Äèñêðèìèíàíòíûé ïîäõîä Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé Ðàññòîÿíèå ìåæäó êëàññàìè d1 (ωi , ωj ) = d2 (ωi , ωj ) = min x∈ωi , y∈ωj d(x, y) X 1 d(x, y) |Sij | x∈ω , y∈ω i j Sij  ìíîæåñòâî âñåõ ïàð ýëåìåíòîâ ìåæäó êëàññàìè ωi è ωj ; d3 (ωi , ωj ) = max x∈ωi , y∈ωj d(x, y) d4 (ωi , ωj ) = d(ci , cj ) ci è cj  öåíòðû êëàññîâ ωi è ωj ñîîòâåòñòâåííî. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 40 / 155 Äèñêðèìèíàíòíûé ïîäõîä Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé Ðàññòîÿíèå ìåæäó êëàññàìè d1 (ωi , ωj ) = d2 (ωi , ωj ) = min x∈ωi , y∈ωj d(x, y) X 1 d(x, y) |Sij | x∈ω , y∈ω i j Sij  ìíîæåñòâî âñåõ ïàð ýëåìåíòîâ ìåæäó êëàññàìè ωi è ωj ; d3 (ωi , ωj ) = max x∈ωi , y∈ωj d(x, y) d4 (ωi , ωj ) = d(ci , cj ) ci è cj  öåíòðû êëàññîâ ωi è ωj ñîîòâåòñòâåííî. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 40 / 155 Äèñêðèìèíàíòíûé ïîäõîä Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé Ðàññòîÿíèå ìåæäó êëàññàìè d1 (ωi , ωj ) = d2 (ωi , ωj ) = min x∈ωi , y∈ωj d(x, y) X 1 d(x, y) |Sij | x∈ω , y∈ω i j Sij  ìíîæåñòâî âñåõ ïàð ýëåìåíòîâ ìåæäó êëàññàìè ωi è ωj ; d3 (ωi , ωj ) = max x∈ωi , y∈ωj d(x, y) d4 (ωi , ωj ) = d(ci , cj ) ci è cj  öåíòðû êëàññîâ ωi è ωj ñîîòâåòñòâåííî. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 40 / 155 Äèñêðèìèíàíòíûé ïîäõîä Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé Ðàññòîÿíèå ìåæäó êëàññàìè d1 (ωi , ωj ) = d2 (ωi , ωj ) = min x∈ωi , y∈ωj d(x, y) X 1 d(x, y) |Sij | x∈ω , y∈ω i j Sij  ìíîæåñòâî âñåõ ïàð ýëåìåíòîâ ìåæäó êëàññàìè ωi è ωj ; d3 (ωi , ωj ) = max x∈ωi , y∈ωj d(x, y) d4 (ωi , ωj ) = d(ci , cj ) ci è cj  öåíòðû êëàññîâ ωi è ωj ñîîòâåòñòâåííî. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 40 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ Êàòåãîðèéíûå ïðèçíàêè K = d1  ìåðà ñõîäñòâà. Ðàññìîòðèì îáðàç Xi = (xi1 , ..., xik , ..., xin ), n  êîëè÷åñòâî ïðèçíàêîâ. Ïðèìåð êîäèðîâàíèÿ ïðèçíàêîâ Îáúåêòû: ßáëîêî, âèøíÿ, áàíàí. Ïðèçíàêè: Öâåò, íàëè÷èå ñåìå÷åê, íàëè÷èå êîñòî÷åê. Îáúåêò Âèøíÿ ßáëîêî Áàíàí X x1 x2 x3 Æåëòûé? x11 = 0 x21 = 1 x31 = 1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Êðàñíûé? x12 = 1 x22 = 1 x32 = 0 Åñòü ñåìå÷êè? x13 = 0 x23 = 1 x33 = 0 Ðàñïîçíàâàíèå îáðàçîâ Åñòü êîñòî÷êè? x14 = 1 x24 = 0 x34 = 0 41 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ Êàòåãîðèéíûå ïðèçíàêè. Ïîïàðíîå ñðàâíåíèå xj /xi 1 1 a g h b a  ÷èñëî ñëó÷àåâ, êîãäà xi è xj îáëàäàþò îäíèì è òåì æå ïðèçíàêîì, b  ÷èñëî ñëó÷àåâ, êîãäà xi è xj íå îáëàäàþò íèêàêèìè îáùèìè ïðèçíàêàìè: a= n X xik xjk , b= k=1 n X (1 − xik )(1 − xjk ). k=1 g  ÷èñëî ñëó÷àåâ, êîãäà xi íå îáëàäàåò ïðèçíàêîì, ïðècóùèì xj , h  ÷èñëî ñëó÷àåâ, êîãäà xi îáëàäàåò ïðèçíàêîì, îòñóòñòâóþùèì ó xj : g= n X (1 − xik )xjk , k=1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) h= n X xik (1 − xjk ). k=1 Ðàñïîçíàâàíèå îáðàçîâ 42 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ Êàòåãîðèéíûå ïðèçíàêè. Ïîïàðíîå ñðàâíåíèå xj /xi 1 1 a g h b a  ÷èñëî ñëó÷àåâ, êîãäà xi è xj îáëàäàþò îäíèì è òåì æå ïðèçíàêîì, b  ÷èñëî ñëó÷àåâ, êîãäà xi è xj íå îáëàäàþò íèêàêèìè îáùèìè ïðèçíàêàìè: a= n X xik xjk , b= k=1 n X (1 − xik )(1 − xjk ). k=1 g  ÷èñëî ñëó÷àåâ, êîãäà xi íå îáëàäàåò ïðèçíàêîì, ïðècóùèì xj , h  ÷èñëî ñëó÷àåâ, êîãäà xi îáëàäàåò ïðèçíàêîì, îòñóòñòâóþùèì ó xj : g= n X (1 − xik )xjk , k=1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) h= n X xik (1 − xjk ). k=1 Ðàñïîçíàâàíèå îáðàçîâ 42 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ Êàòåãîðèéíûå ïðèçíàêè. Ìåðû ñõîäñòâà ×åì áîëüøå ñõîäñòâî ìåæäó xi è xj , òåì áîëüøå äîëæåí áûòü êîýôôèöèåíò a è òåì ñèëüíåå îí äîëæåí îòëè÷àòüñÿ îò äðóãèõ. Ââåäåì ôóíêöèþ ñõîäñòâà, îáëàäàþùóþ ñëåäóþùèìè ñâîéñòâàìè: îíà äîëæíà áûòü âîçðàñòàþùåé â çàâèñèìîñòè îò a, ñèììåòðè÷íîé îòíîñèòåëüíî g è h, óáûâàþùåé â çàâèñèìîñòè îò b. Ýòà ôóíêöèÿ  äâîè÷íîå (áèíàðíîå) ðàññòîÿíèå. S1 (xi , xj ) = S4 (xi , xj ) = a , n S2 (xi , xj ) = a , a + 2(g + h) (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) a , n−b S5 (xi , xj ) = S3 (xi , xj ) = a+b , n Ðàñïîçíàâàíèå îáðàçîâ a , 2a + h + g S6 (xi , xj ) = a . h+g 43 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ Êàòåãîðèéíûå ïðèçíàêè. Ìåðû ñõîäñòâà ×åì áîëüøå ñõîäñòâî ìåæäó xi è xj , òåì áîëüøå äîëæåí áûòü êîýôôèöèåíò a è òåì ñèëüíåå îí äîëæåí îòëè÷àòüñÿ îò äðóãèõ. Ââåäåì ôóíêöèþ ñõîäñòâà, îáëàäàþùóþ ñëåäóþùèìè ñâîéñòâàìè: îíà äîëæíà áûòü âîçðàñòàþùåé â çàâèñèìîñòè îò a, ñèììåòðè÷íîé îòíîñèòåëüíî g è h, óáûâàþùåé â çàâèñèìîñòè îò b. Ýòà ôóíêöèÿ  äâîè÷íîå (áèíàðíîå) ðàññòîÿíèå. S1 (xi , xj ) = S4 (xi , xj ) = a , n S2 (xi , xj ) = a , a + 2(g + h) (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) a , n−b S5 (xi , xj ) = S3 (xi , xj ) = a+b , n Ðàñïîçíàâàíèå îáðàçîâ a , 2a + h + g S6 (xi , xj ) = a . h+g 43 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ Êàòåãîðèéíûå ïðèçíàêè. Ìåðû ñõîäñòâà ×åì áîëüøå ñõîäñòâî ìåæäó xi è xj , òåì áîëüøå äîëæåí áûòü êîýôôèöèåíò a è òåì ñèëüíåå îí äîëæåí îòëè÷àòüñÿ îò äðóãèõ. Ââåäåì ôóíêöèþ ñõîäñòâà, îáëàäàþùóþ ñëåäóþùèìè ñâîéñòâàìè: îíà äîëæíà áûòü âîçðàñòàþùåé â çàâèñèìîñòè îò a, ñèììåòðè÷íîé îòíîñèòåëüíî g è h, óáûâàþùåé â çàâèñèìîñòè îò b. Ýòà ôóíêöèÿ  äâîè÷íîå (áèíàðíîå) ðàññòîÿíèå. S1 (xi , xj ) = S4 (xi , xj ) = a , n S2 (xi , xj ) = a , a + 2(g + h) (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) a , n−b S5 (xi , xj ) = S3 (xi , xj ) = a+b , n Ðàñïîçíàâàíèå îáðàçîâ a , 2a + h + g S6 (xi , xj ) = a . h+g 43 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ Ïðèìåð x1 x2 x3 x2 /x1 1 1 1 1 2 1 1 x3 /x2 1 S2 (x1 , x2 ) = 0.25, S2 (x2 , x3 ) = 0.333, (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 1 1 1 1 1 2 1 1 x1 /x3 1 1 2 1 1 S6 (x1 , x2 ) = 0.333. S6 (x2 , x3 ) = 0.5. Ðàñïîçíàâàíèå îáðàçîâ 44 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ Ïðèìåð x1 x2 x3 x2 /x1 1 1 1 1 2 1 1 x3 /x2 1 S2 (x1 , x2 ) = 0.25, S2 (x2 , x3 ) = 0.333, (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 1 1 1 1 1 2 1 1 x1 /x3 1 1 2 1 1 S6 (x1 , x2 ) = 0.333. S6 (x2 , x3 ) = 0.5. Ðàñïîçíàâàíèå îáðàçîâ 44 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ Ïðèìåð x1 x2 x3 x2 /x1 1 1 1 1 2 1 1 x3 /x2 1 S2 (x1 , x2 ) = 0.25, S2 (x2 , x3 ) = 0.333, (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 1 1 1 1 1 2 1 1 x1 /x3 1 1 2 1 1 S6 (x1 , x2 ) = 0.333. S6 (x2 , x3 ) = 0.5. Ðàñïîçíàâàíèå îáðàçîâ 44 / 155 Äèñêðèìèíàíòíûé ïîäõîä Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ Ïðèìåð x1 x2 x3 x2 /x1 1 1 1 1 2 1 1 x3 /x2 1 S2 (x1 , x2 ) = 0.25, S2 (x2 , x3 ) = 0.333, (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 1 1 1 1 1 2 1 1 x1 /x3 1 1 2 1 1 S6 (x1 , x2 ) = 0.333. S6 (x2 , x3 ) = 0.5. Ðàñïîçíàâàíèå îáðàçîâ 44 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ñîäåðæàíèå 3 Àëãîðèòìû êëàñòåðèçàöèè Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè Àëãîðèòìû, îñíîâàííûå íà òåîðèè ãðàôîâ Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì ÈÑÎÌÀÄ (ISODATA) Àëãîðèòì FOREL Ëàáîðàòîðíàÿ ðàáîòà  2 Àëãîðèòìû ðàññòàíîâêè öåíòðîâ êëàñòåðîâ < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 45 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè  íàéòè òàêîå ðàçáèåíèå îáó÷àþùåé âûáîðêè Ω = {x1 , ..., xN } íà íåïåðåñåêàþùèåñÿ ïîäìíîæåñòâà (êëàñòåðû) Çàäà÷à X1 , ..., Xm : X1 ∪ ... ∪ Xm = Ω, Xi ∩ Xj = ∅ ∀i 6= j, ÷òîáû âñå òî÷êè îäíîãî êëàñòåðà ñîñòîÿëè èç ¾ïîõîæèõ¿ ýëåìåíòîâ, à òî÷êè ðàçíûõ êëàñòåðîâ ñóùåñòâåííî îòëè÷àëèñü. Îñíîâíûå ïàðàìåòðû êëàñòåðèçàöèè: êðèòåðèé ¾ïîõîæåñòè¿ ýëåìåíòîâ Q; èñïîëüçóåìàÿ ìåòðèêà d; ÷èñëî êëàñòåðîâ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 46 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè Çàäà÷è êëàñòåðèçàöèè 1 Çàäà÷à êëàññèôèêàöèè îáúåêòîâ îäíîé ïðèðîäû â íåñêîëüêî ãðóïï òàê, ÷òîáû îáúåêòû â îäíîé ãðóïïå îáëàäàëè îäíèìè ñâîéñòâàìè. Ïàðàìåòðû êëàñòåðèçàöèè äîëæíû îáåñïå÷èâàòü ìèíèìàëüíîñòü ÷èñëà êëàñòåðîâ; 2 Ïîëó÷åíèå âûáîðêè ýòàëîííûõ ýëåìåíòîâ  òèïè÷íûõ ïðåäñòàâèòåëåé êëàñòåðîâ. Ïàðàìåòðû êëàñòåðèçàöèè äîëæíû îáåñïå÷èâàòü ôîðìèðîâàíèå îäíîðîäíûõ êëàñòåðîâ; 3 Íàõîæäåíèå ýëåìåíòîâ, íå ïîïàäàþùèõ íè â îäèí èç êëàñòåðîâ; 4 Ôîðìèðîâàíèå èåðàðõè÷åñêîé ñòðóêòóðû âûáîðêè (çàäà÷à òàêñîíîìèè). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 47 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè Ìàòåìàòè÷åñêàÿ ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè X = {x1 , ..., xN }  òåñòîâàÿ âûáîðêà. Òðåáóåòñÿ íàéòè òàêóþ ôóíêöèþ êëàñòåðèçàöèè f , êîòîðàÿ êàæäîé òî÷êå x ∈ X ñòàâèëà áû â îäíîçíà÷íîå ñîîòâåòñòâèå íåêîòîðûé ýëåìåíò  ìåòêó y ∈ Y èç ìíîæåñòâà ìåòîê Y = {y1 , ..., ym } (êàæäàÿ ìåòêà yi ñîîòâåòñòâóåò íåêîòîðîìó êëàñòåðó Ωi ).  çàäà÷å êëàñòåðèçàöèè ìíîæåñòâî ìåòîê Y íåèçâåñòíî. Åñëè ìíîæåñòâî Y èçâåñòíî, òî çàäà÷à êëàñòåðèçàöèè âûðîæäàåòñÿ â çàäà÷ó êëàññèôèêàöèè. Ìíîæåñòâî ìåòîê Y íåîáõîäèìî èñêàòü ñðåäè ìíîæåñòâà Ψ äîïóñòèìûõ ìåòîê äëÿ äàííîé çàäà÷è êëàñòåðèçàöèè, êîòîðîå îïðåäåëÿåòñÿ öåëÿìè êëàñòåðèçàöèè. Òîãäà çàäà÷à êëàñòåðèçàöèè ñâîäèòñÿ ê íàõîæäåíèþ òàêîãî ìíîæåñòâà ìåòîê Y0 è ôóíêöèè êëàñòåðèçàöèè f , ÷òîáû Y0 = min Q(Y, f ), ãäå y∈Ψ,f Q(Y, f )  âûáðàííûé êðèòåðèé êà÷åñòâà (îïòèìàëüíîñòè) êëàñòåðèçàöèè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 48 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè Ìàòåìàòè÷åñêàÿ ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè X = {x1 , ..., xN }  òåñòîâàÿ âûáîðêà. Òðåáóåòñÿ íàéòè òàêóþ ôóíêöèþ êëàñòåðèçàöèè f , êîòîðàÿ êàæäîé òî÷êå x ∈ X ñòàâèëà áû â îäíîçíà÷íîå ñîîòâåòñòâèå íåêîòîðûé ýëåìåíò  ìåòêó y ∈ Y èç ìíîæåñòâà ìåòîê Y = {y1 , ..., ym } (êàæäàÿ ìåòêà yi ñîîòâåòñòâóåò íåêîòîðîìó êëàñòåðó Ωi ).  çàäà÷å êëàñòåðèçàöèè ìíîæåñòâî ìåòîê Y íåèçâåñòíî. Åñëè ìíîæåñòâî Y èçâåñòíî, òî çàäà÷à êëàñòåðèçàöèè âûðîæäàåòñÿ â çàäà÷ó êëàññèôèêàöèè. Ìíîæåñòâî ìåòîê Y íåîáõîäèìî èñêàòü ñðåäè ìíîæåñòâà Ψ äîïóñòèìûõ ìåòîê äëÿ äàííîé çàäà÷è êëàñòåðèçàöèè, êîòîðîå îïðåäåëÿåòñÿ öåëÿìè êëàñòåðèçàöèè. Òîãäà çàäà÷à êëàñòåðèçàöèè ñâîäèòñÿ ê íàõîæäåíèþ òàêîãî ìíîæåñòâà ìåòîê Y0 è ôóíêöèè êëàñòåðèçàöèè f , ÷òîáû Y0 = min Q(Y, f ), ãäå y∈Ψ,f Q(Y, f )  âûáðàííûé êðèòåðèé êà÷åñòâà (îïòèìàëüíîñòè) êëàñòåðèçàöèè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 48 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè Îñíîâíûå êðèòåðèè êà÷åñòâà êëàñòåðèçàöèè 1 ñðåäíåå âíóòðèêëàñòåðíîå ðàññòîÿíèå X X Q1 = d(x, y) → min, i 2 x,y∈Ωi ñðåäíåå ìåæêëàñòåðíîå ðàññòîÿíèå X X Q2 = d(x, y) → max, i θ, òî ó÷ðåæäàåòñÿ íîâûé öåíòð êëàñòåðà z2 = x2 .  ïðîòèâíîì ñëó÷àå îáðàç x2 âêëþ÷àåòñÿ â êëàñòåð c öåíòðîì z1 . Íà ñëåäóþùåì øàãå âû÷èñëÿþòñÿ ðàññòîÿíèÿ d31 è d32 îò îáðàçà x3 äî öåíòðîâ êëàñòåðîâ z1 è z2 . Åñëè îáà ðàññòîÿíèÿ îêàçûâàþòñÿ áîëüøå ïîðîãà θ, òî ó÷ðåæäàåòñÿ íîâûé öåíòð êëàñòåðà z3 .  ïðîòèâíîì ñëó÷àå îáðàç x3 çà÷èñëÿåòñÿ â òîò êëàñòåð, ÷åé öåíòð ê íåìó áëèæå. Ïðîöåäóðà ïîâòîðÿåòñÿ äëÿ âñåõ òî÷åê èñõîäíîãî ìíîæåñòâà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 54 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ Ïóñòü {x1 , x2 , ...xn }  ìíîæåñòâî òåñòîâûõ ïðèìåðîâ. Ïîìåñòèì öåíòð ïåðâîãî êëàñòåðà z1 â x1 è çàäàäèì íåîòðèöàòåëüíóþ ïîðîãîâóþ âåëè÷èíó θ. Âû÷èñëèì ðàññòîÿíèå d21 ìåæäó îáðàçîì x2 è öåíòðîì êëàñòåðà z1 ïî ôîðìóëå d(x, z) = ||x − z||. Åñëè d > θ, òî ó÷ðåæäàåòñÿ íîâûé öåíòð êëàñòåðà z2 = x2 .  ïðîòèâíîì ñëó÷àå îáðàç x2 âêëþ÷àåòñÿ â êëàñòåð c öåíòðîì z1 . Íà ñëåäóþùåì øàãå âû÷èñëÿþòñÿ ðàññòîÿíèÿ d31 è d32 îò îáðàçà x3 äî öåíòðîâ êëàñòåðîâ z1 è z2 . Åñëè îáà ðàññòîÿíèÿ îêàçûâàþòñÿ áîëüøå ïîðîãà θ, òî ó÷ðåæäàåòñÿ íîâûé öåíòð êëàñòåðà z3 .  ïðîòèâíîì ñëó÷àå îáðàç x3 çà÷èñëÿåòñÿ â òîò êëàñòåð, ÷åé öåíòð ê íåìó áëèæå. Ïðîöåäóðà ïîâòîðÿåòñÿ äëÿ âñåõ òî÷åê èñõîäíîãî ìíîæåñòâà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 54 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ Ðåçóëüòàòû êëàñòåðèçàöèè Ðåçóëüòàòû îïèñàííîé ïðîöåäóðû îïðåäåëÿþòñÿ: âûáîðîì ïåðâîãî öåíòðà êëàñòåðà; ïîðÿäêîì îñìîòðà îáðàçîâ; çíà÷åíèåì ïîðîãîâîé âåëè÷èíû θ; ãåîìåòðè÷åñêèìè õàðàêòåðèñòèêàìè äàííûõ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 55 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ Ïðåèìóùåñòâà è íåäîñòàòêè Ïðåèìóùåñòâà àëãîðèòìà Ïîçâîëÿåò ïðîñòî è áûñòðî ïîëó÷èòü ïðèáëèçèòåëüíûå îöåíêè îñíîâíûõ õàðàêòåðèñòèê çàäàííîãî íàáîðà äàííûõ. Óäîáåí ñ âû÷èñëèòåëüíîé òî÷êè çðåíèÿ: äëÿ âûÿâëåíèÿ öåíòðîâ êëàñòåðîâ, ñîîòâåòñòâóþùèõ ïîðîãó θ, òðåáóåòñÿ òîëüêî îäíîêðàòíûé ïðîñìîòð âûáîðêè. Íåäîñòàòêè Íà ïðàêòèêå ïðèõîäèòñÿ ïðîâîäèòü ìíîãî÷èñëåííûå ýêñïåðèìåíòû ñ ðàçëè÷íûìè çíà÷åíèÿìè ïîðîãà è ðàçëè÷íûìè òî÷êàìè êëàñòåðèçàöèè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 56 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ Óïðàæíåíèå Äàíî ìíîæåñòâî äàííûõ: {x1 = (7, 1), x2 = (4, 3), x3 = (5, 2), x4 = (3, 4), x5 = (5, 5), x6 = (1, 4), x7 = (7, 4), x8 = (1, 3)}. Ïðèìåíèòå ê äàííîìó ìíîæåñòâó ïðîñòîé ìåòîä îòûñêàíèÿ êëàñòåðîâ.  êà÷åñòâå ïîðîãà âûáðàòü θ = 3, θ = 3.5.  êà÷åñòâå ìåðû ðàññòîÿíèÿ âûáðàòü ìàíõåòòåíîâñêóþ ìåòðèêó n P (d(x, y) = |xi − yi |). i=1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 57 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ Ëàáîðàòîðíàÿ ðàáîòà  2. Àëãîðèòìû êëàñòåðèçàöèè Öåëü ëàáîðàòîðíîé ðàáîòû  ïðàêòè÷åñêîå îñâîåíèå ìåòîäîâ àâòîìàòè÷åñêîé êëàññèôèêàöèè  êëàñòåðèçàöèè äàííûõ. Çàäà÷è ëàáîðàòîðíîé ðàáîòû 1 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà âûÿâëåíèÿ êëàñòåðîâ. Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷ 1 ×èñëî èñõîäíûõ îáðàçîâ äëÿ êëàññèôèêàöèè: 50-70. 2 Ïðåäóñìîòðåòü èçìåíåíèå ïàðàìåòðîâ àëãîðèòìà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 58 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû. 8 7 6 5 4 3 2 1 x2 x6 x10 Íà ïåðâîì øàãå ïîìåùàåì öåíòð ïåðâîãî êëàñòåðà â ïåðâóþ òî÷êó: z1 = x1 . x8 x9 x5 x7 x3 x4 x1 0 1 2 3 4 5 6 7 8 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 59 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû. 8 7 6 5 4 3 2 1 x2 x6 x10 Çàòåì îòûñêèâàåòñÿ îáðàç, îòñòîÿùèé îò îáðàçà x1 íà íàèáîëüøåå ðàññòîÿíèå, êîòîðûé è íàçíà÷àåòñÿ öåíòðîì êëàñòåðà z2 = x6 . x8 x9 x5 x7 x3 x4 x1 0 1 2 3 4 5 6 7 8 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 59 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû. 8 7 6 5 4 3 2 1 x2 x6 Íà òðåòüåì øàãå ïðîèçâîäèòñÿ âû÷èñëåíèå ðàññòîÿíèé ìåæäó âñåìè îñòàëüíûìè îáðàçàìè âûáîðêè è öåíòðàìè êëàñòåðîâ z1 è z2 .  êàæäîé ïàðå ýòèõ ðàññòîÿíèé âûáèðàåòñÿ ìèíèìàëüíîå. Ïîñëå ýòîãî âûäåëÿåòñÿ ìàêñèìàëüíîå èç ýòèõ ìèíèìàëüíûõ ðàññòîÿíèé. x10 x8 x9 x5 x7 x3 x4 x1 0 1 2 3 4 5 6 7 8 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 59 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû. 8 7 6 5 4 3 2 1 x2 x6 x10 x8 x9 x5 x7 x3 x4 x1 0 1 2 3 4 5 6 7 8 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Åñëè ïîñëåäíåå ñîñòàâëÿåò çíà÷èòåëüíóþ ÷àñòü ðàññòîÿíèÿ ìåæäó öåíòðàìè êëàñòåðîâ z1 è z2 (ïî ìåíüøåé ìåðå ïîëîâèíó ýòîãî ðàññòîÿíèÿ), ñîîòâåòñòâóþùèé îáðàç íàçíà÷àåòñÿ öåíòðîì êëàñòåðà z3 .  ïðîòèâíîì ñëó÷àå âûïîëíåíèå àëãîðèòìà ïðåêðàùàåòñÿ.  ïðèìåðå öåíòðîì êëàñòåðà z3 ñòàíîâèòñÿ îáðàç x7 . Ðàñïîçíàâàíèå îáðàçîâ 59 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû. 8 7 6 5 4 3 2 1 x2 x6 Íà ñëåäóþùåì øàãå àëãîðèòìà âû÷èñëÿåòñÿ ðàññòîÿíèå ìåæäó òðåìÿ âûäåëåííûìè öåíòðàìè êëàñòåðîâ è âñåìè îñòàëüíûìè âûáîðî÷íûìè îáðàçàìè; â êàæäîé ãðóïïå èç òðåõ ðàññòîÿíèé âûáèðàåòñÿ ìèíèìàëüíîå. Ïîñëå ýòîãî, êàê è íà ïðåäûäóùåì øàãå, íàõîäèòñÿ ìàêñèìàëüíîå èç ýòèõ ìèíèìàëüíûõ ðàññòîÿíèé. x10 x8 x9 x5 x7 x3 x4 x1 0 1 2 3 4 5 6 7 8 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 59 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû. 8 7 6 5 4 3 2 1 x2 x6 Ïðîöåäóðà ïîâòîðÿåòñÿ äî òåõ ïîð, ïîêà íà êàêîì-ëèáî øàãå íå áóäåò ïîëó÷åíî ìàêñèìàëüíîå ðàññòîÿíèå, äëÿ êîòîðîãî óñëîâèå, îïðåäåëÿþùåå âûäåëåíèå íîâîãî êëàñòåðà íå âûïîëíÿåòñÿ. x10 x8 x9 x5 x7 x3 x4 x1 0 1 2 3 4 5 6 7 8 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 59 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû. 8 7 6 5 4 3 2 1 x2 x6 Ïðè îòíåñåíèè îñòàëüíûõ âûáîðî÷íûõ îáðàçîâ ê îäíîìó èç ó÷ðåæäåííûõ êëàñòåðîâ èñïîëüçóåòñÿ êðèòåðèé, ïðåäóñìàòðèâàþùèé ââåäåíèå êëàññèôèöèðóåìîãî îáðàçà â òîò êëàñòåð, öåíòð êîòîðîãî äëÿ íåãî áëèæàéøèé. x10 x8 x9 x5 x7 x3 x4 x1 0 1 2 3 4 5 6 7 8 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 59 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû. 8 7 6 5 4 3 2 1 x2 x6 Ìîæíî áîëåå òî÷íî îïðåäåëèòü öåíòðû êëàñòåðîâ, âû÷èñëèâ äëÿ êàæäîãî íàáîðà âûáîðî÷íîå ñðåäíåå P x. cj = |Ω1j | x10 x8 x9 x5 x7 x∈Ωj x3 Ýòè ñðåäíèå ìîæíî ñ÷èòàòü íîâûìè öåíòðàìè êëàñòåðîâ. x4 x1 0 1 2 3 4 5 6 7 8 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 59 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Óïðàæíåíèå Äàíî ìíîæåñòâî äàííûõ: {x1 = (7, 1), x2 = (4, 3), x3 = (5, 2), x4 = (3, 4), x5 = (5, 5), x6 = (1, 4), x7 = (7, 4), x8 = (1, 3)}. Ïðèìåíèòå ê äàííîìó ìíîæåñòâó äàííûõ àëãîðèòì îòûñêàíèÿ êëàñòåðîâ, äåéñòâóþùèé ïî ïðèíöèïó ìàêñèìèííîãî ðàññòîÿíèÿ.  êà÷åñòâå òèïè÷íîãî ðàññòîÿíèÿ âûáðàòü ïîëîâèíó îò ðàññòîÿíèÿ ìåæäó öåíòðàìè ïåðâûõ äâóõ êëàñòåðîâ.  êà÷åñòâå ìåðû ðàññòîÿíèÿ âûáðàòü ìàíõåòòåíîâñêóþ ìåòðèêó n P (d(x, y) = |xi − yi |). i=1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 60 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ Ëàáîðàòîðíàÿ ðàáîòà  2. Àëãîðèòìû êëàñòåðèçàöèè Öåëü ëàáîðàòîðíîé ðàáîòû  ïðàêòè÷åñêîå îñâîåíèå ìåòîäîâ àâòîìàòè÷åñêîé êëàññèôèêàöèè  êëàñòåðèçàöèè äàííûõ. Çàäà÷è ëàáîðàòîðíîé ðàáîòû 1 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà âûÿâëåíèÿ êëàñòåðîâ. 2 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà ìàêñèìèííîãî ðàññòîÿíèÿ. Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷ 1 ×èñëî èñõîäíûõ îáðàçîâ äëÿ êëàññèôèêàöèè: 50-70. 2 Ïðåäóñìîòðåòü èçìåíåíèå ïàðàìåòðîâ àëãîðèòìà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 61 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ïîêàçàòåëü êà÷åñòâà  ñóììó êâàäðàòîâ ðàññòîÿíèé âñåõ òî÷åê, âõîäÿùèõ â êëàñòåðíóþ îáëàñòü, äî öåíòðà êëàñòåðà. 1 Øàã 1. Âûäåëÿþòñÿ íà÷àëüíûå öåíòðû êëàñòåðîâ z1 , ..., zk èç òåñòîâîé âûáîðêè. Óñòàíàâëèâàåòñÿ i = 0. 2 Øàã 2. Âñÿ âûáîðêà ðàçáèâàåòñÿ íà k êëàñòåðîâ ïî ìåòîäó áëèæàéøåãî (i) (i) ñîñåäà  ïîëó÷àþòñÿ íåêîòîðûå êëàñòåðû Ω1 , ..., Ωk . 3 Øàã 3. Ðàññ÷èòûâàþòñÿ íîâûå öåíòðû  öåíòðû òÿæåñòè êëàñòåðîâ ïî P (i+1) ôîðìóëå zk x. = 1(i) |Ωk | 4 (i) x∈Ωk Øàã 4. Ïðîâåðÿåòñÿ âûïîëíåíèå óñëîâèÿ îñòàíîâà: (i+1) (i) zk = zk ∀i = 1, ..., k .  ïðîòèâíîì ñëó÷àå  ïåðåõîä ê øàãó 2. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 62 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ïîêàçàòåëü êà÷åñòâà  ñóììó êâàäðàòîâ ðàññòîÿíèé âñåõ òî÷åê, âõîäÿùèõ â êëàñòåðíóþ îáëàñòü, äî öåíòðà êëàñòåðà. 1 Øàã 1. Âûäåëÿþòñÿ íà÷àëüíûå öåíòðû êëàñòåðîâ z1 , ..., zk èç òåñòîâîé âûáîðêè. Óñòàíàâëèâàåòñÿ i = 0. 2 Øàã 2. Âñÿ âûáîðêà ðàçáèâàåòñÿ íà k êëàñòåðîâ ïî ìåòîäó áëèæàéøåãî (i) (i) ñîñåäà  ïîëó÷àþòñÿ íåêîòîðûå êëàñòåðû Ω1 , ..., Ωk . 3 Øàã 3. Ðàññ÷èòûâàþòñÿ íîâûå öåíòðû  öåíòðû òÿæåñòè êëàñòåðîâ ïî P (i+1) ôîðìóëå zk x. = 1(i) |Ωk | 4 (i) x∈Ωk Øàã 4. Ïðîâåðÿåòñÿ âûïîëíåíèå óñëîâèÿ îñòàíîâà: (i+1) (i) zk = zk ∀i = 1, ..., k .  ïðîòèâíîì ñëó÷àå  ïåðåõîä ê øàãó 2. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 62 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ïîêàçàòåëü êà÷åñòâà  ñóììó êâàäðàòîâ ðàññòîÿíèé âñåõ òî÷åê, âõîäÿùèõ â êëàñòåðíóþ îáëàñòü, äî öåíòðà êëàñòåðà. 1 Øàã 1. Âûäåëÿþòñÿ íà÷àëüíûå öåíòðû êëàñòåðîâ z1 , ..., zk èç òåñòîâîé âûáîðêè. Óñòàíàâëèâàåòñÿ i = 0. 2 Øàã 2. Âñÿ âûáîðêà ðàçáèâàåòñÿ íà k êëàñòåðîâ ïî ìåòîäó áëèæàéøåãî (i) (i) ñîñåäà  ïîëó÷àþòñÿ íåêîòîðûå êëàñòåðû Ω1 , ..., Ωk . 3 Øàã 3. Ðàññ÷èòûâàþòñÿ íîâûå öåíòðû  öåíòðû òÿæåñòè êëàñòåðîâ ïî P (i+1) ôîðìóëå zk x. = 1(i) |Ωk | 4 (i) x∈Ωk Øàã 4. Ïðîâåðÿåòñÿ âûïîëíåíèå óñëîâèÿ îñòàíîâà: (i+1) (i) zk = zk ∀i = 1, ..., k .  ïðîòèâíîì ñëó÷àå  ïåðåõîä ê øàãó 2. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 62 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ïîêàçàòåëü êà÷åñòâà  ñóììó êâàäðàòîâ ðàññòîÿíèé âñåõ òî÷åê, âõîäÿùèõ â êëàñòåðíóþ îáëàñòü, äî öåíòðà êëàñòåðà. 1 Øàã 1. Âûäåëÿþòñÿ íà÷àëüíûå öåíòðû êëàñòåðîâ z1 , ..., zk èç òåñòîâîé âûáîðêè. Óñòàíàâëèâàåòñÿ i = 0. 2 Øàã 2. Âñÿ âûáîðêà ðàçáèâàåòñÿ íà k êëàñòåðîâ ïî ìåòîäó áëèæàéøåãî (i) (i) ñîñåäà  ïîëó÷àþòñÿ íåêîòîðûå êëàñòåðû Ω1 , ..., Ωk . 3 Øàã 3. Ðàññ÷èòûâàþòñÿ íîâûå öåíòðû  öåíòðû òÿæåñòè êëàñòåðîâ ïî P (i+1) ôîðìóëå zk x. = 1(i) |Ωk | 4 (i) x∈Ωk Øàã 4. Ïðîâåðÿåòñÿ âûïîëíåíèå óñëîâèÿ îñòàíîâà: (i+1) (i) zk = zk ∀i = 1, ..., k .  ïðîòèâíîì ñëó÷àå  ïåðåõîä ê øàãó 2. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 62 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ . Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ôóíêöèîíàë ñóììàðíîé âûáîðî÷íîé äèñïåðñèè Q3 è ñõîäèòñÿ çà êîíå÷íîå ÷èñëî øàãîâ. Òåîðåìà Äîêàçàòåëüñòâî. 1. Íà 2-ì øàãå Q3 ìèíèìèçèðóåòñÿ ïðè ôèêñèðîâàííîì ïîëîæåíèè öåíòðîâ êëàñòåðîâ ïóòåì îïòèìèçàöèè ðàçáèåíèÿ îáó÷àþùåé âûáîðêè íà êëàñòåðû (l) (l) x ∈ Ωi , åñëè ||x − zi || ≤ ||x − zj || ∀j 6= i. 2. Íà 3-ì øàãå Q3 ìèíèìèçèðóåòñÿ çà ñ÷åò ïåðåñ÷åòà öåíòðîâ òÿæåñòè êëàñòåðîâ ïðè ôèêñèðîâàííîì ðàçáèåíèè îáó÷àþùåé âûáîðêè íà êëàñòåðû P (l+1) zk = 1(l) x. |Ωk | (l) x∈Ωk (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 63 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ . Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ôóíêöèîíàë ñóììàðíîé âûáîðî÷íîé äèñïåðñèè Q3 è ñõîäèòñÿ çà êîíå÷íîå ÷èñëî øàãîâ. Òåîðåìà Äîêàçàòåëüñòâî. 1. Íà 2-ì øàãå Q3 ìèíèìèçèðóåòñÿ ïðè ôèêñèðîâàííîì ïîëîæåíèè öåíòðîâ êëàñòåðîâ ïóòåì îïòèìèçàöèè ðàçáèåíèÿ îáó÷àþùåé âûáîðêè íà êëàñòåðû (l) (l) x ∈ Ωi , åñëè ||x − zi || ≤ ||x − zj || ∀j 6= i. 2. Íà 3-ì øàãå Q3 ìèíèìèçèðóåòñÿ çà ñ÷åò ïåðåñ÷åòà öåíòðîâ òÿæåñòè êëàñòåðîâ ïðè ôèêñèðîâàííîì ðàçáèåíèè îáó÷àþùåé âûáîðêè íà êëàñòåðû P (l+1) zk = 1(l) x. |Ωk | (l) x∈Ωk (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 63 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ . Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ôóíêöèîíàë ñóììàðíîé âûáîðî÷íîé äèñïåðñèè Q3 è ñõîäèòñÿ çà êîíå÷íîå ÷èñëî øàãîâ. Òåîðåìà Äîêàçàòåëüñòâî. 1. Íà 2-ì øàãå Q3 ìèíèìèçèðóåòñÿ ïðè ôèêñèðîâàííîì ïîëîæåíèè öåíòðîâ êëàñòåðîâ ïóòåì îïòèìèçàöèè ðàçáèåíèÿ îáó÷àþùåé âûáîðêè íà êëàñòåðû (l) (l) x ∈ Ωi , åñëè ||x − zi || ≤ ||x − zj || ∀j 6= i. 2. Íà 3-ì øàãå Q3 ìèíèìèçèðóåòñÿ çà ñ÷åò ïåðåñ÷åòà öåíòðîâ òÿæåñòè êëàñòåðîâ ïðè ôèêñèðîâàííîì ðàçáèåíèè îáó÷àþùåé âûáîðêè íà êëàñòåðû P (l+1) zk = 1(l) x. |Ωk | (l) x∈Ωk (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 63 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ Ðàññìîòðèì ôóíêöèþ ðàçáðîñà R(zi ) âûáîðî÷íûõ çíà÷åíèé â i-ì êëàññå îòíîñèòåëüíî íåêîòîðîé òî÷êè zi (íå îáÿçàòåëüíî öåíòðà êëàññà): X X R(zi ) = ||x − zi ||2 = (x2 − 2xzi + zi2 ). x∈Ωi x∈Ωi Èññëåäóåì ýòó ôóíêöèþ íà ìèíèìóì:  0 n X XX ∂R (xl − zil ) · (−1) = 0. = (xj − zij )2  = 2 ∂zil j=1 x∈Ωi x∈Ωi =⇒ zil = 1 |Ωi | P xl =⇒ zi = x∈Ωi 1 |Ωi | P x. x∈Ωi Òàêèì îáðàçîì, íà êàæäîé èòåðàöèè çíà÷åíèå Q íå óâåëè÷èâàåòñÿ, ò.å. Q(1) ≥ Q(2) ≥ .... Èìååì íåâîçðàñòàþùóþ ïîñëåäîâàòåëüíîñòü, îãðàíè÷åííóþ ñíèçó íóëåì, ïîýòîìó ýòà ïîñëåäîâàòåëüíîñòü èìååò ïðåäåë. Òàê êàê ÷èñëî ýëåìåíòîâ îáó÷àþùåé âûáîðêè êîíå÷íî, òî ýòîò ïðåäåë äîñòèãàåòñÿ çà êîíå÷íîå ÷èñëî èòåðàöèé. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 64 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ Ðàññìîòðèì ôóíêöèþ ðàçáðîñà R(zi ) âûáîðî÷íûõ çíà÷åíèé â i-ì êëàññå îòíîñèòåëüíî íåêîòîðîé òî÷êè zi (íå îáÿçàòåëüíî öåíòðà êëàññà): X X R(zi ) = ||x − zi ||2 = (x2 − 2xzi + zi2 ). x∈Ωi x∈Ωi Èññëåäóåì ýòó ôóíêöèþ íà ìèíèìóì:  0 n X XX ∂R (xl − zil ) · (−1) = 0. = (xj − zij )2  = 2 ∂zil j=1 x∈Ωi x∈Ωi =⇒ zil = 1 |Ωi | P xl =⇒ zi = x∈Ωi 1 |Ωi | P x. x∈Ωi Òàêèì îáðàçîì, íà êàæäîé èòåðàöèè çíà÷åíèå Q íå óâåëè÷èâàåòñÿ, ò.å. Q(1) ≥ Q(2) ≥ .... Èìååì íåâîçðàñòàþùóþ ïîñëåäîâàòåëüíîñòü, îãðàíè÷åííóþ ñíèçó íóëåì, ïîýòîìó ýòà ïîñëåäîâàòåëüíîñòü èìååò ïðåäåë. Òàê êàê ÷èñëî ýëåìåíòîâ îáó÷àþùåé âûáîðêè êîíå÷íî, òî ýòîò ïðåäåë äîñòèãàåòñÿ çà êîíå÷íîå ÷èñëî èòåðàöèé. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 64 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ Ðàññìîòðèì ôóíêöèþ ðàçáðîñà R(zi ) âûáîðî÷íûõ çíà÷åíèé â i-ì êëàññå îòíîñèòåëüíî íåêîòîðîé òî÷êè zi (íå îáÿçàòåëüíî öåíòðà êëàññà): X X R(zi ) = ||x − zi ||2 = (x2 − 2xzi + zi2 ). x∈Ωi x∈Ωi Èññëåäóåì ýòó ôóíêöèþ íà ìèíèìóì:  0 n X XX ∂R (xl − zil ) · (−1) = 0. = (xj − zij )2  = 2 ∂zil j=1 x∈Ωi x∈Ωi =⇒ zil = 1 |Ωi | P xl =⇒ zi = x∈Ωi 1 |Ωi | P x. x∈Ωi Òàêèì îáðàçîì, íà êàæäîé èòåðàöèè çíà÷åíèå Q íå óâåëè÷èâàåòñÿ, ò.å. Q(1) ≥ Q(2) ≥ .... Èìååì íåâîçðàñòàþùóþ ïîñëåäîâàòåëüíîñòü, îãðàíè÷åííóþ ñíèçó íóëåì, ïîýòîìó ýòà ïîñëåäîâàòåëüíîñòü èìååò ïðåäåë. Òàê êàê ÷èñëî ýëåìåíòîâ îáó÷àþùåé âûáîðêè êîíå÷íî, òî ýòîò ïðåäåë äîñòèãàåòñÿ çà êîíå÷íîå ÷èñëî èòåðàöèé. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 64 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ Ðàññìîòðèì ôóíêöèþ ðàçáðîñà R(zi ) âûáîðî÷íûõ çíà÷åíèé â i-ì êëàññå îòíîñèòåëüíî íåêîòîðîé òî÷êè zi (íå îáÿçàòåëüíî öåíòðà êëàññà): X X R(zi ) = ||x − zi ||2 = (x2 − 2xzi + zi2 ). x∈Ωi x∈Ωi Èññëåäóåì ýòó ôóíêöèþ íà ìèíèìóì:  0 n X XX ∂R (xl − zil ) · (−1) = 0. = (xj − zij )2  = 2 ∂zil j=1 x∈Ωi x∈Ωi =⇒ zil = 1 |Ωi | P xl =⇒ zi = x∈Ωi 1 |Ωi | P x. x∈Ωi Òàêèì îáðàçîì, íà êàæäîé èòåðàöèè çíà÷åíèå Q íå óâåëè÷èâàåòñÿ, ò.å. Q(1) ≥ Q(2) ≥ .... Èìååì íåâîçðàñòàþùóþ ïîñëåäîâàòåëüíîñòü, îãðàíè÷åííóþ ñíèçó íóëåì, ïîýòîìó ýòà ïîñëåäîâàòåëüíîñòü èìååò ïðåäåë. Òàê êàê ÷èñëî ýëåìåíòîâ îáó÷àþùåé âûáîðêè êîíå÷íî, òî ýòîò ïðåäåë äîñòèãàåòñÿ çà êîíå÷íîå ÷èñëî èòåðàöèé. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 64 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ. Ïðèìåð Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà. 5 4 3 2 1 x5 x4 x6 x1 x2 x3 0 1 2 3 4 5 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)  êà÷åñòâå íà÷àëüíûõ öåíòðîâ âûáåðåì òî÷êè (0) (0) z1 = x1 è z2 = x2 . Ðàçáèâàåì âûáîðêó {x1 , x2 , x3 , x4 , x5 , x6 } íà äâà ïîäìíîæåñòâà ïî ìåòîäó áëèæàéøåãî ñîñåäà. Ïîëó÷èì (0) íà÷àëüíûå êëàñòåðû: Ω1 = {x1 , x3 , x4 , x5 , x6 } (0) è Ω2 = {x2 }. Ðàñïîçíàâàíèå îáðàçîâ 65 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ. Ïðèìåð Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà. 5 4 3 2 1 x5 x4 x6 x1 x2 x3 Âû÷èñëÿåì íîâûå öåíòðû  öåíòðû òÿæåñòè  (1) (1) 13 êëàñòåðîâ: z1 = 17 5 , 5 , z2 = (0, 0). (1) (0) (1) (0) Ñðàâíèâàåì z1 6= z1 , z2 = z2 . Ïðîäîëæàåì âûïîëíåíèå àëãîðèòìà. 0 1 2 3 4 5 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 65 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ. Ïðèìåð Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà. 5 4 3 2 1 x5 x4 x6 x1 x2 x3 Ðàçáèâàåì âûáîðêó íà äâà ïîäìíîæåñòâà ñ íîâûìè öåíòðàìè ïî ìåòîäó áëèæàéøåãî (1) ñîñåäà. Ïîëó÷èì êëàñòåðû Ω1 = {x4 , x5 , x6 } 1 è Ω2 = {x1 , x2 , x3 }. 0 1 2 3 4 5 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 65 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ. Ïðèìåð Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà. 5 4 3 2 1 x5 x4 x6 x1 x2 x3 Âû÷èñëÿåì íîâûå öåíòðû òÿæåñòè êëàñòåðîâ.  (2)  (2) 1 z1 = 14 3 , 4 , z2 = 1, 3 . Ñðàâíèâàåì (2) (1) (2) (1) z1 6= z1 , z2 6= z2 . Ïðîäîëæàåì âûïîëíåíèå àëãîðèòìà. 0 1 2 3 4 5 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 65 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ. Ïðèìåð Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà. 5 4 3 2 1 x5 x4 x6 x1 x2 x3 Ðàçáèâàåì âûáîðêó íà äâà ïîäìíîæåñòâà ñ íîâûìè öåíòðàìè ïî ìåòîäó áëèæàéøåãî (2) ñîñåäà. Ïîëó÷èì êëàñòåðû Ω1 = {x1 , x2 , x3 } 2 è Ω2 = {x4 , x5 , x6 }. 0 1 2 3 4 5 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 65 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ. Ïðèìåð Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà. 5 4 3 2 1 x5 x4 x6 x1 x2 Âû÷èñëÿåì öåíòðû òÿæåñòè êëàñòåðîâ. (2) (1) (2) (1) z1 = z1 , z2 = z2 . Îñòàíîâêà àëãîðèòìà. x3 0 1 2 3 4 5 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 65 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k-ñðåäíèõ. Ïðèìåð (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 66 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ. Çàìå÷àíèÿ 1 Àëãîðèòì k -ñðåäíèõ îñóùåñòâëÿåò ëîêàëüíóþ, íî íå ãëîáàëüíóþ ìèíèìèçàöèþ ôóíêöèîíàëà Q. Ïîýòîìó ãàðàíòèè ¾õîðîøåé¿ êëàñòåðèçàöèè ýòîò àëãîðèòì íå äàåò. 2 Ïðîöåäóðà k -ñðåäíèõ îòíîñèòñÿ ê àëãîðèòìàì îáó÷åíèÿ áåç ó÷èòåëÿ (ñ ñàìîîáó÷åíèåì). 3 Àëãîðèòì ÷óâñòâèòåëåí ê ðàçìåðíîñòè ïðîñòðàíñòâà ïðèçíàêîâ: òðåáóåìîå êîëè÷åñòâî öåíòðîâ êëàñòåðîâ ýêñïîíåíöèàëüíî ðàñòåò ñ ðîñòîì ðàçìåðíîñòè. Ïîýòîìó, åñëè óäàåòñÿ èçáàâèòüñÿ îò ïðèçíàêà, ìàëî âëèÿþùåãî íà êëàññèôèêàöèþ, òî àëãîðèòì íà÷èíàåò ðàáîòàòü áûñòðåå è ëó÷øå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 67 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ. Çàìå÷àíèÿ 1 Àëãîðèòì k -ñðåäíèõ îñóùåñòâëÿåò ëîêàëüíóþ, íî íå ãëîáàëüíóþ ìèíèìèçàöèþ ôóíêöèîíàëà Q. Ïîýòîìó ãàðàíòèè ¾õîðîøåé¿ êëàñòåðèçàöèè ýòîò àëãîðèòì íå äàåò. 2 Ïðîöåäóðà k -ñðåäíèõ îòíîñèòñÿ ê àëãîðèòìàì îáó÷åíèÿ áåç ó÷èòåëÿ (ñ ñàìîîáó÷åíèåì). 3 Àëãîðèòì ÷óâñòâèòåëåí ê ðàçìåðíîñòè ïðîñòðàíñòâà ïðèçíàêîâ: òðåáóåìîå êîëè÷åñòâî öåíòðîâ êëàñòåðîâ ýêñïîíåíöèàëüíî ðàñòåò ñ ðîñòîì ðàçìåðíîñòè. Ïîýòîìó, åñëè óäàåòñÿ èçáàâèòüñÿ îò ïðèçíàêà, ìàëî âëèÿþùåãî íà êëàññèôèêàöèþ, òî àëãîðèòì íà÷èíàåò ðàáîòàòü áûñòðåå è ëó÷øå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 67 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Àëãîðèòì k -ñðåäíèõ. Çàìå÷àíèÿ 1 Àëãîðèòì k -ñðåäíèõ îñóùåñòâëÿåò ëîêàëüíóþ, íî íå ãëîáàëüíóþ ìèíèìèçàöèþ ôóíêöèîíàëà Q. Ïîýòîìó ãàðàíòèè ¾õîðîøåé¿ êëàñòåðèçàöèè ýòîò àëãîðèòì íå äàåò. 2 Ïðîöåäóðà k -ñðåäíèõ îòíîñèòñÿ ê àëãîðèòìàì îáó÷åíèÿ áåç ó÷èòåëÿ (ñ ñàìîîáó÷åíèåì). 3 Àëãîðèòì ÷óâñòâèòåëåí ê ðàçìåðíîñòè ïðîñòðàíñòâà ïðèçíàêîâ: òðåáóåìîå êîëè÷åñòâî öåíòðîâ êëàñòåðîâ ýêñïîíåíöèàëüíî ðàñòåò ñ ðîñòîì ðàçìåðíîñòè. Ïîýòîìó, åñëè óäàåòñÿ èçáàâèòüñÿ îò ïðèçíàêà, ìàëî âëèÿþùåãî íà êëàññèôèêàöèþ, òî àëãîðèòì íà÷èíàåò ðàáîòàòü áûñòðåå è ëó÷øå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 67 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Óïðàæíåíèå Äàíî ìíîæåñòâî äàííûõ: {x1 = (7, 1), x2 = (4, 3), x3 = (5, 2), x4 = (3, 4), x5 = (5, 5), x6 = (1, 4), x7 = (7, 4), x8 = (1, 3)}. Ïðèìåíèòå ê äàííîìó ìíîæåñòâó ìåòîä k -ñðåäíèõ äëÿ 3 êëàññîâ (k = 3). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 68 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means) Ëàáîðàòîðíàÿ ðàáîòà  2. Àëãîðèòìû êëàñòåðèçàöèè Öåëü ëàáîðàòîðíîé ðàáîòû  ïðàêòè÷åñêîå îñâîåíèå ìåòîäîâ àâòîìàòè÷åñêîé êëàññèôèêàöèè  êëàñòåðèçàöèè äàííûõ. Çàäà÷è ëàáîðàòîðíîé ðàáîòû 1 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà âûÿâëåíèÿ êëàñòåðîâ. 2 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà ìàêñèìèííîãî ðàññòîÿíèÿ. 3 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà k -ñðåäíèõ. Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷ 1 ×èñëî èñõîäíûõ îáðàçîâ äëÿ êëàññèôèêàöèè: 50-70. 2 Ïðåäóñìîòðåòü èçìåíåíèå ïàðàìåòðîâ àëãîðèòìà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 69 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ÈÑÎÌÀÄ (ISODATA) Àëãîðèòì ÈÑÎÌÀÄ (ISODATA) Èòåðàòèâíûé Ñàìîîðãàíèçóþùèéñÿ Ìåòîä Àíàëèçà Äàííûõ (ISODATA  Iterative Self-Organizing Data Analysis Techniques), ðàçðàáîòàí â 1965 ãîäó Áýëëîì (Ball G.) è Õýëëîì (Hall D.) Îñíîâíûå ïðîöåäóðû èçìåíåíèÿ ÷èñëà êëàñòåðîâ: 1. Óäàëåíèå êëàñòåðîâ. Åñëè êëàñòåð ñîäåðæèò ìàëî ýëåìåíòîâ |Ωi | < q1 , òî îí óäàëÿåòñÿ, åãî ýëåìåíòû ðàñïðåäåëÿþòñÿ ïî äðóãèì êëàñòåðàì, à öåíòð êëàñòåðà zi óäàëÿåòñÿ èç ñïèñêà öåíòðîâ êëàñòåðîâ. 2. Ðàçäåëåíèå êëàñòåðîâ. Åñëè äèñïåðñèÿ i-ãî êëàñòåðà Di > q2 , òî i-é êëàñòåð ðàçäåëÿþò íà äâà. Äëÿ ðàçäåëåíèÿ êëàñòåðà âû÷èñëÿþòñÿ ïîêîìïîíåíòíûå äèñïåðñèè: Dil = 1 X ||xl − zil ||2 , l = 1, ..., n. |Ωi | x∈Ωi Äàëåå âûáèðàåòñÿ l-ÿ êîìïîíåíòà, äëÿ êîòîðîé Dil > Dis ∀s 6= l, è îñóùåñòâëÿåòñÿ ðàçäåëåíèå i-ãî êëàñòåðà ïî l-é êîìïîíåíòå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 70 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ÈÑÎÌÀÄ (ISODATA) Àëãîðèòì ÈÑÎÌÀÄ (ISODATA) Èòåðàòèâíûé Ñàìîîðãàíèçóþùèéñÿ Ìåòîä Àíàëèçà Äàííûõ (ISODATA  Iterative Self-Organizing Data Analysis Techniques), ðàçðàáîòàí â 1965 ãîäó Áýëëîì (Ball G.) è Õýëëîì (Hall D.) Îñíîâíûå ïðîöåäóðû èçìåíåíèÿ ÷èñëà êëàñòåðîâ: 1. Óäàëåíèå êëàñòåðîâ. Åñëè êëàñòåð ñîäåðæèò ìàëî ýëåìåíòîâ |Ωi | < q1 , òî îí óäàëÿåòñÿ, åãî ýëåìåíòû ðàñïðåäåëÿþòñÿ ïî äðóãèì êëàñòåðàì, à öåíòð êëàñòåðà zi óäàëÿåòñÿ èç ñïèñêà öåíòðîâ êëàñòåðîâ. 2. Ðàçäåëåíèå êëàñòåðîâ. Åñëè äèñïåðñèÿ i-ãî êëàñòåðà Di > q2 , òî i-é êëàñòåð ðàçäåëÿþò íà äâà. Äëÿ ðàçäåëåíèÿ êëàñòåðà âû÷èñëÿþòñÿ ïîêîìïîíåíòíûå äèñïåðñèè: Dil = 1 X ||xl − zil ||2 , l = 1, ..., n. |Ωi | x∈Ωi Äàëåå âûáèðàåòñÿ l-ÿ êîìïîíåíòà, äëÿ êîòîðîé Dil > Dis ∀s 6= l, è îñóùåñòâëÿåòñÿ ðàçäåëåíèå i-ãî êëàñòåðà ïî l-é êîìïîíåíòå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 70 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ÈÑÎÌÀÄ (ISODATA) Àëãîðèòì ÈÑÎÌÀÄ (ISODATA) Èòåðàòèâíûé Ñàìîîðãàíèçóþùèéñÿ Ìåòîä Àíàëèçà Äàííûõ (ISODATA  Iterative Self-Organizing Data Analysis Techniques), ðàçðàáîòàí â 1965 ãîäó Áýëëîì (Ball G.) è Õýëëîì (Hall D.) Îñíîâíûå ïðîöåäóðû èçìåíåíèÿ ÷èñëà êëàñòåðîâ: 1. Óäàëåíèå êëàñòåðîâ. Åñëè êëàñòåð ñîäåðæèò ìàëî ýëåìåíòîâ |Ωi | < q1 , òî îí óäàëÿåòñÿ, åãî ýëåìåíòû ðàñïðåäåëÿþòñÿ ïî äðóãèì êëàñòåðàì, à öåíòð êëàñòåðà zi óäàëÿåòñÿ èç ñïèñêà öåíòðîâ êëàñòåðîâ. 2. Ðàçäåëåíèå êëàñòåðîâ. Åñëè äèñïåðñèÿ i-ãî êëàñòåðà Di > q2 , òî i-é êëàñòåð ðàçäåëÿþò íà äâà. Äëÿ ðàçäåëåíèÿ êëàñòåðà âû÷èñëÿþòñÿ ïîêîìïîíåíòíûå äèñïåðñèè: Dil = 1 X ||xl − zil ||2 , l = 1, ..., n. |Ωi | x∈Ωi Äàëåå âûáèðàåòñÿ l-ÿ êîìïîíåíòà, äëÿ êîòîðîé Dil > Dis ∀s 6= l, è îñóùåñòâëÿåòñÿ ðàçäåëåíèå i-ãî êëàñòåðà ïî l-é êîìïîíåíòå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 70 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ÈÑÎÌÀÄ (ISODATA) Àëãîðèòì ÈÑÎÌÀÄ (ISODATA) Äðóãîé, áîëåå òî÷íûé, ñïîñîá äåëåíèÿ êëàñòåðîâ ñîñòîèò â âû÷èñëåíèè ¾íàïðàâëåíèÿ¿ â ïðîñòðàíñòâå Rn , âäîëü êîòîðîãî äèñïåðñèÿ êëàñòåðà ìàêñèìàëüíà. Äàëåå êëàñòåð ðàçäåëÿåòñÿ íà äâà ãèïåðïëîñêîñòüþ, ïðîõîäÿùåé ÷åðåç öåíòð êëàñòåðà è ïåðïåíäèêóëÿðíîé âû÷èñëåííîìó íàïðàâëåíèþ. 3. Ñëèÿíèå êëàñòåðîâ. Ïóñòü lij = ||zi − zj ||  ðàññòîÿíèå ìåæäó öåíòðàìè êëàñòåðîâ. Åñëè lij < q3 , òî êëàñòåðû Ωi è Ωj îáúåäèíÿþòñÿ. Íîâûé öåíòð êëàñòåðà âû÷èñëÿåòñÿ ïî ôîðìóëå z= (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) zi |Ωi | + zj |Ωj | . |Ωi | + |Ωj | Ðàñïîçíàâàíèå îáðàçîâ 71 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì ÈÑÎÌÀÄ (ISODATA) Àëãîðèòì ÈÑÎÌÀÄ (ISODATA) Äðóãîé, áîëåå òî÷íûé, ñïîñîá äåëåíèÿ êëàñòåðîâ ñîñòîèò â âû÷èñëåíèè ¾íàïðàâëåíèÿ¿ â ïðîñòðàíñòâå Rn , âäîëü êîòîðîãî äèñïåðñèÿ êëàñòåðà ìàêñèìàëüíà. Äàëåå êëàñòåð ðàçäåëÿåòñÿ íà äâà ãèïåðïëîñêîñòüþ, ïðîõîäÿùåé ÷åðåç öåíòð êëàñòåðà è ïåðïåíäèêóëÿðíîé âû÷èñëåííîìó íàïðàâëåíèþ. 3. Ñëèÿíèå êëàñòåðîâ. Ïóñòü lij = ||zi − zj ||  ðàññòîÿíèå ìåæäó öåíòðàìè êëàñòåðîâ. Åñëè lij < q3 , òî êëàñòåðû Ωi è Ωj îáúåäèíÿþòñÿ. Íîâûé öåíòð êëàñòåðà âû÷èñëÿåòñÿ ïî ôîðìóëå z= (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) zi |Ωi | + zj |Ωj | . |Ωi | + |Ωj | Ðàñïîçíàâàíèå îáðàçîâ 71 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (FORmal ELement) Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã. Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó. Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ. Àëãîðèòì: 1. Çàäàåì ïàðàìåòð R  ðàäèóñ ñôåðû. 2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ öåíòðîì â òî÷êå x0 ðàäèóñà R. P x. Ïåðåìåùàåì öåíòð 3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)| x∈S(x0 ,R) ñôåðû x0 â òî÷êó c. 4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ. 5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R). 6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü ïîñòðîåííûì ñôåðàì. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 72 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (FORmal ELement) Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã. Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó. Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ. Àëãîðèòì: 1. Çàäàåì ïàðàìåòð R  ðàäèóñ ñôåðû. 2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ öåíòðîì â òî÷êå x0 ðàäèóñà R. P 3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)| x. Ïåðåìåùàåì öåíòð x∈S(x0 ,R) ñôåðû x0 â òî÷êó c. 4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ. 5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R). 6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü ïîñòðîåííûì ñôåðàì. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 72 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (FORmal ELement) Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã. Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó. Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ. Àëãîðèòì: 1. Çàäàåì ïàðàìåòð R  ðàäèóñ ñôåðû. 2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ öåíòðîì â òî÷êå x0 ðàäèóñà R. P 3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)| x. Ïåðåìåùàåì öåíòð x∈S(x0 ,R) ñôåðû x0 â òî÷êó c. 4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ. 5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R). 6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü ïîñòðîåííûì ñôåðàì. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 72 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (FORmal ELement) Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã. Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó. Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ. Àëãîðèòì: 1. Çàäàåì ïàðàìåòð R  ðàäèóñ ñôåðû. 2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ öåíòðîì â òî÷êå x0 ðàäèóñà R. P 3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)| x. Ïåðåìåùàåì öåíòð x∈S(x0 ,R) ñôåðû x0 â òî÷êó c. 4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ. 5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R). 6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü ïîñòðîåííûì ñôåðàì. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 72 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (FORmal ELement) Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã. Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó. Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ. Àëãîðèòì: 1. Çàäàåì ïàðàìåòð R  ðàäèóñ ñôåðû. 2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ öåíòðîì â òî÷êå x0 ðàäèóñà R. P 3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)| x. Ïåðåìåùàåì öåíòð x∈S(x0 ,R) ñôåðû x0 â òî÷êó c. 4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ. 5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R). 6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü ïîñòðîåííûì ñôåðàì. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 72 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (FORmal ELement) Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã. Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó. Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ. Àëãîðèòì: 1. Çàäàåì ïàðàìåòð R  ðàäèóñ ñôåðû. 2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ öåíòðîì â òî÷êå x0 ðàäèóñà R. P 3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)| x. Ïåðåìåùàåì öåíòð x∈S(x0 ,R) ñôåðû x0 â òî÷êó c. 4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ. 5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R). 6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü ïîñòðîåííûì ñôåðàì. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 72 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 73 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 73 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 73 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 73 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 73 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 73 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 73 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Àëãîðèòì FOREL (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 73 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòì FOREL Óïðàæíåíèå Äàíî ìíîæåñòâî äàííûõ: {x1 = (7, 1), x2 = (4, 3), x3 = (5, 2), x4 = (3, 4), x5 = (5, 5), x6 = (1, 4), x7 = (7, 4), x8 = (1, 3)}. Ïðèìåíèòå ê äàííîìó ìíîæåñòâó ìåòîä ôîðìàëüíîãî ýëåìåíòà.  êà÷åñòâå ðàäèóñà ñôåðû âûáðàòü r = 2.5, r = 3. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 74 / 155 Àëãîðèòìû êëàñòåðèçàöèè Ëàáîðàòîðíàÿ ðàáîòà  2 Ëàáîðàòîðíàÿ ðàáîòà  2. Àëãîðèòìû êëàñòåðèçàöèè Öåëü ëàáîðàòîðíîé ðàáîòû  ïðàêòè÷åñêîå îñâîåíèå ìåòîäîâ àâòîìàòè÷åñêîé êëàññèôèêàöèè  êëàñòåðèçàöèè äàííûõ. Çàäà÷è ëàáîðàòîðíîé ðàáîòû 1 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà âûÿâëåíèÿ êëàñòåðîâ. 2 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà ìàêñèìèííîãî ðàññòîÿíèÿ. 3 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà k -ñðåäíèõ. 4 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà FOREL. Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷ 1 ×èñëî èñõîäíûõ îáðàçîâ äëÿ êëàññèôèêàöèè: 50-70. 2 Ïðåäóñìîòðåòü èçìåíåíèå ïàðàìåòðîâ àëãîðèòìà. < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 75 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòìû ðàññòàíîâêè öåíòðîâ êëàñòåðîâ Àëãîðèòì ïèêîâîãî ãðóïïèðîâàíèÿ Ïðè èñïîëüçîâàíèè p âõîäíûõ âåêòîðîâ ñîçäàåòñÿ ñåòêà, ðàâíîìåðíî ïîêðûâàþùàÿ ïðîñòðàíñòâî âåêòîðîâ xj . Óçëû ýòîé ñåòêè ðàññìàòðèâàþòñÿ êàê ïîòåíöèàëüíûå öåíòðû è äëÿ êàæäîãî èç íèõ ðàññìàòðèâàåòñÿ ïèêîâàÿ ôóíêöèÿ   p P ||α−x ||2b , ãäå b, σ  ïàðàìåòðû, m(α) = exp − 2σ2j j=1 Âåëè÷èíà m(α) ðàññìàòðèâàåòñÿ êàê îöåíêà âûñîòû ïèêîâîé ôóíêöèè, îíà ïðîïîðöèîíàëüíà êîëè÷åñòâó âåêòîðîâ xj , íàõîäÿùèõñÿ â îêðåñòíîñòè ïîòåíöèàëüíîãî öåíòðà α. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 76 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòìû ðàññòàíîâêè öåíòðîâ êëàñòåðîâ Àëãîðèòì ïèêîâîãî ãðóïïèðîâàíèÿ Ïîñëå ðàñ÷åòà çíà÷åíèé m(α) äëÿ âñåõ ïîòåíöèàëüíûõ öåíòðîâ ñðåäè íèõ îòáèðàåòñÿ ïåðâûé z1 , èìåþùèé íàèáîëüøåå çíà÷åíèå. Äëÿ âûáîðà ñëåäóþùèõ öåíòðîâ íàäî èñêëþ÷èòü z1 è óçëû, ðàñïîëîæåííûå â íåïîñðåäñòâåííîé áëèçîñòè îò z1 . Ýòî äåëàåòñÿ ïóòåì ïåðåîïðåäåëåíèÿ ïèêîâîé ôóíêöèè:   ||α−x ||2b m∗ (α) = m(α) − m(z1 ) exp − 2σ2j â òî÷êå α = z1 . Ïðîöåññ ïîâòîðÿåòñÿ äî òåõ ïîð, ïîêà åñòü òî÷êè äëÿ ãðóïïèðîâêè. Íåäîñòàòîê ýòîãî àëãîðèòìà çàêëþ÷àåòñÿ â ýêñïîíåíöèàëüíîì ðîñòå ñëîæíîñòè ñ óâåëè÷åíèåì ðàçìåðíîñòè âåêòîðîâ âõîäíûõ äàííûõ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 77 / 155 Àëãîðèòìû êëàñòåðèçàöèè Àëãîðèòìû ðàññòàíîâêè öåíòðîâ êëàñòåðîâ Àëãîðèòì ðàçíîñòíîãî ãðóïïèðîâàíèÿ Àëãîðèòì ðàçíîñòíîãî ãðóïïèðîâàíèÿ ÿâëÿåòñÿ ìîäèôèêàöèåé ïðåäûäóùåãî àëãîðèòìà, â êîòîðîì òåñòîâûå âåêòîðû xj ðàññìàòðèâàþòñÿ â êà÷åñòâå ïîòåíöèàëüíûõ öåíòðîâ α.   p P ||x −xj ||2b Ïèêîâàÿ ôóíêöèÿ D(xi ) = exp − (ri 1 /2) , ãäå b  ïàðàìåòð, r1  2 j=1 êîýôôèöèåíò, îïðåäåëÿþùèé ñôåðó ñîñåäñòâà. Íà çíà÷åíèå D(xi ) ñóùåñòâåííûì îáðàçîì âëèÿþò òîëüêî òå âåêòîðû xj , êîòîðûå ðàñïîëîæåíû â ïðåäåëàõ ýòîé ñôåðû. Ïðè áîëüøîé ïëîòíîñòè òî÷åê âîêðóã xi çíà÷åíèå ôóíêöèè D(xi ) âåëèêî. Ïîñëå ðàñ÷åòà D(xi ) äëÿ âñåõ xi â êà÷åñòâå öåíòðà z1 ïðèíèìàåòñÿ xi ñ íàèáîëüøèì çíà÷åíèåì D(xi ). Äëÿ îòûñêàíèÿ âòîðîãî öåíòðà èñïîëüçóåòñÿ ìîäèôèöèðîâàííàÿ ïèêîâàÿ   p P ||x −xj ||2b , r2  ôóíêöèÿ â âèäå D∗ (xi ) = D(xi ) − D(c1 ) exp − (ri 2 /2) 2 j=1 íîâûé ðàçìåð ñôåðû áëèçîñòè, îáû÷íî r2 ≥ r1 . (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 78 / 155 Íåéðîííûå ñåòè Ñîäåðæàíèå 4 Íåéðîííûå ñåòè Ïåðöåïòðîí Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ëàáîðàòîðíàÿ ðàáîòà  3 Íåëèíåéíûé êëàññèôèêàòîð Ìíîãîñëîéíàÿ íåéðîííàÿ ñåòü < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 79 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîí Ìîäåëü Íåéðîíà x1 x2 ω1 ω2 ... ωn f y xn Ïåðöåïòðîí  ïðîñòåéøàÿ íåéðîííàÿ ñåòü, ( ãäå ôóíêöèÿ àêòèâàöèè f  1, (ω, x) ≥ θ, ÷èñëîâàÿ ôóíêöèÿ f (x) = sgn(ω, x) = 0, (ω, x) < θ. θ  ïîðîã, ω = (ω1 , ..., ωn )  âåñ íåéðîíà. Ñîçäàòü íåéðîííóþ ñåòü  íàéòè âñå âåñîâûå êîýôôèöèåíòû äàííîé ñåòè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 80 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîí Ïðèìåðû x1 1 1 x1 1 1 x2 1 1 x2 1 1 y 1 y 1 1 1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) ( 1, 12 x1 + 12 x2 ≥ 0.6, f (x1 , x2 ) = 0, 12 x1 + 12 x2 < 0.6. ( 1, x1 + x2 ≥ 0.8, f (x1 , x2 ) = 0, x1 + x2 < 0.8. Ðàñïîçíàâàíèå îáðàçîâ 81 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîí Ïðèìåðû x1 1 1 x1 1 1 x2 1 1 x2 1 1 y 1 y 1 1 1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) ( 1, 12 x1 + 12 x2 ≥ 0.6, f (x1 , x2 ) = 0, 12 x1 + 12 x2 < 0.6. ( 1, x1 + x2 ≥ 0.8, f (x1 , x2 ) = 0, x1 + x2 < 0.8. Ðàñïîçíàâàíèå îáðàçîâ 81 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîí Ñèãìîèäàëüíûé íåéðîí Ôóíêöèÿ àêòèâàöèè ÿâëÿåòñÿ íåïðåðûâíîé è ìîæåò áûòü âûðàæåíà â âèäå ñèãìîèäàëüíîé óíèïîëÿðíîé èëè áèïîëÿðíîé ôóíêöèè. f (x) = 1+e1−αx f (x) = tanh(αx) f (x) f (x) x x Ïàðàìåòð α âëèÿåò íà êðóòèçíó ôóíêöèè f (x). Ïðè α → ∞ ñèãìîèäàëüíàÿ ôóíêöèÿ ïðåâðàùàåòñÿ â ôóíêöèþ ñòóïåí÷àòîãî òèïà, èäåíòè÷íóþ ôóíêöèè àêòèâàöèè ïåðöåïòðîíà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 82 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîí Îáó÷åíèå íåéðîííîé ñåòè Ïðîöåäóðà îáó÷åíèÿ ñ íàïðàâëåíèåì îøèáîê:  õîäå òðåíèðîâêè â ñåòü ïîäàåòñÿ âõîäíîé ñèãíàë, îí ïðîõîäèò ÷åðåç ñåòü, âûðàáàòûâàÿ íà âûõîäíûõ ýëåìåíòàõ ìíîæåñòâî çíà÷åíèé. Äåéñòâèòåëüíûé âûõîä ñðàâíèâàåòñÿ ñ æåëàåìûì îáðàçöîì è âû÷èñëÿåòñÿ ñîâïàäåíèå. Åñëè âûõîä è îáðàçåö ñîâïàäàþò, òî â ñåòè íå äåëàåòñÿ íèêàêèõ èçìåíåíèé. Åñëè âûõîä îòëè÷àåòñÿ îò îáðàçöà, òî íåîáõîäèìî èçìåíèòü íåêîòîðûå ñâÿçè. Ïðåöåäåíòû ïðåäúÿâëÿþòñÿ öèêëè÷åñêè, ò.å. ïîñëå ïðåäúÿâëåíèÿ ïîñëåäíåãî ñíîâà ïðåäúÿâëÿåòñÿ ïåðâûé. Ïðîöåññ îáó÷åíèÿ çàêàí÷èâàåòñÿ, êîãäà íåéðîí ïðàâèëüíî êëàññèôèöèðóåò âñå ïðåöåäåíòû. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 83 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Àëãîðèòì îáðàòíîãî ðàñïðîñòðàíåíèÿ îøèáêè 1 Óñòàíàâëèâàþòñÿ íà÷àëüíûå çíà÷åíèÿ âåñîâ ñåòè ìàëûìè ñëó÷àéíûìè âåëè÷èíàìè; 2 Âûáèðàåòñÿ î÷åðåäíàÿ îáó÷àþùàÿ ïàðà (X, Y ). Íà âõîä ñåòè ïîäàåòñÿ âåêòîð X ; 3 Âû÷èñëÿåòñÿ âûõîä ñåòè f ; 4 Âû÷èñëÿåòñÿ ðàçíîñòü ìåæäó èñõîäíûì âûõîäîì Y è âû÷èñëåííûì âûõîäîì ñåòè f ; 5 Ïðîèñõîäèò êîððåêòèðîâêà âåñîâ ñåòè ñ öåëüþ ìèíèìèçàöèè îøèáêè; 6 Ïîâòîðÿþòñÿ øàãè 2-5 äî òåõ ïîð, ïîêà îøèáêà íå äîñòèãíåò çàäàííîãî ïîðîãà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 84 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0. Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà E = 0, k = 1. ( 1, (ω, x) ≥ 0, Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) = 0, (ω, x) < 0. Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n. Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E : E = E + 12 ||y − f ||. Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 7. Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ, â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä íà øàã 3. Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3 êîíå÷íîå ÷èñëî ðàç. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 85 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0. Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà E = 0, k = 1. ( 1, (ω, x) ≥ 0, Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) = 0, (ω, x) < 0. Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n. Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E : E = E + 12 ||y − f ||. Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 7. Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ, â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä íà øàã 3. Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3 êîíå÷íîå ÷èñëî ðàç. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 85 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0. Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà E = 0, k = 1. ( 1, (ω, x) ≥ 0, Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) = 0, (ω, x) < 0. Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n. Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E : E = E + 12 ||y − f ||. Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 7. Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ, â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä íà øàã 3. Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3 êîíå÷íîå ÷èñëî ðàç. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 85 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0. Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà E = 0, k = 1. ( 1, (ω, x) ≥ 0, Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) = 0, (ω, x) < 0. Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n. Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E : E = E + 12 ||y − f ||. Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 7. Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ, â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä íà øàã 3. Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3 êîíå÷íîå ÷èñëî ðàç. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 85 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0. Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà E = 0, k = 1. ( 1, (ω, x) ≥ 0, Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) = 0, (ω, x) < 0. Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n. Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E : E = E + 12 ||y − f ||. Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 7. Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ, â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä íà øàã 3. Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3 êîíå÷íîå ÷èñëî ðàç. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 85 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0. Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà E = 0, k = 1. ( 1, (ω, x) ≥ 0, Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) = 0, (ω, x) < 0. Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n. Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E : E = E + 12 ||y − f ||. Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 7. Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ, â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä íà øàã 3. Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3 êîíå÷íîå ÷èñëî ðàç. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 85 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0. Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà E = 0, k = 1. ( 1, (ω, x) ≥ 0, Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) = 0, (ω, x) < 0. Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n. Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E : E = E + 12 ||y − f ||. Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 7. Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ, â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä íà øàã 3. Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3 êîíå÷íîå ÷èñëî ðàç. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 85 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0. Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà E = 0, k = 1. ( 1, (ω, x) ≥ 0, Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) = 0, (ω, x) < 0. Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n. Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E : E = E + 12 ||y − f ||. Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 7. Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ, â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä íà øàã 3. Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3 êîíå÷íîå ÷èñëî ðàç. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 85 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ïðèìåð (2, 1) → 1, (3, 3) → 1, (4, 2) → 1, (2, 4) → 0, (1, 5) → 0, η = 2, ω = (0.1, 0.2), E = 0. 5 4 3 2 1 x5 x4 x2 x3 x1 f (x1 ) = 1, y 1 = 1, f (x2 ) = 1, y 2 = 1, f (x3 ) = 1, y 3 = 1. 0 1 2 3 4 5 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 86 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ïðèìåð (2, 1) → 1, (3, 3) → 1, (4, 2) → 1, (2, 4) → 0, (1, 5) → 0, η = 2, ω = (0.1, 0.2), E = 0. 5 4 3 2 1 x5 x4 x2 x3 x1 f (x4 ) = 1, y 4 = 0. ω1 = 0.1 + 2 · (0 − 1) · 2 = −3.9, ω2 = 0.2 + 2 · (0 − 1) · 4 = −7.8, E > 0. f (x5 ) = 0, y 5 = 0. 0 1 2 3 4 5 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 86 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Ïðèìåð (2, 1) → 1, (3, 3) → 1, (4, 2) → 1, (2, 4) → 0, (1, 5) → 0, η = 2, ω = (0.1, 0.2), E = 0. 5 4 3 2 1 x5 x4 x2 x3 x1 ω = (6.1, −5.8), d(x) = 6.1x1 − 5.8x2 = 0. 0 1 2 3 4 5 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 86 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Îáîáùåíèå àëãîðèòìà ïåðöåïòðîíà íà íåñêîëüêî êëàññîâ Ðàññìîòðèì çàäà÷ó êëàññèôèêàöèè ïî K êëàññàì. Äëÿ êàæäîãî êëàññà íåîáõîäèìî îïðåäåëèòü ëèíåéíóþ äèñêðèìèíàíòíóþ ôóíêöèþ ωi (x), i = 1, ..., K . Ïóñòü x  (l + 1)-ìåðíûé âåêòîð. Âåêòîð x îòíîñèòñÿ ê êëàññó Ωi , åñëè ωi (x) > ωj (x) ∀i 6= j . Îáîçíà÷èì x = (x1 , ..., xK ) Äëÿ êàæäîãî âåêòîðà-ïðåöåäåíòà x èç Ωi ñòðîèì (K − 1) âåêòîðîâ xij ðàçìåðíîñòè (l + 1)K : xij = (0, 0, ..., x, ..., −x, ..., 0), ãäå x ñòîèò íà i-ì ìåñòå, −x  íà j -ì, è âåêòîð ω = (ω1 , ..., ωK ), ãäå ωi (x)  âåñîâîé âåêòîð äèñêðèìèíàíòíîé ôóíêöèè. Åñëè x îòíîñèòñÿ ê êëàññó Ωi , òî ωxij > 0, ∀j = 1, .., K, i 6= j , ò.ê. ωi x > ωj x è ωij = ωi x − ωj x > 0. Çàäà÷à çàêëþ÷àåòñÿ â ïîñòðîåíèè ëèíåéíîãî êëàññèôèêàòîðà â (l + 1)K -ìåðíîì ïðîñòðàíñòâå òàê, ÷òîáû êàæäûé èç âåêòîðîâ ïðåöåäåíòîâ ëåæàë â ïîëîæèòåëüíîì ïîëóïðîñòðàíñòâå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 87 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Îáîáùåíèå àëãîðèòìà ïåðöåïòðîíà íà íåñêîëüêî êëàññîâ Ðàññìîòðèì çàäà÷ó êëàññèôèêàöèè ïî K êëàññàì. Äëÿ êàæäîãî êëàññà íåîáõîäèìî îïðåäåëèòü ëèíåéíóþ äèñêðèìèíàíòíóþ ôóíêöèþ ωi (x), i = 1, ..., K . Ïóñòü x  (l + 1)-ìåðíûé âåêòîð. Âåêòîð x îòíîñèòñÿ ê êëàññó Ωi , åñëè ωi (x) > ωj (x) ∀i 6= j . Îáîçíà÷èì x = (x1 , ..., xK ) Äëÿ êàæäîãî âåêòîðà-ïðåöåäåíòà x èç Ωi ñòðîèì (K − 1) âåêòîðîâ xij ðàçìåðíîñòè (l + 1)K : xij = (0, 0, ..., x, ..., −x, ..., 0), ãäå x ñòîèò íà i-ì ìåñòå, −x  íà j -ì, è âåêòîð ω = (ω1 , ..., ωK ), ãäå ωi (x)  âåñîâîé âåêòîð äèñêðèìèíàíòíîé ôóíêöèè. Åñëè x îòíîñèòñÿ ê êëàññó Ωi , òî ωxij > 0, ∀j = 1, .., K, i 6= j , ò.ê. ωi x > ωj x è ωij = ωi x − ωj x > 0. Çàäà÷à çàêëþ÷àåòñÿ â ïîñòðîåíèè ëèíåéíîãî êëàññèôèêàòîðà â (l + 1)K -ìåðíîì ïðîñòðàíñòâå òàê, ÷òîáû êàæäûé èç âåêòîðîâ ïðåöåäåíòîâ ëåæàë â ïîëîæèòåëüíîì ïîëóïðîñòðàíñòâå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 87 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Îáîáùåíèå àëãîðèòìà ïåðöåïòðîíà íà íåñêîëüêî êëàññîâ Ðàññìîòðèì çàäà÷ó êëàññèôèêàöèè ïî K êëàññàì. Äëÿ êàæäîãî êëàññà íåîáõîäèìî îïðåäåëèòü ëèíåéíóþ äèñêðèìèíàíòíóþ ôóíêöèþ ωi (x), i = 1, ..., K . Ïóñòü x  (l + 1)-ìåðíûé âåêòîð. Âåêòîð x îòíîñèòñÿ ê êëàññó Ωi , åñëè ωi (x) > ωj (x) ∀i 6= j . Îáîçíà÷èì x = (x1 , ..., xK ) Äëÿ êàæäîãî âåêòîðà-ïðåöåäåíòà x èç Ωi ñòðîèì (K − 1) âåêòîðîâ xij ðàçìåðíîñòè (l + 1)K : xij = (0, 0, ..., x, ..., −x, ..., 0), ãäå x ñòîèò íà i-ì ìåñòå, −x  íà j -ì, è âåêòîð ω = (ω1 , ..., ωK ), ãäå ωi (x)  âåñîâîé âåêòîð äèñêðèìèíàíòíîé ôóíêöèè. Åñëè x îòíîñèòñÿ ê êëàññó Ωi , òî ωxij > 0, ∀j = 1, .., K, i 6= j , ò.ê. ωi x > ωj x è ωij = ωi x − ωj x > 0. Çàäà÷à çàêëþ÷àåòñÿ â ïîñòðîåíèè ëèíåéíîãî êëàññèôèêàòîðà â (l + 1)K -ìåðíîì ïðîñòðàíñòâå òàê, ÷òîáû êàæäûé èç âåêòîðîâ ïðåöåäåíòîâ ëåæàë â ïîëîæèòåëüíîì ïîëóïðîñòðàíñòâå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 87 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Îáîáùåíèå àëãîðèòìà ïåðöåïòðîíà íà íåñêîëüêî êëàññîâ Ðàññìîòðèì çàäà÷ó êëàññèôèêàöèè ïî K êëàññàì. Äëÿ êàæäîãî êëàññà íåîáõîäèìî îïðåäåëèòü ëèíåéíóþ äèñêðèìèíàíòíóþ ôóíêöèþ ωi (x), i = 1, ..., K . Ïóñòü x  (l + 1)-ìåðíûé âåêòîð. Âåêòîð x îòíîñèòñÿ ê êëàññó Ωi , åñëè ωi (x) > ωj (x) ∀i 6= j . Îáîçíà÷èì x = (x1 , ..., xK ) Äëÿ êàæäîãî âåêòîðà-ïðåöåäåíòà x èç Ωi ñòðîèì (K − 1) âåêòîðîâ xij ðàçìåðíîñòè (l + 1)K : xij = (0, 0, ..., x, ..., −x, ..., 0), ãäå x ñòîèò íà i-ì ìåñòå, −x  íà j -ì, è âåêòîð ω = (ω1 , ..., ωK ), ãäå ωi (x)  âåñîâîé âåêòîð äèñêðèìèíàíòíîé ôóíêöèè. Åñëè x îòíîñèòñÿ ê êëàññó Ωi , òî ωxij > 0, ∀j = 1, .., K, i 6= j , ò.ê. ωi x > ωj x è ωij = ωi x − ωj x > 0. Çàäà÷à çàêëþ÷àåòñÿ â ïîñòðîåíèè ëèíåéíîãî êëàññèôèêàòîðà â (l + 1)K -ìåðíîì ïðîñòðàíñòâå òàê, ÷òîáû êàæäûé èç âåêòîðîâ ïðåöåäåíòîâ ëåæàë â ïîëîæèòåëüíîì ïîëóïðîñòðàíñòâå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 87 / 155 Íåéðîííûå ñåòè Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì Îáîáùåíèå àëãîðèòìà ïåðöåïòðîíà íà íåñêîëüêî êëàññîâ Ðàññìîòðèì çàäà÷ó êëàññèôèêàöèè ïî K êëàññàì. Äëÿ êàæäîãî êëàññà íåîáõîäèìî îïðåäåëèòü ëèíåéíóþ äèñêðèìèíàíòíóþ ôóíêöèþ ωi (x), i = 1, ..., K . Ïóñòü x  (l + 1)-ìåðíûé âåêòîð. Âåêòîð x îòíîñèòñÿ ê êëàññó Ωi , åñëè ωi (x) > ωj (x) ∀i 6= j . Îáîçíà÷èì x = (x1 , ..., xK ) Äëÿ êàæäîãî âåêòîðà-ïðåöåäåíòà x èç Ωi ñòðîèì (K − 1) âåêòîðîâ xij ðàçìåðíîñòè (l + 1)K : xij = (0, 0, ..., x, ..., −x, ..., 0), ãäå x ñòîèò íà i-ì ìåñòå, −x  íà j -ì, è âåêòîð ω = (ω1 , ..., ωK ), ãäå ωi (x)  âåñîâîé âåêòîð äèñêðèìèíàíòíîé ôóíêöèè. Åñëè x îòíîñèòñÿ ê êëàññó Ωi , òî ωxij > 0, ∀j = 1, .., K, i 6= j , ò.ê. ωi x > ωj x è ωij = ωi x − ωj x > 0. Çàäà÷à çàêëþ÷àåòñÿ â ïîñòðîåíèè ëèíåéíîãî êëàññèôèêàòîðà â (l + 1)K -ìåðíîì ïðîñòðàíñòâå òàê, ÷òîáû êàæäûé èç âåêòîðîâ ïðåöåäåíòîâ ëåæàë â ïîëîæèòåëüíîì ïîëóïðîñòðàíñòâå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 87 / 155 Íåéðîííûå ñåòè Ëàáîðàòîðíàÿ ðàáîòà  3 Ëàáîðàòîðíàÿ ðàáîòà  3 Öåëü ëàáîðàòîðíîé ðàáîòû  ïðàêòè÷åñêîå îñâîåíèå ìåòîäà ïîñòðîåíèÿ ëèíåéíîé ðàçäåëÿþùåé ôóíêöèè. < Çàäà÷è ëàáîðàòîðíîé ðàáîòû 1 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà ïåðöåïòðîíà. 2 Ââîä çàäàííûõ îïèñàíèé êëàññîâ. 3 Ïîñòðîåíèå ðàçäåëÿþùåé ôóíêöèè. 4 Âûïîëíåíèå êîíòðîëüíûõ ðàñïîçíàâàíèé äëÿ íåèçâåñòíûõ îáúåêòîâ. 5 Ãðàôè÷åñêîå ïðåäñòàâëåíèå ðàçäåëÿþùåé ôóíêöèè, ïðåöåäåíòîâ, ðàñïîçíàâàåìûõ îáúåêòîâ. 6 Èññëåäîâàíèå ñêîðîñòè àëãîðèòìà ïðè ðàçëè÷íûõ ïàðàìåòðàõ. Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷ 1 ×èñëî êëàññîâ ðàñïîçíàâàíèÿ: 2. 2 ×èñëî ïðåöåäåíòîâ â êàæäîì êëàññå: 20-30. 3 Êîëè÷åñòâî ðàñïîçíàâàåìûõ îáúåêòîâ: 5-10. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 88 / 155 Íåéðîííûå ñåòè Íåëèíåéíûé êëàññèôèêàòîð Çàäà÷à èñêëþ÷àþùåãî ÈËÈ Ðàññìîòðèì áóëåâó ôóíêöèþ xor(x1 , x2 ) êàê íåêèé êëàññèôèêàòîð. x1 1 1 x2 1 1 y 1 1 Êëàññ Ω1 Ω0 Ω0 Ω1 1 1 Âñïîìîãàòåëüíûå áóëåâû ôóíêöèè or(x1 , x2 ) è and(x1 , x2 ). x1 1 1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) x2 1 1 or 1 1 1 and 1 Ðàñïîçíàâàíèå îáðàçîâ 89 / 155 Íåéðîííûå ñåòè Íåëèíåéíûé êëàññèôèêàòîð Çàäà÷à èñêëþ÷àþùåãî ÈËÈ Ðàññìîòðèì áóëåâó ôóíêöèþ xor(x1 , x2 ) êàê íåêèé êëàññèôèêàòîð. x1 1 1 x2 1 1 y 1 1 Êëàññ Ω1 Ω0 Ω0 Ω1 1 1 Âñïîìîãàòåëüíûå áóëåâû ôóíêöèè or(x1 , x2 ) è and(x1 , x2 ). x1 1 1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) x2 1 1 or 1 1 1 and 1 Ðàñïîçíàâàíèå îáðàçîâ 89 / 155 Íåéðîííûå ñåòè Íåëèíåéíûé êëàññèôèêàòîð Çàäà÷à èñêëþ÷àþùåãî ÈËÈ Ïîñòðîåíèå ëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè or(x1 , x2 ): d(x) = x1 + x2 = 12 1 1 Ïîñòðîåíèå ëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè and(x1 , x2 ): d(x) = x1 + x2 = 32 1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 1 90 / 155 Íåéðîííûå ñåòè Íåëèíåéíûé êëàññèôèêàòîð Çàäà÷à èñêëþ÷àþùåãî ÈËÈ Ïîñòðîåíèå ëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè or(x1 , x2 ): d(x) = x1 + x2 = 12 1 1 x1 1 1 x1 1 f x2 Ïîñòðîåíèå ëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè and(x1 , x2 ): d(x) = x1 + x2 = 32 − 12 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 1 1 y1 f x2 Ðàñïîçíàâàíèå îáðàçîâ 1 − 32 y2 90 / 155 Íåéðîííûå ñåòè Íåëèíåéíûé êëàññèôèêàòîð Çàäà÷à èñêëþ÷àþùåãî ÈËÈ Ïîñòðîåíèå íåëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè xor(x1 , x2 ). Ïóñòü âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè or(x1 , x2 ) = y1 , âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè and(x1 , x2 ) = y2 . x1 1 1 x2 1 1 y1 1 1 1 y2 1 xor 1 1 Êëàññ Ω1 Ω0 Ω0 Ω1 Ðàçäåëÿþùàÿ ïðÿìàÿ: y1 − y2 = 12 . (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 91 / 155 Íåéðîííûå ñåòè Íåëèíåéíûé êëàññèôèêàòîð Çàäà÷à èñêëþ÷àþùåãî ÈËÈ Ïîñòðîåíèå íåëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè xor(x1 , x2 ). Ïóñòü âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè or(x1 , x2 ) = y1 , âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè and(x1 , x2 ) = y2 . x1 1 1 x2 1 1 y1 1 1 1 y2 1 xor 1 1 Êëàññ Ω1 Ω0 Ω0 Ω1 1 1 Ðàçäåëÿþùàÿ ïðÿìàÿ: y1 − y2 = 12 . (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 91 / 155 Íåéðîííûå ñåòè Íåëèíåéíûé êëàññèôèêàòîð Çàäà÷à èñêëþ÷àþùåãî ÈËÈ Ïîñòðîåíèå íåëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè xor(x1 , x2 ). Ïóñòü âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè or(x1 , x2 ) = y1 , âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè and(x1 , x2 ) = y2 . x1 1 1 x2 1 1 y1 1 1 1 y2 1 xor 1 1 Êëàññ Ω1 Ω0 Ω0 Ω1 1 1 Ðàçäåëÿþùàÿ ïðÿìàÿ: y1 − y2 = 12 . 1 1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 91 / 155 Íåéðîííûå ñåòè Íåëèíåéíûé êëàññèôèêàòîð Çàäà÷à èñêëþ÷àþùåãî ÈËÈ Ïîñòðîåíèå íåëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè xor(x1 , x2 ). Ïóñòü âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè or(x1 , x2 ) = y1 , âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè and(x1 , x2 ) = y2 . x1 1 1 x2 1 1 y1 1 1 1 y2 1 xor 1 1 Êëàññ Ω1 Ω0 Ω0 Ω1 1 1 Ðàçäåëÿþùàÿ ïðÿìàÿ: y1 − y2 = 12 . x1 1 x2 1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 1 1 1 1 −1 or 2 1 y1 y2 and 3 -1 −2 Ðàñïîçíàâàíèå îáðàçîâ xor 1 y 2 91 / 155 Íåéðîííûå ñåòè Ìíîãîñëîéíàÿ íåéðîííàÿ ñåòü Ìíîãîñëîéíàÿ íåéðîííàÿ ñåòü y1 y2 yn x1 x2 xn (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ìíîãîñëîéíàÿ íåéðîííàÿ ñåòü ïðÿìîé ïðîâîäèèìîñòè. Âñå ñâÿçè íàïðàâëåíû ñòðîãî îò âõîäíûõ íåéðîíîâ ê âûõîäíûì. Êàæäûé îáðàáàòûâàþùèé ýëåìåíò õàðàêòåðèçóåòñÿ óðîâíåì àêòèâíîñòè, âûõîäíûì çíà÷åíèåì, ìíîæåñòâîì âõîäÿùèõ ñâÿçåé è ìíîæåñòâîì âûõîäÿùèõ ñâÿçåé. Ðàñïîçíàâàíèå îáðàçîâ 92 / 155 Íåéðîííûå ñåòè Ìíîãîñëîéíàÿ íåéðîííàÿ ñåòü Ñèìâîëüíîå ðàñïîçíàâàíèå Çàäà÷à ñèìâîëüíîãî ðàñïîçíàâàíèÿ: Äàíî: Ðàñòðîâîå ÷åðíî-áåëîå èçîáðàæåíèå áóêâû (10x10). Çàäà÷à: Îïðåäåëèòü êàêàÿ ýòî áóêâà (33).  òåðìèíàõ íåéðîñåòè: Äàíî: Âõîäíîé âåêòîð èç 100 (10x10) äâîè÷íûõ ñèìâîëîâ. Çàäà÷à: Ïîñòðîèòü íåéðîñåòü ñî 100 âõîäàìè è 33 âûõîäàìè, êîòîðûå ïîìå÷åíû áóêâàìè. Åñëè íà âõîäå ñåòè  èçîáðàæåíèå áóêâû ¾A¿, òî ìàêñèìàëüíîå çíà÷åíèå âûõîäíîãî ñèãíàëà äîñòèãàåòñÿ íà âûõîäå ¾A¿. Àíàëîãè÷íî äëÿ îñòàëüíûõ áóêâ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 93 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñîäåðæàíèå 5 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà Neural toolbox. Matlab < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 94 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ Îáó÷åíèå áåç ó÷èòåëÿ. Ïîáåäèòåëü çàáèðàåò âñå. y1 y2 yn Àëãîðèòì îáðàùàåòñÿ ñî ìíîæåñòâîì òåñòîâûõ âåêòîðîâ êàê ñ ïåðåìåííûìè âåêòîðàìè, êîòîðûå íåîáõîäèìî îáó÷èòü. Ïåðåä îáó÷åíèåì âñå âåñîâûå âåêòîðû (ñëó÷àéíî âûáðàííûå) íîðìàëèçóþò. x1 ω2 x2 ω1 xn x ω1 Êðèòåðèåì óñòàíîâêè âåñîâ äëÿ ýòîãî âèäà òðåíèðîâêè ÿâëÿåòñÿ âûáîð òàêîãî ωr : ||x − ωr || = min ||x − ωi ||. i ω3 ω3 ω2 Ïåðåñ÷åò âåñîâ (η  ïàðàìåòð): ωr = ωr + η(x − ωr ). Âûõîäíîé ñèãíàë íåéðîíà-ïîáåäèòåëÿ ïîëó÷àåò çíà÷åíèå 1, âûõîäíûå ñèãíàëû âñåõ îñòàëüíûõ íåéðîíîâ  0. Óïðàæíåíèå: ïîêàçàòü, ÷òî ôîðìóëà äëÿ ïåðåñ÷åòà âåñîâ ÿâëÿåòñÿ îïòèìàëüíîé (ìèíèìèçàöèÿ îøèáêè êëàñòåðèçàöèè). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 95 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ Àëãîðèòì Êîõîíåíà 1 Çàäàþòñÿ ñëó÷àéíûå íîðìàëèçîâàííûå ïî äëèíå âåêòîðû ωi ; 2 Íà âõîä ñåòè ïîäàåòñÿ âåêòîð X ; 3 Îïðåäåëåíèå íåéðîíà - ïîáåäèòåëÿ, êîððåêòèðîâêà âåêòîðà åãî âåñîâ è çàäàíèå åäèíè÷íîãî âûõîäà ωr = ωr + η(x − ωr ), 4 Íîðìàëèçàöèÿ çàäàííîãî âåêòîðà ωr = 5 ωr ; ||ωr || Çàäàíèå çíà÷åíèé äëÿ îñòàëüíûõ íåéðîíîâ ωi = ωi , 6 fr = 1; fi = 0, i 6= r; Ïðîâåðêà âûïîëíåíèÿ óñëîâèÿ îñòàíîâà (ñòàáèëèçàöèÿ âåñîâ). Åñëè óñëîâèå íå âûïîëíåíî  ïåðåõîä ê øàãó 2, èíà÷å çàâåðøåíèå àëãîðèòìà. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 96 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ èìååò 2 ñëîÿ ñ ïîñëåäîâàòåëüíûìè ñâÿçÿìè. Ïåðâûé ñëîé  ñëîé Êîõîíåíà, âòîðîé ñëîé  ñëîé Ãðîññáåðãà. Êàæäûé ýëåìåíò âõîäíîãî ñèãíàëà ïîäàåòñÿ íà âñå íåéðîíû ñëîÿ Êîõîíåíà. Êàæäûé íåéðîí ñëîÿ Êîõîíåíà ñîåäèíåí ñî âñåìè íåéðîíàìè ñëîÿ Ãðîññáåðãà.  ðåæèìå ôóíêöèîíèðîâàíèÿ ñåòè ïðåäúÿâëÿåòñÿ âõîäíîé ñèãíàë X è ôîðìèðóåòñÿ âûõîäíîé ñèãíàë Y .  ðåæèìå îáó÷åíèÿ íà âõîä ñåòè ïîäàåòñÿ âõîäíîé ñèãíàë è âåñà êîððåêòèðóþòñÿ, ÷òîáû ñåòü âûäàâàëà òðåáóåìûé âûõîäíîé ñèãíàë. Äëÿ íåéðîííîé ñåòè âñòðå÷íîãî ðàñïðîñòðàíåíèÿ òðåáóåòñÿ ïðåäâàðèòåëüíàÿ îáðàáîòêà âõîäíûõ ñèãíàëîâ ïóòåì èõ íîðìàëèçàöèè: xi = (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) xi ||xi || Ðàñïîçíàâàíèå îáðàçîâ 97 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ Ñëîé Êîõîíåíà  ïðîñòåéøåì ñëó÷àå ñëîé Êîõîíåíà ôóíêöèîíèðóåò ïî ïðàâèëó ¾ïîáåäèòåëü çàáèðàåò âñå¿. Äëÿ äàííîãî âõîäíîãî âåêòîðà òîëüêî îäèí íåéðîí âûäàåò ëîãè÷åñêóþ åäèíèöó, âñå îñòàëüíûå âûäàþò íîëü. Âûõîä êàæäîãî íåéðîíà Êîõîíåíà  ñóììà âçâåøåííûõ ýëåìåíòîâ âõîäíûõ ñèãíàëîâ: X sj = xi ωij . i sj  âûõîä j -ãî íåéðîíà Êîõîíåíà, Wj = (ω1j , .., ωnj )  âåêòîð âåñîâ j -ãî íåéðîíà Êîõîíåíà, X = (x1 , ..., xn )  âåêòîð âõîäíîãî ñèãíàëà. Íåéðîí Êîõîíåíà ñ ìàêñèìàëüíûì çíà÷åíèåì sj ÿâëÿåòñÿ ¾ïîáåäèòåëåì¿. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 98 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ Ñëîé Ãðîññáåðãà Ñëîé Ãðîññáåðãà ôóíêöèîíèðóåò â ñõîäíîé ìàíåðå. Âûõîä ñëîÿ Ãðîññáåðãà ÿâëÿåòñÿ âçâåøåííîé ñóììîé âûõîäîâ ñëîÿ Êîõîíåíà. Ñëîé Ãðîññáåðãà  ñëîé íåéðîíîâ ñ ëèíåéíûìè àêòèâàöèîííûìè ôóíêöèÿìè.  ñëîå Êîõîíåíà îäèí âûõîä ðàâåí åäèíèöå, îñòàëüíûå ðàâíû íóëþ. Êàæäûé íåéðîí ñëîÿ Ãðîññáåðãà âûäàåò âåëè÷èíó âåñà, êîòîðûé ñâÿçûâàåò ýòîò íåéðîí ñ åäèíñòâåííûì íåéðîíîì Êîõîíåíà, ÷åé âûõîä îòëè÷åí îò íóëÿ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 99 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ Îáó÷åíèå ñåòè. Ñëîé Êîõîíåíà Ñëîé Êîõîíåíà êëàññèôèöèðóåò âõîäíûå âåêòîðû â ãðóïïó ñõîæèõ çà ñ÷åò ïîäñòðîéêè âåñîâ ñëîÿ. Áëèçêèå âõîäíûå âåêòîðû àêòèâèðóþò îäèí è òîò æå íåéðîí äàííîãî ñëîÿ. Çàòåì çàäà÷åé ñëîÿ Ãðîññáåðãà ÿâëÿåòñÿ ïîëó÷åíèå òðåáóåìûõ âûõîäîâ.  ðåçóëüòàòå îáó÷åíèÿ ñëîé Êîõîíåíà ïðèîáðåòàåò ñïîñîáíîñòü ðàçäåëÿòü íåñõîæèå âõîäíûå âåêòîðû. Íà âõîä ïîäàåòñÿ âõîäíîé âåêòîð Xi è âû÷èñëÿþòñÿ åãî ñêàëÿðíûå ïðîèçâåäåíèÿ ñ âåêòîðàìè âåñîâ âñåõ íåéðîíîâ (Xi , Wj ) ∀i, j . Ñêàëÿðíîå ïðîèçâåäåíèå  ìåðà ñõîäñòâà ìåæäó âõîäíûì âåêòîðîì è âåêòîðîì âåñîâ. Íåéðîí ñ ìàêñèìàëüíûì çíà÷åíèåì ñêàëÿðíîãî ïðîèçâåäåíèÿ îáúÿâëÿåòñÿ ïîáåäèòåëåì è åãî âåñà ïîäñòðàèâàþòñÿ: ωr = ωr + η(x − ωr ). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 100 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ Îáó÷åíèå ñåòè. Ñëîé Êîõîíåíà Êàæäûé âåñ, ñâÿçàííûé ñ âûèãðàâøèì íåéðîíîì Êîõîíåíà, èçìåíÿåòñÿ ïðîïîðöèîíàëüíî ðàçíîñòè ìåæäó åãî âåëè÷èíîé è âåëè÷èíîé âõîäà, ê êîòîðîìó îí ïðèñîåäèíåí. Íàïðàâëåíèå èçìåíåíèÿ ìèíèìèçèðóåò ðàçíîñòü ìåæäó âåñîì è ñîîòâåòñòâóþùèì ýëåìåíòîì âõîäíîãî ñèãíàëà. Åñëè áû ñ êàæäûì íåéðîíîì Êîõîíåíà àññîöèèðîâàëñÿ îäèí âõîäíîé âåêòîð, òî ñëîé Êîõîíåíà ìîã áû áûòü îáó÷åí ñ ïîìîùüþ îäíîãî âû÷èñëåíèÿ íà âåñ (η = 1). Êàê ïðàâèëî, îáó÷àþùåå ìíîæåñòâî âêëþ÷àåò ìíîãî ñõîäíûõ ìåæäó ñîáîé âõîäíûõ âåêòîðîâ, è ñåòü äîëæíà áûòü îáó÷åíà àêòèâèðîâàòü îäèí è òîò æå íåéðîí Êîõîíåíà äëÿ êàæäîãî èç íèõ. Âåñà ýòîãî íåéðîíà äîëæíû ïîëó÷àòüñÿ óñðåäíåíèåì âõîäíûõ âåêòîðîâ, êîòîðûå äîëæíû åãî àêòèâèðîâàòü. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 101 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ Îáó÷åíèå ñåòè. Ñëîé Ãðîññáåðãà Âûõîäû ñëîÿ Êîõîíåíà ïîäàþòñÿ íà âõîäû íåéðîíîâ ñëîÿ Ãðîññáåðãà. Êàæäûé âåñ êîððåêòèðóåòñÿ òîëüêî â ñëó÷àå, åñëè îí ñîåäèíåí ñ íåéðîíîì Êîõîíåíà, èìåþùèì íåíóëåâîé âûõîä. Âåëè÷èíà êîððåêöèè âåñà ïðîïîðöèîíàëüíà ðàçíîñòè ìåæäó âåñîì è òðåáóåìûì âûõîäîì íåéðîíà Ãðîññáåðãà. Îáó÷åíèå ñëîÿ Ãðîññáåðãà  îáó÷åíèå ñ ó÷èòåëåì, àëãîðèòì èñïîëüçóåò çàäàííûå æåëàåìûå âûõîäû. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 102 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ Ìîäèôèêàöèè Ñåòè âñòðå÷íîãî ðàñïðîñòðàíåíèÿ ðàçëè÷àþòñÿ ñïîñîáàìè îïðåäåëåíèÿ íà÷àëüíûõ çíà÷åíèé ñèíàïòè÷åñêèõ âåñîâ. Êðîìå ñëó÷àéíûõ çíà÷åíèé, ìîãóò áûòü èñïîëüçîâàíû çíà÷åíèÿ â ñîîòâåòñòâèè ñ ìåòîäîì âûïóêëîé êîìáèíàöèè. Äëÿ ïîâûøåíèÿ ýôôåêòèâíîñòè îáó÷åíèÿ ïðèìåíÿåòñÿ äîáàâëåíèå øóìà ê âõîäíûì âåêòîðàì. Åñëè íåéðîí ñòàíîâèòñÿ ïîáåäèòåëåì ÷àùå, ÷åì 1/p, p  ÷èñëî íåéðîíîâ Êîõîíåíà, òî åìó âðåìåííî óâåëè÷èâàþò ïîðîã, äàâàÿ òåì ñàìûì îáó÷àòüñÿ äðóãèì íåéðîíàì. Ìîæåò áûòü èñïîëüçîâàí ìåòîä èíòåðïîëÿöèè, ïðè èñïîëüçîâàíèè êîòîðîãî öåëàÿ ãðóïïà íåéðîíîâ Êîõîíåíà, èìåþùèõ íàèáîëüøèå âûõîäû, ìîæåò ïåðåäàâàòü ñâîè âûõîäíûå ñèãíàëû â ñëîé Ãðîññáåðãà  ñàìîîðãàíèçóþùèåñÿ êàðòû. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 103 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà Ñàìîîðãàíèçóþùàÿñÿ êàðòà Êîõîíåíà (Self-organising map)  ñîðåâíîâàòåëüíàÿ íåéðîííàÿ ñåòü ñ îáó÷åíèåì áåç ó÷èòåëÿ, âûïîëíÿþùàÿ çàäà÷ó âèçóàëèçàöèè è êëàñòåðèçàöèè. SOM ÿâëÿåòñÿ îäíèì èç ìåòîäîâ ïðîåöèðîâàíèÿ ìíîãîìåðíîãî ïðîñòðàíñòâà â ïðîñòðàíñòâî ñ áîëåå íèçêîé ðàçìåðíîñòüþ (÷àùå âñåãî äâóìåðíîå). Ïðè èñïîëüçîâàíèè ýòîãî àëãîðèòìà âåêòîðû, ñõîæèå â èñõîäíîì ïðîñòðàíñòâå, îêàçûâàþòñÿ ðÿäîì è íà ïîëó÷åííîé êàðòå. SOM ïîäðàçóìåâàåò èñïîëüçîâàíèå óïîðÿäî÷åííîé ñòðóêòóðû íåéðîíîâ. Êàæäûé íåéðîí ïðåäñòàâëÿåò ñîáîé n-ìåðíûé âåêòîð ω = (ω1 , .., ωn ), ãäå n îïðåäåëÿåòñÿ ðàçìåðíîñòüþ èñõîäíîãî ïðîñòðàíñòâà (ðàçìåðíîñòüþ âõîäíûõ âåêòîðîâ). Ïðè ðåàëèçàöèè àëãîðèòìà SOM çàðàíåå çàäàåòñÿ êîíôèãóðàöèÿ ñåòêè, à òàêæå êîëè÷åñòâî íåéðîíîâ â ñåòè. Íåéðîíû ðàñïîëàãàþòñÿ â óçëàõ ñåòêè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 104 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà Îáó÷åíèå ñàìîîðãàíèçóþùèõñÿ êàðò Ïåðåä íà÷àëîì îáó÷åíèÿ êàðòû íåîáõîäèìî ïðîèíèöèàëèçèðîâàòü âåñîâûå êîýôôèöèåíòû íåéðîíîâ. Îáó÷åíèå ñîñòîèò èç ïîñëåäîâàòåëüíîñòè êîððåêöèé âåêòîðîâ. Íà êàæäîì øàãå îáó÷åíèÿ èç èñõîäíîãî íàáîðà äàííûì ñëó÷àéíî âûáèðàåòñÿ îäèí èç âåêòîðîâ, à çàòåì ïðîèçâîäèòñÿ ïîèñê íàèáîëåå ïîõîæåãî íà íåãî âåêòîðà êîýôôèöèåíòîâ íåéðîíîâ. Ïðè ýòîì âûáèðàåòñÿ íåéðîí-ïîáåäèòåëü: ||x − ωr || = min ||x − ωi || i Ïîñëå òîãî, êàê íàéäåí íåéðîí-ïîáåäèòåëü, ïðîèçâîäèòñÿ êîððåêòèðîâêà âåñîâ íåéðîñåòè. Ïðè ýòîì âåêòîð, îïèñûâàþùèé íåéðîí-ïîáåäèòåëü è âåêòîðû, îïèñûâàþùèå åãî ñîñåäåé â ñåòêå ïåðåìåùàþòñÿ â íàïðàâëåíèè âõîäíîãî âåêòîðà: ωi = ωi + hri ||x − w||. Ôóíêöèÿ hr  ôóíêöèÿ ñîñåäñòâà íåéðîíîâ, íàïðèìåð, ãàóññîâñêàÿ:   ||xr − xi ||2 hri = α exp − , 0 < α < 1. 2σ 2 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 105 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Neural toolbox. Matlab Ïðàêòè÷åñêàÿ ðàáîòà. Neural network toolbox. Matlab Ïåðöåïòðîí Ñåòü Êîõîíåíà Ñàìîîðãàíèçóþùèåñÿ êàðòû < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 106 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Neural toolbox. Matlab Ïåðöåïòðîí % Çàäàíèå âõîäíûõ âåêòîðîâ ñ óêàçàíèåì èõ % ïðèíàäëåæíîñòè ê îäíîìó èç äâóõ êëàññîâ P=[-0.5 -0.5 0.3 -0.1; -0.5 0.5 -0.5 1.0]; T=[1 1 0 0]; plotpv(P,T); % ãðàôè÷åñêîå ïðåäñòàâëåíèå èñõîäíûõ âåêòîðîâ % ñîçäàíèå ïåðöåïòðîíà ñ óêàçàíèåì % ãðàíèö èçìåíåíèé âõîäîâ è 1 íåéðîíîì net=newp([-1 1; -1 1],1); E=1; net = init(net);% èíèöèàëèçàöèÿ ïåðöåïòðîíà % èíèöèàëèçàöèÿ öèêëà àäàïòèâíîé íàñòðîéêè ïåðöåïòðîíà % ñ âûâîäîì ãðàôèêà ðàçäåëÿþùåé ôóíêöèè while (sse(E)) [net,Y,E]=adapt(net,P,T); linehandle=plotpc(net.IW{1},net.b{1}); drawnow; end; (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 107 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Neural toolbox. Matlab Ïåðöåïòðîí (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 108 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Neural toolbox. Matlab Ñåòü Êîõîíåíà X=[0 1; 0 1];% çàäàíèå äèàïàçîíîâ âîçìîæíîãî ïîëîæåíèÿ öåíòðîâ %êëàñòåðîâ clusters=8; points=10; std_dev=0.05; P=nngenc(X,clusters,points,std_dev); % ìîäåëèðîâàíèå âõîäíûõ %äàííûõ h=newc([0 1;0 1],8,.1); % ñîçäàíèå ñëîÿ Êîõîíåíà h.trainParam.epochs = 400; % çàäàíèå êîëè÷åñòâà öèêëîâ îáó÷åíèÿ h=init(h); % èíèöèàëèçàöèÿ ñåòè h=train(h,P); % îáó÷åíèå ñåòè w=h.IW{1}; plot(P(1,:),P(2,:),'+r') hold on; plot(w(:,1),w(:,2),'ob') np=[0.9;0.2]; % çàäàíèå íîâîãî âõîäíîãî âåêòîðà y=sim(h,np) % îïðîñ ñåòè (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 109 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Neural toolbox. Matlab Ñåòü Êîõîíåíà TRAINR, Epoch 0/400 TRAINR, Epoch 25/400 TRAINR, Epoch 50/400 TRAINR, Epoch 75/400 TRAINR, Epoch 100/400 TRAINR, Epoch 125/400 TRAINR, Epoch 150/400 TRAINR, Epoch 175/400 TRAINR, Epoch 200/400 TRAINR, Epoch 225/400 TRAINR, Epoch 250/400 TRAINR, Epoch 275/400 TRAINR, Epoch 300/400 TRAINR, Epoch 325/400 TRAINR, Epoch 350/400 TRAINR, Epoch 375/400 TRAINR, Epoch 400/400 TRAINR, Maximum epoch reached. y = (7,1) 1 Ïðåäúÿâëåííûé âåêòîð îòíåñåí ê ñåäüìîìó êëàñòåðó. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 110 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Neural toolbox. Matlab Ñåòü Êîõîíåíà (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 111 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Neural toolbox. Matlab Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà P=rands(2,500); % çàäàíèå ñëó÷àéíûõ äâóìåðíûõ âåêòîðîâ plot(P(1,:),P(2,:),'+r') % îòîáðàæåíèå âõîäíûõ âåêòîðîâ % ñîçäàíèå ÍÑ ñ 5*6=30 íåéðîíàìè, âñå óñòàíîâêè  ïî óìîë÷àíèþ net=newsom([0 1; 0 1],[5,6]); net.trainParam.epochs=100;% çàäàíèå ÷èñëà öèêëîâ îáó÷åíèÿ net.trainParam.show=20; % çàäàíèå ïåðèîäè÷íîñòè âûâîäà èíôîðìàöèè net = train(net,P); % íàñòðîéêà ñåòè % âûÿâëåííûå öåíòðû êëàñòåðîâ plotsom(net.iw{1,1},net.layers{1}.distances); p=[0.5;0.3]; y=sim(net,p) % îïðîñ ñåòè (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 112 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Neural toolbox. Matlab Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 113 / 155 Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ Neural toolbox. Matlab Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 114 / 155 Íå÷åòêàÿ ëîãèêà Ñîäåðæàíèå 6 Íå÷åòêàÿ ëîãèêà Îñíîâíûå îïðåäåëåíèÿ Íå÷åòêèé âûâîä Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Fuzzy Toolbox. Matlab Ëàáîðàòîðíàÿ ðàáîòà  4 Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Ãèáðèäíûå ñåòè < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 115 / 155 Íå÷åòêàÿ ëîãèêà Îñíîâíûå îïðåäåëåíèÿ Íå÷åòêàÿ ëîãèêà (Fuzzy logic) Õàðàêòåðèñòèêà íå÷åòêîãî ìíîæåñòâà  ôóíêöèÿ ïðèíàäëåæíîñòè µA (x)  ñòåïåíü ïðèíàäëåæíîñòè ê íå÷åòêîìó ìíîæåñòâó A. Íå÷åòêîå ìíîæåñòâî A = {x | µA (x) ∈ [0, 1]}. ×àé ãîðÿ÷èé: = {0|10 , 0.6|50 , 0.8|60 , 0.9|70 , 1|80 , 190 , 1100 }. Ëîãè÷åñêèå îïåðàöèè íàä íå÷åòêèìè ìíîæåñòâàìè: Âêëþ÷åíèå: A ∈ B åñëè ∀x µA (x) ≤ µB (x) Ðàâåíñòâî: A = B åñëè ∀x µA (x) = µB (x) Ïåðåñå÷åíèå: µA∩B (x) = min(µA (x), µB (x)) Îáúåäèíåíèå: µA∪B (x) = max(µA (x), µB (x)) Äîïîëíåíèå: µA (x) = 1 − µA (x) Ðàçíîñòü: µA−B (x) = µA∩B (x) = min(µA (x), 1 − µB (x)) (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 116 / 155 Íå÷åòêàÿ ëîãèêà Îñíîâíûå îïðåäåëåíèÿ Òðåóãîëüíàÿ íîðìà Òðåóãîëüíàÿ íîðìà (t-íîðìà)  äâóìåñòíàÿ äåéñòâèòåëüíàÿ ôóíêöèÿ T : [0, 1] × [0, 1] → [0, 1], óäîâëåòâîðÿþùàÿ ñëåäóþùèì óñëîâèÿì: 1 T (0, 0) = 0; T (µA , 1) = µA ; T (1, µA ) = µA  îãðàíè÷åííîñòü 2 T (µA , µB ) ≤ T (µC , µD ), åñëè µA ≤ µC , µB ≤ µD  ìîíîòîííîñòü 3 T (µA , µB ) = T (µB , µA )  êîììóòàòèâíîñòü 4 T (µA , T (µB , µC )) = T (T (µA , µB ), µC )  àññîöèàòèâíîñòü Ïðèìåðû: min(µA , µB ), µA · µB , max(0, µA + µB − 1) (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 117 / 155 Íå÷åòêàÿ ëîãèêà Îñíîâíûå îïðåäåëåíèÿ Òðåóãîëüíàÿ êîíîðìà Òðåóãîëüíàÿ êîíîðìà (t-êîíîðìà)  äâóìåñòíàÿ äåéñòâèòåëüíàÿ ôóíêöèÿ S : [0, 1] × [0, 1] → [0, 1], óäîâëåòâîðÿþùàÿ ñëåäóþùèì óñëîâèÿì: 1 S(1, 1) = 1; S(µA , 0) = µA ; S(0, µA ) = µA  îãðàíè÷åííîñòü 2 S(µA , µB ) ≥ S(µC , µD ), åñëè µA ≥ µC , µB ≥ µD  ìîíîòîííîñòü 3 S(µA , µB ) = S(µB , µA )  êîììóòàòèâíîñòü 4 S(µA , S(µB , µC )) = S(S(µA , µB ), µC )  àññîöèàòèâíîñòü Ïðèìåðû: max(µA , µB ), µA + µB − µA · µB , min(1, µA + µB ) (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 118 / 155 Íå÷åòêàÿ ëîãèêà Îñíîâíûå îïðåäåëåíèÿ Ëèíãâèñòè÷åñêèå ïåðåìåííûå Äëÿ îïèñàíèÿ íå÷åòêèõ ìíîæåñòâ ââîäèòñÿ ïîíÿòèå ëèíãâèñòè÷åñêîé ïåðåìåííîé: < X, T (X), U, G, M > X  èìÿ ïåðåìåííîé; T (X)  ìíîæåñòâî òåðìîâ X (ìíîæåñòâî èìåí ëèíãâèñòè÷åñêîé ïåðåìåííîé  íå÷åòêèå ÷èñëà íà U ); G  ñèíòàêñè÷åñêîå ïðàâèëî äëÿ âûðàáîòêè èìåí âåëè÷èíû X ; M  ñåìàíòè÷åñêîå ïðàâèëî äëÿ ñâÿçûâàíèÿ êàæäîé âåëè÷èíû ñ åå ñìûñëîì. Ïðèìåð. Ñêîðîñòü v . T (x) = {î÷åíü ìåäëåííî, ìåäëåííî, óìåðåííî, áûñòðî, î÷åíü áûñòðî}. Êàæäûé òåðì çàäàí íà ìíîæåñòâå U = [0, 100]. Ìåäëåííî ≈ 40 êì/÷; Óìåðåííî ≈ 55 êì/÷; Áûñòðî ≈ 70 êì/÷; (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 1 Ðàñïîçíàâàíèå îáðàçîâ 40 55 70 119 / 155 Íå÷åòêàÿ ëîãèêà Îñíîâíûå îïðåäåëåíèÿ Ïðèçíàêè â çàäà÷àõ ðàñïîçíàâàíèÿ ëèö x1 x2 x3 x4 x5 x6 x7 x8 x9 âûñîòà ëáà ïðîôèëü íîñà äëèíà íîñà ðàçðåç ãëàç öâåò ãëàç ôîðìà ïîäáîðîäêà òîëùèíà ãóá öâåò ëèöà î÷åðòàíèå ëèöà íèçêèé êóðíîñûé êîðîòêèé óçêèå ñâåòëûå îñòðîêîíå÷íûé òîíêèå òåìíûé îâàëüíîå 1 âûñîêèé ãîðáàòûé äëèííûé øèðîêèå òåìíûå êâàäðàòíûé òîëñòûå ñâåòëûé êâàäðàòíîå Äëÿ êîíêðåòíîãî ëèöà ýêñïåðò, èñõîäÿ èç ïðèâåäåííîé øêàëû, çàäàåò µ(x) ∈ [0, 1], ôîðìèðóÿ âåêòîðíóþ ôóíêöèþ ïðèíàäëåæíîñòè {µ(x1 ), .., µ(x9 )}. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 120 / 155 Íå÷åòêàÿ ëîãèêà Îñíîâíûå îïðåäåëåíèÿ Ôóíêöèè ïðèíàäëåæíîñòè Òðåóãîëüíîå  ÷èñëî b−x  1 − b−a , a ≤ x ≤ b, µA (x) = 1 − x−c c−b , b ≤ x ≤ c,   0, x < a, x > c. Òðàïåöåèäàëüíîå ÷èñëî  b−x 1 −  b−a , a ≤ x ≤ b,   1, b ≤ x ≤ c, µA (x) =  1 − x−c  d−c , c ≤ x ≤ d,   0, x < a, x > d. 1 a b c b c d 1 a f (x) Ãàóññîâà òèïà µA (x) = exp −   x−c 2 1 σ (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ x 121 / 155 Íå÷åòêàÿ ëîãèêà Îñíîâíûå îïðåäåëåíèÿ Ôóíêöèè ïðèíàäëåæíîñòè Òðåóãîëüíîå  ÷èñëî b−x  1 − b−a , a ≤ x ≤ b, µA (x) = 1 − x−c c−b , b ≤ x ≤ c,   0, x < a, x > c. Òðàïåöåèäàëüíîå ÷èñëî  b−x 1 −  b−a , a ≤ x ≤ b,   1, b ≤ x ≤ c, µA (x) =  1 − x−c  d−c , c ≤ x ≤ d,   0, x < a, x > d. 1 a b c b c d 1 a f (x) Ãàóññîâà òèïà µA (x) = exp −   x−c 2 1 σ (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ x 121 / 155 Íå÷åòêàÿ ëîãèêà Îñíîâíûå îïðåäåëåíèÿ Ôóíêöèè ïðèíàäëåæíîñòè Òðåóãîëüíîå  ÷èñëî b−x  1 − b−a , a ≤ x ≤ b, µA (x) = 1 − x−c c−b , b ≤ x ≤ c,   0, x < a, x > c. Òðàïåöåèäàëüíîå ÷èñëî  b−x 1 −  b−a , a ≤ x ≤ b,   1, b ≤ x ≤ c, µA (x) =  1 − x−c  d−c , c ≤ x ≤ d,   0, x < a, x > d. 1 a b c b c d 1 a f (x) Ãàóññîâà òèïà µA (x) = exp −   x−c 2 1 σ (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ x 121 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêèé âûâîä Ïðàâèëà íå÷åòêîãî âûâîäà Îñíîâîé äëÿ íå÷åòêîãî ëîãè÷åñêîãî âûâîäà ñëóæèò áàçà ïðàâèë, ñîäåðæàùàÿ íå÷åòêèå âûñêàçûâàíèÿ â ôîðìå: "Åñëè  òî" è ôóíêöèè ïðèíàäëåæíîñòè äëÿ ñîîòâåòñòâóþùèõ ëèíãâèñòè÷åñêèõ òåðìîâ. Ñóùåñòâóåò õîòÿ áû îäíî ïðàâèëî äëÿ êàæäîãî ëèíãâèñòè÷åñêîãî òåðìà âûõîäíîé ïåðåìåííîé. Äëÿ êàæäîãî òåðìà âõîäíîé ïåðåìåííîé èìååòñÿ õîòÿ áû îäíî ïðàâèëî, â êîòîðîì ýòîò òåðì èñïîëüçóåòñÿ â êà÷åñòâå ïðåäïîñûëêè. Áàçà ïðàâèë: R1 : Åñëè x1  ýòî A11 è xn  ýòî A1n , òî y  ýòî B1 ; ... Rm : Åñëè x1  ýòî Am1 è xn  ýòî Amn , òî y  ýòî Bm ; xk  âõîä, y  âûõîä, Ak  íå÷åòêèå ìíîæåñòâà ñ çàäàííîé ôóíêöèåé ïðèíàäëåæíîñòè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 122 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêèé âûâîä Àëãîðèòì íå÷åòêîãî âûâîäà Ýòàïû ëîãè÷åñêîãî âûâîäà: 1 Ââåäåíèå íå÷åòêîñòè (ôàçèôèêàöèÿ); 2 Íå÷åòêèé âûâîä; 3 Êîìïîçèöèÿ; 4 Ïðèâåäåíèå ê ÷åòêîñòè (äåôàçèôèêàöèÿ); Áàçà ïðàâèë x Ïðèâåäåíèå Íå÷åòêèé Ïðèâåäåíèå ê íå÷åòêîñòè âûâîä ê ÷åòêîñòè y Àëãîðèòìû íå÷åòêîãî âûâîäà ðàçëè÷àþòñÿ âèäîì èñïîëüçóåìûõ ïðàâèë, ëîãè÷åñêèõ îïåðàöèé è ðàçíîâèäíîñòüþ ìåòîäà äåôàçèôèêàöèè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 123 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêèé âûâîä Ìåõàíèçì íå÷åòêîãî âûâîäà Ìàìäàíè 1 Ïðîöåäóðà ôàçèôèêàöèè: îïðåäåëÿþòñÿ ñòåïåíè èñòèííîñòè, ò.å. çíà÷åíèÿ ôóíêöèé ïðèíàäëåæíîñòè äëÿ ëåâûõ ÷àñòåé êàæäîãî ïðàâèëà (ïðåäïîñûëîê). Äëÿ áàçû ïðàâèë ñ m ïðàâèëàìè îáîçíà÷èì ñòåïåíè èñòèííîñòè êàê Aik (xk ), i = 1, ..., m, k = 1, ..., n. 2 Íå÷åòêèé âûâîä. Ñíà÷àëà îïðåäåëÿþòñÿ óðîâíè ¾îòñå÷åíèÿ¿ äëÿ ëåâîé ÷àñòè êàæäîãî èç ïðàâèë: αi = min(Aik (xk )). Äàëåå íàõîäÿòñÿ k ¾óñå÷åííûå¿ ôóíêöèè ïðèíàäëåæíîñòè: Bi∗ (y) = min(αi , Bi (y)). 3 Êîìïîçèöèÿ, èëè îáúåäèíåíèå ïîëó÷åííûõ óñå÷åííûõ ôóíêöèé. Èñïîëüçóåòñÿ ìàêñèìàëüíàÿ êîìïîçèöèÿ íå÷åòêèõ ìíîæåñòâ: µ(y) = max(Bi∗ (y)), ãäå µ(y)  ôóíêöèÿ ïðèíàäëåæíîñòè èòîãîâîãî i íå÷åòêîãî ìíîæåñòâà. 4 Äåôàçèôèêàöèÿ, èëè ïðèâåäåíèå ê ÷åòêîñòè. Íàïðèìåð, ìåòîä ñðåäíåãî R R öåíòðà, èëè öåíòðîèäíûé ìåòîä. y0 = yµ(y)dy/ µ(y)dy Ω (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ Ω 124 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêèé âûâîä Àëãîðèòì Ìàìäàíè µA21 1 µA12 µA11 1 x∗1 min x1 µA22 x2 x1 x∗2 x2 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) µB1 → µB2 x max ↓ x y∗ y Ðàñïîçíàâàíèå îáðàçîâ 125 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Ñóùåñòâóåò k êëàññîâ, íà êîòîðûå íàäî ðàçáèòü xj âåêòîðîâ j = 1, .., p: xj = (xj1 , ..., xjn ). Öåíòðû êàæäîãî êëàññà ci (i = 1, ..., k) íà íà÷àëüíîì ýòàïå âûáðàíû ïðîèçâîëüíî (èç ìíîæåñòâà çíà÷åíèé âåêòîðîâ xj ). Ïîäàâàåìûé íà âõîä ñåòè âåêòîð xj áóäåò ïðèíàäëåæàòü ê ðàçëè÷íûì êëàññàì Ωi , ïðåäñòàâëÿåìûõ öåíòðàìè ci â ñòåïåíè uij ∈ [0, 1] (uij  íå÷åòêèå ÷èñëà): k X uij = 1, j = 1, ..., p. (1) i=1 Ïðè ýòîì çíà÷åíèå uij òåì áîëüøå, ÷åì áëèæå xj ê ci . p k P P 2 um Ôóíêöèþ ïîãðåøíîñòè âûáèðàåì: E = ij ||ci − xj || , i=1 j=1 ãäå m  ýêñïîíåíöèàëüíûé âåñ, m > 1 (íå÷åòêîñòü, ðàçìûòîñòü êëàñòåðîâ). Çàäà÷à  íàéòè min E ñ ó÷åòîì îãðàíè÷åíèÿ (1), òåì ñàìûì âîçíèêàåò çàäà÷à óñëîâíîé îïòèìèçàöèè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 126 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Ââåäåì ôóíêöèþ Ëàãðàíæà: LE = p k X X 2 um ij ||ci − xj || + i=1 j=1 p X λj j=1 k X ! uij − 1 , i=1 λj  ìíîæèòåëè Ëàãðàíæà. Ðåøåíèåì çàäà÷è ìèíèìèçàöèè ÿâëÿåòñÿ p P ci = um ij xj j=1 p P j=1 , uij = um ij k X 1 d2ij d2lj −1 ! m−1 , (2) l=1 ãäå dij  åâêëèäîâî ðàññòîÿíèå ìåæäó öåíòðîì ci è âåêòîðîì xj . Àëãîðèòì îñòàíàâëèâàåòñÿ, êîãäà max |u∗ij − uij | < ε, u∗ij  ìàòðèöà i,j íå÷åòêîãî ðàçáèåíèÿ íà ïðåäûäóùåì øàãå. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 127 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Àëãîðèòì íå÷åòêîé ñàìîîðãàíèçàöèè 1 Âûïîëíèòü ñëó÷àéíóþ èíèöèàëèçàöèþ êîýôôèöèåíòîâ uij , âûáèðàÿ èõ k P òàê, ÷òîáû uij = 1, j = 1, ..., p., uij ∈ [0, 1]. 2 Îïðåäåëèòü k öåíòðîâ ci â ñîîòâåòñòâèè ñ (2). 3 Ðàññ÷èòàòü íîâûå çíà÷åíèÿ uij ïî (2) è ïåðåéòè ê øàãó 2. Åñëè äëÿ êàêîãî-ëèáî l, j dlj = 0, òî ïåðåñ÷åò uij îñóùåñòâëÿåòñÿ ïî ôîðìóëå ( 1, i = j uij = ∀i = 1, ..., c. 0, i 6= j 4 Ïðîâåðèòü óñëîâèå îñòàíîâà. Åñëè óñëîâèå âûïîëíÿåòñÿ, òî çàâåðøèòü âû÷èñëåíèÿ. Ïîñëåäíèå çíà÷åíèÿ öåíòðîâ ñîñòàâëÿþò èñêîìîå ðåøåíèå, â ïðîòèâíîì ñëó÷àå ïåðåéòè ê øàãó 4. i=1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 128 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Àëãîðèòì íå÷åòêîé ñàìîîðãàíèçàöèè 1 Âûïîëíèòü ñëó÷àéíóþ èíèöèàëèçàöèþ êîýôôèöèåíòîâ uij , âûáèðàÿ èõ k P òàê, ÷òîáû uij = 1, j = 1, ..., p., uij ∈ [0, 1]. 2 Îïðåäåëèòü k öåíòðîâ ci â ñîîòâåòñòâèè ñ (2). 3 Ðàññ÷èòàòü íîâûå çíà÷åíèÿ uij ïî (2) è ïåðåéòè ê øàãó 2. Åñëè äëÿ êàêîãî-ëèáî l, j dlj = 0, òî ïåðåñ÷åò uij îñóùåñòâëÿåòñÿ ïî ôîðìóëå ( 1, i = j uij = ∀i = 1, ..., c. 0, i 6= j 4 Ïðîâåðèòü óñëîâèå îñòàíîâà. Åñëè óñëîâèå âûïîëíÿåòñÿ, òî çàâåðøèòü âû÷èñëåíèÿ. Ïîñëåäíèå çíà÷åíèÿ öåíòðîâ ñîñòàâëÿþò èñêîìîå ðåøåíèå, â ïðîòèâíîì ñëó÷àå ïåðåéòè ê øàãó 4. i=1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 128 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Àëãîðèòì íå÷åòêîé ñàìîîðãàíèçàöèè 1 Âûïîëíèòü ñëó÷àéíóþ èíèöèàëèçàöèþ êîýôôèöèåíòîâ uij , âûáèðàÿ èõ k P òàê, ÷òîáû uij = 1, j = 1, ..., p., uij ∈ [0, 1]. 2 Îïðåäåëèòü k öåíòðîâ ci â ñîîòâåòñòâèè ñ (2). 3 Ðàññ÷èòàòü íîâûå çíà÷åíèÿ uij ïî (2) è ïåðåéòè ê øàãó 2. Åñëè äëÿ êàêîãî-ëèáî l, j dlj = 0, òî ïåðåñ÷åò uij îñóùåñòâëÿåòñÿ ïî ôîðìóëå ( 1, i = j uij = ∀i = 1, ..., c. 0, i 6= j 4 Ïðîâåðèòü óñëîâèå îñòàíîâà. Åñëè óñëîâèå âûïîëíÿåòñÿ, òî çàâåðøèòü âû÷èñëåíèÿ. Ïîñëåäíèå çíà÷åíèÿ öåíòðîâ ñîñòàâëÿþò èñêîìîå ðåøåíèå, â ïðîòèâíîì ñëó÷àå ïåðåéòè ê øàãó 4. i=1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 128 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Àëãîðèòì íå÷åòêîé ñàìîîðãàíèçàöèè 1 Âûïîëíèòü ñëó÷àéíóþ èíèöèàëèçàöèþ êîýôôèöèåíòîâ uij , âûáèðàÿ èõ k P òàê, ÷òîáû uij = 1, j = 1, ..., p., uij ∈ [0, 1]. 2 Îïðåäåëèòü k öåíòðîâ ci â ñîîòâåòñòâèè ñ (2). 3 Ðàññ÷èòàòü íîâûå çíà÷åíèÿ uij ïî (2) è ïåðåéòè ê øàãó 2. Åñëè äëÿ êàêîãî-ëèáî l, j dlj = 0, òî ïåðåñ÷åò uij îñóùåñòâëÿåòñÿ ïî ôîðìóëå ( 1, i = j uij = ∀i = 1, ..., c. 0, i 6= j 4 Ïðîâåðèòü óñëîâèå îñòàíîâà. Åñëè óñëîâèå âûïîëíÿåòñÿ, òî çàâåðøèòü âû÷èñëåíèÿ. Ïîñëåäíèå çíà÷åíèÿ öåíòðîâ ñîñòàâëÿþò èñêîìîå ðåøåíèå, â ïðîòèâíîì ñëó÷àå ïåðåéòè ê øàãó 4. i=1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 128 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Ïðèìåð   X= 0.2 0.4 0.4 0.7 0.4 0.2 0.6 0.8 0.7 1 1 0.8  ,    U =     0.67 0.33 0.7 0.3   0.64 0.36  . 0.4 0.6   0.8 0.2  0.82 0.18 Âû÷èñëÿåì öåíòðû êëàñòåðîâ c11 = c12 = 0.672 ∗ 0.2 + 0.72 ∗ 0.4 + 0.642 ∗ 0.4 + 0.42 ∗ 0.7 + 0.82 ∗ 0.7 + 0.822 ∗ 1 0.672 + 0.72 + 0.642 + 0.42 + 0.82 + 0.822 0.672 ∗ 0.4 + 0.72 ∗ 0.2 + 0.642 ∗ 0.6 + 0.42 ∗ 0.8 + 0.82 ∗ 1 + 0.822 ∗ 0.8 0.672 + 0.72 + 0.642 + 0.42 + 0.82 + 0.822     0.5963 0.5546 c1 = , c2 = . 0.6485 0.6482 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 129 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Ïðèìåð k P Âû÷èñëÿåì ìàòðèöó ðàññòîÿíèé è ñóììó dcj = l=1 d11 = p 1/d2lj , j = 1, ..., p p ||x1 − c1 ||2 = (0.2 − 0.5963)2 + (0.4 − 0.6485)2 = 0.4677     0.4677 0.4329 9.9078  0.4895 0.4742   8.6209       0.2022 0.1620   62.5807      d=  , dc =  52.2946  .  0.1836 0.2102     0.3665 0.3806   14.3464  0.4312 0.4705 9.8945 Âû÷èñëÿåì íå÷åòêèå êîýôôèöèåíòû  0.4614  0.4841   0.3910 U =  0.5670   0.5189 0.5435 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 0.5386 0.5159 0.6090 0.4330 0.4811 0.4565 Ðàñïîçíàâàíèå îáðàçîâ     .    130 / 155 Íå÷åòêàÿ ëîãèêà Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ Ïðèìåð (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 131 / 155 Íå÷åòêàÿ ëîãèêà Fuzzy Toolbox. Matlab Ïðàêòè÷åñêîå çàäàíèå  2 Êëàñòåðèçàöèÿ äàííûõ äëÿ çàäàííîãî íàáîðà íàáëþäåíèé (Èðèñû Ôèøåðà) Èðèñû Ôèøåðà ñîñòîÿò èç äàííûõ î 150 ýêçåìïëÿðàõ èðèñà, ïî 50 ýêçåìïëÿðîâ èç òðåõ ñîðòîâ  iris setosa, iris virginica è iris versicolor. Äëÿ êàæäîãî ýêçåìïëÿðà èçìåðÿëèñü ÷åòûðå õàðàêòåðèñòèêè (â ñàíòèìåòðàõ): Äëèíà ÷àøåëèñòèêà (àíãë. sepal length); Øèðèíà ÷àøåëèñòèêà (àíãë. sepal width); Äëèíà ëåïåñòêà (àíãë. petal length); Øèðèíà ëåïåñòêà (àíãë. petal width). load iris.dat; data = iris; [center,U,obj_fcm]=fcm(data,3); center Íàáîðû äàííûõ äëÿ êëàññèôèêàöèè (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) < Ðàñïîçíàâàíèå îáðàçîâ 132 / 155 Íå÷åòêàÿ ëîãèêà Ëàáîðàòîðíàÿ ðàáîòà  4 Ëàáîðàòîðíàÿ ðàáîòà  4 Öåëü ëàáîðàòîðíîé ðàáîòû  ïðàêòè÷åñêîå îñâîåíèå ìåòîäà íå÷åòêîé ñàìîîðãàíèçàöèè c-means (k ñðåäíèõ). < Çàäà÷è ëàáîðàòîðíîé ðàáîòû 1 Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà íå÷åòêîé ñàìîîðãàíèçàöèè; 2 Ââîä âåêòîðîâ äëÿ êëàññèôèêàöèè. 3 Ïîñòðîåíèå öåíòðîâ êëàññîâ. 4 Âûïîëíåíèå êîíòðîëüíûõ ðàñïîçíàâàíèé äëÿ íåèçâåñòíûõ îáúåêòîâ. 5 Ãðàôè÷åñêîå ïðåäñòàâëåíèå èñõîäíûõ âåêòîðîâ, öåíòðîâ êëàññîâ, ðàñïîçíàâàåìûõ îáúåêòîâ. 6 Èññëåäîâàíèå ñêîðîñòè àëãîðèòìà ïðè ðàçëè÷íûõ ïàðàìåòðàõ. Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷ 1 ×èñëî êëàññîâ ðàñïîçíàâàíèÿ: 3-4. 2 ×èñëî ïðåöåäåíòîâ â êàæäîì êëàññå: 20-30. 3 Êîëè÷åñòâî ðàñïîçíàâàåìûõ îáúåêòîâ: 5-10. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 133 / 155 Íå÷åòêàÿ ëîãèêà Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Øàã 1. Ïðîèçâåñòè íà÷àëüíîå ðàçìåùåíèå öåíòðîâ â ïðîñòðàíñòâå äàííûõ (ñëó÷àéíûì îáðàçîì, ïèêîâîå èëè ðàçíîñòíîå ãðóïïèðîâàíèå), ñîçäàòü ôîðìó ìàñøòàáèðóþùåé ìàòðèöû A (ñèììåòðè÷íàÿ, ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà); Øàã 2. Ñôîðìèðîâàòü ìàòðèöó êîýôôèöèåíòîâ ïðèíàäëåæíîñòè âñåõ âåêòîðîâ xj , j = 1, .., p: 1 uij =  K  2 X d (xj , ci ) m−1 l=1 d2 (xj , cl ) !−1 . p Ðàññòîÿíèå d(x, c) = (x − c)T A(x − c). Åñëè äëÿ íåêîòîðîãî l dil = 0, òîãäà uil = 1, à îñòàëüíûå dij = 0, j 6= l; Øàã 3. Ðàññ÷èòàòü íîâîå ðàçìåùåíèå öåíòðîâ ci = p X j=1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) um ij xj / p X um ij ; j=1 Ðàñïîçíàâàíèå îáðàçîâ 134 / 155 Íå÷åòêàÿ ëîãèêà Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Øàã 1. Ïðîèçâåñòè íà÷àëüíîå ðàçìåùåíèå öåíòðîâ â ïðîñòðàíñòâå äàííûõ (ñëó÷àéíûì îáðàçîì, ïèêîâîå èëè ðàçíîñòíîå ãðóïïèðîâàíèå), ñîçäàòü ôîðìó ìàñøòàáèðóþùåé ìàòðèöû A (ñèììåòðè÷íàÿ, ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà); Øàã 2. Ñôîðìèðîâàòü ìàòðèöó êîýôôèöèåíòîâ ïðèíàäëåæíîñòè âñåõ âåêòîðîâ xj , j = 1, .., p: 1 uij =  K  2 X d (xj , ci ) m−1 l=1 d2 (xj , cl ) !−1 . p Ðàññòîÿíèå d(x, c) = (x − c)T A(x − c). Åñëè äëÿ íåêîòîðîãî l dil = 0, òîãäà uil = 1, à îñòàëüíûå dij = 0, j 6= l; Øàã 3. Ðàññ÷èòàòü íîâîå ðàçìåùåíèå öåíòðîâ ci = p X j=1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) um ij xj / p X um ij ; j=1 Ðàñïîçíàâàíèå îáðàçîâ 134 / 155 Íå÷åòêàÿ ëîãèêà Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Øàã 1. Ïðîèçâåñòè íà÷àëüíîå ðàçìåùåíèå öåíòðîâ â ïðîñòðàíñòâå äàííûõ (ñëó÷àéíûì îáðàçîì, ïèêîâîå èëè ðàçíîñòíîå ãðóïïèðîâàíèå), ñîçäàòü ôîðìó ìàñøòàáèðóþùåé ìàòðèöû A (ñèììåòðè÷íàÿ, ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà); Øàã 2. Ñôîðìèðîâàòü ìàòðèöó êîýôôèöèåíòîâ ïðèíàäëåæíîñòè âñåõ âåêòîðîâ xj , j = 1, .., p: 1 uij =  K  2 X d (xj , ci ) m−1 l=1 d2 (xj , cl ) !−1 . p Ðàññòîÿíèå d(x, c) = (x − c)T A(x − c). Åñëè äëÿ íåêîòîðîãî l dil = 0, òîãäà uil = 1, à îñòàëüíûå dij = 0, j 6= l; Øàã 3. Ðàññ÷èòàòü íîâîå ðàçìåùåíèå öåíòðîâ ci = p X j=1 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) um ij xj / p X um ij ; j=1 Ðàñïîçíàâàíèå îáðàçîâ 134 / 155 Íå÷åòêàÿ ëîãèêà Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Øàã 4. Ñãåíåðèðîâàòü äëÿ êàæäîãî öåíòðà ìàòðèöó Si : Si = p X j=1 T um ij (xj − ci )(xj − ci ) / p X um ij , i = 1, .., K; j=1 Øàã 5. Ðàññ÷èòàòü íîâóþ ìàñøòàáèðóþùóþ ìàòðèöó. Åñëè detSi 6= 0: p Ai = N detSi · Si−1 , i = 1, .., K, N  ðàçìåðíîñòü x; Øàã 6. Åñëè ïîñëåäíèå èçìåíåíèÿ ïîëîæåíèÿ öåíòðîâ è ìàòðèöû ïðåíåáðåæèòåëüíî ìàëû ïî îòíîøåíèþ ê ïðåäûäóùèì çíà÷åíèÿì è íå ïðåâûøàþò èçíà÷àëüíî çàäàííîé ïîðîãîâîé âåëè÷èíû, òî çàâåðøèòü ïðîöåññ. Èíà÷å  ïåðåõîä ê øàãó 2. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 135 / 155 Íå÷åòêàÿ ëîãèêà Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Øàã 4. Ñãåíåðèðîâàòü äëÿ êàæäîãî öåíòðà ìàòðèöó Si : Si = p X j=1 T um ij (xj − ci )(xj − ci ) / p X um ij , i = 1, .., K; j=1 Øàã 5. Ðàññ÷èòàòü íîâóþ ìàñøòàáèðóþùóþ ìàòðèöó. Åñëè detSi 6= 0: p Ai = N detSi · Si−1 , i = 1, .., K, N  ðàçìåðíîñòü x; Øàã 6. Åñëè ïîñëåäíèå èçìåíåíèÿ ïîëîæåíèÿ öåíòðîâ è ìàòðèöû ïðåíåáðåæèòåëüíî ìàëû ïî îòíîøåíèþ ê ïðåäûäóùèì çíà÷åíèÿì è íå ïðåâûøàþò èçíà÷àëüíî çàäàííîé ïîðîãîâîé âåëè÷èíû, òî çàâåðøèòü ïðîöåññ. Èíà÷å  ïåðåõîä ê øàãó 2. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 135 / 155 Íå÷åòêàÿ ëîãèêà Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ Øàã 4. Ñãåíåðèðîâàòü äëÿ êàæäîãî öåíòðà ìàòðèöó Si : Si = p X j=1 T um ij (xj − ci )(xj − ci ) / p X um ij , i = 1, .., K; j=1 Øàã 5. Ðàññ÷èòàòü íîâóþ ìàñøòàáèðóþùóþ ìàòðèöó. Åñëè detSi 6= 0: p Ai = N detSi · Si−1 , i = 1, .., K, N  ðàçìåðíîñòü x; Øàã 6. Åñëè ïîñëåäíèå èçìåíåíèÿ ïîëîæåíèÿ öåíòðîâ è ìàòðèöû ïðåíåáðåæèòåëüíî ìàëû ïî îòíîøåíèþ ê ïðåäûäóùèì çíà÷åíèÿì è íå ïðåâûøàþò èçíà÷àëüíî çàäàííîé ïîðîãîâîé âåëè÷èíû, òî çàâåðøèòü ïðîöåññ. Èíà÷å  ïåðåõîä ê øàãó 2. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 135 / 155 Íå÷åòêàÿ ëîãèêà Ãèáðèäíûå ñåòè Îñíîâíûå îïðåäåëåíèÿ ãèáðèäíûõ ñåòåé Ðàññìîòðèì íåéðîííóþ ñåòü, èìåþùóþ äâà âõîäà è òîëüêî îäèí íåéðîí. Âõîäíûå ñèãíàëû xi âçàèìîäåéñòâóþò ñ âåñàìè ωi , îáðàçóÿ ïðîèçâåäåíèÿ pi = xi ωi , i = 1, 2. Òàêàÿ ÷àñòíàÿ èíôîðìàöèÿ (ïðîèçâåäåíèÿ) îáúåäèíÿþòñÿ ñ èñïîëüçîâàíèåì îïåðàöèè ñóììèðîâàíèÿ, îáðàçóÿ âõîä net íåéðîíà net = p1 + p2 = ω1 x1 + ω2 x2 . Âûõîä íåéðîíà îáðàçóåòñÿ â ðåçóëüòàòå ïðåîáðàçîâàíèÿ âõîäà net íåêîòîðîé àêòèâàöèîííîé ôóíêöèåé: y = f (net) = f (ω1 x1 + ω2 x2 ), íàïðèìåð, ñèãìîèäíîãî òèïà f (x) = (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 1 . 1 + e−x Ðàñïîçíàâàíèå îáðàçîâ 136 / 155 Íå÷åòêàÿ ëîãèêà Ãèáðèäíûå ñåòè Îñíîâíûå îïðåäåëåíèÿ ãèáðèäíûõ ñåòåé x1 ω1 f y ω2 x2 Ãèáðèäíàÿ íåéðîííàÿ ñåòü  íåéðîííàÿ ñåòü ñ ÷åòêèìè ñèãíàëàìè, âåñàìè, àêòèâàöèîííîé ôóíêöèåé, íî ñ îáúåäèíåíèåì xi è ωi , p1 è p2 ñ èñïîëüçîâàíèåì t-íîðìû, t-êîíîðìû èëè íåêîòîðûõ äðóãèõ íåïðåðûâíûõ îïåðàöèé. Âõîäû, âûõîäû, âåñà ãèáðèäíîé íåéðîííîé ñåòè  âåùåñòâåííûå ÷èñëà, ïðèíàäëåæàùèå îòðåçêó [0, 1]. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 137 / 155 Íå÷åòêàÿ ëîãèêà Ãèáðèäíûå ñåòè Íå÷åòêèé íåéðîí "È" Ñèãíàëû xi è âåñà ωi â äàííîì ñëó÷àå îáúåäèíÿþòñÿ ñ ïîìîùüþ òðåóãîëüíîé êîíîðìû: pi = S(ωi , xi ), i = 1, 2, à âûõîä îáðàçóåòñÿ ñ ïðèìåíåíèåì òðåóãîëüíîé íîðìû y = AN D(p1 , p2 ) = T (p1 , p2 ) = T (S(ω1 , x1 ), S(ω2 , x2 )). Åñëè ïðèíÿòü T = min, S = max, òîãäà íå÷åòêèé íåéðîí "È" ðåàëèçóåò êîìïîçèöèþ min-max: y = min(ω1 ∨ x1 , ω2 ∨ x2 ). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 138 / 155 Íå÷åòêàÿ ëîãèêà Ãèáðèäíûå ñåòè Íå÷åòêèé íåéðîí "ÈËÈ" Ñèãíàëû xi è âåñà ωi â äàííîì ñëó÷àå îáúåäèíÿþòñÿ ñ ïîìîùüþ òðåóãîëüíîé íîðìû: pi = T (ωi , xi ), i = 1, 2, à âûõîä îáðàçóåòñÿ ñ ïðèìåíåíèåì òðåóãîëüíîé êîíîðìû y = OR(p1 , p2 ) = S(p1 , p2 ) = S(T (ω1 , x1 ), T (ω2 , x2 )). Åñëè ïðèíÿòü T = min, S = max, òîãäà íå÷åòêèé íåéðîí "ÈËÈ" ðåàëèçóåò êîìïîçèöèþ max-min: y = max(ω1 ∧ x1 , ω2 ∧ x2 ). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 139 / 155 Íå÷åòêàÿ ëîãèêà Ãèáðèäíûå ñåòè Íå÷åòêèé ãèáðèäíûé êëàññèôèêàòîð A1 T x1 A2 T B1 T x2 B2 S c1 S c2 T Ïðåäïîëàãàåòñÿ, ÷òî îáúåêò õàðàêòåðèçóåòñÿ äâóìÿ êîëè÷åñòâåííûìè ïðèçíàêàìè x1 è x2 è îòíîñèòñÿ ê îäíîìó èç äâóõ êëàññîâ C1 è C2 . Êàæäûé âõîä ïðåäñòàâëÿåòñÿ äâóìÿ ëèíãâèñòè÷åñêèìè ïåðåìåííûìè, ÷òî ïîçâîëÿåò îãðàíè÷èòüñÿ ÷åòûðüìÿ ïðàâèëàìè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 140 / 155 Íå÷åòêàÿ ëîãèêà Ãèáðèäíûå ñåòè Îïèñàíèå ñåòè Ñëîé 1. Âûõîäû óçëîâ äàííîãî ñëîÿ  ñòåïåíè ïðèíàäëåæíîñòè âõîäíûõ ïåðåìåííûõ îïðåäåëåíûì äëÿ íèõ íå÷åòêèì ìíîæåñòâàì A1 , A2 , B1 , B2 . Íàïðèìåð, ôóíêöèè ïðèíàäëåæíîñòè êîëîêîëî-îáðàçíîãî âèäà Ai (t) = exp(−(t − ai1 /bi1 )2 /2) ñ íàáîðîì ïàðàìåòðîâ ai1 , ai2 , bi1 , bi2 . Çíà÷åíèÿ äàííûõ ïàðàìåòðîâ êîððåêòèðóþòñÿ â ïðîöåññå îáó÷åíèÿ ñåòè. Ñëîé 2. Êàæäûé íåéðîí ýòîãî ñëîÿ ÿâëÿåòñÿ íåéðîíîì òèïà ãèáðèäíîãî (íå÷åòêîãî) íåéðîíà "è". Ñëîé 3. Íåéðîíû äàííîãî ñëîÿ ÿâëÿþòñÿ îáû÷íûìè (ñòàíäàðòíûìè) íåéðîíà, âõîäàìè êîòîðûõ ÿâëÿþòñÿ ëèíåéíûå (âçâåøåííûå) êîìáèíàöèè âûõîäîâ íåéðîíîâ ïðåäûäóùåãî ñëîÿ, à âûõîäû ôîðìèðóþòñÿ ñ èñïîëüçîâàíèåì àêòèâàöèîííûõ ôóíêöèé ñèãìîèäíîãî òèïà. Ýòè âûõîäû òðàêòóþòñÿ êàê ñòåïåíè ïðèíàäëåæíîñòè ïðåäúÿâëåííîãî îáúåêòà ïåðâîìó èëè âòîðîìó êëàññó. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 141 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ñîäåðæàíèå 7 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé < (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 142 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ôèçè÷åñêàÿ èíòåðïðåòàöèÿ Êàæäàÿ ïðåäúÿâëÿåìàÿ âûáîðêà ìîæåò áûòü ïðåäñòàâëåíà òî÷êîé â ïðîñòðàíñòâå ïðèçíàêîâ. Ïðåäñòàâèì, ÷òî â êàæäîé òàêîé òî÷êå ïîìåùåí ýëåêòðè÷åñêèé çàðÿä.  íåêîòîðîé ïðîèçâîëüíîé òî÷êå M ñîâîêóïíîñòü âñåõ çàðÿäîâ ñîçäàåò ýëåêòðè÷åñêèé ïîòåíöèàë V , ÿâëÿþùèéñÿ ñóììîé îòäåëüíûõ ïîòåíöèàëîâ, ñîçäàâàåìûõ êàæäûì îòäåëüíûì çàðÿäîì. Èçâåñòíî, ÷òî âåëè÷èíà ïîòåíöèàëà âû÷èñëÿåòñÿ êàê ñóììà V = X 1 X qi = Vi , 4πε0 i ri i ãäå qi  çàðÿä â òî÷êå pi ; ri  ðàññòîÿíèå îò òî÷êè pi äî òî÷êè M . Ïîòåíöèàë âûðàæàåòñÿ ôóíêöèåé, ñèììåòðè÷íîé îòíîñèòåëüíî òî÷êè, â êîòîðîé ïîìåùåí çàðÿä; â ýòîé òî÷êå ïîòåíöèàë, ïî îïðåäåëåíèþ, ðàâåí áåñêîíå÷íîñòè. Ëèíèè, ñîåäèíÿþùèå òî÷êè ðàâíîãî ïîòåíöèàëà, íàçûâàþòñÿ ýêâèïîòåíöèàëüíûìè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 143 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ôèçè÷åñêàÿ èíòåðïðåòàöèÿ Êàæäàÿ ïðåäúÿâëÿåìàÿ âûáîðêà ìîæåò áûòü ïðåäñòàâëåíà òî÷êîé â ïðîñòðàíñòâå ïðèçíàêîâ. Ïðåäñòàâèì, ÷òî â êàæäîé òàêîé òî÷êå ïîìåùåí ýëåêòðè÷åñêèé çàðÿä.  íåêîòîðîé ïðîèçâîëüíîé òî÷êå M ñîâîêóïíîñòü âñåõ çàðÿäîâ ñîçäàåò ýëåêòðè÷åñêèé ïîòåíöèàë V , ÿâëÿþùèéñÿ ñóììîé îòäåëüíûõ ïîòåíöèàëîâ, ñîçäàâàåìûõ êàæäûì îòäåëüíûì çàðÿäîì. Èçâåñòíî, ÷òî âåëè÷èíà ïîòåíöèàëà âû÷èñëÿåòñÿ êàê ñóììà V = X 1 X qi = Vi , 4πε0 i ri i ãäå qi  çàðÿä â òî÷êå pi ; ri  ðàññòîÿíèå îò òî÷êè pi äî òî÷êè M . Ïîòåíöèàë âûðàæàåòñÿ ôóíêöèåé, ñèììåòðè÷íîé îòíîñèòåëüíî òî÷êè, â êîòîðîé ïîìåùåí çàðÿä; â ýòîé òî÷êå ïîòåíöèàë, ïî îïðåäåëåíèþ, ðàâåí áåñêîíå÷íîñòè. Ëèíèè, ñîåäèíÿþùèå òî÷êè ðàâíîãî ïîòåíöèàëà, íàçûâàþòñÿ ýêâèïîòåíöèàëüíûìè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 143 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ôèçè÷åñêàÿ èíòåðïðåòàöèÿ Êàæäàÿ ïðåäúÿâëÿåìàÿ âûáîðêà ìîæåò áûòü ïðåäñòàâëåíà òî÷êîé â ïðîñòðàíñòâå ïðèçíàêîâ. Ïðåäñòàâèì, ÷òî â êàæäîé òàêîé òî÷êå ïîìåùåí ýëåêòðè÷åñêèé çàðÿä.  íåêîòîðîé ïðîèçâîëüíîé òî÷êå M ñîâîêóïíîñòü âñåõ çàðÿäîâ ñîçäàåò ýëåêòðè÷åñêèé ïîòåíöèàë V , ÿâëÿþùèéñÿ ñóììîé îòäåëüíûõ ïîòåíöèàëîâ, ñîçäàâàåìûõ êàæäûì îòäåëüíûì çàðÿäîì. Èçâåñòíî, ÷òî âåëè÷èíà ïîòåíöèàëà âû÷èñëÿåòñÿ êàê ñóììà V = X 1 X qi = Vi , 4πε0 i ri i ãäå qi  çàðÿä â òî÷êå pi ; ri  ðàññòîÿíèå îò òî÷êè pi äî òî÷êè M . Ïîòåíöèàë âûðàæàåòñÿ ôóíêöèåé, ñèììåòðè÷íîé îòíîñèòåëüíî òî÷êè, â êîòîðîé ïîìåùåí çàðÿä; â ýòîé òî÷êå ïîòåíöèàë, ïî îïðåäåëåíèþ, ðàâåí áåñêîíå÷íîñòè. Ëèíèè, ñîåäèíÿþùèå òî÷êè ðàâíîãî ïîòåíöèàëà, íàçûâàþòñÿ ýêâèïîòåíöèàëüíûìè. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 143 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ìîæíî ïðåäñòàâèòü, ÷òî âñÿêîå îáëàêî òî÷åê, îòîáðàæàþùèõ íåêîòîðûé êëàññ, âûãëÿäèò êàê íåêîå ïîòåíöèàëüíîå ïëàòî, îòäåëåííîå îò äðóãîãî ïëàòî, îòîáðàæàþùåãî äðóãîé êëàññ, ãëóáîêîé äîëèíîé, ïîòåíöèàë â êîòîðîé ìèíèìàëåí èëè äàæå ðàâíîé íóëþ. Îïðåäåëåíèå ìèíèìàëüíîé (èëè íóëåâîé) ýêâèïîòåíöèàëè ïîçâîëèò íàéòè ãðàíèöó ðàçäåëà ìåæäó êëàññàìè. Îáîçíà÷èì ïîòåíöèàëüíóþ ôóíêöèþ K(x, xk ), öåíòðèðîâàííóþ îòíîñèòåëüíî xk . Äëÿ ëþáîé òî÷êè x è äëÿ ëþáîãî xk ìîæíî âûáðàòü íåêîòîðîå K , èìåþùåå âèä ∞ X K(x, xk ) = λ2i ϕi (x)ϕi (xk ), i=1 ãäå λi âûáðàíû òàêèìè, ÷òîáû óäîâëåòâîðÿëèñü óñëîâèÿ: λi 6= 0, P i λ2i < ∞, à ôóíêöèè ϕi (x) ïðåäñòàâëÿþò ñîáîþ ýëåìåíòû ïîñëåäîâàòåëüíîñòåé îðòîíîðìèðîâàííûõ ôóíêöèé. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 144 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ìîæíî ïðåäñòàâèòü, ÷òî âñÿêîå îáëàêî òî÷åê, îòîáðàæàþùèõ íåêîòîðûé êëàññ, âûãëÿäèò êàê íåêîå ïîòåíöèàëüíîå ïëàòî, îòäåëåííîå îò äðóãîãî ïëàòî, îòîáðàæàþùåãî äðóãîé êëàññ, ãëóáîêîé äîëèíîé, ïîòåíöèàë â êîòîðîé ìèíèìàëåí èëè äàæå ðàâíîé íóëþ. Îïðåäåëåíèå ìèíèìàëüíîé (èëè íóëåâîé) ýêâèïîòåíöèàëè ïîçâîëèò íàéòè ãðàíèöó ðàçäåëà ìåæäó êëàññàìè. Îáîçíà÷èì ïîòåíöèàëüíóþ ôóíêöèþ K(x, xk ), öåíòðèðîâàííóþ îòíîñèòåëüíî xk . Äëÿ ëþáîé òî÷êè x è äëÿ ëþáîãî xk ìîæíî âûáðàòü íåêîòîðîå K , èìåþùåå âèä ∞ X K(x, xk ) = λ2i ϕi (x)ϕi (xk ), i=1 ãäå λi âûáðàíû òàêèìè, ÷òîáû óäîâëåòâîðÿëèñü óñëîâèÿ: λi 6= 0, P i λ2i < ∞, à ôóíêöèè ϕi (x) ïðåäñòàâëÿþò ñîáîþ ýëåìåíòû ïîñëåäîâàòåëüíîñòåé îðòîíîðìèðîâàííûõ ôóíêöèé. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 144 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Äðóãîé ìåòîä ñîçäàíèÿ ïîòåíöèàëüíûõ ôóíêöèé ñîñòîèò â èñïîëüçîâàíèè ñâîéñòâà ñèììåòðèè îòíîñèòåëüíî xk , ò.å. K(x, xk ) = K(xk , x). Ìîæíî ïðèíÿòü, íàïðèìåð, òàêèå ôóíêöèè: 1 K(x, xk ) = exp(−α||x − xk ||2 ), 2 K(x, xk ) = 1 α||x−xk ||2 , 3 K(x, xk ) = sin(α||x−xk ||2 ) , α||x−xk ||2 ãäå α  ïîëîæèòåëüíàÿ êîíñòàíòà. Ýòè ôóíêöèè óìåíüøàþòñÿ ïî ìåðå óâåëè÷åíèÿ ðàññòîÿíèÿ d, ãäå d2 = ||x − xk ||2 . (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 145 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Äðóãîé ìåòîä ñîçäàíèÿ ïîòåíöèàëüíûõ ôóíêöèé ñîñòîèò â èñïîëüçîâàíèè ñâîéñòâà ñèììåòðèè îòíîñèòåëüíî xk , ò.å. K(x, xk ) = K(xk , x). Ìîæíî ïðèíÿòü, íàïðèìåð, òàêèå ôóíêöèè: 1 K(x, xk ) = exp(−α||x − xk ||2 ), 2 K(x, xk ) = 1 α||x−xk ||2 , 3 K(x, xk ) = sin(α||x−xk ||2 ) , α||x−xk ||2 ãäå α  ïîëîæèòåëüíàÿ êîíñòàíòà. Ýòè ôóíêöèè óìåíüøàþòñÿ ïî ìåðå óâåëè÷åíèÿ ðàññòîÿíèÿ d, ãäå d2 = ||x − xk ||2 . (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 145 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Äðóãîé ìåòîä ñîçäàíèÿ ïîòåíöèàëüíûõ ôóíêöèé ñîñòîèò â èñïîëüçîâàíèè ñâîéñòâà ñèììåòðèè îòíîñèòåëüíî xk , ò.å. K(x, xk ) = K(xk , x). Ìîæíî ïðèíÿòü, íàïðèìåð, òàêèå ôóíêöèè: 1 K(x, xk ) = exp(−α||x − xk ||2 ), 2 K(x, xk ) = 1 α||x−xk ||2 , 3 K(x, xk ) = sin(α||x−xk ||2 ) , α||x−xk ||2 ãäå α  ïîëîæèòåëüíàÿ êîíñòàíòà. Ýòè ôóíêöèè óìåíüøàþòñÿ ïî ìåðå óâåëè÷åíèÿ ðàññòîÿíèÿ d, ãäå d2 = ||x − xk ||2 . (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 145 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè Ðàññìîòðèì ïðîöåññ îáó÷åíèÿ, ïðè êîòîðîì ðàñïîçíàþùåé ìàøèíå ïðåäúÿâëÿþòñÿ îáðàçû, î êîòîðûõ çàðàíåå èçâåñòíî, ÷òî îíè ïðèíàäëåæàò ê îäíîìó èç äâóõ êëàññîâ - ëèáî Ω1 , ëèáî Ω2 . Ñèñòåìà ïðåäâàðèòåëüíîé îáðàáîòêè âûäåëÿåò íàäëåæàùèì îáðàçîì âûáðàííûå ïàðàìåòðû (ïðèçíàêè). Íàáîð ïðèçíàêîâ ïîçâîëÿåò ïîñòðîèòü âåêòîð xi+1 äëÿ (i + 1)-ãî îáðàçà. Ðàçäåëÿþùàÿ ôóíêöèÿ íàõîäèòñÿ ñ ïîìîùüþ ñóììàðíîãî ïîòåíöèàëà K(x), âû÷èñëÿåìîãî êàê ñóììà ÷àñòíûõ ïîòåíöèàëîâ K(x, xk ), ñâÿçàííûõ ñ êàæäûì îòäåëüíûì èñòî÷íèêîì. Îí íàõîäèòñÿ ïóòåì ïðèìåíåíèÿ ñëåäóþùåãî àëãîðèòìà, â êîòîðîì ÷åðåç i îáîçíà÷åí íîìåð ýòàïà: Ki+1 (x) = Ki (x) + ρi+1 K(x, xi+1 ). Êîððåêòèðóþùèé ÷ëåí ρi+1 óäîâëåòâîðÿåò ñëåäóþùèì óñëîâèÿì:  +1, xi+1 ∈ Ω1 , Ki (xi+1 ) ≤ 0,    −1, x i+1 ∈ Ω2 , Ki (xi+1 ) > 0, ρi+1 =  0, xi+1 ∈ Ω1 , Ki (xi+1 ) > 0,    0, xÐàñïîçíàâàíèå Ki (xi+1 ) ≤ 0. i+1 ∈ Ω2 , îáðàçîâ (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 146 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè Ðàññìîòðèì ïðîöåññ îáó÷åíèÿ, ïðè êîòîðîì ðàñïîçíàþùåé ìàøèíå ïðåäúÿâëÿþòñÿ îáðàçû, î êîòîðûõ çàðàíåå èçâåñòíî, ÷òî îíè ïðèíàäëåæàò ê îäíîìó èç äâóõ êëàññîâ - ëèáî Ω1 , ëèáî Ω2 . Ñèñòåìà ïðåäâàðèòåëüíîé îáðàáîòêè âûäåëÿåò íàäëåæàùèì îáðàçîì âûáðàííûå ïàðàìåòðû (ïðèçíàêè). Íàáîð ïðèçíàêîâ ïîçâîëÿåò ïîñòðîèòü âåêòîð xi+1 äëÿ (i + 1)-ãî îáðàçà. Ðàçäåëÿþùàÿ ôóíêöèÿ íàõîäèòñÿ ñ ïîìîùüþ ñóììàðíîãî ïîòåíöèàëà K(x), âû÷èñëÿåìîãî êàê ñóììà ÷àñòíûõ ïîòåíöèàëîâ K(x, xk ), ñâÿçàííûõ ñ êàæäûì îòäåëüíûì èñòî÷íèêîì. Îí íàõîäèòñÿ ïóòåì ïðèìåíåíèÿ ñëåäóþùåãî àëãîðèòìà, â êîòîðîì ÷åðåç i îáîçíà÷åí íîìåð ýòàïà: Ki+1 (x) = Ki (x) + ρi+1 K(x, xi+1 ). Êîððåêòèðóþùèé ÷ëåí ρi+1 óäîâëåòâîðÿåò ñëåäóþùèì óñëîâèÿì:  +1, xi+1 ∈ Ω1 , Ki (xi+1 ) ≤ 0,    −1, x i+1 ∈ Ω2 , Ki (xi+1 ) > 0, ρi+1 =  0, xi+1 ∈ Ω1 , Ki (xi+1 ) > 0,    0, xÐàñïîçíàâàíèå Ki (xi+1 ) ≤ 0. i+1 ∈ Ω2 , îáðàçîâ (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 146 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè Ðàññìîòðèì ïðîöåññ îáó÷åíèÿ, ïðè êîòîðîì ðàñïîçíàþùåé ìàøèíå ïðåäúÿâëÿþòñÿ îáðàçû, î êîòîðûõ çàðàíåå èçâåñòíî, ÷òî îíè ïðèíàäëåæàò ê îäíîìó èç äâóõ êëàññîâ - ëèáî Ω1 , ëèáî Ω2 . Ñèñòåìà ïðåäâàðèòåëüíîé îáðàáîòêè âûäåëÿåò íàäëåæàùèì îáðàçîì âûáðàííûå ïàðàìåòðû (ïðèçíàêè). Íàáîð ïðèçíàêîâ ïîçâîëÿåò ïîñòðîèòü âåêòîð xi+1 äëÿ (i + 1)-ãî îáðàçà. Ðàçäåëÿþùàÿ ôóíêöèÿ íàõîäèòñÿ ñ ïîìîùüþ ñóììàðíîãî ïîòåíöèàëà K(x), âû÷èñëÿåìîãî êàê ñóììà ÷àñòíûõ ïîòåíöèàëîâ K(x, xk ), ñâÿçàííûõ ñ êàæäûì îòäåëüíûì èñòî÷íèêîì. Îí íàõîäèòñÿ ïóòåì ïðèìåíåíèÿ ñëåäóþùåãî àëãîðèòìà, â êîòîðîì ÷åðåç i îáîçíà÷åí íîìåð ýòàïà: Ki+1 (x) = Ki (x) + ρi+1 K(x, xi+1 ). Êîððåêòèðóþùèé ÷ëåí ρi+1 óäîâëåòâîðÿåò ñëåäóþùèì óñëîâèÿì:  +1, xi+1 ∈ Ω1 , Ki (xi+1 ) ≤ 0,    −1, x i+1 ∈ Ω2 , Ki (xi+1 ) > 0, ρi+1 =  0, xi+1 ∈ Ω1 , Ki (xi+1 ) > 0,    0, xÐàñïîçíàâàíèå Ki (xi+1 ) ≤ 0. i+1 ∈ Ω2 , îáðàçîâ (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 146 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè Ðàññìîòðèì ïðîöåññ îáó÷åíèÿ, ïðè êîòîðîì ðàñïîçíàþùåé ìàøèíå ïðåäúÿâëÿþòñÿ îáðàçû, î êîòîðûõ çàðàíåå èçâåñòíî, ÷òî îíè ïðèíàäëåæàò ê îäíîìó èç äâóõ êëàññîâ - ëèáî Ω1 , ëèáî Ω2 . Ñèñòåìà ïðåäâàðèòåëüíîé îáðàáîòêè âûäåëÿåò íàäëåæàùèì îáðàçîì âûáðàííûå ïàðàìåòðû (ïðèçíàêè). Íàáîð ïðèçíàêîâ ïîçâîëÿåò ïîñòðîèòü âåêòîð xi+1 äëÿ (i + 1)-ãî îáðàçà. Ðàçäåëÿþùàÿ ôóíêöèÿ íàõîäèòñÿ ñ ïîìîùüþ ñóììàðíîãî ïîòåíöèàëà K(x), âû÷èñëÿåìîãî êàê ñóììà ÷àñòíûõ ïîòåíöèàëîâ K(x, xk ), ñâÿçàííûõ ñ êàæäûì îòäåëüíûì èñòî÷íèêîì. Îí íàõîäèòñÿ ïóòåì ïðèìåíåíèÿ ñëåäóþùåãî àëãîðèòìà, â êîòîðîì ÷åðåç i îáîçíà÷åí íîìåð ýòàïà: Ki+1 (x) = Ki (x) + ρi+1 K(x, xi+1 ). Êîððåêòèðóþùèé ÷ëåí ρi+1 óäîâëåòâîðÿåò ñëåäóþùèì óñëîâèÿì:  +1, xi+1 ∈ Ω1 , Ki (xi+1 ) ≤ 0,    −1, x i+1 ∈ Ω2 , Ki (xi+1 ) > 0, ρi+1 =  0, xi+1 ∈ Ω1 , Ki (xi+1 ) > 0,    0, xÐàñïîçíàâàíèå Ki (xi+1 ) ≤ 0. i+1 ∈ Ω2 , îáðàçîâ (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 146 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè Ðàññìîòðèì ïðîöåññ îáó÷åíèÿ, ïðè êîòîðîì ðàñïîçíàþùåé ìàøèíå ïðåäúÿâëÿþòñÿ îáðàçû, î êîòîðûõ çàðàíåå èçâåñòíî, ÷òî îíè ïðèíàäëåæàò ê îäíîìó èç äâóõ êëàññîâ - ëèáî Ω1 , ëèáî Ω2 . Ñèñòåìà ïðåäâàðèòåëüíîé îáðàáîòêè âûäåëÿåò íàäëåæàùèì îáðàçîì âûáðàííûå ïàðàìåòðû (ïðèçíàêè). Íàáîð ïðèçíàêîâ ïîçâîëÿåò ïîñòðîèòü âåêòîð xi+1 äëÿ (i + 1)-ãî îáðàçà. Ðàçäåëÿþùàÿ ôóíêöèÿ íàõîäèòñÿ ñ ïîìîùüþ ñóììàðíîãî ïîòåíöèàëà K(x), âû÷èñëÿåìîãî êàê ñóììà ÷àñòíûõ ïîòåíöèàëîâ K(x, xk ), ñâÿçàííûõ ñ êàæäûì îòäåëüíûì èñòî÷íèêîì. Îí íàõîäèòñÿ ïóòåì ïðèìåíåíèÿ ñëåäóþùåãî àëãîðèòìà, â êîòîðîì ÷åðåç i îáîçíà÷åí íîìåð ýòàïà: Ki+1 (x) = Ki (x) + ρi+1 K(x, xi+1 ). Êîððåêòèðóþùèé ÷ëåí ρi+1 óäîâëåòâîðÿåò ñëåäóþùèì óñëîâèÿì:  +1, xi+1 ∈ Ω1 , Ki (xi+1 ) ≤ 0,    −1, x i+1 ∈ Ω2 , Ki (xi+1 ) > 0, ρi+1 =  0, xi+1 ∈ Ω1 , Ki (xi+1 ) > 0,    0, xÐàñïîçíàâàíèå Ki (xi+1 ) ≤ 0. i+1 ∈ Ω2 , îáðàçîâ (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) 146 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè Ïðàâèëüíàÿ êëàññèôèêàöèÿ ñîîòâåòñòâóåò ñëó÷àÿì, êîãäà Ki (xi+1 > 0) ïðè xi+1 ∈ Ω1 è Ki (xi+1 ≤ 0) ïðè xi+1 ∈ Ω2 . Ïîýòîìó ìîæíî èñïîëüçîâàòü Ki (x) êàê ðàçäåëÿþùóþ ôóíêöèþ è îïðåäåëèòü åå èòåðàòèâíûì ìåòîäîì: di+1 (x) = di (x) + ρi+1 K(x, xi+1 ). Åñëè çíà÷åíèå ïîòåíöèàëà ïîëó÷åíî ñ ïîìîùüþ îðòîãîíàëüíûõ ôóíêöèé, òî ìîæíî çàïèñàòü: Ki+1 (x) = ∞ X cn (i + 1)ϕn (x) = di+1 (x). n=1 Êîýôôèöèåíòû cn (i + 1) çàâèñÿò îò ÷èñëà èòåðàöèé íà ýòàïå îáó÷åíèÿ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 147 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè Ïðàâèëüíàÿ êëàññèôèêàöèÿ ñîîòâåòñòâóåò ñëó÷àÿì, êîãäà Ki (xi+1 > 0) ïðè xi+1 ∈ Ω1 è Ki (xi+1 ≤ 0) ïðè xi+1 ∈ Ω2 . Ïîýòîìó ìîæíî èñïîëüçîâàòü Ki (x) êàê ðàçäåëÿþùóþ ôóíêöèþ è îïðåäåëèòü åå èòåðàòèâíûì ìåòîäîì: di+1 (x) = di (x) + ρi+1 K(x, xi+1 ). Åñëè çíà÷åíèå ïîòåíöèàëà ïîëó÷åíî ñ ïîìîùüþ îðòîãîíàëüíûõ ôóíêöèé, òî ìîæíî çàïèñàòü: Ki+1 (x) = ∞ X cn (i + 1)ϕn (x) = di+1 (x). n=1 Êîýôôèöèåíòû cn (i + 1) çàâèñÿò îò ÷èñëà èòåðàöèé íà ýòàïå îáó÷åíèÿ. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 147 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè Çíàÿ, ÷òî K(x, xi ) = ∞ X λ2n ϕn (x)ϕn (xi ) n=1 è Ki+1 (x) = Ki (x) + ρi+1 èìååì: ∞ X ∞ X λ2n ϕn (x)ϕn (xi + 1), n=1 cn (i + 1)ϕn (x) = n=1 ∞ X cn (i)ϕn (x) + ρi+1 n=1 ∞ X λ2n ϕn (x)ϕn (xi + 1). n=1 Ïîñêîëüêó ϕn (x) ÿâëÿåòñÿ îáùèì ìíîæèòåëåì â êàæäîì èç ñëàãàåìûõ ïðè ëþáîì n, ïîëó÷àåì ðåêóððåíòíîå ñîîòíîøåíèå äëÿ êîýôôèöèåíòîâ cn : cn (i + 1) = cn (i) + ρi+1 λ2n ϕn (xi+1 ), à ðàçäåëÿþùàÿ ôóíêöèÿ çàïèñûâàåòñÿ â âèäå: ∞ X di+1 (x) = cn (i + 1)ϕn (x). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) n=1 Ðàñïîçíàâàíèå îáðàçîâ 148 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè Çíàÿ, ÷òî K(x, xi ) = ∞ X λ2n ϕn (x)ϕn (xi ) n=1 è Ki+1 (x) = Ki (x) + ρi+1 èìååì: ∞ X ∞ X λ2n ϕn (x)ϕn (xi + 1), n=1 cn (i + 1)ϕn (x) = n=1 ∞ X cn (i)ϕn (x) + ρi+1 n=1 ∞ X λ2n ϕn (x)ϕn (xi + 1). n=1 Ïîñêîëüêó ϕn (x) ÿâëÿåòñÿ îáùèì ìíîæèòåëåì â êàæäîì èç ñëàãàåìûõ ïðè ëþáîì n, ïîëó÷àåì ðåêóððåíòíîå ñîîòíîøåíèå äëÿ êîýôôèöèåíòîâ cn : cn (i + 1) = cn (i) + ρi+1 λ2n ϕn (xi+1 ), à ðàçäåëÿþùàÿ ôóíêöèÿ çàïèñûâàåòñÿ â âèäå: ∞ X di+1 (x) = cn (i + 1)ϕn (x). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) n=1 Ðàñïîçíàâàíèå îáðàçîâ 148 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ïðèìåð Ðàññìîòðèì ïðèìåð ñ ýëåêòðè÷åñêèìè çàðÿäàìè. Äëÿ èçâåñòíîãî ïîòåíöèàëà F (x), çàäàííîãî íà èíòåðâàëå (a, b), ïðèáëèæåíèåì ê íåìó áóäåò ñóììà ∞ P F (x) = Ai ϕi (x), ãäå ϕi (x)  îðòîãîíàëüíûå ôóíêöèè, ò.å. òàêèå, ÷òî i=1 Zb ϕi (x)ϕj (x)ρ(x)dx = 0, i 6= j. a Çäåñü ρ(x)  âåñîâàÿ ôóíêöèÿ, â îáùåì ñëó÷àå îòëè÷íàÿ îò êîíñòàíòû íà èíòåðâàëå (a, b). Ãîâîðÿò, ÷òî ïîñëåäîâàòåëüíîñòü ôóíêöèé îðòîíîðìèðîâàíà, åñëè ( Zb 0, i 6= j ϕi (x)ϕj (x)ρ(x)dx = 1, i = j. a (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 149 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Îðòîãîíàëüíûå ôóíêöèè Íàèáîëåå ÷àñòî âñòðå÷àþùèåñÿ îðòîãîíàëüíûå ôóíêöèè îñíîâàíû íà ïîëèíîìàõ ×åáûøåâà è Ýðìèòà. Ôóíêöèè Ýðìèòà  2 exp − x2 Hi (x),  d i Hi (x) = (−1)i exp(x2 ) dx exp(−x2 )  ïîëèíîì Ýðìèòà. Ðåêóððåíòíàÿ ôîðìóëà: H0 (x) = 1 H1 (x) = 2x Hn+1 (x) = 2xHn (x) − 2nHn−1 (x). ϕi (x) = √ 1 √ 2i i! π (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ôóíêöèè ×åáûøåâà Tn (x) = cos(n arccos x), |x| ≤ 1  ïîëèíîì ×åáûøåâà. Ðåêóððåíòíàÿ ôîðìóëà: T0 (x) = 1 T1 (x) = x Tn+1 (x) = 2xTn (x) − Tn−1 (x). Ðàñïîçíàâàíèå îáðàçîâ 150 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ïðèìåð Ðàññìîòðèì ïðèìåð, â êîòîðîì òðåáóåòñÿ ïîñòðîèòü ðàçäåëÿþùóþ ôóíêöèþ ìåæäó äâóìÿ êëàññàìè Ω1 è Ω2 , äëÿ êîòîðûõ ïîëó÷åíû ïóòåì èçìåðåíèé (ýêñïåðèìåíòàëüíî) ñëåäóþùèå çíà÷åíèÿ, õàðàêòåðèçóþùèå ýëåìåíòû  ïðåäñòàâèòåëè ýòèõ êëàññîâ: x1 = (−1, 0), x2 = (1, 1), x3 = (2, 0), x4 = (1, −2), ïðè÷åì èçâåñòíî, ÷òî x1 , x2 ∈ Ω1 , x3 , x4 ∈ Ω2 . Âîñïîëüçóåìñÿ ïîëèíîìàìè Ýðìèòà. Ïîòåíöèàëüíàÿ ôóíêöèÿ, âûçâàííàÿ ýëåìåíòîì xi , áóäåò èìåòü âèä: ∞ X K(x, xi ) = ϕn (x)ϕn (xi ). n=1 Îãðàíè÷èìñÿ ïåðâûìè ÷åòûðüìÿ ñëàãàåìûìè, èñïîëüçóÿ ïðè ýòîì ïåðåìåííûå x1 è x2 : ϕ1 (x) = ϕ1 (x1 , x2 ) = H0 (x1 )H0 (x2 ) = 1; ϕ2 (x) = H1 (x1 )H0 (x2 ) = 2x1 ; ϕ3 (x) = H0 (x1 )H1 (x2 ) = 2x2 ; ϕ4 (x) = H1 (x1 )H1 (x2 ) = 4x1 x2 . (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 151 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ïðèìåð Ðàññìîòðèì ïðèìåð, â êîòîðîì òðåáóåòñÿ ïîñòðîèòü ðàçäåëÿþùóþ ôóíêöèþ ìåæäó äâóìÿ êëàññàìè Ω1 è Ω2 , äëÿ êîòîðûõ ïîëó÷åíû ïóòåì èçìåðåíèé (ýêñïåðèìåíòàëüíî) ñëåäóþùèå çíà÷åíèÿ, õàðàêòåðèçóþùèå ýëåìåíòû  ïðåäñòàâèòåëè ýòèõ êëàññîâ: x1 = (−1, 0), x2 = (1, 1), x3 = (2, 0), x4 = (1, −2), ïðè÷åì èçâåñòíî, ÷òî x1 , x2 ∈ Ω1 , x3 , x4 ∈ Ω2 . Âîñïîëüçóåìñÿ ïîëèíîìàìè Ýðìèòà. Ïîòåíöèàëüíàÿ ôóíêöèÿ, âûçâàííàÿ ýëåìåíòîì xi , áóäåò èìåòü âèä: ∞ X K(x, xi ) = ϕn (x)ϕn (xi ). n=1 Îãðàíè÷èìñÿ ïåðâûìè ÷åòûðüìÿ ñëàãàåìûìè, èñïîëüçóÿ ïðè ýòîì ïåðåìåííûå x1 è x2 : ϕ1 (x) = ϕ1 (x1 , x2 ) = H0 (x1 )H0 (x2 ) = 1; ϕ2 (x) = H1 (x1 )H0 (x2 ) = 2x1 ; ϕ3 (x) = H0 (x1 )H1 (x2 ) = 2x2 ; ϕ4 (x) = H1 (x1 )H1 (x2 ) = 4x1 x2 . (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 151 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ïðèìåð Ðàññìîòðèì ïðèìåð, â êîòîðîì òðåáóåòñÿ ïîñòðîèòü ðàçäåëÿþùóþ ôóíêöèþ ìåæäó äâóìÿ êëàññàìè Ω1 è Ω2 , äëÿ êîòîðûõ ïîëó÷åíû ïóòåì èçìåðåíèé (ýêñïåðèìåíòàëüíî) ñëåäóþùèå çíà÷åíèÿ, õàðàêòåðèçóþùèå ýëåìåíòû  ïðåäñòàâèòåëè ýòèõ êëàññîâ: x1 = (−1, 0), x2 = (1, 1), x3 = (2, 0), x4 = (1, −2), ïðè÷åì èçâåñòíî, ÷òî x1 , x2 ∈ Ω1 , x3 , x4 ∈ Ω2 . Âîñïîëüçóåìñÿ ïîëèíîìàìè Ýðìèòà. Ïîòåíöèàëüíàÿ ôóíêöèÿ, âûçâàííàÿ ýëåìåíòîì xi , áóäåò èìåòü âèä: ∞ X K(x, xi ) = ϕn (x)ϕn (xi ). n=1 Îãðàíè÷èìñÿ ïåðâûìè ÷åòûðüìÿ ñëàãàåìûìè, èñïîëüçóÿ ïðè ýòîì ïåðåìåííûå x1 è x2 : ϕ1 (x) = ϕ1 (x1 , x2 ) = H0 (x1 )H0 (x2 ) = 1; ϕ2 (x) = H1 (x1 )H0 (x2 ) = 2x1 ; ϕ3 (x) = H0 (x1 )H1 (x2 ) = 2x2 ; ϕ4 (x) = H1 (x1 )H1 (x2 ) = 4x1 x2 . (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 151 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ïðèìåð Ïîòåíöèàëüíàÿ ôóíêöèÿ K(x, xi ) = 4 X ϕn (x)ϕn (xi ) n=1 áóäåò èìåòü âèä: (i) (i) (i) (i) K(x, xi ) = 1 + 4x1 x1 + 4x2 x2 + 16x1 x2 x1 x2 , (i) ãäå x1  ñîñòàâëÿþùàÿ x1 îò i-ãî ýëåìåíòà. Òåïåðü íàéäåì ðàçäåëÿþùóþ ôóíêöèþ. Ðàññìîòðèì x1 = (−1, 0); ïîñêîëüêó x1 ∈ Ω1 , òî ñëåäóåò ïîëó÷èòü K(x) ≥ 0.  êà÷åñòâå íà÷àëüíîãî çíà÷åíèÿ ïðèìåì K0 (x) = 0. Òîãäà K1 (x) = K(x, x1 ) = 1 − 4x1 . Ïðîâåðÿåì x2 ∈ Ω1 : K1 (x2 ) = 1 − 4 < 0. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 152 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ïðèìåð Ïîòåíöèàëüíàÿ ôóíêöèÿ K(x, xi ) = 4 X ϕn (x)ϕn (xi ) n=1 áóäåò èìåòü âèä: (i) (i) (i) (i) K(x, xi ) = 1 + 4x1 x1 + 4x2 x2 + 16x1 x2 x1 x2 , (i) ãäå x1  ñîñòàâëÿþùàÿ x1 îò i-ãî ýëåìåíòà. Òåïåðü íàéäåì ðàçäåëÿþùóþ ôóíêöèþ. Ðàññìîòðèì x1 = (−1, 0); ïîñêîëüêó x1 ∈ Ω1 , òî ñëåäóåò ïîëó÷èòü K(x) ≥ 0.  êà÷åñòâå íà÷àëüíîãî çíà÷åíèÿ ïðèìåì K0 (x) = 0. Òîãäà K1 (x) = K(x, x1 ) = 1 − 4x1 . Ïðîâåðÿåì x2 ∈ Ω1 : K1 (x2 ) = 1 − 4 < 0. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 152 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ïðèìåð Ïîòåíöèàëüíàÿ ôóíêöèÿ K(x, xi ) = 4 X ϕn (x)ϕn (xi ) n=1 áóäåò èìåòü âèä: (i) (i) (i) (i) K(x, xi ) = 1 + 4x1 x1 + 4x2 x2 + 16x1 x2 x1 x2 , (i) ãäå x1  ñîñòàâëÿþùàÿ x1 îò i-ãî ýëåìåíòà. Òåïåðü íàéäåì ðàçäåëÿþùóþ ôóíêöèþ. Ðàññìîòðèì x1 = (−1, 0); ïîñêîëüêó x1 ∈ Ω1 , òî ñëåäóåò ïîëó÷èòü K(x) ≥ 0.  êà÷åñòâå íà÷àëüíîãî çíà÷åíèÿ ïðèìåì K0 (x) = 0. Òîãäà K1 (x) = K(x, x1 ) = 1 − 4x1 . Ïðîâåðÿåì x2 ∈ Ω1 : K1 (x2 ) = 1 − 4 < 0. (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 152 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ïðèìåð Ñëåäóþùèé øàã K2 (x) = K1 (x) + K(x, x2 ). Âû÷èñëÿåì K(x, x2 ) = 1 + 4x1 + 4x2 + 16x1 x2 , K2 (x) = 2 + 4x2 + 16x1 x2 . Ïðîâåðÿåì x3 ∈ Ω2 : K2 (x3 ) = 2 > 0. Êëàññèôèêàöèÿ íåâåðíàÿ, ïîýòîìó K3 (x) = K2 (x) − K(x, x3 ). K(x, x3 ) = 1 + 8x1 . K3 (x) = 1 − 8x1 + 4x2 + 16x1 x2 . Ïðîâåðÿåì x4 ∈ Ω2 : K3 (x4 ) = −47 < 0. Êëàññèôèêàöèÿ âåðíà, ïîýòîìó K4 (x) = K3 (x). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 153 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ïðèìåð Ñëåäóþùèé øàã K2 (x) = K1 (x) + K(x, x2 ). Âû÷èñëÿåì K(x, x2 ) = 1 + 4x1 + 4x2 + 16x1 x2 , K2 (x) = 2 + 4x2 + 16x1 x2 . Ïðîâåðÿåì x3 ∈ Ω2 : K2 (x3 ) = 2 > 0. Êëàññèôèêàöèÿ íåâåðíàÿ, ïîýòîìó K3 (x) = K2 (x) − K(x, x3 ). K(x, x3 ) = 1 + 8x1 . K3 (x) = 1 − 8x1 + 4x2 + 16x1 x2 . Ïðîâåðÿåì x4 ∈ Ω2 : K3 (x4 ) = −47 < 0. Êëàññèôèêàöèÿ âåðíà, ïîýòîìó K4 (x) = K3 (x). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 153 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ïðèìåð Ñëåäóþùèé øàã K2 (x) = K1 (x) + K(x, x2 ). Âû÷èñëÿåì K(x, x2 ) = 1 + 4x1 + 4x2 + 16x1 x2 , K2 (x) = 2 + 4x2 + 16x1 x2 . Ïðîâåðÿåì x3 ∈ Ω2 : K2 (x3 ) = 2 > 0. Êëàññèôèêàöèÿ íåâåðíàÿ, ïîýòîìó K3 (x) = K2 (x) − K(x, x3 ). K(x, x3 ) = 1 + 8x1 . K3 (x) = 1 − 8x1 + 4x2 + 16x1 x2 . Ïðîâåðÿåì x4 ∈ Ω2 : K3 (x4 ) = −47 < 0. Êëàññèôèêàöèÿ âåðíà, ïîýòîìó K4 (x) = K3 (x). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 153 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Ïðèìåð Ïðîâåðÿåì, êàê ïðè ýòîì êëàññèôèöèðóåòñÿ òî÷êà x1 ∈ Ω1 : K4 (x1 ) = 9 > 0. Òàêèì îáðàçîì ìû óáåäèëèñü â òîì, ÷òî â ðåçóëüòàòå âñå ÷åòûðå âûáîðêè êëàññèôèöèðîâàíû ïðàâèëüíî.  èòîãå ðàçäåëÿþùàÿ ôóíêöèÿ îïèñûâàåòñÿ óðàâíåíèåì x2 d(x) = 1−8x1 +4x2 +16x1 x2 = 0. x2 = x1 8x1 − 1 . 16x1 + 4 (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 154 / 155 Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé Óïðàæíåíèå Ïîñòðîèòü ïîòåíöèàëüíóþ ôóíêöèþ K(x), èñïîëüçóÿ ýêñïîíåíöèàëüíóþ ôóíêöèþ K(x, xk ) = exp(−α||x − xk ||2 ) ïî çàäàííûì ïðåöåäåíòàì: x1 = (0, 0), x2 = (2, 0), x3 = (1, 1), x4 = (1, −1), x1 , x2 ∈ Ω1 , x3 , x4 ∈ Ω2 . Ïî ïîñòðîåííîé ôóíêöèè îïðåäåëèòü ïðèíàäëåæíîñòü ê êëàññàì òî÷åê x5 = (−1, 0) è x6 = (1, 0). (ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ) Ðàñïîçíàâàíèå îáðàçîâ 155 / 155
«Распознавание образов» 👇
Готовые курсовые работы и рефераты
Купить от 250 ₽
Решение задач от ИИ за 2 минуты
Решить задачу
Помощь с рефератом от нейросети
Написать ИИ

Тебе могут подойти лекции

Смотреть все 588 лекций
Все самое важное и интересное в Telegram

Все сервисы Справочника в твоем телефоне! Просто напиши Боту, что ты ищешь и он быстро найдет нужную статью, лекцию или пособие для тебя!

Перейти в Telegram Bot