Распознавание образов
Выбери формат для чтения
Статья: Распознавание образов
Загружаем конспект в формате pdf
Это займет всего пару минут! А пока ты можешь прочитать работу в формате Word 👇
Ðàñïîçíàâàíèå îáðàçîâ
Âàðûãèíà Ì.Ï.
ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ
Ñîäåðæàíèå
1
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ. Ëàáîðàòîðíàÿ ðàáîòà 1.
2
Äèñêðèìèíàíòíûé ïîäõîä.
3
Àëãîðèòìû êëàñòåðèçàöèè. Ëàáîðàòîðíàÿ ðàáîòà 2.
4
Íåéðîííûå ñåòè. Ëàáîðàòîðíàÿ ðàáîòà 3.
5
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ. Ïðàêòè÷åñêîå çàíÿòèå 1.
6
Íå÷åòêàÿ ëîãèêà. Ëàáîðàòîðíàÿ ðàáîòà 4.Ïðàêòè÷åñêîå çàíÿòèå 2.
7
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé. Ïðàêòè÷åñêîå çàíÿòèå 3.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
2 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ñîäåðæàíèå
1
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Íàïðàâëåíèÿ ïðèìåíåíèÿ ðàñïîçíàâàíèÿ îáðàçîâ
Ñïèñîê ëèòåðàòóðû
Ëàáîðàòîðíàÿ ðàáîòà 1
Îñíîâíûå îïðåäåëåíèÿ
Ñèñòåìû ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
3 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Íàïðàâëåíèÿ ïðèìåíåíèÿ ðàñïîçíàâàíèÿ îáðàçîâ
Íàïðàâëåíèÿ ïðèìåíåíèÿ ðàñïîçíàâàíèÿ îáðàçîâ
1
Ñèìâîëüíîå ðàñïîçíàâàíèå
2
Ðàñïîçíàâàíèå èçîáðàæåíèé è àíàëèç ñöåí
3
Ðàñïîçíàâàíèå ðå÷è
4
Äèàãíîñòèêà â ìåäèöèíå
5
Ñèñòåìû áåçîïàñíîñòè
6
Ãåîëîãèÿ, ñåéñìîðàçâåäêà
7
Êëàññèôèêàöèÿ, êëàñòåðèçàöèÿ è ïîèñê â áàçàõ äàííûõ è çíàíèé
8
Äîïîëíåííàÿ ðåàëüíîñòü
9
...
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
>
>
>
>
>
>
Ðàñïîçíàâàíèå îáðàçîâ
4 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ñïèñîê ëèòåðàòóðû
Ñïèñîê ëèòåðàòóðû
1
Ãîðåëèê À.Ë., Ñêðèïêèí Â.À. Ìåòîäû ðàñïîçíàâàíèÿ: Ó÷åá. ïîñîáèå.
Ì.: Âûñø. øê., 1984.
2
Õàíò Ý. Èñêóññòâåííûé èíòåëëåêò. Ì.: Ìèð, 1978.
3
Ôîð À. Âîñïðèÿòèå è ðàñïîçíàâàíèå îáðàçîâ/ Ïåð. ñ ôð.
Ì.: Ìàøèíîñòðîåíèå, 1989.
4
Ôó Ê. Ñòðóêòóðíûå ìåòîäû â ðàñïîçíàâàíèè îáðàçîâ/ Ïåð. ñ àíãë.
Ì.: Ìèð, 1977.
5
Äóäà Ð., Õàðò Ï. Ðàñïîçíàâàíèå îáðàçîâ è àíàëèç ñöåí. Ì.: Ìèð, 1976.
6
Òó Äæ., Ãîíñàëåñ Ð. Ïðèíöèïû ðàñïîçíàâàíèÿ îáðàçîâ. Ì.: Ìèð, 1978.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
5 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ëàáîðàòîðíàÿ ðàáîòà 1
Ëàáîðàòîðíàÿ ðàáîòà 1. Ðàñïîçíàâàíèå ïå÷àòíûõ
ñèìâîëîâ
Öåëü ëàáîðàòîðíîé ðàáîòû èññëåäîâàíèå âîçìîæíîñòåé ðàñïîçíàâàíèÿ
ïå÷àòíûõ ñèìâîëîâ.
Çàäà÷è ëàáîðàòîðíîé ðàáîòû
1
Ïîäãîòîâêà ýòàëîííûõ (îáó÷àþùèõ) îáðàçîâ ïå÷àòíûõ ñèìâîëîâ â âèäå
íàáîðà ãðàôè÷åñêèõ ôàéëîâ (10x10 pxls).
2
Âûïîëíåíèå êîíòðîëüíûõ ðàñïîçíàâàíèé äëÿ íåèçâåñòíûõ ïå÷àòíûõ
ñèìâîëîâ.
Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷
1
×èñëî êëàññîâ: 10
2
×èñëî îïèñàíèé êàæäîãî êëàññà: 4-5
Ïðèìåðîì íàáîðà ýòàëîííûõ îáðàçîâ ÿâëÿåòñÿ ïîñëåäîâàòåëüíîñòü èç äåñÿòè
öèôð îò 0 äî 9 (ïîñëåäîâàòåëüíîñòü áóêâ A-Z, À-ß).
 êà÷åñòâå ìåðû ðàññòîÿíèÿ îò îäíîãî ðèñóíêà äî äðóãîãî âûáðàòü ÷èñëî
íåñîâïàäàþùèõ â íèõ ïèêñåëåé. <
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
6 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Îñíîâíûå îïðåäåëåíèÿ
Îñíîâíûå îïðåäåëåíèÿ
Ðàñïîçíàâàíèå îáðàçîâ (Pattern Recognition) ýòî íàóêà î ìåòîäàõ è
àëãîðèòìàõ êëàññèôèêàöèè îáúåêòîâ ðàçëè÷íîé ïðèðîäû.
, êëàññ (Pattern) êëàññèôèêàöèîííàÿ ãðóïïèðîâêà,
îáúåäèíÿþùàÿ (âûäåëÿþùàÿ) îïðåäåëåííóþ ãðóïïó îáúåêòîâ ïî
íåêîòîðîìó ïðèçíàêó.
Îáðàç
Ïðåöåäåíò
îáðàç, ïðàâèëüíàÿ êëàññèôèêàöèÿ êîòîðîãî èçâåñòíà.
Ìåòîäèêà îòíåñåíèÿ ýëåìåíòà ê êàêîìó-ëèáî îáðàçó íàçûâàåòñÿ
ðåøàþùèì ïðàâèëîì. Ñïîñîá îïðåäåëåíèÿ ðàññòîÿíèÿ ìåæäó
ýëåìåíòàìè óíèâåðñàëüíîãî ìíîæåñòâà ìåòðèêà.
Èçìåðåíèÿ, èñïîëüçóåìûå äëÿ êëàññèôèêàöèè îáðàçîâ, íàçûâàþòñÿ
ïðèçíàêàìè. Ïðèçíàê ýòî íåêîòîðîå êîëè÷åñòâåííîå èçìåðåíèå îáúåêòà
ïðîèçâîëüíîé ïðèðîäû. Âûäåëÿþò ïðèçíàêè äåòåðìèíèðîâàííûå,
âåðîÿòíîñòíûå, ëîãè÷åñêèå, ñòðóêòóðíûå.
Ñîâîêóïíîñòü ïðèçíàêîâ, îòíîñÿùèõñÿ ê îäíîìó îáðàçó, íàçûâàåòñÿ
âåêòîðîì ïðèçíàêîâ. Âåêòîðà ïðèçíàêîâ ïðèíèìàþò çíà÷åíèÿ â
ïðîñòðàíñòâå ïðèçíàêîâ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
7 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Îñíîâíûå îïðåäåëåíèÿ
Îñíîâíûå îïðåäåëåíèÿ
Ðàñïîçíàâàíèå îáðàçîâ (Pattern Recognition) ýòî íàóêà î ìåòîäàõ è
àëãîðèòìàõ êëàññèôèêàöèè îáúåêòîâ ðàçëè÷íîé ïðèðîäû.
, êëàññ (Pattern) êëàññèôèêàöèîííàÿ ãðóïïèðîâêà,
îáúåäèíÿþùàÿ (âûäåëÿþùàÿ) îïðåäåëåííóþ ãðóïïó îáúåêòîâ ïî
íåêîòîðîìó ïðèçíàêó.
Îáðàç
Ïðåöåäåíò
îáðàç, ïðàâèëüíàÿ êëàññèôèêàöèÿ êîòîðîãî èçâåñòíà.
Ìåòîäèêà îòíåñåíèÿ ýëåìåíòà ê êàêîìó-ëèáî îáðàçó íàçûâàåòñÿ
ðåøàþùèì ïðàâèëîì. Ñïîñîá îïðåäåëåíèÿ ðàññòîÿíèÿ ìåæäó
ýëåìåíòàìè óíèâåðñàëüíîãî ìíîæåñòâà ìåòðèêà.
Èçìåðåíèÿ, èñïîëüçóåìûå äëÿ êëàññèôèêàöèè îáðàçîâ, íàçûâàþòñÿ
ïðèçíàêàìè. Ïðèçíàê ýòî íåêîòîðîå êîëè÷åñòâåííîå èçìåðåíèå îáúåêòà
ïðîèçâîëüíîé ïðèðîäû. Âûäåëÿþò ïðèçíàêè äåòåðìèíèðîâàííûå,
âåðîÿòíîñòíûå, ëîãè÷åñêèå, ñòðóêòóðíûå.
Ñîâîêóïíîñòü ïðèçíàêîâ, îòíîñÿùèõñÿ ê îäíîìó îáðàçó, íàçûâàåòñÿ
âåêòîðîì ïðèçíàêîâ. Âåêòîðà ïðèçíàêîâ ïðèíèìàþò çíà÷åíèÿ â
ïðîñòðàíñòâå ïðèçíàêîâ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
7 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Îñíîâíûå îïðåäåëåíèÿ
Îñíîâíûå îïðåäåëåíèÿ
Ðàñïîçíàâàíèå îáðàçîâ (Pattern Recognition) ýòî íàóêà î ìåòîäàõ è
àëãîðèòìàõ êëàññèôèêàöèè îáúåêòîâ ðàçëè÷íîé ïðèðîäû.
, êëàññ (Pattern) êëàññèôèêàöèîííàÿ ãðóïïèðîâêà,
îáúåäèíÿþùàÿ (âûäåëÿþùàÿ) îïðåäåëåííóþ ãðóïïó îáúåêòîâ ïî
íåêîòîðîìó ïðèçíàêó.
Îáðàç
Ïðåöåäåíò
îáðàç, ïðàâèëüíàÿ êëàññèôèêàöèÿ êîòîðîãî èçâåñòíà.
Ìåòîäèêà îòíåñåíèÿ ýëåìåíòà ê êàêîìó-ëèáî îáðàçó íàçûâàåòñÿ
ðåøàþùèì ïðàâèëîì. Ñïîñîá îïðåäåëåíèÿ ðàññòîÿíèÿ ìåæäó
ýëåìåíòàìè óíèâåðñàëüíîãî ìíîæåñòâà ìåòðèêà.
Èçìåðåíèÿ, èñïîëüçóåìûå äëÿ êëàññèôèêàöèè îáðàçîâ, íàçûâàþòñÿ
ïðèçíàêàìè. Ïðèçíàê ýòî íåêîòîðîå êîëè÷åñòâåííîå èçìåðåíèå îáúåêòà
ïðîèçâîëüíîé ïðèðîäû. Âûäåëÿþò ïðèçíàêè äåòåðìèíèðîâàííûå,
âåðîÿòíîñòíûå, ëîãè÷åñêèå, ñòðóêòóðíûå.
Ñîâîêóïíîñòü ïðèçíàêîâ, îòíîñÿùèõñÿ ê îäíîìó îáðàçó, íàçûâàåòñÿ
âåêòîðîì ïðèçíàêîâ. Âåêòîðà ïðèçíàêîâ ïðèíèìàþò çíà÷åíèÿ â
ïðîñòðàíñòâå ïðèçíàêîâ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
7 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Îñíîâíûå îïðåäåëåíèÿ
Îñíîâíûå îïðåäåëåíèÿ
Ðàñïîçíàâàíèå îáðàçîâ (Pattern Recognition) ýòî íàóêà î ìåòîäàõ è
àëãîðèòìàõ êëàññèôèêàöèè îáúåêòîâ ðàçëè÷íîé ïðèðîäû.
, êëàññ (Pattern) êëàññèôèêàöèîííàÿ ãðóïïèðîâêà,
îáúåäèíÿþùàÿ (âûäåëÿþùàÿ) îïðåäåëåííóþ ãðóïïó îáúåêòîâ ïî
íåêîòîðîìó ïðèçíàêó.
Îáðàç
Ïðåöåäåíò
îáðàç, ïðàâèëüíàÿ êëàññèôèêàöèÿ êîòîðîãî èçâåñòíà.
Ìåòîäèêà îòíåñåíèÿ ýëåìåíòà ê êàêîìó-ëèáî îáðàçó íàçûâàåòñÿ
ðåøàþùèì ïðàâèëîì. Ñïîñîá îïðåäåëåíèÿ ðàññòîÿíèÿ ìåæäó
ýëåìåíòàìè óíèâåðñàëüíîãî ìíîæåñòâà ìåòðèêà.
Èçìåðåíèÿ, èñïîëüçóåìûå äëÿ êëàññèôèêàöèè îáðàçîâ, íàçûâàþòñÿ
ïðèçíàêàìè. Ïðèçíàê ýòî íåêîòîðîå êîëè÷åñòâåííîå èçìåðåíèå îáúåêòà
ïðîèçâîëüíîé ïðèðîäû. Âûäåëÿþò ïðèçíàêè äåòåðìèíèðîâàííûå,
âåðîÿòíîñòíûå, ëîãè÷åñêèå, ñòðóêòóðíûå.
Ñîâîêóïíîñòü ïðèçíàêîâ, îòíîñÿùèõñÿ ê îäíîìó îáðàçó, íàçûâàåòñÿ
âåêòîðîì ïðèçíàêîâ. Âåêòîðà ïðèçíàêîâ ïðèíèìàþò çíà÷åíèÿ â
ïðîñòðàíñòâå ïðèçíàêîâ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
7 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Îñíîâíûå îïðåäåëåíèÿ
Äåòåðìèíèðîâàííûå ïðèçíàêè
Ïðèíèìàþò êîíêðåòíûå ÷èñëîâûå çíà÷åíèÿ.
Ìîãóò ðàññìàòðèâàòüñÿ â êà÷åñòâå êîîðäèíàò òî÷êè â ïðèçíàêîâîì
ïðîñòðàíñòâå, ñîîòâåòñòâóþùåé äàííîìó îáúåêòó.
Ïðè ðàññìîòðåíèè ïðèçíàêîâ îøèáêàìè èçìåðåíèé ïðåíåáðåãàþò.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
8 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Îñíîâíûå îïðåäåëåíèÿ
Âåðîÿòíîñòíûå ïðèçíàêè
Cëó÷àéíûå çíà÷åíèÿ ïðèçíàêîâ ðàñïðåäåëåíû ïî âñåì êëàññàì îáúåêòîâ.
Ðåøåíèå î ïðèíàäëåæíîñòè ðàñïîçíàâàåìîãî îáúåêòà ê òîìó èëè
äðóãîìó êëàññó ìîæåò ïðèíèìàòüñÿ òîëüêî íà îñíîâàíèè êîíêðåòíûõ
çíà÷åíèé ïðèçíàêîâ äàííîãî îáúåêòà, îïðåäåëåííûõ â ðåçóëüòàòå
ïðîâåäåíèÿ ñîîòâåòñòâóþùèõ îïûòîâ.
Ïðèçíàêè âåðîÿòíîñòíûå, åñëè èçìåðåíèå èõ ÷èñëîâûõ çíà÷åíèé
ïðîèçâîäèòñÿ ñ òàêèìè îøèáêàìè, ÷òî ïî ðåçóëüòàòàì èçìåðåíèé,
íåâîçìîæíî ñ ïîëíîé îïðåäåëåííîñòüþ ñêàçàòü êàêîå ÷èñëîâîå çíà÷åíèå
äàííàÿ âåëè÷èíà ïðèíÿëà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
9 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Îñíîâíûå îïðåäåëåíèÿ
Ëîãè÷åñêèå ïðèçíàêè
Ýëåìåíòàðíûå âûñêàçûâàíèÿ, ïðèíèìàþùèå äâà çíà÷åíèÿ èñòèííîñòè
(äà - íåò èëè èñòèíà - ëîæü) ñ ïîëíîé îïðåäåëåííîñòüþ.
Ïðèçíàêè, íå èìåþùèå êîëè÷åñòâåííîãî âûðàæåíèÿ.
Ñóæäåíèÿ êà÷åñòâåííîãî õàðàêòåðà òèïà íàëè÷èÿ èëè îòñóòñòâèÿ
íåêîòîðûõ ñâîéñòâ ó ðàñïîçíàâàåìûõ îáúåêòîâ èëè ÿâëåíèé.
Ïðèçíàêè, ó êîòîðûõ âàæíà íå âåëè÷èíà, à ñàì ôàêò ïîïàäàíèÿ èëè íå
ïîïàäàíèÿ â çàäàííûé èíòåðâàë. Â ïðåäåëàõ ýòèõ èíòåðâàëàõ ïîÿâëåíèå
ðàçëè÷íûõ çíà÷åíèé ïðèçíàêîâ ïðåäïîëàãàåòñÿ ðàâíîâåðîÿòíûì.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
10 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Îñíîâíûå îïðåäåëåíèÿ
Ñòðóêòóðíûå (ëèíãâèñòè÷åñêèå, ñèíòàêñè÷åñêèå)
Íåïðîèçâîäíûå ýëåìåíòû (ñèìâîëû) ñòðóêòóðû îáúåêòà, èíà÷å ýòè
ýëåìåíòû íàçûâàþò òåðìèíàëàìè.
Êàæäûé îáúåêò ìîæåò ðàññìàòðèâàòüñÿ êàê öåïî÷êà ñèìâîëîâ èëè
òåðìèíàëîâ.
 ðàñïîçíàâàíèè áóêâ ê òåðìèíàëàì ìîæíî îòíåñòè ãîðèçîíòàëüíûå,
âåðòèêàëüíûå, íàêëîííûå, ÷åðòî÷êè, íàëè÷èå óãëà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
11 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ñèñòåìû ðàñïîçíàâàíèÿ îáðàçîâ
Ñèñòåìû ðàñïîçíàâàíèÿ îáðàçîâ
Ñõåìà ïîñòðîåíèÿ ñèñòåìû ðàñïîçíàâàíèÿ:
Îáðàç
Ïðåîáðàçîâàíèå
îáðàçà
x
Âûáîð èíôîðìàòèâíûõ
x
e
Êëàññèôèêàòîð
Êëàññ ω
ïðèçíàêîâ
Îáó÷åíèå
Îñíîâíûå çàäà÷è ðàñïîçíàâàíèÿ îáðàçîâ:
Ïðåîáðàçîâàíèå èñõîäíûõ äàííûõ ê âèäó, óäîáíîìó äëÿ ðàñïîçíàâàíèÿ,
Ìàòåìàòè÷åñêîå îïèñàíèå îáðàçîâ,
Âûáîð íàèáîëåå èíôîðìàòèâíûõ ïðèçíàêîâ,
Îïèñàíèå êëàññîâ ðàñïîçíàâàåìûõ îáúåêòîâ,
Âûðàáîòêà ðåøàþùåãî ïðàâèëà (êëàññèôèêàòîðà),
Îöåíêà äîñòîâåðíîñòè êëàññèôèêàöèè îáðàçîâ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
12 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ñèñòåìû ðàñïîçíàâàíèÿ îáðàçîâ
Òèïû ñèñòåì ðàñïîçíàâàíèÿ
Êëàññèôèêàöèÿ ñèñòåì ðàñïîçíàâàíèÿ ïî õàðàêòåðó èíôîðìàöèè î
ïðèçíàêàõ ðàñïîçíàâàåìûõ îáúåêòàõ:
èñïîëüçóþòñÿ ãåîìåòðè÷åñêèå ìåðû áëèçîñòè,
îñíîâàííûå íà èçìåðåíèè ðàññòîÿíèé ìåæäó ðàñïîçíàâàåìûì îáúåêòîì
è ýòàëîíàìè êëàññîâ.
Äåòåðìèíèðîâàííûå
èñïîëüçóþòñÿ âåðîÿòíîñòíûå ìåòîäû, îñíîâàííûå íà
òåîðèè ñòàòèñòè÷åñêèõ ðåøåíèé.
Âåðîÿòíîñòíûå
èñïîëüçóþòñÿ ëîãè÷åñêèå ìåòîäû ðàñïîçíàâàíèÿ,
îñíîâàííûå íà äèñêðåòíîì àíàëèçå è áàçèðóþùåìñÿ íà íåì èñ÷èñëåíèè
âûñêàçûâàíèé.
Ëîãè÷åñêèå
(ëèíãâèñòè÷åñêèå) èñïîëüçóþòñÿ ñïåöèàëüíûå
ãðàììàòèêè, ïîðîæäàþùèå ÿçûêè, ñîñòîÿùèå èç ïðåäëîæåíèé, êàæäîå
èç êîòîðûõ îïèñûâàåò îáúåêòû, ïðèíàäëåæàùèå êîíêðåòíîìó êëàññó.
Ñòðóêòóðíûå
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
13 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ñèñòåìû ðàñïîçíàâàíèÿ îáðàçîâ
Òèïû ñèñòåì ðàñïîçíàâàíèÿ
Êëàññèôèêàöèÿ ñèñòåì ðàñïîçíàâàíèÿ ïî êîëè÷åñòâó àïðèîðíîé èíôîðìàöèè
î ðàñïîçíàâàåìûõ îáúåêòàõ:
Ñèñòåìû áåç îáó÷åíèÿ åñëè èìååòñÿ ìíîæåñòâî âåêòîðîâ ïðèçíàêîâ,
ïîëó÷åííûõ äëÿ íåêîòîðîãî íàáîðà îáðàçîâ, íî ïðàâèëüíàÿ
êëàññèôèêàöèÿ ýòèõ îáðàçîâ íåèçâåñòíà. Ðàçäåëåíèå ýòèõ îáðàçîâ íà
êëàññû ïðîèñõîäèò ïî ñõîäñòâó ñîîòâåòñòâóþùèõ âåêòîðîâ ïðèçíàêîâ.
(ó÷èòåëåì) åñëè êîëè÷åñòâà àïðèîðíîé
èíôîðìàöèè äîñòàòî÷íî òîëüêî äëÿ ôîðìèðîâàíèÿ íàáîðà ïðèçíàêîâ,
íî íå äëÿ îïðåäåëåíèÿ ãðàíèö ìåæäó êëàññàìè. Ñèñòåìå ðàñïîçíàâàíèÿ
ïðåäúÿâëÿåòñÿ íåêîòîðîå îáó÷àþùåå ìíîæåñòâî (îáó÷àþùàÿ âûáîðêà,
ìíîæåñòâî ïðåöåäåíòîâ), ñ óêàçàíèåì, ê êàêèì êëàññàì ýòè îáúåêòû
ïðèíàäëåæàò.
Ñèñòåìû ñ îáó÷åíèåì
åñëè êîëè÷åñòâà àïðèîðíîé èíôîðìàöèè
íåäîñòàòî÷íî äàæå äëÿ ôîðìèðîâàíèÿ íàáîðà ïðèçíàêîâ.  ñèñòåìó
ðàñïîçíàâàíèÿ îáðàçîâ ââîäèòñÿ âûðàáîòàííûé ýêñïåðòàìè ñïèñîê
ïðàâèë, îáúÿñíÿþùèé çàäà÷è ðàñïîçíàâàíèÿ îáðàçîâ (ýêñïåðòíûå
ñèñòåìû).
Ñèñòåìû ñ ñàìîîáó÷åíèåì
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
14 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Îïèñàíèå îáðàçà
 ïðîöåññå èçìåðåíèÿ ó÷àñòâóþò äâà îáúåêòà: èçìåðèòåëüíûé ïðèáîð è
èçìåðÿåìûé îáúåêò.
Ýìïèðè÷åñêàÿ ñèñòåìà E = {A, R}, A ìíîæåñòâî èçìåðÿåìûõ
îáúåêòîâ, R îòíîøåíèÿ ìåæäó íèìè.
Cèìâîëüíàÿ ñèñòåìà N = {M, P }, M ìíîæåñòâî ñèìâîëîâ,
P êîíå÷íûé íàáîð îòíîøåíèé íà ýòèõ ñèìâîëàõ.
Äîãîâîðåííîñòü èñïîëüçîâàòü ôèêñèðîâàííîå îòîáðàæåíèå ñèñòåìû E íà N
îçíà÷àåò âûáîð íåêîòîðîãî îïðåäåëåííîãî ïðàâèëà îòîáðàæåíèÿ g . Òðîéêà
< E, N, g > íàçûâàåòñÿ øêàëîé.
Ìîæíî äîãîâîðèòüñÿ î íåêîòîðîì äðóãîì ñïîñîáå îòîáðàæåíèÿ g ∗ , è òîãäà
áóäåì èìåòü äåëî ñ äðóãîé øêàëîé < E, N, g ∗ >.
Íàïðèìåð, â g çàïèñûâàåì âåñ â êèëîãðàììàõ, à â g ∗ â òîííàõ. Öèôðîâàÿ
çàïèñü îêàçûâàåòñÿ ðàçëè÷íîé ïðè îäèíàêîâîì ýìïèðè÷åñêîì ñîäåðæàíèè.
Äîïóñòèìî ïðåîáðàçîâàíèå g = f (g ∗ ), f òèï øêàëû.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
15 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Îïèñàíèå îáðàçà
 ïðîöåññå èçìåðåíèÿ ó÷àñòâóþò äâà îáúåêòà: èçìåðèòåëüíûé ïðèáîð è
èçìåðÿåìûé îáúåêò.
Ýìïèðè÷åñêàÿ ñèñòåìà E = {A, R}, A ìíîæåñòâî èçìåðÿåìûõ
îáúåêòîâ, R îòíîøåíèÿ ìåæäó íèìè.
Cèìâîëüíàÿ ñèñòåìà N = {M, P }, M ìíîæåñòâî ñèìâîëîâ,
P êîíå÷íûé íàáîð îòíîøåíèé íà ýòèõ ñèìâîëàõ.
Äîãîâîðåííîñòü èñïîëüçîâàòü ôèêñèðîâàííîå îòîáðàæåíèå ñèñòåìû E íà N
îçíà÷àåò âûáîð íåêîòîðîãî îïðåäåëåííîãî ïðàâèëà îòîáðàæåíèÿ g . Òðîéêà
< E, N, g > íàçûâàåòñÿ øêàëîé.
Ìîæíî äîãîâîðèòüñÿ î íåêîòîðîì äðóãîì ñïîñîáå îòîáðàæåíèÿ g ∗ , è òîãäà
áóäåì èìåòü äåëî ñ äðóãîé øêàëîé < E, N, g ∗ >.
Íàïðèìåð, â g çàïèñûâàåì âåñ â êèëîãðàììàõ, à â g ∗ â òîííàõ. Öèôðîâàÿ
çàïèñü îêàçûâàåòñÿ ðàçëè÷íîé ïðè îäèíàêîâîì ýìïèðè÷åñêîì ñîäåðæàíèè.
Äîïóñòèìî ïðåîáðàçîâàíèå g = f (g ∗ ), f òèï øêàëû.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
15 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Îïèñàíèå îáðàçà
 ïðîöåññå èçìåðåíèÿ ó÷àñòâóþò äâà îáúåêòà: èçìåðèòåëüíûé ïðèáîð è
èçìåðÿåìûé îáúåêò.
Ýìïèðè÷åñêàÿ ñèñòåìà E = {A, R}, A ìíîæåñòâî èçìåðÿåìûõ
îáúåêòîâ, R îòíîøåíèÿ ìåæäó íèìè.
Cèìâîëüíàÿ ñèñòåìà N = {M, P }, M ìíîæåñòâî ñèìâîëîâ,
P êîíå÷íûé íàáîð îòíîøåíèé íà ýòèõ ñèìâîëàõ.
Äîãîâîðåííîñòü èñïîëüçîâàòü ôèêñèðîâàííîå îòîáðàæåíèå ñèñòåìû E íà N
îçíà÷àåò âûáîð íåêîòîðîãî îïðåäåëåííîãî ïðàâèëà îòîáðàæåíèÿ g . Òðîéêà
< E, N, g > íàçûâàåòñÿ øêàëîé.
Ìîæíî äîãîâîðèòüñÿ î íåêîòîðîì äðóãîì ñïîñîáå îòîáðàæåíèÿ g ∗ , è òîãäà
áóäåì èìåòü äåëî ñ äðóãîé øêàëîé < E, N, g ∗ >.
Íàïðèìåð, â g çàïèñûâàåì âåñ â êèëîãðàììàõ, à â g ∗ â òîííàõ. Öèôðîâàÿ
çàïèñü îêàçûâàåòñÿ ðàçëè÷íîé ïðè îäèíàêîâîì ýìïèðè÷åñêîì ñîäåðæàíèè.
Äîïóñòèìî ïðåîáðàçîâàíèå g = f (g ∗ ), f òèï øêàëû.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
15 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Òèïû øêàë
1
2
3
4
5
Àáñîëþòíàÿ øêàëà. Äîïóñòèìîå ïðåîáðàçîâàíèå äëÿ øêàë äàííîãî
òèïà ïðåäñòàâëÿåò èç ñåáÿ òîæäåñòâî. Ïðèìåð: 6=VI.
Øêàëà îòíîøåíèé. Ìåæäó ðàçíûìè ïðîòîêîëàìè äîëæíî âûïîëíÿòüñÿ
îòíîøåíèå y = ax. Ïðèìåð: 16 êã, 16000 ã, 1 ïóä.
Øêàëà èíòåðâàëîâ. Ìåæäó ïðîòîêîëàìè äîïóñòèìû ëèíåéíûå
ïðåîáðàçîâàíèÿ y = ax + b. Ïðèìåð: èçìåðåíèå òåìïåðàòóðû (Öåëüñèÿ,
Êåëüâèíà, Ôàðåíãåéòà).
Øêàëà ïîðÿäêà. Äîïóñòèìû âñå ìîíîòîííûå ïðåîáðàçîâàíèÿ, ò.å.
òàêèå, êîòîðûå íå íàðóøàþò ïîðÿäîê ñëåäîâàíèÿ çíà÷åíèé èçìåðÿåìûõ
âåëè÷èí. Ïðèìåð: ¾1,2,3¿ è ¾5.3, 7.5, 19.2¿
øêàëû áàëëîâ. Ïðèìåð: îò 1 äî 20 (ðåéòèíã).
øêàëû ðàíãîâ. Ïðèìåð: ðàíãè ñëîâ â òåêñòå ñ ñîâïàäàþùèìè
÷àñòîòàìè.
Øêàëû ïîðÿäêà ñîäåðæàò èíôîðìàöèþ òîëüêî î òðåõ ýìïèðè÷åêèõ
îòíîøåíèÿõ >, < è =.
Øêàëà íàèìåíîâàíèé. Ôèêñèðóþòñÿ 2 îòíîøåíèÿ: = è 6=. Äîïóñòèìû
ïðåîáðàçîâàíèÿ, â êîòîðûõ ðàçíûå îáúåêòû èìåþò ðàçíûå íàçâàíèÿ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
16 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Òèïû øêàë
1
2
3
4
5
Àáñîëþòíàÿ øêàëà. Äîïóñòèìîå ïðåîáðàçîâàíèå äëÿ øêàë äàííîãî
òèïà ïðåäñòàâëÿåò èç ñåáÿ òîæäåñòâî. Ïðèìåð: 6=VI.
Øêàëà îòíîøåíèé. Ìåæäó ðàçíûìè ïðîòîêîëàìè äîëæíî âûïîëíÿòüñÿ
îòíîøåíèå y = ax. Ïðèìåð: 16 êã, 16000 ã, 1 ïóä.
Øêàëà èíòåðâàëîâ. Ìåæäó ïðîòîêîëàìè äîïóñòèìû ëèíåéíûå
ïðåîáðàçîâàíèÿ y = ax + b. Ïðèìåð: èçìåðåíèå òåìïåðàòóðû (Öåëüñèÿ,
Êåëüâèíà, Ôàðåíãåéòà).
Øêàëà ïîðÿäêà. Äîïóñòèìû âñå ìîíîòîííûå ïðåîáðàçîâàíèÿ, ò.å.
òàêèå, êîòîðûå íå íàðóøàþò ïîðÿäîê ñëåäîâàíèÿ çíà÷åíèé èçìåðÿåìûõ
âåëè÷èí. Ïðèìåð: ¾1,2,3¿ è ¾5.3, 7.5, 19.2¿
øêàëû áàëëîâ. Ïðèìåð: îò 1 äî 20 (ðåéòèíã).
øêàëû ðàíãîâ. Ïðèìåð: ðàíãè ñëîâ â òåêñòå ñ ñîâïàäàþùèìè
÷àñòîòàìè.
Øêàëû ïîðÿäêà ñîäåðæàò èíôîðìàöèþ òîëüêî î òðåõ ýìïèðè÷åêèõ
îòíîøåíèÿõ >, < è =.
Øêàëà íàèìåíîâàíèé. Ôèêñèðóþòñÿ 2 îòíîøåíèÿ: = è 6=. Äîïóñòèìû
ïðåîáðàçîâàíèÿ, â êîòîðûõ ðàçíûå îáúåêòû èìåþò ðàçíûå íàçâàíèÿ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
16 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Òèïû øêàë
1
2
3
4
5
Àáñîëþòíàÿ øêàëà. Äîïóñòèìîå ïðåîáðàçîâàíèå äëÿ øêàë äàííîãî
òèïà ïðåäñòàâëÿåò èç ñåáÿ òîæäåñòâî. Ïðèìåð: 6=VI.
Øêàëà îòíîøåíèé. Ìåæäó ðàçíûìè ïðîòîêîëàìè äîëæíî âûïîëíÿòüñÿ
îòíîøåíèå y = ax. Ïðèìåð: 16 êã, 16000 ã, 1 ïóä.
Øêàëà èíòåðâàëîâ. Ìåæäó ïðîòîêîëàìè äîïóñòèìû ëèíåéíûå
ïðåîáðàçîâàíèÿ y = ax + b. Ïðèìåð: èçìåðåíèå òåìïåðàòóðû (Öåëüñèÿ,
Êåëüâèíà, Ôàðåíãåéòà).
Øêàëà ïîðÿäêà. Äîïóñòèìû âñå ìîíîòîííûå ïðåîáðàçîâàíèÿ, ò.å.
òàêèå, êîòîðûå íå íàðóøàþò ïîðÿäîê ñëåäîâàíèÿ çíà÷åíèé èçìåðÿåìûõ
âåëè÷èí. Ïðèìåð: ¾1,2,3¿ è ¾5.3, 7.5, 19.2¿
øêàëû áàëëîâ. Ïðèìåð: îò 1 äî 20 (ðåéòèíã).
øêàëû ðàíãîâ. Ïðèìåð: ðàíãè ñëîâ â òåêñòå ñ ñîâïàäàþùèìè
÷àñòîòàìè.
Øêàëû ïîðÿäêà ñîäåðæàò èíôîðìàöèþ òîëüêî î òðåõ ýìïèðè÷åêèõ
îòíîøåíèÿõ >, < è =.
Øêàëà íàèìåíîâàíèé. Ôèêñèðóþòñÿ 2 îòíîøåíèÿ: = è 6=. Äîïóñòèìû
ïðåîáðàçîâàíèÿ, â êîòîðûõ ðàçíûå îáúåêòû èìåþò ðàçíûå íàçâàíèÿ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
16 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Òèïû øêàë
1
2
3
4
5
Àáñîëþòíàÿ øêàëà. Äîïóñòèìîå ïðåîáðàçîâàíèå äëÿ øêàë äàííîãî
òèïà ïðåäñòàâëÿåò èç ñåáÿ òîæäåñòâî. Ïðèìåð: 6=VI.
Øêàëà îòíîøåíèé. Ìåæäó ðàçíûìè ïðîòîêîëàìè äîëæíî âûïîëíÿòüñÿ
îòíîøåíèå y = ax. Ïðèìåð: 16 êã, 16000 ã, 1 ïóä.
Øêàëà èíòåðâàëîâ. Ìåæäó ïðîòîêîëàìè äîïóñòèìû ëèíåéíûå
ïðåîáðàçîâàíèÿ y = ax + b. Ïðèìåð: èçìåðåíèå òåìïåðàòóðû (Öåëüñèÿ,
Êåëüâèíà, Ôàðåíãåéòà).
Øêàëà ïîðÿäêà. Äîïóñòèìû âñå ìîíîòîííûå ïðåîáðàçîâàíèÿ, ò.å.
òàêèå, êîòîðûå íå íàðóøàþò ïîðÿäîê ñëåäîâàíèÿ çíà÷åíèé èçìåðÿåìûõ
âåëè÷èí. Ïðèìåð: ¾1,2,3¿ è ¾5.3, 7.5, 19.2¿
øêàëû áàëëîâ. Ïðèìåð: îò 1 äî 20 (ðåéòèíã).
øêàëû ðàíãîâ. Ïðèìåð: ðàíãè ñëîâ â òåêñòå ñ ñîâïàäàþùèìè
÷àñòîòàìè.
Øêàëû ïîðÿäêà ñîäåðæàò èíôîðìàöèþ òîëüêî î òðåõ ýìïèðè÷åêèõ
îòíîøåíèÿõ >, < è =.
Øêàëà íàèìåíîâàíèé. Ôèêñèðóþòñÿ 2 îòíîøåíèÿ: = è 6=. Äîïóñòèìû
ïðåîáðàçîâàíèÿ, â êîòîðûõ ðàçíûå îáúåêòû èìåþò ðàçíûå íàçâàíèÿ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
16 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Òèïû øêàë
1
2
3
4
5
Àáñîëþòíàÿ øêàëà. Äîïóñòèìîå ïðåîáðàçîâàíèå äëÿ øêàë äàííîãî
òèïà ïðåäñòàâëÿåò èç ñåáÿ òîæäåñòâî. Ïðèìåð: 6=VI.
Øêàëà îòíîøåíèé. Ìåæäó ðàçíûìè ïðîòîêîëàìè äîëæíî âûïîëíÿòüñÿ
îòíîøåíèå y = ax. Ïðèìåð: 16 êã, 16000 ã, 1 ïóä.
Øêàëà èíòåðâàëîâ. Ìåæäó ïðîòîêîëàìè äîïóñòèìû ëèíåéíûå
ïðåîáðàçîâàíèÿ y = ax + b. Ïðèìåð: èçìåðåíèå òåìïåðàòóðû (Öåëüñèÿ,
Êåëüâèíà, Ôàðåíãåéòà).
Øêàëà ïîðÿäêà. Äîïóñòèìû âñå ìîíîòîííûå ïðåîáðàçîâàíèÿ, ò.å.
òàêèå, êîòîðûå íå íàðóøàþò ïîðÿäîê ñëåäîâàíèÿ çíà÷åíèé èçìåðÿåìûõ
âåëè÷èí. Ïðèìåð: ¾1,2,3¿ è ¾5.3, 7.5, 19.2¿
øêàëû áàëëîâ. Ïðèìåð: îò 1 äî 20 (ðåéòèíã).
øêàëû ðàíãîâ. Ïðèìåð: ðàíãè ñëîâ â òåêñòå ñ ñîâïàäàþùèìè
÷àñòîòàìè.
Øêàëû ïîðÿäêà ñîäåðæàò èíôîðìàöèþ òîëüêî î òðåõ ýìïèðè÷åêèõ
îòíîøåíèÿõ >, < è =.
Øêàëà íàèìåíîâàíèé. Ôèêñèðóþòñÿ 2 îòíîøåíèÿ: = è 6=. Äîïóñòèìû
ïðåîáðàçîâàíèÿ, â êîòîðûõ ðàçíûå îáúåêòû èìåþò ðàçíûå íàçâàíèÿ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
16 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë
Èíôîðìàòèâíîñòü øêàë óáûâàåò â ïîðÿäêå èõ ïåðå÷èñëåíèÿ.
Ïðèìåð:
Àáñîëþòíàÿ øêàëà: ìíîæåñòâî A ñîäåðæèò 30 ýëåìåíòîâ, à ìíîæåñòâî
B 10.
Øêàëà îòíîøåíèé: ìíîæåñòâî A ñîäåðæèò â òðè ðàçà áîëüøå ýëåìåíòîâ,
÷åì ìíîæåñòâî B.
Øêàëà ïîðÿäêà: ìíîæåñòâî A ñîäåðæèò áîëüøå ýëåìåíòîâ, ÷åì
ìíîæåñòâî B.
Øêàëà íàèìåíîâàíèé: ìíîæåñòâà À è  ñîäåðæàò ðàçëè÷íîå ÷èñëî
ýëåìåíòîâ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
17 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë
Èíôîðìàòèâíîñòü øêàë óáûâàåò â ïîðÿäêå èõ ïåðå÷èñëåíèÿ.
Ïðèìåð:
Àáñîëþòíàÿ øêàëà: ìíîæåñòâî A ñîäåðæèò 30 ýëåìåíòîâ, à ìíîæåñòâî
B 10.
Øêàëà îòíîøåíèé: ìíîæåñòâî A ñîäåðæèò â òðè ðàçà áîëüøå ýëåìåíòîâ,
÷åì ìíîæåñòâî B.
Øêàëà ïîðÿäêà: ìíîæåñòâî A ñîäåðæèò áîëüøå ýëåìåíòîâ, ÷åì
ìíîæåñòâî B.
Øêàëà íàèìåíîâàíèé: ìíîæåñòâà À è  ñîäåðæàò ðàçëè÷íîå ÷èñëî
ýëåìåíòîâ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
17 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë
Èíôîðìàòèâíîñòü øêàë óáûâàåò â ïîðÿäêå èõ ïåðå÷èñëåíèÿ.
Ïðèìåð:
Àáñîëþòíàÿ øêàëà: ìíîæåñòâî A ñîäåðæèò 30 ýëåìåíòîâ, à ìíîæåñòâî
B 10.
Øêàëà îòíîøåíèé: ìíîæåñòâî A ñîäåðæèò â òðè ðàçà áîëüøå ýëåìåíòîâ,
÷åì ìíîæåñòâî B.
Øêàëà ïîðÿäêà: ìíîæåñòâî A ñîäåðæèò áîëüøå ýëåìåíòîâ, ÷åì
ìíîæåñòâî B.
Øêàëà íàèìåíîâàíèé: ìíîæåñòâà À è  ñîäåðæàò ðàçëè÷íîå ÷èñëî
ýëåìåíòîâ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
17 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë
Èíôîðìàòèâíîñòü øêàë óáûâàåò â ïîðÿäêå èõ ïåðå÷èñëåíèÿ.
Ïðèìåð:
Àáñîëþòíàÿ øêàëà: ìíîæåñòâî A ñîäåðæèò 30 ýëåìåíòîâ, à ìíîæåñòâî
B 10.
Øêàëà îòíîøåíèé: ìíîæåñòâî A ñîäåðæèò â òðè ðàçà áîëüøå ýëåìåíòîâ,
÷åì ìíîæåñòâî B.
Øêàëà ïîðÿäêà: ìíîæåñòâî A ñîäåðæèò áîëüøå ýëåìåíòîâ, ÷åì
ìíîæåñòâî B.
Øêàëà íàèìåíîâàíèé: ìíîæåñòâà À è  ñîäåðæàò ðàçëè÷íîå ÷èñëî
ýëåìåíòîâ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
17 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë
Èíôîðìàöèè, ñîäåðæàùåéñÿ â àáñîëþòíîé øêàëå, äîñòàòî÷íî äëÿ åå
îäíîçíà÷íîãî îòîáðàæåíèÿ íà áîëåå ñëàáóþ øêàëó. Îáðàòíîå íå âåðíî.
Èíôîðìàöèþ, çàïèñàííóþ â øêàëàõ ïåðâûõ òðåõ òèïîâ ìîæíî
ïîäâåðãàòü ìàòåìàòè÷åñêèì ïðåîáðàçîâàíèÿì. Èõ íàçûâàþò ñèëüíûìè,
êîëè÷åñòâåííûìè èëè ìàòåìàòè÷åñêèìè øêàëàìè.
Øêàëû ïîðÿäêà è íàèìåíîâàíèé íàçûâàþò
ñëàáûìè
è
êà÷åñòâåííûìè.
Îöåíêà ïîòåðè èíôîðìàöèè ïðè ïåðåõîäå îò ñèëüíûõ øêàë ê áîëåå
ñëàáûì îñóùåñòâëÿåòñÿ ïîäñ÷åòîì êîëè÷åñòâà íåèçîìîðôíûõ (ðàçíûõ)
ïðîòîêîëîâ â ðàçíûõ øêàëàõ.
Ïðèìåð: Ïðîòîêîëû ¾2, 6¿, ¾3, 9¿ â àáñîëþòíîé øêàëå íåèçîìîðôíû, à â
øêàëå îòíîøåíèé, ïîðÿäêà è íàèìåíîâàíèé èçîìîðôíû.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
18 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ýëåìåíòû òåîðèè èçìåðåíèé
Ñðàâíèòåëüíàÿ èíôîðìàòèâíîñòü øêàë
Ïóñòü so , sn , sa êîëè÷åñòâî íåèçîìîðôíûõ ïðîòîêîëîâ äëÿ øêàëû
ïîðÿäêà, íàèìåíîâàíèÿ è àáñîëþòíîé øêàëû ñîîòâåòñâåííî.
Áóäåì ñ÷èòàòü, ÷òî èçìåðèòåëüíûé ïðèáîð ìîæåò ïðèíèìàòü îäíî èç m
ñîñòîÿíèé.
Çàôèêñèðóåì çíà÷åíèÿ ÷èñëà ãðàäàöèé. Ñ óâåëè÷åíèåì êîëè÷åñòâà
èçìåðÿåìûõ îáúåêòîâ n ðàçëè÷èÿ â èíôîðìàòèâíîñòè øêàë
óìåíüøàþòñÿ.
Îòíîøåíèå sn /sa îñòàåòñÿ ìàëûì è ìåíÿåòñÿ ñëàáî.
Îòíîøåíèå so /sa ðàñòåò áûñòðî è ïðè n > 5m äîñòèãàåò çíà÷åíèÿ 0.9.
Èíôîðìàòèâíîñòü øêàëû ïîðÿäêà ïðè ýêñïåðèìåíòàõ ñ áîëüøèì ÷èñëîì
îáúåêòîâ ïðèáëèæàåòñÿ ê èíôîðìàòèâíîñòè àáñîëþòíîé øêàëû.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
19 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ïðèëîæåíèÿ
Ñèìâîëüíîå ðàñïîçíàâàíèå
Îïòè÷åñêîå ñèìâîëüíîå
ðàñïîçíàâàíèå (OCR);
Ââîä è õðàíåíèå äîêóìåíòîâ;
Pen computer;
Îáðàáîòêà áàíêîâñêèõ ÷åêîâ è
äåíåæíûõ êóïþð;
Îáðàáîòêà ïî÷òû.
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
20 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ïðèëîæåíèÿ
Ðàñïîçíàâàíèå ðå÷è
Çàäà÷à ðàñïîçíàâàíèÿ ðå÷è:
Âûäåëèòü, êëàññèôèöèðîâàòü
è ñîîòâåòñòâóþùèì îáðàçîì
îòðåàãèðîâàòü íà
÷åëîâå÷åñêóþ ðå÷ü èç
âõîäíîãî çâóêîâîãî ïîòîêà.
âûïîëíåíèå îïðåäåëåííîãî
äåéñòâèÿ íà êîìàíäó ÷åëîâåêà;
âûäåëåíèå îïðåäåëåííîãî
ñëîâà-ìàðêåðà èç áîëüøîãî
ìàññèâà òåëåôîííûõ
ïåðåãîâîðîâ;
ñèñòåìû äëÿ ãîëîñîâîãî
ââîäà òåêñòà.
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
21 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ïðèëîæåíèÿ
Ñèñòåìû áåçîïàñíîñòè
Íàïðàâëåíèÿ
Äàêòèëîñêîïèÿ;
Ìàøèííîå çðåíèå;
Ðàñïîçíàâàíèå ïî
ðàäóæíîé îáîëî÷êå ãëàçà;
Ðàñïîçíàâàíèå ëèö;
Ðàñïîçíàâàíèå ïîäïèñè;
Êðèìèíàëèñòè÷åñêàÿ
ýêñïåðòèçà;
...
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
22 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ïðèëîæåíèÿ
Äèàãíîñòèêà â ìåäèöèíå
Íàïðàâëåíèÿ
Ðåíòãåíîãðàôèÿ;
Ïîñòàíîâêà äèàãíîçà ïî èñòîðèè
áîëåçíè;
Ýëåêòðîêàðäèîãðàììà;
...
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
23 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ïðèëîæåíèÿ
Ãåîëîãèÿ, ñåéñìîðàçâåäêà
Íàïðàâëåíèÿ
Ïîèñê ïîëåçíûõ
èñêîïàåìûõ;
Ïîèñê íåôòåíîñíûõ ñëîåâ;
Îïðåäåëåíèå ïàðàìåòðîâ
ñðåäû;
...
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
24 / 155
Ïðåäìåò ðàñïîçíàâàíèÿ îáðàçîâ
Ïðèëîæåíèÿ
Äîïîëíåííàÿ ðåàëüíîñòü
Äîïîëíåííàÿ ðåàëüíîñòü (Augmented Reality) òåðìèí, îòíîñÿùèéñÿ êî âñåì
ïðîåêòàì, íàïðàâëåííûì íà äîïîëíåíèå ðåàëüíîñòè ëþáûìè âèðòóàëüíûìè
ýëåìåíòàìè.
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
25 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ñîäåðæàíèå
2
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ
Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé
Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
26 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé
Çàäà÷à: ðàçäåëèòü îáëàñòü ïðè ïîìîùè ïëîñêîñòåé íà 2 ìíîæåñòâà.
001
011
101
111
000
010
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
100
110
Ðàñïîçíàâàíèå îáðàçîâ
27 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé
Çàäà÷à: ðàçäåëèòü îáëàñòü ïðè ïîìîùè ïëîñêîñòåé íà 2 ìíîæåñòâà.
001
011
101
111
000
010
100
110
Òîëüêî îäíà ðàçäåëÿþùàÿ ïëîñêîñòü.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
27 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé
Çàäà÷à: ðàçäåëèòü îáëàñòü ïðè ïîìîùè ïëîñêîñòåé íà 2 ìíîæåñòâà.
001
011
101
111
000
010
100
110
Ëþáàÿ ïëîñêîñòü, ïåðåñåêàþùàÿ îòðåçîê (000111) ðàçäåëÿþùàÿ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
27 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé
Çàäà÷à: ðàçäåëèòü îáëàñòü ïðè ïîìîùè ïëîñêîñòåé íà 2 ìíîæåñòâà.
001
011
101
111
000
010
100
110
Ðàçäåëåíèå âîçìîæíî òîëüêî ñ ïîìîùüþ òðåõ ïëîñêîñòåé.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
27 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé
Ìíîæåñòâà òî÷åê ðàçäåëÿþòñÿ òåì òðóäíåå, ÷åì áîëüøå â íèõ ãðàíè÷íûõ
òî÷åê.
Ãðàíè÷íàÿ òî÷êà ìíîæåñòâà òî÷êà, â êîòîðîé èçìåíåíèå õîòÿ áû îäíîé
öèôðû êîäà ïåðåâîäèò ýòó òî÷êó â äðóãîå ìíîæåñòâî.
Òî÷êà âíóòðåííÿÿ òî÷êàÿ ìíîæåñòâà, åñëè â åå êîäå îòñóòñòâóþò
öèôðû, èçìåíåíèå îäíîé èç êîòîðûõ ïåðåâîäèò òî÷êó â äðóãîå
ìíîæåñòâî.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
28 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé
001
011
101
111
000
010
100
110
Ìíîæåñòâà íå èìåþò ãðàíè÷íûõ òî÷åê.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
29 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé
001
011
101
111
000
010
100
110
Ìíîæåñòâà èìåþò ïî 3 ãðàíè÷íûõ è ïî 1 âíóòðåííåé òî÷êå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
29 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Êîìïàêòíûå ìíîæåñòâà èçîáðàæåíèé
001
011
101
111
000
010
100
110
Âñå òî÷êè ãðàíè÷íûå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
29 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Ïðîñòîìó çðèòåëüíîìó îáðàçó ñîîòâåòñòâóåò êîìïàêòíîå ìíîæåñòâî òî÷åê â
ïðîñòðàíñòâå èçîáðàæåíèé:
1
âñåãäà âîçìîæåí ïëàâíûé ïåðåõîä îò îäíîãî èçîáðàæåíèÿ ê äðóãîìó
âíóòðè äàííîãî îáðàçà òàê, ÷òî è âñå ïðîìåæóòî÷íûå èçîáðàæåíèÿ áóäóò
âîñïðèíèìàòüñÿ êàê èçîáðàæåíèÿ ýòîãî æå îáðàçà; è, íàîáîðîò, îò
èçîáðàæåíèé îäíîãî îáðàçà íåëüçÿ ïëàâíî ïåðåéòè ê ýëåìåíòàì äðóãîãî
áåç âîçíèêíîâåíèÿ èçîáðàæåíèé, ñ íåîïðåäåëåííîé ïðèíàäëåæíîñòüþ;
2
ïðè ìàëîé äåôîðìàöèè èçîáðàæåíèé â ëþáîì íàïðàâëåíèè îíè íå
âûõîäÿò çà ïðåäåëû äàííîãî îáðàçà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
30 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Ãèïîòåçà λ-êîìïàêòíîñòè
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
31 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ãèïîòåçà î êîìïàêòíîñòè îáðàçîâ
Ãèïîòåçà λ-êîìïàêòíîñòè
α
β
Ôîðìóëèðîâêà ãèïîòåçû λ-êîìïàêòíîñòè îïèðàåòñÿ íà ïîíÿòèå λ-ðàññòîÿíèÿ.
Ïîñòðîèì ïîëíûé ãðàô, êîòîðûé ñîåäèíÿåò âñå òî÷êè äðóã ñ äðóãîì.
Âûäåëèì íà ýòîì ãðàôå 2 âåðøèíû. Îáîçíà÷èì äëèíó ñâÿçûâàþùåãî èõ
ðåáðà ÷åðåç α, à äëèíó ìèíèìàëüíîãî èç ñìåæíûõ åìó ðåáåð ÷åðåç β , òî
îòíîøåíèå äëèí ýòèõ ðåáåð λ = α/β ìåðà ëîêàëüíîé íåîäíîðîäíîñòè
(λðàññòîÿíèå).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
31 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ
Ðàçäåëèìûå è íåðàçäåëèìûå ìíîæåñòâà
Óòî÷íèì ïîíÿòèå. Êîìïàêòíûì íàçûâàåòñÿ òàêîå ìíîæåñòâî òî÷åê, äëÿ
êîòîðîãî:
1
÷èñëî ãðàíè÷íûõ òî÷åê ìàëî ïî ñðàâíåíèþ ñ èõ îáùèì ÷èñëîì;
2
ëþáûå äâå âíóòðåííèå òî÷êè ìíîæåñòâà ìîãóò áûòü ñîåäèíåíû
äîñòàòî÷íî ïëàâíîé ëèíèåé, ïðîõîäÿùåé òîëüêî ÷åðåç òî÷êè òîãî æå
ìíîæåñòâà;
3
ïî÷òè êàæäàÿ âíóòðåííÿÿ òî÷êà èìååò â îáøèðíîé îêðåñòíîñòè òîëüêî
òî÷êè ýòîãî æå ìíîæåñòâà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
32 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ
Óñëîâèÿ ëèíåéíîé ðàçäåëèìîñòè êëàññîâ
x1
α 1 x1 + α 2 x2
x2
Îïðåäåëåíèå. Ìíîæåñòâî, ñîäåðæàùåå îòðåçîê, ñîåäèíÿþùèé äâå
ïðîèçâîëüíûå âíóòðåííèå òî÷êè, íàçûâàåòñÿ âûïóêëûì.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
33 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ
Óñëîâèÿ ëèíåéíîé ðàçäåëèìîñòè êëàññîâ
x1
α 1 x1 + α 2 x2
x2
Îïðåäåëåíèå. Ìíîæåñòâî, ñîäåðæàùåå îòðåçîê, ñîåäèíÿþùèé äâå
ïðîèçâîëüíûå âíóòðåííèå òî÷êè, íàçûâàåòñÿ âûïóêëûì.
Îïðåäåëåíèå. Âûïóêëàÿ îáîëî÷êà ýòî ìèíèìàëüíîå âûïóêëîå ìíîæåñòâî,
ñîäåðæàùåå äàííîå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
33 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ
Óñëîâèÿ ëèíåéíîé ðàçäåëèìîñòè êëàññîâ
x1
α 1 x1 + α 2 x2
x2
Óòâåðæäåíèå. Äâà ìíîæåñòâà íà ïëîñêîñòè ëèíåéíî ðàçäåëèìû òîãäà è
òîëüêî òîãäà, êîãäà èõ âûïóêëûå îáîëî÷êè íå ïåðåñåêàþòñÿ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
33 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ
Óñëîâèÿ ëèíåéíîé ðàçäåëèìîñòè êëàññîâ
x1
α 1 x1 + α 2 x2
x2
Ïðàâèëî ïðîâåðêè ðàçäåëèìîñòè ìíîæåñòâ íà ïëîñêîñòè:
1
Ïîñòðîèòü âûïóêëûå îáîëî÷êè.
2
Ïðîâåðèòü èõ ïåðåñå÷åíèå.
Åñëè îíè íå ïåðåñåêàþòñÿ, òî ìíîæåñòâà ðàçäåëèìû.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
33 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ
Óñëîâèÿ ëèíåéíîé ðàçäåëèìîñòè êëàññîâ
x1
α 1 x1 + α 2 x2
x2
Ïðàâèëî íàõîæäåíèÿ ðàçäåëÿþùåé ïðÿìîé:
1
Íàéòè áëèæàéøóþ ïàðó òî÷åê â âûïóêëûõ îáîëî÷êàõ îáîèõ ìíîæåñòâ.
2
Ïîñòðîèòü ñðåäèííûé ïåðïåíäèêóëÿð ê îòðåçêó, ñîåäèíÿþùåìó ýòè
òî÷êè.
Ýòîò ïåðïåíäèêóëÿð è áóäåò ðàçäåëÿþùåé ïðÿìîé.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
33 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Óñëîâèÿ ðàçäåëèìîñòè ìíîæåñòâ
Ñëó÷àè ëèíåéíîé ðàçäåëèìîñòè êëàññîâ
Êàæäûé êëàññ îòäåëÿåòñÿ îò
âñåõ îñòàëüíûõ êëàññîâ îäíîé
ëèíåéíîé ðåøàþùåé ôóíêöèåé
Êàæäûå äâà êëàññà ìîæíî
ðàçäåëèòü îäíîé ëèíåéíîé
ðàçäåëÿþùåé ïîâåðõíîñòüþ
ω3
ω3
ω1
ω1
ω2
ω2
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
34 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé
Ðàñïîçíàâàíèå ïî ðàññòîÿíèþ ìåæäó òî÷êàìè â
ïðîñòðàíñòâå èçîáðàæåíèé
ω1
ω2
X
ω3
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
35 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé
Ìåðû áëèçîñòè
Ñâîéñòâà ðàññòîÿíèÿ
1
d(x, y) = d(y, x);
2
d(x, x) = 0;
3
d(x, y) = 0 ⇐⇒ x = y ;
4
d(x, y) ≤ d(x, z) + d(z, y).
Ðàññìàòðèâàþò ìåðû áëèçîñòè ìåæäó:
äâóìÿ îáðàçàìè;
îáðàçîì è êëàññîì;
äâóìÿ êëàññàìè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
36 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé
Ðàññòîÿíèÿ ìåæäó âåêòîðàìè ïðèçíàêîâ
Ìåòðèêà Åâêëèäà
d2 (x, y) =
n
X
!1/2
2
(xi − yi )
k=1
Ìàíõåòòåíîâñêàÿ ìåòðèêà
d1 (x, y) = ||x − y||1 = |x1 − y1 | + ... + |xn − yn |
Åñëè xi ∈ {−1, 1}, òî d1 ìåòðèêà Õåììèíãà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
37 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé
Ðàññòîÿíèÿ ìåæäó âåêòîðàìè ïðèçíàêîâ
Ìåòðèêà Ìèíêîâñêîãî
dp (x, y) = ||x − y||p =
n
X
!1/p
p
|xi − yi |
k=1
Ðàâíîìåðíàÿ ìåòðèêà
d∞ (x, y) = ||x − y||∞ = max |xi − yi |
i
Óãîë ìåæäó âåêòîðàìè
d(x, y) = arccos
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
xy
||x|| ||y||
Ðàñïîçíàâàíèå îáðàçîâ
38 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé
Ðàññòîÿíèå îò îáðàçà äî êëàññà
Ðàññòîÿíèå îò îáðàçà äî öåíòðà êëàññà
c1
c2
X
c3
Ðåøàþùåå ïðàâèëî:
X ∈ ωj ,
åñëè d(X, cj ) = min d(X, cj )
j
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
39 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé
Ðàññòîÿíèå îò îáðàçà äî êëàññà
Ðàññòîÿíèå îò îáðàçà äî öåíòðà êëàññà Ìåòîä áëèæàéøåãî ñîñåäà
c1
ω1
c2
ω2
X
X
c3
ω3
Ðåøàþùåå ïðàâèëî:
Ðåøàþùåå ïðàâèëî:
X ∈ ωj ,
åñëè d(X, cj ) = min d(X, cj )
X ∈ ωj ,
åñëè ||x − xj || = min ||x − xi ||, xj ∈ ωj
j
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
i
Ðàñïîçíàâàíèå îáðàçîâ
39 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé
Ðàññòîÿíèå ìåæäó êëàññàìè
d1 (ωi , ωj ) =
d2 (ωi , ωj ) =
min
x∈ωi , y∈ωj
d(x, y)
X
1
d(x, y)
|Sij | x∈ω , y∈ω
i
j
Sij ìíîæåñòâî âñåõ ïàð ýëåìåíòîâ ìåæäó êëàññàìè ωi è ωj ;
d3 (ωi , ωj ) =
max
x∈ωi , y∈ωj
d(x, y)
d4 (ωi , ωj ) = d(ci , cj )
ci è cj öåíòðû êëàññîâ ωi è ωj ñîîòâåòñòâåííî.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
40 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé
Ðàññòîÿíèå ìåæäó êëàññàìè
d1 (ωi , ωj ) =
d2 (ωi , ωj ) =
min
x∈ωi , y∈ωj
d(x, y)
X
1
d(x, y)
|Sij | x∈ω , y∈ω
i
j
Sij ìíîæåñòâî âñåõ ïàð ýëåìåíòîâ ìåæäó êëàññàìè ωi è ωj ;
d3 (ωi , ωj ) =
max
x∈ωi , y∈ωj
d(x, y)
d4 (ωi , ωj ) = d(ci , cj )
ci è cj öåíòðû êëàññîâ ωi è ωj ñîîòâåòñòâåííî.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
40 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé
Ðàññòîÿíèå ìåæäó êëàññàìè
d1 (ωi , ωj ) =
d2 (ωi , ωj ) =
min
x∈ωi , y∈ωj
d(x, y)
X
1
d(x, y)
|Sij | x∈ω , y∈ω
i
j
Sij ìíîæåñòâî âñåõ ïàð ýëåìåíòîâ ìåæäó êëàññàìè ωi è ωj ;
d3 (ωi , ωj ) =
max
x∈ωi , y∈ωj
d(x, y)
d4 (ωi , ωj ) = d(ci , cj )
ci è cj öåíòðû êëàññîâ ωi è ωj ñîîòâåòñòâåííî.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
40 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Êëàññèôèêàöèÿ ñ ïîìîùüþ ðåøàþùèõ ôóíêöèé
Ðàññòîÿíèå ìåæäó êëàññàìè
d1 (ωi , ωj ) =
d2 (ωi , ωj ) =
min
x∈ωi , y∈ωj
d(x, y)
X
1
d(x, y)
|Sij | x∈ω , y∈ω
i
j
Sij ìíîæåñòâî âñåõ ïàð ýëåìåíòîâ ìåæäó êëàññàìè ωi è ωj ;
d3 (ωi , ωj ) =
max
x∈ωi , y∈ωj
d(x, y)
d4 (ωi , ωj ) = d(ci , cj )
ci è cj öåíòðû êëàññîâ ωi è ωj ñîîòâåòñòâåííî.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
40 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ
Êàòåãîðèéíûå ïðèçíàêè
K = d1 ìåðà ñõîäñòâà.
Ðàññìîòðèì îáðàç Xi = (xi1 , ..., xik , ..., xin ), n êîëè÷åñòâî ïðèçíàêîâ.
Ïðèìåð êîäèðîâàíèÿ ïðèçíàêîâ
Îáúåêòû: ßáëîêî, âèøíÿ, áàíàí.
Ïðèçíàêè: Öâåò, íàëè÷èå ñåìå÷åê, íàëè÷èå êîñòî÷åê.
Îáúåêò
Âèøíÿ
ßáëîêî
Áàíàí
X
x1
x2
x3
Æåëòûé?
x11 = 0
x21 = 1
x31 = 1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Êðàñíûé?
x12 = 1
x22 = 1
x32 = 0
Åñòü ñåìå÷êè?
x13 = 0
x23 = 1
x33 = 0
Ðàñïîçíàâàíèå îáðàçîâ
Åñòü êîñòî÷êè?
x14 = 1
x24 = 0
x34 = 0
41 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ
Êàòåãîðèéíûå ïðèçíàêè. Ïîïàðíîå ñðàâíåíèå
xj /xi
1
1
a
g
h
b
a ÷èñëî ñëó÷àåâ, êîãäà xi è xj îáëàäàþò îäíèì è òåì æå ïðèçíàêîì,
b ÷èñëî ñëó÷àåâ, êîãäà xi è xj íå îáëàäàþò íèêàêèìè îáùèìè ïðèçíàêàìè:
a=
n
X
xik xjk ,
b=
k=1
n
X
(1 − xik )(1 − xjk ).
k=1
g ÷èñëî ñëó÷àåâ, êîãäà xi íå îáëàäàåò ïðèçíàêîì, ïðècóùèì xj ,
h ÷èñëî ñëó÷àåâ, êîãäà xi îáëàäàåò ïðèçíàêîì, îòñóòñòâóþùèì ó xj :
g=
n
X
(1 − xik )xjk ,
k=1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
h=
n
X
xik (1 − xjk ).
k=1
Ðàñïîçíàâàíèå îáðàçîâ
42 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ
Êàòåãîðèéíûå ïðèçíàêè. Ïîïàðíîå ñðàâíåíèå
xj /xi
1
1
a
g
h
b
a ÷èñëî ñëó÷àåâ, êîãäà xi è xj îáëàäàþò îäíèì è òåì æå ïðèçíàêîì,
b ÷èñëî ñëó÷àåâ, êîãäà xi è xj íå îáëàäàþò íèêàêèìè îáùèìè ïðèçíàêàìè:
a=
n
X
xik xjk ,
b=
k=1
n
X
(1 − xik )(1 − xjk ).
k=1
g ÷èñëî ñëó÷àåâ, êîãäà xi íå îáëàäàåò ïðèçíàêîì, ïðècóùèì xj ,
h ÷èñëî ñëó÷àåâ, êîãäà xi îáëàäàåò ïðèçíàêîì, îòñóòñòâóþùèì ó xj :
g=
n
X
(1 − xik )xjk ,
k=1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
h=
n
X
xik (1 − xjk ).
k=1
Ðàñïîçíàâàíèå îáðàçîâ
42 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ
Êàòåãîðèéíûå ïðèçíàêè. Ìåðû ñõîäñòâà
×åì áîëüøå ñõîäñòâî ìåæäó xi è xj , òåì áîëüøå äîëæåí áûòü êîýôôèöèåíò
a è òåì ñèëüíåå îí äîëæåí îòëè÷àòüñÿ îò äðóãèõ.
Ââåäåì ôóíêöèþ ñõîäñòâà, îáëàäàþùóþ ñëåäóþùèìè ñâîéñòâàìè:
îíà äîëæíà áûòü âîçðàñòàþùåé â çàâèñèìîñòè îò a,
ñèììåòðè÷íîé îòíîñèòåëüíî g è h,
óáûâàþùåé â çàâèñèìîñòè îò b.
Ýòà ôóíêöèÿ äâîè÷íîå (áèíàðíîå) ðàññòîÿíèå.
S1 (xi , xj ) =
S4 (xi , xj ) =
a
,
n
S2 (xi , xj ) =
a
,
a + 2(g + h)
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
a
,
n−b
S5 (xi , xj ) =
S3 (xi , xj ) =
a+b
,
n
Ðàñïîçíàâàíèå îáðàçîâ
a
,
2a + h + g
S6 (xi , xj ) =
a
.
h+g
43 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ
Êàòåãîðèéíûå ïðèçíàêè. Ìåðû ñõîäñòâà
×åì áîëüøå ñõîäñòâî ìåæäó xi è xj , òåì áîëüøå äîëæåí áûòü êîýôôèöèåíò
a è òåì ñèëüíåå îí äîëæåí îòëè÷àòüñÿ îò äðóãèõ.
Ââåäåì ôóíêöèþ ñõîäñòâà, îáëàäàþùóþ ñëåäóþùèìè ñâîéñòâàìè:
îíà äîëæíà áûòü âîçðàñòàþùåé â çàâèñèìîñòè îò a,
ñèììåòðè÷íîé îòíîñèòåëüíî g è h,
óáûâàþùåé â çàâèñèìîñòè îò b.
Ýòà ôóíêöèÿ äâîè÷íîå (áèíàðíîå) ðàññòîÿíèå.
S1 (xi , xj ) =
S4 (xi , xj ) =
a
,
n
S2 (xi , xj ) =
a
,
a + 2(g + h)
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
a
,
n−b
S5 (xi , xj ) =
S3 (xi , xj ) =
a+b
,
n
Ðàñïîçíàâàíèå îáðàçîâ
a
,
2a + h + g
S6 (xi , xj ) =
a
.
h+g
43 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ
Êàòåãîðèéíûå ïðèçíàêè. Ìåðû ñõîäñòâà
×åì áîëüøå ñõîäñòâî ìåæäó xi è xj , òåì áîëüøå äîëæåí áûòü êîýôôèöèåíò
a è òåì ñèëüíåå îí äîëæåí îòëè÷àòüñÿ îò äðóãèõ.
Ââåäåì ôóíêöèþ ñõîäñòâà, îáëàäàþùóþ ñëåäóþùèìè ñâîéñòâàìè:
îíà äîëæíà áûòü âîçðàñòàþùåé â çàâèñèìîñòè îò a,
ñèììåòðè÷íîé îòíîñèòåëüíî g è h,
óáûâàþùåé â çàâèñèìîñòè îò b.
Ýòà ôóíêöèÿ äâîè÷íîå (áèíàðíîå) ðàññòîÿíèå.
S1 (xi , xj ) =
S4 (xi , xj ) =
a
,
n
S2 (xi , xj ) =
a
,
a + 2(g + h)
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
a
,
n−b
S5 (xi , xj ) =
S3 (xi , xj ) =
a+b
,
n
Ðàñïîçíàâàíèå îáðàçîâ
a
,
2a + h + g
S6 (xi , xj ) =
a
.
h+g
43 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ
Ïðèìåð
x1
x2
x3
x2 /x1
1
1
1
1
2
1
1
x3 /x2
1
S2 (x1 , x2 ) = 0.25,
S2 (x2 , x3 ) = 0.333,
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
1
1
1
1
1
2
1
1
x1 /x3
1
1
2
1
1
S6 (x1 , x2 ) = 0.333.
S6 (x2 , x3 ) = 0.5.
Ðàñïîçíàâàíèå îáðàçîâ
44 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ
Ïðèìåð
x1
x2
x3
x2 /x1
1
1
1
1
2
1
1
x3 /x2
1
S2 (x1 , x2 ) = 0.25,
S2 (x2 , x3 ) = 0.333,
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
1
1
1
1
1
2
1
1
x1 /x3
1
1
2
1
1
S6 (x1 , x2 ) = 0.333.
S6 (x2 , x3 ) = 0.5.
Ðàñïîçíàâàíèå îáðàçîâ
44 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ
Ïðèìåð
x1
x2
x3
x2 /x1
1
1
1
1
2
1
1
x3 /x2
1
S2 (x1 , x2 ) = 0.25,
S2 (x2 , x3 ) = 0.333,
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
1
1
1
1
1
2
1
1
x1 /x3
1
1
2
1
1
S6 (x1 , x2 ) = 0.333.
S6 (x2 , x3 ) = 0.5.
Ðàñïîçíàâàíèå îáðàçîâ
44 / 155
Äèñêðèìèíàíòíûé ïîäõîä
Ðàñïîçíàâàíèå äëÿ êàòåãîðèéíûõ ïðèçíàêîâ
Ïðèìåð
x1
x2
x3
x2 /x1
1
1
1
1
2
1
1
x3 /x2
1
S2 (x1 , x2 ) = 0.25,
S2 (x2 , x3 ) = 0.333,
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
1
1
1
1
1
2
1
1
x1 /x3
1
1
2
1
1
S6 (x1 , x2 ) = 0.333.
S6 (x2 , x3 ) = 0.5.
Ðàñïîçíàâàíèå îáðàçîâ
44 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ñîäåðæàíèå
3
Àëãîðèòìû êëàñòåðèçàöèè
Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè
Àëãîðèòìû, îñíîâàííûå íà òåîðèè ãðàôîâ
Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì ÈÑÎÌÀÄ (ISODATA)
Àëãîðèòì FOREL
Ëàáîðàòîðíàÿ ðàáîòà 2
Àëãîðèòìû ðàññòàíîâêè öåíòðîâ êëàñòåðîâ
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
45 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè
Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè
íàéòè òàêîå ðàçáèåíèå îáó÷àþùåé âûáîðêè Ω = {x1 , ..., xN } íà
íåïåðåñåêàþùèåñÿ ïîäìíîæåñòâà (êëàñòåðû)
Çàäà÷à
X1 , ..., Xm : X1 ∪ ... ∪ Xm = Ω, Xi ∩ Xj = ∅ ∀i 6= j,
÷òîáû âñå òî÷êè îäíîãî êëàñòåðà ñîñòîÿëè èç ¾ïîõîæèõ¿ ýëåìåíòîâ, à òî÷êè
ðàçíûõ êëàñòåðîâ ñóùåñòâåííî îòëè÷àëèñü.
Îñíîâíûå ïàðàìåòðû êëàñòåðèçàöèè:
êðèòåðèé ¾ïîõîæåñòè¿ ýëåìåíòîâ Q;
èñïîëüçóåìàÿ ìåòðèêà d;
÷èñëî êëàñòåðîâ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
46 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè
Çàäà÷è êëàñòåðèçàöèè
1
Çàäà÷à êëàññèôèêàöèè îáúåêòîâ îäíîé ïðèðîäû â íåñêîëüêî ãðóïï òàê,
÷òîáû îáúåêòû â îäíîé ãðóïïå îáëàäàëè îäíèìè ñâîéñòâàìè.
Ïàðàìåòðû êëàñòåðèçàöèè äîëæíû îáåñïå÷èâàòü ìèíèìàëüíîñòü ÷èñëà
êëàñòåðîâ;
2
Ïîëó÷åíèå âûáîðêè ýòàëîííûõ ýëåìåíòîâ òèïè÷íûõ ïðåäñòàâèòåëåé
êëàñòåðîâ.
Ïàðàìåòðû êëàñòåðèçàöèè äîëæíû îáåñïå÷èâàòü ôîðìèðîâàíèå
îäíîðîäíûõ êëàñòåðîâ;
3
Íàõîæäåíèå ýëåìåíòîâ, íå ïîïàäàþùèõ íè â îäèí èç êëàñòåðîâ;
4
Ôîðìèðîâàíèå èåðàðõè÷åñêîé ñòðóêòóðû âûáîðêè (çàäà÷à òàêñîíîìèè).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
47 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè
Ìàòåìàòè÷åñêàÿ ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè
X = {x1 , ..., xN } òåñòîâàÿ âûáîðêà. Òðåáóåòñÿ íàéòè òàêóþ ôóíêöèþ
êëàñòåðèçàöèè f , êîòîðàÿ êàæäîé òî÷êå x ∈ X ñòàâèëà áû â îäíîçíà÷íîå
ñîîòâåòñòâèå íåêîòîðûé ýëåìåíò ìåòêó y ∈ Y èç ìíîæåñòâà ìåòîê
Y = {y1 , ..., ym } (êàæäàÿ ìåòêà yi ñîîòâåòñòâóåò íåêîòîðîìó êëàñòåðó Ωi ).
 çàäà÷å êëàñòåðèçàöèè ìíîæåñòâî ìåòîê Y íåèçâåñòíî. Åñëè ìíîæåñòâî Y
èçâåñòíî, òî çàäà÷à êëàñòåðèçàöèè âûðîæäàåòñÿ â çàäà÷ó êëàññèôèêàöèè.
Ìíîæåñòâî ìåòîê Y íåîáõîäèìî èñêàòü ñðåäè
ìíîæåñòâà Ψ äîïóñòèìûõ ìåòîê äëÿ äàííîé çàäà÷è
êëàñòåðèçàöèè, êîòîðîå îïðåäåëÿåòñÿ öåëÿìè
êëàñòåðèçàöèè. Òîãäà çàäà÷à êëàñòåðèçàöèè ñâîäèòñÿ
ê íàõîæäåíèþ òàêîãî ìíîæåñòâà ìåòîê Y0 è ôóíêöèè
êëàñòåðèçàöèè f , ÷òîáû Y0 = min Q(Y, f ), ãäå
y∈Ψ,f
Q(Y, f ) âûáðàííûé êðèòåðèé êà÷åñòâà
(îïòèìàëüíîñòè) êëàñòåðèçàöèè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
48 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè
Ìàòåìàòè÷åñêàÿ ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè
X = {x1 , ..., xN } òåñòîâàÿ âûáîðêà. Òðåáóåòñÿ íàéòè òàêóþ ôóíêöèþ
êëàñòåðèçàöèè f , êîòîðàÿ êàæäîé òî÷êå x ∈ X ñòàâèëà áû â îäíîçíà÷íîå
ñîîòâåòñòâèå íåêîòîðûé ýëåìåíò ìåòêó y ∈ Y èç ìíîæåñòâà ìåòîê
Y = {y1 , ..., ym } (êàæäàÿ ìåòêà yi ñîîòâåòñòâóåò íåêîòîðîìó êëàñòåðó Ωi ).
 çàäà÷å êëàñòåðèçàöèè ìíîæåñòâî ìåòîê Y íåèçâåñòíî. Åñëè ìíîæåñòâî Y
èçâåñòíî, òî çàäà÷à êëàñòåðèçàöèè âûðîæäàåòñÿ â çàäà÷ó êëàññèôèêàöèè.
Ìíîæåñòâî ìåòîê Y íåîáõîäèìî èñêàòü ñðåäè
ìíîæåñòâà Ψ äîïóñòèìûõ ìåòîê äëÿ äàííîé çàäà÷è
êëàñòåðèçàöèè, êîòîðîå îïðåäåëÿåòñÿ öåëÿìè
êëàñòåðèçàöèè. Òîãäà çàäà÷à êëàñòåðèçàöèè ñâîäèòñÿ
ê íàõîæäåíèþ òàêîãî ìíîæåñòâà ìåòîê Y0 è ôóíêöèè
êëàñòåðèçàöèè f , ÷òîáû Y0 = min Q(Y, f ), ãäå
y∈Ψ,f
Q(Y, f ) âûáðàííûé êðèòåðèé êà÷åñòâà
(îïòèìàëüíîñòè) êëàñòåðèçàöèè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
48 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ïîñòàíîâêà çàäà÷è êëàñòåðèçàöèè
Îñíîâíûå êðèòåðèè êà÷åñòâà êëàñòåðèçàöèè
1
ñðåäíåå âíóòðèêëàñòåðíîå ðàññòîÿíèå
X X
Q1 =
d(x, y) → min,
i
2
x,y∈Ωi
ñðåäíåå ìåæêëàñòåðíîå ðàññòîÿíèå
X X
Q2 =
d(x, y) → max,
i θ, òî ó÷ðåæäàåòñÿ íîâûé öåíòð êëàñòåðà z2 = x2 .  ïðîòèâíîì
ñëó÷àå îáðàç x2 âêëþ÷àåòñÿ â êëàñòåð c öåíòðîì z1 .
Íà ñëåäóþùåì øàãå âû÷èñëÿþòñÿ ðàññòîÿíèÿ d31 è d32 îò îáðàçà x3 äî
öåíòðîâ êëàñòåðîâ z1 è z2 .
Åñëè îáà ðàññòîÿíèÿ îêàçûâàþòñÿ áîëüøå ïîðîãà θ, òî ó÷ðåæäàåòñÿ
íîâûé öåíòð êëàñòåðà z3 .  ïðîòèâíîì ñëó÷àå îáðàç x3 çà÷èñëÿåòñÿ â
òîò êëàñòåð, ÷åé öåíòð ê íåìó áëèæå.
Ïðîöåäóðà ïîâòîðÿåòñÿ äëÿ âñåõ òî÷åê èñõîäíîãî ìíîæåñòâà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
54 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ
Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ
Ïóñòü {x1 , x2 , ...xn } ìíîæåñòâî òåñòîâûõ ïðèìåðîâ.
Ïîìåñòèì öåíòð ïåðâîãî êëàñòåðà z1 â x1 è çàäàäèì íåîòðèöàòåëüíóþ
ïîðîãîâóþ âåëè÷èíó θ.
Âû÷èñëèì ðàññòîÿíèå d21 ìåæäó îáðàçîì x2 è öåíòðîì êëàñòåðà z1 ïî
ôîðìóëå d(x, z) = ||x − z||.
Åñëè d > θ, òî ó÷ðåæäàåòñÿ íîâûé öåíòð êëàñòåðà z2 = x2 .  ïðîòèâíîì
ñëó÷àå îáðàç x2 âêëþ÷àåòñÿ â êëàñòåð c öåíòðîì z1 .
Íà ñëåäóþùåì øàãå âû÷èñëÿþòñÿ ðàññòîÿíèÿ d31 è d32 îò îáðàçà x3 äî
öåíòðîâ êëàñòåðîâ z1 è z2 .
Åñëè îáà ðàññòîÿíèÿ îêàçûâàþòñÿ áîëüøå ïîðîãà θ, òî ó÷ðåæäàåòñÿ
íîâûé öåíòð êëàñòåðà z3 .  ïðîòèâíîì ñëó÷àå îáðàç x3 çà÷èñëÿåòñÿ â
òîò êëàñòåð, ÷åé öåíòð ê íåìó áëèæå.
Ïðîöåäóðà ïîâòîðÿåòñÿ äëÿ âñåõ òî÷åê èñõîäíîãî ìíîæåñòâà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
54 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ
Ðåçóëüòàòû êëàñòåðèçàöèè
Ðåçóëüòàòû îïèñàííîé ïðîöåäóðû îïðåäåëÿþòñÿ:
âûáîðîì ïåðâîãî öåíòðà êëàñòåðà;
ïîðÿäêîì îñìîòðà îáðàçîâ;
çíà÷åíèåì ïîðîãîâîé âåëè÷èíû θ;
ãåîìåòðè÷åñêèìè õàðàêòåðèñòèêàìè äàííûõ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
55 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ
Ïðåèìóùåñòâà è íåäîñòàòêè
Ïðåèìóùåñòâà àëãîðèòìà
Ïîçâîëÿåò ïðîñòî è áûñòðî ïîëó÷èòü ïðèáëèçèòåëüíûå îöåíêè îñíîâíûõ
õàðàêòåðèñòèê çàäàííîãî íàáîðà äàííûõ.
Óäîáåí ñ âû÷èñëèòåëüíîé òî÷êè çðåíèÿ: äëÿ âûÿâëåíèÿ öåíòðîâ
êëàñòåðîâ, ñîîòâåòñòâóþùèõ ïîðîãó θ, òðåáóåòñÿ òîëüêî îäíîêðàòíûé
ïðîñìîòð âûáîðêè.
Íåäîñòàòêè
Íà ïðàêòèêå ïðèõîäèòñÿ ïðîâîäèòü ìíîãî÷èñëåííûå ýêñïåðèìåíòû ñ
ðàçëè÷íûìè çíà÷åíèÿìè ïîðîãà è ðàçëè÷íûìè òî÷êàìè êëàñòåðèçàöèè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
56 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ
Óïðàæíåíèå
Äàíî ìíîæåñòâî äàííûõ:
{x1 = (7, 1), x2 = (4, 3), x3 = (5, 2), x4 = (3, 4),
x5 = (5, 5), x6 = (1, 4), x7 = (7, 4), x8 = (1, 3)}.
Ïðèìåíèòå ê äàííîìó ìíîæåñòâó ïðîñòîé ìåòîä îòûñêàíèÿ êëàñòåðîâ.
 êà÷åñòâå ïîðîãà âûáðàòü θ = 3, θ = 3.5.
 êà÷åñòâå ìåðû ðàññòîÿíèÿ âûáðàòü ìàíõåòòåíîâñêóþ ìåòðèêó
n
P
(d(x, y) =
|xi − yi |).
i=1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
57 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ïðîñòîé àëãîðèòì âûÿâëåíèÿ êëàñòåðîâ
Ëàáîðàòîðíàÿ ðàáîòà 2. Àëãîðèòìû êëàñòåðèçàöèè
Öåëü ëàáîðàòîðíîé ðàáîòû ïðàêòè÷åñêîå îñâîåíèå ìåòîäîâ àâòîìàòè÷åñêîé
êëàññèôèêàöèè êëàñòåðèçàöèè äàííûõ.
Çàäà÷è ëàáîðàòîðíîé ðàáîòû
1
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà âûÿâëåíèÿ êëàñòåðîâ.
Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷
1
×èñëî èñõîäíûõ îáðàçîâ äëÿ êëàññèôèêàöèè: 50-70.
2
Ïðåäóñìîòðåòü èçìåíåíèå ïàðàìåòðîâ àëãîðèòìà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
58 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü
âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû.
8
7
6
5
4
3
2
1
x2 x6
x10
Íà ïåðâîì øàãå ïîìåùàåì öåíòð
ïåðâîãî êëàñòåðà â ïåðâóþ òî÷êó:
z1 = x1 .
x8 x9
x5 x7
x3
x4
x1
0 1 2 3 4 5 6 7 8
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
59 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü
âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû.
8
7
6
5
4
3
2
1
x2 x6
x10
Çàòåì îòûñêèâàåòñÿ îáðàç, îòñòîÿùèé
îò îáðàçà x1 íà íàèáîëüøåå
ðàññòîÿíèå, êîòîðûé è íàçíà÷àåòñÿ
öåíòðîì êëàñòåðà z2 = x6 .
x8 x9
x5 x7
x3
x4
x1
0 1 2 3 4 5 6 7 8
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
59 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü
âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû.
8
7
6
5
4
3
2
1
x2 x6
Íà òðåòüåì øàãå ïðîèçâîäèòñÿ
âû÷èñëåíèå ðàññòîÿíèé ìåæäó âñåìè
îñòàëüíûìè îáðàçàìè âûáîðêè è
öåíòðàìè êëàñòåðîâ z1 è z2 . Â êàæäîé
ïàðå ýòèõ ðàññòîÿíèé âûáèðàåòñÿ
ìèíèìàëüíîå. Ïîñëå ýòîãî âûäåëÿåòñÿ
ìàêñèìàëüíîå èç ýòèõ ìèíèìàëüíûõ
ðàññòîÿíèé.
x10
x8 x9
x5 x7
x3
x4
x1
0 1 2 3 4 5 6 7 8
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
59 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü
âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû.
8
7
6
5
4
3
2
1
x2 x6
x10
x8 x9
x5 x7
x3
x4
x1
0 1 2 3 4 5 6 7 8
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Åñëè ïîñëåäíåå ñîñòàâëÿåò
çíà÷èòåëüíóþ ÷àñòü ðàññòîÿíèÿ ìåæäó
öåíòðàìè êëàñòåðîâ z1 è z2 (ïî
ìåíüøåé ìåðå ïîëîâèíó ýòîãî
ðàññòîÿíèÿ), ñîîòâåòñòâóþùèé îáðàç
íàçíà÷àåòñÿ öåíòðîì êëàñòåðà z3 . Â
ïðîòèâíîì ñëó÷àå âûïîëíåíèå
àëãîðèòìà ïðåêðàùàåòñÿ. Â ïðèìåðå
öåíòðîì êëàñòåðà z3 ñòàíîâèòñÿ îáðàç
x7 .
Ðàñïîçíàâàíèå îáðàçîâ
59 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü
âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû.
8
7
6
5
4
3
2
1
x2 x6
Íà ñëåäóþùåì øàãå àëãîðèòìà
âû÷èñëÿåòñÿ ðàññòîÿíèå ìåæäó òðåìÿ
âûäåëåííûìè öåíòðàìè êëàñòåðîâ è
âñåìè îñòàëüíûìè âûáîðî÷íûìè
îáðàçàìè; â êàæäîé ãðóïïå èç òðåõ
ðàññòîÿíèé âûáèðàåòñÿ ìèíèìàëüíîå.
Ïîñëå ýòîãî, êàê è íà ïðåäûäóùåì
øàãå, íàõîäèòñÿ ìàêñèìàëüíîå èç ýòèõ
ìèíèìàëüíûõ ðàññòîÿíèé.
x10
x8 x9
x5 x7
x3
x4
x1
0 1 2 3 4 5 6 7 8
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
59 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü
âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû.
8
7
6
5
4
3
2
1
x2 x6
Ïðîöåäóðà ïîâòîðÿåòñÿ äî òåõ ïîð,
ïîêà íà êàêîì-ëèáî øàãå íå áóäåò
ïîëó÷åíî ìàêñèìàëüíîå ðàññòîÿíèå,
äëÿ êîòîðîãî óñëîâèå, îïðåäåëÿþùåå
âûäåëåíèå íîâîãî êëàñòåðà íå
âûïîëíÿåòñÿ.
x10
x8 x9
x5 x7
x3
x4
x1
0 1 2 3 4 5 6 7 8
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
59 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü
âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû.
8
7
6
5
4
3
2
1
x2 x6
Ïðè îòíåñåíèè îñòàëüíûõ âûáîðî÷íûõ
îáðàçîâ ê îäíîìó èç ó÷ðåæäåííûõ
êëàñòåðîâ èñïîëüçóåòñÿ êðèòåðèé,
ïðåäóñìàòðèâàþùèé ââåäåíèå
êëàññèôèöèðóåìîãî îáðàçà â òîò
êëàñòåð, öåíòð êîòîðîãî äëÿ íåãî
áëèæàéøèé.
x10
x8 x9
x5 x7
x3
x4
x1
0 1 2 3 4 5 6 7 8
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
59 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Àëãîðèòì ìàêñèìèííîãî (ìàêñèìàëüíî-ìèíèìàëüíîãî) â ïåðâóþ î÷åðåäü
âûÿâëÿåò íàèáîëåå óäàëåííûå êëàñòåðû.
8
7
6
5
4
3
2
1
x2 x6
Ìîæíî áîëåå òî÷íî îïðåäåëèòü
öåíòðû êëàñòåðîâ, âû÷èñëèâ äëÿ
êàæäîãî íàáîðà
âûáîðî÷íîå ñðåäíåå
P
x.
cj = |Ω1j |
x10
x8 x9
x5 x7
x∈Ωj
x3
Ýòè ñðåäíèå ìîæíî ñ÷èòàòü íîâûìè
öåíòðàìè êëàñòåðîâ.
x4
x1
0 1 2 3 4 5 6 7 8
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
59 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Óïðàæíåíèå
Äàíî ìíîæåñòâî äàííûõ:
{x1 = (7, 1), x2 = (4, 3), x3 = (5, 2), x4 = (3, 4),
x5 = (5, 5), x6 = (1, 4), x7 = (7, 4), x8 = (1, 3)}.
Ïðèìåíèòå ê äàííîìó ìíîæåñòâó äàííûõ àëãîðèòì îòûñêàíèÿ êëàñòåðîâ,
äåéñòâóþùèé ïî ïðèíöèïó ìàêñèìèííîãî ðàññòîÿíèÿ.
 êà÷åñòâå òèïè÷íîãî ðàññòîÿíèÿ âûáðàòü ïîëîâèíó îò ðàññòîÿíèÿ
ìåæäó öåíòðàìè ïåðâûõ äâóõ êëàñòåðîâ.
 êà÷åñòâå ìåðû ðàññòîÿíèÿ âûáðàòü ìàíõåòòåíîâñêóþ ìåòðèêó
n
P
(d(x, y) =
|xi − yi |).
i=1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
60 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ìàêñèìèííîãî ðàññòîÿíèÿ
Ëàáîðàòîðíàÿ ðàáîòà 2. Àëãîðèòìû êëàñòåðèçàöèè
Öåëü ëàáîðàòîðíîé ðàáîòû ïðàêòè÷åñêîå îñâîåíèå ìåòîäîâ àâòîìàòè÷åñêîé
êëàññèôèêàöèè êëàñòåðèçàöèè äàííûõ.
Çàäà÷è ëàáîðàòîðíîé ðàáîòû
1
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà âûÿâëåíèÿ êëàñòåðîâ.
2
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà ìàêñèìèííîãî ðàññòîÿíèÿ.
Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷
1
×èñëî èñõîäíûõ îáðàçîâ äëÿ êëàññèôèêàöèè: 50-70.
2
Ïðåäóñìîòðåòü èçìåíåíèå ïàðàìåòðîâ àëãîðèòìà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
61 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ïîêàçàòåëü êà÷åñòâà ñóììó êâàäðàòîâ
ðàññòîÿíèé âñåõ òî÷åê, âõîäÿùèõ â êëàñòåðíóþ îáëàñòü, äî öåíòðà êëàñòåðà.
1
Øàã 1. Âûäåëÿþòñÿ íà÷àëüíûå öåíòðû êëàñòåðîâ z1 , ..., zk èç òåñòîâîé
âûáîðêè. Óñòàíàâëèâàåòñÿ i = 0.
2
Øàã 2. Âñÿ âûáîðêà ðàçáèâàåòñÿ íà k êëàñòåðîâ ïî ìåòîäó áëèæàéøåãî
(i)
(i)
ñîñåäà ïîëó÷àþòñÿ íåêîòîðûå êëàñòåðû Ω1 , ..., Ωk .
3
Øàã 3. Ðàññ÷èòûâàþòñÿ íîâûå öåíòðû öåíòðû òÿæåñòè êëàñòåðîâ ïî
P
(i+1)
ôîðìóëå zk
x.
= 1(i)
|Ωk |
4
(i)
x∈Ωk
Øàã 4. Ïðîâåðÿåòñÿ âûïîëíåíèå óñëîâèÿ îñòàíîâà:
(i+1)
(i)
zk
= zk ∀i = 1, ..., k .  ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 2.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
62 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ïîêàçàòåëü êà÷åñòâà ñóììó êâàäðàòîâ
ðàññòîÿíèé âñåõ òî÷åê, âõîäÿùèõ â êëàñòåðíóþ îáëàñòü, äî öåíòðà êëàñòåðà.
1
Øàã 1. Âûäåëÿþòñÿ íà÷àëüíûå öåíòðû êëàñòåðîâ z1 , ..., zk èç òåñòîâîé
âûáîðêè. Óñòàíàâëèâàåòñÿ i = 0.
2
Øàã 2. Âñÿ âûáîðêà ðàçáèâàåòñÿ íà k êëàñòåðîâ ïî ìåòîäó áëèæàéøåãî
(i)
(i)
ñîñåäà ïîëó÷àþòñÿ íåêîòîðûå êëàñòåðû Ω1 , ..., Ωk .
3
Øàã 3. Ðàññ÷èòûâàþòñÿ íîâûå öåíòðû öåíòðû òÿæåñòè êëàñòåðîâ ïî
P
(i+1)
ôîðìóëå zk
x.
= 1(i)
|Ωk |
4
(i)
x∈Ωk
Øàã 4. Ïðîâåðÿåòñÿ âûïîëíåíèå óñëîâèÿ îñòàíîâà:
(i+1)
(i)
zk
= zk ∀i = 1, ..., k .  ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 2.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
62 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ïîêàçàòåëü êà÷åñòâà ñóììó êâàäðàòîâ
ðàññòîÿíèé âñåõ òî÷åê, âõîäÿùèõ â êëàñòåðíóþ îáëàñòü, äî öåíòðà êëàñòåðà.
1
Øàã 1. Âûäåëÿþòñÿ íà÷àëüíûå öåíòðû êëàñòåðîâ z1 , ..., zk èç òåñòîâîé
âûáîðêè. Óñòàíàâëèâàåòñÿ i = 0.
2
Øàã 2. Âñÿ âûáîðêà ðàçáèâàåòñÿ íà k êëàñòåðîâ ïî ìåòîäó áëèæàéøåãî
(i)
(i)
ñîñåäà ïîëó÷àþòñÿ íåêîòîðûå êëàñòåðû Ω1 , ..., Ωk .
3
Øàã 3. Ðàññ÷èòûâàþòñÿ íîâûå öåíòðû öåíòðû òÿæåñòè êëàñòåðîâ ïî
P
(i+1)
ôîðìóëå zk
x.
= 1(i)
|Ωk |
4
(i)
x∈Ωk
Øàã 4. Ïðîâåðÿåòñÿ âûïîëíåíèå óñëîâèÿ îñòàíîâà:
(i+1)
(i)
zk
= zk ∀i = 1, ..., k .  ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 2.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
62 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ïîêàçàòåëü êà÷åñòâà ñóììó êâàäðàòîâ
ðàññòîÿíèé âñåõ òî÷åê, âõîäÿùèõ â êëàñòåðíóþ îáëàñòü, äî öåíòðà êëàñòåðà.
1
Øàã 1. Âûäåëÿþòñÿ íà÷àëüíûå öåíòðû êëàñòåðîâ z1 , ..., zk èç òåñòîâîé
âûáîðêè. Óñòàíàâëèâàåòñÿ i = 0.
2
Øàã 2. Âñÿ âûáîðêà ðàçáèâàåòñÿ íà k êëàñòåðîâ ïî ìåòîäó áëèæàéøåãî
(i)
(i)
ñîñåäà ïîëó÷àþòñÿ íåêîòîðûå êëàñòåðû Ω1 , ..., Ωk .
3
Øàã 3. Ðàññ÷èòûâàþòñÿ íîâûå öåíòðû öåíòðû òÿæåñòè êëàñòåðîâ ïî
P
(i+1)
ôîðìóëå zk
x.
= 1(i)
|Ωk |
4
(i)
x∈Ωk
Øàã 4. Ïðîâåðÿåòñÿ âûïîëíåíèå óñëîâèÿ îñòàíîâà:
(i+1)
(i)
zk
= zk ∀i = 1, ..., k .  ïðîòèâíîì ñëó÷àå ïåðåõîä ê øàãó 2.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
62 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ
. Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ôóíêöèîíàë ñóììàðíîé
âûáîðî÷íîé äèñïåðñèè Q3 è ñõîäèòñÿ çà êîíå÷íîå ÷èñëî øàãîâ.
Òåîðåìà
Äîêàçàòåëüñòâî.
1. Íà 2-ì øàãå Q3 ìèíèìèçèðóåòñÿ ïðè ôèêñèðîâàííîì ïîëîæåíèè öåíòðîâ
êëàñòåðîâ ïóòåì îïòèìèçàöèè ðàçáèåíèÿ îáó÷àþùåé âûáîðêè íà êëàñòåðû
(l)
(l)
x ∈ Ωi , åñëè ||x − zi || ≤ ||x − zj || ∀j 6= i.
2. Íà 3-ì øàãå Q3 ìèíèìèçèðóåòñÿ çà ñ÷åò ïåðåñ÷åòà öåíòðîâ òÿæåñòè
êëàñòåðîâ ïðè ôèêñèðîâàííîì ðàçáèåíèè îáó÷àþùåé âûáîðêè íà êëàñòåðû
P
(l+1)
zk
= 1(l)
x.
|Ωk |
(l)
x∈Ωk
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
63 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ
. Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ôóíêöèîíàë ñóììàðíîé
âûáîðî÷íîé äèñïåðñèè Q3 è ñõîäèòñÿ çà êîíå÷íîå ÷èñëî øàãîâ.
Òåîðåìà
Äîêàçàòåëüñòâî.
1. Íà 2-ì øàãå Q3 ìèíèìèçèðóåòñÿ ïðè ôèêñèðîâàííîì ïîëîæåíèè öåíòðîâ
êëàñòåðîâ ïóòåì îïòèìèçàöèè ðàçáèåíèÿ îáó÷àþùåé âûáîðêè íà êëàñòåðû
(l)
(l)
x ∈ Ωi , åñëè ||x − zi || ≤ ||x − zj || ∀j 6= i.
2. Íà 3-ì øàãå Q3 ìèíèìèçèðóåòñÿ çà ñ÷åò ïåðåñ÷åòà öåíòðîâ òÿæåñòè
êëàñòåðîâ ïðè ôèêñèðîâàííîì ðàçáèåíèè îáó÷àþùåé âûáîðêè íà êëàñòåðû
P
(l+1)
zk
= 1(l)
x.
|Ωk |
(l)
x∈Ωk
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
63 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ
. Àëãîðèòì k -ñðåäíèõ ìèíèìèçèðóåò ôóíêöèîíàë ñóììàðíîé
âûáîðî÷íîé äèñïåðñèè Q3 è ñõîäèòñÿ çà êîíå÷íîå ÷èñëî øàãîâ.
Òåîðåìà
Äîêàçàòåëüñòâî.
1. Íà 2-ì øàãå Q3 ìèíèìèçèðóåòñÿ ïðè ôèêñèðîâàííîì ïîëîæåíèè öåíòðîâ
êëàñòåðîâ ïóòåì îïòèìèçàöèè ðàçáèåíèÿ îáó÷àþùåé âûáîðêè íà êëàñòåðû
(l)
(l)
x ∈ Ωi , åñëè ||x − zi || ≤ ||x − zj || ∀j 6= i.
2. Íà 3-ì øàãå Q3 ìèíèìèçèðóåòñÿ çà ñ÷åò ïåðåñ÷åòà öåíòðîâ òÿæåñòè
êëàñòåðîâ ïðè ôèêñèðîâàííîì ðàçáèåíèè îáó÷àþùåé âûáîðêè íà êëàñòåðû
P
(l+1)
zk
= 1(l)
x.
|Ωk |
(l)
x∈Ωk
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
63 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ
Ðàññìîòðèì ôóíêöèþ ðàçáðîñà R(zi ) âûáîðî÷íûõ çíà÷åíèé â i-ì êëàññå
îòíîñèòåëüíî íåêîòîðîé òî÷êè zi (íå îáÿçàòåëüíî öåíòðà êëàññà):
X
X
R(zi ) =
||x − zi ||2 =
(x2 − 2xzi + zi2 ).
x∈Ωi
x∈Ωi
Èññëåäóåì ýòó ôóíêöèþ íà ìèíèìóì:
0
n
X
XX
∂R
(xl − zil ) · (−1) = 0.
=
(xj − zij )2 = 2
∂zil
j=1
x∈Ωi
x∈Ωi
=⇒ zil =
1
|Ωi |
P
xl =⇒ zi =
x∈Ωi
1
|Ωi |
P
x.
x∈Ωi
Òàêèì îáðàçîì, íà êàæäîé èòåðàöèè çíà÷åíèå Q íå óâåëè÷èâàåòñÿ, ò.å.
Q(1) ≥ Q(2) ≥ .... Èìååì íåâîçðàñòàþùóþ ïîñëåäîâàòåëüíîñòü,
îãðàíè÷åííóþ ñíèçó íóëåì, ïîýòîìó ýòà ïîñëåäîâàòåëüíîñòü èìååò ïðåäåë.
Òàê êàê ÷èñëî ýëåìåíòîâ îáó÷àþùåé âûáîðêè êîíå÷íî, òî ýòîò ïðåäåë
äîñòèãàåòñÿ çà êîíå÷íîå ÷èñëî èòåðàöèé.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
64 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ
Ðàññìîòðèì ôóíêöèþ ðàçáðîñà R(zi ) âûáîðî÷íûõ çíà÷åíèé â i-ì êëàññå
îòíîñèòåëüíî íåêîòîðîé òî÷êè zi (íå îáÿçàòåëüíî öåíòðà êëàññà):
X
X
R(zi ) =
||x − zi ||2 =
(x2 − 2xzi + zi2 ).
x∈Ωi
x∈Ωi
Èññëåäóåì ýòó ôóíêöèþ íà ìèíèìóì:
0
n
X
XX
∂R
(xl − zil ) · (−1) = 0.
=
(xj − zij )2 = 2
∂zil
j=1
x∈Ωi
x∈Ωi
=⇒ zil =
1
|Ωi |
P
xl =⇒ zi =
x∈Ωi
1
|Ωi |
P
x.
x∈Ωi
Òàêèì îáðàçîì, íà êàæäîé èòåðàöèè çíà÷åíèå Q íå óâåëè÷èâàåòñÿ, ò.å.
Q(1) ≥ Q(2) ≥ .... Èìååì íåâîçðàñòàþùóþ ïîñëåäîâàòåëüíîñòü,
îãðàíè÷åííóþ ñíèçó íóëåì, ïîýòîìó ýòà ïîñëåäîâàòåëüíîñòü èìååò ïðåäåë.
Òàê êàê ÷èñëî ýëåìåíòîâ îáó÷àþùåé âûáîðêè êîíå÷íî, òî ýòîò ïðåäåë
äîñòèãàåòñÿ çà êîíå÷íîå ÷èñëî èòåðàöèé.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
64 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ
Ðàññìîòðèì ôóíêöèþ ðàçáðîñà R(zi ) âûáîðî÷íûõ çíà÷åíèé â i-ì êëàññå
îòíîñèòåëüíî íåêîòîðîé òî÷êè zi (íå îáÿçàòåëüíî öåíòðà êëàññà):
X
X
R(zi ) =
||x − zi ||2 =
(x2 − 2xzi + zi2 ).
x∈Ωi
x∈Ωi
Èññëåäóåì ýòó ôóíêöèþ íà ìèíèìóì:
0
n
X
XX
∂R
(xl − zil ) · (−1) = 0.
=
(xj − zij )2 = 2
∂zil
j=1
x∈Ωi
x∈Ωi
=⇒ zil =
1
|Ωi |
P
xl =⇒ zi =
x∈Ωi
1
|Ωi |
P
x.
x∈Ωi
Òàêèì îáðàçîì, íà êàæäîé èòåðàöèè çíà÷åíèå Q íå óâåëè÷èâàåòñÿ, ò.å.
Q(1) ≥ Q(2) ≥ .... Èìååì íåâîçðàñòàþùóþ ïîñëåäîâàòåëüíîñòü,
îãðàíè÷åííóþ ñíèçó íóëåì, ïîýòîìó ýòà ïîñëåäîâàòåëüíîñòü èìååò ïðåäåë.
Òàê êàê ÷èñëî ýëåìåíòîâ îáó÷àþùåé âûáîðêè êîíå÷íî, òî ýòîò ïðåäåë
äîñòèãàåòñÿ çà êîíå÷íîå ÷èñëî èòåðàöèé.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
64 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Òåîðåìà î ñõîäèìîñòè àëãîðèòìà k -ñðåäíèõ
Ðàññìîòðèì ôóíêöèþ ðàçáðîñà R(zi ) âûáîðî÷íûõ çíà÷åíèé â i-ì êëàññå
îòíîñèòåëüíî íåêîòîðîé òî÷êè zi (íå îáÿçàòåëüíî öåíòðà êëàññà):
X
X
R(zi ) =
||x − zi ||2 =
(x2 − 2xzi + zi2 ).
x∈Ωi
x∈Ωi
Èññëåäóåì ýòó ôóíêöèþ íà ìèíèìóì:
0
n
X
XX
∂R
(xl − zil ) · (−1) = 0.
=
(xj − zij )2 = 2
∂zil
j=1
x∈Ωi
x∈Ωi
=⇒ zil =
1
|Ωi |
P
xl =⇒ zi =
x∈Ωi
1
|Ωi |
P
x.
x∈Ωi
Òàêèì îáðàçîì, íà êàæäîé èòåðàöèè çíà÷åíèå Q íå óâåëè÷èâàåòñÿ, ò.å.
Q(1) ≥ Q(2) ≥ .... Èìååì íåâîçðàñòàþùóþ ïîñëåäîâàòåëüíîñòü,
îãðàíè÷åííóþ ñíèçó íóëåì, ïîýòîìó ýòà ïîñëåäîâàòåëüíîñòü èìååò ïðåäåë.
Òàê êàê ÷èñëî ýëåìåíòîâ îáó÷àþùåé âûáîðêè êîíå÷íî, òî ýòîò ïðåäåë
äîñòèãàåòñÿ çà êîíå÷íîå ÷èñëî èòåðàöèé.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
64 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ. Ïðèìåð
Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà.
5
4
3
2
1
x5
x4
x6
x1
x2
x3
0 1 2 3 4 5
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
 êà÷åñòâå íà÷àëüíûõ öåíòðîâ âûáåðåì òî÷êè
(0)
(0)
z1 = x1 è z2 = x2 . Ðàçáèâàåì âûáîðêó
{x1 , x2 , x3 , x4 , x5 , x6 } íà äâà ïîäìíîæåñòâà ïî
ìåòîäó áëèæàéøåãî ñîñåäà. Ïîëó÷èì
(0)
íà÷àëüíûå êëàñòåðû: Ω1 = {x1 , x3 , x4 , x5 , x6 }
(0)
è Ω2 = {x2 }.
Ðàñïîçíàâàíèå îáðàçîâ
65 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ. Ïðèìåð
Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà.
5
4
3
2
1
x5
x4
x6
x1
x2
x3
Âû÷èñëÿåì íîâûå öåíòðû öåíòðû òÿæåñòè
(1)
(1)
13
êëàñòåðîâ: z1 = 17
5 , 5 , z2 = (0, 0).
(1)
(0)
(1)
(0)
Ñðàâíèâàåì z1 6= z1 , z2 = z2 .
Ïðîäîëæàåì âûïîëíåíèå àëãîðèòìà.
0 1 2 3 4 5
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
65 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ. Ïðèìåð
Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà.
5
4
3
2
1
x5
x4
x6
x1
x2
x3
Ðàçáèâàåì âûáîðêó íà äâà ïîäìíîæåñòâà ñ
íîâûìè öåíòðàìè ïî ìåòîäó áëèæàéøåãî
(1)
ñîñåäà. Ïîëó÷èì êëàñòåðû Ω1 = {x4 , x5 , x6 }
1
è Ω2 = {x1 , x2 , x3 }.
0 1 2 3 4 5
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
65 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ. Ïðèìåð
Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà.
5
4
3
2
1
x5
x4
x6
x1
x2
x3
Âû÷èñëÿåì íîâûå öåíòðû òÿæåñòè êëàñòåðîâ.
(2)
(2)
1
z1 = 14
3 , 4 , z2 = 1, 3 . Ñðàâíèâàåì
(2)
(1)
(2)
(1)
z1 6= z1 , z2 6= z2 . Ïðîäîëæàåì
âûïîëíåíèå àëãîðèòìà.
0 1 2 3 4 5
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
65 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ. Ïðèìåð
Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà.
5
4
3
2
1
x5
x4
x6
x1
x2
x3
Ðàçáèâàåì âûáîðêó íà äâà ïîäìíîæåñòâà ñ
íîâûìè öåíòðàìè ïî ìåòîäó áëèæàéøåãî
(2)
ñîñåäà. Ïîëó÷èì êëàñòåðû Ω1 = {x1 , x2 , x3 }
2
è Ω2 = {x4 , x5 , x6 }.
0 1 2 3 4 5
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
65 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ. Ïðèìåð
Ðàçäåëèì ìíîæåñòâî òî÷åê íà 2 êëàññà.
5
4
3
2
1
x5
x4
x6
x1
x2
Âû÷èñëÿåì öåíòðû òÿæåñòè êëàñòåðîâ.
(2)
(1)
(2)
(1)
z1 = z1 , z2 = z2 . Îñòàíîâêà àëãîðèòìà.
x3
0 1 2 3 4 5
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
65 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k-ñðåäíèõ. Ïðèìåð
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
66 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ. Çàìå÷àíèÿ
1
Àëãîðèòì k -ñðåäíèõ îñóùåñòâëÿåò ëîêàëüíóþ, íî íå ãëîáàëüíóþ
ìèíèìèçàöèþ ôóíêöèîíàëà Q. Ïîýòîìó ãàðàíòèè ¾õîðîøåé¿
êëàñòåðèçàöèè ýòîò àëãîðèòì íå äàåò.
2
Ïðîöåäóðà k -ñðåäíèõ îòíîñèòñÿ ê àëãîðèòìàì îáó÷åíèÿ áåç ó÷èòåëÿ (ñ
ñàìîîáó÷åíèåì).
3
Àëãîðèòì ÷óâñòâèòåëåí ê ðàçìåðíîñòè ïðîñòðàíñòâà ïðèçíàêîâ:
òðåáóåìîå êîëè÷åñòâî öåíòðîâ êëàñòåðîâ ýêñïîíåíöèàëüíî ðàñòåò ñ
ðîñòîì ðàçìåðíîñòè. Ïîýòîìó, åñëè óäàåòñÿ èçáàâèòüñÿ îò ïðèçíàêà,
ìàëî âëèÿþùåãî íà êëàññèôèêàöèþ, òî àëãîðèòì íà÷èíàåò ðàáîòàòü
áûñòðåå è ëó÷øå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
67 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ. Çàìå÷àíèÿ
1
Àëãîðèòì k -ñðåäíèõ îñóùåñòâëÿåò ëîêàëüíóþ, íî íå ãëîáàëüíóþ
ìèíèìèçàöèþ ôóíêöèîíàëà Q. Ïîýòîìó ãàðàíòèè ¾õîðîøåé¿
êëàñòåðèçàöèè ýòîò àëãîðèòì íå äàåò.
2
Ïðîöåäóðà k -ñðåäíèõ îòíîñèòñÿ ê àëãîðèòìàì îáó÷åíèÿ áåç ó÷èòåëÿ (ñ
ñàìîîáó÷åíèåì).
3
Àëãîðèòì ÷óâñòâèòåëåí ê ðàçìåðíîñòè ïðîñòðàíñòâà ïðèçíàêîâ:
òðåáóåìîå êîëè÷åñòâî öåíòðîâ êëàñòåðîâ ýêñïîíåíöèàëüíî ðàñòåò ñ
ðîñòîì ðàçìåðíîñòè. Ïîýòîìó, åñëè óäàåòñÿ èçáàâèòüñÿ îò ïðèçíàêà,
ìàëî âëèÿþùåãî íà êëàññèôèêàöèþ, òî àëãîðèòì íà÷èíàåò ðàáîòàòü
áûñòðåå è ëó÷øå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
67 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Àëãîðèòì k -ñðåäíèõ. Çàìå÷àíèÿ
1
Àëãîðèòì k -ñðåäíèõ îñóùåñòâëÿåò ëîêàëüíóþ, íî íå ãëîáàëüíóþ
ìèíèìèçàöèþ ôóíêöèîíàëà Q. Ïîýòîìó ãàðàíòèè ¾õîðîøåé¿
êëàñòåðèçàöèè ýòîò àëãîðèòì íå äàåò.
2
Ïðîöåäóðà k -ñðåäíèõ îòíîñèòñÿ ê àëãîðèòìàì îáó÷åíèÿ áåç ó÷èòåëÿ (ñ
ñàìîîáó÷åíèåì).
3
Àëãîðèòì ÷óâñòâèòåëåí ê ðàçìåðíîñòè ïðîñòðàíñòâà ïðèçíàêîâ:
òðåáóåìîå êîëè÷åñòâî öåíòðîâ êëàñòåðîâ ýêñïîíåíöèàëüíî ðàñòåò ñ
ðîñòîì ðàçìåðíîñòè. Ïîýòîìó, åñëè óäàåòñÿ èçáàâèòüñÿ îò ïðèçíàêà,
ìàëî âëèÿþùåãî íà êëàññèôèêàöèþ, òî àëãîðèòì íà÷èíàåò ðàáîòàòü
áûñòðåå è ëó÷øå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
67 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Óïðàæíåíèå
Äàíî ìíîæåñòâî äàííûõ:
{x1 = (7, 1), x2 = (4, 3), x3 = (5, 2), x4 = (3, 4),
x5 = (5, 5), x6 = (1, 4), x7 = (7, 4), x8 = (1, 3)}.
Ïðèìåíèòå ê äàííîìó ìíîæåñòâó ìåòîä k -ñðåäíèõ äëÿ 3 êëàññîâ (k = 3).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
68 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì k-âíóòðèãðóïïîâûõ ñðåäíèõ (c-means)
Ëàáîðàòîðíàÿ ðàáîòà 2. Àëãîðèòìû êëàñòåðèçàöèè
Öåëü ëàáîðàòîðíîé ðàáîòû ïðàêòè÷åñêîå îñâîåíèå ìåòîäîâ àâòîìàòè÷åñêîé
êëàññèôèêàöèè êëàñòåðèçàöèè äàííûõ.
Çàäà÷è ëàáîðàòîðíîé ðàáîòû
1
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà âûÿâëåíèÿ êëàñòåðîâ.
2
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà ìàêñèìèííîãî ðàññòîÿíèÿ.
3
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà k -ñðåäíèõ.
Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷
1
×èñëî èñõîäíûõ îáðàçîâ äëÿ êëàññèôèêàöèè: 50-70.
2
Ïðåäóñìîòðåòü èçìåíåíèå ïàðàìåòðîâ àëãîðèòìà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
69 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ÈÑÎÌÀÄ (ISODATA)
Àëãîðèòì ÈÑÎÌÀÄ (ISODATA)
Èòåðàòèâíûé Ñàìîîðãàíèçóþùèéñÿ Ìåòîä Àíàëèçà Äàííûõ (ISODATA
Iterative Self-Organizing Data Analysis Techniques), ðàçðàáîòàí â 1965 ãîäó
Áýëëîì (Ball G.) è Õýëëîì (Hall D.) Îñíîâíûå ïðîöåäóðû èçìåíåíèÿ ÷èñëà
êëàñòåðîâ:
1. Óäàëåíèå êëàñòåðîâ. Åñëè êëàñòåð ñîäåðæèò ìàëî ýëåìåíòîâ |Ωi | < q1 , òî
îí óäàëÿåòñÿ, åãî ýëåìåíòû ðàñïðåäåëÿþòñÿ ïî äðóãèì êëàñòåðàì, à öåíòð
êëàñòåðà zi óäàëÿåòñÿ èç ñïèñêà öåíòðîâ êëàñòåðîâ.
2. Ðàçäåëåíèå êëàñòåðîâ. Åñëè äèñïåðñèÿ i-ãî êëàñòåðà Di > q2 , òî i-é
êëàñòåð ðàçäåëÿþò íà äâà. Äëÿ ðàçäåëåíèÿ êëàñòåðà âû÷èñëÿþòñÿ
ïîêîìïîíåíòíûå äèñïåðñèè:
Dil =
1 X
||xl − zil ||2 , l = 1, ..., n.
|Ωi |
x∈Ωi
Äàëåå âûáèðàåòñÿ l-ÿ êîìïîíåíòà, äëÿ êîòîðîé Dil > Dis ∀s 6= l, è
îñóùåñòâëÿåòñÿ ðàçäåëåíèå i-ãî êëàñòåðà ïî l-é êîìïîíåíòå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
70 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ÈÑÎÌÀÄ (ISODATA)
Àëãîðèòì ÈÑÎÌÀÄ (ISODATA)
Èòåðàòèâíûé Ñàìîîðãàíèçóþùèéñÿ Ìåòîä Àíàëèçà Äàííûõ (ISODATA
Iterative Self-Organizing Data Analysis Techniques), ðàçðàáîòàí â 1965 ãîäó
Áýëëîì (Ball G.) è Õýëëîì (Hall D.) Îñíîâíûå ïðîöåäóðû èçìåíåíèÿ ÷èñëà
êëàñòåðîâ:
1. Óäàëåíèå êëàñòåðîâ. Åñëè êëàñòåð ñîäåðæèò ìàëî ýëåìåíòîâ |Ωi | < q1 , òî
îí óäàëÿåòñÿ, åãî ýëåìåíòû ðàñïðåäåëÿþòñÿ ïî äðóãèì êëàñòåðàì, à öåíòð
êëàñòåðà zi óäàëÿåòñÿ èç ñïèñêà öåíòðîâ êëàñòåðîâ.
2. Ðàçäåëåíèå êëàñòåðîâ. Åñëè äèñïåðñèÿ i-ãî êëàñòåðà Di > q2 , òî i-é
êëàñòåð ðàçäåëÿþò íà äâà. Äëÿ ðàçäåëåíèÿ êëàñòåðà âû÷èñëÿþòñÿ
ïîêîìïîíåíòíûå äèñïåðñèè:
Dil =
1 X
||xl − zil ||2 , l = 1, ..., n.
|Ωi |
x∈Ωi
Äàëåå âûáèðàåòñÿ l-ÿ êîìïîíåíòà, äëÿ êîòîðîé Dil > Dis ∀s 6= l, è
îñóùåñòâëÿåòñÿ ðàçäåëåíèå i-ãî êëàñòåðà ïî l-é êîìïîíåíòå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
70 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ÈÑÎÌÀÄ (ISODATA)
Àëãîðèòì ÈÑÎÌÀÄ (ISODATA)
Èòåðàòèâíûé Ñàìîîðãàíèçóþùèéñÿ Ìåòîä Àíàëèçà Äàííûõ (ISODATA
Iterative Self-Organizing Data Analysis Techniques), ðàçðàáîòàí â 1965 ãîäó
Áýëëîì (Ball G.) è Õýëëîì (Hall D.) Îñíîâíûå ïðîöåäóðû èçìåíåíèÿ ÷èñëà
êëàñòåðîâ:
1. Óäàëåíèå êëàñòåðîâ. Åñëè êëàñòåð ñîäåðæèò ìàëî ýëåìåíòîâ |Ωi | < q1 , òî
îí óäàëÿåòñÿ, åãî ýëåìåíòû ðàñïðåäåëÿþòñÿ ïî äðóãèì êëàñòåðàì, à öåíòð
êëàñòåðà zi óäàëÿåòñÿ èç ñïèñêà öåíòðîâ êëàñòåðîâ.
2. Ðàçäåëåíèå êëàñòåðîâ. Åñëè äèñïåðñèÿ i-ãî êëàñòåðà Di > q2 , òî i-é
êëàñòåð ðàçäåëÿþò íà äâà. Äëÿ ðàçäåëåíèÿ êëàñòåðà âû÷èñëÿþòñÿ
ïîêîìïîíåíòíûå äèñïåðñèè:
Dil =
1 X
||xl − zil ||2 , l = 1, ..., n.
|Ωi |
x∈Ωi
Äàëåå âûáèðàåòñÿ l-ÿ êîìïîíåíòà, äëÿ êîòîðîé Dil > Dis ∀s 6= l, è
îñóùåñòâëÿåòñÿ ðàçäåëåíèå i-ãî êëàñòåðà ïî l-é êîìïîíåíòå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
70 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ÈÑÎÌÀÄ (ISODATA)
Àëãîðèòì ÈÑÎÌÀÄ (ISODATA)
Äðóãîé, áîëåå òî÷íûé, ñïîñîá äåëåíèÿ êëàñòåðîâ ñîñòîèò â âû÷èñëåíèè
¾íàïðàâëåíèÿ¿ â ïðîñòðàíñòâå Rn , âäîëü êîòîðîãî äèñïåðñèÿ êëàñòåðà
ìàêñèìàëüíà. Äàëåå êëàñòåð ðàçäåëÿåòñÿ íà äâà ãèïåðïëîñêîñòüþ,
ïðîõîäÿùåé ÷åðåç öåíòð êëàñòåðà è ïåðïåíäèêóëÿðíîé âû÷èñëåííîìó
íàïðàâëåíèþ.
3. Ñëèÿíèå êëàñòåðîâ. Ïóñòü lij = ||zi − zj || ðàññòîÿíèå ìåæäó öåíòðàìè
êëàñòåðîâ. Åñëè lij < q3 , òî êëàñòåðû Ωi è Ωj îáúåäèíÿþòñÿ. Íîâûé öåíòð
êëàñòåðà âû÷èñëÿåòñÿ ïî ôîðìóëå
z=
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
zi |Ωi | + zj |Ωj |
.
|Ωi | + |Ωj |
Ðàñïîçíàâàíèå îáðàçîâ
71 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì ÈÑÎÌÀÄ (ISODATA)
Àëãîðèòì ÈÑÎÌÀÄ (ISODATA)
Äðóãîé, áîëåå òî÷íûé, ñïîñîá äåëåíèÿ êëàñòåðîâ ñîñòîèò â âû÷èñëåíèè
¾íàïðàâëåíèÿ¿ â ïðîñòðàíñòâå Rn , âäîëü êîòîðîãî äèñïåðñèÿ êëàñòåðà
ìàêñèìàëüíà. Äàëåå êëàñòåð ðàçäåëÿåòñÿ íà äâà ãèïåðïëîñêîñòüþ,
ïðîõîäÿùåé ÷åðåç öåíòð êëàñòåðà è ïåðïåíäèêóëÿðíîé âû÷èñëåííîìó
íàïðàâëåíèþ.
3. Ñëèÿíèå êëàñòåðîâ. Ïóñòü lij = ||zi − zj || ðàññòîÿíèå ìåæäó öåíòðàìè
êëàñòåðîâ. Åñëè lij < q3 , òî êëàñòåðû Ωi è Ωj îáúåäèíÿþòñÿ. Íîâûé öåíòð
êëàñòåðà âû÷èñëÿåòñÿ ïî ôîðìóëå
z=
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
zi |Ωi | + zj |Ωj |
.
|Ωi | + |Ωj |
Ðàñïîçíàâàíèå îáðàçîâ
71 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL (FORmal ELement)
Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã.
Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó.
Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì
áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ.
Àëãîðèòì:
1. Çàäàåì ïàðàìåòð R ðàäèóñ ñôåðû.
2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ
öåíòðîì â òî÷êå x0 ðàäèóñà R.
P
x. Ïåðåìåùàåì öåíòð
3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)|
x∈S(x0 ,R)
ñôåðû x0 â òî÷êó c.
4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ.
5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R).
6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü
ïîñòðîåííûì ñôåðàì.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
72 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL (FORmal ELement)
Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã.
Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó.
Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì
áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ.
Àëãîðèòì:
1. Çàäàåì ïàðàìåòð R ðàäèóñ ñôåðû.
2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ
öåíòðîì â òî÷êå x0 ðàäèóñà R.
P
3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)|
x. Ïåðåìåùàåì öåíòð
x∈S(x0 ,R)
ñôåðû x0 â òî÷êó c.
4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ.
5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R).
6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü
ïîñòðîåííûì ñôåðàì.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
72 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL (FORmal ELement)
Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã.
Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó.
Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì
áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ.
Àëãîðèòì:
1. Çàäàåì ïàðàìåòð R ðàäèóñ ñôåðû.
2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ
öåíòðîì â òî÷êå x0 ðàäèóñà R.
P
3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)|
x. Ïåðåìåùàåì öåíòð
x∈S(x0 ,R)
ñôåðû x0 â òî÷êó c.
4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ.
5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R).
6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü
ïîñòðîåííûì ñôåðàì.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
72 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL (FORmal ELement)
Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã.
Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó.
Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì
áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ.
Àëãîðèòì:
1. Çàäàåì ïàðàìåòð R ðàäèóñ ñôåðû.
2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ
öåíòðîì â òî÷êå x0 ðàäèóñà R.
P
3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)|
x. Ïåðåìåùàåì öåíòð
x∈S(x0 ,R)
ñôåðû x0 â òî÷êó c.
4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ.
5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R).
6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü
ïîñòðîåííûì ñôåðàì.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
72 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL (FORmal ELement)
Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã.
Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó.
Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì
áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ.
Àëãîðèòì:
1. Çàäàåì ïàðàìåòð R ðàäèóñ ñôåðû.
2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ
öåíòðîì â òî÷êå x0 ðàäèóñà R.
P
3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)|
x. Ïåðåìåùàåì öåíòð
x∈S(x0 ,R)
ñôåðû x0 â òî÷êó c.
4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ.
5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R).
6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü
ïîñòðîåííûì ñôåðàì.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
72 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL (FORmal ELement)
Ïðåäëîæåí Í.Ã. Çàãîðóéêî è Â.Í. Åëêèíîé â 1967ã.
Êëàñòåðû, ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó, èìåþò ñôåðè÷åñêóþ ôîðìó.
Êîëè÷åñòâî êëàñòåðîâ çàâèñèò îò ðàäèóñà ñôåð: ÷åì ìåíüøå ðàäèóñ, òåì
áîëüøå ïîëó÷àåòñÿ êëàñòåðîâ.
Àëãîðèòì:
1. Çàäàåì ïàðàìåòð R ðàäèóñ ñôåðû.
2. Âûáèðàåì ñëó÷àéíî èç âûáîðêè òî÷êó x0 . Ñòðîèì ñôåðó S(x0 , R) ñ
öåíòðîì â òî÷êå x0 ðàäèóñà R.
P
3. Âû÷èñëÿåì öåíòð òÿæåñòè c = |S(x10 ,R)|
x. Ïåðåìåùàåì öåíòð
x∈S(x0 ,R)
ñôåðû x0 â òî÷êó c.
4. Ïîâòîðÿåì øàã 3 ïîêà öåíòð òÿæåñòè íå ïåðåñòàíåò èçìåíÿòüñÿ.
5. Èñêëþ÷àåì èç âûáîðêè òî÷êè, ïðèíàäëåæàùèå S(x0 , R).
6. Ïðîäîëæàåì ïóíêòû 2-5 ïîêà âñå òî÷êè âûáîðêè íå áóäóò ïðèíàäëåæàòü
ïîñòðîåííûì ñôåðàì.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
72 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
73 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
73 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
73 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
73 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
73 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
73 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
73 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Àëãîðèòì FOREL
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
73 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòì FOREL
Óïðàæíåíèå
Äàíî ìíîæåñòâî äàííûõ:
{x1 = (7, 1), x2 = (4, 3), x3 = (5, 2), x4 = (3, 4),
x5 = (5, 5), x6 = (1, 4), x7 = (7, 4), x8 = (1, 3)}.
Ïðèìåíèòå ê äàííîìó ìíîæåñòâó ìåòîä ôîðìàëüíîãî ýëåìåíòà.
 êà÷åñòâå ðàäèóñà ñôåðû âûáðàòü r = 2.5, r = 3.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
74 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Ëàáîðàòîðíàÿ ðàáîòà 2
Ëàáîðàòîðíàÿ ðàáîòà 2. Àëãîðèòìû êëàñòåðèçàöèè
Öåëü ëàáîðàòîðíîé ðàáîòû ïðàêòè÷åñêîå îñâîåíèå ìåòîäîâ àâòîìàòè÷åñêîé
êëàññèôèêàöèè êëàñòåðèçàöèè äàííûõ.
Çàäà÷è ëàáîðàòîðíîé ðàáîòû
1
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà âûÿâëåíèÿ êëàñòåðîâ.
2
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà ìàêñèìèííîãî ðàññòîÿíèÿ.
3
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà k -ñðåäíèõ.
4
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà FOREL.
Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷
1
×èñëî èñõîäíûõ îáðàçîâ äëÿ êëàññèôèêàöèè: 50-70.
2
Ïðåäóñìîòðåòü èçìåíåíèå ïàðàìåòðîâ àëãîðèòìà.
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
75 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòìû ðàññòàíîâêè öåíòðîâ êëàñòåðîâ
Àëãîðèòì ïèêîâîãî ãðóïïèðîâàíèÿ
Ïðè èñïîëüçîâàíèè p âõîäíûõ âåêòîðîâ ñîçäàåòñÿ ñåòêà, ðàâíîìåðíî
ïîêðûâàþùàÿ ïðîñòðàíñòâî âåêòîðîâ xj .
Óçëû ýòîé ñåòêè ðàññìàòðèâàþòñÿ êàê ïîòåíöèàëüíûå öåíòðû è äëÿ
êàæäîãî èç íèõ ðàññìàòðèâàåòñÿ ïèêîâàÿ ôóíêöèÿ
p
P
||α−x ||2b
, ãäå b, σ ïàðàìåòðû,
m(α) =
exp − 2σ2j
j=1
Âåëè÷èíà m(α) ðàññìàòðèâàåòñÿ êàê îöåíêà âûñîòû ïèêîâîé ôóíêöèè,
îíà ïðîïîðöèîíàëüíà êîëè÷åñòâó âåêòîðîâ xj , íàõîäÿùèõñÿ â
îêðåñòíîñòè ïîòåíöèàëüíîãî öåíòðà α.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
76 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòìû ðàññòàíîâêè öåíòðîâ êëàñòåðîâ
Àëãîðèòì ïèêîâîãî ãðóïïèðîâàíèÿ
Ïîñëå ðàñ÷åòà çíà÷åíèé m(α) äëÿ âñåõ ïîòåíöèàëüíûõ öåíòðîâ ñðåäè
íèõ îòáèðàåòñÿ ïåðâûé z1 , èìåþùèé íàèáîëüøåå çíà÷åíèå.
Äëÿ âûáîðà ñëåäóþùèõ öåíòðîâ íàäî èñêëþ÷èòü z1 è óçëû,
ðàñïîëîæåííûå â íåïîñðåäñòâåííîé áëèçîñòè îò z1 .
Ýòî äåëàåòñÿ ïóòåì ïåðåîïðåäåëåíèÿ
ïèêîâîé
ôóíêöèè:
||α−x ||2b
m∗ (α) = m(α) − m(z1 ) exp − 2σ2j
â òî÷êå α = z1 .
Ïðîöåññ ïîâòîðÿåòñÿ äî òåõ ïîð, ïîêà åñòü òî÷êè äëÿ ãðóïïèðîâêè.
Íåäîñòàòîê ýòîãî àëãîðèòìà çàêëþ÷àåòñÿ â ýêñïîíåíöèàëüíîì ðîñòå
ñëîæíîñòè ñ óâåëè÷åíèåì ðàçìåðíîñòè âåêòîðîâ âõîäíûõ äàííûõ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
77 / 155
Àëãîðèòìû êëàñòåðèçàöèè
Àëãîðèòìû ðàññòàíîâêè öåíòðîâ êëàñòåðîâ
Àëãîðèòì ðàçíîñòíîãî ãðóïïèðîâàíèÿ
Àëãîðèòì ðàçíîñòíîãî ãðóïïèðîâàíèÿ ÿâëÿåòñÿ ìîäèôèêàöèåé ïðåäûäóùåãî
àëãîðèòìà, â êîòîðîì òåñòîâûå âåêòîðû xj ðàññìàòðèâàþòñÿ â êà÷åñòâå
ïîòåíöèàëüíûõ öåíòðîâ α.
p
P
||x −xj ||2b
Ïèêîâàÿ ôóíêöèÿ D(xi ) =
exp − (ri 1 /2)
, ãäå b ïàðàìåòð, r1
2
j=1
êîýôôèöèåíò, îïðåäåëÿþùèé ñôåðó ñîñåäñòâà.
Íà çíà÷åíèå D(xi ) ñóùåñòâåííûì îáðàçîì âëèÿþò òîëüêî òå âåêòîðû xj ,
êîòîðûå ðàñïîëîæåíû â ïðåäåëàõ ýòîé ñôåðû. Ïðè áîëüøîé ïëîòíîñòè
òî÷åê âîêðóã xi çíà÷åíèå ôóíêöèè D(xi ) âåëèêî. Ïîñëå ðàñ÷åòà D(xi )
äëÿ âñåõ xi â êà÷åñòâå öåíòðà z1 ïðèíèìàåòñÿ xi ñ íàèáîëüøèì
çíà÷åíèåì D(xi ).
Äëÿ îòûñêàíèÿ âòîðîãî öåíòðà èñïîëüçóåòñÿ ìîäèôèöèðîâàííàÿ ïèêîâàÿ
p
P
||x −xj ||2b
, r2
ôóíêöèÿ â âèäå D∗ (xi ) = D(xi ) − D(c1 )
exp − (ri 2 /2)
2
j=1
íîâûé ðàçìåð ñôåðû áëèçîñòè, îáû÷íî r2 ≥ r1 .
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
78 / 155
Íåéðîííûå ñåòè
Ñîäåðæàíèå
4
Íåéðîííûå ñåòè
Ïåðöåïòðîí
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ëàáîðàòîðíàÿ ðàáîòà 3
Íåëèíåéíûé êëàññèôèêàòîð
Ìíîãîñëîéíàÿ íåéðîííàÿ ñåòü
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
79 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîí
Ìîäåëü Íåéðîíà
x1
x2
ω1
ω2
...
ωn
f
y
xn
Ïåðöåïòðîí ïðîñòåéøàÿ íåéðîííàÿ ñåòü,
( ãäå ôóíêöèÿ àêòèâàöèè f
1, (ω, x) ≥ θ,
÷èñëîâàÿ ôóíêöèÿ f (x) = sgn(ω, x) =
0, (ω, x) < θ.
θ ïîðîã, ω = (ω1 , ..., ωn ) âåñ íåéðîíà.
Ñîçäàòü íåéðîííóþ ñåòü íàéòè âñå âåñîâûå êîýôôèöèåíòû äàííîé ñåòè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
80 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîí
Ïðèìåðû
x1
1
1
x1
1
1
x2
1
1
x2
1
1
y
1
y
1
1
1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
(
1, 12 x1 + 12 x2 ≥ 0.6,
f (x1 , x2 ) =
0, 12 x1 + 12 x2 < 0.6.
(
1, x1 + x2 ≥ 0.8,
f (x1 , x2 ) =
0, x1 + x2 < 0.8.
Ðàñïîçíàâàíèå îáðàçîâ
81 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîí
Ïðèìåðû
x1
1
1
x1
1
1
x2
1
1
x2
1
1
y
1
y
1
1
1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
(
1, 12 x1 + 12 x2 ≥ 0.6,
f (x1 , x2 ) =
0, 12 x1 + 12 x2 < 0.6.
(
1, x1 + x2 ≥ 0.8,
f (x1 , x2 ) =
0, x1 + x2 < 0.8.
Ðàñïîçíàâàíèå îáðàçîâ
81 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîí
Ñèãìîèäàëüíûé íåéðîí
Ôóíêöèÿ àêòèâàöèè ÿâëÿåòñÿ íåïðåðûâíîé è ìîæåò áûòü âûðàæåíà â âèäå
ñèãìîèäàëüíîé óíèïîëÿðíîé èëè áèïîëÿðíîé ôóíêöèè.
f (x) = 1+e1−αx
f (x) = tanh(αx)
f (x)
f (x)
x
x
Ïàðàìåòð α âëèÿåò íà êðóòèçíó ôóíêöèè f (x). Ïðè α → ∞ ñèãìîèäàëüíàÿ
ôóíêöèÿ ïðåâðàùàåòñÿ â ôóíêöèþ ñòóïåí÷àòîãî òèïà, èäåíòè÷íóþ ôóíêöèè
àêòèâàöèè ïåðöåïòðîíà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
82 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîí
Îáó÷åíèå íåéðîííîé ñåòè
Ïðîöåäóðà îáó÷åíèÿ ñ íàïðàâëåíèåì îøèáîê:
 õîäå òðåíèðîâêè â ñåòü ïîäàåòñÿ âõîäíîé ñèãíàë, îí ïðîõîäèò ÷åðåç
ñåòü, âûðàáàòûâàÿ íà âûõîäíûõ ýëåìåíòàõ ìíîæåñòâî çíà÷åíèé.
Äåéñòâèòåëüíûé âûõîä ñðàâíèâàåòñÿ ñ æåëàåìûì îáðàçöîì è
âû÷èñëÿåòñÿ ñîâïàäåíèå.
Åñëè âûõîä è îáðàçåö ñîâïàäàþò, òî â ñåòè íå äåëàåòñÿ íèêàêèõ
èçìåíåíèé. Åñëè âûõîä îòëè÷àåòñÿ îò îáðàçöà, òî íåîáõîäèìî èçìåíèòü
íåêîòîðûå ñâÿçè.
Ïðåöåäåíòû ïðåäúÿâëÿþòñÿ öèêëè÷åñêè, ò.å. ïîñëå ïðåäúÿâëåíèÿ
ïîñëåäíåãî ñíîâà ïðåäúÿâëÿåòñÿ ïåðâûé.
Ïðîöåññ îáó÷åíèÿ çàêàí÷èâàåòñÿ, êîãäà íåéðîí ïðàâèëüíî
êëàññèôèöèðóåò âñå ïðåöåäåíòû.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
83 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Àëãîðèòì îáðàòíîãî ðàñïðîñòðàíåíèÿ îøèáêè
1
Óñòàíàâëèâàþòñÿ íà÷àëüíûå çíà÷åíèÿ âåñîâ ñåòè ìàëûìè ñëó÷àéíûìè
âåëè÷èíàìè;
2
Âûáèðàåòñÿ î÷åðåäíàÿ îáó÷àþùàÿ ïàðà (X, Y ). Íà âõîä ñåòè ïîäàåòñÿ
âåêòîð X ;
3
Âû÷èñëÿåòñÿ âûõîä ñåòè f ;
4
Âû÷èñëÿåòñÿ ðàçíîñòü ìåæäó èñõîäíûì âûõîäîì Y è âû÷èñëåííûì
âûõîäîì ñåòè f ;
5
Ïðîèñõîäèò êîððåêòèðîâêà âåñîâ ñåòè ñ öåëüþ ìèíèìèçàöèè îøèáêè;
6
Ïîâòîðÿþòñÿ øàãè 2-5 äî òåõ ïîð, ïîêà îøèáêà íå äîñòèãíåò çàäàííîãî
ïîðîãà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
84 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0.
Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà
E = 0, k = 1.
(
1, (ω, x) ≥ 0,
Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) =
0, (ω, x) < 0.
Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n.
Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E :
E = E + 12 ||y − f ||.
Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå
ïåðåõîä ê øàãó 7.
Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ,
â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä
íà øàã 3.
Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3
êîíå÷íîå ÷èñëî ðàç.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
85 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0.
Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà
E = 0, k = 1.
(
1, (ω, x) ≥ 0,
Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) =
0, (ω, x) < 0.
Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n.
Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E :
E = E + 12 ||y − f ||.
Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå
ïåðåõîä ê øàãó 7.
Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ,
â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä
íà øàã 3.
Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3
êîíå÷íîå ÷èñëî ðàç.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
85 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0.
Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà
E = 0, k = 1.
(
1, (ω, x) ≥ 0,
Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) =
0, (ω, x) < 0.
Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n.
Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E :
E = E + 12 ||y − f ||.
Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå
ïåðåõîä ê øàãó 7.
Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ,
â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä
íà øàã 3.
Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3
êîíå÷íîå ÷èñëî ðàç.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
85 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0.
Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà
E = 0, k = 1.
(
1, (ω, x) ≥ 0,
Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) =
0, (ω, x) < 0.
Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n.
Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E :
E = E + 12 ||y − f ||.
Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå
ïåðåõîä ê øàãó 7.
Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ,
â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä
íà øàã 3.
Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3
êîíå÷íîå ÷èñëî ðàç.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
85 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0.
Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà
E = 0, k = 1.
(
1, (ω, x) ≥ 0,
Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) =
0, (ω, x) < 0.
Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n.
Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E :
E = E + 12 ||y − f ||.
Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå
ïåðåõîä ê øàãó 7.
Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ,
â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä
íà øàã 3.
Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3
êîíå÷íîå ÷èñëî ðàç.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
85 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0.
Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà
E = 0, k = 1.
(
1, (ω, x) ≥ 0,
Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) =
0, (ω, x) < 0.
Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n.
Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E :
E = E + 12 ||y − f ||.
Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå
ïåðåõîä ê øàãó 7.
Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ,
â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä
íà øàã 3.
Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3
êîíå÷íîå ÷èñëî ðàç.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
85 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0.
Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà
E = 0, k = 1.
(
1, (ω, x) ≥ 0,
Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) =
0, (ω, x) < 0.
Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n.
Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E :
E = E + 12 ||y − f ||.
Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå
ïåðåõîä ê øàãó 7.
Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ,
â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä
íà øàã 3.
Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3
êîíå÷íîå ÷èñëî ðàç.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
85 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Øàã 1. Âûáèðàåòñÿ ïàðàìåòð η > 0.
Øàã 2. Âåñà ωi çàäàþòñÿ ìàëûìè ñëó÷àéíûìè çíà÷åíèÿìè. Òåêóùàÿ îøèáêà
E = 0, k = 1.
(
1, (ω, x) ≥ 0,
Øàã 3. Ïîäàåòñÿ xk è âû÷èñëÿåòñÿ âûõîä f (x) =
0, (ω, x) < 0.
Øàã 4. Èçìåíÿþòñÿ âåñà ωi = ωi + η(y k − f k )xki , i = 1, ..., n.
Øàã 5. Îøèáêà âû÷èñëÿåòñÿ ïðèáàâëåíèåì òåêóùåé îøèáêè ê E :
E = E + 12 ||y − f ||.
Øàã 6. Åñëè k < N , òî k = k + 1, ïåðåõîä ê øàãó 3, â ïðîòèâíîì ñëó÷àå
ïåðåõîä ê øàãó 7.
Øàã 7. Òðåíèðîâî÷íûé öèêë çàâåðøåí. Ïðè E = 0 òðåíèðîâêà çàâåðøàåòñÿ,
â ïðîòèâíîì ñëó÷àå òåêóùàÿ îøèáêà óñòàíàâëèâàåòñÿ ðàâíîé íóëþ, ïåðåõîä
íà øàã 3.
Åñëè çàäà÷à ëèíåéíî ðàçäåëèìà, òî ïðîãðàììà áóäåò îáðàùàòüñÿ ê øàãó 3
êîíå÷íîå ÷èñëî ðàç.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
85 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ïðèìåð
(2, 1) → 1, (3, 3) → 1, (4, 2) → 1, (2, 4) → 0, (1, 5) → 0,
η = 2, ω = (0.1, 0.2), E = 0.
5
4
3
2
1
x5
x4
x2
x3
x1
f (x1 ) = 1, y 1 = 1,
f (x2 ) = 1, y 2 = 1,
f (x3 ) = 1, y 3 = 1.
0 1 2 3 4 5
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
86 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ïðèìåð
(2, 1) → 1, (3, 3) → 1, (4, 2) → 1, (2, 4) → 0, (1, 5) → 0,
η = 2, ω = (0.1, 0.2), E = 0.
5
4
3
2
1
x5
x4
x2
x3
x1
f (x4 ) = 1, y 4 = 0.
ω1 = 0.1 + 2 · (0 − 1) · 2 = −3.9,
ω2 = 0.2 + 2 · (0 − 1) · 4 = −7.8,
E > 0.
f (x5 ) = 0, y 5 = 0.
0 1 2 3 4 5
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
86 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Ïðèìåð
(2, 1) → 1, (3, 3) → 1, (4, 2) → 1, (2, 4) → 0, (1, 5) → 0,
η = 2, ω = (0.1, 0.2), E = 0.
5
4
3
2
1
x5
x4
x2
x3
x1
ω = (6.1, −5.8),
d(x) = 6.1x1 − 5.8x2 = 0.
0 1 2 3 4 5
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
86 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Îáîáùåíèå àëãîðèòìà ïåðöåïòðîíà íà íåñêîëüêî êëàññîâ
Ðàññìîòðèì çàäà÷ó êëàññèôèêàöèè ïî K êëàññàì. Äëÿ êàæäîãî êëàññà
íåîáõîäèìî îïðåäåëèòü ëèíåéíóþ äèñêðèìèíàíòíóþ ôóíêöèþ ωi (x),
i = 1, ..., K .
Ïóñòü x (l + 1)-ìåðíûé âåêòîð. Âåêòîð x îòíîñèòñÿ ê êëàññó Ωi , åñëè
ωi (x) > ωj (x) ∀i 6= j . Îáîçíà÷èì x = (x1 , ..., xK )
Äëÿ êàæäîãî âåêòîðà-ïðåöåäåíòà x èç Ωi ñòðîèì (K − 1) âåêòîðîâ xij
ðàçìåðíîñòè (l + 1)K :
xij = (0, 0, ..., x, ..., −x, ..., 0),
ãäå x ñòîèò íà i-ì ìåñòå, −x íà j -ì,
è âåêòîð ω = (ω1 , ..., ωK ), ãäå ωi (x) âåñîâîé âåêòîð äèñêðèìèíàíòíîé
ôóíêöèè.
Åñëè x îòíîñèòñÿ ê êëàññó Ωi , òî ωxij > 0, ∀j = 1, .., K, i 6= j ,
ò.ê. ωi x > ωj x è ωij = ωi x − ωj x > 0.
Çàäà÷à çàêëþ÷àåòñÿ â ïîñòðîåíèè ëèíåéíîãî êëàññèôèêàòîðà â
(l + 1)K -ìåðíîì ïðîñòðàíñòâå òàê, ÷òîáû êàæäûé èç âåêòîðîâ ïðåöåäåíòîâ
ëåæàë â ïîëîæèòåëüíîì ïîëóïðîñòðàíñòâå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
87 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Îáîáùåíèå àëãîðèòìà ïåðöåïòðîíà íà íåñêîëüêî êëàññîâ
Ðàññìîòðèì çàäà÷ó êëàññèôèêàöèè ïî K êëàññàì. Äëÿ êàæäîãî êëàññà
íåîáõîäèìî îïðåäåëèòü ëèíåéíóþ äèñêðèìèíàíòíóþ ôóíêöèþ ωi (x),
i = 1, ..., K .
Ïóñòü x (l + 1)-ìåðíûé âåêòîð. Âåêòîð x îòíîñèòñÿ ê êëàññó Ωi , åñëè
ωi (x) > ωj (x) ∀i 6= j . Îáîçíà÷èì x = (x1 , ..., xK )
Äëÿ êàæäîãî âåêòîðà-ïðåöåäåíòà x èç Ωi ñòðîèì (K − 1) âåêòîðîâ xij
ðàçìåðíîñòè (l + 1)K :
xij = (0, 0, ..., x, ..., −x, ..., 0),
ãäå x ñòîèò íà i-ì ìåñòå, −x íà j -ì,
è âåêòîð ω = (ω1 , ..., ωK ), ãäå ωi (x) âåñîâîé âåêòîð äèñêðèìèíàíòíîé
ôóíêöèè.
Åñëè x îòíîñèòñÿ ê êëàññó Ωi , òî ωxij > 0, ∀j = 1, .., K, i 6= j ,
ò.ê. ωi x > ωj x è ωij = ωi x − ωj x > 0.
Çàäà÷à çàêëþ÷àåòñÿ â ïîñòðîåíèè ëèíåéíîãî êëàññèôèêàòîðà â
(l + 1)K -ìåðíîì ïðîñòðàíñòâå òàê, ÷òîáû êàæäûé èç âåêòîðîâ ïðåöåäåíòîâ
ëåæàë â ïîëîæèòåëüíîì ïîëóïðîñòðàíñòâå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
87 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Îáîáùåíèå àëãîðèòìà ïåðöåïòðîíà íà íåñêîëüêî êëàññîâ
Ðàññìîòðèì çàäà÷ó êëàññèôèêàöèè ïî K êëàññàì. Äëÿ êàæäîãî êëàññà
íåîáõîäèìî îïðåäåëèòü ëèíåéíóþ äèñêðèìèíàíòíóþ ôóíêöèþ ωi (x),
i = 1, ..., K .
Ïóñòü x (l + 1)-ìåðíûé âåêòîð. Âåêòîð x îòíîñèòñÿ ê êëàññó Ωi , åñëè
ωi (x) > ωj (x) ∀i 6= j . Îáîçíà÷èì x = (x1 , ..., xK )
Äëÿ êàæäîãî âåêòîðà-ïðåöåäåíòà x èç Ωi ñòðîèì (K − 1) âåêòîðîâ xij
ðàçìåðíîñòè (l + 1)K :
xij = (0, 0, ..., x, ..., −x, ..., 0),
ãäå x ñòîèò íà i-ì ìåñòå, −x íà j -ì,
è âåêòîð ω = (ω1 , ..., ωK ), ãäå ωi (x) âåñîâîé âåêòîð äèñêðèìèíàíòíîé
ôóíêöèè.
Åñëè x îòíîñèòñÿ ê êëàññó Ωi , òî ωxij > 0, ∀j = 1, .., K, i 6= j ,
ò.ê. ωi x > ωj x è ωij = ωi x − ωj x > 0.
Çàäà÷à çàêëþ÷àåòñÿ â ïîñòðîåíèè ëèíåéíîãî êëàññèôèêàòîðà â
(l + 1)K -ìåðíîì ïðîñòðàíñòâå òàê, ÷òîáû êàæäûé èç âåêòîðîâ ïðåöåäåíòîâ
ëåæàë â ïîëîæèòåëüíîì ïîëóïðîñòðàíñòâå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
87 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Îáîáùåíèå àëãîðèòìà ïåðöåïòðîíà íà íåñêîëüêî êëàññîâ
Ðàññìîòðèì çàäà÷ó êëàññèôèêàöèè ïî K êëàññàì. Äëÿ êàæäîãî êëàññà
íåîáõîäèìî îïðåäåëèòü ëèíåéíóþ äèñêðèìèíàíòíóþ ôóíêöèþ ωi (x),
i = 1, ..., K .
Ïóñòü x (l + 1)-ìåðíûé âåêòîð. Âåêòîð x îòíîñèòñÿ ê êëàññó Ωi , åñëè
ωi (x) > ωj (x) ∀i 6= j . Îáîçíà÷èì x = (x1 , ..., xK )
Äëÿ êàæäîãî âåêòîðà-ïðåöåäåíòà x èç Ωi ñòðîèì (K − 1) âåêòîðîâ xij
ðàçìåðíîñòè (l + 1)K :
xij = (0, 0, ..., x, ..., −x, ..., 0),
ãäå x ñòîèò íà i-ì ìåñòå, −x íà j -ì,
è âåêòîð ω = (ω1 , ..., ωK ), ãäå ωi (x) âåñîâîé âåêòîð äèñêðèìèíàíòíîé
ôóíêöèè.
Åñëè x îòíîñèòñÿ ê êëàññó Ωi , òî ωxij > 0, ∀j = 1, .., K, i 6= j ,
ò.ê. ωi x > ωj x è ωij = ωi x − ωj x > 0.
Çàäà÷à çàêëþ÷àåòñÿ â ïîñòðîåíèè ëèíåéíîãî êëàññèôèêàòîðà â
(l + 1)K -ìåðíîì ïðîñòðàíñòâå òàê, ÷òîáû êàæäûé èç âåêòîðîâ ïðåöåäåíòîâ
ëåæàë â ïîëîæèòåëüíîì ïîëóïðîñòðàíñòâå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
87 / 155
Íåéðîííûå ñåòè
Ïåðöåïòðîííûé îáó÷àþùèé àëãîðèòì
Îáîáùåíèå àëãîðèòìà ïåðöåïòðîíà íà íåñêîëüêî êëàññîâ
Ðàññìîòðèì çàäà÷ó êëàññèôèêàöèè ïî K êëàññàì. Äëÿ êàæäîãî êëàññà
íåîáõîäèìî îïðåäåëèòü ëèíåéíóþ äèñêðèìèíàíòíóþ ôóíêöèþ ωi (x),
i = 1, ..., K .
Ïóñòü x (l + 1)-ìåðíûé âåêòîð. Âåêòîð x îòíîñèòñÿ ê êëàññó Ωi , åñëè
ωi (x) > ωj (x) ∀i 6= j . Îáîçíà÷èì x = (x1 , ..., xK )
Äëÿ êàæäîãî âåêòîðà-ïðåöåäåíòà x èç Ωi ñòðîèì (K − 1) âåêòîðîâ xij
ðàçìåðíîñòè (l + 1)K :
xij = (0, 0, ..., x, ..., −x, ..., 0),
ãäå x ñòîèò íà i-ì ìåñòå, −x íà j -ì,
è âåêòîð ω = (ω1 , ..., ωK ), ãäå ωi (x) âåñîâîé âåêòîð äèñêðèìèíàíòíîé
ôóíêöèè.
Åñëè x îòíîñèòñÿ ê êëàññó Ωi , òî ωxij > 0, ∀j = 1, .., K, i 6= j ,
ò.ê. ωi x > ωj x è ωij = ωi x − ωj x > 0.
Çàäà÷à çàêëþ÷àåòñÿ â ïîñòðîåíèè ëèíåéíîãî êëàññèôèêàòîðà â
(l + 1)K -ìåðíîì ïðîñòðàíñòâå òàê, ÷òîáû êàæäûé èç âåêòîðîâ ïðåöåäåíòîâ
ëåæàë â ïîëîæèòåëüíîì ïîëóïðîñòðàíñòâå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
87 / 155
Íåéðîííûå ñåòè
Ëàáîðàòîðíàÿ ðàáîòà 3
Ëàáîðàòîðíàÿ ðàáîòà 3
Öåëü ëàáîðàòîðíîé ðàáîòû ïðàêòè÷åñêîå îñâîåíèå ìåòîäà ïîñòðîåíèÿ
ëèíåéíîé ðàçäåëÿþùåé ôóíêöèè. <
Çàäà÷è ëàáîðàòîðíîé ðàáîòû
1
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà ïåðöåïòðîíà.
2
Ââîä çàäàííûõ îïèñàíèé êëàññîâ.
3
Ïîñòðîåíèå ðàçäåëÿþùåé ôóíêöèè.
4
Âûïîëíåíèå êîíòðîëüíûõ ðàñïîçíàâàíèé äëÿ íåèçâåñòíûõ îáúåêòîâ.
5
Ãðàôè÷åñêîå ïðåäñòàâëåíèå ðàçäåëÿþùåé ôóíêöèè, ïðåöåäåíòîâ,
ðàñïîçíàâàåìûõ îáúåêòîâ.
6
Èññëåäîâàíèå ñêîðîñòè àëãîðèòìà ïðè ðàçëè÷íûõ ïàðàìåòðàõ.
Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷
1
×èñëî êëàññîâ ðàñïîçíàâàíèÿ: 2.
2
×èñëî ïðåöåäåíòîâ â êàæäîì êëàññå: 20-30.
3
Êîëè÷åñòâî ðàñïîçíàâàåìûõ îáúåêòîâ: 5-10.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
88 / 155
Íåéðîííûå ñåòè
Íåëèíåéíûé êëàññèôèêàòîð
Çàäà÷à èñêëþ÷àþùåãî ÈËÈ
Ðàññìîòðèì áóëåâó ôóíêöèþ xor(x1 , x2 ) êàê íåêèé êëàññèôèêàòîð.
x1
1
1
x2
1
1
y
1
1
Êëàññ
Ω1
Ω0
Ω0
Ω1
1
1
Âñïîìîãàòåëüíûå áóëåâû ôóíêöèè or(x1 , x2 ) è and(x1 , x2 ).
x1
1
1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
x2
1
1
or
1
1
1
and
1
Ðàñïîçíàâàíèå îáðàçîâ
89 / 155
Íåéðîííûå ñåòè
Íåëèíåéíûé êëàññèôèêàòîð
Çàäà÷à èñêëþ÷àþùåãî ÈËÈ
Ðàññìîòðèì áóëåâó ôóíêöèþ xor(x1 , x2 ) êàê íåêèé êëàññèôèêàòîð.
x1
1
1
x2
1
1
y
1
1
Êëàññ
Ω1
Ω0
Ω0
Ω1
1
1
Âñïîìîãàòåëüíûå áóëåâû ôóíêöèè or(x1 , x2 ) è and(x1 , x2 ).
x1
1
1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
x2
1
1
or
1
1
1
and
1
Ðàñïîçíàâàíèå îáðàçîâ
89 / 155
Íåéðîííûå ñåòè
Íåëèíåéíûé êëàññèôèêàòîð
Çàäà÷à èñêëþ÷àþùåãî ÈËÈ
Ïîñòðîåíèå ëèíåéíîãî
êëàññèôèêàòîðà ôóíêöèè
or(x1 , x2 ):
d(x) = x1 + x2 = 12
1
1
Ïîñòðîåíèå ëèíåéíîãî
êëàññèôèêàòîðà ôóíêöèè
and(x1 , x2 ):
d(x) = x1 + x2 = 32
1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
1
90 / 155
Íåéðîííûå ñåòè
Íåëèíåéíûé êëàññèôèêàòîð
Çàäà÷à èñêëþ÷àþùåãî ÈËÈ
Ïîñòðîåíèå ëèíåéíîãî
êëàññèôèêàòîðà ôóíêöèè
or(x1 , x2 ):
d(x) = x1 + x2 = 12
1
1
x1
1
1
x1
1
f
x2
Ïîñòðîåíèå ëèíåéíîãî
êëàññèôèêàòîðà ôóíêöèè
and(x1 , x2 ):
d(x) = x1 + x2 = 32
− 12
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
1
1
y1
f
x2
Ðàñïîçíàâàíèå îáðàçîâ
1
− 32
y2
90 / 155
Íåéðîííûå ñåòè
Íåëèíåéíûé êëàññèôèêàòîð
Çàäà÷à èñêëþ÷àþùåãî ÈËÈ
Ïîñòðîåíèå íåëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè xor(x1 , x2 ).
Ïóñòü âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè or(x1 , x2 ) = y1 , âûõîä ïåðöåïòðîíà
äëÿ ôóíêöèè and(x1 , x2 ) = y2 .
x1
1
1
x2
1
1
y1
1
1
1
y2
1
xor
1
1
Êëàññ
Ω1
Ω0
Ω0
Ω1
Ðàçäåëÿþùàÿ ïðÿìàÿ: y1 − y2 = 12 .
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
91 / 155
Íåéðîííûå ñåòè
Íåëèíåéíûé êëàññèôèêàòîð
Çàäà÷à èñêëþ÷àþùåãî ÈËÈ
Ïîñòðîåíèå íåëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè xor(x1 , x2 ).
Ïóñòü âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè or(x1 , x2 ) = y1 , âûõîä ïåðöåïòðîíà
äëÿ ôóíêöèè and(x1 , x2 ) = y2 .
x1
1
1
x2
1
1
y1
1
1
1
y2
1
xor
1
1
Êëàññ
Ω1
Ω0
Ω0
Ω1
1
1
Ðàçäåëÿþùàÿ ïðÿìàÿ: y1 − y2 = 12 .
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
91 / 155
Íåéðîííûå ñåòè
Íåëèíåéíûé êëàññèôèêàòîð
Çàäà÷à èñêëþ÷àþùåãî ÈËÈ
Ïîñòðîåíèå íåëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè xor(x1 , x2 ).
Ïóñòü âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè or(x1 , x2 ) = y1 , âûõîä ïåðöåïòðîíà
äëÿ ôóíêöèè and(x1 , x2 ) = y2 .
x1
1
1
x2
1
1
y1
1
1
1
y2
1
xor
1
1
Êëàññ
Ω1
Ω0
Ω0
Ω1
1
1
Ðàçäåëÿþùàÿ ïðÿìàÿ: y1 − y2 = 12 .
1
1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
91 / 155
Íåéðîííûå ñåòè
Íåëèíåéíûé êëàññèôèêàòîð
Çàäà÷à èñêëþ÷àþùåãî ÈËÈ
Ïîñòðîåíèå íåëèíåéíîãî êëàññèôèêàòîðà ôóíêöèè xor(x1 , x2 ).
Ïóñòü âûõîä ïåðöåïòðîíà äëÿ ôóíêöèè or(x1 , x2 ) = y1 , âûõîä ïåðöåïòðîíà
äëÿ ôóíêöèè and(x1 , x2 ) = y2 .
x1
1
1
x2
1
1
y1
1
1
1
y2
1
xor
1
1
Êëàññ
Ω1
Ω0
Ω0
Ω1
1
1
Ðàçäåëÿþùàÿ ïðÿìàÿ: y1 − y2 = 12 .
x1
1
x2
1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
1
1
1
1
−1
or 2 1
y1
y2
and 3 -1
−2
Ðàñïîçíàâàíèå îáðàçîâ
xor 1
y
2
91 / 155
Íåéðîííûå ñåòè
Ìíîãîñëîéíàÿ íåéðîííàÿ ñåòü
Ìíîãîñëîéíàÿ íåéðîííàÿ ñåòü
y1
y2
yn
x1
x2
xn
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ìíîãîñëîéíàÿ íåéðîííàÿ ñåòü ïðÿìîé
ïðîâîäèèìîñòè. Âñå ñâÿçè íàïðàâëåíû
ñòðîãî îò âõîäíûõ íåéðîíîâ ê
âûõîäíûì.
Êàæäûé îáðàáàòûâàþùèé ýëåìåíò
õàðàêòåðèçóåòñÿ óðîâíåì àêòèâíîñòè,
âûõîäíûì çíà÷åíèåì, ìíîæåñòâîì
âõîäÿùèõ ñâÿçåé è ìíîæåñòâîì
âûõîäÿùèõ ñâÿçåé.
Ðàñïîçíàâàíèå îáðàçîâ
92 / 155
Íåéðîííûå ñåòè
Ìíîãîñëîéíàÿ íåéðîííàÿ ñåòü
Ñèìâîëüíîå ðàñïîçíàâàíèå
Çàäà÷à ñèìâîëüíîãî ðàñïîçíàâàíèÿ:
Äàíî: Ðàñòðîâîå ÷åðíî-áåëîå èçîáðàæåíèå áóêâû (10x10).
Çàäà÷à: Îïðåäåëèòü êàêàÿ ýòî áóêâà (33).
 òåðìèíàõ íåéðîñåòè:
Äàíî: Âõîäíîé âåêòîð èç 100 (10x10) äâîè÷íûõ ñèìâîëîâ.
Çàäà÷à: Ïîñòðîèòü íåéðîñåòü ñî 100 âõîäàìè è 33 âûõîäàìè, êîòîðûå
ïîìå÷åíû áóêâàìè. Åñëè íà âõîäå ñåòè èçîáðàæåíèå áóêâû ¾A¿, òî
ìàêñèìàëüíîå çíà÷åíèå âûõîäíîãî ñèãíàëà äîñòèãàåòñÿ íà âûõîäå ¾A¿.
Àíàëîãè÷íî äëÿ îñòàëüíûõ áóêâ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
93 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñîäåðæàíèå
5
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ
Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà
Neural toolbox. Matlab
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
94 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ
Îáó÷åíèå áåç ó÷èòåëÿ. Ïîáåäèòåëü çàáèðàåò âñå.
y1
y2
yn
Àëãîðèòì îáðàùàåòñÿ ñî ìíîæåñòâîì òåñòîâûõ
âåêòîðîâ êàê ñ ïåðåìåííûìè âåêòîðàìè, êîòîðûå
íåîáõîäèìî îáó÷èòü.
Ïåðåä îáó÷åíèåì âñå âåñîâûå âåêòîðû (ñëó÷àéíî
âûáðàííûå) íîðìàëèçóþò.
x1
ω2
x2
ω1
xn
x
ω1
Êðèòåðèåì óñòàíîâêè âåñîâ äëÿ ýòîãî âèäà
òðåíèðîâêè ÿâëÿåòñÿ âûáîð òàêîãî ωr :
||x − ωr || = min ||x − ωi ||.
i
ω3
ω3
ω2
Ïåðåñ÷åò âåñîâ (η ïàðàìåòð):
ωr = ωr + η(x − ωr ).
Âûõîäíîé ñèãíàë íåéðîíà-ïîáåäèòåëÿ ïîëó÷àåò çíà÷åíèå 1, âûõîäíûå
ñèãíàëû âñåõ îñòàëüíûõ íåéðîíîâ 0.
Óïðàæíåíèå: ïîêàçàòü, ÷òî ôîðìóëà äëÿ ïåðåñ÷åòà âåñîâ ÿâëÿåòñÿ
îïòèìàëüíîé (ìèíèìèçàöèÿ îøèáêè êëàñòåðèçàöèè).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
95 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ
Àëãîðèòì Êîõîíåíà
1
Çàäàþòñÿ ñëó÷àéíûå íîðìàëèçîâàííûå ïî äëèíå âåêòîðû ωi ;
2
Íà âõîä ñåòè ïîäàåòñÿ âåêòîð X ;
3
Îïðåäåëåíèå íåéðîíà - ïîáåäèòåëÿ, êîððåêòèðîâêà âåêòîðà åãî âåñîâ è
çàäàíèå åäèíè÷íîãî âûõîäà
ωr = ωr + η(x − ωr ),
4
Íîðìàëèçàöèÿ çàäàííîãî âåêòîðà
ωr =
5
ωr
;
||ωr ||
Çàäàíèå çíà÷åíèé äëÿ îñòàëüíûõ íåéðîíîâ
ωi = ωi ,
6
fr = 1;
fi = 0,
i 6= r;
Ïðîâåðêà âûïîëíåíèÿ óñëîâèÿ îñòàíîâà (ñòàáèëèçàöèÿ âåñîâ). Åñëè
óñëîâèå íå âûïîëíåíî ïåðåõîä ê øàãó 2, èíà÷å çàâåðøåíèå àëãîðèòìà.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
96 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ èìååò 2 ñëîÿ ñ ïîñëåäîâàòåëüíûìè
ñâÿçÿìè.
Ïåðâûé ñëîé ñëîé Êîõîíåíà, âòîðîé ñëîé ñëîé Ãðîññáåðãà.
Êàæäûé ýëåìåíò âõîäíîãî ñèãíàëà ïîäàåòñÿ íà âñå íåéðîíû ñëîÿ
Êîõîíåíà.
Êàæäûé íåéðîí ñëîÿ Êîõîíåíà ñîåäèíåí ñî âñåìè íåéðîíàìè ñëîÿ
Ãðîññáåðãà.
 ðåæèìå ôóíêöèîíèðîâàíèÿ ñåòè ïðåäúÿâëÿåòñÿ âõîäíîé ñèãíàë X è
ôîðìèðóåòñÿ âûõîäíîé ñèãíàë Y .
 ðåæèìå îáó÷åíèÿ íà âõîä ñåòè ïîäàåòñÿ âõîäíîé ñèãíàë è âåñà
êîððåêòèðóþòñÿ, ÷òîáû ñåòü âûäàâàëà òðåáóåìûé âûõîäíîé ñèãíàë.
Äëÿ íåéðîííîé ñåòè âñòðå÷íîãî ðàñïðîñòðàíåíèÿ òðåáóåòñÿ
ïðåäâàðèòåëüíàÿ îáðàáîòêà âõîäíûõ ñèãíàëîâ ïóòåì èõ íîðìàëèçàöèè:
xi =
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
xi
||xi ||
Ðàñïîçíàâàíèå îáðàçîâ
97 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ
Ñëîé Êîõîíåíà
 ïðîñòåéøåì ñëó÷àå ñëîé Êîõîíåíà ôóíêöèîíèðóåò ïî ïðàâèëó
¾ïîáåäèòåëü çàáèðàåò âñå¿.
Äëÿ äàííîãî âõîäíîãî âåêòîðà òîëüêî îäèí íåéðîí âûäàåò ëîãè÷åñêóþ
åäèíèöó, âñå îñòàëüíûå âûäàþò íîëü.
Âûõîä êàæäîãî íåéðîíà Êîõîíåíà ñóììà âçâåøåííûõ ýëåìåíòîâ
âõîäíûõ ñèãíàëîâ:
X
sj =
xi ωij .
i
sj âûõîä j -ãî íåéðîíà Êîõîíåíà,
Wj = (ω1j , .., ωnj ) âåêòîð âåñîâ j -ãî íåéðîíà Êîõîíåíà,
X = (x1 , ..., xn ) âåêòîð âõîäíîãî ñèãíàëà.
Íåéðîí Êîõîíåíà ñ ìàêñèìàëüíûì çíà÷åíèåì sj ÿâëÿåòñÿ
¾ïîáåäèòåëåì¿.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
98 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ
Ñëîé Ãðîññáåðãà
Ñëîé Ãðîññáåðãà ôóíêöèîíèðóåò â ñõîäíîé ìàíåðå. Âûõîä ñëîÿ
Ãðîññáåðãà ÿâëÿåòñÿ âçâåøåííîé ñóììîé âûõîäîâ ñëîÿ Êîõîíåíà. Ñëîé
Ãðîññáåðãà ñëîé íåéðîíîâ ñ ëèíåéíûìè àêòèâàöèîííûìè ôóíêöèÿìè.
 ñëîå Êîõîíåíà îäèí âûõîä ðàâåí åäèíèöå, îñòàëüíûå ðàâíû íóëþ.
Êàæäûé íåéðîí ñëîÿ Ãðîññáåðãà âûäàåò âåëè÷èíó âåñà, êîòîðûé
ñâÿçûâàåò ýòîò íåéðîí ñ åäèíñòâåííûì íåéðîíîì Êîõîíåíà, ÷åé âûõîä
îòëè÷åí îò íóëÿ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
99 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ
Îáó÷åíèå ñåòè. Ñëîé Êîõîíåíà
Ñëîé Êîõîíåíà êëàññèôèöèðóåò âõîäíûå âåêòîðû â ãðóïïó ñõîæèõ çà
ñ÷åò ïîäñòðîéêè âåñîâ ñëîÿ.
Áëèçêèå âõîäíûå âåêòîðû àêòèâèðóþò îäèí è òîò æå íåéðîí äàííîãî
ñëîÿ.
Çàòåì çàäà÷åé ñëîÿ Ãðîññáåðãà ÿâëÿåòñÿ ïîëó÷åíèå òðåáóåìûõ âûõîäîâ.
 ðåçóëüòàòå îáó÷åíèÿ ñëîé Êîõîíåíà ïðèîáðåòàåò ñïîñîáíîñòü
ðàçäåëÿòü íåñõîæèå âõîäíûå âåêòîðû.
Íà âõîä ïîäàåòñÿ âõîäíîé âåêòîð Xi è âû÷èñëÿþòñÿ åãî ñêàëÿðíûå
ïðîèçâåäåíèÿ ñ âåêòîðàìè âåñîâ âñåõ íåéðîíîâ (Xi , Wj ) ∀i, j .
Ñêàëÿðíîå ïðîèçâåäåíèå ìåðà ñõîäñòâà ìåæäó âõîäíûì âåêòîðîì è
âåêòîðîì âåñîâ.
Íåéðîí ñ ìàêñèìàëüíûì çíà÷åíèåì ñêàëÿðíîãî ïðîèçâåäåíèÿ
îáúÿâëÿåòñÿ ïîáåäèòåëåì è åãî âåñà ïîäñòðàèâàþòñÿ:
ωr = ωr + η(x − ωr ).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
100 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ
Îáó÷åíèå ñåòè. Ñëîé Êîõîíåíà
Êàæäûé âåñ, ñâÿçàííûé ñ âûèãðàâøèì íåéðîíîì Êîõîíåíà, èçìåíÿåòñÿ
ïðîïîðöèîíàëüíî ðàçíîñòè ìåæäó åãî âåëè÷èíîé è âåëè÷èíîé âõîäà, ê
êîòîðîìó îí ïðèñîåäèíåí.
Íàïðàâëåíèå èçìåíåíèÿ ìèíèìèçèðóåò ðàçíîñòü ìåæäó âåñîì è
ñîîòâåòñòâóþùèì ýëåìåíòîì âõîäíîãî ñèãíàëà.
Åñëè áû ñ êàæäûì íåéðîíîì Êîõîíåíà àññîöèèðîâàëñÿ îäèí âõîäíîé
âåêòîð, òî ñëîé Êîõîíåíà ìîã áû áûòü îáó÷åí ñ ïîìîùüþ îäíîãî
âû÷èñëåíèÿ íà âåñ (η = 1).
Êàê ïðàâèëî, îáó÷àþùåå ìíîæåñòâî âêëþ÷àåò ìíîãî ñõîäíûõ ìåæäó
ñîáîé âõîäíûõ âåêòîðîâ, è ñåòü äîëæíà áûòü îáó÷åíà àêòèâèðîâàòü îäèí
è òîò æå íåéðîí Êîõîíåíà äëÿ êàæäîãî èç íèõ.
Âåñà ýòîãî íåéðîíà äîëæíû ïîëó÷àòüñÿ óñðåäíåíèåì âõîäíûõ âåêòîðîâ,
êîòîðûå äîëæíû åãî àêòèâèðîâàòü.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
101 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ
Îáó÷åíèå ñåòè. Ñëîé Ãðîññáåðãà
Âûõîäû ñëîÿ Êîõîíåíà ïîäàþòñÿ íà âõîäû íåéðîíîâ ñëîÿ Ãðîññáåðãà.
Êàæäûé âåñ êîððåêòèðóåòñÿ òîëüêî â ñëó÷àå, åñëè îí ñîåäèíåí ñ
íåéðîíîì Êîõîíåíà, èìåþùèì íåíóëåâîé âûõîä.
Âåëè÷èíà êîððåêöèè âåñà ïðîïîðöèîíàëüíà ðàçíîñòè ìåæäó âåñîì è
òðåáóåìûì âûõîäîì íåéðîíà Ãðîññáåðãà.
Îáó÷åíèå ñëîÿ Ãðîññáåðãà îáó÷åíèå ñ ó÷èòåëåì, àëãîðèòì èñïîëüçóåò
çàäàííûå æåëàåìûå âûõîäû.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
102 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñåòü âñòðå÷íîãî ðàñïðîñòðàíåíèÿ
Ìîäèôèêàöèè
Ñåòè âñòðå÷íîãî ðàñïðîñòðàíåíèÿ ðàçëè÷àþòñÿ ñïîñîáàìè îïðåäåëåíèÿ
íà÷àëüíûõ çíà÷åíèé ñèíàïòè÷åñêèõ âåñîâ. Êðîìå ñëó÷àéíûõ çíà÷åíèé,
ìîãóò áûòü èñïîëüçîâàíû çíà÷åíèÿ â ñîîòâåòñòâèè ñ ìåòîäîì âûïóêëîé
êîìáèíàöèè.
Äëÿ ïîâûøåíèÿ ýôôåêòèâíîñòè îáó÷åíèÿ ïðèìåíÿåòñÿ äîáàâëåíèå øóìà
ê âõîäíûì âåêòîðàì.
Åñëè íåéðîí ñòàíîâèòñÿ ïîáåäèòåëåì ÷àùå, ÷åì 1/p, p ÷èñëî íåéðîíîâ
Êîõîíåíà, òî åìó âðåìåííî óâåëè÷èâàþò ïîðîã, äàâàÿ òåì ñàìûì
îáó÷àòüñÿ äðóãèì íåéðîíàì.
Ìîæåò áûòü èñïîëüçîâàí ìåòîä èíòåðïîëÿöèè, ïðè èñïîëüçîâàíèè
êîòîðîãî öåëàÿ ãðóïïà íåéðîíîâ Êîõîíåíà, èìåþùèõ íàèáîëüøèå
âûõîäû, ìîæåò ïåðåäàâàòü ñâîè âûõîäíûå ñèãíàëû â ñëîé Ãðîññáåðãà
ñàìîîðãàíèçóþùèåñÿ êàðòû.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
103 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà
Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà
Ñàìîîðãàíèçóþùàÿñÿ êàðòà Êîõîíåíà (Self-organising map)
ñîðåâíîâàòåëüíàÿ íåéðîííàÿ ñåòü ñ îáó÷åíèåì áåç ó÷èòåëÿ,
âûïîëíÿþùàÿ çàäà÷ó âèçóàëèçàöèè è êëàñòåðèçàöèè.
SOM ÿâëÿåòñÿ îäíèì èç ìåòîäîâ ïðîåöèðîâàíèÿ ìíîãîìåðíîãî
ïðîñòðàíñòâà â ïðîñòðàíñòâî ñ áîëåå íèçêîé ðàçìåðíîñòüþ (÷àùå âñåãî
äâóìåðíîå). Ïðè èñïîëüçîâàíèè ýòîãî àëãîðèòìà âåêòîðû, ñõîæèå â
èñõîäíîì ïðîñòðàíñòâå, îêàçûâàþòñÿ ðÿäîì è íà ïîëó÷åííîé êàðòå.
SOM ïîäðàçóìåâàåò èñïîëüçîâàíèå óïîðÿäî÷åííîé ñòðóêòóðû íåéðîíîâ.
Êàæäûé íåéðîí ïðåäñòàâëÿåò ñîáîé n-ìåðíûé âåêòîð ω = (ω1 , .., ωn ),
ãäå n îïðåäåëÿåòñÿ ðàçìåðíîñòüþ èñõîäíîãî ïðîñòðàíñòâà
(ðàçìåðíîñòüþ âõîäíûõ âåêòîðîâ).
Ïðè ðåàëèçàöèè àëãîðèòìà SOM çàðàíåå çàäàåòñÿ êîíôèãóðàöèÿ ñåòêè,
à òàêæå êîëè÷åñòâî íåéðîíîâ â ñåòè. Íåéðîíû ðàñïîëàãàþòñÿ â óçëàõ
ñåòêè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
104 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà
Îáó÷åíèå ñàìîîðãàíèçóþùèõñÿ êàðò
Ïåðåä íà÷àëîì îáó÷åíèÿ êàðòû íåîáõîäèìî ïðîèíèöèàëèçèðîâàòü
âåñîâûå êîýôôèöèåíòû íåéðîíîâ.
Îáó÷åíèå ñîñòîèò èç ïîñëåäîâàòåëüíîñòè êîððåêöèé âåêòîðîâ.
Íà êàæäîì øàãå îáó÷åíèÿ èç èñõîäíîãî íàáîðà äàííûì ñëó÷àéíî
âûáèðàåòñÿ îäèí èç âåêòîðîâ, à çàòåì ïðîèçâîäèòñÿ ïîèñê íàèáîëåå
ïîõîæåãî íà íåãî âåêòîðà êîýôôèöèåíòîâ íåéðîíîâ. Ïðè ýòîì
âûáèðàåòñÿ íåéðîí-ïîáåäèòåëü:
||x − ωr || = min ||x − ωi ||
i
Ïîñëå òîãî, êàê íàéäåí íåéðîí-ïîáåäèòåëü, ïðîèçâîäèòñÿ êîððåêòèðîâêà
âåñîâ íåéðîñåòè. Ïðè ýòîì âåêòîð, îïèñûâàþùèé íåéðîí-ïîáåäèòåëü è
âåêòîðû, îïèñûâàþùèå åãî ñîñåäåé â ñåòêå ïåðåìåùàþòñÿ â íàïðàâëåíèè
âõîäíîãî âåêòîðà:
ωi = ωi + hri ||x − w||.
Ôóíêöèÿ hr ôóíêöèÿ ñîñåäñòâà íåéðîíîâ, íàïðèìåð, ãàóññîâñêàÿ:
||xr − xi ||2
hri = α exp −
, 0 < α < 1.
2σ 2
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
105 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Neural toolbox. Matlab
Ïðàêòè÷åñêàÿ ðàáîòà. Neural network toolbox. Matlab
Ïåðöåïòðîí
Ñåòü Êîõîíåíà
Ñàìîîðãàíèçóþùèåñÿ êàðòû
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
106 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Neural toolbox. Matlab
Ïåðöåïòðîí
% Çàäàíèå âõîäíûõ âåêòîðîâ ñ óêàçàíèåì èõ
% ïðèíàäëåæíîñòè ê îäíîìó èç äâóõ êëàññîâ
P=[-0.5 -0.5 0.3 -0.1; -0.5 0.5 -0.5 1.0];
T=[1 1 0 0];
plotpv(P,T); % ãðàôè÷åñêîå ïðåäñòàâëåíèå èñõîäíûõ âåêòîðîâ
% ñîçäàíèå ïåðöåïòðîíà ñ óêàçàíèåì
% ãðàíèö èçìåíåíèé âõîäîâ è 1 íåéðîíîì
net=newp([-1 1; -1 1],1);
E=1;
net = init(net);% èíèöèàëèçàöèÿ ïåðöåïòðîíà
% èíèöèàëèçàöèÿ öèêëà àäàïòèâíîé íàñòðîéêè ïåðöåïòðîíà
% ñ âûâîäîì ãðàôèêà ðàçäåëÿþùåé ôóíêöèè
while (sse(E))
[net,Y,E]=adapt(net,P,T);
linehandle=plotpc(net.IW{1},net.b{1});
drawnow;
end;
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
107 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Neural toolbox. Matlab
Ïåðöåïòðîí
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
108 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Neural toolbox. Matlab
Ñåòü Êîõîíåíà
X=[0 1; 0 1];% çàäàíèå äèàïàçîíîâ âîçìîæíîãî ïîëîæåíèÿ öåíòðîâ
%êëàñòåðîâ
clusters=8; points=10; std_dev=0.05;
P=nngenc(X,clusters,points,std_dev); % ìîäåëèðîâàíèå âõîäíûõ
%äàííûõ
h=newc([0 1;0 1],8,.1); % ñîçäàíèå ñëîÿ Êîõîíåíà
h.trainParam.epochs = 400; % çàäàíèå êîëè÷åñòâà öèêëîâ îáó÷åíèÿ
h=init(h); % èíèöèàëèçàöèÿ ñåòè
h=train(h,P); % îáó÷åíèå ñåòè
w=h.IW{1};
plot(P(1,:),P(2,:),'+r')
hold on;
plot(w(:,1),w(:,2),'ob')
np=[0.9;0.2]; % çàäàíèå íîâîãî âõîäíîãî âåêòîðà
y=sim(h,np) % îïðîñ ñåòè
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
109 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Neural toolbox. Matlab
Ñåòü Êîõîíåíà
TRAINR, Epoch 0/400 TRAINR, Epoch 25/400
TRAINR, Epoch 50/400 TRAINR, Epoch 75/400
TRAINR, Epoch 100/400 TRAINR, Epoch 125/400
TRAINR, Epoch 150/400 TRAINR, Epoch 175/400
TRAINR, Epoch 200/400 TRAINR, Epoch 225/400
TRAINR, Epoch 250/400 TRAINR, Epoch 275/400
TRAINR, Epoch 300/400 TRAINR, Epoch 325/400
TRAINR, Epoch 350/400 TRAINR, Epoch 375/400
TRAINR, Epoch 400/400 TRAINR, Maximum epoch reached.
y = (7,1) 1
Ïðåäúÿâëåííûé âåêòîð îòíåñåí ê ñåäüìîìó êëàñòåðó.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
110 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Neural toolbox. Matlab
Ñåòü Êîõîíåíà
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
111 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Neural toolbox. Matlab
Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà
P=rands(2,500); % çàäàíèå ñëó÷àéíûõ äâóìåðíûõ âåêòîðîâ
plot(P(1,:),P(2,:),'+r') % îòîáðàæåíèå âõîäíûõ âåêòîðîâ
% ñîçäàíèå ÍÑ ñ 5*6=30 íåéðîíàìè, âñå óñòàíîâêè ïî óìîë÷àíèþ
net=newsom([0 1; 0 1],[5,6]);
net.trainParam.epochs=100;% çàäàíèå ÷èñëà öèêëîâ îáó÷åíèÿ
net.trainParam.show=20; % çàäàíèå ïåðèîäè÷íîñòè âûâîäà èíôîðìàöèè
net = train(net,P); % íàñòðîéêà ñåòè
% âûÿâëåííûå öåíòðû êëàñòåðîâ
plotsom(net.iw{1,1},net.layers{1}.distances);
p=[0.5;0.3];
y=sim(net,p) % îïðîñ ñåòè
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
112 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Neural toolbox. Matlab
Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
113 / 155
Íåéðîííûå ñåòè. Îáó÷åíèå áåç ó÷èòåëÿ
Neural toolbox. Matlab
Ñàìîîðãàíèçóþùèåñÿ êàðòû Êîõîíåíà
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
114 / 155
Íå÷åòêàÿ ëîãèêà
Ñîäåðæàíèå
6
Íå÷åòêàÿ ëîãèêà
Îñíîâíûå îïðåäåëåíèÿ
Íå÷åòêèé âûâîä
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Fuzzy Toolbox. Matlab
Ëàáîðàòîðíàÿ ðàáîòà 4
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Ãèáðèäíûå ñåòè
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
115 / 155
Íå÷åòêàÿ ëîãèêà
Îñíîâíûå îïðåäåëåíèÿ
Íå÷åòêàÿ ëîãèêà (Fuzzy logic)
Õàðàêòåðèñòèêà íå÷åòêîãî ìíîæåñòâà ôóíêöèÿ ïðèíàäëåæíîñòè µA (x)
ñòåïåíü ïðèíàäëåæíîñòè ê íå÷åòêîìó ìíîæåñòâó A.
Íå÷åòêîå ìíîæåñòâî A = {x | µA (x) ∈ [0, 1]}.
×àé ãîðÿ÷èé: = {0|10 , 0.6|50 , 0.8|60 , 0.9|70 , 1|80 , 190 , 1100 }.
Ëîãè÷åñêèå îïåðàöèè íàä íå÷åòêèìè ìíîæåñòâàìè:
Âêëþ÷åíèå: A ∈ B åñëè ∀x µA (x) ≤ µB (x)
Ðàâåíñòâî: A = B åñëè ∀x µA (x) = µB (x)
Ïåðåñå÷åíèå: µA∩B (x) = min(µA (x), µB (x))
Îáúåäèíåíèå: µA∪B (x) = max(µA (x), µB (x))
Äîïîëíåíèå: µA (x) = 1 − µA (x)
Ðàçíîñòü: µA−B (x) = µA∩B (x) = min(µA (x), 1 − µB (x))
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
116 / 155
Íå÷åòêàÿ ëîãèêà
Îñíîâíûå îïðåäåëåíèÿ
Òðåóãîëüíàÿ íîðìà
Òðåóãîëüíàÿ íîðìà (t-íîðìà) äâóìåñòíàÿ äåéñòâèòåëüíàÿ ôóíêöèÿ
T : [0, 1] × [0, 1] → [0, 1], óäîâëåòâîðÿþùàÿ ñëåäóþùèì óñëîâèÿì:
1
T (0, 0) = 0; T (µA , 1) = µA ; T (1, µA ) = µA îãðàíè÷åííîñòü
2
T (µA , µB ) ≤ T (µC , µD ), åñëè µA ≤ µC , µB ≤ µD ìîíîòîííîñòü
3
T (µA , µB ) = T (µB , µA ) êîììóòàòèâíîñòü
4
T (µA , T (µB , µC )) = T (T (µA , µB ), µC ) àññîöèàòèâíîñòü
Ïðèìåðû: min(µA , µB ), µA · µB , max(0, µA + µB − 1)
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
117 / 155
Íå÷åòêàÿ ëîãèêà
Îñíîâíûå îïðåäåëåíèÿ
Òðåóãîëüíàÿ êîíîðìà
Òðåóãîëüíàÿ êîíîðìà (t-êîíîðìà) äâóìåñòíàÿ äåéñòâèòåëüíàÿ ôóíêöèÿ
S : [0, 1] × [0, 1] → [0, 1], óäîâëåòâîðÿþùàÿ ñëåäóþùèì óñëîâèÿì:
1
S(1, 1) = 1; S(µA , 0) = µA ; S(0, µA ) = µA îãðàíè÷åííîñòü
2
S(µA , µB ) ≥ S(µC , µD ), åñëè µA ≥ µC , µB ≥ µD ìîíîòîííîñòü
3
S(µA , µB ) = S(µB , µA ) êîììóòàòèâíîñòü
4
S(µA , S(µB , µC )) = S(S(µA , µB ), µC ) àññîöèàòèâíîñòü
Ïðèìåðû: max(µA , µB ), µA + µB − µA · µB , min(1, µA + µB )
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
118 / 155
Íå÷åòêàÿ ëîãèêà
Îñíîâíûå îïðåäåëåíèÿ
Ëèíãâèñòè÷åñêèå ïåðåìåííûå
Äëÿ îïèñàíèÿ íå÷åòêèõ ìíîæåñòâ ââîäèòñÿ ïîíÿòèå ëèíãâèñòè÷åñêîé
ïåðåìåííîé: < X, T (X), U, G, M >
X èìÿ ïåðåìåííîé;
T (X) ìíîæåñòâî òåðìîâ X (ìíîæåñòâî èìåí ëèíãâèñòè÷åñêîé
ïåðåìåííîé íå÷åòêèå ÷èñëà íà U );
G ñèíòàêñè÷åñêîå ïðàâèëî äëÿ âûðàáîòêè èìåí âåëè÷èíû X ;
M ñåìàíòè÷åñêîå ïðàâèëî äëÿ ñâÿçûâàíèÿ êàæäîé âåëè÷èíû ñ åå
ñìûñëîì.
Ïðèìåð. Ñêîðîñòü v . T (x) = {î÷åíü ìåäëåííî, ìåäëåííî, óìåðåííî,
áûñòðî, î÷åíü áûñòðî}.
Êàæäûé òåðì çàäàí íà ìíîæåñòâå U = [0, 100].
Ìåäëåííî ≈ 40 êì/÷;
Óìåðåííî ≈ 55 êì/÷;
Áûñòðî ≈ 70 êì/÷;
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
1
Ðàñïîçíàâàíèå îáðàçîâ
40 55 70
119 / 155
Íå÷åòêàÿ ëîãèêà
Îñíîâíûå îïðåäåëåíèÿ
Ïðèçíàêè â çàäà÷àõ ðàñïîçíàâàíèÿ ëèö
x1
x2
x3
x4
x5
x6
x7
x8
x9
âûñîòà ëáà
ïðîôèëü íîñà
äëèíà íîñà
ðàçðåç ãëàç
öâåò ãëàç
ôîðìà ïîäáîðîäêà
òîëùèíà ãóá
öâåò ëèöà
î÷åðòàíèå ëèöà
íèçêèé
êóðíîñûé
êîðîòêèé
óçêèå
ñâåòëûå
îñòðîêîíå÷íûé
òîíêèå
òåìíûé
îâàëüíîå
1
âûñîêèé
ãîðáàòûé
äëèííûé
øèðîêèå
òåìíûå
êâàäðàòíûé
òîëñòûå
ñâåòëûé
êâàäðàòíîå
Äëÿ êîíêðåòíîãî ëèöà ýêñïåðò, èñõîäÿ èç ïðèâåäåííîé øêàëû, çàäàåò
µ(x) ∈ [0, 1], ôîðìèðóÿ âåêòîðíóþ ôóíêöèþ ïðèíàäëåæíîñòè
{µ(x1 ), .., µ(x9 )}.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
120 / 155
Íå÷åòêàÿ ëîãèêà
Îñíîâíûå îïðåäåëåíèÿ
Ôóíêöèè ïðèíàäëåæíîñòè
Òðåóãîëüíîå
÷èñëî
b−x
1 − b−a , a ≤ x ≤ b,
µA (x) = 1 − x−c
c−b , b ≤ x ≤ c,
0, x < a, x > c.
Òðàïåöåèäàëüíîå
÷èñëî
b−x
1
−
b−a , a ≤ x ≤ b,
1, b ≤ x ≤ c,
µA (x) =
1 − x−c
d−c , c ≤ x ≤ d,
0, x < a, x > d.
1
a
b
c
b
c
d
1
a
f (x)
Ãàóññîâà òèïà
µA (x) = exp −
x−c 2
1
σ
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
x
121 / 155
Íå÷åòêàÿ ëîãèêà
Îñíîâíûå îïðåäåëåíèÿ
Ôóíêöèè ïðèíàäëåæíîñòè
Òðåóãîëüíîå
÷èñëî
b−x
1 − b−a , a ≤ x ≤ b,
µA (x) = 1 − x−c
c−b , b ≤ x ≤ c,
0, x < a, x > c.
Òðàïåöåèäàëüíîå
÷èñëî
b−x
1
−
b−a , a ≤ x ≤ b,
1, b ≤ x ≤ c,
µA (x) =
1 − x−c
d−c , c ≤ x ≤ d,
0, x < a, x > d.
1
a
b
c
b
c
d
1
a
f (x)
Ãàóññîâà òèïà
µA (x) = exp −
x−c 2
1
σ
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
x
121 / 155
Íå÷åòêàÿ ëîãèêà
Îñíîâíûå îïðåäåëåíèÿ
Ôóíêöèè ïðèíàäëåæíîñòè
Òðåóãîëüíîå
÷èñëî
b−x
1 − b−a , a ≤ x ≤ b,
µA (x) = 1 − x−c
c−b , b ≤ x ≤ c,
0, x < a, x > c.
Òðàïåöåèäàëüíîå
÷èñëî
b−x
1
−
b−a , a ≤ x ≤ b,
1, b ≤ x ≤ c,
µA (x) =
1 − x−c
d−c , c ≤ x ≤ d,
0, x < a, x > d.
1
a
b
c
b
c
d
1
a
f (x)
Ãàóññîâà òèïà
µA (x) = exp −
x−c 2
1
σ
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
x
121 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêèé âûâîä
Ïðàâèëà íå÷åòêîãî âûâîäà
Îñíîâîé äëÿ íå÷åòêîãî ëîãè÷åñêîãî âûâîäà ñëóæèò áàçà ïðàâèë,
ñîäåðæàùàÿ íå÷åòêèå âûñêàçûâàíèÿ â ôîðìå: "Åñëè òî" è ôóíêöèè
ïðèíàäëåæíîñòè äëÿ ñîîòâåòñòâóþùèõ ëèíãâèñòè÷åñêèõ òåðìîâ.
Ñóùåñòâóåò õîòÿ áû îäíî ïðàâèëî äëÿ êàæäîãî ëèíãâèñòè÷åñêîãî òåðìà
âûõîäíîé ïåðåìåííîé.
Äëÿ êàæäîãî òåðìà âõîäíîé ïåðåìåííîé èìååòñÿ õîòÿ áû îäíî ïðàâèëî,
â êîòîðîì ýòîò òåðì èñïîëüçóåòñÿ â êà÷åñòâå ïðåäïîñûëêè.
Áàçà ïðàâèë:
R1 : Åñëè x1 ýòî A11 è xn ýòî A1n , òî y ýòî B1 ;
...
Rm : Åñëè x1 ýòî Am1 è xn ýòî Amn , òî y ýòî Bm ;
xk âõîä, y âûõîä, Ak íå÷åòêèå ìíîæåñòâà ñ çàäàííîé ôóíêöèåé
ïðèíàäëåæíîñòè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
122 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêèé âûâîä
Àëãîðèòì íå÷åòêîãî âûâîäà
Ýòàïû ëîãè÷åñêîãî âûâîäà:
1
Ââåäåíèå íå÷åòêîñòè (ôàçèôèêàöèÿ);
2
Íå÷åòêèé âûâîä;
3
Êîìïîçèöèÿ;
4
Ïðèâåäåíèå ê ÷åòêîñòè (äåôàçèôèêàöèÿ);
Áàçà ïðàâèë
x
Ïðèâåäåíèå
Íå÷åòêèé
Ïðèâåäåíèå
ê íå÷åòêîñòè
âûâîä
ê ÷åòêîñòè
y
Àëãîðèòìû íå÷åòêîãî âûâîäà ðàçëè÷àþòñÿ âèäîì èñïîëüçóåìûõ ïðàâèë,
ëîãè÷åñêèõ îïåðàöèé è ðàçíîâèäíîñòüþ ìåòîäà äåôàçèôèêàöèè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
123 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêèé âûâîä
Ìåõàíèçì íå÷åòêîãî âûâîäà Ìàìäàíè
1
Ïðîöåäóðà ôàçèôèêàöèè: îïðåäåëÿþòñÿ ñòåïåíè èñòèííîñòè, ò.å.
çíà÷åíèÿ ôóíêöèé ïðèíàäëåæíîñòè äëÿ ëåâûõ ÷àñòåé êàæäîãî ïðàâèëà
(ïðåäïîñûëîê). Äëÿ áàçû ïðàâèë ñ m ïðàâèëàìè îáîçíà÷èì ñòåïåíè
èñòèííîñòè êàê Aik (xk ), i = 1, ..., m, k = 1, ..., n.
2
Íå÷åòêèé âûâîä. Ñíà÷àëà îïðåäåëÿþòñÿ óðîâíè ¾îòñå÷åíèÿ¿ äëÿ ëåâîé
÷àñòè êàæäîãî èç ïðàâèë: αi = min(Aik (xk )). Äàëåå íàõîäÿòñÿ
k
¾óñå÷åííûå¿ ôóíêöèè ïðèíàäëåæíîñòè: Bi∗ (y) = min(αi , Bi (y)).
3
Êîìïîçèöèÿ, èëè îáúåäèíåíèå ïîëó÷åííûõ óñå÷åííûõ ôóíêöèé.
Èñïîëüçóåòñÿ ìàêñèìàëüíàÿ êîìïîçèöèÿ íå÷åòêèõ ìíîæåñòâ:
µ(y) = max(Bi∗ (y)), ãäå µ(y) ôóíêöèÿ ïðèíàäëåæíîñòè èòîãîâîãî
i
íå÷åòêîãî ìíîæåñòâà.
4
Äåôàçèôèêàöèÿ, èëè ïðèâåäåíèå ê ÷åòêîñòè.
Íàïðèìåð,
ìåòîä ñðåäíåãî
R
R
öåíòðà, èëè öåíòðîèäíûé ìåòîä. y0 = yµ(y)dy/ µ(y)dy
Ω
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
Ω
124 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêèé âûâîä
Àëãîðèòì Ìàìäàíè
µA21
1
µA12
µA11
1
x∗1
min
x1
µA22
x2
x1
x∗2
x2
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
µB1
→
µB2
x
max ↓
x
y∗
y
Ðàñïîçíàâàíèå îáðàçîâ
125 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Ñóùåñòâóåò k êëàññîâ, íà êîòîðûå íàäî ðàçáèòü xj âåêòîðîâ j = 1, .., p:
xj = (xj1 , ..., xjn ). Öåíòðû êàæäîãî êëàññà ci (i = 1, ..., k) íà íà÷àëüíîì
ýòàïå âûáðàíû ïðîèçâîëüíî (èç ìíîæåñòâà çíà÷åíèé âåêòîðîâ xj ).
Ïîäàâàåìûé íà âõîä ñåòè âåêòîð xj áóäåò ïðèíàäëåæàòü ê ðàçëè÷íûì
êëàññàì Ωi , ïðåäñòàâëÿåìûõ öåíòðàìè ci â ñòåïåíè uij ∈ [0, 1] (uij
íå÷åòêèå ÷èñëà):
k
X
uij = 1, j = 1, ..., p.
(1)
i=1
Ïðè ýòîì çíà÷åíèå uij òåì áîëüøå, ÷åì áëèæå xj ê ci .
p
k P
P
2
um
Ôóíêöèþ ïîãðåøíîñòè âûáèðàåì: E =
ij ||ci − xj || ,
i=1 j=1
ãäå m ýêñïîíåíöèàëüíûé âåñ, m > 1 (íå÷åòêîñòü, ðàçìûòîñòü
êëàñòåðîâ).
Çàäà÷à íàéòè min E ñ ó÷åòîì îãðàíè÷åíèÿ (1), òåì ñàìûì âîçíèêàåò
çàäà÷à óñëîâíîé îïòèìèçàöèè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
126 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Ââåäåì ôóíêöèþ Ëàãðàíæà:
LE =
p
k X
X
2
um
ij ||ci − xj || +
i=1 j=1
p
X
λj
j=1
k
X
!
uij − 1 ,
i=1
λj ìíîæèòåëè Ëàãðàíæà.
Ðåøåíèåì çàäà÷è ìèíèìèçàöèè ÿâëÿåòñÿ
p
P
ci =
um
ij xj
j=1
p
P
j=1
,
uij =
um
ij
k
X
1
d2ij
d2lj
−1
! m−1
,
(2)
l=1
ãäå dij åâêëèäîâî ðàññòîÿíèå ìåæäó öåíòðîì ci è âåêòîðîì xj .
Àëãîðèòì îñòàíàâëèâàåòñÿ, êîãäà max |u∗ij − uij | < ε, u∗ij ìàòðèöà
i,j
íå÷åòêîãî ðàçáèåíèÿ íà ïðåäûäóùåì øàãå.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
127 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Àëãîðèòì íå÷åòêîé ñàìîîðãàíèçàöèè
1
Âûïîëíèòü ñëó÷àéíóþ èíèöèàëèçàöèþ êîýôôèöèåíòîâ uij , âûáèðàÿ èõ
k
P
òàê, ÷òîáû
uij = 1, j = 1, ..., p., uij ∈ [0, 1].
2
Îïðåäåëèòü k öåíòðîâ ci â ñîîòâåòñòâèè ñ (2).
3
Ðàññ÷èòàòü íîâûå çíà÷åíèÿ uij ïî (2) è ïåðåéòè ê øàãó 2. Åñëè äëÿ
êàêîãî-ëèáî l, j dlj = 0, òî ïåðåñ÷åò uij îñóùåñòâëÿåòñÿ ïî ôîðìóëå
(
1, i = j
uij =
∀i = 1, ..., c.
0, i 6= j
4
Ïðîâåðèòü óñëîâèå îñòàíîâà. Åñëè óñëîâèå âûïîëíÿåòñÿ, òî çàâåðøèòü
âû÷èñëåíèÿ. Ïîñëåäíèå çíà÷åíèÿ öåíòðîâ ñîñòàâëÿþò èñêîìîå ðåøåíèå,
â ïðîòèâíîì ñëó÷àå ïåðåéòè ê øàãó 4.
i=1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
128 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Àëãîðèòì íå÷åòêîé ñàìîîðãàíèçàöèè
1
Âûïîëíèòü ñëó÷àéíóþ èíèöèàëèçàöèþ êîýôôèöèåíòîâ uij , âûáèðàÿ èõ
k
P
òàê, ÷òîáû
uij = 1, j = 1, ..., p., uij ∈ [0, 1].
2
Îïðåäåëèòü k öåíòðîâ ci â ñîîòâåòñòâèè ñ (2).
3
Ðàññ÷èòàòü íîâûå çíà÷åíèÿ uij ïî (2) è ïåðåéòè ê øàãó 2. Åñëè äëÿ
êàêîãî-ëèáî l, j dlj = 0, òî ïåðåñ÷åò uij îñóùåñòâëÿåòñÿ ïî ôîðìóëå
(
1, i = j
uij =
∀i = 1, ..., c.
0, i 6= j
4
Ïðîâåðèòü óñëîâèå îñòàíîâà. Åñëè óñëîâèå âûïîëíÿåòñÿ, òî çàâåðøèòü
âû÷èñëåíèÿ. Ïîñëåäíèå çíà÷åíèÿ öåíòðîâ ñîñòàâëÿþò èñêîìîå ðåøåíèå,
â ïðîòèâíîì ñëó÷àå ïåðåéòè ê øàãó 4.
i=1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
128 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Àëãîðèòì íå÷åòêîé ñàìîîðãàíèçàöèè
1
Âûïîëíèòü ñëó÷àéíóþ èíèöèàëèçàöèþ êîýôôèöèåíòîâ uij , âûáèðàÿ èõ
k
P
òàê, ÷òîáû
uij = 1, j = 1, ..., p., uij ∈ [0, 1].
2
Îïðåäåëèòü k öåíòðîâ ci â ñîîòâåòñòâèè ñ (2).
3
Ðàññ÷èòàòü íîâûå çíà÷åíèÿ uij ïî (2) è ïåðåéòè ê øàãó 2. Åñëè äëÿ
êàêîãî-ëèáî l, j dlj = 0, òî ïåðåñ÷åò uij îñóùåñòâëÿåòñÿ ïî ôîðìóëå
(
1, i = j
uij =
∀i = 1, ..., c.
0, i 6= j
4
Ïðîâåðèòü óñëîâèå îñòàíîâà. Åñëè óñëîâèå âûïîëíÿåòñÿ, òî çàâåðøèòü
âû÷èñëåíèÿ. Ïîñëåäíèå çíà÷åíèÿ öåíòðîâ ñîñòàâëÿþò èñêîìîå ðåøåíèå,
â ïðîòèâíîì ñëó÷àå ïåðåéòè ê øàãó 4.
i=1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
128 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Àëãîðèòì íå÷åòêîé ñàìîîðãàíèçàöèè
1
Âûïîëíèòü ñëó÷àéíóþ èíèöèàëèçàöèþ êîýôôèöèåíòîâ uij , âûáèðàÿ èõ
k
P
òàê, ÷òîáû
uij = 1, j = 1, ..., p., uij ∈ [0, 1].
2
Îïðåäåëèòü k öåíòðîâ ci â ñîîòâåòñòâèè ñ (2).
3
Ðàññ÷èòàòü íîâûå çíà÷åíèÿ uij ïî (2) è ïåðåéòè ê øàãó 2. Åñëè äëÿ
êàêîãî-ëèáî l, j dlj = 0, òî ïåðåñ÷åò uij îñóùåñòâëÿåòñÿ ïî ôîðìóëå
(
1, i = j
uij =
∀i = 1, ..., c.
0, i 6= j
4
Ïðîâåðèòü óñëîâèå îñòàíîâà. Åñëè óñëîâèå âûïîëíÿåòñÿ, òî çàâåðøèòü
âû÷èñëåíèÿ. Ïîñëåäíèå çíà÷åíèÿ öåíòðîâ ñîñòàâëÿþò èñêîìîå ðåøåíèå,
â ïðîòèâíîì ñëó÷àå ïåðåéòè ê øàãó 4.
i=1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
128 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Ïðèìåð
X=
0.2 0.4 0.4 0.7
0.4 0.2 0.6 0.8
0.7
1
1
0.8
,
U =
0.67 0.33
0.7 0.3
0.64 0.36
.
0.4 0.6
0.8 0.2
0.82 0.18
Âû÷èñëÿåì öåíòðû êëàñòåðîâ
c11 =
c12 =
0.672 ∗ 0.2 + 0.72 ∗ 0.4 + 0.642 ∗ 0.4 + 0.42 ∗ 0.7 + 0.82 ∗ 0.7 + 0.822 ∗ 1
0.672 + 0.72 + 0.642 + 0.42 + 0.82 + 0.822
0.672 ∗ 0.4 + 0.72 ∗ 0.2 + 0.642 ∗ 0.6 + 0.42 ∗ 0.8 + 0.82 ∗ 1 + 0.822 ∗ 0.8
0.672 + 0.72 + 0.642 + 0.42 + 0.82 + 0.822
0.5963
0.5546
c1 =
, c2 =
.
0.6485
0.6482
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
129 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Ïðèìåð
k
P
Âû÷èñëÿåì ìàòðèöó ðàññòîÿíèé è ñóììó dcj =
l=1
d11 =
p
1/d2lj , j = 1, ..., p
p
||x1 − c1 ||2 = (0.2 − 0.5963)2 + (0.4 − 0.6485)2 = 0.4677
0.4677 0.4329
9.9078
0.4895 0.4742
8.6209
0.2022 0.1620
62.5807
d=
, dc = 52.2946 .
0.1836 0.2102
0.3665 0.3806
14.3464
0.4312 0.4705
9.8945
Âû÷èñëÿåì íå÷åòêèå êîýôôèöèåíòû
0.4614
0.4841
0.3910
U =
0.5670
0.5189
0.5435
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
0.5386
0.5159
0.6090
0.4330
0.4811
0.4565
Ðàñïîçíàâàíèå îáðàçîâ
.
130 / 155
Íå÷åòêàÿ ëîãèêà
Íå÷åòêàÿ ñàìîîðãàíèçàöèÿ
Ïðèìåð
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
131 / 155
Íå÷åòêàÿ ëîãèêà
Fuzzy Toolbox. Matlab
Ïðàêòè÷åñêîå çàäàíèå 2
Êëàñòåðèçàöèÿ äàííûõ äëÿ çàäàííîãî íàáîðà íàáëþäåíèé (Èðèñû Ôèøåðà)
Èðèñû Ôèøåðà ñîñòîÿò èç äàííûõ î 150 ýêçåìïëÿðàõ èðèñà, ïî 50
ýêçåìïëÿðîâ èç òðåõ ñîðòîâ iris setosa, iris virginica è iris versicolor. Äëÿ
êàæäîãî ýêçåìïëÿðà èçìåðÿëèñü ÷åòûðå õàðàêòåðèñòèêè (â ñàíòèìåòðàõ):
Äëèíà ÷àøåëèñòèêà (àíãë. sepal length);
Øèðèíà ÷àøåëèñòèêà (àíãë. sepal width);
Äëèíà ëåïåñòêà (àíãë. petal length);
Øèðèíà ëåïåñòêà (àíãë. petal width).
load iris.dat;
data = iris;
[center,U,obj_fcm]=fcm(data,3);
center
Íàáîðû äàííûõ äëÿ êëàññèôèêàöèè
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
<
Ðàñïîçíàâàíèå îáðàçîâ
132 / 155
Íå÷åòêàÿ ëîãèêà
Ëàáîðàòîðíàÿ ðàáîòà 4
Ëàáîðàòîðíàÿ ðàáîòà 4
Öåëü ëàáîðàòîðíîé ðàáîòû ïðàêòè÷åñêîå îñâîåíèå ìåòîäà íå÷åòêîé
ñàìîîðãàíèçàöèè c-means (k ñðåäíèõ). <
Çàäà÷è ëàáîðàòîðíîé ðàáîòû
1
Ïðîãðàììíàÿ ðåàëèçàöèÿ àëãîðèòìà íå÷åòêîé ñàìîîðãàíèçàöèè;
2
Ââîä âåêòîðîâ äëÿ êëàññèôèêàöèè.
3
Ïîñòðîåíèå öåíòðîâ êëàññîâ.
4
Âûïîëíåíèå êîíòðîëüíûõ ðàñïîçíàâàíèé äëÿ íåèçâåñòíûõ îáúåêòîâ.
5
Ãðàôè÷åñêîå ïðåäñòàâëåíèå èñõîäíûõ âåêòîðîâ, öåíòðîâ êëàññîâ,
ðàñïîçíàâàåìûõ îáúåêòîâ.
6
Èññëåäîâàíèå ñêîðîñòè àëãîðèòìà ïðè ðàçëè÷íûõ ïàðàìåòðàõ.
Òðåáîâàíèÿ ê âûïîëíåíèþ çàäà÷
1
×èñëî êëàññîâ ðàñïîçíàâàíèÿ: 3-4.
2
×èñëî ïðåöåäåíòîâ â êàæäîì êëàññå: 20-30.
3
Êîëè÷åñòâî ðàñïîçíàâàåìûõ îáúåêòîâ: 5-10.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
133 / 155
Íå÷åòêàÿ ëîãèêà
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Øàã 1. Ïðîèçâåñòè íà÷àëüíîå ðàçìåùåíèå öåíòðîâ â ïðîñòðàíñòâå äàííûõ
(ñëó÷àéíûì îáðàçîì, ïèêîâîå èëè ðàçíîñòíîå ãðóïïèðîâàíèå), ñîçäàòü
ôîðìó ìàñøòàáèðóþùåé ìàòðèöû A (ñèììåòðè÷íàÿ, ïîëîæèòåëüíî
îïðåäåëåííàÿ ìàòðèöà);
Øàã 2. Ñôîðìèðîâàòü ìàòðèöó êîýôôèöèåíòîâ ïðèíàäëåæíîñòè âñåõ
âåêòîðîâ xj , j = 1, .., p:
1
uij =
K 2
X
d (xj , ci ) m−1
l=1
d2 (xj , cl )
!−1
.
p
Ðàññòîÿíèå d(x, c) = (x − c)T A(x − c).
Åñëè äëÿ íåêîòîðîãî l dil = 0, òîãäà uil = 1, à îñòàëüíûå dij = 0, j 6= l;
Øàã 3. Ðàññ÷èòàòü íîâîå ðàçìåùåíèå öåíòðîâ
ci =
p
X
j=1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
um
ij xj /
p
X
um
ij ;
j=1
Ðàñïîçíàâàíèå îáðàçîâ
134 / 155
Íå÷åòêàÿ ëîãèêà
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Øàã 1. Ïðîèçâåñòè íà÷àëüíîå ðàçìåùåíèå öåíòðîâ â ïðîñòðàíñòâå äàííûõ
(ñëó÷àéíûì îáðàçîì, ïèêîâîå èëè ðàçíîñòíîå ãðóïïèðîâàíèå), ñîçäàòü
ôîðìó ìàñøòàáèðóþùåé ìàòðèöû A (ñèììåòðè÷íàÿ, ïîëîæèòåëüíî
îïðåäåëåííàÿ ìàòðèöà);
Øàã 2. Ñôîðìèðîâàòü ìàòðèöó êîýôôèöèåíòîâ ïðèíàäëåæíîñòè âñåõ
âåêòîðîâ xj , j = 1, .., p:
1
uij =
K 2
X
d (xj , ci ) m−1
l=1
d2 (xj , cl )
!−1
.
p
Ðàññòîÿíèå d(x, c) = (x − c)T A(x − c).
Åñëè äëÿ íåêîòîðîãî l dil = 0, òîãäà uil = 1, à îñòàëüíûå dij = 0, j 6= l;
Øàã 3. Ðàññ÷èòàòü íîâîå ðàçìåùåíèå öåíòðîâ
ci =
p
X
j=1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
um
ij xj /
p
X
um
ij ;
j=1
Ðàñïîçíàâàíèå îáðàçîâ
134 / 155
Íå÷åòêàÿ ëîãèêà
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Øàã 1. Ïðîèçâåñòè íà÷àëüíîå ðàçìåùåíèå öåíòðîâ â ïðîñòðàíñòâå äàííûõ
(ñëó÷àéíûì îáðàçîì, ïèêîâîå èëè ðàçíîñòíîå ãðóïïèðîâàíèå), ñîçäàòü
ôîðìó ìàñøòàáèðóþùåé ìàòðèöû A (ñèììåòðè÷íàÿ, ïîëîæèòåëüíî
îïðåäåëåííàÿ ìàòðèöà);
Øàã 2. Ñôîðìèðîâàòü ìàòðèöó êîýôôèöèåíòîâ ïðèíàäëåæíîñòè âñåõ
âåêòîðîâ xj , j = 1, .., p:
1
uij =
K 2
X
d (xj , ci ) m−1
l=1
d2 (xj , cl )
!−1
.
p
Ðàññòîÿíèå d(x, c) = (x − c)T A(x − c).
Åñëè äëÿ íåêîòîðîãî l dil = 0, òîãäà uil = 1, à îñòàëüíûå dij = 0, j 6= l;
Øàã 3. Ðàññ÷èòàòü íîâîå ðàçìåùåíèå öåíòðîâ
ci =
p
X
j=1
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
um
ij xj /
p
X
um
ij ;
j=1
Ðàñïîçíàâàíèå îáðàçîâ
134 / 155
Íå÷åòêàÿ ëîãèêà
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Øàã 4. Ñãåíåðèðîâàòü äëÿ êàæäîãî öåíòðà ìàòðèöó Si :
Si =
p
X
j=1
T
um
ij (xj − ci )(xj − ci ) /
p
X
um
ij , i = 1, .., K;
j=1
Øàã 5. Ðàññ÷èòàòü íîâóþ ìàñøòàáèðóþùóþ ìàòðèöó. Åñëè detSi 6= 0:
p
Ai = N detSi · Si−1 , i = 1, .., K,
N ðàçìåðíîñòü x;
Øàã 6. Åñëè ïîñëåäíèå èçìåíåíèÿ ïîëîæåíèÿ öåíòðîâ è ìàòðèöû
ïðåíåáðåæèòåëüíî ìàëû ïî îòíîøåíèþ ê ïðåäûäóùèì çíà÷åíèÿì è íå
ïðåâûøàþò èçíà÷àëüíî çàäàííîé ïîðîãîâîé âåëè÷èíû, òî çàâåðøèòü
ïðîöåññ. Èíà÷å ïåðåõîä ê øàãó 2.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
135 / 155
Íå÷åòêàÿ ëîãèêà
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Øàã 4. Ñãåíåðèðîâàòü äëÿ êàæäîãî öåíòðà ìàòðèöó Si :
Si =
p
X
j=1
T
um
ij (xj − ci )(xj − ci ) /
p
X
um
ij , i = 1, .., K;
j=1
Øàã 5. Ðàññ÷èòàòü íîâóþ ìàñøòàáèðóþùóþ ìàòðèöó. Åñëè detSi 6= 0:
p
Ai = N detSi · Si−1 , i = 1, .., K,
N ðàçìåðíîñòü x;
Øàã 6. Åñëè ïîñëåäíèå èçìåíåíèÿ ïîëîæåíèÿ öåíòðîâ è ìàòðèöû
ïðåíåáðåæèòåëüíî ìàëû ïî îòíîøåíèþ ê ïðåäûäóùèì çíà÷åíèÿì è íå
ïðåâûøàþò èçíà÷àëüíî çàäàííîé ïîðîãîâîé âåëè÷èíû, òî çàâåðøèòü
ïðîöåññ. Èíà÷å ïåðåõîä ê øàãó 2.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
135 / 155
Íå÷åòêàÿ ëîãèêà
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Àëãîðèòì Ãóñòàôñîíà-Êåññåëÿ
Øàã 4. Ñãåíåðèðîâàòü äëÿ êàæäîãî öåíòðà ìàòðèöó Si :
Si =
p
X
j=1
T
um
ij (xj − ci )(xj − ci ) /
p
X
um
ij , i = 1, .., K;
j=1
Øàã 5. Ðàññ÷èòàòü íîâóþ ìàñøòàáèðóþùóþ ìàòðèöó. Åñëè detSi 6= 0:
p
Ai = N detSi · Si−1 , i = 1, .., K,
N ðàçìåðíîñòü x;
Øàã 6. Åñëè ïîñëåäíèå èçìåíåíèÿ ïîëîæåíèÿ öåíòðîâ è ìàòðèöû
ïðåíåáðåæèòåëüíî ìàëû ïî îòíîøåíèþ ê ïðåäûäóùèì çíà÷åíèÿì è íå
ïðåâûøàþò èçíà÷àëüíî çàäàííîé ïîðîãîâîé âåëè÷èíû, òî çàâåðøèòü
ïðîöåññ. Èíà÷å ïåðåõîä ê øàãó 2.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
135 / 155
Íå÷åòêàÿ ëîãèêà
Ãèáðèäíûå ñåòè
Îñíîâíûå îïðåäåëåíèÿ ãèáðèäíûõ ñåòåé
Ðàññìîòðèì íåéðîííóþ ñåòü, èìåþùóþ äâà âõîäà è òîëüêî îäèí íåéðîí.
Âõîäíûå ñèãíàëû xi âçàèìîäåéñòâóþò ñ âåñàìè ωi , îáðàçóÿ ïðîèçâåäåíèÿ
pi = xi ωi , i = 1, 2.
Òàêàÿ ÷àñòíàÿ èíôîðìàöèÿ (ïðîèçâåäåíèÿ) îáúåäèíÿþòñÿ ñ
èñïîëüçîâàíèåì îïåðàöèè ñóììèðîâàíèÿ, îáðàçóÿ âõîä net íåéðîíà
net = p1 + p2 = ω1 x1 + ω2 x2 .
Âûõîä íåéðîíà îáðàçóåòñÿ â ðåçóëüòàòå ïðåîáðàçîâàíèÿ âõîäà net
íåêîòîðîé àêòèâàöèîííîé ôóíêöèåé:
y = f (net) = f (ω1 x1 + ω2 x2 ),
íàïðèìåð, ñèãìîèäíîãî òèïà
f (x) =
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
1
.
1 + e−x
Ðàñïîçíàâàíèå îáðàçîâ
136 / 155
Íå÷åòêàÿ ëîãèêà
Ãèáðèäíûå ñåòè
Îñíîâíûå îïðåäåëåíèÿ ãèáðèäíûõ ñåòåé
x1
ω1
f
y
ω2
x2
Ãèáðèäíàÿ íåéðîííàÿ ñåòü íåéðîííàÿ ñåòü ñ ÷åòêèìè ñèãíàëàìè,
âåñàìè, àêòèâàöèîííîé ôóíêöèåé, íî ñ îáúåäèíåíèåì xi è ωi , p1 è p2 ñ
èñïîëüçîâàíèåì t-íîðìû, t-êîíîðìû èëè íåêîòîðûõ äðóãèõ íåïðåðûâíûõ
îïåðàöèé.
Âõîäû, âûõîäû, âåñà ãèáðèäíîé íåéðîííîé ñåòè âåùåñòâåííûå ÷èñëà,
ïðèíàäëåæàùèå îòðåçêó [0, 1].
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
137 / 155
Íå÷åòêàÿ ëîãèêà
Ãèáðèäíûå ñåòè
Íå÷åòêèé íåéðîí "È"
Ñèãíàëû xi è âåñà ωi â äàííîì ñëó÷àå îáúåäèíÿþòñÿ ñ ïîìîùüþ
òðåóãîëüíîé êîíîðìû:
pi = S(ωi , xi ), i = 1, 2,
à âûõîä îáðàçóåòñÿ ñ ïðèìåíåíèåì òðåóãîëüíîé íîðìû
y = AN D(p1 , p2 ) = T (p1 , p2 ) = T (S(ω1 , x1 ), S(ω2 , x2 )).
Åñëè ïðèíÿòü
T = min,
S = max,
òîãäà íå÷åòêèé íåéðîí "È" ðåàëèçóåò êîìïîçèöèþ min-max:
y = min(ω1 ∨ x1 , ω2 ∨ x2 ).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
138 / 155
Íå÷åòêàÿ ëîãèêà
Ãèáðèäíûå ñåòè
Íå÷åòêèé íåéðîí "ÈËÈ"
Ñèãíàëû xi è âåñà ωi â äàííîì ñëó÷àå îáúåäèíÿþòñÿ ñ ïîìîùüþ
òðåóãîëüíîé íîðìû:
pi = T (ωi , xi ), i = 1, 2,
à âûõîä îáðàçóåòñÿ ñ ïðèìåíåíèåì òðåóãîëüíîé êîíîðìû
y = OR(p1 , p2 ) = S(p1 , p2 ) = S(T (ω1 , x1 ), T (ω2 , x2 )).
Åñëè ïðèíÿòü
T = min,
S = max,
òîãäà íå÷åòêèé íåéðîí "ÈËÈ" ðåàëèçóåò êîìïîçèöèþ max-min:
y = max(ω1 ∧ x1 , ω2 ∧ x2 ).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
139 / 155
Íå÷åòêàÿ ëîãèêà
Ãèáðèäíûå ñåòè
Íå÷åòêèé ãèáðèäíûé êëàññèôèêàòîð
A1
T
x1
A2
T
B1
T
x2
B2
S
c1
S
c2
T
Ïðåäïîëàãàåòñÿ, ÷òî îáúåêò õàðàêòåðèçóåòñÿ äâóìÿ êîëè÷åñòâåííûìè
ïðèçíàêàìè x1 è x2 è îòíîñèòñÿ ê îäíîìó èç äâóõ êëàññîâ C1 è C2 .
Êàæäûé âõîä ïðåäñòàâëÿåòñÿ äâóìÿ ëèíãâèñòè÷åñêèìè ïåðåìåííûìè,
÷òî ïîçâîëÿåò îãðàíè÷èòüñÿ ÷åòûðüìÿ ïðàâèëàìè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
140 / 155
Íå÷åòêàÿ ëîãèêà
Ãèáðèäíûå ñåòè
Îïèñàíèå ñåòè
Ñëîé 1. Âûõîäû óçëîâ äàííîãî ñëîÿ ñòåïåíè ïðèíàäëåæíîñòè âõîäíûõ
ïåðåìåííûõ îïðåäåëåíûì äëÿ íèõ íå÷åòêèì ìíîæåñòâàì A1 , A2 , B1 , B2 .
Íàïðèìåð, ôóíêöèè ïðèíàäëåæíîñòè êîëîêîëî-îáðàçíîãî âèäà
Ai (t) = exp(−(t − ai1 /bi1 )2 /2)
ñ íàáîðîì ïàðàìåòðîâ ai1 , ai2 , bi1 , bi2 . Çíà÷åíèÿ äàííûõ ïàðàìåòðîâ
êîððåêòèðóþòñÿ â ïðîöåññå îáó÷åíèÿ ñåòè.
Ñëîé 2. Êàæäûé íåéðîí ýòîãî ñëîÿ ÿâëÿåòñÿ íåéðîíîì òèïà ãèáðèäíîãî
(íå÷åòêîãî) íåéðîíà "è".
Ñëîé 3. Íåéðîíû äàííîãî ñëîÿ ÿâëÿþòñÿ îáû÷íûìè (ñòàíäàðòíûìè)
íåéðîíà, âõîäàìè êîòîðûõ ÿâëÿþòñÿ ëèíåéíûå (âçâåøåííûå)
êîìáèíàöèè âûõîäîâ íåéðîíîâ ïðåäûäóùåãî ñëîÿ, à âûõîäû
ôîðìèðóþòñÿ ñ èñïîëüçîâàíèåì àêòèâàöèîííûõ ôóíêöèé ñèãìîèäíîãî
òèïà. Ýòè âûõîäû òðàêòóþòñÿ êàê ñòåïåíè ïðèíàäëåæíîñòè
ïðåäúÿâëåííîãî îáúåêòà ïåðâîìó èëè âòîðîìó êëàññó.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
141 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ñîäåðæàíèå
7
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
<
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
142 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ôèçè÷åñêàÿ èíòåðïðåòàöèÿ
Êàæäàÿ ïðåäúÿâëÿåìàÿ âûáîðêà ìîæåò áûòü ïðåäñòàâëåíà òî÷êîé â
ïðîñòðàíñòâå ïðèçíàêîâ. Ïðåäñòàâèì, ÷òî â êàæäîé òàêîé òî÷êå ïîìåùåí
ýëåêòðè÷åñêèé çàðÿä.  íåêîòîðîé ïðîèçâîëüíîé òî÷êå M ñîâîêóïíîñòü âñåõ
çàðÿäîâ ñîçäàåò ýëåêòðè÷åñêèé ïîòåíöèàë V , ÿâëÿþùèéñÿ ñóììîé îòäåëüíûõ
ïîòåíöèàëîâ, ñîçäàâàåìûõ êàæäûì îòäåëüíûì çàðÿäîì.
Èçâåñòíî, ÷òî âåëè÷èíà ïîòåíöèàëà âû÷èñëÿåòñÿ êàê ñóììà
V =
X
1 X qi
=
Vi ,
4πε0 i ri
i
ãäå qi çàðÿä â òî÷êå pi ; ri ðàññòîÿíèå îò òî÷êè pi äî òî÷êè M .
Ïîòåíöèàë âûðàæàåòñÿ ôóíêöèåé, ñèììåòðè÷íîé îòíîñèòåëüíî òî÷êè, â
êîòîðîé ïîìåùåí çàðÿä; â ýòîé òî÷êå ïîòåíöèàë, ïî îïðåäåëåíèþ, ðàâåí
áåñêîíå÷íîñòè. Ëèíèè, ñîåäèíÿþùèå òî÷êè ðàâíîãî ïîòåíöèàëà, íàçûâàþòñÿ
ýêâèïîòåíöèàëüíûìè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
143 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ôèçè÷åñêàÿ èíòåðïðåòàöèÿ
Êàæäàÿ ïðåäúÿâëÿåìàÿ âûáîðêà ìîæåò áûòü ïðåäñòàâëåíà òî÷êîé â
ïðîñòðàíñòâå ïðèçíàêîâ. Ïðåäñòàâèì, ÷òî â êàæäîé òàêîé òî÷êå ïîìåùåí
ýëåêòðè÷åñêèé çàðÿä.  íåêîòîðîé ïðîèçâîëüíîé òî÷êå M ñîâîêóïíîñòü âñåõ
çàðÿäîâ ñîçäàåò ýëåêòðè÷åñêèé ïîòåíöèàë V , ÿâëÿþùèéñÿ ñóììîé îòäåëüíûõ
ïîòåíöèàëîâ, ñîçäàâàåìûõ êàæäûì îòäåëüíûì çàðÿäîì.
Èçâåñòíî, ÷òî âåëè÷èíà ïîòåíöèàëà âû÷èñëÿåòñÿ êàê ñóììà
V =
X
1 X qi
=
Vi ,
4πε0 i ri
i
ãäå qi çàðÿä â òî÷êå pi ; ri ðàññòîÿíèå îò òî÷êè pi äî òî÷êè M .
Ïîòåíöèàë âûðàæàåòñÿ ôóíêöèåé, ñèììåòðè÷íîé îòíîñèòåëüíî òî÷êè, â
êîòîðîé ïîìåùåí çàðÿä; â ýòîé òî÷êå ïîòåíöèàë, ïî îïðåäåëåíèþ, ðàâåí
áåñêîíå÷íîñòè. Ëèíèè, ñîåäèíÿþùèå òî÷êè ðàâíîãî ïîòåíöèàëà, íàçûâàþòñÿ
ýêâèïîòåíöèàëüíûìè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
143 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ôèçè÷åñêàÿ èíòåðïðåòàöèÿ
Êàæäàÿ ïðåäúÿâëÿåìàÿ âûáîðêà ìîæåò áûòü ïðåäñòàâëåíà òî÷êîé â
ïðîñòðàíñòâå ïðèçíàêîâ. Ïðåäñòàâèì, ÷òî â êàæäîé òàêîé òî÷êå ïîìåùåí
ýëåêòðè÷åñêèé çàðÿä.  íåêîòîðîé ïðîèçâîëüíîé òî÷êå M ñîâîêóïíîñòü âñåõ
çàðÿäîâ ñîçäàåò ýëåêòðè÷åñêèé ïîòåíöèàë V , ÿâëÿþùèéñÿ ñóììîé îòäåëüíûõ
ïîòåíöèàëîâ, ñîçäàâàåìûõ êàæäûì îòäåëüíûì çàðÿäîì.
Èçâåñòíî, ÷òî âåëè÷èíà ïîòåíöèàëà âû÷èñëÿåòñÿ êàê ñóììà
V =
X
1 X qi
=
Vi ,
4πε0 i ri
i
ãäå qi çàðÿä â òî÷êå pi ; ri ðàññòîÿíèå îò òî÷êè pi äî òî÷êè M .
Ïîòåíöèàë âûðàæàåòñÿ ôóíêöèåé, ñèììåòðè÷íîé îòíîñèòåëüíî òî÷êè, â
êîòîðîé ïîìåùåí çàðÿä; â ýòîé òî÷êå ïîòåíöèàë, ïî îïðåäåëåíèþ, ðàâåí
áåñêîíå÷íîñòè. Ëèíèè, ñîåäèíÿþùèå òî÷êè ðàâíîãî ïîòåíöèàëà, íàçûâàþòñÿ
ýêâèïîòåíöèàëüíûìè.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
143 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ìîæíî ïðåäñòàâèòü, ÷òî âñÿêîå îáëàêî òî÷åê, îòîáðàæàþùèõ íåêîòîðûé
êëàññ, âûãëÿäèò êàê íåêîå ïîòåíöèàëüíîå ïëàòî, îòäåëåííîå îò äðóãîãî
ïëàòî, îòîáðàæàþùåãî äðóãîé êëàññ, ãëóáîêîé äîëèíîé, ïîòåíöèàë â êîòîðîé
ìèíèìàëåí èëè äàæå ðàâíîé íóëþ. Îïðåäåëåíèå ìèíèìàëüíîé (èëè íóëåâîé)
ýêâèïîòåíöèàëè ïîçâîëèò íàéòè ãðàíèöó ðàçäåëà ìåæäó êëàññàìè.
Îáîçíà÷èì ïîòåíöèàëüíóþ ôóíêöèþ K(x, xk ), öåíòðèðîâàííóþ îòíîñèòåëüíî
xk . Äëÿ ëþáîé òî÷êè x è äëÿ ëþáîãî xk ìîæíî âûáðàòü íåêîòîðîå K ,
èìåþùåå âèä
∞
X
K(x, xk ) =
λ2i ϕi (x)ϕi (xk ),
i=1
ãäå λi âûáðàíû òàêèìè, ÷òîáû óäîâëåòâîðÿëèñü óñëîâèÿ: λi 6= 0,
P
i
λ2i < ∞,
à ôóíêöèè ϕi (x) ïðåäñòàâëÿþò ñîáîþ ýëåìåíòû ïîñëåäîâàòåëüíîñòåé
îðòîíîðìèðîâàííûõ ôóíêöèé.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
144 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ìîæíî ïðåäñòàâèòü, ÷òî âñÿêîå îáëàêî òî÷åê, îòîáðàæàþùèõ íåêîòîðûé
êëàññ, âûãëÿäèò êàê íåêîå ïîòåíöèàëüíîå ïëàòî, îòäåëåííîå îò äðóãîãî
ïëàòî, îòîáðàæàþùåãî äðóãîé êëàññ, ãëóáîêîé äîëèíîé, ïîòåíöèàë â êîòîðîé
ìèíèìàëåí èëè äàæå ðàâíîé íóëþ. Îïðåäåëåíèå ìèíèìàëüíîé (èëè íóëåâîé)
ýêâèïîòåíöèàëè ïîçâîëèò íàéòè ãðàíèöó ðàçäåëà ìåæäó êëàññàìè.
Îáîçíà÷èì ïîòåíöèàëüíóþ ôóíêöèþ K(x, xk ), öåíòðèðîâàííóþ îòíîñèòåëüíî
xk . Äëÿ ëþáîé òî÷êè x è äëÿ ëþáîãî xk ìîæíî âûáðàòü íåêîòîðîå K ,
èìåþùåå âèä
∞
X
K(x, xk ) =
λ2i ϕi (x)ϕi (xk ),
i=1
ãäå λi âûáðàíû òàêèìè, ÷òîáû óäîâëåòâîðÿëèñü óñëîâèÿ: λi 6= 0,
P
i
λ2i < ∞,
à ôóíêöèè ϕi (x) ïðåäñòàâëÿþò ñîáîþ ýëåìåíòû ïîñëåäîâàòåëüíîñòåé
îðòîíîðìèðîâàííûõ ôóíêöèé.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
144 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Äðóãîé ìåòîä ñîçäàíèÿ ïîòåíöèàëüíûõ ôóíêöèé ñîñòîèò â èñïîëüçîâàíèè
ñâîéñòâà ñèììåòðèè îòíîñèòåëüíî xk , ò.å. K(x, xk ) = K(xk , x).
Ìîæíî ïðèíÿòü, íàïðèìåð, òàêèå ôóíêöèè:
1
K(x, xk ) = exp(−α||x − xk ||2 ),
2
K(x, xk ) =
1
α||x−xk ||2 ,
3
K(x, xk ) =
sin(α||x−xk ||2 )
,
α||x−xk ||2
ãäå α ïîëîæèòåëüíàÿ êîíñòàíòà.
Ýòè ôóíêöèè óìåíüøàþòñÿ ïî ìåðå óâåëè÷åíèÿ ðàññòîÿíèÿ d, ãäå
d2 = ||x − xk ||2 .
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
145 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Äðóãîé ìåòîä ñîçäàíèÿ ïîòåíöèàëüíûõ ôóíêöèé ñîñòîèò â èñïîëüçîâàíèè
ñâîéñòâà ñèììåòðèè îòíîñèòåëüíî xk , ò.å. K(x, xk ) = K(xk , x).
Ìîæíî ïðèíÿòü, íàïðèìåð, òàêèå ôóíêöèè:
1
K(x, xk ) = exp(−α||x − xk ||2 ),
2
K(x, xk ) =
1
α||x−xk ||2 ,
3
K(x, xk ) =
sin(α||x−xk ||2 )
,
α||x−xk ||2
ãäå α ïîëîæèòåëüíàÿ êîíñòàíòà.
Ýòè ôóíêöèè óìåíüøàþòñÿ ïî ìåðå óâåëè÷åíèÿ ðàññòîÿíèÿ d, ãäå
d2 = ||x − xk ||2 .
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
145 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Äðóãîé ìåòîä ñîçäàíèÿ ïîòåíöèàëüíûõ ôóíêöèé ñîñòîèò â èñïîëüçîâàíèè
ñâîéñòâà ñèììåòðèè îòíîñèòåëüíî xk , ò.å. K(x, xk ) = K(xk , x).
Ìîæíî ïðèíÿòü, íàïðèìåð, òàêèå ôóíêöèè:
1
K(x, xk ) = exp(−α||x − xk ||2 ),
2
K(x, xk ) =
1
α||x−xk ||2 ,
3
K(x, xk ) =
sin(α||x−xk ||2 )
,
α||x−xk ||2
ãäå α ïîëîæèòåëüíàÿ êîíñòàíòà.
Ýòè ôóíêöèè óìåíüøàþòñÿ ïî ìåðå óâåëè÷åíèÿ ðàññòîÿíèÿ d, ãäå
d2 = ||x − xk ||2 .
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
145 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè
Ðàññìîòðèì ïðîöåññ îáó÷åíèÿ, ïðè êîòîðîì ðàñïîçíàþùåé ìàøèíå
ïðåäúÿâëÿþòñÿ îáðàçû, î êîòîðûõ çàðàíåå èçâåñòíî, ÷òî îíè ïðèíàäëåæàò ê
îäíîìó èç äâóõ êëàññîâ - ëèáî Ω1 , ëèáî Ω2 .
Ñèñòåìà ïðåäâàðèòåëüíîé îáðàáîòêè âûäåëÿåò íàäëåæàùèì îáðàçîì
âûáðàííûå ïàðàìåòðû (ïðèçíàêè). Íàáîð ïðèçíàêîâ ïîçâîëÿåò ïîñòðîèòü
âåêòîð xi+1 äëÿ (i + 1)-ãî îáðàçà.
Ðàçäåëÿþùàÿ ôóíêöèÿ íàõîäèòñÿ ñ ïîìîùüþ ñóììàðíîãî ïîòåíöèàëà K(x),
âû÷èñëÿåìîãî êàê ñóììà ÷àñòíûõ ïîòåíöèàëîâ K(x, xk ), ñâÿçàííûõ ñ
êàæäûì îòäåëüíûì èñòî÷íèêîì.
Îí íàõîäèòñÿ ïóòåì ïðèìåíåíèÿ ñëåäóþùåãî àëãîðèòìà, â êîòîðîì ÷åðåç i
îáîçíà÷åí íîìåð ýòàïà:
Ki+1 (x) = Ki (x) + ρi+1 K(x, xi+1 ).
Êîððåêòèðóþùèé ÷ëåí ρi+1 óäîâëåòâîðÿåò ñëåäóþùèì óñëîâèÿì:
+1, xi+1 ∈ Ω1 , Ki (xi+1 ) ≤ 0,
−1, x
i+1 ∈ Ω2 , Ki (xi+1 ) > 0,
ρi+1 =
0, xi+1 ∈ Ω1 , Ki (xi+1 ) > 0,
0, xÐàñïîçíàâàíèå
Ki (xi+1 ) ≤ 0.
i+1 ∈ Ω2 , îáðàçîâ
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
146 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè
Ðàññìîòðèì ïðîöåññ îáó÷åíèÿ, ïðè êîòîðîì ðàñïîçíàþùåé ìàøèíå
ïðåäúÿâëÿþòñÿ îáðàçû, î êîòîðûõ çàðàíåå èçâåñòíî, ÷òî îíè ïðèíàäëåæàò ê
îäíîìó èç äâóõ êëàññîâ - ëèáî Ω1 , ëèáî Ω2 .
Ñèñòåìà ïðåäâàðèòåëüíîé îáðàáîòêè âûäåëÿåò íàäëåæàùèì îáðàçîì
âûáðàííûå ïàðàìåòðû (ïðèçíàêè). Íàáîð ïðèçíàêîâ ïîçâîëÿåò ïîñòðîèòü
âåêòîð xi+1 äëÿ (i + 1)-ãî îáðàçà.
Ðàçäåëÿþùàÿ ôóíêöèÿ íàõîäèòñÿ ñ ïîìîùüþ ñóììàðíîãî ïîòåíöèàëà K(x),
âû÷èñëÿåìîãî êàê ñóììà ÷àñòíûõ ïîòåíöèàëîâ K(x, xk ), ñâÿçàííûõ ñ
êàæäûì îòäåëüíûì èñòî÷íèêîì.
Îí íàõîäèòñÿ ïóòåì ïðèìåíåíèÿ ñëåäóþùåãî àëãîðèòìà, â êîòîðîì ÷åðåç i
îáîçíà÷åí íîìåð ýòàïà:
Ki+1 (x) = Ki (x) + ρi+1 K(x, xi+1 ).
Êîððåêòèðóþùèé ÷ëåí ρi+1 óäîâëåòâîðÿåò ñëåäóþùèì óñëîâèÿì:
+1, xi+1 ∈ Ω1 , Ki (xi+1 ) ≤ 0,
−1, x
i+1 ∈ Ω2 , Ki (xi+1 ) > 0,
ρi+1 =
0, xi+1 ∈ Ω1 , Ki (xi+1 ) > 0,
0, xÐàñïîçíàâàíèå
Ki (xi+1 ) ≤ 0.
i+1 ∈ Ω2 , îáðàçîâ
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
146 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè
Ðàññìîòðèì ïðîöåññ îáó÷åíèÿ, ïðè êîòîðîì ðàñïîçíàþùåé ìàøèíå
ïðåäúÿâëÿþòñÿ îáðàçû, î êîòîðûõ çàðàíåå èçâåñòíî, ÷òî îíè ïðèíàäëåæàò ê
îäíîìó èç äâóõ êëàññîâ - ëèáî Ω1 , ëèáî Ω2 .
Ñèñòåìà ïðåäâàðèòåëüíîé îáðàáîòêè âûäåëÿåò íàäëåæàùèì îáðàçîì
âûáðàííûå ïàðàìåòðû (ïðèçíàêè). Íàáîð ïðèçíàêîâ ïîçâîëÿåò ïîñòðîèòü
âåêòîð xi+1 äëÿ (i + 1)-ãî îáðàçà.
Ðàçäåëÿþùàÿ ôóíêöèÿ íàõîäèòñÿ ñ ïîìîùüþ ñóììàðíîãî ïîòåíöèàëà K(x),
âû÷èñëÿåìîãî êàê ñóììà ÷àñòíûõ ïîòåíöèàëîâ K(x, xk ), ñâÿçàííûõ ñ
êàæäûì îòäåëüíûì èñòî÷íèêîì.
Îí íàõîäèòñÿ ïóòåì ïðèìåíåíèÿ ñëåäóþùåãî àëãîðèòìà, â êîòîðîì ÷åðåç i
îáîçíà÷åí íîìåð ýòàïà:
Ki+1 (x) = Ki (x) + ρi+1 K(x, xi+1 ).
Êîððåêòèðóþùèé ÷ëåí ρi+1 óäîâëåòâîðÿåò ñëåäóþùèì óñëîâèÿì:
+1, xi+1 ∈ Ω1 , Ki (xi+1 ) ≤ 0,
−1, x
i+1 ∈ Ω2 , Ki (xi+1 ) > 0,
ρi+1 =
0, xi+1 ∈ Ω1 , Ki (xi+1 ) > 0,
0, xÐàñïîçíàâàíèå
Ki (xi+1 ) ≤ 0.
i+1 ∈ Ω2 , îáðàçîâ
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
146 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè
Ðàññìîòðèì ïðîöåññ îáó÷åíèÿ, ïðè êîòîðîì ðàñïîçíàþùåé ìàøèíå
ïðåäúÿâëÿþòñÿ îáðàçû, î êîòîðûõ çàðàíåå èçâåñòíî, ÷òî îíè ïðèíàäëåæàò ê
îäíîìó èç äâóõ êëàññîâ - ëèáî Ω1 , ëèáî Ω2 .
Ñèñòåìà ïðåäâàðèòåëüíîé îáðàáîòêè âûäåëÿåò íàäëåæàùèì îáðàçîì
âûáðàííûå ïàðàìåòðû (ïðèçíàêè). Íàáîð ïðèçíàêîâ ïîçâîëÿåò ïîñòðîèòü
âåêòîð xi+1 äëÿ (i + 1)-ãî îáðàçà.
Ðàçäåëÿþùàÿ ôóíêöèÿ íàõîäèòñÿ ñ ïîìîùüþ ñóììàðíîãî ïîòåíöèàëà K(x),
âû÷èñëÿåìîãî êàê ñóììà ÷àñòíûõ ïîòåíöèàëîâ K(x, xk ), ñâÿçàííûõ ñ
êàæäûì îòäåëüíûì èñòî÷íèêîì.
Îí íàõîäèòñÿ ïóòåì ïðèìåíåíèÿ ñëåäóþùåãî àëãîðèòìà, â êîòîðîì ÷åðåç i
îáîçíà÷åí íîìåð ýòàïà:
Ki+1 (x) = Ki (x) + ρi+1 K(x, xi+1 ).
Êîððåêòèðóþùèé ÷ëåí ρi+1 óäîâëåòâîðÿåò ñëåäóþùèì óñëîâèÿì:
+1, xi+1 ∈ Ω1 , Ki (xi+1 ) ≤ 0,
−1, x
i+1 ∈ Ω2 , Ki (xi+1 ) > 0,
ρi+1 =
0, xi+1 ∈ Ω1 , Ki (xi+1 ) > 0,
0, xÐàñïîçíàâàíèå
Ki (xi+1 ) ≤ 0.
i+1 ∈ Ω2 , îáðàçîâ
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
146 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè
Ðàññìîòðèì ïðîöåññ îáó÷åíèÿ, ïðè êîòîðîì ðàñïîçíàþùåé ìàøèíå
ïðåäúÿâëÿþòñÿ îáðàçû, î êîòîðûõ çàðàíåå èçâåñòíî, ÷òî îíè ïðèíàäëåæàò ê
îäíîìó èç äâóõ êëàññîâ - ëèáî Ω1 , ëèáî Ω2 .
Ñèñòåìà ïðåäâàðèòåëüíîé îáðàáîòêè âûäåëÿåò íàäëåæàùèì îáðàçîì
âûáðàííûå ïàðàìåòðû (ïðèçíàêè). Íàáîð ïðèçíàêîâ ïîçâîëÿåò ïîñòðîèòü
âåêòîð xi+1 äëÿ (i + 1)-ãî îáðàçà.
Ðàçäåëÿþùàÿ ôóíêöèÿ íàõîäèòñÿ ñ ïîìîùüþ ñóììàðíîãî ïîòåíöèàëà K(x),
âû÷èñëÿåìîãî êàê ñóììà ÷àñòíûõ ïîòåíöèàëîâ K(x, xk ), ñâÿçàííûõ ñ
êàæäûì îòäåëüíûì èñòî÷íèêîì.
Îí íàõîäèòñÿ ïóòåì ïðèìåíåíèÿ ñëåäóþùåãî àëãîðèòìà, â êîòîðîì ÷åðåç i
îáîçíà÷åí íîìåð ýòàïà:
Ki+1 (x) = Ki (x) + ρi+1 K(x, xi+1 ).
Êîððåêòèðóþùèé ÷ëåí ρi+1 óäîâëåòâîðÿåò ñëåäóþùèì óñëîâèÿì:
+1, xi+1 ∈ Ω1 , Ki (xi+1 ) ≤ 0,
−1, x
i+1 ∈ Ω2 , Ki (xi+1 ) > 0,
ρi+1 =
0, xi+1 ∈ Ω1 , Ki (xi+1 ) > 0,
0, xÐàñïîçíàâàíèå
Ki (xi+1 ) ≤ 0.
i+1 ∈ Ω2 , îáðàçîâ
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
146 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè
Ïðàâèëüíàÿ êëàññèôèêàöèÿ ñîîòâåòñòâóåò ñëó÷àÿì, êîãäà Ki (xi+1 > 0) ïðè
xi+1 ∈ Ω1 è Ki (xi+1 ≤ 0) ïðè xi+1 ∈ Ω2 .
Ïîýòîìó ìîæíî èñïîëüçîâàòü Ki (x) êàê ðàçäåëÿþùóþ ôóíêöèþ è
îïðåäåëèòü åå èòåðàòèâíûì ìåòîäîì:
di+1 (x) = di (x) + ρi+1 K(x, xi+1 ).
Åñëè çíà÷åíèå ïîòåíöèàëà ïîëó÷åíî ñ ïîìîùüþ îðòîãîíàëüíûõ ôóíêöèé, òî
ìîæíî çàïèñàòü:
Ki+1 (x) =
∞
X
cn (i + 1)ϕn (x) = di+1 (x).
n=1
Êîýôôèöèåíòû cn (i + 1) çàâèñÿò îò ÷èñëà èòåðàöèé íà ýòàïå îáó÷åíèÿ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
147 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè
Ïðàâèëüíàÿ êëàññèôèêàöèÿ ñîîòâåòñòâóåò ñëó÷àÿì, êîãäà Ki (xi+1 > 0) ïðè
xi+1 ∈ Ω1 è Ki (xi+1 ≤ 0) ïðè xi+1 ∈ Ω2 .
Ïîýòîìó ìîæíî èñïîëüçîâàòü Ki (x) êàê ðàçäåëÿþùóþ ôóíêöèþ è
îïðåäåëèòü åå èòåðàòèâíûì ìåòîäîì:
di+1 (x) = di (x) + ρi+1 K(x, xi+1 ).
Åñëè çíà÷åíèå ïîòåíöèàëà ïîëó÷åíî ñ ïîìîùüþ îðòîãîíàëüíûõ ôóíêöèé, òî
ìîæíî çàïèñàòü:
Ki+1 (x) =
∞
X
cn (i + 1)ϕn (x) = di+1 (x).
n=1
Êîýôôèöèåíòû cn (i + 1) çàâèñÿò îò ÷èñëà èòåðàöèé íà ýòàïå îáó÷åíèÿ.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
147 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè
Çíàÿ, ÷òî
K(x, xi ) =
∞
X
λ2n ϕn (x)ϕn (xi )
n=1
è
Ki+1 (x) = Ki (x) + ρi+1
èìååì:
∞
X
∞
X
λ2n ϕn (x)ϕn (xi + 1),
n=1
cn (i + 1)ϕn (x) =
n=1
∞
X
cn (i)ϕn (x) + ρi+1
n=1
∞
X
λ2n ϕn (x)ϕn (xi + 1).
n=1
Ïîñêîëüêó ϕn (x) ÿâëÿåòñÿ îáùèì ìíîæèòåëåì â êàæäîì èç ñëàãàåìûõ ïðè
ëþáîì n, ïîëó÷àåì ðåêóððåíòíîå ñîîòíîøåíèå äëÿ êîýôôèöèåíòîâ cn :
cn (i + 1) = cn (i) + ρi+1 λ2n ϕn (xi+1 ),
à ðàçäåëÿþùàÿ ôóíêöèÿ çàïèñûâàåòñÿ â âèäå:
∞
X
di+1 (x) =
cn (i + 1)ϕn (x).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
n=1
Ðàñïîçíàâàíèå îáðàçîâ
148 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Îáó÷åíèå ïîòåíöèàëüíîé ôóíêöèè
Çíàÿ, ÷òî
K(x, xi ) =
∞
X
λ2n ϕn (x)ϕn (xi )
n=1
è
Ki+1 (x) = Ki (x) + ρi+1
èìååì:
∞
X
∞
X
λ2n ϕn (x)ϕn (xi + 1),
n=1
cn (i + 1)ϕn (x) =
n=1
∞
X
cn (i)ϕn (x) + ρi+1
n=1
∞
X
λ2n ϕn (x)ϕn (xi + 1).
n=1
Ïîñêîëüêó ϕn (x) ÿâëÿåòñÿ îáùèì ìíîæèòåëåì â êàæäîì èç ñëàãàåìûõ ïðè
ëþáîì n, ïîëó÷àåì ðåêóððåíòíîå ñîîòíîøåíèå äëÿ êîýôôèöèåíòîâ cn :
cn (i + 1) = cn (i) + ρi+1 λ2n ϕn (xi+1 ),
à ðàçäåëÿþùàÿ ôóíêöèÿ çàïèñûâàåòñÿ â âèäå:
∞
X
di+1 (x) =
cn (i + 1)ϕn (x).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
n=1
Ðàñïîçíàâàíèå îáðàçîâ
148 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ïðèìåð
Ðàññìîòðèì ïðèìåð ñ ýëåêòðè÷åñêèìè çàðÿäàìè. Äëÿ èçâåñòíîãî ïîòåíöèàëà
F (x), çàäàííîãî íà èíòåðâàëå (a, b), ïðèáëèæåíèåì ê íåìó áóäåò ñóììà
∞
P
F (x) =
Ai ϕi (x), ãäå ϕi (x) îðòîãîíàëüíûå ôóíêöèè, ò.å. òàêèå, ÷òî
i=1
Zb
ϕi (x)ϕj (x)ρ(x)dx = 0, i 6= j.
a
Çäåñü ρ(x) âåñîâàÿ ôóíêöèÿ, â îáùåì ñëó÷àå îòëè÷íàÿ îò êîíñòàíòû íà
èíòåðâàëå (a, b). Ãîâîðÿò, ÷òî ïîñëåäîâàòåëüíîñòü ôóíêöèé îðòîíîðìèðîâàíà,
åñëè
(
Zb
0, i 6= j
ϕi (x)ϕj (x)ρ(x)dx =
1, i = j.
a
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
149 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Îðòîãîíàëüíûå ôóíêöèè
Íàèáîëåå ÷àñòî âñòðå÷àþùèåñÿ îðòîãîíàëüíûå ôóíêöèè îñíîâàíû íà
ïîëèíîìàõ ×åáûøåâà è Ýðìèòà.
Ôóíêöèè Ýðìèòà
2
exp − x2 Hi (x),
d i
Hi (x) = (−1)i exp(x2 ) dx
exp(−x2 )
ïîëèíîì Ýðìèòà.
Ðåêóððåíòíàÿ ôîðìóëà:
H0 (x) = 1
H1 (x) = 2x
Hn+1 (x) = 2xHn (x) − 2nHn−1 (x).
ϕi (x) = √
1
√
2i i! π
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ôóíêöèè ×åáûøåâà
Tn (x) = cos(n arccos x), |x| ≤ 1
ïîëèíîì ×åáûøåâà.
Ðåêóððåíòíàÿ ôîðìóëà:
T0 (x) = 1
T1 (x) = x
Tn+1 (x) = 2xTn (x) − Tn−1 (x).
Ðàñïîçíàâàíèå îáðàçîâ
150 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ïðèìåð
Ðàññìîòðèì ïðèìåð, â êîòîðîì òðåáóåòñÿ ïîñòðîèòü ðàçäåëÿþùóþ ôóíêöèþ
ìåæäó äâóìÿ êëàññàìè Ω1 è Ω2 , äëÿ êîòîðûõ ïîëó÷åíû ïóòåì èçìåðåíèé
(ýêñïåðèìåíòàëüíî) ñëåäóþùèå çíà÷åíèÿ, õàðàêòåðèçóþùèå ýëåìåíòû
ïðåäñòàâèòåëè ýòèõ êëàññîâ: x1 = (−1, 0), x2 = (1, 1), x3 = (2, 0),
x4 = (1, −2),
ïðè÷åì èçâåñòíî, ÷òî x1 , x2 ∈ Ω1 , x3 , x4 ∈ Ω2 .
Âîñïîëüçóåìñÿ ïîëèíîìàìè Ýðìèòà. Ïîòåíöèàëüíàÿ ôóíêöèÿ, âûçâàííàÿ
ýëåìåíòîì xi , áóäåò èìåòü âèä:
∞
X
K(x, xi ) =
ϕn (x)ϕn (xi ).
n=1
Îãðàíè÷èìñÿ ïåðâûìè ÷åòûðüìÿ ñëàãàåìûìè, èñïîëüçóÿ ïðè ýòîì
ïåðåìåííûå x1 è x2 :
ϕ1 (x) = ϕ1 (x1 , x2 ) = H0 (x1 )H0 (x2 ) = 1;
ϕ2 (x) = H1 (x1 )H0 (x2 ) = 2x1 ;
ϕ3 (x) = H0 (x1 )H1 (x2 ) = 2x2 ;
ϕ4 (x) = H1 (x1 )H1 (x2 ) = 4x1 x2 .
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
151 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ïðèìåð
Ðàññìîòðèì ïðèìåð, â êîòîðîì òðåáóåòñÿ ïîñòðîèòü ðàçäåëÿþùóþ ôóíêöèþ
ìåæäó äâóìÿ êëàññàìè Ω1 è Ω2 , äëÿ êîòîðûõ ïîëó÷åíû ïóòåì èçìåðåíèé
(ýêñïåðèìåíòàëüíî) ñëåäóþùèå çíà÷åíèÿ, õàðàêòåðèçóþùèå ýëåìåíòû
ïðåäñòàâèòåëè ýòèõ êëàññîâ: x1 = (−1, 0), x2 = (1, 1), x3 = (2, 0),
x4 = (1, −2),
ïðè÷åì èçâåñòíî, ÷òî x1 , x2 ∈ Ω1 , x3 , x4 ∈ Ω2 .
Âîñïîëüçóåìñÿ ïîëèíîìàìè Ýðìèòà. Ïîòåíöèàëüíàÿ ôóíêöèÿ, âûçâàííàÿ
ýëåìåíòîì xi , áóäåò èìåòü âèä:
∞
X
K(x, xi ) =
ϕn (x)ϕn (xi ).
n=1
Îãðàíè÷èìñÿ ïåðâûìè ÷åòûðüìÿ ñëàãàåìûìè, èñïîëüçóÿ ïðè ýòîì
ïåðåìåííûå x1 è x2 :
ϕ1 (x) = ϕ1 (x1 , x2 ) = H0 (x1 )H0 (x2 ) = 1;
ϕ2 (x) = H1 (x1 )H0 (x2 ) = 2x1 ;
ϕ3 (x) = H0 (x1 )H1 (x2 ) = 2x2 ;
ϕ4 (x) = H1 (x1 )H1 (x2 ) = 4x1 x2 .
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
151 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ïðèìåð
Ðàññìîòðèì ïðèìåð, â êîòîðîì òðåáóåòñÿ ïîñòðîèòü ðàçäåëÿþùóþ ôóíêöèþ
ìåæäó äâóìÿ êëàññàìè Ω1 è Ω2 , äëÿ êîòîðûõ ïîëó÷åíû ïóòåì èçìåðåíèé
(ýêñïåðèìåíòàëüíî) ñëåäóþùèå çíà÷åíèÿ, õàðàêòåðèçóþùèå ýëåìåíòû
ïðåäñòàâèòåëè ýòèõ êëàññîâ: x1 = (−1, 0), x2 = (1, 1), x3 = (2, 0),
x4 = (1, −2),
ïðè÷åì èçâåñòíî, ÷òî x1 , x2 ∈ Ω1 , x3 , x4 ∈ Ω2 .
Âîñïîëüçóåìñÿ ïîëèíîìàìè Ýðìèòà. Ïîòåíöèàëüíàÿ ôóíêöèÿ, âûçâàííàÿ
ýëåìåíòîì xi , áóäåò èìåòü âèä:
∞
X
K(x, xi ) =
ϕn (x)ϕn (xi ).
n=1
Îãðàíè÷èìñÿ ïåðâûìè ÷åòûðüìÿ ñëàãàåìûìè, èñïîëüçóÿ ïðè ýòîì
ïåðåìåííûå x1 è x2 :
ϕ1 (x) = ϕ1 (x1 , x2 ) = H0 (x1 )H0 (x2 ) = 1;
ϕ2 (x) = H1 (x1 )H0 (x2 ) = 2x1 ;
ϕ3 (x) = H0 (x1 )H1 (x2 ) = 2x2 ;
ϕ4 (x) = H1 (x1 )H1 (x2 ) = 4x1 x2 .
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
151 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ïðèìåð
Ïîòåíöèàëüíàÿ ôóíêöèÿ
K(x, xi ) =
4
X
ϕn (x)ϕn (xi )
n=1
áóäåò èìåòü âèä:
(i)
(i)
(i) (i)
K(x, xi ) = 1 + 4x1 x1 + 4x2 x2 + 16x1 x2 x1 x2 ,
(i)
ãäå x1 ñîñòàâëÿþùàÿ x1 îò i-ãî ýëåìåíòà.
Òåïåðü íàéäåì ðàçäåëÿþùóþ ôóíêöèþ.
Ðàññìîòðèì x1 = (−1, 0); ïîñêîëüêó x1 ∈ Ω1 , òî ñëåäóåò ïîëó÷èòü K(x) ≥ 0.
 êà÷åñòâå íà÷àëüíîãî çíà÷åíèÿ ïðèìåì K0 (x) = 0. Òîãäà
K1 (x) = K(x, x1 ) = 1 − 4x1 .
Ïðîâåðÿåì x2 ∈ Ω1 :
K1 (x2 ) = 1 − 4 < 0.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
152 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ïðèìåð
Ïîòåíöèàëüíàÿ ôóíêöèÿ
K(x, xi ) =
4
X
ϕn (x)ϕn (xi )
n=1
áóäåò èìåòü âèä:
(i)
(i)
(i) (i)
K(x, xi ) = 1 + 4x1 x1 + 4x2 x2 + 16x1 x2 x1 x2 ,
(i)
ãäå x1 ñîñòàâëÿþùàÿ x1 îò i-ãî ýëåìåíòà.
Òåïåðü íàéäåì ðàçäåëÿþùóþ ôóíêöèþ.
Ðàññìîòðèì x1 = (−1, 0); ïîñêîëüêó x1 ∈ Ω1 , òî ñëåäóåò ïîëó÷èòü K(x) ≥ 0.
 êà÷åñòâå íà÷àëüíîãî çíà÷åíèÿ ïðèìåì K0 (x) = 0. Òîãäà
K1 (x) = K(x, x1 ) = 1 − 4x1 .
Ïðîâåðÿåì x2 ∈ Ω1 :
K1 (x2 ) = 1 − 4 < 0.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
152 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ïðèìåð
Ïîòåíöèàëüíàÿ ôóíêöèÿ
K(x, xi ) =
4
X
ϕn (x)ϕn (xi )
n=1
áóäåò èìåòü âèä:
(i)
(i)
(i) (i)
K(x, xi ) = 1 + 4x1 x1 + 4x2 x2 + 16x1 x2 x1 x2 ,
(i)
ãäå x1 ñîñòàâëÿþùàÿ x1 îò i-ãî ýëåìåíòà.
Òåïåðü íàéäåì ðàçäåëÿþùóþ ôóíêöèþ.
Ðàññìîòðèì x1 = (−1, 0); ïîñêîëüêó x1 ∈ Ω1 , òî ñëåäóåò ïîëó÷èòü K(x) ≥ 0.
 êà÷åñòâå íà÷àëüíîãî çíà÷åíèÿ ïðèìåì K0 (x) = 0. Òîãäà
K1 (x) = K(x, x1 ) = 1 − 4x1 .
Ïðîâåðÿåì x2 ∈ Ω1 :
K1 (x2 ) = 1 − 4 < 0.
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
152 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ïðèìåð
Ñëåäóþùèé øàã
K2 (x) = K1 (x) + K(x, x2 ).
Âû÷èñëÿåì
K(x, x2 ) = 1 + 4x1 + 4x2 + 16x1 x2 ,
K2 (x) = 2 + 4x2 + 16x1 x2 .
Ïðîâåðÿåì x3 ∈ Ω2 :
K2 (x3 ) = 2 > 0.
Êëàññèôèêàöèÿ íåâåðíàÿ, ïîýòîìó
K3 (x) = K2 (x) − K(x, x3 ).
K(x, x3 ) = 1 + 8x1 .
K3 (x) = 1 − 8x1 + 4x2 + 16x1 x2 .
Ïðîâåðÿåì x4 ∈ Ω2 :
K3 (x4 ) = −47 < 0.
Êëàññèôèêàöèÿ âåðíà, ïîýòîìó
K4 (x) = K3 (x).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
153 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ïðèìåð
Ñëåäóþùèé øàã
K2 (x) = K1 (x) + K(x, x2 ).
Âû÷èñëÿåì
K(x, x2 ) = 1 + 4x1 + 4x2 + 16x1 x2 ,
K2 (x) = 2 + 4x2 + 16x1 x2 .
Ïðîâåðÿåì x3 ∈ Ω2 :
K2 (x3 ) = 2 > 0.
Êëàññèôèêàöèÿ íåâåðíàÿ, ïîýòîìó
K3 (x) = K2 (x) − K(x, x3 ).
K(x, x3 ) = 1 + 8x1 .
K3 (x) = 1 − 8x1 + 4x2 + 16x1 x2 .
Ïðîâåðÿåì x4 ∈ Ω2 :
K3 (x4 ) = −47 < 0.
Êëàññèôèêàöèÿ âåðíà, ïîýòîìó
K4 (x) = K3 (x).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
153 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ïðèìåð
Ñëåäóþùèé øàã
K2 (x) = K1 (x) + K(x, x2 ).
Âû÷èñëÿåì
K(x, x2 ) = 1 + 4x1 + 4x2 + 16x1 x2 ,
K2 (x) = 2 + 4x2 + 16x1 x2 .
Ïðîâåðÿåì x3 ∈ Ω2 :
K2 (x3 ) = 2 > 0.
Êëàññèôèêàöèÿ íåâåðíàÿ, ïîýòîìó
K3 (x) = K2 (x) − K(x, x3 ).
K(x, x3 ) = 1 + 8x1 .
K3 (x) = 1 − 8x1 + 4x2 + 16x1 x2 .
Ïðîâåðÿåì x4 ∈ Ω2 :
K3 (x4 ) = −47 < 0.
Êëàññèôèêàöèÿ âåðíà, ïîýòîìó
K4 (x) = K3 (x).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
153 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Ïðèìåð
Ïðîâåðÿåì, êàê ïðè ýòîì êëàññèôèöèðóåòñÿ òî÷êà x1 ∈ Ω1 :
K4 (x1 ) = 9 > 0.
Òàêèì îáðàçîì ìû óáåäèëèñü â òîì, ÷òî â ðåçóëüòàòå âñå ÷åòûðå âûáîðêè
êëàññèôèöèðîâàíû ïðàâèëüíî. Â èòîãå ðàçäåëÿþùàÿ ôóíêöèÿ îïèñûâàåòñÿ
óðàâíåíèåì
x2
d(x) = 1−8x1 +4x2 +16x1 x2 = 0.
x2 =
x1
8x1 − 1
.
16x1 + 4
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
154 / 155
Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé
Óïðàæíåíèå
Ïîñòðîèòü ïîòåíöèàëüíóþ ôóíêöèþ K(x), èñïîëüçóÿ ýêñïîíåíöèàëüíóþ
ôóíêöèþ
K(x, xk ) = exp(−α||x − xk ||2 )
ïî çàäàííûì ïðåöåäåíòàì:
x1 = (0, 0), x2 = (2, 0), x3 = (1, 1), x4 = (1, −1),
x1 , x2 ∈ Ω1 , x3 , x4 ∈ Ω2 .
Ïî ïîñòðîåííîé ôóíêöèè îïðåäåëèòü ïðèíàäëåæíîñòü ê êëàññàì òî÷åê
x5 = (−1, 0) è x6 = (1, 0).
(ÈÌ ÑÔÓ, ÈÂÌ ÑÎ ÐÀÍ)
Ðàñïîçíàâàíèå îáðàçîâ
155 / 155
