Методы экспертных оценок

Эффективность информационных технологий Лекция 5. Методы экспертных оценок В предыдущих лекциях рассматривались количественные методы определения экономической эффективности ИТ. Для расчета этих показателей предварительно строится финансовая модель проекта внедрения ИТ. Детальная модель требует много работы аналитиков, при этом многие параметры (увеличение выручки и оборачиваемости, материальные затраты и оплата труда и т.д.) все равно не будут известны точно, что потребует проведение сценарного анализа, что потребует еще больше работы. Наряду с количественными методами используются методы экспертных оценок. Они применяются в тех случаях, когда связь между различными показателями неизвестна или же ее слишком сложно установить. Оценка - мнение о ценности, уровне или численном значении чего-либо. Оценивание делится на: 1) Количественно неопределенное (качественное оценивание); 2) Количественное оценивание - т.е. определение характеристик без использования технических средств. Основы теории измерительных шкал Любое измерение или количественное оценивание чего-либо осуществляется с использованием соответствующих шкал. Шкала - это знаковая система, для которой задано отображение, ставящее в соответствие реальным объектам тот или иной количественный элемент шкалы. По Стивенсу выделяется 5 типов измерительных шкал. 1) Шкала наименований (номинальная), в которой числа используются исключительно с целью обозначения объектов или классов объектов. Кроме сравнения на совпадение, любые арифметические действия над числами, обозначающими имена объектов, бессмысленны. В этой шкале признаки удовлетворяют аксиомам тождества: * A = A; ** A=B → B=A; *** A=B и B=C → A=B. Допустимые операции: = , ≠. Возможен расчет частот попадания объектов в тот или иной класс, относительной частоты класса, нахождение моды. Допустимы любые преобразования шкалы. 2) Шкала порядков (ранговая шкала) - шкала, при измерении в которой мы получаем информацию лишь о том, в каком порядке объекты следуют друг за другом по какому-то свойству. Аксиомы упорядоченности (простого порядка; в шкале слабого порядка неравенства нестрогие): **** Если А > В, то В < А; ***** Если А > В и В > С, то А > С. Допустимые операции: = , ≠, >, <. Дополнительно возможен расчет медианы и квантилей любого уровня p. Важно: отношение порядка ничего не говорит о дистанции между сравниваемыми классами. Поэтому порядковые экспериментальные данные, даже если они выражены числами, нельзя рассматривать как числа, например, нельзя вычислять выборочное среднее. Допустимы любые монотонные преобразования шкалы. Примером могут служить, например, Шкала Мооса, по которой измеряется твердость минералов (из двух минералов тверже тот, который оставляет на другом царапины при достаточно сильном соприкосновении: 1 - тальк, 10 - алмаз). Примером шкал порядка также являются балльные шкалы, используемые для оценок знаний в школе. 3) Шкала интервалов (шкала разностей) - шкала, в которой можно менять как начало отсчета, так и единицы измерения. В этом случае упорядочивание объектов выполняется настолько точно, что известны расстояния между любыми двумя из них. При этом единица измерения и начало отсчета условны. Допустимые операции: = , ≠, >, <, +, -. Допускается, в частности, расчет выборочного среднего. Допустимые преобразования шкалы: линейные преобразования y=a+bx. Если в одной шкале измеренные интервалы равны Δ1х и Δ2х, а во второй Δ1y и Δ2у, то справедливо соотношение: Δ1x /Δ2х = Δ1y / Δ2у. В этой шкале только интервалы имеют смысл настоящих чисел, допускающих любые математические действия с ними. Пример: календари летоисчислений: от Р.Х. (начало - 1 января года, в который родился Иисус Христос (у православных), или года, следующего за годом рождения Христа (у католиков и протестантов); календарь солнечный, год равен 365 или 366 дням) и от Хиджры (начало - 16 июля 622 года от Р.Х., т.е. от даты переселения пророка Мухаммеда и первых мусульман из Мекки в Медину; календарь лунный, в году 354 или 355 дней, день начинается с заходом солнца, а не в полночь). Другой пример: температурные шкалы Цельсия и Фаренгейта (0 соответствует -17,8°С - самая холодная температура зимой 1708-1709 годов, а 100 соответствует примерно +37,8°С - температура тела больного простудой). 4) Шкала отношений, в которой начало отсчета неизменно (задано естественным образом), а единицы измерения можно изменять (масштабировать). Аксиомы аддитивности: VI. Если А = Р и В > 0,то А + В > Р; VII. А + В = В + А; VIII. Если A = P и B = Q, тo A + B = P + Q; IX. (А + В) + С = А + (В + С). Измерения в этой шкале являются настоящими числами, с ними можно выполнять любые арифметические действия: = , ≠, >, <, +, -, *, /. Допустимые преобразования шкалы: прямая пропорциональность y=bx. Пример: измерение массы тела в тоннах, килограммах, граммах и т.д. 5) Абсолютная шкала – шкала, в которой имеется и естественное начало отсчета, и естественная единица измерения. Над измерениями можно выполнять любые операции. Допустимые преобразования: тождественное преобразование. Используется в тех случаях, когда величина измеряется напрямую: количество элементов в множестве. Из перечисленных шкал абсолютная шкала является самой «сильной», а номинальная – самой «слабой». Из абсолютных данных можно узнать все то, что могут дать любые другие шкалы, но не наоборот. Использовать только абсолютные шкалы и шкалы отношений не всегда целесообразно. Для получения информации о свойствах, измеряемых в сильных шкалах, требуются более совершенные измерительные приборы и процедуры (которых может и не быть вовсе). Шкала наименований и шкала порядка являются качественными. Другие шкалы являются количественными. Задачи многокритериального выбора В экономической практике часто требуется выбрать наилучший объект из нескольких предлагаемых: инвестиционный проект, программный продукт, технические средства и т.д. Как правило, рассматриваемые объекты обладают большим числом характеристик, оказывающих влияние на выбор. В таком случае говорят о задаче многокритериального выбора. Основные подходы к решению таких задач: 1) Построение сводного показателя. В этом случае на основе отдельных показателей (критериев) q1, q2, …, qn сравниваемых объектов строится сводный показатель Q. Для этого выбирается вид синтезирующей функции f(q1, q2, …, qn, w1, w2, …, wn) и оценивается относительная важность отдельных критериев (т.е. выбираются веса wi). Выбирается объект с максимальным (или минимальным) значением сводного показателя. 2) Условная оптимизация. В этом случае выбирается единственный ведущий критерий qi, а остальные критерии q1, q2, …, qi-1, qi+1, …, qn являются вспомогательными, на них накладываются те или иные ограничения. Выбирается тот объект, у которого значения вспомогательных критериев удовлетворяют всем ограничениям, а значение ведущего критерия является максимальным (минимальным). 3) Нахождение множества Парето. Этот способ состоит в отказе от поиска единственного наилучшего объекта. Предпочтение одному объекту перед другим отдается лишь в том случае, если первый объект по всем отдельным показателям лучше второго. В результате попарного сравнения объектов худшие отбрасываются, а оставшиеся объекты будут несравнимы друг с другом. Полученное множество несравнимых объектов и представляет собой множество Парето. Указанные выше подходы могут быть совмещены. Например, можно задать ограничения для некоторых частных критериев (показателей), а в качестве ведущего критерия выбрать сводный показатель, построенный на основе остальных частных показателей. Метод сводных показателей Метод сводных показателей заключаются в свертке критериев – построении сводного (интегрального) показателя с помощью некоторой функции n переменных: например, широко используется линейная свертка: При этом безразмерные отдельные показатели (критерии) q1, q2, …, qn рассчитываются на основе характеристик x1, x2, …, xn либо по формуле: если влияние характеристики на общее качество объекта положительное (т.е. чем больше значение характеристики, тем выше качество), либо по формуле: если влияние характеристики на качество отрицательное (т.е. чем меньше значение характеристики, тем выше качество). При этом минимальные и максимальные значения характеристики могут быть априорно заданными константами или выбираться как наибольшие и наименьшие значения характеристик, реально наблюдаемых у сравниваемых объектов. Коэффициенты w1, w2, …, wn называются весовыми коэффициентами и характеризуют относительную важность критериев. Сводный показатель для конкретного объекта рассчитывается как скалярное произведение вектора весовых коэффициентов и вектора отдельных показателей, характеризующих этот объект: Вектор q любого из сравниваемых объектов представляет собой известный числовой вектор. Подставив в формулу все необходимые значения, рассчитывают сводные показатели сравниваемых объектов и делают вывод, руководствуюсь правилом: чем выше значение сводного показателя, тем выше качество объекта. Трудность заключается в том, что точные значения весовых коэффициентов на практике неизвестны. Как правило, ЛПР обладает лишь нечисловой, неточной, и неполной информацией (ННН-информация) о весовых коэффициентах, которую можно записать как некоторую систему неравенств, ограничивающую значения w1, w2, …, wn, но не позволяющую получить единственный возможный числовой вектор w. Метод парных сравнений Пусть сравнивается относительная важность n критериев q1, q2, …, qn. Метод парных сравнений предполагает попарное сравнение критериев, при этом в каждой паре выбирается более важный критерий (т.е. сравниваются веса критериев wi и wj). Результаты парных сравнений записываются в матрицу сравнений A: Если wi > wj, то aij = 1, Если wi = wj, то aij = 0,5, Если wi < wj, то aij = 0. Таким образом, всегда aij+aji = 1. Примечание: вместо 1, 0,5 и 0 часто предлагается использовать другие значения. Матрица парных сравнений: Критерий q1 q2 … qn Сумма элементов строки q1 a11 a12 … a1n q2 a21 a22 … a2n … … … … … … qn an1 an2 … ann Показатель важности i-го критерия находят как сумму элементов i-й строки матрицы. Проведя нормировку, находим i-й весовой коэффициент по формуле: Следует иметь в виду, что результатом является единственный вектор весовых коэффициентов w=(w1, w2, …, wn). Пример 1. Пусть имеется 5 объектов (A, B, C, D, E), которые необходимо сравнить. Каждый из объектов характеризуется двумя отдельными показателями (q1 и q2), значения которых приведены в таблице: Объект Отдельные показатели q1 q2 A 0,8 0,5 B 0,7 0,8 C D 1 1 E 0,699 0,799 По мнению эксперта, вес первого показателя больше (w1>w2), но предоставить более точную информацию эксперт с уверенностью не может. Требуется сравнить объекты. Решение. Для расчета сводных показателей необходимо определить веса w1 и w2. Воспользуемся методом парных сравнений. Матрица парных сравнений: Критерий q1 q2 Σ q1 0,5 1 1,5 q2 0,5 0,5 Тогда: Теперь рассчитаем сводные показатели: Объект Отдельные показатели Сводный показатель Q = w1 * q1 + w2 * q2 q1 q2 A 0,8 0,5 0,725 B 0,7 0,8 0,725 C D 1 1 1 E 0,699 0,799 0,724 Наибольшее значение сводного показателя – у объекта D, а за ним следуют объекты A и B. Сравнивая объекты A и B, можно сделать вывод, что A и B характеризуются одинаковым качеством (например, это проекты, одинаково привлекательные для инвестора), поскольку их сводные показатели равны: QA=QB=0,725. Однако такой вывод оказывается преждевременным… Зависимость выбора объекта от выбора значений весовых коэффициентов Объект Отдельные показатели Сводный показатель Q = w1 * q1 + w2 * q2 Веса: w1 = 0,75, w2 = 0,25. Веса: w1 = 0,76, w2 = 0,24. Веса: w1 = 0,74, w2 = 0,26. q1 q2 A 0,8 0,5 0,725 0,728 0,722 B 0,7 0,8 0,725 0,724 0,726 C D 1 1 1 1 1 E 0,699 0,799 0,724 0,723 0,725 Если весовые коэффициенты выбрать немного отличающимися от указанных выше, например, (w1=0,76, w2=0,24) или (w1=0,74, w2=0,26), результат сравнения объектов A и B будет другим: QA>QB или QAw2, а потому нельзя с полной уверенностью предпочесть один из них двум оставшимся. Абсолютные значения сводных показателей QA, QB, QC, QE, QD также не позволяют сделать надежные выводы. К примеру, QA, QB и QE незначительно различаются, однако с уверенностью можно сказать, что объект B предпочтительнее объекта E, поскольку qB1>qE1 и qB2>qE2. Но для объекта A этого сказать уже нельзя: результаты его сравнения с E зависят от выбора весовых коэффициентов. Исключение представляют лишь крайние случаи: объект с наилучшими (D) или наихудшими (E) значениями сразу всех отдельных показателей остается наилучшим или наихудшим независимо от выбора весовых коэффициентов. Метод рандомизированных сводных показателей Метод рандомизированных сводных показателей (МРСП) основан на замене точно определенного числового вектора w на случайный вектор весовых коэффициентов Множеством возможных значений случайного вектора является (n-1)-мерный элементарный симплекс W в n-мерном пространстве: Если у ЛПР имеется некоторая ННН-информация I о значениях весовых коэффициентов, то множеством допустимых значений будет некоторое подмножество W(I) симплекса W. Распределение случайного весового вектора будем считать равномерным на W(I). Пример 2. Множества W и W(I), где I: w1≤0,5, трехмерных векторов весовых коэффициентов: a) Множество возможных значений W трехмерного вектора весовых коэффициентов–треугольник ABC; b) Множество допустимых значений W(I) при наличии информации о весовых коэффициентах (I: w1<0,5) –трапеция DBCE. Сводный показатель также заменяется на случайную величину – так называемый рандомизированный сводный показатель: Если случайный вектор принимает некоторое значение , то случайная величина принимает значение Пусть теперь сравниваются 2 объекта, характеризующиеся векторами критериев q1 и q2. Их рандомизированные сводные показатели будем обозначать как: и. Для выбора наилучшего объекта можно использовать математические ожидания их рандомизированных сводных показателей : О надежности сделанных выводов можно судить по вероятностям доминирования объектов. Пусть -подмножество W(I), на котором выполняется соответствующее неравенство. Поскольку случайный вектор имеет равномерное распределение на W(I), то можно найти вероятность выполнения неравенства используя геометрическое определение вероятности: где mes – мера соответствующего (n-1)-мерного множества. Вероятность доминирования можно найти как отношение площадей: p(Q(1) > Q(2)) = SBHGD/SBCED. При сравнении M объектов для каждого из них можно определить вероятность абсолютного доминирования: где i – номер объекта от 1 до M, - подмножество W(I), на котором сводный показатель i-го объекта превышает сводные показатели всех остальных сравниваемых объектов. Вероятность абсолютного доминирования p(i) можно интерпретировать как степень уверенности в том, что i-й объект является наиболее предпочтительным. Пример 3. Пусть сравнивается 2 объекта по 2-м отдельным показателям. Известно также, что в каждой группе первый показатель важнее, чем второй. Объект A 0,9 0,2 B 0,7 0,5 Сравним объекты, используя МРСП. Решение. Множество W – отрезок прямой w1+w2=1, соединяющий точки (1,0) и (0,1). Множество W(I) – отрезок AB, соединяющий точки (1, 0) и (0,5, 0,5). Поскольку распределен на AB равномерно, то Тогда сводные показатели: Объект A 0,9 0,2 0,75*0,9+0,25*0,2=0,725 B 0,7 0,5 0,75*0,7+0,25*0,5=0,65 Объект A предпочтительнее объекта B. Найдем вероятности доминирования. Сводные показатели: QA = w1*0,9 + (1-w1)*0,2 = 0,7*w1 + 0,2. QB = w1*0,7 + (1-w1)*0,5 = 0,2w1 + 0,5. Приравняв, получим координаты точки C: (0,6, 0,4). Тогда вероятность доминирования: p(QA > QB) = LAC/LAB = 0,8. В многомерных случаях для расчета характеристик применяются 2 подхода: a) Замена непрерывных множеств W и W(I) на дискретные множества WD и WD(I). b) Оценка характеристик методом Монте-Карло. a) Дискретное множество векторов весовых коэффициентов WD(I); b) Реализации случайного вектора весовых коэффициентов - выборка S(I). a) Замена непрерывных множеств W и W(I) на дискретные множества WD и WD(I). В этом случае предполагается, что значения весовых коэффициентов отсчитываются с некоторым шагом 1/k. Множество WD содержит следующее число элементов: Для элементов этого множества проверяется выполнение системы неравенств I, после чего остается множество допустимых элементов WD(I). Количество его элементов N не всегда удается предсказать заранее, а чтобы его увеличить, нужно уменьшить шаг h. Программный код на языке R для случая n=3 приведен ниже: 1 # задается шаг 2 k <- 100 3 h <- 1/k 4 # формируется множество всех возможных весовых векторов 5 weight1 <- numeric(); weight2 <- numeric(); weight3 <- numeric() 6 # векторы с 2-мя компонентами 7 weight1 <- seq(0, k, by=1) 8 weight2 <- k-weight1 9 # векторы с 3-мя компонентами 10 f1 <- weight1 11 f2 <- weight2 12 for(i in 1:k){ 13 restr <- logical() 14 f1 <- f1-1 15 restr <- (f1>-1) 16 weight1 <- c(weight1, f1[restr]) 17 weight2 <- c(weight2, f2[restr]) 18 } 19 weight3 <- k-weight1-weight2 20 # Процедура добавления новых компонент (4-й, 5-й и т.д.) может быть продолжена. 21 weight1 <- weight1/k; weight2 <- weight2/k; weight3 <- weight3/k 22 # Задаются ограничения для первой группы весовых коэффициентов (для показателей доходности) 23 # Формируется множество допустимых векторов весовых коэффициентов 24 Restrictions <- (weight1 > weight2) & (weight2 > weight3) 25 w1 <- weight1[Restrictions]; w2 <- weight2[Restrictions]; w3 <- weight3[Restrictions] 26 rm(weight1, weight2, weight3, f1, f2, restr, Restrictions) b) Оценка характеристик методом Монте-Карло. В этом случае вместо регулярной сетки WD(I) используется набор реализаций случайного вектора - выборка S(I), состоящая из N элементов. Поскольку распределение считается равномерным на W(I), выборку размера N можно сформировать следующим образом: 1) Получить K реализаций многомерной случайной величины, имеющей распределение Дирихле c параметрами , которое, как известно, и является равномерным распределением на элементарном симплексе W. Для получения одной реализации (w1, w2, …, wn) нужно получить n независимых реализаций v1, v2, …, vn случайных величин, имеющих гамма-распределение , после чего найти: 2) Добавить в выборку S(I) те реализации (w1, w2, …, wn), которые удовлетворяют системе ограничений I, т.е. те, которые принадлежат множеству W(I). Если после этого размер S(I) меньше N, то повторить пункт 1). Программный код на языке R для случая n=3 приведен ниже: 1 # Формирование выборки S(I) 2 w1 <- vector(); w2 <- vector(); w3 <- vector() 3 K <- 10000; N <- 10000 4 while(length(w1) weight2) & (weight2 > weight3) 11 w1 <- c(w1, weight1[Restrictions]); w2 <- c(w2, weight2[Restrictions]); 12 w3 <- c(w3, weight3[Restrictions]) 13 print(length(w1)) 14 } 15 rm(weight1, weight2, weight3, wsum, Restrictions) По выборке N векторов весовых коэффициентов рассчитываются N значений сводного показателя каждого объекта. Оценкой математических ожиданий будут выборочные средние, а вероятностей – относительные частоты. Пример 4. Сравнить 2 объекта по 3-м показателям: Объект q1 q2 q3 A 0,7 0,4 0,3 B 0,5 0,6 0,4 Эксперт считает, что первый показатель важнее второго, а второй важнее третьего. Решение. 1) Дописываем еще 3 строки в первую программу: 27 QA=0.7*w1+0.4*w2+0.3*w3 28 QB=0.5*w1+0.6*w2+0.4*w3 29 mean(QA); mean(QB); sum(QA>QB)/length(QA) Получаем: 2) Дописываем те же самые строки во вторую программу. Получаем немного другие оценки (поскольку генерируется случайная выборка, Ваши результаты могут отличаться от полученных здесь): Пример 5. Первый способ решения (переход к дискретным множествам) реализован в СППР APIS. 1) Задаются объекты, отдельные показатели и их значения. 2) Указывается шаг отсчета h и ННН-информация о весовых коэффициентах. 3) Получены оценки весовых коэффициентов: 4) Получены сводные показатели объектов: Результаты: Иерархический метод сводных показателей На практике сравниваемые объекты часто характеризуются большим числом n отдельных показателей. Уже при n>7 у экспертов возникают трудности, связанные с оценкой относительной важности отдельных показателей (т.е. с оценкой весов w1, w2, …, wn). Для решения этой проблемы можно использовать иерархическую систему синтеза сводных показателей: 1) Исходные отдельные показатели подразделяются на несколько групп. 2) Для каждой группы строятся сводные показатели 1-го иерархического уровня, которые тоже могут быть подразделены на группы. 3) Для каждой группы сводных показателей 1-го уровня строятся сводные показатели 2-го уровня и т.д. 4) Результатом является единственный сводный показатель высшего иерархического уровня (итоговый сводный показатель). Дерево двухуровневой иерархии сводных показателей: Пример 6. Сравнить 2 объекта по 10 показателям: Объект 1-я группа (w1=0,5) 2-я группа (w2=0,3) 3-я группа (w3=0,2) q1 (w11=0,4) q2 (w12=0,3) q3 (w13=0,2) q4 (w14=0,1) q5 (w21=0,2) q6 (w22=0,7) q7 (w23=0,1) q8 (w31=0,3) q9 (w32=0,3) q10 (w33=0,4) A 0,9 0,5 0,2 0,9 0,5 0,7 0,8 0,6 0,3 0,8 B 0,8 0,7 0,1 1 0,9 0,2 0,9 0,4 0,2 Решение. Рассчитываем сводные показатели объекта A: QA1 = 0,4*0,9 + 0,3*0,5 + 0,2*0,2 + 0,1*0,9 =0,64. QA2 = 0,2*0,5 + 0,7*0,7 + 0,1*0,8 = 0,67. QA3 = 0,3*0,6 + 0,3*0,4 + 0,8*0,2 = 0,59. QA = 0,5*0,64 + 0,3*0,67 + 0,2*0,59 = 0,639. Аналогично для объекта B: QB1 =0,65, QB2 = 0,65, QB3 = 0,47. QB = 0,614. Таким образом, объект A более высокого качества, чем B.