Экспертная оценка проекта

Экспертная оценка проекта После выдвижения проектных идей необходима их экспертная оценка. Несмотря на все большую роль математических методов при решении экономических задач, нельзя считать, что формальные методы современной математики оказываются универсальным средством решения всех проблем, возникающих в сферах деятельности общества. Без опыта, знаний и интуиции специалистов невозможно принять обоснованные управленческие решения. В связи с этим во второй половине XX века в рамках кибернетики, теории управления, менеджмента и исследования операций стала развиваться самостоятельная дисциплина - теория и практика экспертных оценок. Методы экспертных оценок – это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены в количественно-качественной форме. Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР (лицо, принимающее решение) деятельность экспертов, объединенных в экспертную комиссию (ЭК). Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения продукции, при определении свойств продуктов и уровня их качества, при идентификации потребительских предпочтений и др. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, так и для целей прогнозирования. В то же время экспертные оценки имеют и недостатки. С одной стороны, нет гарантий, что полученные оценки в действительности достоверны, а с другой — имеются определенные трудности в проведении опроса экспертов и обработке полученных данных. Если второй недостаток относится к преодолимым трудностям, то первый имеет принципиальное значение. Единодушие или полная противоречивость большинства экспертов не являются критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов с помощью специальных показателей, о которых мы поговорим ниже. Методы получения качественных и количественных экспертных оценок 1.Метод количественных оценок в абсолютных или относительных показателях. В случае применения данного метода экспертов просят охарактеризовать в настоящий момент или спрогнозировать на перспективу значение какого-либо стоимостного, натурального или трудового показателя. Пример № 1, 10 экспертов спрогнозировали емкость рынка (Е) выпускаемой продукции. Экспертные оценки представлены в табл. 1: Табл. 1 Экспертные оценки емкости рынка выпускаемой продукции № эксперта Емкость рынка, млрд. руб. 1 100 2 112 3 123 4 130 5 117 6 120 7 125 8 105 9 110 10 122 Определите среднюю прогнозируемую емкость рынка (ЕСР). ЕСР = (100+112+123+130+117+120+125+105+110+122) / 10 = 116,4 млрд. руб. В рамках данного метода экспертных оценок согласованность мнений экспертов определяется с помощью коэффициента вариации (V): σ V = ––––, где (1) x Среднее квадратическое отклонение составляет: , где (2) Среднее квадратическое отклонение – это квадратный корень средней из квадратов отклонений вариантов значений признака от их средней величины. Xi – i-й вариант значения признака, ед.; –– X – средняя величина вариантов значения признака, ед. n – количество вариантов значения признака в анализируемой совокупности данных. Среднеквадратическое отклонение дает абсолютную оценку меры разбросанности значений. Коэффициент вариации дает понять, насколько она велика относительно самих значений. Если значение коэффициента вариации менее 33%, то совокупность считается однородной1. Мнения экспертов согласованы. Совокупность однородная – это статистическая совокупность, для которой характерны принадлежность составных ее элементов к одному и тому же типу явления и сходство между элементами по существенным для данного исследования признакам2. x = 116,4 млрд. руб. (100-116,4)2 + (112-116,4)2 + (123-116,4)2 + (130-116,4)2 + (117-116,4)2 + σ = –––––––––––––––––––––––––––––––––––––––––––––––––––– 10 + (120-116,4)2 + (125-116,4)2 + (105-116,4)2 + (110-116,4)2 + (122-116,4)2 –––––––––––––––––––––––––––––––––––––––––––––––––––– = 10 268,96 + 19,36 + 43,56 + 184,96 + 0,36 + 12,96 + 73,96 + 129,96 + 40,96 + 31,36 = –––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––– = 10 806,4 = ––––––– = 8,98 млрд. руб. 10 8,98 V = –––– × 100% = 7,71%. 116,4 Вывод: коэффициент вариации = 7,71%. Совокупность однородная, мнения экспертов согласованы. 2.Метод балльной оценки. Этот метод используется для экспертной оценки качественных характеристик показателей, продуктов, услуг или процессов. Пример балльной оценки – общеизвестные школьные отметки в пятибалльной шкале с градациями (оценками) – 1, 2, 3, 4, 5. Значения (градации) балльной шкалы представляют собой ограниченный дискретный ряд чисел, отстающих друг от друга на одинаковом расстоянии. Обычно при экспертных оценках в качестве значений шкалы берут начальный отрезок натурального ряда или часть ряда целых чисел, симметричную относительно нуля (0; +-1; +-2; +-3…). Различают два вида балльных оценок. В первом случае оценка проводится по объективному критерию, так что индивидуальные оценки являются некоторыми колебаниями реальных значений. Обычно при этом имеются некоторые общепринятые эталоны, соответствующие градациям шкалы, с которыми и сравниваются рассматриваемые объекты. Чем более точно охарактеризованы и оценены возможные отклонения от эталонов, тем меньше колебаний в оценках, тем больше доверия к ним. Например, при оценивании выпускной работы существуют четыре критерия оценок. Выпускная работа оценивается по четырех-балльной системе (отлично, хорошо, удовлетворительно, неудовлетворительно): – оценку «отлично» заслуживает работа, в которой дано всестороннее и глубокое освещение избранной темы в тесном взаимодействии с практикой, а ее автор показал умение работать с литературой и нормативными документами, проводить исследования, делать практические и теоретические выводы; – баллом «хорошо» оценивается работа, отвечающая основным, предъявляемым к ней требованиям. Студент обстоятельно владеет материалом, однако не на все вопросы дает глубокие, исчерпывающие и аргументированные ответы; – выпускная работа оценивается баллом «удовлетворительно», если в ней, в основном, соблюдены общие требования, но неполно раскрыты поставленные планом вопросы. Автор работы владеет материалом, однако поверхностно отвечает на вопросы, допускает существенные недочеты; – баллом «неудовлетворительно» оценивается выпускная работа, если в отзыве и рецензии имеются замечания по ее содержанию и оформлению. Ответы на вопросы неправильны и не отличаются аргументированностью. Балльная оценка второго вида производится, когда не только нет общепринятых эталонов, но и сомнительно даже наличие некоего объективного единственного критерия, субъективными отражениями которого являются оценки, так что бессмысленным является сам вопрос о количественном соотношении оценок. Таковы, например, сравнения гастрономического вкуса разных блюд. Сравнение проектов осуществляется по сумме баллов: (3) где Б – оценка проекта в баллах; n – количество критериев; Oi – оценка в баллах i-го критерия. Этот метод (метод критериев) позволяет увидеть все достоинства и недостатки проекта и гарантирует, что ни один из критериев, которые приняты во внимание, не будет упущен, даже если возникнут проблемы с его оценкой. Проекты, получающие высокую оценку по одним критериям, могут получать низкие оценки по другим. Недостаток такой оценки – одинаковое воздействие на итоговый результат критериев различной значимости. Для устранения этого недостатка критериям присваиваются весовые коэффициенты (ранги), в зависимости от степени их значимости для предприятия, на которые умножается оценка критерия в баллах: (4) Полученные даже таким образом оценки все же нельзя считать достаточно объективными. Это связано с субъективностью представлений, используемых как при присвоении числовых оценок критериям, так и при назначении весовых коэффициентов. Для снижения влияния субъективной составляющей погрешности оценки организуют оценку (экспертизу) несколькими независимыми экспертами и для окончательной оценки используют среднее значение: (5) где Бk – оценка проекта в баллах k-м экспертом; N – количество экспертов. Но здесь возникает еще одна проблема. Оценки, даваемые эксперта-ми, могут как полностью совпадать, так и резко отличаться, и то и другое плохо. В первом случае, могут возникнуть сомнения в независимости экспертов: можно предположить, что одни из них просто повторяют суждения (оценки) других. Во втором случае возникают сомнения в квалификации экспертов, в их способности давать компетентные оценки. Приемлемость (согласованность) оценок экспертов определяется с помощью коэффициента конкордации (W). Если баллы, выставленные каждым экспертом не имеют совпадений, тогда: (6) где m – количество оцениваемых критериев; N – количество экспертов; S – разность между: суммой квадратов значений сумм оценок экспертов и средним значением квадрата суммы оценок экспертов. (7) где i =1…N – номер эксперта; j =1…m – номер оцениваемого критерия; j Бi – оценка i-м экспертом j-го критерия. Коэффициент конкордации W имеет пределы: 0 ≤W ≤ 1. При W < 0,3 согласованность оценок считается неудовлетворительной; при 0,3 ≤ W ≤ 0,7 – средняя; при W > 0,7 – высокая3. Пример № 2. 6 экспертов оценили проект по четырем критериям: А, Б, В, Г (см. табл. 2). Для оценки применялась пятибалльная шкала с градациями – 1, 2, 3, 4, 5. Определите средний балл экспертной оценки проекта (БСР) и коэффициент конкордации (W) оценок. Таблица 2 Эксперты Оценка в баллах по j-му критерию А Б В Г 1 2 3 4 5 2 1 2 3 5 3 3 4 2 5 4 3 2 4 5 5 2 4 5 3 6 1 3 5 4 Б1 = 2 + 3 + 4 + 5 = 14; Б2 = 1 + 2 + 3 + 5 = 11; Б3 = 3 + 4 + 2 + 5 = 14; Б4 = 3 + 2 + 4 + 5 = 14; Б5 = 2 + 4 + 5 + 3 = 14; Б6 = 1 + 3 + 5 + 4 = 13. БСР = (14 + 11 + 14 + 14 + 14 + 13) / 6 = 13,33 балла. Сумма сумм баллов экспертов = 14 + 11 + 14 + 14 + 14 + 13 = 80. Сумма квадратов значений сумм оценок экспертов = 142 + 112 + 142 + 142 + 142 + 132 = 1074. Квадрат суммы оценок экспертов = 802 = 6400. 12S W = –––––––––––; m2 × (N3 – N) S = 1074 – 6400 / 6 = 1074 – 1066,67 = 7,33. 12 × 7,33 87,96 87,96 W = –––––––––– = ––––––––––– = ––––––– = 0,03. 42 × (63 – 6) 16 × (216 – 6) 3360 Вывод: согласованность оценок экспертов неудовлетворительная. 3.Метод ранжирования. Ранжированный ряд — это перечень отдельных единиц совокупности в порядке возрастания (убывания) изучаемого признака4. Ранжирование позволяет легко разделить количественные данные по группам, сразу обнаружить наименьшее и наибольшее значения признака, выделить значения, которые чаще всего повторяются5. В рамках процедуры ранжирования допускается указание на равноценность некоторых рядом расположенных объектов. Например, пять вариантов производственной деятельности предприятия один из экспертов может ранжировать так: (2; 1–3; 4–5), что означает: вариант 2 самый предпочтительный, за ним идут равноценные варианты 1 и 3, варианты 4 и 5 равноценны и самые плохие. В то же время ранг позволяет говорить только о направлении отличий объектов, но не о степени этих отличий (например, у объекта 1 качество выражено слабее, чем у объекта 5 и у объекта 10, но вовсе не в 5 и 10 раз). В отличие от рангов баллы сообщают не только порядок, но и степень отличия градаций изучаемой характеристики. Баллы не обладают свойствами чисел. Например, возьмем числа «2» и «4» и баллы «2» и «4». Число «4» в два раза больше числа «2», но балл «4» не в два раза больше балла «2». По этой причине для статистической обработки балльных оценок требуются специальные, непараметрические, методы6. Пример № 3. Проранжируйте показатели, представленные в табл. 3, в порядке убывания. Ранговый шаг = 1. Наибольший показатель соответствует рангу № 1. Таблица 3 № Объекта Затраты на бурение скважины, млн. руб./км (Ряд X) Затраты на ликвидацию последствий бурения скважины, млн. руб./км (Ряд Y) Экспертные ранги по затратам на: Разность рангов d Квадрат разности рангов d2 Бурение скважины Ликвидацию последствий бурения скважины Объект 1 5,3 0,77 5 3 2 4 Объект 2 4,5 0,60 7 6 1 1 Объект 3 6,5 0,75 3 4 1 1 Объект 4 7,8 0,82 1 2 1 1 Объект 5 4,8 0,65 6 5 1 1 Объект 6 5,6 0,55 4 7 3 9 Объект 7 6,8 0,85 2 1 1 1 Согласованность ранговых оценок экспертов определяется с помощью коэффициента корреляции рангов Спирмена. , где Raj, Rßj – ранговые оценки j-гo признака экспертами α и β; n – количество оцениваемых признаков; Ta, Tß – показатели связанных (равных) рангов оценок экспертов α и β, вычисляемые следующим образом: Если имеют место равные ранги оценок, назначенные i-м экспертом, то: где L – количество групп связанных рангов; t1 – количество связанных рангов в 1-й. группе. Если все ранги оценок, назначенные i-м экспертом различны, то Тi = 0 и, соответственно7: , где n – количество ранжируемых признаков, ед.; d – разность между рангами по двум переменным (экспертам) для каждого признака, ед.; ∑d2 – сумма квадратов разностей рангов, ед. Ранговый коэффициент корреляции более пригоден по сравнению с обычным коэффициентом для характеристики корреляций в случаях нелинейной связи и для данных, распределение которых отличается от нормального. Так же Коэффициент ранговой корреляции целесообразно применять при наличии небольшого количества наблюдений8. Алгоритм расчета коэффициента корреляции рангов: 1) заменяют количественные (или полуколичественные, или качественные) признаки ряда х и у на ранги, ранжируя при этом строго от меньшей величины к большей (или строго от большей к меньшей по усмотрению исследователя); 2) определяют условные отклонения (d), т.е. разность рангов по каждой строке; 3) возводят условные отклонения в квадрат (d2); 4) определяют сумму квадратов условных отклонений; 5) подставляют полученные данные в известную формулу и вычисляют коэффициент корреляции рангов9. Значение коэффициента указывает на полную согласованность мнений экспертов α и β; значение – о полной противоположности мнений экспертов; значение – об отсутствии связи между мнениями экспертов10. Пример № 3. Продолжение. Для примера № 3 рассчитайте коэффициент корреляции рангов Спирмена. Сделайте вывод. d1 = 5 – 3 = 2; d21 = 22 = 4; d2 = 7 – 6 = 1; d22 = 12 = 1; d3 = 4 – 3 = 1; d23 = 12 = 1; d4 = 2 – 1 = 1; d24 = 12 = 1; d5 = 6 – 5 = 1; d25 = 12 = 1; d6 = 7 – 4 = 3; d26 = 32 = 9; d7 = 2 – 1 = 1. d27 = 12 = 1. 6 × (4 + 1 + 1 + 1 + 1 + 9 + 1) 6 × 18 108 p = 1 – –––––––––––––––––––––––––– = 1 - –––––– = 1 - –––– = 1 – 0.32 = 0,68. 7 × (72 - 1) 336 336 Вывод: согласованность переменных (мнений экспертов) достаточно сильная.