Организационно-методические основы экспертного прогнозирования

Глава 8. ОРГАНИЗАЦИОННО-МЕТОДИЧЕСКИЕ ОСНОВЫ ЭКСПЕРТНОГО ПРОГНОЗИРОВАНИЯ 8.1.Общая характеристика экспертных (интуитивных) методов прогнозирования 8.2.Рабочая группа: состав, функции и содержание работ в процедурах экспертного прогнозирования 8.3.Требования к экспертам, участвующим в разработке прогнозов 8.4.Формирование и функции экспертной группы. 8.5.Способы оценки компетентности экспертов 8.1.Общая характеристика экспертных (интуитивных) методов прогнозирования Значительное место среди методов экономического прогнозирования занимают экспертные (интуитивные) методы прогнозирования. Отличительная особенность методов данной группы заключается в использование в качестве основного источника информации не фактических данных, а субъективных мнений, предположений, оценок, высказанных экспертами. Глубокое знание предмета исследования и интуиция помогают эксперту компенсировать отсутствие информации или невозможность ее использования для прогнозирования будущего. Экспертные (интуитивные) методы прогнозирования – это методы, использующие в качестве источника информации обработанные суждения экспертов, полученные в ходе проведения специальных опросов. Их классификация была рассмотрена нами в главе 4. Сущность экспертных методов состоит в том, что прогноз строится не на объективной информации, на обработанных специальными способами, логическими и математическими процедурами субъективных оценках (предположениях, видении) экспертов. Специалисты – эксперты формулируют своё суждение по предложенной проблеме: будущие состояния объекта прогнозирования, степень и направление воздействия внешних и внутренних факторов, альтернативные варианты и траектории развития прогнозируемого объекта, возможности достижения поставленных целей, объемы затрат времени и ресурсов, которое и служит обоснованием прогноза. Сфера применения экспертных (интуитивных) методов прогнозирования, их достоинства и недостатки показаны на рис. 2. Преимущества Недостатки Возможность анализа и прогноза развития нового объекта, не имеющего предистории. Возможность прогнозирования качественных (скачкообразных) изменений. Принципиальная невозможность исключить полностью субъективизм в оценках экспертов. Невозможность обеспечить абсолютно объективную оценку компетентности экспертов. Сфера использования экспертных методов Отсутствие или недостаточное количество статистических данных об объекте. Объект прогнозирования чрезвычайно сложен для формализации, крупномасштабен или достаточно велик период упреждения прогноза. Достаточно велик фактор неопределенности, связанный с будущим состоянием прогнозного фона. Острый дефицит времени на разработку прогноза в связи с экстремальной ситуацией. Рисунок 2. Основные характеристики экспертных методов В настоящее время усиление неопределенности будущего, нестабильности экономической ситуации подводит к необходимости более активного использования экспертных методов при разработке экономических прогнозов. Процедуры опроса экспертов различаются по форме общения с ними и по способу постановки вопросов экспертам. Различают индивидуальные и групповые, очные и заочные, открытые и закрытые опросы. При выборе конкретной процедуры экспертного опроса необхо­димо учитывать их особенности, преимущества и ограничения, проблемы использования этих процедур. Напри­мер, очные опросы более информативны, чем заочные, так как позволяют исключить возможные ошибки самостоятельного толкования экспер­том анкетных вопросов. Очная экспертиза позволяет оперативно устранить это затруднение за счет уточнения формулировок поставленных вопросов. Однако заочный опрос более предпочтителен ввиду меньших затрат на получение информации и снижения психологического давления на эксперта со стороны рабочей группы. Если рабочая группа стремится получить конкретный ответ, но нет уверенности, что формулировки экспертов будут достаточно точны, то используют процедуру закрытого опроса. Она предусмат­ривает постановку перед экспертом таких вопросов, в формулировку ко­торых включен перечень альтернативных ответов. Отрицательной стороной закрытого опроса является ограничения на творчество эксперта, выражение им собственного мнения в том случае, если оно не включено в формулировку альтернативных ответов анкеты. Процедура открытого опроса отличается полной свободой в выражении мнений эксперта и формулировке его ответов на вопрос, который ставится в наибо­лее общей форме, отражая лишь существо проблемы. Недостатком является сложность обработки результатов такой экспертизы. 8.2.Рабочая группа: состав, функции и содержание работ в процедурах экспертного прогнозирования Для решения организационных вопросов подготовки, проведения экспертизы и обработки ее результатов формируется группа специалистов-организаторов (рабочая группа). Количественный состав рабочей группы определяется сложностью процедуры экспертного опроса, оригинальностью методики и полнотой решаемых задач, возможными затратами на ее финансирование. В ней может быть от одного человека до нескольких десятков людей. В состав группы входят специалисты в исследуемой проблемной области и специалисты по экспертным методам, методам сбора и обработки информации. Специалисты, входящие в рабочую группу, как правило, сами не выдают прогнозных оценок, не являются источниками информации для суждения о будущем. Цель деятельности рабочей группы – разработать процедуру экспертного опроса, адекватную характеристикам конкретного объекта прогнозирования и проблемной ситуации, обеспечить условия результативной творческой деятельности экспертов. Рабочая группа выполняет определенные функции (всю совокупность или несколько из приведенного ниже перечня) на каждом этапе экспертного опроса. 1. Подготовительный этап: A. Формулировка проблемы и гипотезы исследования. Исходным моментом подготовки экспертного опроса является формулировка проблемы и гипотезы исследования. С этой целью рабочая группа изучает ретроспективную информацию (при ее наличие), современное состояние объекта в проблемной области, определяет границы проблемы, рассматривает аргументы, обосновывающие необходимость её решения, обсуждает эти аргументы совместно с заказчиком прогноза, выдвигает гипотезы прогнозного исследования. B. Определение цели и задач прогнозирования. Приступая к формулировке цели и задач прогнозирования необходимо помнить, что наличие однозначно сформулированной цели, понятной всем участникам экспертного опрос, и конкретных задач является необходимой предпосылкой разработки качественного прогноза. В процессе дезагрегирования целей возможно построение дерева целей, выделения наряду с основной целью, целей более низкого уровня (порядка), выделение стратегических и тактических задач. Это будет способствовать оптимизации в распределении времени и усилий экспертов, концентрации их внимания на наиболее важных вопросах. C. Определение системы единых понятий, используемых в процессе проведения экспертизы. Учитывая сложность современных социально-экономические проблем, для их всестороннего системного исследования следует привлечь экспертов, представляющих различные отрасли знаний. Система единых понятий предназначена для решения достаточно традиционной задачи преодоления трудностей междисциплинарных коммуникаций и преодоления проблемы различного толкования понятий в рамках одного научного направления. Наличие единых понятий, однозначно понимаемых всеми экспертами имеет важное значение в процессе проведения экспертного опроса. D. Выбор метода прогнозирования, разработка процедуры (новой оригинальной методики) и инстументария экспертного опроса. В зависимости от содержания проблемы, целей, и задач экспертизы организаторы выбирают тип метода опроса: индивидуальный или групповой, конкретную методику прогнозирования. В соответствии с выбранной методикой рабочая группа готовит необходимый инструментарий. Например, разрабатывает и тестирует анкетные вопросы, готовит компьютерную программу обработки результатов экспертно опроса. Разрабатываемая анкета содержит совокупность вопросов, ответы на которые позволят сделать выводы об объекте прогнозирования. Вопросы должны логически соответствовать структуре объекта прогноза, обеспечивать единственное толкование. По форме вопросы могут быть открытыми, закрытыми и косвенными. Открытым называется вопрос, ответ на который не регламентирован. Например, экспертам может быть предложено назвать пути и способы решения прогнозной задачи; проблемы, которые возникнут в процессе ее решения. В формулировке закрытого вопроса предложены альтернативные варианты ответов, эксперт должен сделать выбор своего варианта ответа из предложенных альтернатив. Косвенным называется вопрос, формулировка которого должна замаскировывать цель экспертизы. E. Выбор экспертов, оценка их компетентности, формирование экспертной группы. Экспертный опрос существенно отличается от массовых опросов тем, что участвовать в нём приглашаются не случайные люди, а высококвалифицированные специалисты. Наиболее сложным и ответственным этапом экспертизы является формирование экспертной группы. 2. Основной этап: A. Проведение экспертного опроса по выбранной (разработанной) методике. 3. Заключительный этап: A. Обработка полученных экспертных оценок, оценка согласованности мнений экспертов; B. Содержательный анализ результатов экспертного опроса и разработка прогноза. 8.3. Требования к экспертам, участвующим в разработке прогноза Возможность предвидения экспертами будущего обеспечивается глубоким знанием закономерностей развития экономики, практическим опытом, способностью к системному мышлению и научному наблюдению, умением делать на этой основе заключения и выводы. По мнению зам. директора Экспертного института Л.М. Григорьева1, эксперт, в историческом смысле - это один из четырех типов ученого вообще: исследователь, учитель, администратор и эксперт. В социальных науках среди экспертов подлинные исследователи довольно редки. Основная масса экспертов использует результаты (теоремы) исследователей для анализа конкретных объектов и задач. Экспертное прогнозирование предъявляет особые требования к специалистам, которые определяют перспективы развития мировой, национальной, региональной или локальных экономик. Основные требования к эксперту могут быть сформулированы следующим образом: «Экспертом может быть признанный, квалифицированный специалист в исследуемой области, обладающий опытом проведения экспертиз, уверенный в своих выводах и гипотезах, лично не заинтересованный в определенном исходе событий». Рассмотрим эти требования более детально. • Компетентность - Экспертом может быть признанный, квалифицированный специалист в исследуемой области, обладающий аналитическими способностями; умеющий находить связи и зависимости между процессами и факторами, определяющими их развитие. Эксперт должен быть системным аналитиком; уметь находить связи и зависимости между экономическими процессами и факторами, оказывающими на них определяющее воздействие. • Креативность – Экспертом может быть специалист, способный предвидеть качественные изменения исследуемого процесса, зарождение новых парадигм и изменение траекторий. • Независимость – Экспертом может быть специалист, лично не заинтересованный в определенном варианте прогноза. Это повышает объективность оценок. Эксперты решают различные прогнозные задачи для международных организаций, органов государственного и регионального управления, частного бизнеса, получая соответствующее финансирование из средств заказчиков. Поэтому независимость каждого из них не является абсолютной. Весьма порядочные от природы специалисты, получая оплату выше определенного уровня от тех или иных компаний, проводят в своих рекомендациях позицию, отражающую соответствующие корпоративные интересы2. Обеспечению их независимости могут способствовать множественность источников доходов, публичность дискуссий, контроль качества со стороны коллег. • Уверенность в собственных выводах – Эксперт не должен менять свои оценки без веских на то причин (новая информация, существенно изменяющая представление о ходе событий). • Опыт оценивания. 8.4.Формирование и функции экспертной группы При формировании экспертной группы могут быть приглашены специалисты из существующих центров либо группа может быть созданная в рамках одного центра. Виды научных центров Российской Федерации, обеспечивающих предложение квалифицированных специалистов для разработки экономических прогнозов: • Структурные подразделения федеральных и исследовательских университетов, известных академических институтов (кафедра, департамент, факультет, отдел). Примерами могут быть подразделения экономический факультет МГУ, Государственный университет Высшая школа экономики, Центральный экономико-математический институт, Институт народнохозяйственного прогнозирования РАН, Институт стратегических исследований РУДН и многие другие, каждый из которых представлен несколькими известными центрами. • Консалтинговые фирмы, институты, управляющие проектами путем подбора консультантов под конкретный проект. Достаточно успешно консалтинговой деятельностью занимаются Бюро экономического анализа, Центр фискальных проблем, Центр макроэкономического анализа и краткосрочного прогнозирования, которые одновременно имеют опыт создания рабочих групп, эффективно осуществляющих организационные функции, владеющих инструментарием экономического прогнозирования. • Стабильные научные организации со сложившейся проблематикой. Подобные организации объединяют высокопрофессиональных специалистов по конкретной проблематике, что обеспечивает глубину научных исследований в соответствующей области. Например, Леонтьевский и Кондратьевский центры, Институт города, Российский институт стратегических исследований. • Центры в регионах, опирающиеся на региональные университеты, выполняющие прикладные научные исследования по проблемам региональной экономики. С усилением требований к участию университетов в научной деятельности, растет количество подобных центров, расширяется тематика проводимых в них исследований. • Институты, созданные под индивидуумов: Институт экономического анализа, Институт национальной модели экономики, Институт проблем глобализации, Институт экономической политики им. Е.Т. Гайдара и другие. • Филиалы зарубежных и международных исследовательских фирм, работающих на контрактах и выделяющих гранты российским ученым центрам: Международный институт Карнеги, Центр Восток-Запад, фонд Форда, фонд Евразия. • Аналитические подразделения крупных российских и зарубежных компаний, работающие с проблематикой экономической политики. Для работы экспертными методами прогнозирования необходимо сформировать экспертную группу, численный состав которой зависит от следующих факторов: • применяемый метод экспертного прогнозирования, • заданная точность прогноза, • имеющееся количество компетентных специалистов, • ресурсы, выделенные на разработку прогноза. Имеются две схемы формирования экспертной группы: • симметричная – группа состоит из нескольких специалистов по одной проблеме; • ассиметричная – в группу включаются эксперты по разным аспектам проблемы. При формировании экспертной группы важно установить характер ошибок эксперта. Ошибки оценок эксперта могут быть систематическими или случайными. Эксперт, склонный к систематическим ошибкам, выдает значения, которые устойчиво выше или ниже истинных (за истину в нашем случае принимается средняя оценка экспертной группы). Систематические ошибки определяются психологией эксперта, для их выявления и коррекции могут применяться тренировочные игры и поправочные коэффициенты. Эксперт, склонный к случайным ошибкам, выдает значения как выше, так и ниже истинных. При выборе эксперта следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. Подобная рекомендация основана на возможности скорректировать действия подобного эксперта в ходе тренингов либо ввести поправочные коэффициенты, учитывающие направленность отклонений оценок эксперта от средних. Учет данной рекомендации на практике невозможен только для стабильных научных коллективов, о предыдущей работе которых накоплен материал, который позволяет рассчитать среднюю ошибку и дисперсию. При формировании новых групп подобные расчеты могут быть заменены менее точными оценками, полученными по результатам контрольных экспертиз или тренингов. При выборе экспертов следует учесть, что по диапазону знаний эксперты могут быть универсалистами, обладающими знаниями во многих областях, или специалистами, имеющими глубокие знания в одной узкой области. Включение в экспертную группу тех и других позволит получить более качественный прогноз, в котором будут учтены как внутренне присущие объекту прогнозирования тенденции, так и внешние факторы, воздействующие на объект и последствия тех или иных событий в развитии исследуемого объекта для внешней среды. 8.5. Способы оценки компетентности экспертов Оценка компетентности экспертов может быть осуществлена различными способами, например: • по результатам оценки качества ранее выполненных прогнозов; • по количеству публикаций эксперта; • по частоте цитирований; • по результатам самооценки; • по результатам контрольной экспертизы; • по результатам взаимооценки. Следует учесть, что не существует абсолютно объективного точного способа оценки компетентности экспертов. Вывод о компетентности делается на основе характеристик научного потенциала эксперта или отдельных его составляющих, качества ранее выполненных работ или условных работ. Все способы оценки компетентности экспертов относительны, но их применение позволяет осуществить отбор и ранжирование экспертов, повысить уровень качества работы экспертной группы в целом. Оценка компетентности экспертов по результатам прогнозов сделанных ими ранее базируется на абсолютной верификации результата предыдущей работы эксперта. Она достаточно реалистична, достоверна и объективна. Естественным ограничением ее использования является отсутствие информации об индивидуальных оценках эксперта при проведении анонимных экспертных опросов, отсутствие предыдущего опыта участия специалиста в экспертном прогнозировании. Кроме того, следует учесть, что компетентность при решении одного класса прогнозных задач не всегда может гарантировать аналогичный уровень компетентности при решении задач в другой проблемной области, особенно, если речь идет о достаточно узких проблемных областях. Оценка компетентности эксперта по количеству публикаций является самым простым способом. Иногда в методике оценки уточнено, какого рода публикации следует учитывать (монографии, статьи, изданные в реферируемых журналах или в журналах, индексируемых в отечественных или зарубежных базах данных и т.п.). Однако в последние годы этот показатель применяется не изолировано, а в совокупности с другими характеристиками, дополняя их. Оценка компетентности экспертов по частоте цитирования с развитием информационно-коммуникационных технологий находит все большее распространение в зарубежной и отечественной практике наукометрии. Предпосылкой применения этого метода является доступность научных публикаций широкому кругу специалистов и соблюдение норм авторского права. Вслед за известными зарубежными базами научного цитирования (Web of Science и Scopus и другими) разработана российская база РИНЦ. Российский индекс научного цитирования (РИНЦ) - это национальная информационно-аналитическая система, включающая более 7 миллионов публикаций российских авторов, а также информацию о цитировании этих публикаций из более 4500 российских журналов. Она является инструментом, позволяющим осуществлять оценку результативности и эффективности деятельности ученых. Основной целью создания РИНЦ было создание объективной системы оценки и анализа публикационной активности и цитируемости отечественных исследователей, организаций и изданий. Решение о создании национального индекса научного цитирования обусловлено тем, что лишь одна десятая от всех публикаций российских ученых попадает в международные базы данных научного цитирования, такие как Web of Science или Scopus. Кроме того, многие направления российской науки (например, общественно-гуманитарные) там вообще практически не представлены. РИНЦ позволяет на основе объективных данных оценивать результативность исследовательской работы и детально исследовать статистику публикационной активности более 600 тысяч российских ученых и 11 тысяч научных организаций, относящихся ко всем отраслям знаний. Списки публикаций и цитирований каждого автора, организации или журнала могут быть проанализированы путем построения распределений по тематике, году, журналу, в котором была опубликована работа, соавторам, организациям, в которых выполнялись работы, типу публикаций. РИНЦ имеет возможность делать запросы непосредственно в базы данных Web of Science и Scopus, получать оттуда текущие значения показателей цитирования публикаций. Таким образом, в интерфейсе РИНЦ можно увидеть одновременно число цитирований публикации в РИНЦ, Web of Science и Scopus3. Оценка профессиональных качеств эксперта по результатам самооценки предполагает наличие тестов, анкет, на вопросы которых эксперту предстоит дать самостоятельный ответ. Содержание вопросов в подобных анкетах определяется характером предстоящей прогнозной работы. Вопросы в анкетах должны быть сформулированы таким образом, чтобы по результатам ответов на них можно было определить степень компетентности экспертов. Каждый ответ на вопрос получает определенное количество баллов, соответствующее с одной стороны значимости оцениваемого показателя, а с другой, варианту ответа эксперта на данный вопрос. Конкретные численные значения баллов (весовых коэффициентов) определяются рабочей группой и не сообщаются потенциальным экспертам. Коэффициент компетентности конкретного эксперта может быть получен как частное от деления количества баллов данного эксперта на количество баллов, которое может получить потенциально лучший эксперт. (51), где νij  количество баллов, полученное j-тым экспертом при ответе на i-тый вопрос анкеты, νimax  количество баллов, которое может получить потенциально лучший эксперт при ответе на i-тый вопрос анкеты. Пример анкеты приведен в таблице 17. Таблица 17. Анкета оценки профессиональных качеств экспертов Наименование показателя (i) Возможные альтернативы (J) и их значимость в баллах (νi j) 1. Стаж работы по исследуемой проблеме, лет 2 3 4 5 6 7 8 9 10 и более 2 3 4 5 6 7 8 9 10 2. Форма участия в научно-организацион-ной работе по исследуемой проблеме Руководитель комплекса работ Руководитель одной работы Участник выполнения нескольких работ Участник выполнения одной работы 7 6 5 4 3. Наличие ученой степени по исследуемой проблеме Д.н. К.н. Отсутствие 10 7 4. Наличие печатных работ по исследуемой проблеме Монографии Статьи и авторские свидетельства Отчеты Отсутствие 8 7 6 5. Источники информации, используемые при изучении проблемы Теоретические и (или) экспериментальные исследования Обобщение работ отечественных или зарубежных авторов Собственные интуитивные представления 7 5 4 6. Уровень достоверности ранее сделанных прогнозов, % 100-90 89-60 59-30 29-10 10-0 10 8 4 3 Другим методом оценивания компетентности экспертов является проведение контрольной экспертизы. Анкета может состоять из вопросов на знание событий, которые уже произошли и вопросов о будущем. При обработке ответов на вопросы о будущем правильные ответы на по­ставленные вопросы заранее неизвестны. Оценка компетентности эксперта осуществляется сравнением индивидуальных оценок со среднегрупповыми. Эксперт, у которого оценки ближе к среднегрупповым, полагается самым компетентным. Рассмотрим последовательность работ по формированию экспертной группы и оценке компетентности экспертов методом взаимооценки. В качестве первого этапа выступает формирование генеральной совокупности экспертов  банка данных обо всех признанных специалистах в данной области. С этой целью 10 экспертам рассылаются анкеты с просьбой назвать 10 наиболее компетентных специалистов в прогнозируемой области. Затем всем вновь названным рассылаются аналогичные анкеты. Процедура продолжается до тех пор, пока в анкетах будут появляться новые имена. Следующий этап  оценка компетентности экспертов. Составляется рабочая таблица  "Матрица оценки компетентности экспертов первого порядка" (Табл. 20), по результатам которой рассчитываются коэффициенты компетентности экспертов первого порядка (52). K1j = (52) По результатам этих расчетов строится матрица оценки коэффициентов компетентности экспертов второго порядка (Табл. 19), оценки в которой взвешиваются с учетом компетентности эксперта, давшего оценку и рассчитывается коэффициент компетентности экспертов второго порядка (53). К2j = (53) Таблица 20. Матрица оценки компетентности экспертов первого порядка Номер оценивающего эксперта (i) Номер оцениваемого эксперта (j) 1 2 ... N 1 X11 X12 X1n 2 X21 X22 X2n 3 X31 X32 X3n . . . . N Xn1 Xn2 Xnn 2 … Kj1 K11 K21 Kn1 где Хij  результат анкетирования, заключение данное i-тым экспертом по поводу компетентности j-того эксперта; i  номер оценивающего эксперта; j  номер оцениваемого эксперта; Хij = 1, если i-тый эксперт назвал j-того эксперта; Хij = 0, если i-тый эксперт не назвал j-того эксперта; K1j  коэффициент компетентности первого порядка j-того эксперта, показывает долю голосов, полученных j-тым экспертом, в общей сумме голосов. Таблица 21. Матрица оценки компетентности экспертов второго порядка Номер оценивающего эксперта (i) Номер оцениваемого эксперта (j) 1 2 ... N 1 K11 X11 K11X12 K11X1n 2 K12X21 K12X22 K12X2n 3 K13X31 K13X32 K13X3n . . . . N K1nXn1 K1nXn2 K1nXnn … Kj2 K12 K22 Kn2 Получаемый в результате коэффициент компетентности может быть использован для формирования экспертной группы и получения прогнозной оценки экспертной группы в результате обработки индивидуальных экспертных оценок. Разумеется, возможно, что любой из экспертов, который формально, в силу предложенного способа оценки компетентности, был признан самым некомпетент­ным, может дать наиболее точную прогнозную оценку. Такие случаи являются достаточно редкими, так как при правильном подборе экспертов в группу редко попадает специалист, существенно отли­чающийся своей компетентностью от остальных.