Экспертиза образовательных систем

Материал лекции "Экспертиза образовательных систем" Какие существуют экспертизы в образовании? Оценка эффективности системы образования является одной из ключевых проблем в практике управления, в формировании и реализации образовательной политики; необходимость в качественных экспертных процедурах возрастает с развитием инноваций в сфере образования. Экспертиза сложных социальных систем, к которым относится образование, требует анализа разнообразных теоретических и практических подходов к ее содержанию, типологии, процедуре и организации с целью определения необходимой совокупности элементов, позволяющих с различных позиций рассмотреть эти системы для получения объективной оценки и прогноза развития инновационной деятельности. Классификацией (типологией) экспертиз, в разной степени, занимались В.А. Лисичкин, В.Л. Горелов, Г. Тейл, Н.Ф. Глазовский, Е.А. Позаченюк, Ю.М. Федоров и др. Различные подходы представляются авторами при рассмотрении классификации экспертизы: В.И. Бакштановский, С.Л. Братченко, Т.С.Караченцева, Ю.В. Согомонов предлагают гуманитарный подход к использованию экспертизы; Е.А. Позаченюк, Ю.М. Федоров ориентируются на комплексный подход к экспертизе; Н.Ф.Талызина и В.С. Черепанов рассматривают педагогическую экспертизу, как часть педагогической квалиметрии, занимающуюся вопросами экспертизы учебной и методической литературы, структурирования и планирования учебного материала, построения профессиограмм, оценки личности ученика и рядом других вопросов, связанных с технологией обучения. По выполняемой функции экспертизы делятся на монофункциональные и полифункциональные, которые в результате представляют целевую направленность экспертизы и в свою очередь подразделяются на: контрольные, оценочные, диагностические, прогнозные, конфликтные. В зависимости от поставленной цели экспертизы могут иметь самое разнообразное сочетание целевых функций, например, оценочно-контрольные, диагностико-прогнозные, конфликтно-диагностикопрогнозные, контрольно-конфликтные и др. Функциональная (целевая) типология экспертиз во многом базируются на теории прогнозов, теории оценок, теории диагноза, теории решения конфликтов и нечетких множеств. Одной из значимых целей при экспертизе образовательной системе (ОС) является определение прогноза развития ОС. Под научным прогнозом понимают высказывание в виде вероятностного утверждения определенной степени достоверности, относительно неизвестных или неустановленных фактов на основании изучения и обобщения опыта прошлого и интуиции о развитии систем в будущем. Задача прогнозной экспертизы состоит в том, чтобы выйти за пределы известного, перешагнуть границы сложившейся системы знаний [Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. – М.: Статистика, 1980. – 263с. Князева Е. Н., Курдюмов С. П. Синергетика как но вое мировоззрение: диалог с И. Пригожиным // Вопросы философии. – 1992. – N 12. – С. 3-20]. Для успешного прогноза необходимо не только хорошо знать закономерности развития системы от ее прошлого состояния к современному, но (как показывают исследования по синергетике) необходимо идти от возможного будущего к настоящему. Естественные системы строят свое развитие в соответствии с грядущим порядком, т.е. они способны улавливать тенденции развития будущего [Князева Е. Н., Курдюмов С. П. Синергетика как новое мировоззрение: диалог с И. Пригожиным // Вопросы философии. – 1992. – N 12. – С. 3-20].  Функция контроля выдвигается на первое место в экспертизах ОС, материалов и инновационной деятельности, в современной социальной, экономической, экологической экспертизе и ряде других. Основой данного вида экспертиз являются законодательные акты, нормы, нормативные документы, стандарты и правила. Экспертиза базируется на очень важном в развитии общества принципе — принципе ограничений. Несмотря на безусловную необходимость контрольного вида экспертиз, они имеют один существенный недостаток: как правило, нормы несут в себе эффект «запаздывания» (отстают от развития науки) и далеко не всегда соответствуют многообразию природных и социальных условий. Оценочный вид экспертизы выступает как одно из важнейших направлений развития экспертного метода исследования. Методы экспертной оценки находят широкое применение при решении различных проблем. Они позволяют более четко представить основные цели, задачи и последствия их решения при оптимизации использования ресурсов и минимизации отрицательного воздействия на окружение. Типы оценок и их нормативная база широко изменяются в зависимости от объектов оценки и знаний, лежащих в основе оценки. Своеобразный характер имеют диагностические экспертизы. Элементы диагностических экспертиз (собственно диагноз определяющих условий) имеет место во всех видах экспертной деятельности. Как особый вид они распространены в педагогике, психологии, юриспруденции, медицине. Диагностические экспертизы довольно часто применяются и для выяснения естественных причин, осложняющих функционирование образовательных систем. Большинство экспертиз ОС сталкиваются с внешними и внутренними, а значит и возможными конфликтными ситуациями, которые возникают на локальном, региональном и глобальном уровнях. Экспертизы, в которых основное внимание уделяется решению конфликтных ситуаций, следует отнести к конфликтному типу. Конфликтные экспертизы сводятся к проблеме принятия решений в условиях неопределенности. Конфликт необходимо рассматривать как способ взаимодействия сложных систем, способ их саморазвития, выхода на новый уровень. Поэтому цель экспертизы — решение конфликтной ситуации, через выход на новое целостное видение объекта с высшим кругом интересов. Для нахождения решение, которое отвечает требованием консенсуса между всеми заинтересованными, вовлеченными в ситуацию сторонами, нужно стремится не к тому, чтобы конфликтующие стороны отказались от своих точек зрения в пользу одной из них, и даже не к тому, чтобы убедить каждую конфликтующую сторону немного поступиться своими интересами во имя общего блага. Необходимо, чтобы конфликтующие стороны вышли на мета уровень, найти в нем те основания, которые их объединяют. Не всегда консенсус может быть выражен как однозначный и односторонний результат.  Выбирая тип экспертизы ОС, мы конкретизируем ее целевыми установками, которые требуется достичь в ходе экспертизы. Учитывая, что экспертиза осуществляется в социальной сфере, следующим необходимым шагом является очерчивание «рамок» или «границ» в которых будет реализовываться модель экспертизы, эти «границы» задаются мировоззренческим уровнем отражения существующей реальности. В зависимости от уровня организации экспертизы подразделяются на: межгосударственные, государственные, общественные, ведомственные, а в соответствии с уровнем проработки делятся на первичные и вторичные. Последние проводятся тогда, когда в первичной экспертизе указаны недостатки, требующие доработки и представления на повторную экспертизу, или проводятся повторно по требованию заказчика и др. Экспертиза ОС может быть представлена на всех уровнях организации: на государственном уровне;  на межгосударственном уровне; на ведомственном уровне.   По форме организации экспертизы могут быть постоянные и временные. По составу экспертов экспертиза может быть: • ◦ групповой (группа экспертов) выработка сложных решений в ситуации неопределенности требует участия группы специалистов, компетентных во многих областях. Групповая экспертная оценка более надежна, так как она позволяет обеспечить максимальную достоверность при грамотном подборе специалистов; ◦ коллективной, которая предполагает коллективную оценку группой профессионалов представленных инновационных продуктов, когда требуется совместное обсуждение и оценка новых, спорных или вызывающих сомнение составляющих экспертируемого объекта, такая экспертиза может обеспечить многомерность мышления, согласованное восприятие нескольких направлений в рамках более обширного единства. Коллективная экспертиза может вскрыть некоторые латентные процессы в силу того, что те или иные явления предстают вписанными в более широкую систему координат, в силу того, что явления анализируются с новой, необычной точки зрения. ◦ индивидуальной (один эксперт), индивидуальная экспертиза проводиться отдельным специалистом профессионалом по конкретному предметному направлению содержания в соответствии с уже существующими нормативами или специально разработан ными критериями; ◦ рефлексивной (самоэкспертиза). По форме контакта (очная, заочная). По форме представления материалов (устная экспертиза, с использованием интервьюирования и опроса, письменная экспертиза – анкетирование, заочный опрос, анализ документов текстовых и т.п.). По отношению к объекту (открытая, закрытая, полуоткрытая). По способам получения информации (прямая, вопросы в которой касаются существующей деятельности ОС, и косвенная, касающаяся предполагаемой, задаваемой ситуации). По субъектам экспертизы (внешняя, внутренняя). По форме деятельности (аудит, идентификация, конкурс и др.). С учетом дисциплинарного или междисциплинарного знания, положенного в основу осуществления экспертизы ОС, она является междисциплинарной (полисистемной). Когда в основе экспертизы лежит система наук, ее называют комплексной или междисциплинарной (полисистемной). Комплексная экспертиза – экспертиза многопредметная или много профессиональная, когда инновационный продукт разработан на стыке различных наук и требует компетентной оценки специалистов различных направлений. Эта экспертиза предполагает специально разработанную технологию ее организации и проведения, требующую дополнительного согласования специалистов различных направлений [Горелов В. А. Сингулярные методы прогнозирования / Рабочая книга по прогнозированию. – М.: Мысль, 1982 – С.132-189.]. При подготовке лекции использованы материалы Новиковой Татьяны Геннадьевны, зав. кафедрой развития образования, д.п.н., профессора. —В каких случаях обращаются к экспертизе, аудиту, инспектированию, оценке? — Каковы цели обращения к экспертизе, аудиту, инспектированию, оценке в образовании? • Оценка (в широком смысле слова) это мера, которая показывает отношение того, что сделано (достигнуто) с  тем, что должно быть (с нормами, установленными для определения различных этапов). • Оценка – анализ процесса выполнения, достигнутых результатов и причин отклонений. • Оценка  - установление значимости, соответствия определенным нормам и принципам. • Оценка - это показатель продвижения и успехов в каком либо деле. • Оценивание - мыслительная, логическая деятельность, имеющая своей целью определение значения для того, чтобы…… • Оценить – значит сравнить реальное положение с нормой. • Оценивать - определять стоимость или ценность чего-либо или придавать такую ценность; изучать и выносить взвешенное суждение (The American Heritage Dictionary). Сравнительная таблица между инспектированием и экспертизой Критерии различения Инспектирование Экспертиза Цели Контроль Образовательная поддержка Субъект Инспектор Эксперт и автор инициативы Процедура оценивания Закрытая для «неспециалистов» Открытая для всех участников образования Определяется инспектором Разрабатывается совместно экспертом и автором инициативы Происхождение нормы оценивания Отчуждена от субъекта экспертизы Разрабатывается субъектами экспертизы Принадлежность к организации Обязательно Необязательно Ответственность   за достоверность оценки Юридическая Моральная Статус Государственный Государственный, общественный Активное применение экспертизы как специфической процедуры началось со второй половины ХХ века, когда возникли достаточно сложные задачи, связанные с осознанием непредсказуемости и неопределенности в развитии нелинейных систем. • от лат. expertus - опытный), исследование специалистом (экспертом) каких-либо вопросов, решение которых требует специальных познаний. • исследование какого-либо вопроса, требующего специальных знаний, с представлением мотивированного заключения. • система организационных, логических и математико-статистических процедур, направленных на получение информации и ее анализа с целью выработки оптимального решения. Экспертизу ОС можно рассматривать как: процесс, —процедуру, —способ, —метод —и результат оценивания объектов, предметов, процедур, систем, деятельности, результатов. Экспертиза как процесс включает деятельность экспертов (внешняя экспертиза) и самого педагога, управленца (самоэкспертиза). Данная экспертиза имеет свое содержание, методы, средства и формы.  Экспертиза как процедура имеет свое методологическое, функциональное и технологическое обеспечение, а также алгоритм действий субъектов экспертизы, осуществляющих деятельность оценивания на квалиметрической или другой основе с ориентацией на некую форму (оценочный лист, ранг, уровень, критерий). Экспертиза как метод рассматривается как метод исследования, с помощью которого можно осуществить прогноз, смоделировать ситуацию или процесс, осуществить проверку и оценку и др.  Экспертиза как результат оценивания и вынесения суждений представляется в виде заключения с развернутым ответом на основные задачи, которые решались в ходе экспертизы.  Структура экспертизы ОС. Цель экспертизы – оценка какого-либо действия, процесса: случившегося, текущего или который только предполагается; качества продукта по определенным результатам.  • Объект экспертизы - деятельность или вещественные характеристики. • Средства экспертизы – как интуитивные, так и сложившиеся или сформированные в результате опыта. • Процедура экспертизы – соорганизация опытных специалистов (экспертов). Особая деятельность, включающая как исследование инновационной практики, так и ответного влияния на процесс экспериментирования. • Продукт экспертизы – заключение экспертов после согласования по параметрам (критериям), предложенным для экспертизы. Требования к эксперту Эксперт - это специалист в какой-либо области знания, привлекаемый для того, чтобы высказать свое мнение, дать заключение по какому-либо делу, вопросу [Электронный ресурс: http://tolkslovar.ru/ie672.html]; это профессионал, умеющий быстро извлекать  свои знания из памяти и по одному лишь ему известному признаку проводить экспертизу: оценивание, диагностирование, решение предложенной задачи на практике [Журавлева Н.Н., к.п.н., доцент НГПУ]. Формирование и становление эксперта процесс длительный; результат этого процесса – высококвалифицированный профессионал и имеющий опыт применения знаний в стандартных и нестандартных ситуациях. Основные качества личности эксперта в сфере образования: • Компетентность: должен обладать необходимыми компетенциями в сфере образования; должен обладать  аналитической компетенцией; владеть экспертными технологиями; • Объективность. • Деловитость. • Добросовестность. • Тактичность. • Порядочность. Условия успешности работы эксперта в сфере образования (экспертиза ОС): • Эксперт должен получать необходимую, достоверную и достаточную информацию об изучаемом объекте.  • Эксперту должны быть созданы все условия для получения и обработки информации. • Во время проведения экспертизы в коллективе должен быть создан благоприятный психологический климат. Критерии экспертирования Критерий - (греч. kriterion - средство для решения), признак, на основании которого производится оценка,определение, классификация чего-нибудь, мерило [по словарю Ушакова. Электронный ресурс: http://tolkslovar.ru/k11486.html].  Выделяют три группы критериев: общие критерии позволяют оценить значимость предлагаемого проекта с точки зрения основных тенденций, целей, направлений развития и реформирования образования на разных уровнях его организации; специальные критерии позволяют оценить компетентность автора и содержательность проекта с точки зрения его полноты, соответствия нормативным и понятийным требованиям, частные критерии позволяют оценить степень обоснованности проекта с точки зрения возможностей его воплощения и жизнеспособности. Этапы проведения экспертизы ОС (см. рисунок) 1 этап - целеполагающий: Формулировка задачи экспертизы; Определение ее специфических особенностей; Выделение критериев и показателей экспертизы; Выбор типа экспертизы. 2 этап - проектирующий: Как? Кто? Когда? Где? Зачем? 3 этап - статистический: Собираются сведения об объекте экспертизы и его окружении; Проводится систематизация полученных данных и их дальнейшая оценка. 4 этап - оценочный: Обсуждаются решения по рассматриваемому объекту; Выносится экспертное заключение.