Тестовые методы - это методы оценки психолого-физиологических особенностей экспертов, а также их объективности, квалиметрической и профессиональной компетентности посредством тестирования.
Общие сведения о тестовых методах оценки и отбора экспертов
Подготовка к проведению товарной экспертизы, помимо прочего, заключается в выполнении оценки, отбора и формировании группы экспертов. Данная задача может быть решена через применение различных методов. Так, одна из крупных групп методов представлена тестовыми методами.
Суть тестирования заключается в применении тестов, т. е. в постановке перед экспертами стандартизированных вопросов и задач и в получении от них ответов. Особенностью тестов является наличие установленной шкалы значений, которая позволяет сформировать соответствующую характеристику тестируемых людей.
В результате применения тестовых методов (в отличие от других возможных методов оценки) могут быть получены оценки личным качествами экспертов. В то же время результаты, которые получают по итогам тестирования, нельзя полноценно сравнить с данными, полученными каким-либо объективным методом.
Тесты, составленные для оценки и отбора экспертов, должны удовлетворять следующим требованиям:
- у испытуемого эксперта должно иметься понимание того, какие тестовые задачи поставлены и каким условиям должны отвечать решения этих задач;
- получение решение тестовой задачи случайным образом (т.е. его угадывание) должно быть сведено к минимуму;
- тестовая задача должна иметь точное решение;
- тестовая задача должна быть обосновано близка к реальным задачам, которые придется решать экспертам по ходу своей профессиональной деятельности (т.е. непосредственной оценки качества товаров).
Разновидности тестовых методов оценки и отбора экспертов
Тестовые методы могут использоваться для проведения оценочных процедур по трем основным направлениям. Речь идет про оценку воспроизводимости результатов, про оценку квалиметрической компетентности эксперта и про оценку объективности корректирования экспертом своих оценок.
Тестовая оценка воспроизводимости результатов направлена на определение того, насколько близкими оказываются индивидуальные оценки эксперта, которые были им сформулированы через определенные промежутки времени. Данный метод, как правило, используется, если оценку качества экспертов получают в несколько туров, результаты которых сравнивают для одного и того же эксперта. В большинстве случаев воспроизводимость результатов оценивается в случае организации органолептического анализа продуктов питания.
При использовании данного метода нужно обеспечить небольшую величину промежутка между турами. Это является условием для того, чтобы новая информация, которая способна изменить суждения эксперта, не оказывала какого-либо влияния. Однако этот промежуток должен быть таким, чтобы эксперт забыл данные оценки в предыдущем туре.
Для обработки оценки воспроизводимости результатов может быть использован коэффициент ранговой корреляции.
Квалиметрическая компетентность эксперта тоже может быть оценена при помощи тестирования. В данном случае, во-первых, оценивается теоретическая подготовка эксперта. Для этого наличие у него необходимых теоретических знаний из определенной области контролируется через устные и письменные тесты.
Во-вторых, проверяются умения эксперта по применению теоретических знаний методов оценки. Различают три основных типа подобных умений:
- умения использовать разные типы шкал (порядка, отношений, интервалов) с целью ранжирования показателей качества оцененных товаров;
- умения определять субъективные вероятности (уверенности), т. е. оценивать вероятность наступления определенных событий;
- умения различать достаточное число градаций оцениваемого свойства, т. е. выявлять различия в интенсивности проявления каждого свойства.
Кроме того, эксперты должны быть готовы к оценке испытуемого объекта вне зависимости от того, какие оценки были даны другими экспертами. Эта способность экспертов определяется в результате тестовой оценки объективности корректирования экспертом своих суждений. В результате проведения этой оценки устанавливается, есть ли у эксперта конформизм или нет.
Суть конформизма состоит в пассивном принятии лицом существующего порядка и (или) мнения большинства. Конформизм означает, что у лица отсутствует собственное мнение, из-за чего он без критического восприятия следует за авторитетами и общими тенденциями.
Здесь используется метод подставной группы, которая должна вынести заведомо ложные (неверные) суждения об испытуемом объекте. После этого оценки испытуемых экспертов, которые не должны подозревать о заведомо ложном характере групповой оценки, проверяется на предмет их приближенности к оценке подставной группы.
Применение рассмотренного тестового метода позволяет испытуемым экспертам психологически подготовиться к наступлению в реальной профессиональной практике подобной ситуации (т.е. к высказыванию некоторыми экспертами в силу даже объективных причин ошибочного мнения). Следовательно, рассмотренный метод отличается наличием у него обучающего характера для испытуемых экспертов.
Таким образом, оценка и отбор экспертов-товароведов для их включения в экспертную группу, сформированную ради проведения товарной экспертизы, могут быть осуществлены в результате применения тестовых методов, которые направлены на оценку воспроизводимости результатов, квалиметрической компетентности эксперта и объективности корректирования им своих оценок. Иными словами, тестирование позволяет оценить не менее важные для профессиональной деятельности личные качества экспертов.
