Тест как средство педагогической диагностики

Тест как средство педагогической диагностики Лекция 9-10 ТЕСТ (англ. test - проба, испытание, исследование)  В физиологии и медицине - пробные воздействия на организм с целью изучения различных физиологических процессов в нем, а также для определения функционального состояния отдельных органов, тканей и организма в целом Понятие теста  В вычислительной технике - контрольная задача для проверки правильности работы ЭВМ  В распознавании образов - множество функционально взаимозависимых признаков, характеризующих образ (класс)  В психологии и педагогике – набор стандартизированных заданий, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умениях и навыках испытуемого.  оперативный источник информации о процессе обучения, поскольку даёт возможность получения качественной и количественной оценки уровня знаний, умений и навыков Почему тесты?  результаты теста могут быть относительно легко обработаны и интерпретированы  конструкция стандартных тестовых заданий даёт возможность включать в тест большое количество заданий, охватывая большой объём учебного материала  Индивидуальный характер диагностики  Возможность эффективного сочетания с другими методами и формами оценивания и диагностики Почему тесты?  Объективность, исключающая субъективное влияние преподавателя (при правильной организации)  Учёт специфических особенностей за счёт использования различных форм тестовых заданий  Возможность проведения массовых широкомасштабных контрольных и диагностических мероприятий  Единство условий и требований ко всем испытуемым, независимо от их прошлых достижений Почему тесты?  Возможность высокой степени дифференцирования оценочной шкалы, позволяющей оценить учебные достижения в широком диапазоне  Возможность автоматизации на всех этапах – компьютерное тестирование. Недостатки тестов ??? (Думаем вместе) Классическим считается следующее определение Карла Линерта: Понятие тестирования «Тестирование – это обычный научный метод исследования одного или нескольких эмпирически различаемых признаков личности, цель которого – определить относительную степень выраженности индивидуального признака на основании максимального использования количественных показателей» Одним из первых стал использовать термин «тест» в современном смысле Ф. Гальтон. Понятие теста Он называл испытания, проводившиеся в его лаборатории, умственными тестами. Однако наибольшую популярность этот термин приобрёл после выхода в 1890 г. статьи Дж. Кеттела «Умственные тесты и измерения». С.Г. Геллерштейн: Понятие теста Тест - образовательный эксперимент, носящий характер определённого задания, которое стимулирует определённую форму активности и выполнение которого, поддаваясь количественной и качественной обработке, служит симптомом совершенства определённых функций. Это определение является попыткой обобщения понятия теста как средства психологического и педагогического исследования. К. Ингенкамп: Понятие теста «Тесты школьной успеваемости являются методом педагогической диагностики, с помощью которого результаты планируемого учебного процесса могут быть максимально объективно, надёжно и валидно измерены, обработаны, интерпретированы и подготовлены к использованию в педагогической практике учителями (частично также учащимися) и консультантами». В.П. Беспалько: Тест состоит из задания на деятельность заданного уровня и эталона, то есть образца полного и правильного выполнения действия Понятие теста В.С. Аванесов: Тест - система фасетных заданий определённого содержания, возрастающей трудности, специфической формы, позволяющую качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений по учебной дисциплине А.Н. Майоров : Понятие теста Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения Е.А. Михайлычев : Понятие теста Тест - только научно разработанная, профессионально составленная диагностическая или исследовательская методика, обязательно апробированная и стандартизированная Понятие педагогического (дидактического) теста Педагогический тест  совокупность взаимосвязанных между собой заданий по определённой предметной области, позволяющих оценить соответствие знаний учащегося экспертной модели знаний предметной области Тест предполагает технологию измерения, которая включает в себя: Понятие теста  разработку системы тестовых заданий с заданными качественными и количественными характеристиками для объективного и надежного оценивания учебных достижений испытуемых,  стандартизированную процедуру проведения тестирования, методы статистической обработки, анализа и интерпретации полученных результатов. Тестовое задание – утверждение, которое в зависимости от ответа испытуемого превращается в истинное или ложное высказывание Понятие тестового задания Тестовое задание – диагностическое задание в виде задачи или вопроса, с чёткой недвусмысленной инструкцией к выполнению и обязательно с эталоном ответа или алгоритмом требуемых действий со стороны испытуемых Предтестовое задание – «сырое», нестандартизированное, невыверенное ТЗ СТАНДАРТИЗИРОВАННЫЕ (снабжены нормами выполнения) По процедуре создания ТЕСТЫ НЕСТАНДАРТИЗИРОВАННЫЕ («Учительские») По средствам предъявления • бланковые • практические • компьютерные По предметной области применения теста • монопредметные • полипредметные • межпредметные По форме организации тестирования • массовые (групповые) • индивидуальные По ведущей ориентации • тесты скорости • тесты мощности (результативности) • смешанные тесты по критериальному аспекту : что По степени гомогенности проверяет тест – один критерий интегративного характера (например, количество выполняемых на должном уровне операций) или несколько (качество, количество, скорость, строгую последовательность, осознанность тех же операций); по формальному аспекту: гомогенность или гетерогенность форм построения заданий. • определяющие (входного контроля, По целям использования «претесты») • корректирующие (текущее тестирование) • диагностические (текущее тестирование) • итоговые • обучающие • тесты-тренажёры НОРМАТИВНО-ОРИЕНТИРОВАННЫЕ классическая теория тестирования По способу интерпретации результатов тестирования ТЕСТЫ КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЕ cовременная теория тестирования, IRT Нормативноориентированные тесты Основная цель – дифференциация испытуемых по результатам выполнения теста Основанием для сравнения служат соответствующим образом обоснованные, статистически полученные НОРМЫ Нормы – совокупность показателей, отражающая результаты выполнения теста чётко определённой выборкой испытуемых – релевантной нормативной группой, репрезентативно представляющей генеральную совокупность тестируемых Нормативноориентированные тесты Среднее значение тестовых баллов и показатель разброса (вариативности) вокруг среднего. Имея нормы, можно установить положение каждого результата по отношению к среднему баллу по тесту Критериальноориентированные тесты Критериально-ориентированные тесты предназначены для определения уровня индивидуальных достижений испытуемого относительно заданного критерия, существующего в реальной практике и заранее известного: уровня знаний, умений, навыков, необходимых для какого-либо вида деятельности Тесты школьных достижений первоначально строились в рамках теории классической тестологии как нормативные, то есть показывающие место учащегося в учебной группе по нормам, выработанным на репрезентативных выборках В 1963 г. Р. Глассер предложил термин «критериально-ориентированный тест», в котором в качестве интерпретационной системы отсчёта используется конкретная область содержания, а не та или иная группа людей. Такой тест определяет, что индивид может делать и как, а не то, как он выглядит на фоне других Нормативно–ориентированный педагогический тест Критериально– ориентированный педагогический тест Цель тестирования Сравнение уровня достижений испытуемых друг с другом Оценка уровня достижений в соответствии со степенью освоения знаний и умений определенной области содержания Критерий оценки Стандартизированные нормы Достаточная доля (%) проверяемого материала Область содержания Задания на проверку наиболее значимых элементов содержания Для более полного охвата содержания составляется детальная спецификация теста (план), отражающая все элементы содержания Сфера применения Конкурсные отборы (вступительные экзамены в вузы) Оценка итогового уровня обученности (начальное, среднее, высшее образование); оценка эффективности программы обучения Характеристика тестовых заданий Задания должны быть среднего уровня трудности (от 0,3 до 0,7) и высокой дифференцирующей способностью (больше 0,3) Задания должны соответствовать спецификации и элементам проверяемого содержания различного уровня трудности. Педагогические тесты Задача 1: Тестирование на входе в обучение Входные тесты Задача 2: Тестирование в процессе обучения Задача 3: Тестирование на выходе из обучения Корректирующее тестирование Диагностическое тестирование (критериальноориентированный подход) (спец. подход для выявления причин пробелов) Претест готовности к обучению (критериальноориентированный подход) Входной претест (нормативноориентированный подход) Нормативноориентированные тесты достижений Итоговые тесты Критериальноориентированные тесты достижений Понятие теста Тест предполагает технологию измерения, которая включает в себя:  разработку системы тестовых заданий с заданными качественными и количественными характеристиками для объективного и надежного оценивания учебных достижений испытуемых,  стандартизированную процедуру проведения тестирования, методы статистической обработки, анализа и интерпретации полученных результатов. Вариант и способ создания теста зависит от того, насколько широко планируется использовать созданный инструмент. Тест может использоваться: 1.педагогом для профессиональных нужд 2.для внутренних нужд школы 3.для проведения вступительных экзаменов и с административными целями 4.для итоговой аттестации, самое широкое административного использование Уровень применения 1 2 3 4 1 Определение целей тестирования да да да да 2 Отбор (планирование) содержания учебного материала да да да да 3 Конструирование технологической матрицы жел. да да да 4 Составление тестовых заданий да да да да 5 Построение выборки для апробации заданий и тестов - да да да 6 Компоновка заданий для апробации да да да да да да да да 7 Апробация тестовых заданий 8 Определение и расчёт показателей качества тестовых заданий 9 Отбраковка заданий и составление (компоновка) теста 10 жел жел да да да да да да Апробация теста - жел да да 11 Расчёт показателей качества теста - - да да 12 Корректировка теста и компоновка окончательного варианта да да да да 13 Стандартизация теста - да да да 14 Нормирование теста - - - да 15 Оснащение теста (спецификация) - жел да да Технологическая матрица – содержательная модель теста Химия, 8 класс, тема: Кислород Планирование содержания теста Проверяе мый аспект Общая характери стика Получени е Свойства Примене ние Тепловой эффект Топливо Кол-во заданий 3 5 10 4 3 2 Аспекты тестирования для проверки уровня достижений и диагностики усвоения понятия средней скорости механического движения Аспекты тестирования Номера заданий № 1 Понимание физического целей её введения Планирование содержания теста смысла величины, 1,2,4 2 Знание определения величины, определяющей 2,3,4,5,8,9 формулы, смысла входящих в неё величин 3 Знание специфических характеристик величины: единиц измерения, вектора, скаляра и т.д. 3,4,5 4 Понимание логики введения величины, её абстрактного характера 2 5 Применение ситуациях определения 6 Умение оперировать нестандартных ситуациях в стандартных величиной в 7 Связи рассматриваемой величины с другими компонентами физических знаний 3,8 4,7,9,10 9,10 Планиров ание содержан ия теста Экспертиза качества содержания теста Проводится независимыми экспертами (не участвовавшими в разработке теста) по трём направлениям:  Анализ качества содержания отдельных заданий теста  Анализ качества содержания теста в целом  Выводы и рекомендации по улучшению содержания теста ТЕСТОВОЕ ЗАДАНИЕ Инструкция Понятие тестового задания Текст задания Эталон ответа Стандартизированные правила оценки результатов ТЕСТОВЫЕ ЗАДАНИЯ Закрытые Формы тестовых заданий Открытые 2 ответа (альтернативные) Выборочные 3 и более ответов На установление последовательности На установление соответствия Открытые задания Открытые ТЗ требуют самостоятельного ответа испытуемого, но формулировка должна предполагать однозначный ответ Закрытые ТЗ альтернативных ответов требуют однозначного ответа из двух предложенных Используются для экспрессдиагностики Альтернативные задания Если вычитаемое увеличили на 12 единиц, а разность увеличилась на 15 единиц, то уменьшаемое:  увеличилось  уменьшилось Выборочные задания Закрытые ТЗ множественного выбора предполагают наличие вариативности в выборе. Имеют несколько вариантов ответов, среди которых один или несколько верных Отвлекающие варианты ответов называются дистракторами Задания на установление последовательности Необходимо продолжить ряд, добавить элемент ряда или установить правильную последовательность Задания на установление соответствия Необходимо восстановить соответствие между элементами двух списков. Целесообразно количество элементов в списка делать неравным Основные требования к тестовым заданиям  ТЗ должно содержать одну законченную мысль задание  ТЗ должно формулироваться в повествовательной форме, а не в вопросительной  «Ключевое слово» должно выноситься в начало задания (по возможности)  ТЗ не должно содержать более 15 слов («лишние» вводные фразы и предложения)  В ТЗ не рекомендуется использовать слова, вносящие неопределённость в формулировку, а также отрицание  «Длинное задание – короткие ответы»  рекомендуемое количество ответов на закрытые задания – от 4-х до 6-ти  Все дистракторы должны быть грамматически согласованы с текстом задания, должны быть однородными по структуре, содержанию, количеству слов