Понятие о качестве образования. Оценка результатов обучения как элемент управления качеством
Выбери формат для чтения
Загружаем конспект в формате docx
Это займет всего пару минут! А пока ты можешь прочитать работу в формате Word 👇
Лекция 1
ПОНЯТИЕ О КАЧЕСТВЕ ОБРАЗОВАНИЯ. ОЦЕНКА
РЕЗУЛЬТАТОВ ОБУЧЕНИЯ КАК ЭЛЕМЕНТ
УПРАВЛЕНИЯ КАЧЕСТВОМ
1. Понятие «качество образования»
1.1. Что входит в понятие «качество образования».
1.2. Стандарты измерения качества образования.
1.3. Развитие качества образования.
1.1. Качество образования – это общественный продукт, зависящий от позиции и комплексной организации усилий всего образовательного сообщества (педагогов, управленцев образования, обучающихся и их родителей, региональных и федеральных систем образования).
Требования к качеству образования отражены в таких документах, как Закон РФ «Об образовании», «Концепция модернизации российского образования на период до 2010», «Стратегия модернизации содержания общего образования», «Государственный образовательный стандарт» и др.
Концепция модернизации российского образования на период до 2010 года под новым качеством образования понимает [7]:
- соответствие целей и результатов общего образования современным социальным требованиям, связанным с переходом к открытому демократическому обществу с рыночной экономикой, что требует от людей принятия самостоятельных и сознательных решений на основе освоения социального опыта, умения жить в условиях трудовой и социальной мобильности, повышения уровня толерантности;
- соответствие содержания образования его целям и познавательным возможностям всех учащихся; повышение уровня доступности и востребованности школьного образования; развитие навыков, необходимых для приобретения знаний в течение всей жизни, и информационной грамотности;
- соответствие условий образовательной деятельности требованиям сохранения здоровья учащихся и обеспечения психологического комфорта всех участников образовательного процесса.
М.М. Поташник, Е.А. Ямбург, Д.Ш. Матрос так определяют качество образования [10.]:
1 Образование включает в себя обучение, воспитание и развитие.
2. Качество образования – это соотношение цели и результата образования. При этом цели заданы только операционально и спроектированы в зоне ближайшего развития ученика. Результат также формулируется операционально.
3. Качество образования определяется не только соответствием количества и качества знаний учащихся ГОСу, но и качеством личности, духовного и гражданского развития детей. В этом главная общественная ценность образования.
С.Е. Шишов и В.А. Кальней [18] рассматривают качество образования как социальную категорию, которая определяет состояние и результативность процесса образования в обществе, его соответствие потребностям и ожиданиям различных социальных групп и общества в целом в развитии гражданских, бытовых и профессиональных компетенций личности.
1.2. В области обучения и образования действует международный стандарт оценки качества ИСО 9001:2000. В нем используется процессный подход. Если рассматривать образование как процесс, то становится очевидной его непрерывность, что предъявляет особые требования не только к организации самой образовательной деятельности, но и к оценке ее качества. Возникает необходимость: - организации регулярной и систематической оценки, то есть внедрение мониторинга;
- оценки только конечного результата без анализа факторов, которые на него повлияли (используемых методов и технологий, системы взаимодействия и др.);
- оценки с учетом движущих сил данного процесса – заказчика (общества и различных социальных институтов) и потребителей (обучающихся и их родителей).
Государственный образовательный стандарт (ГОС) - социальная норма образования и образованности, разрабатываемая и вводимая в соответствии с Конституцией РФ. Он включает в себя федеральный и национально-региональный компоненты. Федеральный компонент ГОС определяет обязательный минимум содержания основных образовательных программ, максимальный объем учебной нагрузки обучающихся, требования к уровню подготовки выпускников.
Соответствие требованиям ГОС и другим стандартам качества образовательного учреждения оценивается в процессе лицензирования, аттестации и аккредитации. Лицензирование дает право образовательному учреждению на проведение образовательной деятельности. Аттестация говорит о реализации образовательного процесса в соответствии с лицензионными нормативами, требованиями ГОС и дает право на прохождение аккредитации. Аккредитация образовательного учреждения дает ему право на выдачу документа об образовании государственного образца.
1.3. Показатели качества обучения можно разделить на две основные группы:
· показатели, характеризующие качество учебного процесса;
· показатели, характеризующие уровень подготовки обучающихся.
Цели оценки качества образования:
- определить уровень учебных достижений;
- выявить конкретные сильные и слабые стороны в знаниях и навыках, которыми владеют учащиеся;
- выяснить, имеются ли проблемы с учебными достижениями у тех или иных групп обyчающихся;
- выявить факторы, связанные с учебными достижениями;
- отслеживать динамику учебных достижений.
Возможны два механизма совершенствования системы качества образования:
- один из них реализуется в педагогической системе; он включает выявление несоответствий и проведение корректирующих или предупреждающих действий преподавателем при реализации педагогической технологии;
- второй механизм заключается в критическом анализе системы в целом в процессе различных ее рассмотрений, прежде всего, в ходе анализа со стороны руководства различного ранга и доработок системы на их основе.
2. Современное понимание «знания».
Компетентностный подход в образовании
2.1. Современное понимание «знания».
2.2. Компетентностный подход в образовании.
2.1. Традиционная практика обучения видит свою важнейшую задачу в том, чтобы приобщить обучаемых к обобщенному и систематизированному опыту социальной практики общества. Отсюда - утверждение ведущей роли теоретических знаний, ориентация на усвоение основ наук. Широко распространен взгляд на образование как на способ и процесс передачи знаний, умений и навыков. Учебная деятельность обучающихся оказывается как бы вырезанной из контекста реальной жизни - им навязываются цели усвоения накопленной информации. Этим, прежде всего, объясняется падение интереса к учению и профессии.
Информация и знания – это не одно и то же. Учебная информация - это знаковая система, учебный текст, звуки произносимых педагогом слов, которые должен воспринять и усвоить обучающийся.
Знания - проверенный практикой результат познания действительности, ее верное отражение человеком, ставшее ориентировочной основой компетентного действия. Знание - это информация, перекодированная на язык мозговых структур. Чтобы получить статус знания, осознанного отражения действительности, информация с самого начала должна «примериваться» к действию и поступку, усваиваться в их контексте. Мышление рождается в проблемной ситуации, а не в ходе решения задачи по заранее известному образцу.
В настоящее время в сфере образования все больше распространяются субъект-субъектный, личностно-ориентированный и деятельностный подходы.
Основные особенности субъект-субъектного образования [17].
1. Ситуация, когда учащийся стремится сам приобрести знания, а учитель создает для этого условия;
2. Использование методов, которые дают возможность совместного «сотворения» или изобретения знания в процессе обучения;
3. Вариативность общего содержания обучения с учетом индивидуальных особенностей учащихся при сохранении инвариантности базового содержания, в том числе вариативность сроков освоения материала при инвариантности общего периода обучения;
4. Наличие общих правил учебной деятельности и взаимодействия, которым подчиняются все субъекты образовательного процесса и вариативность их применения;
5. Наличие особой системы взаимодействия субъектов образовательного процесса и диалог как отражение этой системы;
6. Оценивание не только стандартного набора знаний учащегося, но и его «индивидуализированной» карты знания и процесса развития в соотнесении с его возможностями;
7. Равное внимание к процессам получения знаний и целостного развития личности ребенка.
Суть личностного подхода состоит в том, что образование рассматривается не как способ передачи знаний, умений и навыков, а как способ развития личности. Личность при этом понимается как субъект свободной творческой деятельности. Это предполагает отношение человека к собственному развитию как к ценности. Процесс формирования человека как субъекта творческой деятельности составляет главную линию его развития.
С позиции деятельностного подхода, качество образования можно определить как меру соответствия результатов развития личности обучающихся в конце какого-либо возрастного периода возможностям для развития, содержащимся в культуре общества. В процессе образования на соответствующих возрастных этапах у человека должны формироваться определенные целостные виды деятельности и соответствующие им способности. Этим результаты образования, ориентированного на развитие личности, отличаются от результатов обучения и воспитания, ориентированных на передачу знаний, умений и навыков.
Рефлексивные умения выражаются в способности формировать представления о себе, о своей деятельности, прогнозировать ее и планировать, а также выяснять и анализировать мнения других людей о своей деятельности и о себе. Рефлексивные умения являются важнейшим компонентом в структуре инновационной деятельности специалиста, поскольку специалист с развитыми рефлексивными умениями имеет большие возможности в реализации творческого потенциала.
К общим рефлексивным умениям относятся:
- умение ставить реальные цели как основу для оценки результативности своих действий;
- адаптировать, дополнять или изменять план, программу, формы и методы работы соответственно конкретным условиям, с целью достижения оптимальных результатов;
- прогнозировать последствия своих действий, осуществлять контроль и самоконтроль, осознавать выполненную деятельность, самокритично относиться к ней;
- оценивать и обобщать опыт своей практической работы и применять в своей практике опыт других людей.
2.2. По Дж. Равену, «компетентность – это специфическая способность, необходимая для эффективного выполнения определенного действия в конкретной предметной области и включающая узкоспециальные знания, особого рода предметные навыки, способы мышления, а также понимание ответственности за свои действия» [12. С.6]. Компетентность формируется в той области, где все три параметра накладываются друг на друга.
Природа компетентности
Остается до конца не решенной, в силу сложности и многогранности понятия, проблема классификации компетентностей. Чаще всего проводится классификация по содержанию, в которой выделяются ключевые компетентности. К примеру, Т.В. Иванова выделяет 4 компетенции: социальную, коммуникативную, информационную, учебно-познавательную. Другое основание – по сферам проявления. Так разработчики «Стратегии модернизации содержания общего образования» указывают, что в структуре ключевых компетентностей должны быть представлены компетентности в сферах деятельности: самостоятельной познавательной, гражданско-общественной, социально-трудовой, культурно–досуговой.
Совет Европы определил пять ключевых компетенций:
- политические и социальные,
- компетенции, касающиеся жизни в многокультурном обществе,
- компетенции, касающиеся владения устным и письменным языком,
- компетенции, связанные с возникновением общества информации,
- способность учиться всю жизнь.
С.Е. Шишов приводит совокупность ключевых компетенций, сформулированных в рамках проекта «Среднее образование в Европе» [18]: изучать, искать, думать, сотрудничать, приниматься за дело, адаптироваться.
Лекция 2
МОНИТОРИНГ КАЧЕСТВА ОБРАЗОВАНИЯ
1. Средства накопительной оценки
1.1. Необходимость внедрения накопительной оценки в образовательную практику.
1.2. Критерии эффективной оценки.
1.1. Адаптивность системы образования требует определения соответствия деятельности конкретной педагогической системы возможностям и образовательным потребностям конкретного учащегося. Учение в условиях адаптивной системы обучения становится преимущественно активной самостоятельной деятельностью, управляемой посредством использования контроля и диагностики.
Средства контроля и диагностики в новых условиях изменяются. Отметочной системы, измеряющей только единичный конкретный результат, становится недостаточно. Для отслеживания процесса достижения образовательных целей необходимы средства, дающие возможность проследить и оценить динамику процесса достижения целей. Таким образом, возникает необходимость введения накопительной системы оценок, к которой относятся известные в отечественной системе обучения мониторинг, рейтинговое оценивание, портфолио. К накопительной оценке относятся, кроме того, используемые для оценивания интервью, деловые игры, дневники самооценивания, метод заключения соглашения и другие методы, используемые в западной дидактике.
Накопительные оценки позволяют обучающимся формировать положительное отношение к учебе, так как дают им возможность продемонстрировать то, как много они знают и умеют, а не их недостатки, что характерно для традиционных методов оценки. Они делают процесс обучения более эффективным, особенно при правильно организованной и конструктивной обратной связи. Новые методы оценки, такие как моделирование, практика, ролевые игры, позволяют студенту понять, как применить приобретенные умения и навыки внутри и за пределами образовательной среды. Появляется возможность оценить более разнообразный спектр умений учащихся в большем количестве ситуаций. При этом оценивать могут не только педагоги, но и родители, и, что самое важное, сам учащийся.
1.2. К основным характеристикам эффективной оценки относят то, что она фокусируется на процессе и на продукте; оценивается не только то, чему ученика учат, но и то, что от него ожидается; в процесс оценки активно вовлекаются и педагоги и учащиеся; оценка основывается на разнообразных и вариативных средствах; оценка проходит на всех этапах и уровнях обучения и обеспечивает участников оценки необходимой информацией для совершенствования процесса обучения посредством обратной связи. Накопительная оценка, при ее правильном использовании, реализует все эти требования.
2. Понятие педагогического мониторинга
2.1. Определения мониторинга.
2.2. Виды мониторинга.
2.1. Мониторинг – специально организованное, систематическое наблюдение за состоянием объектов, явлений, процессов с целью их оценки, контроля или прогноза.
Педагогический мониторинг – это форма организации, сбора, обработки, хранения и распространения информации о деятельности педагогического коллектива, позволяющая непрерывно отслеживать состояние и прогнозировать его деятельность.
В процессе мониторинга выявляются тенденции в развитии системы образования, соотнесенные во времени, а также последствия принимаемых решений. В рамках мониторинга проводится выявление и оценивание проведенных педагогических действий. При этом обеспечивается обратная связь, осведомляющая о соответствии фактических результатов деятельности педагогической системы ее конечным целям.
Мониторинг затрагивает различные аспекты жизнедеятельности образовательного учреждения:
- анализ целесообразности постановки задач образовательного процесса, планов учебной и воспитательной работы;
- работу с кадрами и создание условий для творческой работы педагогов;
- организацию учебного процесса;
- сочетание контроля с оказанием практической помощи;
- здоровьесберегающий подход в обучении и воспитании обучающихся.
Главное отличие мониторинга качества обучения от контроля, прежде всего в том, что задача мониторинга - установление причин и величины несоответствия результата целям. Кроме того, мониторинг отличается систематичностью и протяженностью во времени, применяемыми критериями и показателями.
К основным функциям мониторинга относятся:
- диагностическая – сканирование состояния системы образования и происходящих в ней изменений, что позволяет дать оценку данным явлениям;
- экспертная – в рамках мониторинга возможно осуществление экспертизы состояния, концепции, форм и методов развития системы образования, ее компонентов и подсистем;
- информационная – мониторинг является способом регулярного получения сопоставимой информации о состоянии и развитии системы, необходимой для анализа и прогноза состояния и развития системы;
- интегративная – мониторинг является одним из системообразующих факторов, обеспечивающих комплексную характеристику процессов.
Выделяют общие особенности мониторинговой деятельности [5]:
а) объекты мониторинга динамичны, подвержены влиянию внешних воздействий, которые могут вызвать различные изменения в состоянии объекта;
б) реализация мониторинга предполагает организацию постоянного слежения за объектом, изучение и оценку его состояния;
в) организация слежения предусматривает отбор обоснованных критериев и показателей, по которым ведется измерение и описание параметров объекта;
г) каждая конкретная система мониторинга ориентирована на конкретного потребителя, которым может быть как отдельное учреждение, так и государство в целом.
2.2. Можно выделить основные виды мониторинга:
1. По содержанию:
- дидактический мониторинг, предметом которого являются новообразования учебного процесса (получение знаний, умений, навыков, соответствие их уровня требованиям ГОС и т. д.);
- воспитательный мониторинг, который учитывает изменения в создании условий для воспитания и самовоспитания обучающихся, «приращение» их воспитательного уровня;
- социально-психологический, показывающий уровень социально-психологической адаптации личности обучающегося;
- управленческой деятельности, показывающий изменения в различных управленческих подсистемах.
2. По характеру используемых методов и методик – статистический и нестатистический мониторинг.
3. По направленности:
- мониторинг процесса – представляет картину факторов, влияющих на реализацию конечной цели;
- мониторинг условий организации деятельности – выявляет отклонения от запланированной нормы деятельности, уровень рациональности деятельности, необходимые ресурсы;
- мониторинг результатов – выясняет, что было сделано из запланированного, какие результаты достигнуты.
3. Условия организации мониторинга в образовании
3.1. Задачи организации мониторинга.
3.2. Методы мониторинга.
3.3. Этапы мониторинга.
3.1. При организации мониторинга важно выполнить следующие задачи:
1. Определить критерии качества реализации мониторинга, выработать комплекс показателей, обеспечивающих целостное представление о состоянии системы, качественных и количественных изменениях в ней.
2. Отобрать средства диагностики.
3. Установить уровень соответствия реального состояния объекта ожидаемым результатам.
4. Систематизировать информацию о состоянии и развитии системы.
5. Обеспечить регулярное и наглядное представление информации о происходящих процессах.
6. Организовать информационное обеспечение анализа и прогнозирования состояния и развития системы образования, выработки управленческих решений.
Информация, собираемая в процессе мониторинга, должна соответствовать требованиям объективности, точности, полноты и достаточности.
3.2. Традиционный мониторинг в форме контрольных работ, экзаменов, инспекторских проверок недостаточно эффективен. Прежде всего, потому, что:
- контроль состояния обучения носит нерегулярный, эпизодический характер, не вскрывается динамика изменений;
- контролируя итоги обучения, оставляют без внимания сам процесс обучения;
- используются достаточно субъективные балльные отметки и интегральные оценки выполнения проверочных заданий в целом, что не позволяет выяснить, какие конкретно и в какой мере элементы содержания не усвоены;
- по существу не используются диагностические методики, позволяющие вскрыть причины тех или иных ошибок учащихся, недочетов в работе учителя, выявить факторы, влияющие на успеваемость.
Для проведения мониторинга могут применяться общие методы психолого-педагогических исследований – наблюдение, опрос, анкетирование, тестирование, эксперимент. Используются и специфические методы - анализ продуктов деятельности (например, документов), методы изучения состояния воспитательной работы, игровые методы, творческие отчеты, методы экспертных оценок, аналитико-оценочные методы (самооценка, анализ занятия, шкалирование и др.). Для обработки результатов мониторинга используют математико-статистические методы.
3.3. Мониторинг проводится по следующим этапам:
1. Подготовительный этап:
- формирование заказа на мониторинг,
- выделение объекта мониторинга,
- методическое обеспечение мониторинга,
- определение критериев и показателей,
- создание рабочего проекта или программы,
- инструктаж или подготовка кадров, проводящих мониторинг.
2. Этап проведения мониторинга:
- проведение диагностики системы с использованием выбранных методов в соответствии с рабочей программой,
- сбор и анализ, хранение результатов.
3. Этап обработки данных и принятия решений:
- обработка данных, в том числе математико-статистическая,
- анализ, обобщение и систематизация полученных данных,
- подготовка заключительного документа,
- принятие решений,
- комплекс мероприятий, активизирующих использование данных, в том числе информационное обеспечение мониторинга.
В настоящее время предлагаются детализированные технологии педагогического мониторинга [10], описание одной из которых мы приводим ниже.
Таблица 1
Технология педагогического мониторинга в ОУ
(по В.В. Петрухину)
Предмет мониторинга (объекты мониторинга)
Цели мониторинга
Периодичность
Ответственные (субъекты мониторинга)
Результат
Общие показатели и материально-техническая база образовательного учреждения
Сбор статистических данных об оснащенности учебного процесса, об уровне квалификации педагогических работников и динамике изменений качественного и количественного состава обучающихся
2 раза в год
Руководители методических объединений, зам. дир. по УВР
Аналитические записки, диаграммы
Учебно-методическое обеспечение учебного процесса
Сбор информации об обеспеченности учебного процесса учебной и методической литературой, средствами наглядности и т. д.
1 раз в год (май)
Руководители методических объединений
Сводные таблицы, диаграммы
Методическая работа школы
Создание банка данных о методической деятельности методического объединения, создание условий для систематического анализа методической работы
2 раза в год (сентябрь, май)
Руководители методических объединений, зам. директора по УВР
Аналитический отчет, включающий графики и диаграммы
Деятельность учителя
Сбор информации об уровне профессионализма учителей, о направлениях их методического развития и совершенствования, составление рейтинга учителей
Ежемесячно
Зам. дир. по УВР
Таблицы, справки, диаграммы
Деятельность классного руководителя
Определение уровня профессиональной компетентности классного руководителя, создание классным руководителем банка данных учащихся, информации об их уровне обученности, воспитанности, уровне развития классного коллектива и сформированности у учащихся основных компетенций
Ежемесячно
Зам. дир. по УВР, социальный педагог
Справки, таблицы, диаграммы
Нормативно-планирующая документация
Анализ качества составленных рабочих программ и календарно-тематического планирования
2 раза в год (сентябрь, апрель)
Руководители методических объединений
Протоколы
Деятельность учащихся
Определение уровня (качества) обученности учащихся
Ежемесячно
Классные руководители, зам. дир. по УВР
Аналитические отчеты, диаграммы, таблицы
Лекция 3
ВИДЫ, ФОРМЫ И ОРГАНИЗАЦИЯ КОНТРОЛЯ
КАЧЕСТВА ОБУЧЕНИЯ
Контроль в широком смысле – проверка чего-либо, установление обратной связи. Контроль учебной деятельности учащихся обеспечивает получение информации о результате их учебной деятельности, способствует установлению внешней обратной связи (контроль, выполняемый учителем) и внутренней обратной связи (самоконтроль учащегося).
Функции контроля:
1) диагностическая функция (определение качества усвоения пройденного материала, успехов и пробелов в ЗУНах);
2) образовательная функция (приведение ЗУНов в систему и содействие их прочному усвоению);
3) развивающая функция (внесение корректив в учебный процесс на основе изучения возможностей и способностей учащихся);
4) воспитательная функция (стимулирование систематических занятий по усвоению ЗУНов и ответственности за их усвоение).
Требования к контролю:
1) индивидуальный характер;
2) систематичность, регулярность проведения контроля на всех этапах;
3) разнообразие методов и форм проведения;
4) всесторонность (охват всех разделов учебной программы, проверка теоретических знаний, практических умений и навыков);
5) объективность контроля (отказ от преднамеренных, субъективных, ошибочных суждений).
Виды контроля:
1) предварительный контроль (перед началом изучения учебного материала для определения исходного уровня ЗУНов);
2) текущий контроль (проверка ЗУНов, приобретенных в ходе изучения нового материала, его повторения, закрепления и практического применения);
3) тематический (после изучения темы, раздела для систематизации знаний обучаемых);
4) периодический (контроль по целому разделу учебного курса);
5) итоговый (контроль в конце учебного года с учетом результатов периодического контроля).
Данная классификация иногда дополняется еще двумя видами контроля [3]:
6) повторный (проверка знаний параллельно с изучением нового материала способствует прочности и системности знаний учеников);
7) отсроченный (контроль остаточных знаний и умений спустя какое-то время после изучения темы, раздела, курса).
Формы контроля:
1) индивидуальный;
2) групповой;
3) фронтальный;
4) парный.
Иногда в качестве форм контроля выделяют: зачет, экзамен, собеседование, контрольную работу, общественный смотр знаний (проводится в присутствии не только одного учителя, но и других учителей, родителей) и т. п.
Методы контроля - это способы определения результативности учебно-познавательной деятельности обучаемых и педагогической работы обучающих.
1. Устный (устный опрос).
2. Письменный (упражнения, контрольные работы, сочинения, отчеты и т. д.).
3. Практический (для выявления сформированности умений и навыков практической работы или двигательных навыков).
4. Машинный.
5. Самоконтроль.
6. Комбинированный (уплотненный) – сочетание различных методов контроля.
Взаимосвязь видов, методов, форм контроля и современных средств оценивания представлена в таблице 2 [3].
Таблица 2
Взаимосвязь видов, методов, форм и средств контроля
контроль
входной
промежуточный
итоговый
остаточные знания
собеседование,
анкетирование,
контрольная работа,
экзамен,
тестирование
(входное НОТ)
собеседование,
анкетирование,
контрольная работа,
опрос,
домашнее задание,
семинарское занятие,
лабораторная работа,
деловая игра,
тестирование
(формирующее, диагностическое КОТ),
портфолио,
рейтинг,
мониторинг
зачет,
экзамен,
тестирование
(тематическое, рубежное, итоговое КОТ),
портфолио,
рейтинг,
мониторинг
тестирование
(итоговое КОТ)
Оценка и ее функции
Результаты контроля учебно-познавательной деятельности учащихся выражаются в ее оценке. Оценить – значит установить уровень, степень или качество чего-либо.
Оценка – качественный показатель (например, «Ты - молодец!»).
Отметка – количественный показатель (пяти или десятибалльная шкала, проценты).
Функции оценки:
1) мотивационная (поощряет, стимулирует учебную деятельность);
2) диагностическая (указывает на причины тех или иных образовательных результатов);
3) воспитательная (формирует самосознание и адекватную самооценку);
4) информационная (свидетельствует о степени успешности ученика).
Этапы развития пятибалльной шкалы оценок:
1) май 1918 года – постановление А.В. Луначарского «Об отмене отметок»;
2) сентябрь 1935 года - введено пять словесных (вербальных) оценок: «очень плохо», «плохо», «посредственно», «хорошо», «отлично»;
3) январь 1944 года – возврат к цифровой «пятибалльной» системе оценки успеваемости.
Недостатки традиционного пятибалльного оценивания:
– низкая дифференцирующая способность;
– травмирующий характер для ребёнка;
– малая информативность для родителей учащихся;
– невозможность фиксации уровня личных усилий ученика для достижения результата;
– малая пригодность для оценивания личностных качеств и достижений;
– создание формальной мотивации, отсутствия активной позиции по отношению к обучению и личной заинтересованности в его результатах.
Основные ошибки при выставлении отметки:
1) инерция отметок (выставление их по установившейся традиции, деление на слабых и сильных);
2) искусственный либерализм и жесткий авторитаризм (завышение и занижение отметок);
3) средний балл успеваемости (носит формальный характер);
4) двойка как средство борьбы с недисциплинированностью [4].
Лекция 4
СИСТЕМА РЕЙТИНГ-КОНТРОЛЯ КАК СОСТАВНАЯ ЧАСТЬ УЧЕБНОГО ПРОЦЕССА
Рейтинг учащегося (англ. rating, от to rate – оценивать, ранжировать) - это индивидуальный числовой показатель интегральной оценки достижений в учебе, образуемый путем сложения рейтинговых баллов, полученных в результате оценки отдельных учебных действий, по возможности с учетом коэффициента значимости («весового» коэффициента) этих действий в достижении образовательных целей.
Основной принцип рейтинга – ранжирование.
Принципы рейтинговой технологии (по Л.Г. Устиновой)
Ориентационный принцип (чёткое определение для учащихся целей и задач работы, способов их достижения).
Принцип комплексного подхода (единство учебной, научной и воспитательной работы).
Принцип мотивации (формирование у учащихся потребностей в познании, в достижении цели, учении, труде).
Принцип объективности рейтинговой технологии обучения (независимость результатов от личности преподавателя).
Объекты рейтинговой системы контроля:
– совокупность знаний и умений по всем дисциплинам учебного плана;
– социальная активность учащегося.
Конечная цель рейтинговой технологии – становление учащегося как субъекта учебной, научной деятельности, то есть достижения такого уровня развития обучаемых, когда они оказываются способными поставить цель своей деятельности; когда учащиеся могут планировать, корректировать свои действия, соотнося результат с поставленной целью. Учащийся должен осознать себя субъектом учебного процесса. Поэтому в рамках рейтинговой технологии между преподавателем и учащимся возникают субъект-субъектные отношения.
Задачи рейтинга:
– построение системы комплексного мониторинга эффективности образовательной программы;
– повышение уровня мотивации учащихся в разных сферах деятельности
– построение индивидуальных образовательных программ;
– целевая подготовка лучших абитуриентов, отвечающих требованиям высших учебных заведений.
Функции рейтинговой технологии:
- креативная (формирование творческого потенциала учащихся);
- рефлексия (самооценка учебных и личностных достижений);
- стимулирующая (создание условий для развития активности и самостоятельности);
- диагностическая (получение информации об особенностях учебного процесса);
- коррекция (корректировка влияний нововведений на развитие личности учащихся) [3].
Условия организации рейтинговой системы оценивания:
– модульная организация учебного процесса,
– постоянное отслеживание уровня знаний,
– многобалльное оценивание обученности учащихся.
Виды рейтинга
(по М.В. Калужской, О.С. Уколовой, И.Г. Каменских):
– академическая успеваемость (отражает уровень учебных достижений),
– олимпийский (отражает участие в любых интеллектуальных, творческих и спортивных состязаниях),
– лидерский (отражает уровень социальной компетентности, общественную активность учащихся),
– званий и сертификатов (фиксирует личные достижения в области иностранных языков, искусства, науки и спорта, подтвержденные сертификатами) [6].
Преимущества рейтинговой системы оценивания
(по сравнению с традиционной технологией контроля):
– стимулирование систематической самостоятельной работы;
– снижение роли случайных факторов при получении итоговой оценки по дисциплине;
– повышение роли состязательности в учебе;
– чёткая дифференциация учащихся в соответствии с их успехами;
– количественная характеристика качества учебной работы;
– фиксация результатов учебной деятельности на всех этапах;
– учёт качества и сроков выполнения индивидуальных домашних заданий;
– повышение учебной мотивации.
Эффект от внедрения рейтинговой технологии выражается:
– в росте социальной активности учащихся;
– в признании равноценности различных образовательных траекторий;
– в ориентации на успех;
– в повышении адекватности самооценки;
– в укреплении командного духа;
– в осознанности жизненного выбора.
Управление качеством подготовки учащихся
с помощью рейтинга
1. Сравнительный анализ рейтинг-листов и эталонной рейтинг-шкалы.
Поиск информации:
– о количестве учащихся, достигших максимального предела эталонной шкалы;
– о количестве учащихся, освоивших 75% содержания образования;
– о количестве учащихся, освоивших менее 50% содержания образования.
2. Сравнение результатов с рейтинг-листами учащихся предыдущих лет обучения.
3. Характеристика (на основе сравнения и анализа):
– уровня обучаемости учащихся;
– уровня образовательной системы в учебном заведении ;
– качества учебного процесса;
– эффективности РСК.
4. Решения коррекции учебного процесса, технологии рейтинга.
Этапы проектирования рейтинговой системы
контроля по дисциплине:
1. Формулировка целей обучения по учебному предмету (внутренних и внешних, диктуемых теми дисциплинами, которые опираются на данную).
2. Отбор и подготовка учебного материала.
3. Определение содержания контроля, то есть выделение основополагающей части учебного материла.
4. Разработка структуры системы контроля.
5. Назначение средств измерения (распределение заданий-измерителей по учебным темам программы курса).
6. Разработка системы оценивания (оценивание каждого задания - измеряется в баллах).
Основные понятия рейтинговой системы оценивания
Кумулятивный (эталонный) балльный показатель – обобщенный показатель качества обучения, характеризуемый максимально возможной суммой баллов, которую может накопить учащийся в результате изучения всех дисциплин учебного плана. Разрабатывается на базе эталонных показателей по всем изучаемым дисциплинам. При сравнении его с нормативным (эталонным) показателемхарактеризует степень полноты освоения содержания образования.
Рейтинг-шкала – унифицированная шкала рейтинговой оценки, принципы формирования которой являются общими для всех дисциплин. Полученный учащимся рейтинговый показатель в процентах от максимально возможной величины баллов по дисциплине вносится в интегральную рейтинг-шкалу обучаемого.
Шкала содержит информацию о ее предельных значениях (максимальном и минимальном), о диапазонах рейтингового показателя, отражающих удовлетворительный, хороший, отличный и неудовлетворительный результаты учения и соответствующих привычным пятибалльным оценкам, а также его минимальных пределах, при которых учащийся допускается к экзамену, зачету и т. д.
Повышающие коэффициенты дисциплин. Так как дисциплины учебного плана неравноценны по значимости использования, существует система определения «весовых» значений дисциплин. В дальнейшем «весовой» показатель дисциплины позволяет устанавливать ее балльный показатель в соответствии с ее значимостью по эталонной шкале качества. Сумма рейтинговых баллов должна определяться с применением соответствующих «весовых» коэффициентов для наиболее важных дисциплин.
Критерии дифференциации учебных предметов (с целью определения повышающих коэффициентов):
1. Степень усваиваемости учебной информации (субъективное деление на «сложные» и «простые» предметы);
2. Дисциплины по их значимости в предстоящей учебной и профессиональной деятельности выпускников.
Контрольно-оценочные циклы. Рейтинговая система контроля по дисциплине формируется из системы последовательных блоков, так называемых контрольно-оценочных циклов.
Каждый блок организуется для контроля «порции» учебного материала или «порции» знаний и умений, включает в себя акты контроля, проверки, качественной и количественной оценки.
Преподаватель для контроля «порции» содержания обучения выполняет следующие процедуры:
• обеспечивает собственно контроль различными методами (тестирование, устный опрос, письменная работа и т. д.);
• проверяет выполнение работы, анализирует их и измеряет по заранее установленным критериям фактический результат;
• оценивает, то есть сравнивает полученный результат с эталоном (показателями) и определяет меру соответствия результата эталону;
• выставляет отметку.
Знание эталона соответствует норме баллов, раннее установленной для «порции» материала. Отметка может соответствовать норме или быть ниже ее. Полученные в результате баллы суммируются в кумулятивный балльный показатель учащегося. По мере накопления баллов определяется текущий рейтинг учащегося - место учащегося в группе по уровню усвоения им учебного материала. По рейтингу устанавливается уровень достижений обучаемого.
В течение полугодия идет непрерывное повышение кумулятивного показателя учащегося и изменение его рейтинга. Именно рейтинг и является критерием для организации самокоррекции учения.
В конце изучения дисциплины формируется кумулятивный балльный показатель учащегося по дисциплине и его итоговый рейтинг, определяемый в процентах к максимально возможной оценке. Тем самым преподаватель приводит кумулятивный показатель к унифицированной шкале.
В качестве заданий - измерителей обученности могут использоваться тесты, контрольные работы, коллоквиумы и т. п. [3]
Технология рейтинга
(по М.В. Калужской, О.С. Уколовой, И.Г. Каменских)
Ранжирование учащихся происходит на основе кумулятивного балльного показателя по всем видам рейтинга (академический, олимпийский, лидерский, званий и сертификатов).
При формировании рейтинга академических достижений складываются средние баллы учащегося по всем предметам (а также баллы за поведение и прилежание) за определённый период, умноженные на весовой коэффициент дисциплины. Для простоты подсчёта во многих учебных учреждениях профилирующим предметам (в их число входят, например, русский язык, литература, алгебра, английский язык, история) присваивается весовой коэффициент, равный 1,5. Перечень предметов, которым присваивается повышающий коэффициент, должен определяться профилем учебного учреждения.
При формировании олимпийского рейтинга складываются баллы учащегося за участие в конкурсах и соревнованиях, назначаемые из расчёта: 3 место – 1 балл, 2 место – 2 балла, 1 место – 3 балла. Баллы за соревнования различных уровней умножаются на весовые коэффициенты из расчёта: городской уровень – 2, областной уровень – 3, общероссийский уровень - 4.
При формировании лидерского рейтинга складываются баллы, назначаемые классным руководителем или консилиумом педагогов за регулярное, систематическое участие:
– в социальных акциях (сбор вещей для детского дома и др., шефство над младшими школьниками);
– в органах классного и школьного самоуправления (совет класса, совет школы);
– в праздничных школьных спектаклях;
– в воспитательных мероприятиях (КВН, редколлегия стенгазеты и др.).
В зависимости от их уровня, баллы за эти достижения могут умножаться на повышающие коэффициенты, например, достижения общешкольного уровня умножаются на повышающий коэффициент, равный 2.
Олимпийский, лидерский, сертификатов рейтинги являются накопительными, то есть балльные показатели по ним накапливаются в течение последних лет обучения учащегося в школе и переносятся на следующий год.
Балльные показатели по всем видам рейтинга складываются, образуя показатель итогового рейтинга [6].
Лекция 5
ПОРТФОЛИО КАК ОДНО ИЗ СРЕДСТВ
НАКОПИТЕЛЬНОЙ ОЦЕНКИ
1. Портфолио как средство накопительной оценки
1.1. Особенности портфолио как средства оценки.
1.2. Понятие портфолио и его функции.
1.1. Одним из средств индивидуальной накопительной оценки знаний учащегося является портфолио достижений ученика. Портфолио в переводе с итальянского означает «папка с документами». Благодаря ему можно судить об учебных, творческих, коммуникативных способностях школьника.
Портфолио является способом фиксирования, накопления и оценки индивидуальных достижений школьника в определенный период его обучения. Оно выступает важным элементом практико-ориентированного подхода к образованию. Это своеобразный отчет по процессу обучения учащегося, позволяющий увидеть картину конкретных образовательных результатов, обеспечить отслеживание индивидуального прогресса в широком образовательном контексте, продемонстрировать его способности практически применять приобретенные знания и умения.
В зарубежной образовательной практике портфолио активно применяется уже достаточно долгое время.
Портфолио предназначено для того, чтобы систематизировать накапливаемый опыт, знания, четче определить направления своего развития (например, в будущей профессии), облегчить помощь или консультирование – со стороны преподавателей или более квалифицированных специалистов в данной сфере, а также сделать более объективной оценку своего уровня (учебного или профессионального). Оно может собираться с различными целями, поэтому единого определения данной технологии не существует.
1.2. Определения портфолио (по материалам американских исследований).
1. Коллекция работ учащегося, которая демонстрирует усилия, прогресс и достижения в определенной области.
2. Антология работ учащегося, предполагающая его непосредственное участие в выборе работ, представляемых на оценку, а также их самооценку и самоанализ.
3. Форма целенаправленной, систематической и непрерывной оценки и самооценки учебных результатов учащегося.
4. Выставка учебных достижений учащегося по данному предмету за данный период обучения.
5. Систематический и специально организованный сбор доказательств, используемый учителем и учащимися для мониторинга знаний, навыков и отношений обучаемых.
Функции портфолио.
· Диагностическая – фиксирует изменения и рост за определенный период времени.
· Целеполагания – поддерживает учебные цели.
· Мотивационная – поощряет результаты учащихся, преподавателей и родителей.
· Содержательная – раскрывает весь спектр выполняемых работ.
· Развивающая – обеспечивает непрерывность процесса обучения от года к году.
· Рейтинговая – показывает диапазон навыков и умений.
Философия учебного портфолио предполагает:
- смещение акцента с того, что учащийся не знает и не умеет, на то, что он знает и умеет по данной теме и данному предмету;
- интеграцию количественной и качественной оценок;
- перенос педагогического ударения с оценки педагога на самооценку школьника [3].
Основной смысл портфолио - дать возможность каждому школьнику показать все, на что он способен, создать для ученика стимул роста. Достоинства портфолио несомненны. Это прекрасное средство углубления и оформления познавательных интересов, развития интеллектуальных рефлексивных способностей учащихся, комплексной проверки уровня усвоения учебного материала, индивидуализации и дифференциации обучения, формирования мотивации достижения, а, следовательно, и создания ситуации успеха. Цель портфолио для предпрофильной подготовки - выполнять роль индивидуальной накопительной оценки и наряду с результатами экзаменов определять рейтинг выпускников основной школы.
2. Типы портфолио, его структура
2.1. Типы портфолио.
2.2. Структура портфолио.
2.1. В зависимости от целей создания портфолио бывают разных типов.
Первый тип портфолио - это «папка достижений», направленная на повышение собственной значимости ученика, и отражающая его успехи (похвальные грамоты за учебу, достижения в спорте, музыке, шахматах и т. д.; благодарственные письма родителям, табели успеваемости, значки, медали и т. п.).
Второй тип - рефлексивное портфолио, раскрывающее динамику личностного развития ученика, помогающее отследить результативность его деятельности, как в количественном, так и качественном плане. В эту папку собираются все контрольные и творческие работы ученика, которые делались в течение определенного срока, например, года (сочинения, изложения, эссэ, рисунки, поделки, зачетные работы, видеокассеты, результаты медицинских и психологических обследований и т. д.).
Третий тип портфолио - проблемно-исследовательский, связанный с написанием реферата, научной работы, подготовкой к выступлению на конференции. Он представляет собой набор материалов по определенным рубрикам (варианты реферата, доклада или статьи, список литературы для изучения, проблемные области, план исследования, дискуссионные точки зрения, статистика, цитаты, афоризмы, интеграция с другими предметными областями, результаты исследования, прогнозы и перспективы и др.). Сбор и систематизация материала в таких портфолио помогает учащимся не только достойно написать какую-либо научную работу, но и развивает их познавательные интересы.
Четвертый тип портфолио - тематический, создаваемый в процессе изучения какой-либо большой темы, раздела, учебного курса. Работа над ним строится следующим образом: учитель сообщает вначале название изучаемой темы, а также форму контроля по ней - защиту своего портфолио, собранного по результатам работы над данной темой. Учащимся в самом начале предъявляются заданий разного уровня сложности, отражающие различные уровни мышления и познания.
Для предпрофильной подготовки разработана другая классификация типов портфолио. Предполагается, что портфолио достижений ученика будет складываться из трех разделов: «портфолио документов», «портфолио работ», «портфолио отзывов».
В портфолио документов входят сертифицированные (документированные) индивидуальные образовательные достижения - документы об участии в олимпиадах, конкурсах и других мероприятиях (грамоты, дипломы, сертификаты, свидетельства, вкладыш в аттестат и т. д.). Это дает возможность как количественной, так и качественной оценки материалов портфолио.
Портфолио работ - это собрание творческих, исследовательских и проектных работ ученика, описание основных форм и направлений его учебной и творческой активности. Портфолио работ оформляется в виде творческой книжки с приложением самих работ (текстов, бумажных или электронных документов, видеозаписей и т.д.). Эта часть портфолио ученика дает качественную оценку по заданным параметрам (полнота, разнообразие, убедительность материалов, ориентированность на выбранный профиль обучения, динамика учебной и творческой активности, направленность интересов, характер предпрофильной подготовки).
Портфолио отзывов - это характеристики отношения школьника к различным видам деятельности, представленные учителями, родителями и др., а также письменный анализ отношения самого школьника к своей деятельности и ее результатам (тексты заключений, рецензий, отзывы, резюме, рекомендательные письма и прочее). Эта часть портфолио дает возможность включить механизмы самооценки ученика, что повышает степень осознанности процессов, связанных с обучением и выбором профильного направления.
2.2. Содержание портфолио зависит от его вида и цели, для достижения которой оно создается. Четкого списка материалов (называемых артефактами), необходимых для включения в портфолио, не существует. Каждый из людей, использующих данную технологию, самостоятельно отбирает способы показа своих работ и достижений. Если портфолио создается всеми учащимися, то педагогу совместно с ними необходимо определить и зафиксировать перечень материалов, обязательных для представления в портфолио, с целью получения той или иной оценки. Например, к артефактам относятся копии заданий, контракты, результаты оценки компетентности на разных уровнях и этапах учебы, выполненные тесты и вопросники, примеры регулярной работы обучающегося (рефлексивные дневники). Можно использовать электронные портфолио, разработанные по установленным критериям. При этом приветствуется любая инициатива, расширяющая данный список или предлагающая равноценную замену перечисленным материалам.
Все материалы рекомендуется распределять по четырем разделам: портрет, коллектор, рабочие материалы и достижения.
3. Работа учителя с учащимися по составлению портфолио
3.1. Особенности работы педагога при использовании технологии портфолио.
3.2. Оценка портфолио.
3.1. Педагогу необходимо помнить, что портфолио создается обучающимися для оценки своего прогресса. Учитель лишь помогает им организовать этот процесс и оценить свои достижения. Следовательно, мотивация обучающихся в начале создания и в процессе работы над портфолио должна быть высокой. Для повышения уровня мотивации необходимо, чтобы и педагог и учащиеся творчески подошли к процессу. Выскажем несколько советов, помогающих повысить уровень мотивации.
А). Педагог сам должен понимать важность создания портфолио обучающимися для их собственного развития (а не только как внедрение новой, модной технологии).
Б). Необходимо провести урок, в ходе которого педагог не только объяснит, каким образом будет проходить работа учащихся и выскажет свои требования, но и обсудит с ними их взгляды на собственное развитие и то, как они видят место преподаваемого им предмета в данном процессе.
В). На вводном уроке очень важно рассказать содержание предмета на ближайшую четверть (семестр, полугодие, год). Только зная основное содержание предмета, сроки и формы контроля, учащиеся по-настоящему смогут поставить цели в разделе «Портрет». Содержание изучаемого материала, сроки и формы контроля, список основной и дополнительной литературы целесообразно представить визуально (в форме краткого текста или схемы) для того, чтобы обучающиеся в любой момент могли обратиться к этому разделу. При постановке учащимися целей необходимо проконтролировать, чтобы цели соответствовали критериям их эффективной постановки. Только в этом случае учащиеся смогут затем определить уровень реализации поставленной цели. При необходимости цель может быть разбита на частные задачи.
Г). Каждый обучающийся сам может выбрать форму создания портрета – эссе, рисунок, коллаж, схема – всего существует более десяти форм портрета. Самостоятельный выбор делает рефлексию более глубокой и повышает уровень творчества.
Д). В раздел «Коллектор» входят материалы, которыми пользуется учащийся при работе по предмету – учебники, список дополнительной литературы, образцы работ других учащихся, основные теоретические положения, глоссарий, статистические данные, другие источники информации. С одной стороны, нет необходимости перегружать данный раздел. С другой стороны, учитель должен помогать детям при составлении данного раздела, обучать их основам поиска информации, ее классификации, фиксации, конспектированию и т. д.
Е). Раздел «Рабочие материалы» включает обязательные и дополнительные работы самого обучающегося и именно он в основном подвергается анализу и оценке. При его создании необходимо соблюдать перечисленные ниже правила оценки. Если учащиеся выполняли коллективную работу, например, проект, необходимо договориться о форме его краткого отражения в портфолио каждого из выполнявших.
Ж). Раздел «Достижения» чаще всего бывает самым сложным, так как педагоги не располагают разнообразием методов оценки достижений обучающихся. Кроме дневника и контрольной тетради в этот раздел включаются грамоты, сертификаты, похвальные листы, рефлексивный анализ, листы рейтингового контроля и др. Можно ввести систему взаимной оценки обучающихся, фиксировать ее и вносить в данный раздел, использовать характеристики (со стороны одноклассников, учителей, родителей) и другие формы и методы оценки достижений.
Оценка портфолио проводится учащимися совместно с учителем примерно один раз в четверть. Для того чтобы в ходе оценки у обучающихся развивались навыки самооценки и рефлексии, а также для экономии времени педагога, перед уроком по оценке портфолио каждый учащийся должен проделать подготовительную работу. В ходе ее ученик еще раз просматривает поставленные цели и задачи и подбирает материал, свидетельствующий о достижении поставленных задач или о работе в данном направлении. Можно разложить материал в соответствующем порядке или сделать закладки в тетради. Самый эффективный способ – письменный анализ достижений в соответствии с поставленными целями, с приложением рабочих материалов, необходимо предлагать именно его для работы обучающихся.
3.2. Оценка портфолио может проходить:
1. В индивидуальной встрече педагога и обучающихся. В этом случае выделяется время для индивидуальных встреч, или встречи организуются на уроке во время выполнения творческих заданий.
2. Учащимися в малых группах. Учитель заранее дает и разъясняет план работы микрогрупп, назначает лидера. Группа должна заслушать и обсудить каждого ученика и дать каждому рекомендации в течение 5-8 минут. Оценки и рекомендации фиксируются и помещаются в портфолио. Учитель в процессе такого урока перемещается из группы в группу. Если портфолио оценивается в баллах, то после такого урока учитель выставляет отметку на основе рекомендаций группы и содержания портфолио.
3. На основе выступлений учащихся на конференции по портфолио. Конференцию целесообразно организовывать в том случае, если портфолио собирались по различным темам (например, в предпрофильной подготовке или портфолио познавательного интереса). Каждый ученик имеет не более двух-трех минут на выступление и столько же - на ответы по вопросам. В ходе выступления необходимо отразить цели работы, их реализацию, основные достижения. Заранее организованная комиссия оценивает содержание портфолио, выступления и ответы на вопросы (по заранее определенным критериям).
Результатом обсуждения может быть программа дальнейшего углубления познавательного интереса ученика или, напротив, смена темы (проблемы), а соответственно и познавательного интереса. Педагог предлагает разные варианты и траектории личностного развития, а ученик выбирает.
Приведем пример критериев оценки портфолио учащихся, разработанный Е.В. Лебедевым [5].
1. Внутренняя оценка (самооценка) портфолио включает группы критериев:
- самоорганизация (ответственно подходить к делу, доводить начатое до конца, выбирать оптимальную структуру и содержание для представления себя),
- профессиональная ориентация,
- обучение (помогают ли материалы портфолио в процессе обучения, полезность навыков, приобретенных в процессе обучения, самооценка полученных знаний и умений),
- самообучение,
- самореализация.
2. Внешняя оценка включает следующие группы критериев:
- оценка качества оформления портфолио,
- оценка структуры портфолио,
- оценка уровня образовательной деятельности по материалам портфолио.
Оценку портфолио можно заносить в специальный лист оценки.
Лекция 6
ИСТОРИЯ РАЗВИТИЯ СИСТЕМЫ ТЕСТИРОВАНИЯ
В РОССИИ И ЗА РУБЕЖОМ
1. Возникновение тестирования
1.1. Зарождение тестологии.
1.2. Тесты Дж. Кеттелла, А. Бине, Т. Симона и др.
1.1. Время зарождения тестологии относят ко второй половине XIX века, когда психологи стали исследовать индивидуальные различия физических, физиологических и психических особенностей человека.
В середине ХIХ века особое внимание исследователей уделялось изучению умственной отсталости, которую в этот период впервые стали рассматривать как болезнь. Французский врач Э. Сеген разработал собственную методику и основал первую школу для обучения умственно отсталых. Впоследствии многие из разработанных им приемов вошли в тесты на выявление уровня интеллекта.
Одним из первых, кто начал использовать тестовые технологии для измерения индивидуальных особенностей, стал английский биолог Френсис Гальтон. Он занимался вопросом наследственности, при этом разработал ряд методик для определения зрительной, слуховой и тактильной чувствительности, а также для определения мускульной силы, скорости реакции и др. В ходе сбора эмпирических данных Гальтон обследовал множество учреждений в системе образования с целью получить систематические измерения антропометрических характеристик учащихся. В 1884 году он организовал антропометрическую лабораторию на Всемирной выставке в Лондоне, где каждый желающий за небольшую плату мог измерить свои физические возможности по 17 показателям: рост, вес, сила кисти, сила удара, различения цвета, острота зрения и др. Таким образом, накапливались первые систематические данные по индивидуальным особенностям простых психофизических функций. По мнению Ф.Гальтона, тесты сенсорного различения можно использовать как средство оценки интеллекта человека.
Ф. Гальтон был первым, кто применил оценочные шкалы, анкетирование и технику свободных ассоциаций.
Он сформулировал три принципа тестирования, эти выводы сохраняют актуальность до сих пор:
1) применение серии одинаковых испытаний к большому количеству испытуемых;
2) необходимость накопления и обработки статистических результатов;
3) установление эталонов оценки.
Важнейшим вкладом Ф. Гальтона в развитие тестологии является разработка и использование методов математической статистики для обработки полученных данных по индивидуальным различиям. Он вводит метод сравнения двух рядов переменных, для оценки этого соотношения используется особая величина – индекс-коэффициент корреляции. Он также изучает взаимосвязь переменных, для чего впервые использует построение линий регрессии одной переменной на другую.
1.2. Особенно заметный вклад в развитие тестирования внесли работы Джеймса Кеттелла (1860 - 1944). Американский психолог разработал около пятидесяти наборов заданий, которые назывались «умственными тестами», практически же это были тесты сенсорного различения и скорости реакции, которые, по мнению Дж. Кеттелла, можно было использовать для измерения интеллекта. Дж. Кеттелл рассматривал тестирование как научный метод и выдвигал ряд требований к проведению тестирования, чтобы результаты были приближены к объективным.
Тесты Дж. Кеттелла были типичными среди большого количества серий тестов, разработанных в последнее десятилетие ХIХ века. Такие серии применялись для школьников, студентов и взрослых людей в Америке повсеместно. В основном они были направлены на измерение простых сенсорных и моторных процессов, хотя их авторы заявляли, что тесты предназначены для измерения интеллекта. Первая проверка этих тестов показала их слабую внутреннюю согласованность и то, что их результаты не соответствовали оценке интеллекта испытуемых независимыми экспертами.
В Европе в это время тесты, например, тесты Э. Крепелина и Г. Эббингауза, были более сложными и объективными.
Дж. Кеттелл активно пропагандировал новые методы измерения. В течение 1895 - 1896 гг. в Америке создаются два национальных комитета, с целью организации тестологов в области теоретических исследований и практики создания качественных тестов и их применения.
Новый этап в развитии тестологии связан с деятельностью французского психолога Альфреда Бине (1857 - 1911). Он разрабатывает оригинальные методики измерения интеллекта. А. Бине не устраивали попытки оценить уровень интеллекта через измерение элементарных психических процессов. Он идет по пути измерения сложных интеллектуальных функций. Работа в Комиссии по изучению методов обучения умственно отсталых детей с 1904 года дала возможность А. Бине реализовать свои идеи на практике. Совместно с Теодором Симоном А. Бине создает тестовые задания, направленные на дифференциацию детей способных к обучению, но ленивых или отстающих, и на детей умственно отсталых.
Шкала Бине-Симона (шкала 1905 года) состояла из 30 заданий, которые были расположены по возрастанию трудности. Уровень трудности был определен по результатам обследования 50 нормальных детей в возрасте от 3 до 11 лет и небольшого числа слабоумных детей. Тесты были рассчитаны на оценку способности к суждению, пониманию и рассуждению, которые, по мнению А. Бине, и являются основными компонентами интеллекта. Вероятность успешного выполнения определялась возрастающей трудностью заданий теста и увеличивалась в зависимости от возраста испытуемого.
В 1908 году появляется новый переработанный вариант шкалы: увеличивается количество заданий, убираются неудачные задания, расширяется выборка стандартизации. Бине и Симон заявляют и новую цель шкалы: теперь это не только дифференциация детей на нормальных и умственно отсталых, но и выделение среди нормальных детей различных возрастных уровней интеллектуального развития. Группировка тестов по возрастным уровням позволила определить нормы для детей разных возрастных категорий. Дальнейшая модификация шкалы была сосредоточена на ее стандартизации и определении ее валидности.
Тесты Бине-Симона привлекли внимание психологов разных стран. Они активно переводились и адаптировались. В Америке появилось много переработанных вариантов тестов Бине-Симона. Одним из удачных вариантов признан тест, разработанный Левисом Мадисоном Терменом (Странфордская шкала интеллекта Бине). В этом варианте был впервые использован коэффициент интеллектуальности - показатель умственного развития (IQ).
Активная работа по созданию, совершенствованию и применению тестов сопровождалась разработкой статистических методов обработки полученных результатов (К. Пирсон, Ч.Спирмен).
В начале возникновения и становления тест как измерительный инструмент использовался только в рамках эксперимента, был предназначен исключительно для индивидуального измерения. Групповые тесты впервые появились в США в 1917 году, когда Америка вступила в Первую мировую войну, и возникла необходимость быстро определить интеллектуальный уровень полутора миллионов вступающих в ряды армии. С этой целью использовались тесты интеллекта Артура Синтона Отиса. Тесты Отиса включали два вида: альфа-вербальный тест для владеющих английским языком и бета-тест – невербальный, рассчитанный на неграмотных и новобранцев иностранного происхождения. По окончании Первой мировой войны после некоторой переработки эти тесты стали повсеместно использоваться как групповые тесты интеллекта в образовательных учреждениях, среди взрослого населения.
В 1915 г. американец Р.М. Йеркс предлагает новую систему подсчета результатов испытуемых. Он вводит балльную систему (за правильное решенное задание теста испытуемый получает определенное количество баллов) вместо возрастных долей, которые использовались А.Бине. Полученное количество баллов затем переводилось в коэффициент одаренности или успешности в соответствии с разработанными стандартами [3].
2. Психологические и педагогические тесты
В начале ХХ века также возникает идея использования тестирования для измерения уровня учебных достижений. Американский психолог В.А.Макколл предлагает разделить тесты на психологические (определение уровня умственного развития) и педагогические (измерение успешности учащихся по предметам за определенный период обучения). Целью педагогического тестирования, по мысли Макколла, должно быть выделение и объединение учащихся с близкими показателями уровня обученности.
Основоположником педагогических измерений считается американский психолог Эдуард Ли Торндайк, который создал первый педагогический тест (ability tests). Первые тесты учебных достижений представляли собой тесты на решение арифметических задач, правописание, оценку почерка, рассуждение. Свои выводы по использованию тестовых методов в педагогике Торндайк обобщает в книге «Введение в теорию психологии и социальных измерений» (1904).
3. Тестология в России
В России интерес к разработке тестов и практике их использования формируется в 20-х г. ХХ века. Видные российские психологи и педагоги занимались этой проблемой, среди них С.Г. Геллерштейн, П.П. Блонский, А.П. Болтунов, М.С. Бернштейн, Л.С. Выготский, Г.И. Залкинд и др. В книге С.М.Василейского «Введение в теорию и технику психологического, педологического и психотехнического исследования» (1927) изложены основные теоретические и практические принципы создания и использования тестов. В работе также были освещены вопросы статистической обработки результатов, проведения тестирования, методы изучения различных профессий. В 1925 году при педагогическом отделе Института методов школьной работы была создана особая Тестовая комиссия, которая способствовала организации деятельности педагогов и психологов по разработке тестов для советской школы. На основе американских были разработаны тесты по счету, решению задач, на понимание чтения, на правописание, на знание географической карты. Тесты сопровождались инструкциями по его проведению и выполнению заданий, а также личными карточками учета роста учебных достижений учащегося.
Под руководством П.П.Блонского осуществлялась проверка шкалы Бине-Симона, создание школьных тестов и построение стандартов. В Ленинградском научно-педагогическом институте им. А.И.Герцена и Детском обследовательском институте им. А.С. Грибоедова разрабатывались тесты диагностики одаренности и тесты школьной успешности для массовых обследований детей нормальных школ.
Постановление ЦКВКП(б) «О педологических извращениях в системе Наркомпроса» (1936) запрещает использование тестов в педагогической практике советской школы. Тестология как наука и тестирование как метод измерения также прекращает свое существование в нашей стране на долгие годы.
Только в 60-е годы в дидактику возвращаются тесты (через систему программированного обучения). Однако следует отметить, что и в 40-60 годы тесты использовались, но в виде «контрольных заданий», «самостоятельных работ», упражнений и т. п.
В 1970-1980 гг. резко критиковалась традиционная система контроля знаний. В бывшем Советском Союзе развитие дидактической тестологии связано с работами Н.Ф. Талызиной по программированному обучению и В.П. Беспалько по проблемам педагогической технологии.
Отмечая, что учебные методы контроля пригодны для непосредственного общения учителя со школьниками на уроке по конкретным изучаемым на занятии вопросам, В.П. Беспалько пишет, что для оценки качества знаний эти методы контроля не годятся, так как необходимые диагностичность, точность и воспроизводимость результатов в них не заложены. Аналогичными недостатками страдают и обычные письменные контрольные работы. Поэтому необходима специальная разработка материалов тестов, ориентированных на уровни решения тех или иных учебных задач. Сейчас такой подход разделяется многими педагогами.
В настоящее время в нашей стране появилось несколько центров, в которых профессионально занимаются работой с тестовыми технологиями. Среди наиболее активных следует отметить Центр тестирования Министерства образования Российской Федерации, занимающийся тестированием выпускников общеобразовательных учреждений, Центр тестирования профессионального образования, Центр психологического и профессионального тестирования МГУ и целый ряд других.
4. Современное развитие тестологии
В 10-20 гг. ХХ века тестирование выходит за рамки научного эксперимента и превращается в массовое явление. Для упорядочения работы по разработке и использованию тестов создаются специальные организации и службы государственного уровня. В 1926 г. Совет колледжей США принял тест SAT и утвердил наборы заданий для профессиональной оценки деятельности педагогов.
В 1947 г. в США создается Служба тестирования в образовании (Educational Testing Service), которая является и научно-исследовательским центром, и организацией, контролирующей проведение тестирования на всех уровнях образования в стране.
К 1961 году только в США были созданы 2126 стандартизированных тестов. Здесь существует множество тестовых издательств, общая продукция которых представляет несколько тысяч различных тестов.
Возникло новое направление педагогического тестирования - международные сравнительные исследования, с целью оценки качества образования различных стран. Проведение международных исследований предоставляет странам возможность всесторонней оценки эффективности своих образовательных программ и сравнения подготовки своих учащихся с международными стандартами. Лидирующая роль в проведении подобных исследований принадлежит Международной ассоциации по оценке учебных достижений (IEA - International Associationfor the Educational Achievement) - независимой организации, объединяющей научные центры более 50 стран мира, и проводящей сравнительные исследования по оценке эффективности образовательных систем стран мира, осуществляющих различную политику в области образования. Первые исследования IEA проводились совместно с ЮНЕСКО. За 35 лет существования, начиная с 1959 года, IEA проведено более 15 исследований. Во многих странах мира результаты исследований IEA дали толчок или явились основой для проведения реформ в области образования.
Россия стала членом IEA в 1991 г. и с этого времени принимает активное участие во всех ее исследованиях (TIMSS - третьем международном исследовании по естественно-математическому образованию, LES - исследовании по иностранным языкам и CIVIC - исследовании по социальным наукам).
Во второй половине ХХ века разрабатывается более совершенная модель анализа полученных результатов - современная теория тестов (IRT). В этот период теория тестов из описательной науки начинает превращаться в науку об отношениях, о законах функционирования и оценивания поведения испытуемых. Параллельно разрабатывались компьютерные программы для обработки тестовых результатов с помощью моделей IRT.
В середине 70-х гг. ХХ века разработаны новые критерии, предъявляемые к тесту как способу оценки качества:
· адаптивность систем тестирования к качеству выводов испытуемых;
· объективность педагогических измерений;
· экономия ресурсов и времени проверок;
· ограничение места для записи тестируемых заключений;
· возможность применения различных форм предъявления тестовых заданий. В изложении темы использованы материалы курса лекций Ю.А. Воронина и др. [5].
Лекция 7
ПСИХОЛОГИЧЕСКИЕ ТЕСТЫ: ТЕРМИНЫ
И ОПРЕДЕЛЕНИЯ. ПСИХОЛОГО-ПЕДАГОГИЧЕСКИЕ АСПЕКТЫ ТЕСТИРОВАНИЯ
1. Понятийный аппарат тестологии
1.1. Понятие теста.
1.2. Надёжность и валидность теста.
1.3. Психологические аспекты тестирования.
1.1. Отечественная педагогическая тестология - очень молодая наука. В настоящий момент в различных изданиях по теории и практике тестирования можно встретить различное толкование и определение одних и тех же понятий, для обозначения одного явления может использоваться несколько синонимических терминов, основная группа терминов имеет иноязычное происхождение.
Термин «тест» (от англ. test - испытание, исследование) имеет в русском языке несколько значений (см. словарь иностранных слов). Но нас интересует только значение, которое используется в тестологии.
Существуют различные точки зрения при определении понятия «тест».
1) Тест - это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии и анализа результатов для измерения качеств и свойств личности, учебных достижений, изменение которых возможно в процессе систематического обучения [8].
2) В.С. Аванесов предлагает различение теста как метода и теста как инструмента.
Тест как метод предполагает технологию измерения, которая включает в себя разработку системы тестовых заданий с заданными качественными и количественными характеристиками для объективного и надежного оценивания учебных достижений испытуемых, стандартизированную процедуру проведения тестирования, методы статистической обработки, анализа и интерпретации полученных результатов.
Тест как инструмент измерения определяется как система заданий (в большинстве случаев возрастающей трудности) специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков учащихся [1].
Слово «тест» в первом значении имеет научный аспект и используется учеными-тестологами, которые знают обо всех этапах разработки и применения теста, а также о теоретическом обосновании выбранных способов проверки и обработки полученных результатов в соответствии с классической теорией тестов или современной теорией тестов.
Второе значение чаще возникает в практической области: в сознании тех, кто его использует или испытуемых, которые выполняют тест. Чаще используется именно второе значение. Но при этом надо помнить, что тест как измерительный инструмент является частью научного метода измерения (тестирования, теста) и соответственно должен отвечать ряду требований по его разработке, использованию и оцениванию результатов, которые определяются научными подходами.
1.2. Отличие тестов от других форм контроля.
1. Содержание теста подвергается четкому планированию. На стадии разработки теста происходит отбор содержания, которое будет подвергаться проверке, планируется форма заданий, их количество и расположение.
2. Форма заданий. В тестах форма заданий стандартизирована - по форме предъявления и по форме записи ответов.
3. Наличие статистических характеристик у тестовых заданий. Заранее известно, какова трудность предлагаемого задания, будет ли оно одинаково выполняться слабыми и сильными испытуемыми или нет (дифференцирующая способность) и др.
4. Наличие специальных шкал, которые соотнесены со стандартизированными нормами для подведения результатов тестирования.
5. Наличие оценок точности измерения (ошибки измерения). С помощью статистических методов мы можем оценить ошибку измерения, а по результатам оценки принять или не принять результаты тестирования.
Отличительные особенности теста определяют преимущества теста перед традиционными формами контроля учебных достижений: объективность, надежность, точность, экономичность измерений.
1.3. Тест, предъявляемый испытуемому, состоит из инструкции и тестовых заданий. В инструкции даются указания, из скольких частей состоит тест, какое количество времени дается на его выполнение, какой стратегии должен придерживаться испытуемый (например, если не знаете ответ на задание, приступайте к выполнению следующего), что надо сделать, чтобы записать правильный ответ. Если тест включает различные формы заданий, то при смене форм, перед каждым субтестом дается дополнительная инструкция по выполнению данной формы задания.
Далее, после инструкции располагаются пронумерованные тестовые задания. Задания в тесте (субтесте), в соответствии с теорией тестирования, должны располагаться по нарастанию трудности, то есть в начало теста включаются легкие задания, потом более сложные.
Тест всегда сопровождается подробной инструкцией для организаторов и наблюдателей тестирования. Данная инструкция должна обеспечить равные условия для всех, кто выполняет тест. Поэтому в этой инструкции четко оговариваются условия тестирования (требования, предъявляемые к помещению, где будет проходить тестирование, количество испытуемых в группе, время тестирования), форма заполнения тестовых бланков (данные испытуемого: имя, возраст, пол, школа и др.; как заносить правильные ответы и т. д.).
2. Надёжность и валидность теста
Основными показателями качества теста являются надежность и валидность теста. А так как тест является инструментом педагогического измерения, то эти показатели имеют численное значение и определяются с помощью различных методов как в классической теории тестов, так и в современной теории тестов.
Надежность - это характеристика теста, отражающая точность педагогического измерения, а также устойчивость результатов тестирования к воздействию посторонних (случайных) факторов.
Для оценки надежности нормативно-ориентированного теста используются две группы методов.
1. Двукратное тестирование:
– ретестовый метод;
– метод параллельных форм.
2. Однократное тестирование (метод расщепления теста).
Оценка надежности чаще всего строится на подсчете корреляции двух наборов результатов выполнения одного и того же теста или двух его параллельных форм. Чем выше корреляция, тем надежнее тест.
Ретестовый метод.
Данный метод оценки надежности предполагает двукратное проведение одного и того же теста в одной группе испытуемых. Повторное тестирование проводится примерно через 2-3 недели, чтобы учащиеся не слишком сильно забыли проверяемый материал и недалеко продвинулись в изучении нового, то есть уровень их учебных достижений остался примерно прежним.
Ретестовый метод основан на подсчете корреляции индивидуальных баллов испытуемых по результатам выполнения первого и второго тестирования.
Коэффициент надежности (коэффициент корреляции Пирсона):
-
Хорошим коэффициент надежности теста считается, когда показатель колеблется в пределах 0,8 < К < 1.
Данный метод оценки надежности не очень удобен в педагогических измерениях. Временной фактор играет большую роль: временной промежуток не может быть большим - изменится уровень учебных достижений учащихся, но и не должен быть слишком коротким - испытуемые могут помнить задания теста и ответы на них. И в том и в другом случае результаты измерения нельзя использовать для определения надежности теста.
Метод параллельных форм.
Метод параллельных форм предполагает двукратное тестирование одной и той же группы испытуемых тестами, которые идентичны по содержанию, структуре, включают задания тождественные по трудности, дифференцирующей способности и др., то есть параллельными формами теста.
Коэффициент надежности:
xi – индивидуальный балл i-ого студента при ответе на тест X
yi – индивидуальный балл i-ого студента при ответе на тест Y
N – число студентов
Главная трудность применения этого метода в том, что прежде чем использовать параллельную форму теста, разработчику надо создать новый тест, тождественный первому, и доказать идентичность, а это очень трудоемкая процедура. Поэтому этот метод, с практической точки зрения, малоэффективен.
Однократное тестирование (метод расщепления теста).
Этот метод удобен в практическом применении, так как ограничивается однократным тестированием. Метод расщепления теста основан на допущении параллельности двух половин теста и предполагает деление результатов тестирования на две части: данные по нечетным заданиям теста (Х) и по четным (У). Корреляция двух половин тестов возрастает по мере роста однородности (гомогенности) теста. Поэтому метод расщепления теста называют методом оценки внутренней согласованности и используют для определения гомогенности теста.
Коэффициент надежности вычисляется по формуле:
, где результат первого тестирования – это результаты по нечетным заданиям, а второго – по четным заданиям.
Так как подсчет надежности (К) ведется по расщепленному тесту, который в два раза короче, то оценка надежности исходного корректируется по формуле Спирмена-Брауна
В практике педагогических измерений часто используется способ оценки надежности с применением формулы Кьюдера-Ричардсона. Она может применяться только в том случае, когда выполнение задания оценивается дихотомически (1 балл - правильно; 0 баллов - неправильно).
Рассмотренные выше методы определения надежности подходят только для оценки нормативно-ориентированных тестов. По мнению многих тестологов, эти методы нежелательно использовать для вычисления надежности критериально-ориентированного теста, так как дисперсия тестовых баллов в критериально-ориентированном тесте небольшая (здесь не нужна большая дифференциация баллов испытуемых), а соответственно и корреляционная оценка надежности будет низкой.
Поэтому предлагается другая методика оценки надежности. Надежность теста, ориентированного на область содержания, может быть измерена как постоянство результатов тестирования для испытуемых, которым предлагается два набора тестовых заданий, которые соответствуют одному и тому же содержанию.
Практически это выглядит следующим образом. Группа испытуемых выполняет два идентичных теста или два теста объединяются в один, при этом вопросы перемежаются: (1 вариант – 1 вопрос, 2 вариант – 1 вопрос, 1 вариант – 2 вопрос, 2 вариант – 2 вопрос и т. д.). По итогам тестирования испытуемые делятся на две группы: получившие зачет и не получившие зачет по двум тестам (по частям расщепленного теста). Далее проводится сравнение результатов тестирования по двум вариантам или, во втором случае, по вариантам расщепленного теста. По результатам теста составляется таблица сопряжения.
Численный показатель коэффициента надежности критериально-ориентированного теста вычисляется с помощью ?-коэффициента корреляции.
Вычисляется также ?-коэффициент как показатель критериально-ориентированного теста по формуле:
? = (P - Pc)/(1 - Pc),
где P = A + D - доля испытуемых, получивших «зачет» и «незачет» и в первой, и во второй форме теста; Pc - вероятность случайного принятия согласованного решения.
Pc вычисляется по формуле:
Pc = (c + d)(d + b) + (a + b)(c + a)
Каппа-коэффициент может принимать значения от -1 до 1. Если создается тест для аттестации по итогам определенной ступени обучения, то рекомендуется вычислять и коэффициенты. Их величины должны быть больше 0,8 (0,85) и приблизительно равны между собой, что свидетельствует о хорошей надежности теста.
Валидность (от англ. Validity - значимость, обоснованность, пригодность) - это характеристика способности теста служить поставленной цели измерения, то есть способность теста измерять то, для чего он предназначен.
Выделяют несколько видов валидности, которые отражают различные аспекты этого критерия качества теста (А. Анастази; А.Н. Майоров): содержательную, критериальную и конструктную (концептуальную) валидность [2].
1. Содержательная валидность (content validity) - соответствие теста как измерительного инструмента той области содержания, знания и умения, которую проверяют данным тестом. В зависимости от выбранного подхода при создании теста предъявляются различные требования к содержательной валидности. Для критериально-ориентированных тестов одно из требований содержательной валидности - полнота отображения, а в некоторых случаях – детализация проверяемой области содержания. При нормативно-ориентированном подходе тест можно охарактеризовать как валидный по содержанию, если он будет хорошо дифференцировать испытуемых и отражать самые важные характеристики этого теста.
Валидность по содержанию закладывается в тест уже на этапе работы со спецификацией теста и отбора его содержания. Для педагогических тестов содержательная валидность очень важна и оценивается экспертным путем.
2. Критериальная валидность - это характеристика теста, отражающая обоснованность, значимость его результатов, по сравнению с некоторой внешней переменной (степень соответствия между результатами тестирования и внешним критерием).
Критериальную валидность определяют как корреляцию результатов тестирования с некоторым внешним критерием. В качестве внешнего критерия могут браться результаты испытуемых по другому тесту, отметки, выставленные по методике традиционного оценивания. Критериальная валидность, в зависимости от выбранного критерия, может быть текущей (внешний критерий - текущие оценки) или прогностической (критерий - некоторый будущий результат).
Для оценки критериальной валидности необходимо составить таблицу с результатами тестирования и список тех же студентов с экспертной оценкой преподавателя (-ей). В качестве критерия берем оценки преподавателей при традиционной проверке знаний без использования тестов.
Формула:
sx2 – дисперсия индивидуальных баллов,
N – число студентов.
Критериальная валидность измеряется от –1 до 1, валидность более 0,3 считается удовлетворительной.
3. Конструктная (концептуальная) валидность.
Об этом виде валидности говорится в том случае, если представление об измеряемом феномене существует только в проекте и требует доказательства. Разработчик теста только предполагает о том, как будет проявляться объект измерения. Чаще всего это относится к психологическим тестам. Для педагогических тестов понятие конструктной валидности применимо в процессе разработки теста, когда его качественные и количественные характеристики еще не имеют определенных характеристик. Для выявления валидности на этапе создания теста используются методы корреляционного и факторного анализа.
3. Психологические аспекты тестирования
К человеку, проводящему тестирование, предъявляются определенные требования.
1. Отсутствие влияния экспериментатора (педагога) на результаты тестирования.
Повлиять на результаты можно различными способами. Часто педагоги даже не подозревают об этом влиянии. Например, повлиять может интонация, с которой читаются вопросы или варианты ответов (когда неосознанно выделяются голосом или произносятся в ином темпе правильные варианты), невербальные проявления (кивки головой, жесты и др.). Для того чтобы избежать влияния экспериментатора необходимо соблюдать следующие требования:
- тексты заданий или вариантов ответов не читаются вслух, а даются испытуемым в печатном виде,
- шрифт всех заданий и вариантов ответов должен быть одинаков,
- экспериментатор не отвечает на вопросы, не объясняет содержания заданий, не комментирует варианты ответов и задания.
2. Соблюдение одинаковых для всех условий тестирования.
Все тестируемые должны проходить тестирование в одинаковых условиях. Для этого необходимо четко соблюдать инструкцию для испытуемых и инструкцию для экспериментатора. Соответственно, в этих инструкциях должны быть четко указаны все необходимые для тестирования условия (сроки проведения, требования к помещению и оборудованию, требования к уровню квалификации экспериментатора и др.).
3. Объяснение результатов тестирования испытуемым.
Испытуемым необходимо предоставить информацию о полученных результатах, при этом рассказать о результатах необходимо, с одной стороны, объективно, с другой стороны, таким образом, чтобы испытуемый полностью понял всю информацию.
4. Соблюдение этических требований.
Существует несколько профессиональных этических принципов, обязательных для представителей всех профессий, работающих с людьми. Например, международный этический стандарт психологов включает в себя принципы ответственности (за свою работу и принимаемые решения), компетентности, этической и юридической правомочности, квалифицированной пропаганды профессии психолога, конфиденциальности (сохранения профессиональной тайны), благополучия клиента, информирования клиента о целях обследования, морально-позитивного эффекта исследования, гражданственности и патриотизма.
Лекция 8
ВИДЫ ТЕСТОВ И ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ
1. Классификация педагогических тестов
По целям использования выделяют (классификация предложена Гронлундом, ее же придерживаются М.Б. Челышкова, А.Н. Майоров):
1) входное тестирование (обеспечивает проверку знаний и умений в начале обучения);
2) формирующее и диагностическое тестирование (предполагает контроль формирования новых знаний и умений в процессе обучения, обеспечивает текущий контроль);
3) тематическое, итоговое, рубежное тестирование обеспечивает определение итоговых достижений [16].
Два подхода к разработке тестов
1) нормативно-ориентированный,
2) критериально-ориентированный.
Соответственно различают два вида тестов:
– нормативно-ориентированный (позволяет сравнивать уровень учебных достижений испытуемых друг с другом);
– критериально-ориентированный (служит для определения уровня освоения учащимся содержания какого-либо предмета, дисциплины, раздела, темы) [5].
Таблица 4
Сравнительный анализ нормативно-ориентированных
и критериально-ориентированных тестов
НОПТ
КОПТ
Цель тестирования
Сравнение уровня достижений испытуемых друг с другом
Оценка уровня достижений в соответствии со степенью освоения знаний и умений определенной области содержания
Критерий оценки
Стандартизированные нормы
Достаточная доля (%) проверяемого материала
Область содержания
Задания на проверку наиболее значимых элементов содержания
Для более полного охвата содержания составляется детальная спецификация теста (план), отражающая все элементы содержания
Сфера применения
Конкурсные отборы
(вступительные экзамены в вузы)
Оценка итогового уровня обученности (начальное, среднее, высшее образование); оценка эффективности программы обучения
Характеристика тестовых заданий
Задания должны быть среднего уровня трудности (от 0,3 до 0,7) и высокой дифференцирующей способности (больше 0,3)
Задания должны соответствовать спецификации и элементам проверяемого содержания. Задания могут быть различного уровня трудности.
Классификация видов тестов
По средствам предъявления педагогические тесты делятся на:
1) бланочные (испытуемые отмечают или вписывают правильные ответы на бланке);
2) компьютерные (задания высвечиваются на мониторе компьютера).
По степени однородности задач:
1) гомогенные (контроль знаний и умений по одному предмету, дисциплине);
2) гетерогенные (измерение уровня подготовленности по нескольким учебным предметам).
а) полидисциплинарный (проверка знаний по нескольким дисциплинам)
б) междисциплинарный (проверка знаний и умений в смежных дисциплинах (математика-физика, химия-биология, история-культурология)).
Типы тестов
I. Открытые (испытуемый сам записывает правильный ответ)
Формы тестовых заданий открытого типа
а) задания на дополнение (краткий ответ: формула, числовое выражение, слово и др.).
б) задания со свободно конструируемыми ответами (ответ в свободной, развернутой форме: решение задачи с пояснениями, небольшое сочинение. Должна оговариваться полнота ответа для получения максимального балла).
II. Закрытые (предполагают выбор правильного ответа из предложенных вариантов. Оптимальное количество альтернативных ответов - 4-5. Неправильные, но правдоподобные ответы, то есть похожие на правильные, называются дистракторами (от англ. distract - отвлекать).
Формы тестовых заданий закрытого типа
а) задания альтернативных ответов (задания с двумя ответами: да - нет, правильно - неправильно). Имеют очень высокий процент угадывания (50%), их одиночное использование в тесте считается неэффективным;
б) задания с выбором нескольких правильных ответов;
в) задания на установление соответствия;
г) задания на установление правильной последовательности.
Требования к заданиям на дополнение.
1. Нацеленность каждого задания лишь на одно дополнение, место дополнения обозначается прочерком.
2. Постановка дополнения в конце задания.
3. Равная длина всех прочерков в тексте.
4. Указание единиц измерения после прочерка (при необходимости).
5. Исключение повторов и двойного отрицания в тексте задания.
Требования к заданиям с выбором ответов.
1. Краткая и четкая формулировка задания и вариантов ответа, исключение двусмысленности.
2. Наличие основной, полной информации в задании к тесту, избегание повторяющихся слов и выражений в вариантах ответа.
3. Соблюдение правил грамматики и сочетаемости при формулировании текста задания и ответов.
4. Исключение двойного отрицания.
5. Наличие только одного правильного ответа.
6. Избегание слов: «все», «ни одного», «никогда», «всегда» и выражений «все перечисленные», «ни один из перечисленных» (могут способствовать угадыванию правильного ответа).
7. Одинаковая привлекательность дистракторов, их связь с содержанием тестируемого раздела.
8. Формулирование задания и вариантов ответа исключающих наличие ключа для других заданий.
9. Исключение заданий, выполнение которых основывается на субъективном мнении испытуемого.
Требования к заданиям на установление соответствий.
1. Выбор элементов двух множеств по одному основанию.
2. Размещение в тексте задания названий каждого столбца (обобщающее определение множества).
3. Наличие нескольких правдоподобных дистракторов в правом списке.
4. Указание в инструкции к заданию о наличии дистракторов и о количестве возможных использований элементов второго списка.
5. Число элементов одного списка не должно превышать 10.
6. Расположение всех заданий на одной странице, недопущение переноса отдельных элементов. В изложении темы использованы материалы курса лекций Ю.А. Воронина и др. [3].