Контент-анализ как метод педагогической диагностики

Контент-анализ как метод педагогической диагностики Лекция 5  процедуры, с помощью которых можно определенным образом формализовать анализ текста и получить некоторые числовые оценки  метод качественно-количественного анализа социальной информации (Краткий словарь по социологии) Контентанализ: подходы к определению  систематическая числовая обработка, оценка и интерпретация формы и содержания информационного источника (Мангейм Дж.Б., Рич Р.К. Политология. Методы исследования. – М., 1997.)  количественный анализ текстов и текстовых массивов с целью последующей содержательной интерпретации выявленных числовых закономерностей ( Энциклопедия «Кругосвет»)  исследовательская техника объективного, систематического и количественного описания очевидного содержания коммуникаций (Bereisen В. Content-analysis // Handbook of Social Psychology / Ed. by G. Lindrey. L., 1959.).  Содержательный анализ продуктов деятельности, письменного творчества испытуемого по заранее определённой схеме с переводом в количественные показатели и статистической обработкой Контентанализ Количественный анализ качественной информации, содержащейся в документах Контент-анализ в первую очередь направлен на определение частоты появления в тексте определенных характеристик содержания Достоинство: возможность получить сведения о прошедших событиях, наблюдать которые уже невозможно В общем случае - изучение содержания текста Контентанализ: предмет Под текстом может пониматься и текст в прямом смысле слова, и графическая, и аудио, видео - информация, либо комбинация разного типа на материальном носителе - документ Специально созданный человеком предмет, цель которого передача или хранение информации • По типу авторства и степени персонификации: личные, общественные Документ в диагностике это • По способу фиксирования: письменные, изобразительные, фонетические • По отношению к источнику: первичные, вторичные • По статусу источника: официальные, неофициальные • По способу получения: естественные, целевые Применение контентанализа в педагогических исследованиях 1) Анализ нормативных документов большого объема, однотипной школьной документации большого числа школ, анализ печатной продукции педагогов - учебных пособий, методических рекомендаций, научных статей. Здесь контент-анализ может использоваться при исследованиях сравнительно-исторического и теоретического характера 2) Анализ работ учащихся (сочинений, изложений, других творческих работ, включая рисунки, компьютерные презентации и пр.) может использоваться при решении широкого спектра психологопедагогических и социально-педагогических проблем 3) Анализ информационных массивов, полученных при применении других методов исследования. Так, например, контент-анализ используется для обработки результатов видеосъемки или стенограмм непосредственного наблюдения, аудиозаписей или стенограмм бесед, интервью, а также для обработки результатов ответов на «открытые» (т.е. подразумевающие произвольный текстовый ответ) вопросы анкет  Постановка цели диагностики Общая схема реализации метода контентанализа  Определение смысловых единиц исследуемого явления: интересуемая проблема, критерий  Формирование эмпирических индикаторов смысловых единиц  Определение списка исследуемых документов и их необходимых характеристик  Определение правил обработки способов проявления эмпирических индикаторов (группировка, подсчёт объёма, частоты и т.д.) 1. Определение той совокупности текстов, которую мы собираемся изучать и целей их изучения Совокупность текстов, подлежащих изучению, определяется с помощью набора заданных критериев, которым должен отвечать каждый документ Подготовка к контентанализу: первый шаг К этим критериям относятся:  тип текстового документа  способ его распространения  место появления (распространения)  частота появления  минимальный объем или длина  время появления Однородность! Общественная • Законы  Письма  Автобиографии • Планы • Инструкции  Мемуары • Приказы  Дневники  Воспоминания • Отчёты • Статьи в СМИ  Интервью • Фольклор Личная Личная и общественная документация Педагогическая • Расписание • Программы • Планы • Журналы • Протоколы • Дневники • Личные дела • Конспекты • Сочинения  Письменные  Графические  Творческие Работы обучающихся • • • • • • Сочинения Рефераты Отчёты Дневники Рисунки Поделки • • • • • Классные • Домашние Контрольные Самостоятельные Творческие Продукты «свободного времени» 2. Принятие решения о единице анализа. Единица анализа – это некоторый элемент или признак, встречающийся в тексте. Подготовка к контентанализу: второй шаг Таким простейшим элементом может быть слово. В простейшем варианте метод состоит в том, что устанавливаются определенные ключевые слова и подсчитывается частота их употребления в исследуемых документах. При этом более правильно считать не общее количество, а относительную частоту, которая вычисляется как отношение абсолютной частоты к длине анализируемого текста. Если обозначить f(c,t) – абсолютную частоту встречаемости характеристики c (в частности, определенного слова) в тексте t, а l(t) – длину текста в каких-либо единицах измерения, то относительная частота будет вычисляться как ! Проблема – слово может употребляться в разном контексте! Смысловыми единицами контент-анализа могут быть:  понятия (выраженные в отдельных терминах или с указанием списка синонимов) Подготовка к контентанализу: второй шаг  темы (возможно, соответствующие общей теме исследования или каким-то ее частям);  персонажи (имена, фамилии людей)  события, факты, действия, ситуации Контент-анализ, основанный на исследовании слов, тем и сообщений о персонажах или событиях, сосредоточивает внимание исследователя на содержании сообщения, на том, о чем в нем говорится. Это означает, что исследователь должен создать своего рода словарь ключевых слов и словосочетаний Определение единицы счета (могут совпадать либо не совпадать с единицами анализа) В 1 -м случае процедура «измерения» сводится к подсчету частоты упоминания выделенной смысловой единицы, во 2-м — исследователь на основе анализируемого материала и здравого смысла сам определяет единицы счета, которыми могут быть:  физическая протяженность текстов, число знаков (букв), строк, абзацев и т.п Подготовка к контентанализу: третий шаг  площадь текста, заполненная смысловыми единицами  число строк (абзацев, знаков, колонок текста)  длительность трансляции по радио, ТВ и т.п.  метраж пленки при аудио- и видеозаписях  количество рисунков с определенным содержанием, сюжетом и пр. В итоге в контент-аналитической процедуре мы можем оперировать со следующими единицами измерения:  количество появлений искомого признака в тексте  какая-то из указанных выше характеристик «протяженности» текста с искомым признаком  относительная частота (количество появлений или «протяженность», деленная на общий объем). В социально-педагогических исследованиях часто встает задача анализа множества текстов, сочинений, записей интервью или иных документов, относящихся к разных разным респондентам. Подготовка к контентанализу: третий шаг В таких случаях для оценки значимости некой единицы анализа i в среднем для данной совокупности респондентов используют следующий показатель частотности: где f(i,t) – частота встречаемости единицы анализа i в тексте t, n – общее число текстов (респондентов). Ядро концептуального контент-анализа составляет модель предмета анализа, включающая: 1) категориальную модель предмета анализа 2) систему единиц счета 3) определение мер (единиц) измерения Результат подготовительно го этапа - ядро концептуального контент-анализа В реальной практике исследований категориальная модель строится поэтапно, в процессе накопления фактов и осмысления задач исследования и первичного пилотажного исследования текста: 1) Формулировка целей и задач контент-анализа исходя из общих целей и задач педагогического исследования, его объекта, предмета 2) Выделение смысловых единиц анализа (понятий, тем, качеств объекта исследования) 3) Составление перечня категорий анализа – в качестве категорий могут выступать основные понятия или базовые характеристики объекта исследования и соответствующие им признаки, эмпирические референты 4) Составление классификаций, типологий признаков объекта и строгое описание процедуры фиксации единиц счета в тексте и их отнесения к соответствующим категориям и разделам типологий. Должны быть:  уместными, т.е. соответствовали решению исследовательских задач Категории контентанализа  исчерпывающими, т.е. достаточно полно отражающими смысл основных понятий исследования  взаимоисключающими (одно и то же содержание не должно входить в различные категории в одинаковом объеме)  надежными, т.е. такими, которые не вызывали бы разногласий между исследователями по поводу того, что следует относить к той или иной категории в процессе анализа документа Контент-анализ как количественный метод допускает введение дополнительных количественных оценок той или иной единицы анализа. Например, возможно оценивать интенсивность проявления какого-либо чувства пишущего при упоминании той или иной изучаемой характеристики, персонажа и т.п. Пример: Категории контентанализа  Баллом «1» оценивалось простое упоминание изучаемого фактора («У нас в детском саду была воспитательница»), баллом «2» – упоминание в сравнительной степени («У нас была хорошая воспитательница»), баллом «3» – упоминание в превосходной степени («Я очень любила свою воспитательницу и хотела стать воспитательницей, когда вырасту»).  Введена дополнительная характеристика – «знак» отношения: если события или персонажи упоминались как положительные, оценка ставилась со знаком «+», если как отрицательные, то ставился знак «-».  Положительные и отрицательные упоминания по каждой категории складывались с учетом «весовых баллов», и общая сумма делилась на число респондентов, упоминавших данную категорию в своих автобиографических сочинениях.  В итоге определялась относительная значимость различных категорий путем их сравнения друг с другом  Классификатор контент-анализа Рабочие документы проведения контентанализа  Протокол итогов анализа, который имеет второе обозначение – бланк контент-анализа  Кодировальная матрица  Инструкция исследователю, непосредственно занимающемуся регистрацией и кодировкой единиц счета  Каталог (список) проанализированных документов  Общая таблица, в которую сведены все категории (и подкатегории) анализа и единицы анализа. Классификатор контентанализа  Ее основное предназначение – предельно четко зафиксировать то, в каких единицах выражается каждая категория, используемая в исследовании.  Классификатор подобен анкете, где категории анализа играют роль вопросов, а единицы анализа – ответов.  Он является основным методическим документом контент-анализа, определяющим содержание всех прочих инструментов этого метода Протокол (бланк) контент-анализа содержит: • сведения о документе (его авторе, времени издания, объеме и т.п.); Протокол (бланк) контентанализа • итоги его анализа (количество случаев употребления в нем определенных единиц анализа и следующие отсюда выводы относительно категорий анализа) В случаях проведения контент-анализа по сложной классификационной схеме для регистрации единиц анализа часто составляется специальная таблица — кодировальная матрица. Ее форма и вид может быть различной, все зависит от конкретной задачи, объема выборки и т.д.  протокол контент-анализа каждого конкретного документа заполняется на основе подсчета данных всех кодировальных матриц, относящихся к этому документу Инструкция кодировщику — система правил и пояснений для того, кто будет собирать эмпирическую информацию, кодируя (регистрируя) заданные единицы анализа. Инструкция кодировщику В инструкции точно и однозначно излагается алгоритм действий кодировщика даются правила работы с классификатором, кодировальными матрицами и протоколом приводятся конкретные примеры из текстов, являющихся объектом исследования, оговаривается, как следует поступать в спорных случаях, и т.д. 1. Анализ документов опережает разработку исследовательской программы. 2. Анализируются документы, не связанные с гипотезами исследования (имеющие сходство с темой исследования лишь по названию). 3. Не проверена подлинность документа, Не уточнено его авторство. 4. Неполно учтено его предназначение. 5. Категории анализа не определены до такой степени, которая позволяет четко различать смысловые единицы текста документа. Ошибки использования контентанализа 6. Категории анализа не упорядочены в иерархическую систему и не приведены в соответствие с терминами или их операционализациями, которые зафиксированы в программе исследования. 7. Категории анализа несопоставимы со смыслом и языком текста анализируемого документа. 6. Единицы анализа характеризуют категории анализа лишь внешне, а не по существу, а поэтому единицы анализа не позволяют идентифицировать содержание документа в полном соответствии с категориями анализа. 9.Анализ документа ведется без предварительной подготовки всего комплекса методических инструментов. 10.Классификатор имеет недочеты, составлен с нарушением правил логики. 11.Регистраторы (кодировщики) не получили должной методической подготовки. 12.Инструкция по регистрации и кодировке недостаточно полная, составлена исследователем, который сам предварительно не апробировал инструментарий. 13.Кодировка не соответствует программе математической обработки данных исследования. 14.Результаты контент-анализа не перепроверены информацией, собранной иными методами Проектируем диагностику на основе метода контентанализа Какую роль играют одноклассники в жизни ребёнка?