КОНСТРУИРОВАНИЕ ТЕСТОВ И АНАЛИЗ РЕЗУЛЬТАТОВ

ТЕСТОВОГО КОНТРОЛЯ ЗНАНИЙ

Ершиков Сергей Михайловичдоцент, специалист по мониторинговым

исследованиям отдела менеджмента качества ЯГМА

2

Многим кажется, что задание в тестовой форме придумать легко, а потому этому не надо учиться. На самом же деле создание настоящего задания всегда является результатом творческой композиции, умелым соединением формы и содержания. Можно сказать, что для создания хороших заданий необходимо научиться соединять педагогику с творчеством и искусством.

Аванесов В.С. Форма тестовых заданий. М., 2005

3

История возникновения и развития тестового контроля

• Вклад Ф. Гальтона в развитие теории тестов – определение трех основных принципов:1. Применение серии

одинаковых испытаний к большому количеству испытуемых.

2. Статистическая обработка результатов.

3. Выделение эталонов оценки.

Френсис Гальтон (F. Galton; 1822–1911)

4

История возникновения и развития тестового контроля

Джеймс Кеттелл (J. Cattell, 1860 - 1944)

Эдуард Ли Торндайк (E. Thorndike, 1874 – 1949)

5

История возникновения и развития тестового контроля – Россия

• До 1917 года вопросам тестирования уделялось недостаточное внимание.

• 1925 год - создание Тестовой комиссии при педагогическом отделе Института методов школьной работы. В ее задачи входила разработка стандартизированных тестов для советской школы.

• Начиная с 1926 года – разработка тестов по природоведению, обществоведению, счету, решению задач, знанию географической карты, на понимание чтения и правописание. К этим тестам прилагались инструкции и личная карточка для учета прогресса учащегося.

• 1936 год – постановление ЦК ВКП(б) «О педологических извращениях и системе Наркомпросов». Метод тестов был признан буржуазным орудием для дискриминации учащихся и «изгнан» из советской школы.

6

История возникновения и развития тестового контроля – Россия

• В.С.Аванесов – доктор педагогических наук, профессор

• Автор ряда учебных пособий по основам научной организации педагогического контроля в высшей школе

• Главный редактор журнала «Педагогические измерения»

• Его сайт в Интернете – www.testolog.narod.ru Аванесов Вадим Сергеевич

(род. 1937)

7

Основные определения• ИЗМЕРЕНИЕ — операция для определения отношения

одной (измеряемой) величины к другой однородной величине, которая берется за единицу. Получившееся значение будет численным значением измеряемой величины. Наука, предметом изучения которой являются все аспекты измерений, называется МЕТРОЛОГИЕЙ.

• ПЕДАГОГИЧЕСКОЕ ИЗМЕРЕНИЕ - это процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда.

8

Основные определения

• ТЕСТИРОВАНИЕ - это метод педагогической диагностики, с помощью которого выборка поведения, репрезентирующая предпосылки или результаты учебного процесса, должна максимально отвечать принципам сопоставимости, объективности, надежности и валидности измерений, должна пройти обработку и интерпретацию и быть готовой к использованию в педагогической практике (К.Ингенкамп).

• ПЕДАГОГИЧЕСКИЙ ТЕСТ – система тестовых заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых (В.С.Аванесов, 2005).

9

Классификация тестов

• С точки зрения подхода к анализу результатов тестирования различают: НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ ТЕСТ. Цель

– упорядочение испытуемых по уровню их подготовленности.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ ТЕСТ. Цель – выяснение, знает ли испытуемый стандартный учебный материал (предмет, раздел, тему).

10

Классификация тестов

• По процедуре создания различают: стандартизированные тесты - по процедуре и условиям

проведения тестирования, способам обработки и интерпретации результатов; цель - создание равных условий для испытуемых и минимизация случайных ошибок и погрешности как на этапе проведения, так и на этапе обработки результатов и интерпретации данных.

нестандартизированные тесты.• Для целей итоговой аттестации учащихся можно

использовать только стандартизированный тестовый инструмент.

11

Классификация тестов

• По средствам предъявления: «бумага и карандаш»• с использованием тестовых тетрадей,• с использованием бланков,

предметные аппаратурные практические компьютерные• адаптивные

12

Классификация тестов• По степени однородности задач:

– гомогенные - имеют одну шкалу, позволяют оценить одно свойство и включают задачи, сходные по характеру, но различающиеся конкретным содержанием; создаются для контроля знаний по одной учебной дисциплине или по одному её разделу.

– гетерогенные (многоразмерные) – имеют несколько шкал, позволяют оценить разнообразные характеристики личности и включают задания, отличающиеся и по характеру, и по содержанию; создаются с целью объективного, качественного, и эффективного метода оценки структуры и измерения уровня подготовленности учащихся по нескольким учебным дисциплинам.

– интегративные тесты - разновидность гетерогенных тестов, содержат задания, ответы на которые требуют от учащихся знаний различных дисциплин и умений применять такие знания.

13

Классификация тестов

• По целям использования (согласно Гронлунду): определяющий тест – для оценки знаний или

поведения студента в начале обучения; формирующий тест – для оценки прогресса,

достигнутого в процессе обучения; диагностический тест – для оценки трудности

обучения и их источников во процессе обучения; суммирующий тест – для оценки основных

достижений в конце обучения.

14

Показатели качества тестов

• Надежность измерения - степень точности, с какой может быть измерен тот или иной конкретный признак.

• Надёжность теста характеризует воспроизводимость его результатов.

• Характеризуется коэффициентом надежности: это корреляционный коэффициент, показывающий степень совпадения результатов тестирования осуществленного в одинаковых условиях одним и тем же тестом.

15

Показатели качества тестов• Валидность теста – комплексная характеристика теста,

отражающая его способность измерять именно то, для чего он предназначен.

• Характеризует возможности генеральной совокупности заданий в тестируемой области знаний оценить объект измерений теста.

• Различают валидность: – содержательную (насколько адекватно задания теста отражают

смысл измеряемого явления?), – конструктную (насколько хорошо тестирование может быть

объяснено в терминах психологических характеристик?) – критериальную (насколько точно результаты тестирования

согласуются с известными объективными критериями?).

16

Задание в тестовой форме

• Педагогическое средство, отвечающее следующим требованиям:1. цель;2. краткость;3. технологичность;4. логическая форма высказывания;5. определенность места для ответов;6. одинаковость правил оценки ответов;7. правильность расположения элементов задания;8. одинаковость инструкции для всех испытуемых;9. адекватность инструкции форме и содержанию задания

17

Задание в тестовой форме и тестовое задание

• Отличие задания в тестовой форме от тестового задания в том, что первое становится вторым только после статистической проверки.

• Согласно В.С.Аванесову, тест состоит не из заданий в тестовой форме, не из вопросов и задач, а только из тестовых заданий.

• Таким образом, называть тестом набор заданий в тестовой форме, не прошедших статистическую проверку, является неправильным.

18

Тестовое задание

• составная единица теста, отвечающая требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям: известной трудности; дифференцирующей способности (достаточной

вариации тестовых баллов); положительной корреляции баллов задания с

баллами по всему тесту, а также другим математико-статистическим требованиям.

19

Трудность заданий

• Вначале определяется умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения заданий.

• Затем следует эмпирическая апробация, с подсчетом доли неправильных ответов qj в каждом задании j.

20

Дифференцирующая способность

• Способность различать сильных и слабых студентов– Если на какое-то задание правильно отвечают

все тестируемые, то такое задание является настолько легким, что оно теряет из-за этого существенное свойство быть тестовым заданием.

– Нет дифференцирующей способности и у очень трудного задания, где нет ни одного правильного ответа; такое задание подлежит удалению из проектируемого теста.

21

Локальная независимость тестовых заданий

• ответ испытуемого на каждое тестовое задание не подвергается влиянию и статистически независим от ответа на любое другое тестовое задание.

• испытуемый, отвечая на задание, не может использовать добавленное знание, полученное из ответа на любое другое тестовое задание

• компьютерные тестирующие программы не должны информировать испытуемого об успешности выполнения очередного задания

22

Время тестирования

• время тестирования определяется по расположению максимума дисперсии тестовых результатов и не должно превышать 60 минут;

• длина теста не должна превышать 60-70 заданий, в предположении, что на выполнение одного задания требуется не более одной минуты;

• тестирование необходимо проводить в первой половине дня;

• тестирование желательно проводить в середине недели

23

Основные этапы конструирования тестов

• целеполагание; • создание спецификации; • составление плана теста; • разработка тестовых заданий; • проведение пилотного тестирования; • анализ полученных результатов

24

Классификация целей обучения (таксономия Блума)

Обобщенные учебные цели (планирует преподаватель) Конкретизируемые учебные цели (достигаются студентом)

Знания на уровне запоминания и воспроизведения

Знает смысл употребляемых терминов,Знает основные понятия и определения,Знает формулы, законы, принципы

Знания на уровне понимания Понимает и интерпретирует термины,Интерпретирует понятия и определения,Преобразует словесный материал в математические выражения,Интерпретирует словесный материал на схемах и графиках

Умения по применению знаний в известной и незнакомой ситуации

Умеет применять термины, понятия и определения в знакомой ситуации по образцу,Умеет применять формулы, законы и принципы, Использует законы и принципы в новых ситуациях,Осуществляет перенос известных принципов на незнакомые ситуации

25

Классификация целей обучения (таксономия Блума)

Обобщенные учебные цели (планирует преподаватель)

Конкретизируемые учебные цели (достигаются студентом)

Анализ Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач,Выделяет скрытые предположения,Проводит различия между фактами и следствиями

Синтез Пишет рефераты, проекты и т.п.Предлагает план проведения эксперимента,Решает проблемы на междисциплинарном уровне путем переноса знаний из одной дисциплины в другую

Оценка

Сопоставляет факты,Приводит оценочные суждения,Выбирает оптимальный вариант из предложенных к рассмотрению

26

Спецификация теста

• Правила, по которым должны разрабатываться задания. Включает:1. Цель создания теста.2. Ссылки на исходные документы (стандарты, учебные

программы, учебники)3. Число заданий в каждом варианте теста.4. Число вариантов теста.5. Тип заданий с указанием количества и процентного

содержания заданий каждой формы.6. Число ответов к заданиям закрытой формы (с выбором

одного правильного ответа либо нескольких правильных ответов).

27

Спецификация теста (продолжение)

7. Рекомендуемый автором вес заданий каждой формы при подсчете баллов тестирования, рекомендации по засчитыванию вариативных заданий.

8. Рекомендуемое время выполнения теста и среднее время выполнения заданий разных форм.

9. Структура теста по разделам (содержательным линиям) и видам деятельности испытуемых (знаниям, умениям и навыкам) с подробной расшифровкой. Анализ значимости тем (большим количеством заданий должны быть представлены темы, изучение которых завершено или наиболее важно для дальнейшего обучения).

10. Методика формирования параллельных вариантов тестов.11. Рекомендации автора по срокам апробации.12. Общая характеристика охвата тестом требований программы и рекомендации

по дополнительным формам проверки в случае необходимости.13. Степень стандартизации теста и возможность его компьютерной обработки,

требования к программным продуктам, используемым для обработки результатов тестирования, выведения тестового балла участникам тестирования, составления статистического отчета и визуализации его содержания.

28

План теста (пример раскладки заданий)

Разделы учебной

дисциплины

Количество заданий

% к общему числу заданий

I 12 20II 18 30III 24 40IV 6 10

Итого: 60 100

29

План теста (пример общей раскладки числа заданий

Умения и % заданий по

их проверке

Номера разделов, процент и число заданий Всего для проверки каждого уменияI - 20% II - 30% III - 40% IV - 10%

А - 10% 1 2 2 1 6

Б - 30% 4 5 7 1 17

В - 30% 4 5 7 2 18

Г - 20% 2 4 5 1 12

Д - 10% 1 2 3 1 7Итого

заданий12 18 24 6 60

30

Разработка тестовых заданий

• По форме предъявления ответа тестовые задания классифицируют на задания в открытой форме и задания в закрытой форме. Задания в открытой форме – тип тестовых

заданий, предусматривающих свободные ответы обучающихся, по сути это задания без предлагаемых вариантов ответов.

Задания в закрытой форме – тип тестовых заданий, предусматривающий различные варианты ответа на поставленную проблему.

31

Задания в открытой форме

• Пример: Инструкция: Дополните. 1. Система внутренних побуждений человека,

определяющая его избирательную активность называется ________________.

Правильный ответ: направленность. • Тестовые задания данного типа позволяют получать

разностороннюю, развернутую информацию о знаниях обучающегося. Они применяются в случае, когда необходимо проверить знание фактического материала, способность обучающегося интерпретировать данные и применять правила, когда исключается фактор догадки.

32

Задания в открытой форме

• Основные правила составления: в каждом задании должно быть только одно

дополнение (ответ); дополнение (ответ) должно быть наиболее важным

(«ключевым») термином, знание которого является обязательным;

дополнение (ответ) лучше всего располагать в конце предложения;

задание должно формулироваться четко, требовать однозначного ответа и не допускать двоякого толкования.

33

Задания в открытой форме

• Последовательность составления заданий открытого типа: написать определение (принцип, закон); выделить в нем ключевое слово; перестроить фразу так, чтобы это слово

оказалось последним.

34

Задания в закрытой форме

• Из ряда предлагаемых ответов, тестируемый выбирает один или несколько, по его мнению, правильных. Неправильные ответы в заданиях закрытой формы называются дистракторами.

• Основные виды: задания с альтернативными ответами; задания с множественным выбором (одного или

нескольких правильных ответов); задания на установление соответствия; задания на установление правильной

последовательности.

35

Задания в закрытой формеОсновные требования:

1) в тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;2) основная часть задания формулируется предельно кратко, как правило, не более одного предложения из семи-восьми слов;3) задание имеет предельно простую синтаксическую конструкцию, в основной текст задания вводится не более одного придаточного предложения;4) в основную часть задания следует включать как можно больше слов, оставляя для ответа не более двух-трех наиболее важных, ключевых слов для данной проблемы;5) все ответы к одному заданию должны быть приблизительно одной длины либо правильный ответ может быть короче других, но не во всех заданиях теста;6) из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;

36

Задания в закрытой форме7) частота выбора одного и того же номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова либо номер места для правильного ответа выбирается в случайном порядке;8) основная часть задания освобождается от всякого иррелевантного для данной проблемы материала;9) из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст заданий;10) в ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда» и т. п., так как в отдельных случаях они способствуют угадыванию правильного ответа;11) из числа неправильных исключаются ответы, вытекающие один из другого;12) при формулировке дистракторов не рекомендуется использовать выражения «ни один из перечисленных», «все перечисленные» и т.п., так как они способствуют угадыванию правильного ответа;13) из числа тестовых исключаются задания, содержащие оценочные суждения и мнения учащегося по какому-либо вопросу;

37

Задания в закрытой форме14) все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа;15) ни один из дистракторов не должен являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ;16) основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из ответов;17) ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста;18) если задание имеет среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредоточивается только на этих двух ответах;19) все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания теста.

38

Задания с двумя ответами (альтернативные задания)

• Альтернативные задания предусматривают наличие двух вариантов ответов (типа "да" – "нет", "верно" – "неверно" и т.д.).

Пример: Выберите правильный ответ: В крови здорового человека присутствует билирубин. А. да Б. нет Правильный ответ: А

39

Задания с двумя ответами (альтернативные задания)

• Преимущества альтернативных заданий: благодаря краткости позволяют охватить большой объем материала, легко разрабатываются (только один дистрактор), быстро с высокой объективностью обрабатываются результаты

выполнения.• Недостатки альтернативных заданий:

стимулируют механическое запоминание, поощряют угадывание, требуют увеличения количества заданий и, соответственно, времени

тестирования для компенсации эффекта угадывания.• Оценивание серии альтернативных заданий: по принципу «зачёт –

незачёт». • Задания с двумя ответами обычно используют для экспресс-

диагностики

40

Задания с тремя ответами

• появляются вследствие удаления неработающих дистракторов

• высока вероятность угадывания правильного ответа• Пример:

Выберите ОДИН правильный ответ:Импульс, поступающий по блуждающему нерву

А. учащает работу сердцаБ. замедляет работу сердцаВ. не влияет на деятельность сердца

41

Задания с четырьмя и пятью ответами

• Примеры:Выберите ОДИН правильный ответ:

Кожное дыхание преобладает уА. человека разумногоБ. ящерицы прыткойВ. воробья ломовогоГ. озерной лягушки

К средствам обучения относятсяА. содержание, формы, методыБ. цель, содержание, результатВ. формы, методы, результатГ. цель, содержание, формы

• Особенностью последнего задания является сочетание в дистракторах правильных и неправильных элементов.

42

Задания с четырьмя и пятью ответами

• Другой прием повышения правдоподобности дистракторов: сочетание двух альтернативных оснований выбора ответов. В приводимом далее примере задания используется сочетание двух противопоставлений: «зависимо – независимо» и «смешиваются – не смешиваются».

Выберите ОДИН правильный ответ:Гены наследуютсяА. независимо друг от друга и не смешиваются у потомковБ. зависимо друг от друга и не смешиваются у потомковВ. независимо друг от друга, но смешиваются у потомковГ. зависимо друг от друга и смешиваются у потомков

43

Фасетные задания в тесте

• Фасет – форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста.

• Пример:

44

Задания с выбором нескольких правильных ответов

• Используются в текущем тестовом контроле для проверки классификационных и фактуальных знаний

• Пример:

Выберите ВСЕ правильные ответы:Облигатные предраковые процессы красной каймы губ:

А. Бородавчатый предракБ. ЛейкоплакияВ. КератоакантомаГ. Ограниченный предраковый гиперкератозД. Хейлит Манганотти

45

Задания на установление правильного соответствия

• Позволяют проверить ассоциативные знания элементов двух множеств.

• Пример:Установите соответствие:

46

Задания на установление правильной последовательности

• Позволяют проверить процедурные, процессуальные и алгоритмические знания.

• Пример:Установите правильную последовательность:

Основные этапы подготовки и пломбирования полости зуба1. Изоляция полости от слюны2. Выбор и подготовка пломбировочного инструмента, матрицы3. Наложение прокладки4. Высушивание полости5. Замешивание пломбировочного материала6. Повторное высушивание полости7. Моделирование пломбы8. Внесение пломбировочной массы в полость9. Изоляция пломбы от ротовой жидкости

47

Некоторые типичные ошибки при разработке заданий в тестовой форме

1. Вопросительная формулировка. В чем ошибка: задание имеет вопросительную форму. Это неизбежно влечет за собой повторяющиеся слова в вариантах ответов.Что следует сделать: сменить формулировку на утвердительную. Повторяющееся слово вынести из вариантов ответов в условие задания.2. Несогласованная формулировка.В чем ошибка: условие и варианты ответа не согласуются по падежам.Что следует сделать: либо поставить варианты в нужный падеж, либо скорректировать условие задания под варианты.3. Избыточная формулировка.В чем ошибки: Слишком много текста; повторяющиеся слова в каждом варианте. Что следует сделать: 1. Вынести повторяющиеся слова в текст задания. 2. Сделать дистракторы более похожими на правильный ответ, чтобы он не выделялся своей длиной и точностью. 3. Можно сменить тип вопроса на "пропущенное слово" или "поле ввода".

48

Экспертиза тестовых заданий• Экспертиза тестовых заданий – обязательное условие

для создания тестов вне зависимости от уровня их применения.

• В качестве экспертов тестовых заданий могут быть выступать специалисты с большим опытом работы.

• Оценка заданий с точки зрения: соответствия целям тестирования; однозначности формулировки; пригодности вариантов ответов.

• Кроме содержательной экспертизы тестовых заданий, необходима и тестологическая экспертиза

49

Статистическая обработка теста

• Результаты тестирования обычно представляются в виде матрицы с n строками и m столбцами. В ячейки матрицы вносятся баллы за выполнение заданий по дихотомической шкале: 0 – задание не выполнено, 1 – задание выполнено правильно.

50

Статистическая обработка теста1. Вычисляются индивидуальные баллы испытуемых yi, показывающие результат вы-полнения теста каждым студентом.2. Вычисляются средние результаты суммарных баллов испытуемых y.3. Вычисляются средние результаты испытуемых по каждому заданию pj и трудность заданий – долю неправильных ответов qj. Эта доля вычисляется из отношения числа неправильных ответов Wj к числу испытуемых N:

qj = Wj / N

4. Вычисляется дисперсия sy2 и стандартное отклонение sy

суммарных испытуемых.5. Вычисляется дисперсия sy

2 результатов испытуемых по j-ому заданию.

51

Статистическая обработка теста6. Определяется связь каждого j-ого задания с суммой баллов по всему тесту. Для этого можно использовать коэффициент корреляции Пирсона R j.

7. Определяется попарная корреляционная связь заданий между собой. Здесь тоже можно использовать коэффициент корреляции Пирсона.8. Вычисляется индекс дискриминативности задания, то есть его различающая способность, указывающая на возможность разделять отдельных испытуемых по уровню выполнения теста в целом. 9. Из набора тестовых заданий удаляются задания, не обладающие дискриминативностью (менее 0,3), задания слишком легкие (p j>0.8) и слишком трудные (pj <0.2).

10. Для укороченного списка заданий вновь подсчитываются суммарные баллы испытуемых. Затем составляется новая упорядоченная, матрица данных тестирования. Для редуцированной матрицы пересчитываются средний суммарный балл, дисперсия суммарных баллов и коэффициенты корреляции заданий с суммой баллов.

52

Статистическая обработка теста

• оценка качества теста в целом: расчёт коэффициентов надёжности и валидности.

• Если значения коэффициента корреляции Пирсона (r) попадают в интервал 0,80-0,89, то говорят, что тест обладает хорошей надежностью, а если этот коэффициент не меньше 0,90, то надежность можно назвать очень высокой.

• По мнению ведущих диагностов, низким признается коэффициент валидности порядка 0,2 – 0,3, средним - 0,3 – 0,5, высоким - выше 0,6.

53

Использованная литература

• Аванесов В.С. Материалы сайта www.testolog.narod.ru• Адаптивное тестирование : учеб.-метод. пособие / Н. М. Опарина и

др. – Хабаровск, 2007.• Ефремова Н.Ф. Тестовый контроль в образовании. – М., 2007.• Звонников В.И., Челышкова М.Б. Современные средства оценивания

результатов обучения. – М., 2009.• Кейс С.М., Свансон Д.Б. Создание письменных тестовых вопросов по

базовым и клиническим дисциплинам. – Филадельфия, 1996.• Ким В.С. Тестирование учебных достижений. – Уссурийск, 2007.• Майоров А.Н. Теория и практика создания тестов для системы

образования. – М., 2001.• Челышкова М.Б. Теория и практика конструирования педагогических

тестов. – М., 2002.

54

Контактные данные:

• E-mail: smersh2005@gmail.com• Блог: http://ershikovsm.blogspot.com/• Сайт: http://dlmedic.ucoz.ru/• Twitter: @ershikovsm• Facebook:

http://www.facebook.com/sergey.yershikov

Благодарю за внимание!