1	'Конструирование образовательных тестов' Алексей Серебряков
2	"Образовательный тест можно сравнить с..." Образовательный тест можно сравнить с любым другим инструментом измерения (например, линейкой или градусником), при правильном использовании которого можно получать достоверные результаты по выраженности той или иной величины (длины, температуры или, например, уровня знаний по общей психологии) каждого измеренного человека.
3	"В государственном техническом университете города..." В государственном техническом университете города N решили провести итоговой контроль знаний по курсу 'Теоретическая механика' в форме тестирования. Тест состоял из 100 вопросов. На решение теста отводилось полтора часа. Разработку заданий для теста провели опытные преподаватели ВУЗа. Методисты сформировали вариант экзаменационного теста. На учебном совете было решено соотнести оценку 5 с 90 и выше правильными ответами на вопросы теста, оценку 4 с 70 -89% правильно решенных заданий, оценку 3 с 50-69% правильно решенных заданий, оценку 2 ниже 50 % правильно решенных заданий. В результате 8 из каждых 10 студентов на всем потоке НЕ ПОЛУЧИЛИ СТИПЕНДИЮ в этом семестре! (Разразился огромный скандал) Почему?
4	Шкала сырых балов Ответ: примерно 80% всех студентов не смогли (не успели в отведенное время) решить 50 и более заданий экзаменационного теста.
5	Ответ: Не провели экспертизу и не проанализировали адекватность трудности вопросов теста Не провели апробацию, не сделали временных замеров и не оценили нормальность гистограммы распределения сырых баллов Не перешли к стандартизированным измерительным шкалам и не использовали процентильную шкалу Использовали необоснованную шкалу перехода к традиционной системе оценки успеваемости не знали 5 стандартных принципов создания контрольно-измерительных материалов и тестовых экзаменов И наконец, не познакомились со статьей А.Г.Шмелева и В.А. Болотова ;-)
6	"Распространенные ошибки при создании тестовой..." Распространенные ошибки при создании тестовой системы контроля в вузах (из статьи А.Г.Шмелева и В.А.Болотова 'Развитие инструментальных технологий контроля качества образования: стандарты профессионализма и парадоксы роста.' - Высшее образование сегодня. - 2005. - ? 4. - ) Использование трудоемких заданий типа 'А' и неправильное управление временем на тест. Отсутствие статистической апробации заданий и неудачный подбор 'отвлекающих ответов' в заданиях типа 'А'. 'Процентомания' или непонимания природы измерительных шкал. Субъективизм в оценивании заданий с развернутым ответом. Произвол в определении нормативов.
7	Схема разработки образовательного теста
8	Роли и компетенции, важные при конструировании образовательных тестов Разработка тестовых экзаменов требует: глубоких знаний и методологии предмета дидактического опыта специальных знаний и навыков в области теории и практики составления тестовых заданий и анализа их свойств навыков администрирования процессов разработки и проведения испытаний в форме тестирования
9	Этапы конструирования и проведения теста 1) Определение задачи в контексте определенной модели управления учебным процессом, принятом в образовательном учреждении 2) Разработка модели теста - Согласование тематических и методических стандартов теста, субшкал, заданий в соответствии образовательными требованиями и целями - Выбор методического решения - Выбор технического решения 3) Формирование банка заданий: - авторский цикл (ввод заданий в банк в авторской редакции) - экспертный цикл (экспертный отсев некачественных заданий из банка) 4) Сборка (компиляция) вариантов на основе банка 5) Апробационное исследование (пилотаж вариантов) плюс возможная коррекция параметров банка, вариантов и нормативов (после этого этапа возможно возвращение к этапу 4 и даже к этапу 3) 6) Массовое обследование и оперативная обратная связь (быстрая обработка для практического использования экзаменаторами и учебной частью) 7) Обработка и принятие решений 8) Базирование результатов и углубленный анализ с целью совершенствования методического инструментария
10	Различные задачи в контексте учебного процесса: А) Входной контроль (вступительные экзамены - вариант входного контроля, частный случай - тестирование с целью формирования групп студентов, более однородных по уровню подготовки) Б) Промежуточный контроль (внутри курса по завершению определенной темы) В) Рубежный контроль (по отдельной дисциплине, но не по итогам обучения в вузе в целом, в отличие от аттестационного контроля рубежный допускает пересдачу при низком балле) Г) Аттестационный итоговый контроль (предэкзаменационное тестирование) Е) Измерение результатов (эффективности) новых методов обучения (или тренингов) Ж) Аттестация преподавателей (путем оценки образовательных достижений обученных им студентов)
11	Методические решения
12	Технические решения:
13	Экспертиза заданий: Экспертиза заданий может включать: - решение задания - определение шкалы (темы), на которое работает задание - определение уровня сложности задания - уровень усвоения знаний, которое проверяет задание (базовое, повышенной сложности, сверхпрограммное) - значимость для аттестации - проверка на оригинальность задания
14	Результаты экспертизы заданий
15	Что надо помнить о трудности тестовых заданий? Статистический индекс трудности - процент ошибок. Чем выше процент ошибок, тем выше индекс трудности. Экспертная оценка трудности не всегда совпадает со статистической оценкой. Только немногие эксперты могут точно угадать трудность для большинства заданий теста по трем градациям: легкие (индекс ниже 20 процентов ошибок) средний (индекс между 20 и 60) трудные (индекс выше 60) Слишком трудные задания в тестах с выбором повышают шанс получить незаслуженно высокий балл для тех испытуемых, кто применяет стратегию случайного угадывания.
16	Трудность заданий различие тестовых и олимпиадных задач: Олимпиадные - трудные, сложные задания, позволяющие дифференцировать лучших от самых лучших Тестовые задания - позволяющие дифференцировать худших, средних и отличников - ограничение времени на решение каждого задания и теста в целом апеллирует к прочности усвоения элементарных (базовых) знаний и умений - лучший балл показывает тот, кто уверенно и быстро применяет базовые знания, хороший умственный темп, высокую степень автоматизации основных навыков, свернутость понятий и умственных операций
17	Апробационное тестирование Апробационное тестирование (тестирование на контрольных выборках участников) позволяет сделать замеры оптимального времени на проведение теста, отсеять задания, которые окажутся слишком трудными или слишком легкими для учащихся (по проценту правильных ответов) и не дискриминативными.
18	Анализ заданий (коэфициент дискриминативности) Четырехклеточная таблица сопряженности: Пояснение: 'Верхняя группа' - подмножество испытуемых, выполнивших тест лучше 70 процентов остальных участников. 'Нижняя группа' - подмножество испытуемых, выполнивших тест хуже 70 процентов остальных участников. А - число испытуемых из 'верхней группы', давших правильный ответ В - число испытуемых из 'нижней группы', давших правильный ответ Формула коэффициента дискриминативности: КD = A/(A+C) - В/(B+D) Удачные задания дают коэффициент дискриминативности выще 0,3 (при численности крайних групп не менее 20 человек каждой) Неудачные задания дают коэффициент дискриминативности, близкий к нулю.
19	Типы тестовых шкал Шкала первичных баллов (процент решенных заданий) Процентильная шкала - относительное место учащегося в выборке протестированных (рейтинг-балл) Параметры стандартизированных шкал: IQ среднее - 100, ст.отклонение - 15 ЕГЭ среднее - 50, ст.отклонение - 17 TOEFL среднее - 500, ст.отклонение - 100
20	Получение параметрических норм
21	Эмпирическая валидность теста по внешниму критерию ad - bc Phi = ----------------------------------- Ö((a+b)(d+c)(a+c)(b+d))
22	5 стандартных принципов создания контрольно-измерительных материалов и тестовых экзаменов Принцип оптимальной структуры экзамена: необходимо искать оптимальное соотношение трудоемкости, численности заданий и продолжительности испытания. Принцип апробации: необходима предварительная экспериментальная апробация отдельных заданий, вариантов и статистический анализ ее результатов. Принцип распределения баллов: шкалирование результатов должно основываться на понимании статистической конфигурации распределения тестовых (экзаменационных) баллов. Принцип аттестации экспертов: к экспертному оцениванию заданий с развернутым письменным ответом следует допускать лишь экспертов, прошедших предварительный тренинг и аттестацию по его результатам. Принцип компромиссного формирования нормативов: принятие управленческих решений (по зачислению, отчислению и т.п.) должно базироваться на разумном сочетании экспертных требований с реальной статистикой результатов учащихся
23	Другой показательный случай. В университете города N при проведении отборочных вступительных экзаменов по обществознанию в форме тестирования обнаружено следующие распределении сырых баллов. Что это может значить?
24	Спасибо за внимание!