Опыт внедрения компьютеризированных тестовых испытаний в систему итоговой государственной аттестации студентов-психологов

Содержание

Слайд 2

Авторы настоящей статьи ставят своей целью обосновать подход к итоговой аттестации,

Авторы настоящей статьи ставят своей целью обосновать подход к итоговой аттестации,

при котором реализуется принцип дополнения, означающий что тестовые испытания внедряются на факультете психологии МГУ не как единственный и не как важнейший (принцип замещения), а лишь как один из вспомогательных этапов государственных экзаменов.

1980-е года: внедрение компьютеризированных тестов как одной из процедур для оценки уровня усвоения студентами материалов учебного курса в рамках лекционно-практического курса «Основы психодиагностики» А.Г. Шмелевым;
2007 год: внедрению тестов в систему ГОСов на факультете психологии МГУ А.А. Чумаковым (студенты- добровольцы);
2006—2007 года: нацпроект «Инновационное образование», разработка тестовых бланков по общей психологии на факультете психологии МГУ (тестирование стало обязательным в дополнение к устному ответу на экзамене).

Слайд 3

Методика Этап 1 Авторский цикл Этап 2 Экспертный цикл Этап 3

Методика

Этап 1
Авторский цикл
Этап 2
Экспертный цикл
Этап 3
Проведение тестирования
Этап 4
Обработка результатов тестирования

и коррекция заданий
Слайд 4

Этап 1. Авторский цикл Технология, отработанная А.Г. Шмелевым при подготовке компьютеризированной

Этап 1. Авторский цикл

Технология, отработанная А.Г. Шмелевым при подготовке компьютеризированной олимпиады

«Телетестинг» для старшеклассников и абитуриентов (Шмелев и др., 1998)

22 независимых автора

Более 700 заданий по общей психологии

Слайд 5

Этап 2. Экспертный цикл 22 независимых испытуемых (те же, что и

Этап 2. Экспертный цикл

22 независимых испытуемых (те же, что и в

этапе 1)

Экспертные работы формализованы

Прохождение в режиме диалога с ЭВМ

Редактирование заданий по принципу квалифицированного большинства

Получено 600 заданий

Слайд 6

Этап 3. Проведение тестирования Цели экзаменационных сессий в период с 2005

Этап 3. Проведение тестирования

Цели экзаменационных сессий в период с 2005

года в течение 5 лет:

оценить знания студентов-выпускников данного года;
усовершенствовать банк заданий на основе статистики ответов.

График проведения тестирования и специфика:

в течение 1—2 дней в феврале (второй день — резервный) ;
примерно за 10—14 дней до устного этапа госэкзамена;
60 заданий, по 10 вопросов из 6 крупных разделов общей психологии;
Время на выполнение задания из одного раздела: 8 мин., тем самым общее время на тест не могло превышать 48 мин, в среднем: 40 мин.
неограниченный доступ на интернет-портал факультета www.psy.msu.ru в течение месяца, где размещалась демоверсия теста.

Слайд 7

Этап 4. Обработка результатов тестирования и коррекция заданий. подсчет числа правильных

Этап 4. Обработка результатов тестирования и коррекция заданий.

подсчет числа правильных ответов

(сырого балла) по тесту в целом

подсчет числа правильных ответов (сырого балла) по тематическим разделам

Переход к фиксированной конверсионной таблице

мягкая форма учета результатов тестирования (в пользу студентов) на госэкзаменах

Для повышения качества тестовых заданий рассчитываются: индексы трудности и дискриминативности,

Слайд 8

Результаты и анализ Рис. 1. Гистограмма распределения частот сырых тестовых баллов

Результаты и анализ

Рис. 1. Гистограмма распределения частот сырых тестовых баллов (числа

правильных ответов) по результатам тестирования 621 студента-выпускника (за 2007—2009 гг.). Выбран интервал равнозначности в 5 сырых баллов

Вывод: Анализ распределения сырых тестовых баллов (числа правильных ответов) показал, что по критерию Колмогорова—Смирнова гипотеза о нормальности распределения не отвергается.

Слайд 9

Вывод: На глаз заметен спад результатов студентов в 2008 г. (по

Вывод: На глаз заметен спад результатов студентов в 2008 г. (по

сравнению с 2007 г.), тогда как в 2009 г. наметился определенный подъем.
Слайд 10

Вывод: Бросается в глаза резкая асимметрия распределения в пользу высоких оценок

Вывод: Бросается в глаза резкая асимметрия распределения в пользу высоких оценок

на устном экзамене, особенно на фоне достаточно симметричного распределения тестовых оценок.
Слайд 11

Слайд 12

Слайд 13

Слайд 14

Общие выводы и перспективы Опыт параллельного применения двух процедур — традиционного

Общие выводы и перспективы

Опыт параллельного применения двух процедур — традиционного устного

экзамена и компьютеризированного тестового испытания — по многим параметрам выявил однозначное превосходство тестового испытания;

Требуется расширение банка заданий (примерно до 1000 заданий);

Требуется удлинение сеанса тестирования до 90 заданий (к примеру, в западных сертификационных тестовых экзаменах психологи выполняют до 300 заданий в течение одного сеанса, продолжающего до 4 часов)