Фонды оценочных средств, разработка и экспертиза

Содержание

Слайд 2

ПРИКАЗ Минобрнауки № 1367 ФОС для итоговой аттестации должен оценивать результаты

ПРИКАЗ Минобрнауки № 1367

ФОС для итоговой аттестации должен оценивать результаты

освоения образовательной программы, т.е. всю совокупность компетенций, которая установлена образовательной организацией для данной образовательной программы
Слайд 3

Нормативное обеспечение ФОС Требования ФГОС к результатам освоения ОП Положение о

Нормативное обеспечение ФОС

Требования ФГОС к результатам освоения ОП
Положение о системе оценивания

в вузе
Положение о ФОС вуза
Методические указания по формированию ФОС
Требования к ФОС в рамках реализуемой ОП
Паспорта оценочных средств
Рецензии на оценочные средства
Слайд 4

Для фонда оценочных средств для промежуточной аттестации необходимы перечень компетенций с

Для фонда оценочных средств для промежуточной аттестации необходимы

перечень компетенций с указанием

этапов их формирования в процессе освоения ОП;
описание показателей и критериев оценивания компетенций на различных этапах их формирования, описание шкал оценивания;
типовые контрольные задания или иные материалы, необходимые для оценки знаний, умений, навыков и (или) опыта деятельности, характеризующие этапы формирования компетенций в процессе освоения образовательной программы;
методические материалы, определяющие процедуры оценивания знаний, умений, навыков и (или) опыта деятельности и характеризующие этапы формирования компетенций
Слайд 5

Фонд оценочных средств (банк калиброванных заданий) (По приказу Минобрнауки России от

Фонд оценочных средств (банк калиброванных заданий) (По приказу Минобрнауки России от

19.12.2013 № 1367)

Разрабатывается для итоговой (государственной) аттестации и включает в себя:
Перечень компетенций
Описание показателей и критериев оценивания, а также шкал оценивания
Типовые контрольные задания или иные материалы, необходимые для оценки результатов освоения ОП (компетенций)
Методические материалы, определяющие процедуры оценивания

Слайд 6

Основные вопросы Как разрабатывать оценочные средства? Как и в какой шкале интерпретировать оценки освоения компетенций?

Основные вопросы

Как разрабатывать оценочные средства?
Как и в какой шкале

интерпретировать оценки освоения компетенций?
Слайд 7

Два механизма оценивания уровня сформированности компетенций (по рекомендации Росаккредагенства) На основе

Два механизма оценивания уровня сформированности компетенций
(по рекомендации Росаккредагенства)

На основе оценивания знаний,

умений и навыков по дисциплинам и практикам, формирующим части компетенций

На основе результатов оценивания опыта деятельности на этапах формирования компетенции (группы компетенций)

и (или)

Слайд 8

Требования к паспорту оценочного средства для промежуточного контроля • Назначение •

Требования к паспорту оценочного средства для промежуточного контроля

• Назначение
• Авторы разработки
• Контролируемые результаты обучения
• Форма

проведения контроля
• Метод оценивания (экспертный, автоматизированный)
• Критерии оценивания результатов
• Дата последней коррекции заданий
(Росаккредагенство)
Слайд 9

Предмет оценивания Общепрофессиональные и профессиональные (прикладные и профессионально-специализированные) компетенции, которые: мета-латентны,

Предмет оценивания

Общепрофессиональные и профессиональные (прикладные и профессионально-специализированные) компетенции, которые:
мета-латентны, поэтому

необходимы специальные методы и средства контроля
многофункциональны и надпредметны, поэтому необходимы полидисциплинарные модули в образовательных программах
носят по проявлению отсроченный характер, поэтому необходимо оценивать уровень их освоения в обучении, прогнозируя владение компетенциями в профессиональной деятельности
имеют обобщенный характер , поэтому нуждаются в операционализации (представлении в форме индикаторов, понятных для обучения и пригодных для измерений)
Слайд 10

Операционализация компетенций Результаты освоения ОП – компетенции, представленные в форме измеряемых

Операционализация компетенций

Результаты освоения ОП – компетенции, представленные в форме измеряемых признаков

проявления на языке требований квалификационных характеристик или профессиональных стандартов
Слайд 11

Последовательность действий при разработке ФОС для итоговой аттестации 1. Анализ профессиональных

Последовательность действий при разработке ФОС для итоговой аттестации

1. Анализ профессиональных

компетенций ФГОС.
2. Построение профессионального профиля деятельности специалиста на основе компетенций ФГОС в соответствии с направленностью ОП
3. Установление связи каждой компетенции ФГОС с квалификационными требованиями или требованиями профессиональных стандартов (по образовательной программе)
4. Разработка паспортов компетенций
Слайд 12

Последовательность действий 5. Выделение дисциплин, на основе которых формируются эти признаки

Последовательность действий

5. Выделение дисциплин, на основе которых формируются эти признаки

у студента
6. Выбор оптимальных методов формирования каждой компетенции в обучении (для рабочих программ дисциплин)
7. Выбор оптимальных контрольно-оценочных средств для промежуточной аттестации (для рабочих программ дисциплин)
8. Выбор оптимальной модели измерителей для итоговой аттестации (для образовательной программы)
Слайд 13

Вывод Для оценки уровня освоения компетенций при итоговой аттестации необходимо применять

Вывод

Для оценки уровня освоения компетенций при итоговой аттестации необходимо применять

специальные полидисциплинарные измерители, гарантирующие оценивание компетенций.
Оценки прогнозируют успехи в дальнейшей профессиональной деятельности после окончания обучения
Слайд 14

Сравнительная характеристика способов оценивания Сходство – одинаковый предмет и объект, одинаковая цель Различия:

Сравнительная характеристика способов оценивания
Сходство – одинаковый предмет и объект, одинаковая цель
Различия:


Слайд 15

Слайд 16

Слайд 17

Слайд 18

Слайд 19

Классификация ошибок измерения – систематические и случайные

Классификация ошибок измерения – систематические и случайные

Слайд 20

Слайд 21

Слайд 22

Меры по повышению валидности измерителей для оценивания компетенций кластеризация компетенций; построение

Меры по повышению валидности измерителей для оценивания компетенций

кластеризация компетенций;
построение компетентностной

модели деятельности специалиста;
разработка моделей многоуровневых измерителей;
проведение оценочных процедур и сбор эмпирических данных на репрезентативной выборке испытуемых;
проведение факторного анализа эмпирических данных, коррекция структуры кластеров и компетентностной модели;
проведение анкетирования работодателей по результатам сертификации квалификаций;
оценка прогностической валидности измерителей, их надежности и конструктной валидности;
проведение линейного иерархического анализа данных с целью выявления главных факторов (кластеров) влияния и тенденций в отрасли
Слайд 23

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить,

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить,

если:

А. Грамотно составлять задание, используя рекомендации приведенные выше.
Б. Использовать при проверке только разработанную стандартизированную схему оценивания не более, чем с тремя оценочными категориями (0, 1, 2).
В. Обучить экспертов по проверке заданий пользовать стандартизированными критериями оценивания.
Г. Привлекать не менее двух экспертов для проверки каждого задания и приглашать третьего эксперта в случае расхождений первых двух экспертов более, чем на один балл.
Д. Использовать принцип анонимности проверяемых работ и независимость экспертных суждений.
Е. Не смотреть на оценку, данную предыдущему заданию, при оценивании последующего.

Слайд 24

Слайд 25

Различия в нормативно-ориентированном и критериально-ориентированном подходах

Различия в нормативно-ориентированном и критериально-ориентированном подходах

Слайд 26

Распределение заданий по трудности в нормативно-ориентированном тесте

Распределение заданий по трудности в нормативно-ориентированном тесте

Слайд 27

Распределение заданий по трудности в критериально-ориентированном тесте

Распределение заданий по трудности в критериально-ориентированном тесте

Слайд 28

Основные этапы работ - формирование авторских коллективов - обучение авторских коллективов

Основные этапы работ

- формирование авторских коллективов
- обучение авторских

коллективов
- выбор модели измерителя
- операционализация компетенций
- разработка спецификаций вариантов измерителей
- разработка авторских версий компетентностных заданий
- экспертиза заданий
- коррекция заданий
- апробация заданий на выборке студентов
- повторная коррекция заданий
Слайд 29

Общая классификация современных оценочных средств и их использование в управлении качеством образования

Общая классификация современных оценочных средств и их использование в управлении качеством

образования
Слайд 30

Современные тенденции в измерениях для управленческих решений Многоступенчатые модели измерителей используются

Современные тенденции в измерениях для управленческих решений

Многоступенчатые модели измерителей

используются для повышения
точности и обоснованности
аттестационных решений
Слайд 31

Государственная программа РФ"Развитие образования" на 2013 - 2020 годы High Stakes

Государственная программа РФ"Развитие образования" на 2013 - 2020 годы

High Stakes Tests

= «тесты для экзаменов высокой значимости» измерители для итоговой аттестации
Слайд 32

19. Модель 100 90 80 10 20 0 30 40 50

19. Модель

100

90

80

10

20

0

30

40

50

60

70

Диапазон высокой компетентности

Диапазон минимальной компетентности

Пороговый балл

Мини-кейс или собеседование

в форме структурированного интервью

Субтест для проверки основных знаний и умений, необходимых для выполнения должностных обязанностей (задания с выбором ответов)

Диапазон базовой компетентности

Компетентностно-ориентированный субтест для оценки уровня освоения компетенций (задания с конструируемыми ответами)

Пороговый балл

Пороговый балл

Слайд 33

Диапазон высокой компетентности Задания в форме кейса проблемного характера (5 -

Диапазон высокой компетентности
Задания в форме кейса проблемного характера
(5 -

7 заданий)

Диапазон базовой компетентности
Компетентностные тесты (задания с конструируемым ответом) или тесты практической деятельности в профессиональной области
(10 - 15 заданий)

Диапазон минимальной компетентности
Тест с выбором ответов
(20 и более заданий)

100

90

80

10

20

0

30

40

50

60

70

Слайд 34

Последовательность действий при обеспечении итоговой аттестации 1. Анализ профессиональных компетенций ФГОС.

Последовательность действий при обеспечении итоговой аттестации

1. Анализ профессиональных компетенций ФГОС.
2.

Построение профессионального профиля деятельности специалиста на основе квалификационных требований или профессиональных стандартов.
3. Выделение ядра профиля профессиональной деятельности посредством установления связи каждой компетенции ФГОС с квалификационными требованиями, разработка паспортов
4. Представление каждой компетенции в форме признаков проявления по нескольким диапазонам на языке квалификационных требований.
5. Выделение дисциплин, на основе которых формируются эти признаки у студента.
6. Разработка модели, спецификации и отбор содержания измерителей
7. Разработка компетентностно-ориентированных заданий для измерителей
Слайд 35

Последовательность действий при обеспечении итоговой аттестации 8. Содержательная экспертиза заданий 9.

Последовательность действий при обеспечении итоговой аттестации

8. Содержательная экспертиза заданий
9. Апробация

заданий.
10. Обработка результатов апробации, анализ и интерпретация
11. Коррекция заданий.
12. Помещение заданий в банк
Слайд 36

Состав фонда оценочных средств (банка калиброванных заданий) По каждому виду профессиональной

Состав фонда оценочных средств (банка калиброванных заданий)

По каждому виду

профессиональной деятельности специалистов:
Перечень компетенций
Перечень трудовых функций
Паспорта компетенций с дескрипторами по трем уровням (минимальный, базовый, повышенный)
Спецификации измерителя (отдельно для каждой части)
Задания с оценками параметра трудности и др.
Описание показателей и критериев оценивания, а также шкал оценивания
Слайд 37

2 пути представления трудовых функций 1-й: каждую трудовую функцию выразить через

2 пути представления трудовых функций

1-й: каждую трудовую функцию выразить через трудовые

действия по трем уровням (минимальный, базовый, повышенный)
2-й: сгруппировать трудовые функции в кластеры и представить их через трудовые действия по трем уровням
Слайд 38

Формат представления трудовых функций или квалификационных требований и уровней их проявления

Формат представления трудовых функций или квалификационных требований и уровней их проявления


Слайд 39

Состав спецификации измерителя Цель создания (для каждой части) Перечень нормативных документов

Состав спецификации измерителя

Цель создания (для каждой части)
Перечень нормативных документов (для каждой

части)
Описание общей структуры измерителя и временных интервалов между частями
Число заданий различной формы с ключами ответов и оценочных рубрик(для каждой части)
Число параллельных вариантов
Рекомендуемое время выполнения (для каждой части)
Слайд 40

Состав спецификации (для каждой части) Соотношение заданий по различных компетенциям или

Состав спецификации (для каждой части)

Соотношение заданий по различных компетенциям или трудовым

функциям с их перечнями (для каждой части)
Рекомендации по периоду апробации
Рекомендуемый порядок расположения заданий
Слайд 41

Структура первой части измерителя (пример)

Структура первой части измерителя (пример)

Слайд 42

Структура второй и третьей части измерителя (пример)

Структура второй и третьей части измерителя (пример)

Слайд 43

Общие принципы отбора содержания теста - репрезентативность - высокая значимость системность правильность пропорций

Общие принципы отбора содержания теста
- репрезентативность
- высокая значимость
системность
правильность пропорций

Слайд 44

Экспертиза качества содержания измерителя Первое направление - анализ качества содержания отдельных

Экспертиза качества содержания измерителя
Первое направление - анализ качества содержания отдельных

заданий
- оценка уровня трудности содержания каждого задания
- оценка уровня значимости содержания каждого задания
- оценка логической корректности задания
- оценка правильности ответов или оценочных категорий при конструируемом ответе
- оценка качества формулировок содержательной основы заданий с позиций тестовой технологии
Второе направление - анализ качества содержания всего измерителя:
- оценка полноты охвата требований ФГОС или ПС
- правильность пропорций содержания
- соответствие пропорций содержания спецификации
Третье направление - подготовка общего заключения и обобщающих выводов и рекомендаций по улучшению содержания измерителя
Слайд 45

При оценивании ответов к мини-кейсам учитываются: 1. Степень правильности (0-2) Наличие

При оценивании ответов к мини-кейсам учитываются:

1. Степень правильности (0-2)
Наличие аналитического подхода (0-2)
2. Аргументированность

выводов (0-2)
3. Самостоятельность и логика представления материала (0-2)
4. Наличие нестандартных решений проблем (0-3)
5. Полнота и обоснованность ответов (0-2)
Слайд 46

Логическая модель построения задания основана на сформированности у студентов Знаний Понимания

Логическая модель построения задания основана на сформированности у студентов

Знаний
Понимания
Умений

применять знания
Умений анализа
Умений синтеза
Рефлексивности
Креативности
др.
Слайд 47

Необходимые условия для обоснованной оценки уровня освоения компетенций: Наличие в планируемых

Необходимые условия для обоснованной оценки уровня освоения компетенций:

Наличие в планируемых образовательных

результатах ФГОС профессиональных компетенций, согласованных и одобряемых профессиональным сообществом/работодателями
Наличие измерительных материалов/инструментов и процедур для оценки профессиональных компетенций (отраженных в профессиональных стандартах), привлечение к их разработке работодателей
Участие работодателей в различных формах аттестации
НИРС и проекты по заказу работодателей
Наличие различных форм вовлечения студентов в профессиональную деятельность в рамках учебного процесса
Организация полноценных практик студентов
Использование образовательных технологий, адекватных формированию задаче профессиональных компетенций