Логические основы модели Раша

Содержание

Слайд 2

* Измерение компетенций и качества образования Латентная переменная это конструкт (теоретический), который представляет интерес для исследователя

*

Измерение компетенций и качества образования

Латентная переменная

это конструкт (теоретический), который представляет интерес

для исследователя
Слайд 3

* Измерение компетенций и качества образования Расположение индивидов и тестовых заданий на линейном континууме

*

Измерение компетенций и качества образования

Расположение индивидов и тестовых заданий на линейном

континууме
Слайд 4

* Измерение компетенций и качества образования Нелинейность тестового балла

*

Измерение компетенций и качества образования

Нелинейность тестового балла

Слайд 5

* Измерение компетенций и качества образования Вместо обоснования модели … «логистическая

*

Измерение компетенций и качества образования

Вместо обоснования модели …


«логистическая модель используется

наиболее широко, так как она специально предназначена для тестов» [Дружинин В.К., с. 193];
«… у G. Rasch возникла идея выразить вероятность правильного ответа на задание посредством так называемой логистической функции» [Аванесов В.С., с. 182];
«Простейшая модель вероятности успеха … предложена датским математиком Рашем» [Нейман Ю.М., Хлебников В.А., с. 12] и др.
«G. Rasch удалось предложить удачную форму связи между параметрами» [Челышкова М.Б. (2001), с. 61] и др.
Слайд 6

* Измерение компетенций и качества образования Первое применение модели Раша -

*

Измерение компетенций и качества образования

Первое применение модели Раша - измерение прогресса

школьников в чтении

Ключевые требования:
- при каждом тестировании должны использоваться различные тексты (тесты);
- тексты должны соответствовать уровню подготовленности испытуемого – они должны быть ни слишком трудными, ни слишком легкими;
- оценки подготовленности должны измеряться на одной и той же шкале.
В качестве статистики выбрано число ошибок при чтении.

Слайд 7

* Измерение компетенций и качества образования Схема назначения текстов в тесте (по возрастающей трудности)

*

Измерение компетенций и качества образования

Схема назначения текстов в тесте (по возрастающей

трудности)
Слайд 8

* Измерение компетенций и качества образования Ожидаемые результаты при назначении тестов с возрастающей трудностью

*

Измерение компетенций и качества образования

Ожидаемые результаты при назначении тестов с возрастающей

трудностью
Слайд 9

* Измерение компетенций и качества образования Гипотеза Георга Раша В качестве

*

Измерение компетенций и качества образования

Гипотеза Георга Раша

В качестве гипотезы (на основе

многочисленных данных и диаграмм) Георг Раш предположил, что среднее число ошибок можно представить в виде
где Ave[xpt] среднее число ошибок, которое сделает p-ый школьник с уровнем подготовленности Bp при чтении t-ого текста с трудностью Dt.
Слайд 10

* Измерение компетенций и качества образования Сравнение двух тестов по трудности

*

Измерение компетенций и качества образования

Сравнение двух тестов по трудности

В качестве примера

сравним по трудности тест 1 и тест 2, которые были пройдены p-ым испытуемым.
Оказалось, что сравнение двух тестов по трудности не зависит от уровня подготовленности испытуемых, которые их прошли.
Слайд 11

* Измерение компетенций и качества образования Обобщение Георга Раша Некоторый текст

*

Измерение компетенций и качества образования

Обобщение Георга Раша

Некоторый текст может быть выбран

как стандарт, и затем различные тексты можно откалибровать относительно этого стандарта.
Испытуемым можно дать любой из текстов для чтения, и их уровень подготовки будет измерен на одной и той же шкале.
Исходя из этого относительные трудности могут быть выражены в логарифмической шкале:
Слайд 12

* Измерение компетенций и качества образования Формальные предпосылки модели Раша

*

Измерение компетенций и качества образования

Формальные предпосылки модели Раша

Слайд 13

* Измерение компетенций и качества образования Иллюстрация модели Раша

*

Измерение компетенций и качества образования

Иллюстрация модели Раша

Слайд 14

* Измерение компетенций и качества образования Отношение шансов на успех l-ого и m-ого студентов

*

Измерение компетенций и качества образования

Отношение шансов на успех l-ого и m-ого

студентов
Слайд 15

* Измерение компетенций и качества образования Вычисление вероятности правильного ответа

*

Измерение компетенций и качества образования

Вычисление вероятности правильного ответа

Слайд 16

* Измерение компетенций и качества образования Предпосылки конструирования модели измерения логлинейная

*

Измерение компетенций и качества образования

Предпосылки конструирования модели измерения



логлинейная метрика

мультипликативная метрика

При заданных Bν и Di отношение (odds) Bν / Di является мультипликативным, вероятность правильного ответа равна

Для перехода к логарифмически линейной метрике используется преобразование

Слайд 17

* Измерение компетенций и качества образования Логические основы модели Раша Простейшая

*

Измерение компетенций и качества образования

Логические основы модели Раша

Простейшая модель Раша

имеет вид

где pνi – вероятность правильного ответа ν-го испытуемого на i-ое задание;
βν – уровень знаний ν-го испытуемого;
δi – уровень трудности i-го задания.

Слайд 18

* Измерение компетенций и качества образования Для иллюстрации – «прыжки в

*

Измерение компетенций и качества образования

Для иллюстрации – «прыжки в высоту»

n-ый

прыгун в высоту пытается «взять» различные высоты (i = 1, 2, …, L).
При «взятии» i-ой высоты возможны три исхода:
- высота взята (xni = 1),
- высота не взята (xni = 0),
- высота пропущена (xni = -).
Попытки n-ого прыгуна преодолеть все L высот представляются в виде вектора (1, 1, -, 0, 1, …, 0), где «1» обозначает успешную попытку, «0» обозначает неудачную попытку, а «-» обозначает то, что прыгун пропустил данную высоту.
Слайд 19

* Измерение компетенций и качества образования Сравнение прыгунов и прогноз Общее

*

Измерение компетенций и качества образования

Сравнение прыгунов и прогноз

Общее число успехов

n-ого прыгуна
При использовании этой статистики для сравнения прыгунов необходимо, чтобы все они пытались преодолеть один и тот же набор высот.
Однако с помощью этой статистики нельзя получить прогноз на будущее.
Для прогнозирования необходимо знать вероятность того, что в следующий раз n-ый прыгун возьмет i-ую высоту.

Rn = Σxni

Слайд 20

* Измерение компетенций и качества образования Число успешных исходов – достаточная

*

Измерение компетенций и качества образования

Число успешных исходов – достаточная статистика

Число

успешных исходов Rn является конкретной и вместе с тем ограниченной информацией.
Вероятность является абстрактной и вместе с тем принципиально необходимой информацией для прогноза. Это очень важный аспект, потому что прогноз – это одна из важнейших задач науки.
В исходной матрице могут быть пропуски, однако в матрице ожиданий пропусков нет – для всех ni-ых комбинаций вычисляется вероятность успешной попытки.
Слайд 21

* Измерение компетенций и качества образования Исходы попыток преодоления i-ой высоты двумя прыгунами

*

Измерение компетенций и качества образования

Исходы попыток преодоления i-ой высоты двумя прыгунами

 

Слайд 22

* Измерение компетенций и качества образования Обозначения числа успешных прыжков N11-число

*

Измерение компетенций и качества образования

Обозначения числа успешных прыжков

N11-число успешных прыжков у

обоих прыгунов
N10-число прыжков успешных у m-ого прыгуна и неуспешных у n-ого прыгуна
N01-число прыжков успешных у n-ого прыгуна и неуспешных у m-ого прыгуна
N00-число неуспешных прыжков у обоих прыгунов
Слайд 23

* Измерение компетенций и качества образования Информативность исходов попыток преодоления i-ой

*

Измерение компетенций и качества образования

Информативность исходов попыток преодоления i-ой высоты
Числа

N11 и N00 бесполезны для целей сравнения. Информативными являются только исходы, когда один из прыгунов не берет высоту, а другой прыгун берет, т.е. информативны для целей сравнения только числа N10 и N01.
Обозначим через Pni вероятность того, что n-ый прыгун возьмет i-ую высоту, тогда (1-Pni) – вероятность того, что этот прыгун не возьмет эту высоту. Аналогичные обозначения – для m-ого прыгуна.
Слайд 24

* Измерение компетенций и качества образования Разность или отношение?

*

Измерение компетенций и качества образования

Разность или отношение?

Слайд 25

* Измерение компетенций и качества образования Статистики «отношение» и «разность» N10

*

Измерение компетенций и качества образования

Статистики «отношение» и «разность»

N10 – это число

прыжков, в которых «победа» на стороне m-ого прыгуна;
N01 – это число прыжков, в которых «победа» на стороне n-ого прыгуна.
Сравнение этих двух прыгунов по уровню их подготовленности отражает статистика
(N10 / N01), а не статистика (N10 - N01).
Слайд 26

* Измерение компетенций и качества образования Сравнение m-ого и n-ого прыгунов по исходам взятия i-ой высоты

*

Измерение компетенций и качества образования

Сравнение m-ого и n-ого прыгунов по исходам

взятия i-ой высоты
Слайд 27

* Измерение компетенций и качества образования Сравнение m-ого и n-ого прыгунов

*

Измерение компетенций и качества образования

Сравнение m-ого и n-ого прыгунов по исходам

взятия любых высот

Естественно предположить, что соотношение в уровне подготовленности прыгунов не должно зависеть от «штурмуемой» высоты.
Математически это можно записать так, что для всех i и j

Слайд 28

* Измерение компетенций и качества образования Вероятностная модель для n-ого прыгуна Из предыдущего выражения следует, что

*

Измерение компетенций и качества образования

Вероятностная модель для n-ого прыгуна

Из предыдущего выражения

следует, что
Слайд 29

* Измерение компетенций и качества образования Обобщение вероятностной модели для n-ого

*

Измерение компетенций и качества образования

Обобщение вероятностной модели для n-ого прыгуна

Для обеспечения

объективности необходимо, чтобы соотношение между любой парой высот i и j должно быть справедливо для любого прыгуна m.
Любой прыгун и любая высота могут быть выбраны в качестве точки отсчета для проведения этих сравнений.
Удобно выбрать прыгуна 0 и высоту 0 эквивалентными, т.е. Р00=0,5.
Слайд 30

* Измерение компетенций и качества образования Вероятностная модель для n-ого прыгуна

*

Измерение компетенций и качества образования

Вероятностная модель для n-ого прыгуна

Выбрав прыгуна 0

и высоту 0 как эквивалентные получаем P00 = 0,5. В результате:
Откуда
где f(n) = bn (уровень подготовленности n-ого прыгуна);
g(i) = 1/di (уровень трудности высоты).
Слайд 31

* Измерение компетенций и качества образования Условие объективности измерений Необходимо подчеркнуть,

*

Измерение компетенций и качества образования

Условие объективности измерений

Необходимо подчеркнуть, что для

объективности измерений отношение шансов для n-ого прыгуна преодолеть i-ую высоту должно быть произведением уровня подготовленности прыгуна, выраженного как f(n) = bn и уровня трудности высоты, выраженного как g(i) = 1/di. Ничего другого здесь не требуется.
Слайд 32

* Измерение компетенций и качества образования Оценка параметров модели Отметим, что

*

Измерение компетенций и качества образования

Оценка параметров модели

Отметим, что
является исключительно

свойством прыгуна n в выбранной системе отсчета.
Точно так же
является исключительно свойством i-ой высоты в той же самой системе отсчета.
Слайд 33

* Измерение компетенций и качества образования Параметры прыгуна и высоты полностью

*

Измерение компетенций и качества образования

Параметры прыгуна и высоты полностью разделены

В модели

измерения параметры прыгуна и высоты полностью разделены
Это позволяет оценивать:
- уровень подготовленности прыгуна независимо от уровня высоты;
- уровень высоты независимо от уровня подготовленности прыгуна.
Слайд 34

* Измерение компетенций и качества образования Диапазон варьирования найденных показателей Подчеркнем,

*

Измерение компетенций и качества образования

Диапазон варьирования найденных показателей

Подчеркнем, что
bn –

это отношение вероятностей (odds), которое варьируется от нуля до бесконечности и зависит только от прыгуна n и выбранной системы отсчета;
di также варьируется от нуля до бесконечности и зависит только от i-ой высоты и той же самой выбранной системы отсчета.
Слайд 35

* Измерение компетенций и качества образования Дихотомическая модель Раша Таким образом,

*

Измерение компетенций и качества образования

Дихотомическая модель Раша

Таким образом, определен способ выявления

сильнейшего прыгуна.
Следующий, важный для практики вопрос – насколько сильнее? Однако «насколько» это уже не отношение – это разность.
Прологарифмировав обе части полученного выше уравнения получаем
Слайд 36

* Измерение компетенций и качества образования Дихотомическая модель Раша Удобно ввести

*

Измерение компетенций и качества образования

Дихотомическая модель Раша

Удобно ввести следующие обозначения
Откуда следует,

что
где
Слайд 37

* Измерение компетенций и качества образования Дихотомическая модель является базовой в

*

Измерение компетенций и качества образования

Дихотомическая модель является базовой в семействе моделей

Раша

Модель Раша, используемая для представления результатов тестирования, выводится на основе аналогии с прыгунами, преодолевающими i-ую высоту. Параметры Bn и Di рассматриваются как уровень подготовленности испытуемого и трудность задания соответственно.
Все остальные виды моделей Раша являются производными от этой дихотомической модели.