Разработка психодиагностических методик

Август 8, 2022

Главная
Психология
Разработка психодиагностических методик

Содержание

2. Определение конструкта; Выбор и определение целей, для которых наиболее вероятно будут использоваться тестовые оценки; Определение подхода
3. Психологический конструкт - комплекс психологических свойств, объединенных в систему какой-либо функциональной связью, это система психологических свойств,
4. Спецификация теста «Тревожность»
5. Устраняйте возможность проникновения испытуемых в суть того, что изучается при помощи данных заданий. Формулируйте понятные, недвусмысленные
6. Установка на согласие Пример: «1. Вы добропорядочный человек? 2. Вы редко конфликтуете с другими людьми? 3.
7. Задания в альтернативным выбором (дихотомические). Трихотомические задания. Задания с рейтинговыми шкалами. Трихотомические задания с выбором. Задания
8. Определение основных понятий Объективность задания (задачи, пункта, вопроса) теста — задание признается объективным, если оно оценивается
9. Банк вопросов Бывает ли у вас так, что вы настолько взволнованы какими-то мыслями, что не можете
10. Банк вопросов Трудно ли вам переключиться с одного экзамена на другой? Часто ли вы ощущаете свое
11. Определение основных понятий. Статистическая трудность задания теста — доля лиц репрезентативной выборки, правильно решивших задачу. Дискриминативность
12. Расчет индекса трудности Результаты решения заданий теста объединяются в таблицу, где Т — количество испытуемых, правильно
13. Надежность Надежность – это характеристика точности методики (или теста), как измерительного инструмента. Она отражает устойчивость этого
14. Надежность Нестабильность измеряемого свойства. Не совершенствование диагностических методик. Меняющаяся ситуация обследования. Различия в манере поведения психолога.
15. Коэффициенты надежности Оценка надежности расщепление пополам. Алгоритм расчета: 1. Рассчитываются балы для двух субтестов (например, суммируются
16. Валидность По Тиффин и МакКормик: 1. Критерии исполнения. 2. Субъективные критерии. 3. Физиологические критерии. 4. Критерии
17. Валидность Виды валидности: Конструктная валидность Конвергентная валидность Дивергентная валидность Критериальная валидность/Эмпирическая валидность Текущая валидность Ретроспективная валидность
18. Z-ОЦЕНКИ Z-оценка - стандартная оценка, основанная на нормальном распределении, мера отклонения от среднего, выраженная в единицах
19. Коэффициента валидности – сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию
20. РАСЧЕТ КОЭФФИЦИЕНТА ВАЛИДНОСТИ Расчет экспертной (оценочной) эмпирической валидность где, Y – экспертная оценка, X – балл
21. Дискриминативность Дискриминативность измеряется показателем дельта Фергюсона. и принимает максимальное значение при равномерном (прямоугольном) распределении показателей δ
22. Норма ключевое понятие теории и практики психодиагностики. Проблема нормы наиболее сложный вопрос психологии. Сложность нормы выражается
23. Дополнительный материал
24. Расчет коэффициента дискриминативности Необходимо составить таблицу первичных результатов, где X — первичные результаты (от 1 до
25. Критерий χ2 При условии, что р1 (вероятность решения первой задачи) и р2 (вероятность решения второй задачи)
27. Скачать презентацию

Слайд 2

Определение конструкта;
Выбор и определение целей, для которых наиболее вероятно будут использоваться

тестовые оценки;
Определение подхода к разработке теста;
Разработка спецификации теста;
Выделение ключевых признаков тестирования
Три метода сбора данных:
L-данные (life record data);
Q-данные (questionnaire data);
T-данные (objective test data).
Конструирование заданий;
Рецензирование;
Широкомасштабная апробация и анализ заданий,
Психометрическая проверка
Разработка руководства по интерпретации тестовых оценок.

Этапы разработки психодиагностических методик

Слайд 3

Психологический конструкт - комплекс психологических свойств, объединенных в систему какой-либо функциональной

связью, это система психологических свойств, обеспечивающих человеку выполнение какой-либо психологической функции.
Примеры: интеллект, социальная компетентность, психологическая защита и пр.
Конструктная валидность - показывает, насколько данный метод диагностики соответствует оцениваемому конструкту.
Операциональное определение - определение понятие через четкие процедуры, которые говорят нам "это есть" или "этого нет". Предполагает:
четкое определение со списком главных признаков;
возможность проверить их наличие либо отсутствие с помощью понятных, конкретных действий.
"Операциональное – определение, придающее понятию поддающийся передаче смысл, указывающее на то, как понятие измеряется и применяется в конкретных обстоятельствах" (Деминг, 1986).

Психологический конструкт и его операциональное определение

Слайд 4

Спецификация теста «Тревожность»

Слайд 5

Устраняйте возможность проникновения испытуемых в суть того, что изучается при помощи

данных заданий.
Формулируйте понятные, недвусмысленные вопросы (утверждения).
Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения.
В каждом задании следует задавать только один вопрос или делать только одно утверждение.
Избегайте, насколько это возможно, слов, определяющих частоту действий
Насколько возможно, избегайте терминов, выражающих чувства.
При помощи инструкций обеспечьте, чтобы испытуемые давали первые приходящие на ум ответы

Правила для формулирования заданий

Слайд 6

Установка на согласие Пример:
«1. Вы добропорядочный человек?
2. Вы редко конфликтуете

с другими людьми?
3. Вы ответственно относитесь к работе?
4. Вы коммуникабельны?
5. Вы не можете уснуть если повздорили с близкими?
6. Вы любите побыть наедине?»
Установка на социально одобряемые ответы
Пример: «Я всегда охотно признаю свои ошибки».
Установка на неопределенные или средние ответы.
Пример: «не знаю», оценка «0» в методике ЛД.
Установка на «крайние»
Пример: Рейтинговые шкалы.
Очевидная валидность вопросов (утверждений)
Пример: «Я общительный человек»

Проблемы конструирования личностных опросников

Слайд 7

Задания в альтернативным выбором (дихотомические).
Трихотомические задания.
Задания с рейтинговыми шкалами.

Трихотомические задания с выбором.
Задания с вынужденным выбором.

Типы ответов

Слайд 8

Определение основных понятий
Объективность задания (задачи, пункта, вопроса) теста — задание признается

объективным, если оно оценивается группой независимых экспертов-психологов как соответствующее измеряемому признаку.
Эмпирическая валидность — статистический показатель соответствия разрабатываемого теста апробированной методике измерения данного признака. Оценивается по величине коэффициента корреляции между последними.

ПОСТРОЕНИЕ ПЕРВИЧНОЙ ФОРМЫ ТЕСТА

Слайд 9

Банк вопросов
Бывает ли у вас так, что вы настолько взволнованы какими-то

мыслями, что не можете усидеть на одном месте?
Вас когда-нибудь тревожила «бесполезная мысль», которая все время вертелась в голове?
Быстро ли вас можно переубедить в чем-либо?
Считаете ли вы, что на ваше слово можно положиться?
Можете ли вы забыть обо всех делах и пойти повеселиться в хорошей компании?
Бывает ли у вас часто так, что вы приняли решение слишком поздно?
Считаете ли вы свою работу как нечто само собой разумеющееся?
Любите ли вы работу, требующую значительной сосредоточенности?
Любите ли вы вести разговоры о вашем прошлом?
Трудно ли вам забыть о ваших делах, обо всем даже на оживленной вечеринке?
Преследуют ли вас иногда мысли и образы так, что вы не можете спать?
Когда вы заняты своей основной работой, то интересуетесь ли в то же время и работой своих товарищей?
Часто ли бывают случаи, когда вам необходимо остаться одному?
Считаете ли вы себя счастливым человеком?
Смущаетесь ли вы в присутствии лиц другого пола?
Тревожит ли вас чувство вины?
Вы опаздывали когда-нибудь на занятия или свидания?

Слайд 10

Банк вопросов
Трудно ли вам переключиться с одного экзамена на другой?
Часто ли

вы ощущаете свое одиночество?
Много ли времени вы проводите в воспоминаниях о лучшем временах своего прошлого?
Предпочитаете ли вы оставаться незаметным на вечерах, в гостях?
Верно ли, что вас довольно трудно задеть?
Часто ли вы чувствуете неудовлетворенность?
Склонны ли вы довести до конца предыдущую работу, если вам предстоит другая, более интересная?
Бывает ли у вас такое ощущение, что ваша работа для вас дело жизни и смерти?
Трудно ли вам отказаться от привычек, которые вам не по душе?
Любите ли вы размышлять о своем прошлом?
Считаете ли вы себя счастливым человеком, которому в жизни все легко удается?
Легко ли вас задеть за живое по различным поводам?
Склонны ли вы к быстрым и решительным действиям?
Всегда ли вам думается после кого-либо поступка, что вам следовало сделать иначе?
Бывает ли у вас время от времени ощущение одиночества?
Работаете ли вы иногда так, будто от этого зависит ваша жизнь?
Можете ли вы быстро прервать начатое дело и тут же приступить к выполнению другого задания?

Слайд 11

Определение основных понятий.
Статистическая трудность задания теста — доля лиц репрезентативной

выборки, правильно решивших задачу.
Дискриминативность задания — способность этого задания дифференцировать испытуемых по отношению к «минимальным» и «максимальным» результатам.
Первичным («сырым») результатом – X – одного испытуемого будем называть количество правильно решенных им задач.

ПЕРВИЧНЫЙ АНАЛИЗ ТЕСТОВЫХ ЗАДАНИЙ

Слайд 12

Расчет индекса трудности
Результаты решения заданий теста объединяются в таблицу, где

Т — количество испытуемых, правильно решивших задачу, I — индекс трудности задачи.
Таблица результатов
Сравните самую «трудную» и самую «легкую» задачи с задачами «среднего» уровня трудности.
I = (1 – T/N) x 100

ПЕРВИЧНЫЙ АНАЛИЗ ТЕСТОВЫХ ЗАДАНИЙ

Слайд 13

Надежность
Надежность – это характеристика точности методики (или теста), как измерительного инструмента.

Она отражает устойчивость этого инструмента к действию помех.

Надежности по внутренней
согласованности

Ретестовая надежность

Коэффициент надежности (R) – показатель сравнения надежностей нескольких различных психологических тестов. Величина коэффициента сообщает, на сколько, один тест более надежен, чем другой.

0.70

Слайд 14

Надежность
Нестабильность измеряемого свойства.
Не совершенствование диагностических методик.
Меняющаяся ситуация обследования.
Различия в манере поведения

психолога.
Колебания функционального состояния обследуемого.
Элементы субъективизма при оценке и интегрировании полученных данных.

Причины снижения точности измерения

Слайд 15

Коэффициенты надежности
Оценка надежности расщепление пополам.
Алгоритм расчета:
1. Рассчитываются балы для двух

субтестов (например, суммируются нечетные пункты и четные пункты);
2. Рассчитывается коэффициент корреляции между двумя субтестами.
Оценка ретестовой надежности (формула Спирмана-Брауна):
Алгоритм расчета:
1. Рассчитываются коэффициент для результатов теста и ретеста
2. Результаты подставляются в формулу
Сырой коэффициент альфа.
Алгоритм расчета
1. Рассчитывается дисперсия баллов по всему тесту (SD2).
2. Вычисляется ковариация между всеми парами пунктов (сov).
3. Суммируются все ковариации. Сумма межпунктовых ковариаций отражает степень, в которой ответы на все пункты в целом согласованы друг с другом. При прочих равных, чем больше сумма ковариаций, тем выше согласованность пунктов между собой.
4. Подставляем дисперсию баллов по всему тесту и сумму ковариаций в уравнение:
α = (k/k-1)(∑cov/SD2),
где k – количество пунктов

Слайд 16

Валидность
По Тиффин и МакКормик:
1. Критерии исполнения.
2. Субъективные критерии.
3. Физиологические критерии.
4. Критерии

случайности.

Валидность методики – понятие, указывающее, что методика измеряет и насколько хорошо методика это делает.
Внешний критерий – независимый от методики показатель проявления изучаемого свойства в повседневной жизни.

Внешние критерии:
Успеваемость
Производственные достижения
Субъективные оценки
Объективные социально-демографические данные
Заключения специалистов
Данные других методик

Слайд 17

Валидность
Виды валидности:
Конструктная валидность
Конвергентная валидность
Дивергентная валидность
Критериальная валидность/Эмпирическая валидность
Текущая валидность
Ретроспективная валидность
Прогностическая валидность
Содержательная валидность
Очевидная

валидность

Слайд 18

Z-ОЦЕНКИ
Z-оценка - стандартная оценка, основанная на нормальном распределении, мера отклонения от

среднего, выраженная в единицах стандартного отклонения.
Если х - нормально распределенная переменная со средним μ и стандартным отклонением σ.
Преимущество стандартизации (нормирования) несравнимых распределений заключается в том, что эти распределения приводятся к одному масштабу, что позволяет напрямую сравнивать ранее несопоставимые переменные.

Слайд 19

Коэффициента валидности – сопоставляются результаты, полученные при применении диагностической методики, с

данными, полученными по внешнему критерию (используются разные виды линейной корреляции).
Объем выборки: не должно быть меньше 50, лучше более 200.
Величина коэффициента валидности: свыше 0,60
ВАЛИДНОСТЬ < НАДЁЖНОСТЬ.
Это означает, что валидность не может превышать надёжность теста.

Коэффициент валидности

Слайд 20

РАСЧЕТ КОЭФФИЦИЕНТА ВАЛИДНОСТИ
Расчет экспертной (оценочной) эмпирической валидность
где, Y – экспертная оценка,

X – балл по тесту испытуемого

Слайд 21

Дискриминативность
Дискриминативность измеряется показателем дельта Фергюсона. и принимает максимальное значение при равномерном

(прямоугольном) распределении показателей δ = 1.

где N – количество испытуемых , n – количество заданий, fi - частота встречаемости каждого показателя.

Слайд 22

Норма
ключевое понятие теории и практики психодиагностики. Проблема нормы наиболее сложный вопрос

психологии. Сложность нормы выражается в наличии ряда подходов к ее определению.

Слайд 23

Дополнительный материал

Слайд 24

Расчет коэффициента дискриминативности
Необходимо составить таблицу первичных результатов, где
X — первичные результаты

(от 1 до 44);
N1 — количество испытуемых, которые получили данный первичный результат;
N2— количество испытуемых, получивших данный первичный результат из числа решивших самую «легкую» задачу;
N3 — самую «трудную» задачу.
Таблица первичных результатов
Вычислить коэффициенты дискриминативности для самой «трудной», «легкой» задач.

ПЕРВИЧНЫЙ АНАЛИЗ ТЕСТОВЫХ ЗАДАНИЙ

Слайд 25

Критерий χ2
При условии, что р1 (вероятность решения первой задачи) и

р2 (вероятность решения второй задачи) равны:
Табличные значения χ2при различных значениях уровня значимости α:
α 5% 1% 0.1%
Χ2 3,84 6,63 10,8
Если вычисленное значение превышает табличное, то нулевая гипотеза отклоняется, т. е. задачи считаются разными по трудности.

ПЕРВИЧНЫЙ АНАЛИЗ ТЕСТОВЫХ ЗАДАНИЙ

где
п — количество испытуемых,
х1 — количество испытуемых,
правильно решивших первую задачу,
у1 — количество испытуемых,
неправильно решивших первую задачу;
х1+у1= n; n,х2,у2 х2+у2=n — аналогичные характеристики
второй задачи; число степеней свободы при этом равно 1.

Разработка психодиагностических методик

Содержание

Определение конструкта;Выбор и определение целей, для которых наиболее вероятно будут использоваться

Психологический конструкт - комплекс психологических свойств, объединенных в систему какой-либо функциональной

Спецификация теста «Тревожность»

Устраняйте возможность проникновения испытуемых в суть того, что изучается при помощи

Установка на согласие Пример: «1. Вы добропорядочный человек?2. Вы редко конфликтуете

Задания в альтернативным выбором (дихотомические). Трихотомические задания. Задания с рейтинговыми шкалами.

Определение основных понятийОбъективность задания (задачи, пункта, вопроса) теста — задание признается

Банк вопросовБывает ли у вас так, что вы настолько взволнованы какими-то

Банк вопросовТрудно ли вам переключиться с одного экзамена на другой?Часто ли

Определение основных понятий. Статистическая трудность задания теста — доля лиц репрезентативной

Расчет индекса трудности Результаты решения заданий теста объединяются в таблицу, где

НадежностьНадежность – это характеристика точности методики (или теста), как измерительного инструмента.

НадежностьНестабильность измеряемого свойства.Не совершенствование диагностических методик.Меняющаяся ситуация обследования.Различия в манере поведения

Коэффициенты надежностиОценка надежности расщепление пополам. Алгоритм расчета:1. Рассчитываются балы для двух

ВалидностьПо Тиффин и МакКормик:1. Критерии исполнения.2. Субъективные критерии.3. Физиологические критерии.4. Критерии

Z-ОЦЕНКИZ-оценка - стандартная оценка, основанная на нормальном распределении, мера отклонения от

Коэффициента валидности – сопоставляются результаты, полученные при применении диагностической методики, с

РАСЧЕТ КОЭФФИЦИЕНТА ВАЛИДНОСТИРасчет экспертной (оценочной) эмпирической валидностьгде, Y – экспертная оценка,

ДискриминативностьДискриминативность измеряется показателем дельта Фергюсона. и принимает максимальное значение при равномерном

Нормаключевое понятие теории и практики психодиагностики. Проблема нормы наиболее сложный вопрос

Дополнительный материал

Расчет коэффициента дискриминативностиНеобходимо составить таблицу первичных результатов, гдеX — первичные результаты

Критерий χ2 При условии, что р1 (вероятность решения первой задачи) и

Похожие презентации

Определение конструкта;
Выбор и определение целей, для которых наиболее вероятно будут использоваться

Установка на согласие Пример:
«1. Вы добропорядочный человек?
2. Вы редко конфликтуете

Задания в альтернативным выбором (дихотомические).
Трихотомические задания.
Задания с рейтинговыми шкалами.

Определение основных понятий
Объективность задания (задачи, пункта, вопроса) теста — задание признается

Банк вопросов
Бывает ли у вас так, что вы настолько взволнованы какими-то

Банк вопросов
Трудно ли вам переключиться с одного экзамена на другой?
Часто ли

Определение основных понятий.
Статистическая трудность задания теста — доля лиц репрезентативной

Расчет индекса трудности
Результаты решения заданий теста объединяются в таблицу, где

Надежность
Надежность – это характеристика точности методики (или теста), как измерительного инструмента.

Надежность
Нестабильность измеряемого свойства.
Не совершенствование диагностических методик.
Меняющаяся ситуация обследования.
Различия в манере поведения

Коэффициенты надежности
Оценка надежности расщепление пополам.
Алгоритм расчета:
1. Рассчитываются балы для двух

Валидность
По Тиффин и МакКормик:
1. Критерии исполнения.
2. Субъективные критерии.
3. Физиологические критерии.
4. Критерии

Z-ОЦЕНКИ
Z-оценка - стандартная оценка, основанная на нормальном распределении, мера отклонения от

РАСЧЕТ КОЭФФИЦИЕНТА ВАЛИДНОСТИ
Расчет экспертной (оценочной) эмпирической валидность
где, Y – экспертная оценка,

Дискриминативность
Дискриминативность измеряется показателем дельта Фергюсона. и принимает максимальное значение при равномерном

Норма
ключевое понятие теории и практики психодиагностики. Проблема нормы наиболее сложный вопрос

Расчет коэффициента дискриминативности
Необходимо составить таблицу первичных результатов, где
X — первичные результаты

Критерий χ2
При условии, что р1 (вероятность решения первой задачи) и