Надежность диагностических тестов

Сентябрь 2, 2022

Главная
Алгебра
Надежность диагностических тестов

Содержание

2. Определение Надежность (reliability) – это уровень постоянства повторения одного и того же результата при многократных измерениях
3. Причины низкой надежности диагностики Расхождение результатов, полученных разными врачами при измерении одного и того же признака
4. Вариация внутри объекта исследования
5. Вариация между разными исследователями Два врача/диагностика часто не приходят к одному и тому же результату Знание
6. Вариация между разными исследователями Врач №2
7. Процент согласия (Percent agreement) Процент согласия = х 100% А + E + J общее количество
8. d Процент согласия = а a + b + c х 100%
9. На процент согласия влияет случайное согласие: даже если 2 исследователя будут использовать разные критерии для разделения
10. Каппа статистика Если мы хотим узнать, насколько хорошо 2 исследователя диагностируют заболевание или выделяют симптомы, синдромы,
11. Каппа статистика Каппа = процент наблюдаемого согласия процент случайного согласия процент случайного согласия 100% – –
12. Смысл Каппа статистики Каппа выражает величину до которой наблюдаемое согласие превышает случайное согласие и выглядит в
13. Гистолог В Чему равно наблюдаемое согласие между 2-мя гистологами ? 41 3 4 27 41 +27
14. Чтобы рассчитать случайное согласие... Представим, что 2 гистолога используют абсолютно разные диагностические критерии. В этом случае
15. Гистолог В 26,4 18,6 26,4 + 12,4 75 Процент случайного согласия = 51,7% = 12,4
16. Каппа статистика Каппа = процент наблюдаемого согласия процент случайного согласия процент случайного согласия 100% – –
17. Каппа статистика Каппа > 0.75 – высокое согласие Каппа Каппа от 0.4 до 0.75 – среднее
18. Хотели бы вы знать еще что-то об этом исследовании? Методы использованные в планировании и проведении данного
19. В результатах исследования говорится Во время обследования врачи визуально обследовали и пальпировали нижние конечности каждого пациента
20. В результатах исследования говорится Мы не можем быть уверены в том, что различия в зарегистрированной распространенности
21. В результатах исследования говорится Так как наличие варикозных вен измерялось в самом начале исследования, то мисклассификация
22. Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по рангу(%) Покажите различия в наличие
23. Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по рангу(%) Существует слабая взаимосвязь между
24. Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по рангу(%) Может ли взаимосвязь между
25. Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по рангу(%) Взаимосвязь между независимой и
26. Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по рангу(%) Ранг может быть возможным
27. Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по рангу(%) В исследовании определили, что
28. Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по рангу(%) Эффект конфаундинга определяется наличием,
29. Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по рангу(%) Если бы не было
30. Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по рангу(%) Если ранг является конфаундером,
31. Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по рангу(%) Какие еще можно предположить
33. Скачать презентацию

Слайд 2

Определение
Надежность (reliability) – это уровень постоянства повторения одного и того же

результата при многократных измерениях признака в идентичных условиях
Может ли быть повторен полученный результат при многократном повторении измерения?

Слайд 3

Причины низкой надежности диагностики
Расхождение результатов, полученных разными врачами при измерении одного

и того же признака
Применение разных инструментов измерения
Нестабильность измеряемого признака
Расхождение в результатах повторных измерений признака одним и тем же врачем

Слайд 4

Вариация внутри объекта исследования

Слайд 5

Вариация между разными исследователями
Два врача/диагностика часто не приходят к одному и

тому же результату
Знание степени до которой два врача согласны или не согласны друг с другом очень важно в науке и в оценке качества медицинской помощи независимо от того, проводится ли физикальное обследование, лабораторный тест или другое измерение человеческих характеристик
Поэтому при проведении исследования или в практике повышения качества оказания диагностики необходимо знать как изобразить согласие в количественном виде

Слайд 6

Вариация между разными исследователями
Врач №2

Слайд 7

Процент согласия (Percent agreement)
Процент согласия = х 100%
А + E + J
общее

количество
измерений

Слайд 8

d
Процент согласия =
а
a + b + c
х 100%

Слайд 9

На процент согласия влияет случайное согласие: даже если 2 исследователя будут

использовать разные критерии для разделения людей на больных и здоровых, в определенном проценте случаев их результаты будут совпадать только лишь благодаря случаю

Слайд 10

Каппа статистика
Если мы хотим узнать, насколько хорошо 2 исследователя диагностируют заболевание

или выделяют симптомы, синдромы, признаки, - то нам следует задать вопрос: Насколько совпадают их заключения без участия случая или шанса? Другими словами: Насколько согласие между 2-мя исследователями превышает их случайное согласие?

Слайд 11

Каппа статистика
Каппа =
процент наблюдаемого
согласия
процент случайного
согласия
процент случайного
согласия
100%
–
–

на сколько лучше наблюдаемое
согласие случайного согласия

полное согласие

максимально возможное
согласие при избавлении
от случайного согласия

Слайд 12

Смысл Каппа статистики
Каппа выражает величину до которой наблюдаемое согласие превышает случайное

согласие и выглядит в виде пропорции максимального улучшения (без влияния случая), которого удалось достигнуть двумя или более исследователями при измерении одного и того же феномена.

Слайд 13

Гистолог В
Чему равно наблюдаемое согласие между 2-мя гистологами ?
41
3
4
27
41 +27
75
Процент согласия

= х 100

= 90,7%

Слайд 14

Чтобы рассчитать случайное согласие...
Представим, что 2 гистолога используют абсолютно разные диагностические

критерии. В этом случае совпадения будут случайными
Гистолог А отнес 60% всех 75-ти образцов ко 2 стадии рака. Если бы гистолог А использовал критерии совершенно отличные от критериев гистолога В, то гистолог А выявлял бы 2 стадию в 60% образцов, которые гистолог В относил ко 2 стадии и в 60% образцов, которые гистолог В относил бы к 3-й стадии.

Слайд 15

Гистолог В
26,4
18,6
26,4 + 12,4
75
Процент случайного
согласия
= 51,7%
=
12,4

Слайд 16

Каппа статистика
Каппа =
процент наблюдаемого
согласия
процент случайного
согласия
процент случайного
согласия
100%
–
–
Каппа

90,7%

51,7%

100%

–

0,81%

Слайд 17

Каппа статистика
Каппа > 0.75 – высокое согласие
Каппа < 0.4 – низкое

согласие
Каппа от 0.4 до 0.75 – среднее согласие

Слайд 18

Хотели бы вы знать еще что-то об этом исследовании?
Методы использованные в

планировании и проведении данного исследования. Это позволит нам понять что представляют из себя данные в таблице, а так же оценить вероятность ошибки выборки или информационной ошибки
2. Необходимо задавать себе следующие вопросы:
Как была сформирована выборка?
Были ли участники, выбывшие из исследования или приглашенные в исследование, но не принявшие участие в нем? Сколько их было и отличались ли они чем-то от людей, принявших участие в исследовании?
Как ставился диагноз варикозных вен и ИБС?
Имеется ли какая-либо информация о достоверности и надежности примененных диагностических тестов?

Слайд 19

В результатах исследования говорится
Во время обследования врачи визуально обследовали и пальпировали

нижние конечности каждого пациента и регистрировали увеличенные узловатые вены. Врачи записывал в историю варикозные вены слабой и средней степени выраженности ... Между наблюдениями разных врачей имелись различия. Среди 12 врачей (принимавших участие в исследовании) каждый из которых обследовал как минимум 200 военнослужащих ... зарегистрированная распространенность варикозных вен варьировала от 14% (из которых 5% варикозных вен были слабо выражены) до 40% (15% были слабо выражены). За мужчинами наблюдали в течение года - проводили ежегодные обследования (в случае ухода на пенсию наблюдение осуществлялось через рассылку вопросников), - и регистрировали новые случат сердечно-сосудистых смертей ... Все случаи смертей подтверждались группой медицинских экспертов на основе документации, данных ЭКГ и ферментного анализа.
Что вы можете сказать о достоверности и надежности постановки диагноза варикозных вен и ИБС?

Слайд 20

В результатах исследования говорится
Мы не можем быть уверены в том, что

различия в зарегистрированной распространенности варикозных вен были только из-за различий между врачами (interobserver variation) в диагностике варикозных вен, так как между разными подгруппами военных, которых обследовали врачи, на самом деле могли быть различия в распротраненности варикозных вен.
Возможно надежность диагностики была низкой, так как ничего не было сказано о том были ли стандартизованы методы обследования и диагностические критерии или нет.
Авторы статьи в разделе дискуссия сами сделали заключение о том, что диагностика варикозных вен была «субъективной» и «далеко неудовлетворительной».
Если мы делаем заключение что надежность диагностики не была высокой, то отсюда следует что достоверность диагностики так же не могла быть высокой.

Слайд 21

В результатах исследования говорится
Так как наличие варикозных вен измерялось в самом

начале исследования, то мисклассификация возможно была недифференцированной. Поэтому чувствительность и специфичность постановки диагноза варикозных вен была одной и той же среди тех у кого в последствии развилась коронарная смерть и среди тех у кого она не произошла. Таким образом найденная взаимосвязь скорее всего ниже истинной. Хотя на основе этих данных мы не можем быть полностью уверены что мисклассификация была недифференцированной.
Однако достоверность диагностики сердечно-сосудистых заболеваний среди не пенсионеров (которых ежегодно обследовали) и пенсионеров (которых не обследовали, а лишь рассылали вопросники) возможно отличалась, что приводило к дифференцированной мисклассификации.
Диф-я мисклассификация могла привести к отсутствию взаимосвязи, ослабить или увеличить реально существующую взаимосвязь.

Слайд 22

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

рангу(%)

Покажите различия в наличие варикозных вен той или иной степени
тяжести между разными рангами военнослужащих с использованием
показателя отношения. Примите рядовых за референс-категорию.

Слайд 23

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

рангу(%)

Существует слабая взаимосвязь между рангом и варикозными венами.

Слайд 24

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

рангу(%)

Может ли взаимосвязь между варикозными венами и ССЗ быть
искаженной конфаундером – рангом?

Слайд 25

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

рангу(%)

Взаимосвязь между независимой и зависимой переменной может
быть искажена третьей переменной, которая влияет на зависимую
переменную и связана с независимой переменной (и не является
промежуточным звеном в патогенезе).

Слайд 26

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

рангу(%)

Ранг может быть возможным конфаундером. Однако чтобы эффект
конфаундинга был значительным конфаундер должен быть сильно
связанным с другими переменными. В таблице мы видим,
что взаимосвязь между рангом и варикозными венами слабая. Таким
образом если конфаундинг и имеет место быть, то он очень слабый.

Слайд 27

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

рангу(%)

В исследовании определили, что взаимосвязь между конфаундером
и рангом статистически высокого достоверна: р=0.000013. Как такая
находка влияет на вероятность того, что ранг является
конфаундером?

Слайд 28

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

рангу(%)

Эффект конфаундинга определяется наличием, направлением и силой
взаимосвязи между потенциальным конфаундером и другими переменными. Слабая взаимосвязь - даже статистически высоко достоверная – не ведет к появлению существенного конфаундинга. В то время как сильная взаимосвязь, даже если она статистически недостоверна, может приводить к конфаундингу.

Слайд 29

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

рангу(%)

Если бы не было найдено взаимосвязи между варикозными венами
и рангом, мог бы тогда ранг быть конфаундером?

Слайд 30

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

рангу(%)

Если ранг является конфаундером, то в каком направлении он
изменил бы взаимосвязь между варикозными венами и ССЗ?

Слайд 31

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

рангу(%)

Какие еще можно предположить конфаундеры во взаимосвязи
варикозные вены-ССЗ?

Надежность диагностических тестов

Содержание

ОпределениеНадежность (reliability) – это уровень постоянства повторения одного и того же

Причины низкой надежности диагностикиРасхождение результатов, полученных разными врачами при измерении одного

Вариация внутри объекта исследования

Вариация между разными исследователямиДва врача/диагностика часто не приходят к одному и

Вариация между разными исследователямиВрач №2

Процент согласия (Percent agreement)Процент согласия = х 100%А + E + Jобщее

dПроцент согласия = аa + b + cх 100%

На процент согласия влияет случайное согласие: даже если 2 исследователя будут

Каппа статистикаЕсли мы хотим узнать, насколько хорошо 2 исследователя диагностируют заболевание

Каппа статистикаКаппа = процент наблюдаемогосогласияпроцент случайногосогласияпроцент случайногосогласия100% – –

Смысл Каппа статистикиКаппа выражает величину до которой наблюдаемое согласие превышает случайное

Гистолог ВЧему равно наблюдаемое согласие между 2-мя гистологами ?41342741 +2775Процент согласия

Чтобы рассчитать случайное согласие...Представим, что 2 гистолога используют абсолютно разные диагностические

Гистолог В26,418,626,4 + 12,475Процент случайногосогласия= 51,7%=12,4

Каппа статистикаКаппа = процент наблюдаемогосогласияпроцент случайногосогласияпроцент случайногосогласия100% – – Каппа

Каппа статистикаКаппа > 0.75 – высокое согласиеКаппа < 0.4 – низкое

Хотели бы вы знать еще что-то об этом исследовании?Методы использованные в

В результатах исследования говоритсяВо время обследования врачи визуально обследовали и пальпировали

В результатах исследования говоритсяМы не можем быть уверены в том, что

В результатах исследования говоритсяТак как наличие варикозных вен измерялось в самом

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания по

Похожие презентации

Определение
Надежность (reliability) – это уровень постоянства повторения одного и того же

Причины низкой надежности диагностики
Расхождение результатов, полученных разными врачами при измерении одного

Вариация между разными исследователями
Два врача/диагностика часто не приходят к одному и

Вариация между разными исследователями
Врач №2

Процент согласия (Percent agreement)
Процент согласия = х 100%
А + E + J
общее

d
Процент согласия =
а
a + b + c
х 100%

Каппа статистика
Если мы хотим узнать, насколько хорошо 2 исследователя диагностируют заболевание

Каппа статистика
Каппа =
процент наблюдаемого
согласия
процент случайного
согласия
процент случайного
согласия
100%
–
–

Смысл Каппа статистики
Каппа выражает величину до которой наблюдаемое согласие превышает случайное

Гистолог В
Чему равно наблюдаемое согласие между 2-мя гистологами ?
41
3
4
27
41 +27
75
Процент согласия

Чтобы рассчитать случайное согласие...
Представим, что 2 гистолога используют абсолютно разные диагностические

Гистолог В
26,4
18,6
26,4 + 12,4
75
Процент случайного
согласия
= 51,7%
=
12,4

Каппа статистика
Каппа =
процент наблюдаемого
согласия
процент случайного
согласия
процент случайного
согласия
100%
–
–
Каппа

Каппа статистика
Каппа > 0.75 – высокое согласие
Каппа < 0.4 – низкое

Хотели бы вы знать еще что-то об этом исследовании?
Методы использованные в

В результатах исследования говорится
Во время обследования врачи визуально обследовали и пальпировали

В результатах исследования говорится
Мы не можем быть уверены в том, что

В результатах исследования говорится
Так как наличие варикозных вен измерялось в самом