Методы обработки экспертных оценок

Август 12, 2022

Главная
Образование
Методы обработки экспертных оценок

Содержание

2. Следует повторить Понятие и виды экспертных оценок Шкалы и допустимые преобразования Проверка статистических гипотез Критическая точка
3. Входной контроль Укажите допустимые преобразования для заданных типов шкал
4. Самопроверка
5. План лекции Математические методы обработки и анализа экспертных оценок Стандартизация рангов Метод согласования кластеризованных ранжировок Оценка
6. Методы обработки экспертных оценок Обработка результатов коллективной экспертизы направлена на согласование позиций специалистов с целью выработки
7. Стандартизация рангов Назначение: Применяется при обработке ЭО, если ранги повторяются Ранговые оценки Стандартизированный ранг – это
8. Метод согласования кластеризованных ранжировок
9. Кластеризованная ранжировка Ранжирование - расположение исследуемых объектов в порядке возрастания (или убывания) какого-либо присущего им свойства
10. Кластеризованная ранжировка в виде матрицы бинарного отношения Кластеризованную ранжировку, (как и любое бинарное отношение), можно задать
11. Пусть А и В – две кластеризованные ранжировки. Пару объектов (a,b) назовем «противоречивой» относительно кластеризованных ранжировок
12. Пусть А и В – две кластеризованные ранжировки. Пару объектов (a,b) назовем «противоречивой» относительно кластеризованных ранжировок
13. Пусть А и В – две кластеризованные ранжировки. Пару объектов (a,b) назовем «противоречивой» относительно кластеризованных ранжировок
14. Пример. Ядро противоречий ранжировок В и С S(B,C) = (1, 3), (2, 3), (2, 4), (5,
15. Противоречия в кластеризованных ранжировках Для нахождения противоречивых пар поэлементно перемножить две матрицы ||x(a,b)|| и ||y(a, b)||,
16. Выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок. Формируются кластеры итоговой кластеризованной ранжировки (т.е. классы
17. Пример
18. Если то гипотеза о согласованности показаний экспертов не отвергается; иначе - отвергается 3 Вычисляем фактические отклонения
19. Коэффициент конкордации Кендела jср Гипотеза о согласованности показаний экспертов не отвергается. Пример
20. Поиск результирующего ранжирования Если оценки экспертов согласованы, то для поиска результирующего ранжирования можно использовать метод средних
21. 1. Взять ответы экспертов, соответствующие одному из объектов, 2. Расположить их в порядке неубывания (если нет
22. Расстояние Кемени Определение. Расстоянием Кемени между ранжировками А и В, описываемыми матрицами || a(i,j) || и
23. Алгоритм Кемени-Снелла Пусть А1 , А2 , А3 ,…, Ар - ответы р экспертов, представленные в
24. Пример вычисления расстояния Кемени между ранжировками Медиана Кемени: Ранжировка
25. Автоматизация ЭО * Вычисление результирующей экспертной оценки, а также классификация мнений экспертов реализованы в пакете STATISTICA
27. Скачать презентацию

Слайд 2

Следует повторить
Понятие и виды экспертных оценок
Шкалы и допустимые преобразования
Проверка статистических гипотез
Критическая

точка распределения Пирсона

Слайд 3

Входной контроль
Укажите допустимые преобразования для заданных типов шкал

Слайд 4

Самопроверка

Слайд 5

План лекции
Математические методы обработки и анализа экспертных оценок
Стандартизация рангов
Метод согласования кластеризованных

ранжировок
Оценка согласованности мнений экспертов на основе коэффициента конкордации
Поиск результирующего ранжирования (выработка итогового мнения комиссии)
метод средних арифметических рангов
метод медианных рангов
алгоритм Кемени-Снелла (медиана Кемени)
Автоматизация ЭО

Слайд 6

Методы обработки экспертных оценок
Обработка результатов коллективной экспертизы направлена на согласование позиций

специалистов с целью выработки итоговой экспертной оценки.
Может оказаться, что мнение какого-либо эксперта или экспертов, плохо сочетающиеся со среднеарифметическим мнением, окажется истинным. Поэтому важнейшую роль здесь и приобретают процедуры качественной обработки оценок экспертов.

Слайд 7

Стандартизация рангов
Назначение: Применяется при обработке ЭО, если ранги повторяются
Ранговые оценки
Стандартизированный ранг

– это среднеарифметическое мест (позиций), которые занимают объекты, имеющие одинаковые ранги, в упорядоченном ряду

Слайд 8

Метод согласования кластеризованных ранжировок

Слайд 9

Кластеризованная ранжировка
Ранжирование - расположение исследуемых объектов в порядке возрастания (или убывания)

какого-либо присущего им свойства
Результатом ранжирования является ранжировка объектов экспертизы.
Равнозначные по интенсивности свойства объекты образуют кластеры, внутри которых ранги объектов равны.
Ранжировка с повторяющимися рангами объектов называется кластеризованной ранжировкой

Введенная кластеризованная ранжировка является бинарным отношением на носителе – множестве {1,2,3,...,10} .
Его структура:
задано отношение эквивалентности с 7-ю классами эквивалентности, а именно, {2,3}, {5,6,7}, а остальные 5 классов состоят из оставшихся 5 отдельных элементов;
затем введен строгий линейный порядок между классами эквивалентности.

Слайд 10

Кластеризованная ранжировка в виде матрицы бинарного отношения
Кластеризованную ранжировку, (как и любое

бинарное отношение), можно задать матрицей || x(a, b) || из 0 и 1 порядка k x k.
x(a, b) = 1 тогда и только тогда, когда либо a > b, либо a = b.
В первом случае x(b, a) = 0, а во втором x(b, a) = 1.
При этом хотя бы одно из чисел x(a, b) и x(b, a) равно 1.

Слайд 11

Пусть А и В – две кластеризованные ранжировки. Пару объектов (a,b)

назовем «противоречивой» относительно кластеризованных ранжировок А и В, если эти два элемента по-разному упорядочены в А и В, т.е. a < b в А и a > b в В (первый вариант противоречивости) либо a >b в А и a < b в В (второй вариант противоречивости).
Пара объектов (a,b), эквивалентная хотя бы в одной кластеризованной ранжировке, не может быть противоречивой: эквивалентность a = b не образует "противоречия" ни с a < b, ни с a > b.

Совокупность противоречивых пар объектов для двух кластеризованных ранжировок А и В - «ядро противоречий»: S(A,B).

S(A,B) = (8, 9)

S(A,C) =

S(B,C) =

Слайд 12

Пусть А и В – две кластеризованные ранжировки. Пару объектов (a,b)

Совокупность противоречивых пар объектов для двух кластеризованных ранжировок А и В - «ядро противоречий»:

S(A,B) = (8, 9)

S(B,C) =

S(A,C) = (1,3), (2,4)

Слайд 13

Пусть А и В – две кластеризованные ранжировки. Пару объектов (a,b)

Совокупность противоречивых пар объектов для двух кластеризованных ранжировок А и В - «ядро противоречий»:

S(A,B) = (8, 9)

S(A,C) = (1,3), (2,4)

S(B,C) = (1, 3), (2, 3), (2, 4), (5, 6), (8,9)

Слайд 14

Пример. Ядро противоречий ранжировок В и С
S(B,C) = (1, 3),

(2, 3), (2, 4), (5, 6), (8,9)

Представление ядра противоречий в виде графа

Слайд 15

Противоречия в кластеризованных ранжировках
Для нахождения противоречивых пар поэлементно перемножить две матрицы

||x(a,b)|| и ||y(a, b)||, соответствующие двум кластеризованным ранжировкам, и отобрать те и только те пары, для которых x(a,b)y(a,b)=x(b,a)y(b,a)=0.

Слайд 16

Выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок.
Формируются кластеры

итоговой кластеризованной ранжировки (т.е. классы эквивалентности - связные компоненты графов, соответствующих объединению попарных ядер противоречий).
Кластеры упорядочиваются. Для этого произвольно выбирается один объект из первого кластера и второй - из второго, порядок между кластерами устанавливается такой же, какой имеет быть между выбранными объектами в любой из рассматриваемых кластеризованных ранжировок.
Если в исходных кластеризованных ранжировках два рассматриваемых объекта находились в одном кластере, то они находятся в одном кластере и в согласующей кластеризованной ранжировке.

Алгоритм согласования кластеризованных ранжировок

Слайд 17

Пример

Слайд 18

Если то гипотеза о согласованности показаний экспертов не отвергается; иначе -

отвергается

3 Вычисляем фактические отклонения сумм рангов по п.1 от среднего значения суммы рангов и их квадраты:

Оценка согласованности мнений экспертов на основе коэффициента конкордации

1. Определяем сумму рангов по каждому из элементов

2. Вычисляем среднее значение суммы рангов

4. Определяем сумму квадратов отклонений

5. Вычисляем значение коэффициента конкордации Кендела

6. Вычисляем значение величины:

-критическая точка распределения Пирсона

Слайд 19

Коэффициент конкордации Кендела
jср
Гипотеза о согласованности показаний экспертов не отвергается.
Пример

Слайд 20

Поиск результирующего ранжирования
Если оценки экспертов согласованы, то для поиска результирующего ранжирования

можно использовать
метод средних арифметических рангов
метод медианных рангов
алгоритм Кемени-Снелла

Слайд 21

1. Взять ответы экспертов, соответствующие одному из объектов,
2. Расположить их

в порядке неубывания (если нет повторяющихся рангов, то получится в порядке возрастания).
3. Взять ранг, стоящий на центральном месте. Это - медиана.
Пример.
1. Ранги для некоторого объекта 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1.
2. Располагая в порядке неубывания, получим последовательность: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8.
3.На центральных местах - шестом и седьмом - стоят 5 и 5. Следовательно, медиана равна 5.
4. Результирующая ранжировка образуется из медиан, рассчитанных для всех объектов.

Метод медианных рангов

Слайд 22

Расстояние Кемени
Определение. Расстоянием Кемени между ранжировками А и В, описываемыми матрицами

|| a(i,j) || и || b(i,j) || соответственно, называется число
т.е. расстояние Кемени между ранжировками равно сумме модулей разностей элементов, стоящих на одних и тех же местах в соответствующих им матрицах парных сравнений.
Расстояние Кемени - это число несовпадающих элементов в матрицах || a(i,j) || и || b(i,j) ||

Пример
A={1>2>3>4=5}
B={2>5>3>1>4}
d(A,B)=9

Слайд 23

Алгоритм Кемени-Снелла
Пусть
А1 , А2 , А3 ,…, Ар - ответы

р экспертов, представленные в виде бинарных отношений.
D (A ,В) – расстояние Кемени между ранжировками А и В
Медиана Кемени
Arg min D (Ai ,A) ,
где Arg min – та ранжировка А, при которой достигает минимума сумма расстояний Кемени от ответов экспертов до текущей ранжировки А

Слайд 24

Пример вычисления расстояния Кемени между ранжировками
Медиана Кемени:
Ранжировка

Слайд 25

Автоматизация ЭО *
Вычисление результирующей экспертной оценки, а также классификация мнений экспертов

реализованы в пакете STATISTICA 6.0 на языке STATISTICS Visual Basic в виде модуля анализа экспертных ранжировок, который позволяет совершать следующие операции.
1.   Находить точную медиану Кемени, как в классе строгих, так и в классе нестрогих ранжировок.
2.   Вычислять результирующую ранжировку на основе медианы, суммы, среднего арифметического рангов альтернатив.
3.   Классифицировать мнения экспертов иерархическими агломеративными методами (метод Уорда, метод «ближнего соседа», метод «дальнего соседа» и др.), вычислять для каждой из подгрупп экспертов результирующую оценку. Классификация производится с учетом нечисловой природы ранжировок.
4.   Использовать методы многомерного шкалирования для снижения размерности задачи и представления мнений экспертов в двух- и трехмерном пространстве. Шкалирование производится с учетом нечисловой природы ранжировок.
5.   Рассчитывать коэффициент конкордации как меру согласованности группы экспертов и ранговые корреляции.

Методы обработки экспертных оценок

Содержание

Следует повторитьПонятие и виды экспертных оценокШкалы и допустимые преобразованияПроверка статистических гипотезКритическая

Входной контрольУкажите допустимые преобразования для заданных типов шкал

Самопроверка

План лекцииМатематические методы обработки и анализа экспертных оценокСтандартизация ранговМетод согласования кластеризованных

Методы обработки экспертных оценокОбработка результатов коллективной экспертизы направлена на согласование позиций

Стандартизация ранговНазначение: Применяется при обработке ЭО, если ранги повторяютсяРанговые оценкиСтандартизированный ранг

Метод согласования кластеризованных ранжировок

Кластеризованная ранжировкаРанжирование - расположение исследуемых объектов в порядке возрастания (или убывания)

Кластеризованная ранжировка в виде матрицы бинарного отношенияКластеризованную ранжировку, (как и любое

Пусть А и В – две кластеризованные ранжировки. Пару объектов (a,b)

Пусть А и В – две кластеризованные ранжировки. Пару объектов (a,b)

Пусть А и В – две кластеризованные ранжировки. Пару объектов (a,b)

Пример. Ядро противоречий ранжировок В и С S(B,C) = (1, 3),

Противоречия в кластеризованных ранжировкахДля нахождения противоречивых пар поэлементно перемножить две матрицы

Выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок. Формируются кластеры

Пример

Если то гипотеза о согласованности показаний экспертов не отвергается; иначе -

Коэффициент конкордации КенделаjсрГипотеза о согласованности показаний экспертов не отвергается.Пример

Поиск результирующего ранжированияЕсли оценки экспертов согласованы, то для поиска результирующего ранжирования

1. Взять ответы экспертов, соответствующие одному из объектов, 2. Расположить их

Расстояние КемениОпределение. Расстоянием Кемени между ранжировками А и В, описываемыми матрицами

Алгоритм Кемени-СнеллаПусть А1 , А2 , А3 ,…, Ар - ответы

Пример вычисления расстояния Кемени между ранжировкамиМедиана Кемени:Ранжировка

Автоматизация ЭО *Вычисление результирующей экспертной оценки, а также классификация мнений экспертов

Похожие презентации

Следует повторить
Понятие и виды экспертных оценок
Шкалы и допустимые преобразования
Проверка статистических гипотез
Критическая

Входной контроль
Укажите допустимые преобразования для заданных типов шкал

План лекции
Математические методы обработки и анализа экспертных оценок
Стандартизация рангов
Метод согласования кластеризованных

Методы обработки экспертных оценок
Обработка результатов коллективной экспертизы направлена на согласование позиций

Стандартизация рангов
Назначение: Применяется при обработке ЭО, если ранги повторяются
Ранговые оценки
Стандартизированный ранг

Кластеризованная ранжировка
Ранжирование - расположение исследуемых объектов в порядке возрастания (или убывания)

Кластеризованная ранжировка в виде матрицы бинарного отношения
Кластеризованную ранжировку, (как и любое

Пример. Ядро противоречий ранжировок В и С
S(B,C) = (1, 3),

Противоречия в кластеризованных ранжировках
Для нахождения противоречивых пар поэлементно перемножить две матрицы

Выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок.
Формируются кластеры

Коэффициент конкордации Кендела
jср
Гипотеза о согласованности показаний экспертов не отвергается.
Пример

Поиск результирующего ранжирования
Если оценки экспертов согласованы, то для поиска результирующего ранжирования

1. Взять ответы экспертов, соответствующие одному из объектов,
2. Расположить их

Расстояние Кемени
Определение. Расстоянием Кемени между ранжировками А и В, описываемыми матрицами

Алгоритм Кемени-Снелла
Пусть
А1 , А2 , А3 ,…, Ар - ответы

Пример вычисления расстояния Кемени между ранжировками
Медиана Кемени:
Ранжировка

Автоматизация ЭО *
Вычисление результирующей экспертной оценки, а также классификация мнений экспертов