Обработка многократно измеренных величин

Содержание

Слайд 2

Обработка многократно измеренных величин Доказано: - закон распределения результатов измерений нормальный

Обработка многократно измеренных величин

Доказано:
- закон распределения результатов измерений нормальный -

наилучшие оценки для сдвига, СА, для масштаба СО σ;
- результаты измерений имеют закон распределения Лапласа - наилучшие оценки для сдвига, медиана, для масштаба САО;
- нормальный закон имеет небольшое загрязнение частью другого - наилучшие оценки для сдвига,
медиана, для масштаба скорректированное (АМО(х)).
Основа – метод максимального правдоподобия. 3 случай

2

Слайд 3

Обработка многократно измеренных величин Основные виды оценок в геодезии (начиная с

Обработка многократно измеренных величин

Основные виды оценок в геодезии (начиная с

18 века):
- М-оценки – робастные оценки, полученные на основе метода максимального правдоподобия на основе функции правдоподобия;
- R-оценки – робастные оценки, полученные на основе ранговых критериев (порядковых статистик);
- L-оценки – робастные оценки, полученные на основе линейных комбинаций результатов измерений.
Есть другие D, W, A-оценки и другие. В геодезии используются редко.

3

Слайд 4

Обработка многократно измеренных величин Наиболее части встречаются (в том числе в

Обработка многократно измеренных величин

Наиболее части встречаются (в том числе в

геодезии)
– общие корректирующие оценки, такие как ВМНК, ОМНК или Lp-оценки;
– для сдвига, усеченное среднее, медиана, псевдомедианы и адаптивная оценка Хогга;
– для оценок масштаба, среднее абсолютное отклонение (САО), абсолютное медианное отклонение (АМО), интерквартильный размах IQR, линейная оценка Даунтона.
Альтернативные оценки – учет разных отклонений и более устойчивые оценки.

4

Слайд 5

Обработка многократно измеренных величин Важно: - альтернативные оценки сдвига не отличаются

Обработка многократно измеренных величин

Важно:
- альтернативные оценки сдвига не отличаются (мало

отличаются) от среднего для НЗР результатов
- альтернативные оценки сдвига значимо отличаются от среднего при нарушении основных предположений.
Вычисляют среднее и альтернативы, сравнивают, выводы. Совпадают – среднее, не совпадают – альтернативная.
Для многих основных альтернативных оценок масштаба есть коэффициент пересчета их в традиционное стандартное отклонение. Далее сравнение как в П.1

5

Слайд 6

Обработка многократно измеренных величин Общие корректирующие оценки: Модификации МНК: ВМНК 6

Обработка многократно измеренных величин

Общие корректирующие оценки:
Модификации МНК: ВМНК

6

Слайд 7

Обработка многократно измеренных величин 2. Lp-оценки. Основа ММП. Основные показатели 1

Обработка многократно измеренных величин

2. Lp-оценки. Основа ММП. Основные
показатели
1

– метод наименьших модулей,
2 – метод наименьших квадратов,
∞ - метод минимакса
Вычисляют по исследованиям показатель:
Взвешивают весом через показатель и остаток

7

Слайд 8

Обработка многократно измеренных величин Альтернативные оценки сдвига (положения, МО): - самая

Обработка многократно измеренных величин

Альтернативные оценки сдвига (положения, МО):
- самая старая

(Менделеев, Пуанкаре) - усеченное среднее (α-усеченное среднее), со степенью усечения α%. При вычислении отбрасывают [(α%)∙n] мин и мах элементов в ряде из оставшихся среднее; Поздний аналог - винзоризованное среднее (α- винзоризованное среднее Винзора).
Усеченное средне - потеря информации, Винзоризованное среднее - если экстремальные элементы грубые они тиражируются.
Степень усечения не известна - обычно принимают равным 10%. Осторожное использование.

8

Слайд 9

Обработка многократно измеренных величин Альтернативные оценки сдвига (положения, МО): - самая

Обработка многократно измеренных величин

Альтернативные оценки сдвига (положения, МО):
- самая известная

и распространенная (почему?) медиана ряда (med(x), Ме(х), L1-оценка). Это средний элемент в вариационном ряду.
Возможно через коэффициент
k = (n + 1)/2.
Медиана – наиболее устойчивая оценка к наличию грубых измерений и достаточно устойчива к некоторым видам систематического влияния (Эджворт). Не учитывает (отсекает) значения элементов.
Основа многих робастных оценок.

9

Слайд 10

Обработка многократно измеренных величин - самая известная оценка на основе медианы

Обработка многократно измеренных величин

- самая известная оценка на основе медианы

- псевдомедиана, (R-оценка Ходжеса-Лемана). Это медиана из всех возможных пар средних i и j вперед (i ≥ j) из вариационного ряда (не обязательно).
Попарные средние в статистике - средние Уолша
Псевдомедиана (оценка Ходжеса-Лемана) ряда будет
Модификации i > j, медиана подразмахов Бикел-Ходжеса

10

Слайд 11

Обработка многократно измеренных величин - адаптивная оценка Хогга. основа - вычисление

Обработка многократно измеренных величин

- адаптивная оценка Хогга. основа - вычисление

индикатора по исследованию ряда и ветвление по схеме
S и C – среднее из t% первых или последних значений вариационного ряда;
Очень устойчива к отклонениям (нормальность, случайность, однородность и независимость), достаточно эффективна уже при числе п > 5, одна из лучших альтернативных оценок.

11

Слайд 12

Обработка многократно измеренных величин Чем пользоваться - коэффициент k (индикатор). Характеризует

Обработка многократно измеренных величин

Чем пользоваться - коэффициент k (индикатор). Характеризует

«тяжесть хвостов» распределения.
Для оценки коэффициента k используют
– значение оценки не приведенного эксцесса
Для точно нормального закона равна 3; Неустойчив.
– устойчивая оценка коэффициента, на основе линейных комбинаций измерений (Хогг)
,  
где – средние по (100∙β)% наибольших и наименьших элементов вариационного ряда соответственно
Таким образом, для эффективного оценивания сдвига ряда измерений вычисляется среднее арифметическое и одна (или несколько) альтернативных робастных оценок. Если нет отличия, или оно минимальное, оставляют среднее арифметическое. Если отличия большие, то в качестве окончательной оценки, берётся альтернативная оценка.
а i ≥ j.

12

Слайд 13

Обработка многократно измеренных величин Здесь - средние по (100∙β)% наибольших и

Обработка многократно измеренных величин

Здесь - средние по (100∙β)% наибольших

и наименьших элементов вариационного ряда соответственно
Общая схема для эффективного оценивания сдвига ряда измерений:
- среднее арифметическое
- вычисляется одна (или несколько) альтернативных робастных оценок.
- если нет отличия (минимально), оставляют среднее арифметическое. Отличия большие - окончательная оценка только альтернативная.
а i ≥ j.

13

Слайд 14

Обработка многократно измеренных величин Альтернативные оценки масштаба: - известна ещё Гауссу,

Обработка многократно измеренных величин

Альтернативные оценки масштаба:
- известна ещё Гауссу,

средняя абсолютная погрешность (САП(х))
Отдавал предпочтение Фишер по сравнению с стандартным отклонением σ (дискуссия Фишер-Эддингтон). Теоретически отношение стандартного отклонения к средней абсолютной погрешности
и

14

Слайд 15

Обработка многократно измеренных величин - известна ещё Гауссу абсолютное медианное отклонение

Обработка многократно измеренных величин

- известна ещё Гауссу абсолютное медианное отклонение

(АМО, вероятная ошибка) – медиана абсолютных отклонений от медианы
Все положительные свойства медианы (и отрицательные). Невероятно робастна - основа многих других оценок масштаба. Теоретическое отношение стандартного отклонения к абсолютному медианному отклонению  
и

15

Слайд 16

Обработка многократно измеренных величин - интерквартильный размах (IQR(x)) - R-оценка, эффективная

Обработка многократно измеренных величин

- интерквартильный размах (IQR(x)) - R-оценка, эффективная

и устойчивая оценка. Основа - квартили (четверти).
р-квартиль - граничное число вариационного ряда, относительно которого вероятность появления значений меньше этой границы равна р. Четверти - р есть 25%, 50% и 75%.
Первая четверть Q1 (нижняя, или первая квартиль), вторая Q2 (средняя, или вторая квартиль, медиана), третья четверть Q3 (верхняя, или третья квартиль).
Много способов вычисления квартилей Qi
и

16

Слайд 17

Обработка многократно измеренных величин Одна из неплохих схем: – строят вариационный

Обработка многократно измеренных величин

Одна из неплохих схем:
– строят вариационный ряд

и считают коэффициент
– номер элемента в вариационном ряде из п элементов, соответствующий нужной квантили вычисляют как

17

Слайд 18

Обработка многократно измеренных величин Часто номер дробный (C.D)- линейная интерполяция: Интерквартильный

Обработка многократно измеренных величин

Часто номер дробный (C.D)- линейная интерполяция:
Интерквартильный размах


  IQR = Q3 – Q1 
Теоретическое отношение стандартного отклонения к интерквартильному размаху
и

18

Слайд 19

Обработка многократно измеренных величин – оценка Даунтона (1966 г.), L-оценка, надёжна,

Обработка многократно измеренных величин

– оценка Даунтона (1966 г.), L-оценка, надёжна,

устойчива к нарушению основных предположений и очень эффективна
или  
через последовательные разности или подразмахи.

19

Слайд 20

Обработка многократно измеренных величин Параметризации: - Усреднение - Медианирование - Взвешивание.

Обработка многократно измеренных величин

Параметризации:
- Усреднение
- Медианирование
- Взвешивание.
Статистики:
- Натуральные
- Порядковые
-

Средние Уолша
- Разности Джини
- Поразмахи

20

Слайд 21

Обработка многократно измеренных величин Оценка по невязкам. Невязки – истинные погрешности: Формула Ферреро. Варианты. СВ. 21

Обработка многократно измеренных величин

Оценка по невязкам. Невязки – истинные
погрешности:
Формула Ферреро.
Варианты.

СВ.

21