Проверка статистических гипотез. Версия 2

Определение

Статистическая гипотеза – утверждение о свойствах распределения вероятностей случайной величины

Напоминание

Что такое функция распределения?
Что такое плотность распределения?

Раздел 1
Зачем проверяют
статистические гипотезы
Обсудим наиболее важные статистические гипотезы.

1. Гипотеза согласия.

Обозначим функцию распределения случайной величины Х.
Пусть - некоторая

Пример гипотезы согласия

Гипотеза о нормальности распределения
В этом случае

Почему гипотеза нормальности важна?
1. Нормальное распределение часто встречается
(вспомним центральную предельную

Почему гипотеза нормальности важна?

2. Когда распределение нормальное, экономим деньги: если
А)

Пример гипотезы согласия 2

Гипотеза об экспоненциальности распределения.
В этом случае функция распределения

Почему важна гипотеза экспоненциальности?
Экспоненциальное распределение часто встречается, когда изучается «время ожидания».

Например,

Время до аварии (нужно для расчета страховой премии).
Время обслуживания покупателя кассиром

2. Гипотеза однородности.

Обозначим функцию распределения случайной величины Х.
Обозначим функцию распределения

Например,

Распределение продаж до рекламной акции и после нее.
Если распределение продаж не

3. Гипотеза независимости.
Гипотеза : случайные величины X и Y независимы

Например,

Если возраст покупателей и объем покупки зависимы, то возраст надо учитывать

Вопрос:

наличие балкона влияет на цену квартиры?

На шаг дальше…

В эконометрике редко интересен сам факт зависимости. Обычно идут

4. Гипотезы о параметре распределения.

Очень часто не так важно распределение случайной

Если анализируются продажи магазина, то в первую очередь интересно…

Математическое ожидание
Так

Если сравниваются медианы:
Гипотеза. Медианы случайных величин X и Y одинаковы.
Med(X)

Основные условия применения статистических тестов

Вопрос должен касаться какой-либо характеристики массового явления.

Пример 1

В обычных условиях зафиксирован некоторый уровень продаж. Затем была проведена

Основная проблема:

Увеличение продаж могло быть вызвано случайными факторами.
Продажи все время

Пример 2

Разработан новый варианта упаковки товара.
Требуется проверить предположение, что товар

Пример 3

Верно ли, что основной конкурент действует на том же сегменте

Пример 4

Фирма изучает постоянных покупателей своей продукции, чтобы увеличить их лояльность

Пример 4. Часть 2

Статистическая формулировка: проверить гипотезы о независимости уровня лояльности

Раздел 2
Технологии проверки статистических гипотез
Основные понятия

Выбираем из двух гипотез!

Гипотеза принимается или отвергается
Так неудобно
Надо: выбираем между

Определение

Проверку гипотез на основе выборочных статистических данных называют статистической проверкой гипотез.

Основная и альтернативная гипотезы

Одну из гипотез называют основной и обозначают, как

Неточно говорить «…выбрана основная гипотеза…» или «…выбрана альтернативная гипотеза…»,
Неточно говорить

Важное уточнение.

Правильно говорить
«основная гипотеза отвергнута…» и
«основная гипотеза не

Комментарий 1:
Гипотеза: число делится на 6 нацело.
Фактически проверяем, делится ли число

Комментарий 2:

Часто случается, что у аналитика недостаточно данных, чтобы проявился изучаемый

Отвергнуть гипотезу недостаточно

Основная гипотеза при анализе: отличия между лекарствами нет.
Дело

Вывод

Хотя часто можно услышать, что (основная) гипотеза принята, такое выражение неточно.

Ошибки первого и второго рода

Ошибка первого рода состоит в том, что

Аналогия
В больнице врач принимает решение, направлять пациента на операцию, или нет.

Гипотеза: нужна срочная операция

Может ли врач свести частоту (вероятность) ошибок первого рода к нулю?

Есть исключения

Например,
если мы будем вакцинацию считать операцией,
то получается, что

Последствия ошибок могут быть различными
Ошибка первого рода (обычно) опаснее, но полностью

Уровень значимости

Долю ошибок первого рода ограничивают сверху числом, называемым уровень

Для новичков!

Чаще всего уровень значимости равен 0,05
На самом деле выбор уровня

«медицинский» пример
На что влияет выбор уровня значимости?
Проектирование атомной электростанции
Трелевочный трактор
Генетика:

Ошибка второго рода и мощность

Как добиться того, чтобы вероятность ошибки второго

Дополнительно

Если выборка маленькая (часто границей между большой и маленькой выборкой рекомендуют

Задача.

Вместо врача рассмотрим банковского служащего, принимающего решение, выдавать заем или

Алгоритм проверки статистических гипотез

1. Имеются n наблюдений , то есть

3. Задан статистический критерий, то есть функция от наблюдений .
4.

5. Проверяются все условия, при которых критерий будет работать.
Условия – Из

6.
Если p< α - гипотезу отвергаем, если p> α -

Комментарии

Наблюдения не обязательно являются числами.
Выбор того статистического критерия, который

Проверка условий применимости

Например, для применения t – критерия Стьюдента или для

Статистика критерия или тестовая статистикой

Иногда используют статистику критерия или тестовую статистику.

Интерпретация статистики критерия

Значение статистики критерия (обычно) измеряет, насколько данные согласуются с

"Маленькие" значения статистики критерия указывают, что данные «ведут себя» в соответствии

"Большие" значения статистики критерия указывают, что данные не соответствуют гипотезе, противоречат

Пример

Нормальное распределение с дисперсией 1
Имеется n наблюдений
Основная гипотеза: математическое ожидание

Напоминание из теории вероятностей

Среднее арифметическое n независимых одинаково распределенных случайных величин

Вопрос:
Где на графике ошибка первого рода, где ошибка второго рода?

Интерпретация статистики критерия
В статистике жестко прописано, что именно задавать в качестве

Раздел 3
Важные частные случаи

Статистическая формулировка

Гипотеза: Случайная величина имеет нормальное распределение, значения параметров распределения заранее

Литература

Thode
Testing For Normality
CRC Press 2002 368c

Критерий Шапиро-Уилка
Критерий Шапиро-Уилка.
shapiro.test(data)
От 3 до 5000 наблюдений

Package "nortest"

Критерий Anderson-Darling
library(nortest)
ad.test(data)
Критерий Lilliefors (Kolmogorov-Smirnov)
library(nortest)
lillie.test(x)

Число наблюдений

Если меньше 2000 наблюдений, рекомендуется использовать критерий Шапиро-Уилка
если больше 2000,

А нужно ли проверять гипотезу нормальности?

Методы, которые рассматриваются в курсе, работают не только когда переменные имеют

допустим известно, что распределение случайной величины не нормальное.
В каком случае

Итак,

гипотеза о нормальности распределения изучаемой переменной уже отвергнута.

Существенные отклонения

1. Наличие выбросов в данных.
2. Явная асимметрия гистограммы.
3.

Рекомендуется

строго относиться к присутствию выбросов,
снисходительно к отклонениям от симметрии.
Наше отношение

Лекарство Иногда оно опаснее болезни...

Выбросы — удаляем (осторожно!)
Асимметрия — преобразуем

Пример 1
Население городов России в 1959 году
Исходные данные
Логарифм населения

Пример 2

Альбукерк – продажи домов

Сравнение центров распределений

Сравнение центров распределений
Центр распределения - то одно единственное число, которое

Другие методы оценки центра распределения

Andrews; Bickel; Hampel; Huber; Rogers, Tukey.

Среднее арифметическое или медиана?

Если распределение хотя бы одной из выборок существенно

Выбор центра распределения

Если центром распределения выбрана медиана, центры сравниваются с помощью

Прагматичный подход

Применить оба теста. Если выводы совпадают, ответ есть
Если выводы различны, начинаем

Примеры

Обучение менеджеров
Магазины

Парные и независимые выборки

В случае парных выборок имеются пары наблюдений (измерений)

Независимые выборки

В случае независимых выборок каждое наблюдение соответствует отдельному объекту, т.е.

Независимые и парные выборки

Если выборки парные, используется опция paired = TRUE.
Если

Примеры

Время в магазинах
Альбукерк

Сравнение медиан выборок
Гипотеза: Медианы равны.
Альтернативная гипотеза: Медианы различаются.

Mood's median test

m <- median(c(x1,x2)) # joint median
f11 <- sum(x1>m) #

Mood's median test

Friedlin, B. & Gastwirth, J. L. (2000).
Should the

Критерий Манна-Уитни

Mann–Whitney–Wilcoxon,
Wilcoxon rank-sum test,
Wilcoxon–Mann–Whitney test

Важно!

Критерий Манна-Уитни проверяет не равенство медиан, а другое утверждение.
Имеются

Статистика критерия Манна-Уитни U

U1 = n1*n2 + {n1 * (n1 +

Статистика критерия Манна-Уитни идея метода

Обозначим одну выборку x, другую y.
Для каждого наблюдения

Тогда причем тут медианы?

Дополнительные предположения
if the responses are assumed to be

Гипотеза отвергается: p=0.0288

Гипотеза не отвергается: p=0.46

Критерий Манна-Уитни-Вилкоксона

wilcox.test(x, y,
alternative = "two.sided",
paired = FALSE,

Примеры

Время в магазинах
Альбукерк

Сравнение средних значений выборок
Гипотеза: Математические ожидания равны.
Альтернативная гипотеза: Математические ожидания

T-критерий Стьюдента

t.test(x, y, alternative = "two.sided", paired = FALSE, var.equal =

Выбор статистического критерия

Если выборки парные, рекомендуется использовать парный t-критерий Стьюдента.
Если выборки

Надо еще сравнить дисперсии - 1

Метод 1
F-test of equality of variances
Не

Надо еще сравнить дисперсии - 2

Метод 2
Bartlett's test
Если данные нормально распределены,

Надо еще сравнить дисперсии - 2

Метод 2
Bartlett's test
bartlett.test(x, g, data=data.table)
bartlett.test(x~g, data=data.table)

Надо еще сравнить дисперсии - 3

Levene's test
Критерий Ливиня/Левена
Содержится в пакете

Надо еще сравнить дисперсии - 3

Levene's test
library(car)
leveneTest(x~g, data=data.table)

Надо еще сравнить дисперсии - 4

Fligner-Killeen test
Робастный, рекомендуется.
Хотя есть еще Brown-Forsythe

Надо еще сравнить дисперсии - 4

Fligner-Killeen test
fligner.test(x~g, data=data.table)

Примеры

Время в магазинах
Альбукерк

Гипотеза независимости

Основная гипотеза:
Случайные величины X и Y независимы
Альтернативная гипотеза:
Случайные величины X

На практике:
Отвечаем на вопрос: переменная X влияет на переменную Y?

Комментарий

Если неизвестно, что на что влияет:
X на Y или
Y на

Пример Бернарда Шоу
Гибридизация нескольких методов распознавания образов

Диаграмма рассеивания

Иногда пишут - диаграмма рассеяния
Пример – швейцарские банкноты.

Зависимость -1

X – в количественной шкале
Y – в количественной шкале
Применяется коэффициент

Функциональная зависимость

Статистическая зависимость двух переменных

Обобщение функциональной зависимости.
Одному и тому же значению x

статистическая зависимость

Определение статистическая зависимость – это функциональная зависимость СРЕДНЕГО значения переменной

среднее значение переменной y равно натуральному логарифму значения x.

среднее значение переменной y равно натуральному логарифму значения x.

Выбор коэффициента

Если распределение каждой переменной несущественно отличается от нормального, применяется коэффициент

Коэффициент корреляции равен 1

Коэффициент корреляции равен 0.9

Коэффициент корреляции равен 0.8

Коэффициент корреляции равен 0.6

Коэффициент корреляции равен 0.4

Коэффициент корреляции равен 0.2

Коэффициент корреляции равен 0.

Данные без выброса коэффициент корреляции равен -0.81

Добавлен выброс в точке (10,10). Коэффициент корреляции упал до -0,55.

Выброс сдвинут в точку (18,5, 18,5) Коэффициент равен 0

Выброс сдвинут в точку (53, 53). Корреляция равна +0,81

Зависимость -2

X – в количественной шкале
Y – в номинальной шкале
Сравниваем средние

Зависимость -3

X – в порядковой шкале
Y – в порядковой шкале
Используем коэффициент

Зависимость -4

X – в номинальной шкале
Y – в номинальной шкале
Таблица сопряженности

Критерий хи-квадрат
Формула для статистики

Статистика хи-квадрат как коэффициент корреляции
Коэффициент Пирсона
Коэффициент Чупрова

Пример 1

Действительно ли использование Internet связано с полом?
Все опрошенные пользуются Интернетом.

Пример 1

sex = пол.
Кодировка: "1" – мужчина, "0" – женщина.
internet =

Пример 1

Пример 2

В результате изучения связи между покупкой модной одежды и семейным

Пример 2

Переменные.
sex = пол.
Кодировка: "1" – мужчина, "0" – женщина.
marriage =

Пример 2

Пример 2

Пример 2

Пример 3

Маркетолог проводит исследование для рекламного агентства, разрабатывающего рекламу для автомобилей

Пример 3

Переменные.
high_edu = образование.
Кодировка: "1" – высшее образование, "0" – нет

Пример 3

Пример 3

Пример 3

Пример 4

Маркетолог, исследующий сферу туристических поездок за границу, предположил, что на

Пример 4

Переменные.
desire = желание совершить путешествие за границу.
Кодировка: "1" – желание

Пример 4

Пример 4

Пример 4

Пример 4

Пример 5

Результаты анкетирования о проведении семейного досуга содержат, среди прочего, следующую

Пример 5

Пример 5