Проверка гипотез: о равенстве вероятностей успеха в двух сериях опытов, о равенстве средних значений для двух выборок

Меня хорошо слышно и видно?

Александр Горяинов
Кандидат физико-математических наук
Доцент кафедры теории вероятностей и компьютерного моделирования Московского

Активно участвуем
Задаем вопрос в чат или голосом
Off-topic обсуждаем в Slack #канал

Занятие 25 Проверка гипотез A/B-тестирование

Гипотеза о равенстве вероятностей успеха в двух сериях

После занятия вы будете знать:

1

как понять, является ли значимой разница долей

2

как

A/B-тестирование

A/B-тестирование – исследование, в котором части пользователей показывается один вариант какого-либо

Гипотеза о равенстве вероятностей «успеха»

Проведено две серии опытов по схеме Бернулли.

Формулировка гипотезы

Физический смысл p1 и p2 при A/B-тестировании – доли пользователей,

Статистика критерия

Для сравнения неизвестных нам вероятностей
p1 и p2 будем использовать

Доверительная и критическая области

HA: p1 ≠ p2
HA: p1 > p2
HA:

Пример

Проводилось A/B тестирование интерфейса интернет-магазина. Конверсия в покупку у варианта А

Алгоритм проверки гипотезы

0. Строим математическую модель.
1. Формулируем основную и альтернативную гипотезы.
2.

Решение

0. Математическая модель
p1 – вероятность попкупки при варианте А
p2 – вероятность

Решение

0. Математическая модель
p1 – вероятность попкупки при варианте А
p2 – вероятность

Решение

0. Математическая модель
p1 – вероятность попкупки при варианте А
p2 – вероятность

Решение

Вычисляем значение статистики критерия.

Решение

4а. Строим доверительную и критическую области

u1 – α
1,65

=

Возьмём α =

Решение

4а. Строим доверительную и критическую области

5а. Принимаем решение

u1 – α
1,65

=

Статистика

Решение

4а. Строим доверительную и критическую области

5а. Принимаем решение

u1 – α
1,65

=

Статистика

Задача о сдвиге

Есть две выборки X1, …, Xm и Y1, …,

Задача о сдвиге

Есть две выборки X1, …, Xm и Y1, …,

Формулировка гипотезы

Нужно проверить гипотезу
HO: θ = 0 (сдвига нет, различие средних

Критерий Вилкоксона (Манна-Уитни)

Элементы объединённой выборки из Xi и Yj упорядочиваются по

Критерий Вилкоксона (Манна-Уитни)

Элементы объединённой выборки из Xi и Yj упорядочиваются по

Критерий Вилкоксона (Манна-Уитни)

Элементы объединённой выборки из Xi и Yj упорядочиваются по

Доверительная и критическая области

HA: θ ≠ 0
HA: θ > 0

Пример

Проводилось A/B тестирование страницы онлайн-табло аэропорта. Договорились, что лучшим будет считаться

Алгоритм проверки гипотезы

0. Строим математическую модель.
1. Формулируем основную и альтернативную гипотезы.
2.

Решение

0. Математическая модель
X1, …, Xm ~ F(x) – время у пользователей

Решение

0. Математическая модель
X1, …, Xm ~ F(x) – время у пользователей

Решение

0. Математическая модель
X1, …, Xm ~ F(x) – время у пользователей

Решение

Вычисляем значение статистики критерия.
30, 28, 46, 42, 35, 33, 44, 43,

Решение

Вычисляем значение статистики критерия.
30, 28, 46, 42, 35, 33, 44, 43,

Решение

Вычисляем значение статистики критерия.
30, 28, 46, 42, 35, 33, 44, 43,

Решение

4а. Строим доверительную и критическую области

uα
–1,65

=

–1,69

=

Возьмём α = 0,05

Решение

4а. Строим доверительную и критическую области

5а. Принимаем решение

uα
–1,65

=

–1,69

=

Статистика критерия попала

Решение

4а. Строим доверительную и критическую области

5а. Принимаем решение

uα
–1,65

=

–1,69

=

Статистика критерия попала

2

Пройти тест по теме «Проверка гипотез»

1

Реализовать на любом языке программирования критерии

Пятница 8.11.2019 в 19:00

Ссылка на вебинар будет в ЛК за 15

Заполните, пожалуйста, опрос о занятии