Метод максимального правдоподобия

Сентябрь 14, 2022

Главная
Математика
Метод максимального правдоподобия

Содержание

2. Метод максимального правдоподобия Функция правдоподобия: L(a1,a2,…,ak, y1,y2,…,yn)=Py(y1, a) Py(y2, a)…Py(yn, a) Основные свойства функции правдоподобия. 1.
3. Метод максимального правдоподобия Идея метода. В качестве оценки неизвестного параметра принимается такое, которое обеспечивает максимум функции
4. Метод максимального правдоподобия Алгоритм решения задачи с помощью ММП. Предполагается: 1. Вид закона распределения известен; 2.
5. Метод максимального правдоподобия Пример 1. Рассмотрим случайную величину, индикатор случайного события. Закон распределения этой величины: Py(t,p)=pt(1-p)(1-t)
6. Метод максимального правдоподобия Пример 1. (продолжение) 3. Составляем уравнение для вычисления оценки параметра «р». Откуда 4.
7. Метод максимального правдоподобия Проверка свойств полученной оценки. Несмещенность: M(Σyi/n)=(1/n)ΣM(yi)=(1/n)(np) = p Математическое ожидание оценки равно его
8. Метод максимального правдоподобия Неравенство Рао-Крамера. Метод проверки условия эффективности. Оно позволяет оценить нижнюю границу точности, с
9. Метод максимального правдоподобия Пример 1. (Продолжение) Вычислим информационное количество Фишера. Тогда I-1 есть Величина (6.2) равна
10. Метод максимального правдоподобия Вычисляем дисперсию оценки Полученное значение совпадает с выражением (6.2), следовательно мы получили несмещенную
11. Метод максимального правдоподобия Пример 2. Получить ММП оценки случайной величины, имеющей нормальный закон распределения. Имеем выборку
12. Метод максимального правдоподобия Решение. Для удобства введем s=σ2 2. Логарифм функции правдоподобия: 3. Составляем систему уравнений
13. Метод максимального правдоподобия Проверка свойств полученных оценок. Несмещенность. M(ã)= M(σ2)= Выводы: 1. Оценка параметра «а» является
14. Метод максимального правдоподобия Проверка свойств оценок (Продолжение). 2. Эффективность. Вычисляется информационная матрица Фишера.
16. Скачать презентацию

Слайд 2

Метод максимального правдоподобия
Функция правдоподобия:
L(a1,a2,…,ak, y1,y2,…,yn)=Py(y1, a) Py(y2, a)…Py(yn, a)
Основные свойства функции

правдоподобия.
1. Правая часть равенства имеет смысл значения закона распределения выборки при случайных значениях аргументов t1=y1, t2=y2,…, tn=yn.
Следовательно, функция правдоподобия L также случайная величина при любых значениях аргументов а={a1,a2,…,ak}.
2. Все значения функции правдоподобия L ≥0.
Эти свойства являются следствием свойств выборки.

Слайд 3

Метод максимального правдоподобия
Идея метода.
В качестве оценки неизвестного параметра принимается такое, которое

обеспечивает максимум функции правдоподобия при всех возможных значениях случайной величины Y. Математически это выражается так:
ãj= argmax(L(a1,a2,…,ak, y1,y2,…,yn)
Очевидно, что оценка ãj зависит от случайной выборки, следовательно, ãj= f(y1,y2,…,yn), где f есть процедура вычисления оценки ãj по результатам выборки.

Слайд 4

Метод максимального правдоподобия
Алгоритм решения задачи с помощью ММП.
Предполагается:
1. Вид закона распределения

известен;
2. Функция плотности вероятности гладкая во всей области определения.
Последовательность решения:
1. Составляется функция правдоподобия.
2. Вычисляется логарифм функции правдоподобия.
3. Оценки параметров получаются в результате решения системы уравнений вида:
∂ln(L)/∂ai = 0; i=1,2,3,…,k
4. Проверяется условие максимума функции правдоподобия.

Слайд 5

Метод максимального правдоподобия
Пример 1. Рассмотрим случайную величину, индикатор случайного события.
Закон распределения

этой величины: Py(t,p)=pt(1-p)(1-t) , где t=0, 1. p-параметр закона распределения. M(Y)=p, σ2(Y)=p(1-p).
Имеем выборку наблюдений Y={y1,y2,…,yn,p}.
Решение.
Составляем функцию правдоподобия:
L(y1,y2,…,yn,p)=py1(1-p)(1-y1) py2(1-p)(1-y2)… pyk(1-p)(1-yk)
=pΣyi(1-p)Σ(1-yi)
2. Вычисляем логарифм функции правдоподобия:
ln(L)=Σyiln(p) + Σ(1-yi)ln(1-p)

Слайд 6

Метод максимального правдоподобия
Пример 1. (продолжение)
3. Составляем уравнение для вычисления оценки параметра

«р».

Откуда

4. Проверяем условие максимума функции L.

Слайд 7

Метод максимального правдоподобия
Проверка свойств полученной оценки.
Несмещенность:
M(Σyi/n)=(1/n)ΣM(yi)=(1/n)(np) = p
Математическое ожидание оценки

равно его теоретическому значению.
Вывод: получена несмещенная оценка на выборке ограниченного объема!

Слайд 8

Метод максимального правдоподобия
Неравенство Рао-Крамера.
Метод проверки условия эффективности.
Оно позволяет оценить нижнюю границу

точности, с которой можно несмещенно оценить неизвестные параметры.
Нижняя граница соответствует минимальной дисперсии оценки. Следовательно, если дисперсия полученной оценки равна нижней границе, то эта оценка удовлетворяет условию эффективности.
Теорема. Для любой ковариационной матрицы любой несмещенной оценки вектора параметров «а» неравенство Рао-Крамера имеет вид:
Cov(ã,ã) ≥ I-1
где: I – квадратная матрица, информационная матрица Фишера:

Если число оцениваемых параметров равно 1, то матрица Фишера вырождается в число, которое называют информационным количеством Фишера.

Слайд 9

Метод максимального правдоподобия
Пример 1. (Продолжение)
Вычислим информационное количество Фишера.
Тогда I-1 есть
Величина (6.2)

равна минимальному значению дисперсии среди всех возможных несмещенных процедур оценки параметра «р». Т.е., если дисперсия полученной оценки равна значению (6.2), то эта оценка эффективная.

(6.2)

Слайд 10

Метод максимального правдоподобия
Вычисляем дисперсию оценки
Полученное значение совпадает с выражением (6.2),

следовательно мы получили несмещенную и эффективную оценку параметра «р» на выборке ограниченного объема.

Слайд 11

Метод максимального правдоподобия
Пример 2. Получить ММП оценки случайной величины, имеющей нормальный

закон распределения.
Имеем выборку Y={y1,y2,…,yn}. Переменная Y имеет нормальный закон распределения:

Тогда функция правдоподобия выборки примет вид:

Здесь символ «П» обозначает оператор произведения выражения по всем i

Слайд 12

Метод максимального правдоподобия
Решение. Для удобства введем s=σ2
2. Логарифм функции правдоподобия:
3. Составляем

систему уравнений относительно параметров «а» и «s»

Откуда получаем:

Слайд 13

Метод максимального правдоподобия
Проверка свойств полученных оценок.
Несмещенность.
M(ã)=
M(σ2)=
Выводы: 1. Оценка параметра «а» является

несмещенной на ограниченной выборке;
2. Оценка параметра σ2 состоятельная, т.е. несмещенная при n=>∞.

Слайд 14

Метод максимального правдоподобия

Содержание

Метод максимального правдоподобияФункция правдоподобия:L(a1,a2,…,ak, y1,y2,…,yn)=Py(y1, a) Py(y2, a)…Py(yn, a)Основные свойства функции

Метод максимального правдоподобияИдея метода.В качестве оценки неизвестного параметра принимается такое, которое

Метод максимального правдоподобияАлгоритм решения задачи с помощью ММП.Предполагается: 1. Вид закона распределения

Метод максимального правдоподобияПример 1. Рассмотрим случайную величину, индикатор случайного события.Закон распределения

Метод максимального правдоподобияПример 1. (продолжение)3. Составляем уравнение для вычисления оценки параметра

Метод максимального правдоподобияПроверка свойств полученной оценки.Несмещенность: M(Σyi/n)=(1/n)ΣM(yi)=(1/n)(np) = pМатематическое ожидание оценки

Метод максимального правдоподобияНеравенство Рао-Крамера.Метод проверки условия эффективности.Оно позволяет оценить нижнюю границу

Метод максимального правдоподобияПример 1. (Продолжение)Вычислим информационное количество Фишера.Тогда I-1 естьВеличина (6.2)

Метод максимального правдоподобияВычисляем дисперсию оценки Полученное значение совпадает с выражением (6.2),

Метод максимального правдоподобияПример 2. Получить ММП оценки случайной величины, имеющей нормальный

Метод максимального правдоподобияРешение. Для удобства введем s=σ22. Логарифм функции правдоподобия:3. Составляем

Метод максимального правдоподобияПроверка свойств полученных оценок.Несмещенность.M(ã)=M(σ2)=Выводы: 1. Оценка параметра «а» является

Метод максимального правдоподобияПроверка свойств оценок (Продолжение).2. Эффективность.Вычисляется информационная матрица Фишера.

Похожие презентации