Метод наибольшего правдоподобия

Содержание

Вступление………………………………………………………………………...2

Метод наибольшего правдоподобия…………………………………………….3

Дискретные случайные величины………………………………………...3

              Непрерывная случайная величина………………………………………..4

Замечательные свойства…………………………………………………..6

Замечание…………………………………………………………………...6

Пример………………………………………………………………………7

Список литературы……………………………………………………………….9

Вступление

Метод наибольшего правдоподобия в его современном виде был предложен английским статистиком Р. Фишером (1912), однако в частных формах метод использовался К. Гауссом, а еще раньше, в 18 веке, к его идее были близки И. Ламберт и Д. Бернулли. Следует добавить, что название "Метод наибольшего правдоподобия" является калькой с английского "maximum, likelihood, method".

Метод наибольшего правдоподобия

Метод наибольшего правдоподобия точечной оценки неизвестных параметров заданного распределения сводится к отысканию макси­мума функции одного или  нескольких оцениваемых параметров, в качестве оценок выбираются те значения параметров, при которых данные результаты наблюдений "наиболее вероятны".

Дискретные случайные величины

              Пусть X —дискретная случайная величина, которая в результате п опытов приняла возможное значение. Допустим    что   вид   закона   распределения величины X задан, но неизвестен параметр в, которым определяется этот закон требуется найти его точечную оценку

Ө=Ө* (х1, х2, … , хп)

Обозначим вероятность того, что в результате испытания вели­чина примет значение через р (Xi;Ө).

              Функцией правдоподобия дискретной случайной величины X называют функцию аргумента Ө:

L(х1, х2, … , хп;)= р(х1; Ө)* р(х2; Ө) … р(хп; Ө)

Оценкой наибольшего правдоподобия параметра Ө называют такое его значение Ө*, при котором функция правдоподобия дости­гает максимума.

Функции L и ln L , достигают максимума при одном и том же значении Ө, поэтому вместо отыскания максимума функции L ищут, что удобнее, максимум функции  In L.

Логарифмической функцией правдоподобия называют функцию ln L.

              Точку максимума функции In L аргумента Ө можно искать, на­пример, так:

1. Найти производную

2. Приравнять  производную нулю и найти критическую точку Ө* -корень полученного уравнения (его называют уравнением правдоподобия).

3. Найти вторую производную

если вторая производная при  Ө=Ө* отрицательная, то Ө* - точка максимума.

              Найденную точку максимума Ө* принимают в качестве оценки наибольшего правдоподобия параметра Ө.

              Непрерывная случайная величина

              Пусть X — непрерывная случайная величина, которая в результате п испытаний приняла значения х1, х2, … , хп. Допустим, что вид плотности распределе­ния - функции f(х)- задан, но неизвестен параметр Ө, которым оп­ределяется эта функция.

              Функцией правдоподобия непрерывной случайной величины X называют функцию аргумента Ө:

L(х1, х2, … , хп;)= f(х1; Ө) * f(х2; Ө) * …* f(хп; Ө)

Оценку наибольшего правдоподобия неизвестного параметра распределения непрерывной случайной величины ищут так же как в случае дискретной случайной величины.

              Если плотность распределения f(х) непрерывной случайной величины определяется двумя неизвестными параметрами Ө1 и Ө2, то функция правдоподобия есть функция двух независимых аргумен­тов Ө1 и Ө2: 

L(х1, х2, … , хп;)= f(х1; Ө) * f(х2; Ө) * …* f(хп; Ө)

              Далее   находят   логарифмическую   функцию   правдоподобия   и   для отыскания ее максимума составляют и решают систему

Метод наибольшего правдоподобия не всегда приводит к приемлемым результатам, однако в достаточно широком круге практически важных случаев этот метод является в известном смысле наилучшим. Так, например, можно утверждать, что если для параметра существует несмещенная эффективная оценка Ө* по выборке объема n, то уравнение правдоподобия имеет единств, решение Ө=Ө*. Что касается асимптотического поведения оценок максимального правдоподобия при больших n, то известно, что при некоторых общих условиях метод наибольшего правдоподобия приводит к состоятельной оценке, которая асимптотически нормальна и асимптотически эффективна. Данные выше определения непосредственно обобщаются и на случай нескольких неизвестных параметров и на случай выборок из многомерных распределений.

Метод наибольшего правдоподобия состоит в том, что в качестве оценки параметра  берется значение, при котором функция правдоподобия достигает своего максимума.

Параметр Ө находят, решая относительно Ө* уравнение

                                             (1.2.3)

Часто вместо (1.2.3) используют уравнение

                                                        ,                                                           (1.2.4)

Если плотность или вероятности зависят от параметров, то наиболее правдоподобную оценку системы параметров получают решением системы уравнений

                                                                                       (1.2.5)

или

                                                        .                               (1.2.6)

Замечательные свойства

Наиболее правдоподобные оценки имеют некоторые замечательные свойства. При достаточно общих условиях они являются состоятельными и асимптотически нормально распределенными (однако не всегда несмещенными), имеют среди всех асимптотически нормально распределенных оценок наибольшую эффективность. Справедливо следующее положение: если вообще имеется эффективная оценка, то она получается методом наибольшего правдоподобия.

Замечание 

Если функция правдоподобия является дифференцируемой по переменным , то о.н.п.  удовлетворяет следующей системе уравнений:

Это хорошо известные из курса математического анализа необходимые условия экстремума функции нескольких переменных.

Пример

Оценить вероятность некоторого события . Пусть

Решение. ; . Пусть в независимых наблюдениях событие произошло раз, т.е. . Таким образом, имеем , . Отсюда следует, что . Следовательно, есть наиболее правдоподобная оценка параметра . Случайная величина k биномиально распределена, ; Следовательно, — несмещенная оценка вероятности, асимптотически состоятельная и асимптотически нормальная.

Пример

Рассмотрим независимую выборку из равномерного распределения в отрезке , где -- неизвестный параметр. Выпишем функцию правдоподобия

и перепишем ее в более удобном виде:

Легко видеть, что максимальное значение эта функция принимает в точке . Это и есть искомая оценка наибольшего правдоподобия для параметра .

Список литературы

Вентцель Е.С., Овчаров Л.А. Теория вероятностей.-М.:Наука, 1969.

Ивашев-Мусатов О.С. Теория вероятностей и математическая статистика., М.: Наука, 1979.

Колемаев В.А., О.В. Староверов, В.Б. Турундаевский. Теория

вероятностей и математическая сатистика. М., 1991.

Одинцов И.Д. «Теория статистики»/ М., 1998.

Френкель А.А., Адамова Е.В. «Корреляционно регрессионный анализ в экономических приложениях»/ М., 1987.

Шмойловой Р.А. «Теория Статистики» под редакцией / «ФиС», 1998.

3