Статистическая обработка выборки

                               (2)

В методе моментов в качестве оценки θ₀ используют статистику Y_n вида (1), которая отличается от формулы (1) тем, что теоретические моменты заменены выборочными.

Статистики Y_n вида (1) применяются не только для оценивания параметров, но и для непараметрического оценивания характеристик случайной величины, таких, как коэффициент вариации, и для проверки гипотез. Во всех случаях применения статистики Y_n вида (1) говорят о методе моментов.

Распределение вектора Y_n во всех практически важных случаях является асимптотически нормальным. Это утверждение опирается на следующий общий факт. Пусть случайный вектор Z_n є R^q асимптотически нормален с математическим ожиданием z_∞ и ковариационной матрицей ||c_ij||/n, а функция h: R^q → R¹ достаточно гладкая. Тогда случайная величина h(Z_n) асимптотически нормальна с математическим ожиданием h(z_∞) и дисперсией

                                            (3)

Для получения асимптотического распределения  статистики Y_n вида (1) можно применить метод линеаризации к асимптотически нормальному вектору выборочных моментов (M_n1, M_n2, …, M_nq) и функции g из формулы (1).

Для применения формулы (3) необходимо использовать асимптотические  дисперсии и ковариации выборочных моментов, т.е. величины, обозначенные в формуле (3) как c_rs. Эти величины имеют вид:

         (4)

Здесь μ_r – теоретический центральный момент порядка r, т.е.

Таким образом, для получения асимптотического распределения случайной величины Y_n вида (1) достаточно знать теоретические центральные моменты результатов наблюдений и вид функции g.

Итак, произведем методом моментов оценку двух параметров некоторого распределения. Пусть задан вид плотности распределения , определяемой неизвестными параметрами и . Для отыскания двух параметров необходимы два уравнения относительно этих параметров. Следуя методу моментов, приравняем, например, начальный теоретический момент первого порядка начальному эмпирическому моменту первого порядка и центральный теоретический момент второго порядка центральному эмпирическому моменту второго порядка:

Учитывая, что  и , получим

                                                                (5)

Математическое ожидание и дисперсия  есть функции от и , поэтому (2) можно рассматривать как систему двух уравнений с двумя неизвестными и . Решив эту систему относительно неизвестных параметров, тем самым получим их точечные оценки и . Эти оценки являются функциями от вариант выборки: , .

Итак, найдем методом моментов по выборке точечные оценки неизвестных параметров a и σ нормального распределения

.

Приравняем начальные теоретические  и эмпирические моменты первого  порядка, а также центральные и эмпирические моменты второго порядка:

Учитывая, что  и , получим и . Приняв во внимание, что математическое ожидание нормального распределения равно параметру а, дисперсия равна σ², имеем: и .

Итак, искомые точечные оценки параметров нормального распределения:

 и  .

Замечание. Для оценок, неизвестных параметров можно приравнивать не только сами моменты, но и функции от моментов. В частности, этим путем получают состоятельные оценки характеристик распределений, которые являются функциями теоретических моментов.

 

4.2. Метод максимального правдоподобия

В работах, предназначенных для  первоначального знакомства с математической статистикой, обычно рассматривают  оценки максимального правдоподобия (сокращенно ОМП):

                                (6)

Таким образом, сначала строится плотность распределения вероятностей, соответствующая выборке. Поскольку элементы выборки независимы, то эта плотность представляется в виде произведения плотностей для отдельных элементов выборки. Совместная плотность рассматривается в точке, соответствующей наблюденным значениям. Это выражение как функция от параметра (при заданных элементах выборки) называется функцией правдоподобия. Затем тем или иным способом ищется значение параметра, при котором значение совместной плотности максимально. Это и есть оценка максимального правдоподобия.

Хорошо известно, что оценки максимального  правдоподобия входят в класс  наилучших асимптотически нормальных оценок. Однако при конечных объемах  выборки в ряде задач ОМП недопустимы, т.к. они хуже (дисперсия и средний квадрат ошибки больше), чем другие оценки, в частности, несмещенные. Именно поэтому в ГОСТ 11.010-81 для оценивания параметров отрицательного биномиального распределения используются несмещенные оценки, а не ОМП. Из сказанного следует априорно предпочитать ОМП другим видам оценок можно – если можно – лишь на этапе изучения асимптотического поведения оценок.

В отдельных случаях  ОМП находятся явно, в виде конкретных формул, пригодных для вычисления.

В большинстве случаев  аналитических решений не существует, для нахождения ОМП необходимо применять численные методы. Однако применение численных методов порождает многочисленные проблемы. Как следствие существующих трудностей, стали появляться работы по доказательству сходимости алгоритмов нахождения оценок максимального правдоподобия для конкретных вероятностных моделей и конкретных алгоритмов.

Найдем ОМП для выборки  из нормального распределения, каждый элемент которой имеет плотность

.

Таким образом, надо оценить двумерный  параметр (a, σ²).

Произведение плотностей вероятностей для элементов выборки, т.е. функция правдоподобия, имеет  вид

                                     (7)

Требуется решить задачу оптимизации .

Как и во многих иных случаях, задача оптимизации проще решается, если прологарифмировать функцию правдоподобия, т.е. перейти к функции , называемой логарифмической функцией правдоподобия. Для выборки из нормального распределения

                       (8)

Необходимым условием максимума является равенство 0 частных производных  от логарифмической функции правдоподобия  по параметрам, т.е.

.                                    (9)

Система (9) называется системой уравнений максимального правдоподобия. В общем случае число уравнений равно числу неизвестных параметров, а каждое из уравнений выписывается путем приравнивания 0 частной производной логарифмической функции правдоподобия по тому или иному параметру.

При дифференцировании по a первые два слагаемых в правой части формулы (8) обращаются в 0, а последнее слагаемое дает уравнение

.

Следовательно, оценкой a* максимального правдоподобия параметра a является выборочное среднее арифметическое, .

Для нахождения оценки дисперсии необходимо решить уравнение

Легко видеть, что

.

Следовательно, оценкой (σ²)* максимального правдоподобия для дисперсии σ² с учетом найденной ранее оценки для параметра a является выборочная дисперсия,

Итак, система уравнений максимального  правдоподобия решена аналитически, ОМП для математического ожидания и дисперсии нормального распределения  – это выборочное среднее арифметическое и выборочная дисперсия. Отметим, что  последняя оценка является смещенной.

Отметим, что в условиях нашей  задачи оценки метода максимального  правдоподобия совпадают с оценками метода моментов.

Исследуем свойства полученных оценок.

 

4.3. Несмещённость точечной оценки.

Статистику   называют несмещённой оценкой параметра  , если её математическое ожидание совпадает с   для любого фиксированного  :                                             

,  _.                                     (10)

Если же это требование выполняется  в пределе, т.е.

,

то оценку   называют асимптотически несмещённой.

Несмещённость оценки означает её верность «в среднем», отсутствие систематической ошибки.

Докажем, что  выборочное среднее   является несмещённой оценкой математического ожидания  m=M[X]  генеральной совокупности  . Для начала найдём математическое ожидание статистики  :

 

(здесь мы учли свойство линейности  математического ожидания). Поскольку  случайные величины   имеют тот же закон распределения, что и генеральная совокупность  , можно записать: M[X_i]=M[X]=m. Поэтому 

,

 т.е. математическое ожидание  выборочного среднего   равно параметру  , что означает несмещённость статистики   как оценки этого параметра. 

Исследуем несмещённость выборочной дисперсии 

как оценки дисперсии   генеральной совокупности. Преобразуем формулу для  :

.

Отсюда с учётом для математического ожидания статистики   получаем:

  .

Итак,  , т.е.   – это смещённая оценка дисперсии   генеральной совокупности  . Однако  , что означает асимптотическую несмещённость этой оценки. 

Замечания. Из предыдущих рассуждений следует, что 

.

Поэтому исправленная выборочная дисперсия  , т.е.

 

                                                                                                     (11)

– это несмещённая оценка дисперсии  .

Итак, перечислим несмещённые оценки математического ожидания   и дисперсии   генеральной совокупности  :

– выборочное среднее – оценка  :

 

 

_– выборочная дисперсия – оценка   при известном  :

_– исправленная выборочная дисперсия – оценка   при неизвестном  _:

. 

 

4.4. Состоятельность статистической оценки

Статистику   называют состоятельной оценкой параметра  , если с ростом объёма выборки   она сходится по вероятности к этому параметру:                                            

,                                        (12)

Напомним: соотношение (12) означает, что  для любого числа    . Поэтому для состоятельной оценки   отклонение её от   менее, чем на как угодно малую величину   становится при большом объёме выборки   событием, близким к достоверному.

Иными словами, состоятельность оценки – это возможность с её помощью  определить искомый параметр с любой  точностью и как угодно большой  достоверностью за счёт использования  выборки достаточно большого объёма. Понятно, что несостоятельная оценка не представляет практического интереса.

Докажем, что выборочное среднее   является состоятельной оценкой математического ожидания    генеральной совокупности   с конечной дисперсией .

Запишем второе неравенство Чебышёва для статистики  : 

.

Эта статистика является несмещённой  оценкой математического ожидания  , поэтому  .

Учитывая, что   , а также с учётом свойства вероятности  , можно записать:

.

Переходя в этих неравенствах к  пределу при  , получим: 

,

т.е.   при   и выборочное среднее   есть состоятельная оценка параметра  .►

Докажем, что выборочная дисперсия   и исправленная выборочная дисперсия   являются состоятельными оценками дисперсии   генеральной совокупности  , имеющей конечный центральный момент  .

Выше было показано, что

.                                           (13)

Из состоятельности выборочного среднего как оценки параметра   следует, что                                                 

 при                                               (14)

Из закона больших чисел для  случайных величин   с учётом существования   имеем:

,

то есть                                            

 при  .                                (15)

Сопоставив (13) – (15), убеждаемся, что

 при  ,

т.е.   – состоятельная оценка дисперсии  .