Робастость статистических оценок

 На  рис. 2.5 представлены результаты  оценивания по сгруппированным данным параметров нормального закона по выборке из примера 2.2, принадлежащей распределению Лапласа (сравните результаты анализа с результатами, представленными на рис. 2.3). ОМП параметров нормального распределения по группированным данным  и . В данном случае в центре области определения случайной величины наблюдается некоторая близость эмпирической функции распределения и функции распределения нормального закона.

           

Рис.2.3. Эмпирическая функция  распределения (1) и  функция 

распределения нормального закона (2), найденного по выборке,

принадлежащей распределению Лапласа  

              

Рис. 2.4. Результаты оценивания по сгруппированной выборке и последующего статистического анализа при наличии в выборке аномальных измерений 

Пример 2.3. Выборка объёмом 1000 наблюдений была смоделирована в соответствии с распределением Вейбулла с плотностью

.      

                 

Рис. 2.5. Эмпирическая функция, построенная по выборке, принадлежащей распределению  Лапласа (1), и теоретическая  функция нормального  закона (2), найденная  по сгруппированной  выборке 

  При моделировании были заданы параметры:  В процессе регистрации 8 наблюдений “подверглись” сильным искажениям.         

 На  рис. 2.6-2.7 приведены результаты статистического  анализа полученной выборки. В данном случае получили закон распределения Вейбулла с параметрами  Как видим из рис. 2.6, согласие по всем критериям отвергается: наличие аномальных наблюдений сыграло свою роль. На рис. 2.7 хорошо заметна разница между эмпирической и теоретической функциями распределения.         

 На рис. 2.8 приведены результаты статистического анализа, когда перед оцениванием выборка была разбита на интервалы равной частоты, затем по получившейся группированной выборке были найдены оценки параметров распределения , после чего проверены гипотезы о согласии исходной выборки с полученным законом распределения. При проверке гипотез о согласии исходная выборка разбивалась на интервалы равной вероятности. Как видим, результаты проверки гипотез о согласии по всем критериям очень хорошие.     

 Отличие  результатов на рис. 2.9 определяется  тем, что при проверке гипотез о согласии исходная выборка разбивалась на интервалы в соответствии с асимптотически оптимальным группированием. В данном случае критерии отношения правдоподобия и  Пирсона оказываются более чувствительными, чем остальные: улавливают наличие аномальных измерений. Гипотезы о согласии при  по этим критериям должны быть отвергнуты.

     

Рис. 2.6. Результаты статистического  анализа исходной выборки по не группированным данным

    

Рис. 2.7. Теоретическая и  эмпирическая функции  распределения

          

Рис. 2.8. Оценивание с предварительным  равно частотным группированием и проверкой гипотез о согласии с разбиением на равно частотные интервалы.  

           

Рис. 2.9. Оценивание с предварительным  равно частотным группированием и проверкой гипотез о согласии с разбиением на асимптотически оптимальные интервалы.

   Приведенные на рис. 2.10-2.11 результаты анализа, аналогичны тем, что представлены на рис. 2.8-2.9, но перед оцениванием выборка была разбита на асимптотически оптимальные интервалы. Получены оценки параметров . Если при проверке гипотез исходная выборка разбивалась на интервалы равной вероятности (рис. 2.10), то гипотеза о согласии по всем критериям принимается. При использовании асимптотически оптимального группирования гипотеза о согласии по критериям отношения правдоподобия и  Пирсона должна быть отвергнута (рис. 2.11). Если мы сравним эти результаты, с результатами, представленными на рис. 2.8-2.9, то увидим, что уровень согласия в данном случае ниже. То есть, полученные оценки оказались хуже, а способ их определения более чувствителен к аномальным наблюдениям.

    Приведем ещё один пример, подчеркивающий устойчивость оценок максимального правдоподобия по группированным данным. Он связан с использованием нормального закона распределения в ситуации, когда на самом деле выборка принадлежит распределению Коши. 

            

Рис. 2.10. Оценивание с предварительным  асимптотически оптимальным группированием. При проверке согласия использованы равно частотные интервалы.

   Пример 2.4. Распределение Коши это распределение с “тяжелыми” хвостами, а такое отклонение от нормальности особенно сильно отражается на оценках параметров нормального закона. На рис. 2.12-2.13 приведены эмпирическая и теоретические функции нормального распределения при использовании обычных оценок максимального правдоподобия (рис.2.12, оценки параметров нормального распределения: , ) и оценок максимального правдоподобия по группированным данным (рис. 2.13, оценки: , ). Качественная картина, хорошо прослеживаемая на графиках, говорит сама за себя: во втором случае можно даже говорить об определенной близости эмпирической и теоретической функций распределения. Выборка объёмом 100 наблюдений моделировалась по закону Коши с функцией плотности  и параметрами , . 

           

Рис. 2.11. Оценивание с предварительным  группированием с  разбиением на асимптотически оптимальные интервалы. При проверке согласия также использовано асимптотически  оптимальное группирование. 

 Подведем итоги вышесказанному. Группирование наблюдений перед оцениванием и последующее оценивание параметров по группированной выборке позволяет получать устойчивые оценки. Когда мы говорим об оценках по группированным данным, то имеем ввиду ОМП, которые определяются в результате максимизации функции правдоподобия вида

,

где  - вероятность попадания наблюдения в -й интервал значений, k - число интервалов, но только не оценки по методу моментов с последующим использованием поправок типа Шеппарда.

              

Рис. 2.12. Эмпирическая функция  распределения и  теоретическая функция нормального закона распределения, найденная по выборке, принадлежащей распределению Коши.

Выводы 

1.     Предварительное группирование исходной выборки и последующее вычисление ОМП по группированным данным приводит к робастным оценкам, устойчивым как к наличию в исходной выборке аномальных измерений, так и к отклонениям закона распределения выборки от предполагаемого.

2.     Процедура предварительного группирования реализована в программном обеспечении. Возможно использование равномерного, равновероятного и асимптотически оптимального группирования. На основании исходной негруппированной выборки может создаваться соответствующая группированная выборка. Реализован режим предварительного группирования при оценивании, в том числе при идентификации закона распределения.

3.     Высокая устойчивость к присутствию в выборке грубых искажений или принадлежности выборки к другому закону распределения оценок максимального правдоподобия по группированной выборке позволяет использовать их в процедурах отбраковки аномальных наблюдений.

                        Функции влияния и робастность оценок        

 В предыдущих разделах подчеркивается высокая устойчивость оценок максимального правдоподобия (ОМП) по группированным наблюдениям к наличию в выборке аномальных измерений, к отклонению реально наблюдаемого закона от предполагаемого, к засорению выборки данными, принадлежащими другому закону. Всё это подтверждается опытом эксплуатации программной системы и многочисленными результатами модельных экспериментов. В данном разделе свойство робастности ОМП исследуется с позиций функции влияния, предложенной Хэмпелом. Именно анализ функций влияния ОМП параметров различных распределений, в том числе того множества распределений, которое включено в программную систему, позволяет утверждать, что ОМП по негруппированным данным, вопреки порой бытующему заблуждению, в большинстве своём являются неро бастными. В то же время ОМП по группированным данным всегда оказываются робастными.         

 Влияние  ещё одного наблюдения на очень  большую выборку может характеризоваться  функцией (кривой) влияния, которая  определяется следующим образом

,

где  - единичная масса в точке ,  - функция распределения, к которому принадлежит выборка,  - вычисляемая статистика.        

 Функция  влияния позволяет оценить относительное  влияние отдельного наблюдения на значение статистики критерия или оценку параметров. Если функция влияния неограничена, то резко выделяющиеся наблюдения могут приводить к существенным изменениям оценок или статистик. Чувствительность к большой ошибке может характеризоваться величиной

.        

 Для  асимптотически эффективных оценок, к которым относятся оценки максимального правдоподобия по негруппированным данным, функция влияния удовлетворяет равенству

,                    (3.1)

где  - количество информации Фишера.        

 Для  оценок типа максимального правдоподобия  (М-оценок), где всякая оценка  определяется как решение экстремальной задачи на минимум вида

или как  решение неявного уравнения

,

где  - произвольная функция, , функция влияния имеет вид

,

где

.        

 В  случае ОМП по группированным  данным

,

и функция  влияния будет иметь вид

.        (3.2)        

 Для  оценок, использующих квантили, соответствующие  асимптотически оптимальному группированию, и являющихся одним из частных случаев L-оценок, функция влияния имеет вид

,      (3.3)

где  - коэффициенты при выборочных квантилях в формуле для вычисления L-оценок, ,         

 Были  рассмотрены функции влияния  для оценок параметров множества распределений, включенных в программную систему.        

 Приводимые  ниже функции влияния построены  при конкретных значениях параметров и характеризуют качественную картину их поведения на области определения случайных величин. На рис. 3.1-3.2 представлены функции влияния для оценок параметров сдвига и масштаба нормального распределения, определяемых методом максимального правдоподобия по негруппированным и сгруппированным данным. Функция влияния для ОМП параметра сдвига по негруппированным данным имеет вид

,

для ОМП  параметра масштаба -

.

Функции влияния неограничены, и этим определяется чувствительность данных оценок к ошибкам измерения и засорению выборки. Напротив, функции влияния оценок параметров нормального распределения по группированным данным ограничены. Это ещё раз подчеркивает высокую устойчивость получаемых по группированным наблюдениям оценок, подтверждаемую практикой. На этих и последующих рисунках функции влияния для ОМП по группированным данным соответствуют случаю использования асимптотически оптимального группирования.         

 Аналогично, на рис. 3.3-3.4 приведены функции влияния для параметров распределения Вейбулла. Функция влияния для ОМП основного параметра по негруппированным данным имеет вид

,

где  - постоянная Эйлера и , для ОМП параметра масштаба -

.

Для основного  параметра функция влияния по негруппированным данным неограничена снизу на левой и правой границе области определения случайной величины, для масштабного параметра - неограничена сверху на правой границе. В то же время для группированных наблюдений функции влияния являются ступенчатыми ограниченными функциями.   

Рис. 3.1. Функции влияния  для параметра  сдвига

нормального распределения по негруппированным (прямая)

и сгруппированным  данным (ступенчатая  линия)   

                   Рис. 3.2. Функции влияния для параметра масштаба

                  нормального распределения по негруппированным

                     и сгруппированным данным (ступенчатая линия)