Математическая статистика в различных областях

В конце XIX — начале ХХ века крупный вклад в математическую статистику внесли английские исследователи, прежде всего Карл Пирсон (1857—1936) и Роналд Фишер (1890—1962). В частности, Пирсон разработал критерий «хи-квадрат» проверки статистических гипотез, а Фишер — дисперсионный анализ, теорию планирования эксперимента, метод максимального правдоподобия оценки параметров.

В 30-е годы ХХ века поляк  Ежи Нейман (1894—1977) и англичанин Эгон Пирсон развили общую теорию проверки статистических гипотез, а  советские математики Андрей Николаевич Колмогоров (1903—1987) и Николай Васильевич Смирнов (1900—1966) заложили основы непараметрической статистики. В 40-е годы ХХ века румын Авраам Вальд (1902—1950) построил теорию последовательного статистического анализа.

Математическая статистика бурно развивается и ныне. За последние 40 лет можно выделить четыре принципиально новых направления исследований:

1. Разработка и внедрение математических методов планирования экспериментов;
2. Развитие статистики объектов нечисловой природы как самостоятельного направления в прикладной математической статистике;
3. Развитие статистических методов, устойчивых по отношению к малым отклонениям от используемой вероятностной модели;
4. Широкое развёртывание работ по созданию компьютерных пакетов программ, предназначенных для проведения статистического анализа данных.

2.2. Современное  представление о математической  статистике

Под математической статистикой  понимают «раздел математики, посвящённый  математическим методам сбора, систематизации, обработки и интерпретации статистических данных, а также использованию их для научных или практических выводов. Правила и процедуры математической статистики опираются на теорию вероятностей, позволяющую оценить точность и надёжность выводов, получаемых в каждой задаче на основании имеющегося статистического материала. При этом статистическими данными называются сведения о числе объектов в какой-либо более или менее обширной совокупности, обладающих теми или иными признаками.

По типу решаемых задач  математическая статистика обычно делится на три раздела: описание данных, оценка и проверка гипотез.

По виду обрабатываемых статистических данных математическая статистика делится на четыре направления:

• Одномерная статистика (статистика случайных величин), в которой результат наблюдения описывается действительным числом.
• Многомерный статистический анализ, где результат наблюдения над объектом описывается несколькими числами (вектором).
• Статистика случайных процессов и временных рядов, где результат наблюдения — функция.
• Статистика объектов нечисловой природы, в которой результат наблюдения имеет нечисловую природу, например, является множеством (геометрической фигурой), упорядочением или получен в результате измерения по качественному признаку.

Исторически первыми  появились некоторые области статистики объектов нечисловой природы (в частности, задачи оценивания доли брака и проверки гипотез о ней) и одномерная статистика. Математический аппарат для них проще, поэтому на их примере обычно демонстрируют основные идеи математической статистики.

Лишь те методы обработки  данных, то есть математической статистики, являются доказательными, которые опираются  на вероятностные модели соответствующих  реальных явлений и процессов. Речь идёт о моделях поведения потребителей, возникновения рисков, функционирования технологического оборудования, получения результатов эксперимента, течения заболевания и тому подобного. Вероятностную модель реального явления следует считать построенной, если рассматриваемые величины и связи между ними выражены в терминах теории вероятностей. Соответствие вероятностной модели реальности, то есть её адекватность, обосновывают, в частности, с помощью статистических методов проверки гипотез.

Невероятностные методы обработки данных являются поисковыми, их можно использовать лишь при предварительном анализе данных, так как они не дают возможности оценить точность и надёжность выводов, полученных на основании ограниченного статистического материала.

Вероятностные и статистические методы применимы всюду, где удаётся  построить и обосновать вероятностную модель явления или процесса. Их применение обязательно, когда сделанные на основе выборочных данных выводы переносятся на всю совокупность (например, с выборки на всю партию продукции).

В конкретных областях применений используются как вероятностно-статистические методы широкого применения, так и специфические. Например, в разделе производственного менеджмента, посвящённого статистическим методам управления качеством продукции, используют прикладную математическую статистику (включая планирование экспериментов). С помощью её методов проводится статистический анализ точности и стабильности технологических процессов и статистическая оценка качества. К специфическим методам относятся методы статистического приёмочного контроля качества продукции, статистического регулирования технологических процессов, оценки и контроля надёжности и другие.

Широко применяются  такие прикладные вероятностно-статистические дисциплины, как теория надёжности и теория массового обслуживания. Содержание первой из них ясно из названия, вторая занимается изучением систем типа телефонной станции, на которую в случайные моменты времени поступают вызовы — требования абонентов, набирающих номера на своих телефонных аппаратах. Длительность обслуживания этих требований, то есть длительность разговоров, также моделируется случайными величинами. Большой вклад в развитие этих дисциплин внесли Александр Яковлевич Хинчин (1894—1959), Борис Владимирович Гнеденко (1912—1995) и другие отечественные учёные.

3.1. Суть вероятностно-статистических методов

Как подходы, идеи и результаты теории вероятностей и математической статистики используются при обработке  данных — результатов наблюдений, измерений, испытаний, анализов, опытов с целью принятия практически  важных решений?

Базой является вероятностная модель реального явления или процесса, то есть математическая модель, в которой объективные соотношения выражены в терминах теории вероятностей. Вероятности используются прежде всего для описания неопределённостей, которые надо учитывать при принятии решений. Имеются в виду как нежелательные возможности (риски), так и привлекательные («счастливый случай»). Иногда случайность вносится в ситуацию сознательно, например, при жеребьёвке, случайном отборе единиц для контроля, проведении лотерей или опросов потребителей.

Теория вероятностей позволяет по одним вероятностям рассчитать другие, интересующие исследователя. Например, по вероятности выпадения  орла можно рассчитать вероятность  того, что при 10 бросаниях монет  выпадет не менее 3 орлов. Подобный расчёт опирается на вероятностную модель, согласно которой бросания монет описываются схемой независимых испытаний, кроме того, выпадения орла и решки равновозможны, а потому вероятность каждого из этих событий равна . Более сложна модель, в которой вместо бросания монеты рассматривается проверка качества единицы продукции. Соответствующая вероятностная модель опирается на предположение о том, что контроль качества различных единиц продукции описывается схемой независимых испытаний. В отличие от модели с бросанием монет необходимо ввести новый параметр — вероятность p того, что единица продукции является дефектной. Модель будет полностью описана, если принять, что все единицы продукции имеют одинаковую вероятность оказаться дефектными. Если последнее предположение неверно, то число параметров модели возрастает. Например, можно принять, что каждая единица продукции имеет свою вероятность оказаться дефектной.

Таким образом, применение математической статистики опирается  на вероятностную модель явления или процесса. Используются два параллельных ряда понятий: относящиеся к теории (вероятностной модели) и относящиеся к практике (выборке результатов наблюдений). Например, теоретической вероятности соответствует частота, найденная по выборке. Математическому ожиданию (теоретический ряд) соответствует выборочное среднее арифметическое (практический ряд). Как правило, выборочные характеристики суть оценки теоретических. При этом величины, относящиеся к теоретическому ряду, «находятся в головах исследователей», относятся к миру идей (по древнегреческому философу Платону), недоступны для непосредственного измерения. Исследователи располагают лишь выборочными данными, из которых они стараются установить интересующие их свойства теоретической вероятностной модели.

Зачем же нужна вероятностная  модель? Дело в том, что только с  её помощью можно перенести свойства, установленные по результатам анализа  конкретной выборки, на другие выборки, а также на всю так называемую генеральную совокупность. Термин «генеральная совокупность» используется, когда речь идёт о большой, но конечной совокупности изучаемых единиц. Например, о совокупности всех жителей России или совокупности всех потребителей растворимого кофе в Москве. Цель маркетинговых или социологических опросов в том, чтобы утверждения, полученные по выборке из сотен или тысяч человек, перенести на генеральные совокупности в несколько миллионов человек. При контроле качества в роли генеральной совокупности выступает партия продукции.

Чтобы перенести выводы с выборки на более обширную совокупность, необходимы те или иные предположения о связи выборочных характеристик с характеристиками этой более обширной совокупности. Эти предположения основаны на соответствующей вероятностной модели.

Конечно, можно обрабатывать выборочные данные, не используя ту или иную вероятностную модель. Например, можно рассчитывать выборочное среднее арифметическое, подсчитывать частоту выполнения тех или иных условий. Однако результаты расчётов будут относиться только к конкретной выборке, перенос полученных с их помощью выводов на какую-либо иную совокупность некорректен. Иногда подобную деятельность называют «анализ данных». По сравнению с вероятностно-статистическими методами анализ данных имеет ограниченную познавательную ценность.

Итак, использование вероятностных моделей на основе оценивания и проверки гипотез с помощью выборочных характеристик — вот суть вероятностно-статистических методов принятия решений.

Подчеркну, что логика использования выборочных характеристик для принятия решений на основе теоретических моделей предполагает одновременное использование двух параллельных рядов понятий, один из которых соответствует вероятностным моделям, а второй — выборочным данным. К сожалению, в ряде литературных источников, устаревших либо написанных в рецептурном духе, не делается различия между выборочными и теоретическими характеристиками, что приводит читателей к недоумениям и ошибкам при практическом использовании статистических методов.

5. Статистические данные и прикладная статистика

Под прикладной статистикой обычно понимают часть математической статистики, посвящённую методам обработки реальных статистических данных, а также соответствующее математическое и программное обеспечение. Таким образом, чисто математические задачи не включают в прикладную статистику. В последние десятилетия термин «математическая статистика» всё чаще применяют для обозначения чисто математической дисциплины, которая изучает свойства математических объектов и структур, введённых в классической статистике ранее середины ХХ века. При таком понимании прикладная статистика — самостоятельная научно-практическая дисциплина, не имеющая пересечения с математической статистикой. Прикладную статистику и статистические методы в целом можно отнести к кибернетике или прикладной математике.

Под статистическими данными понимают числовые или нечисловые значения контролируемых параметров (признаков) исследуемых  объектов, которые получены в результате наблюдений (измерений, анализов, испытаний, опытов и так далее) определённого  числа признаков, у каждой единицы, вошедшей в исследование. Способы получения статистических данных и объёмы выборок устанавливают, исходя из постановок конкретной прикладной задачи на основе методов математической теории планирования эксперимента.

Результат наблюдения xi исследуемого признака X (или совокупности исследуемых признаков X) у i-ой единицы выборки отражает количественные и/или качественные свойства обследованной единицы с номером i (здесь , где n — объём выборки). Деление прикладной статистики на направления соответственно виду обрабатываемых результатов наблюдений (то есть на статистику случайных величин, многомерный статистический анализ, статистику временны́х рядов и статистику объектов нечисловой природы) обсуждалось выше.

Результаты наблюдений , где xi — результат наблюдения i-ой единицы выборки, или результаты наблюдений для нескольких выборок, обрабатывают с помощью методов прикладной статистики, соответствующих поставленной задаче. Используют, как правило, аналитические методы, то есть методы, основанные на численных расчётах (объекты нечисловой природы при этом описывают с помощью чисел). В отдельных случаях допустимо применение графических методов (визуального анализа).

Количество разработанных к  настоящему времени методов обработки  данных весьма велико. Они описаны в сотнях тысяч книг и статей, а также в стандартах и других нормативно-технических и инструктивно-методических документах.

Многие методы прикладной статистики требуют проведения трудоемких расчётов, поэтому для их реализации нужны компьютеры. Программы расчётов на ЭВМ должны соответствовать современному научному уровню. Однако для единичных расчётов при отсутствии соответствующего программного обеспечения успешно используют микрокалькуляторы.

5.1. Статистический анализ точности и стабильности технологических процессов и качества продукции

Статистические методы используют, в частности, для анализа точности и стабильности технологических  процессов и качества продукции. Цель — подготовка решений, обеспечивающих эффективное функционирование технологических единиц и повышение качества и конкурентоспособности выпускаемой продукции. Статистические методы следует применять во всех случаях, когда по результатам ограниченного числа наблюдений требуется установить причины улучшения или ухудшения точности и стабильности технологического оборудования. Под точностью технологического процесса понимают свойство технологического процесса, обусловливающее близость действительных и номинальных значений параметров производимой продукции. Под стабильностью технологического процесса понимают свойство технологического процесса, обусловливающее постоянство распределений вероятностей для его параметров в течение некоторого интервала времени без вмешательства извне.