Статистические методы анализа данных. Проверка гипотез

Статистические критерии – это определенное правило, которое ставит некие условия, при которых обычно проверяемую нулевую гипотезу следует либо отклонить, либо принять.

Так же критерий проверки статистической гипотезы занимается тем, что, пытается определить противоречит ли данная гипотеза фактическим данным или нет. 
6.Проверка гипотез.

В основе проверки статистических гипотез лежат данные случайных выборок. И при этом совершенно безразлично, оцениваются ли гипотезы в отношении реальной или гипотетической генеральной совокупности.

Процедура проверки статистических гипотез проводится в основном для оценки существенности расхождений сводных характеристик отдельных совокупностей, средних относительных величин.

В ходе проверки статистических гипотез, стоит помнить, что эта процедура гарантирует результаты с определенной вероятностью лишь по «беспристрастным» выборкам, на основе объективных данных.

Хочу отметить, что проверка статистических гипотез состоит из шести этапов:

1.  Задачи исследования формируются в виде статистической гипотезы
2. Выбирается статистическая характеристика гипотезы
3. Выбираются также испытуемая и альтернативная гипотезы на основе анализа возможных ошибочных решений и их последствий
4. Определяются область допустимых значений, критическая область, критическое значение статистического критерия по соответствующей таблице
5. Вычисляется фактическое значение статистического критерия
6. Проверяется испытуемая гипотеза на основе сравнения фактического и критического значений критерия, и в зависимости от результатов проверки гипотеза либо принимается, либо отклоняется.

Ни один процесс не проходит без ошибок, так что при проверке гипотез, используя при этом один из критериев, возможны два ошибочных решения:

1. Неправильное отклонение нулевой гипотезы: ошибка 1-го рода.
2. Неправильное принятие нулевой гипотезы; ошибка 2-го рода.

Принимают так же еще два ошибочных решения, если фактически нулевая гипотеза верна и ненулевая гипотеза не верна. Они заключаются в следующем:

1. Нулевая гипотеза отклоняется и вместо нее принимается альтернативная
2. Нулевая гипотеза не отклоняется.

Возможные решения данных гипотез можно увидеть в таблице, указанной ниже.

Возможные решения при проверке гипотез

Существуют так называемые критические области. Это такие области, попадание значения статистического критерия в которую, приводит к отклонению . И вероятность попадания значения критерия в эту область равна принятому уровню значимости.

Помимо нулевой гипотезы, существует еще альтернативная гипотеза. Обычно она обозначается . Альтернативная гипотеза или конкурирующая – это такая гипотеза, которая противоречит основной. Конкурирующих гипотез может быть несколько.

Предположим, что основной гипотезой является некое математическое ожидание случайно величины Y, равное 5, тогда возможны такие решения:

Либо H0 : My=5,

Либо в исследование начинают вступать конкурирующие гипотезы.

Например, могут быть такие вариации:

H1 :

H2 :

H3 :

В любом случае альтернативная гипотеза может быть сформулирована по-разному, в основном в зависимости о того, какие отклонения от гипотетической величины особенно беспокоят, ну скажем так положительные, отрицательные, а может и вовсе и те и другие. Следовательно, альтернативные гипотезы могут быть записаны в следующих видах:

И от того, к5ак формируется альтернативная гипотеза, зависят и границы критической области и области допустимых значений.

И хотелось бы отметить, что эта область допустимых значений дополняет критическую область, о которой мы упоминали чуть выше. И если значение критерии попадает в данную область допустимых значений, то это начинает свидетельствовать о том, что данная выдвинутая гипотеза не противоречит фактическим данным (т. е. эта гипотеза не отклоняется).

А точки, разделяющие данную критическую область и область допустимых значений, называют критическими точками или границами критической области.

В зависимости от того, как формулируется альтернативная гипотеза, критическая область может быть либо двусторонней, либо односторонней, а та же левосторонней либо правосторонней.

И если значение критерия, которое необходимо вычислить попадает в критическую область, то нулевая гипотеза отклоняется, так как она противоречит всем фактическим данным. 
7.Применение проверки гипотез на практике.

Проверка гипотезы о законе распределения.

Одной из важнейших задач анализа вариационных рядов, является выявление закономерности распределения и определения ее характера.

И основным путем в выявлении закономерностей  распределения выступает построение вариационных рядов для достаточно больших совокупностей.

Важнейшим значением для выявления закономерности распределения является правильное построение самого вариационного ряда. Важны правильный выбор числа групп и размера интервала данного варьирующего признака.

В любом случае, всегда выдвигается некая научная гипотеза, которая обосновывает тип теоретической кривой распределения, а под ней понимается некое графическое изображение ряда в виде непрерывной линии изменения частот в вариационном ряду, функционально связанного с изменением значений признака.

К тому же, теоретическое распределение, бывает, выражается аналитически, т.е. формулой, связывающей частоты вариационного ряда и соответствующие варианты.

По крайней мере, гипотезы о распределении заключаются в предположении о том, что распределение в генеральной совокупности обычно подчиняется определенному закону. Проверка же самой гипотезы состоит в выведении выводов о соответствии фактического распределения гипотетическому (теоретическому) распределению, на основе эмпирических (фактических) частот с предполагаемыми частотами.

Теоретический ряд нормального распределения строится так:

1.  Вычисляют для начала значения t (величина интервала вариационного ряда) для каждой группы хозяйств по фактическому интервальному ряду. Вычисление идет по следующей формуле:

2.  Далее выполняется вычисление вероятности попадания единицы наблюдения в  данный интервал при выполнении гипотезы о нормальном законе:

3.  Следующей, определяется теоретическая частота в данной группе, которая равна произведению объема совокупности на вероятность попадания в данный интервал:

4

4. На завершающем этапе находится значение критерия по формуле:

где, k – число категорий ряда распределений;

Так же можно найти по другой формуле:

где,

Всегда какое-либо действие имеет свое практическое значение. Так же и с проверкой гипотез.

В проверке гипотез важны две вещи:

1. Соответствие нормальному закону обычно позволяет прогнозировать, какая доля совокупности попадает в тот или иной интервал значений признака.
2. Нормальное распределение в основном возникает при действии на вариацию изучаемого показателя множества независимых факторов

Из этого всего, можно сделать вывод, что нельзя существенно снизить вариацию, ну например урожайности, воздействуя лишь на один-два управляемых фактора, будь это, скажем так удобрение или энергозатраты, да что угодно.

А используя критерий , можно  не только проверить гипотезу о согласии эмпирического распределения с нормальным законом, но и с любыми другими известными законами распределения, например равномерным распределением, распределением Пуассона.

Давайте немного поговорим о распределении Пуассона.

Распределение Пуассона играет важную роль  в ряде вопросов физики, теории связи, теории массового обслуживания, всюду, где в течение определенного времени может происходить случайное число каких-то событий.

Распределение Пуассона описывает вероятность редких событий. И проверка гипотезы о том, что выборка извлечена из генеральной совокупности, имеющей распределение Пуассона, проводится таким образом:

1.  По некоторому заданному дискретному вариационному ряду рассчитывают выборочную среднюю . Обычно ее значение используется в качестве оценки параметра распределения Пуассона.
2. Вычисляются вероятности:

3.  Найденные значения вероятностей умножаются на объем выборки, тем самым рассчитываются теоретические частоты распределения:

4.  Идет расчет значения критерия согласия Пирсона хи-квадрат.

Критическое значение критерия хи-квадрат находится при заданном уровне значимости и числе степеней свободы:

5.  Так же сравниваются рассчитанное (фактическое) и критическое (табличное) значения критерия хи-квадрат и делаются соответствующие выводы:
1. Если , то гипотеза о распределении случайной величины по закону Пуассона не отклоняется.
2. А если , то гипотеза отклоняется.

Существуют так же проверки гипотез о связи на основе критерия хи-квадрат; проверка гипотез о средних величинах; основы дисперсионного анализа.

Непараметрические критерии:

В основном непараметрические тесты используют вместо параметрических, когда данные измерены на номинальной или порядковой шкале и когда данные измеряются на интервальной или порядковой шкале, однако предположение о нормальности не может быть сделано.

А вот большинство параметрических тестов требуют того, чтобы в интервальной шкале или порядковой шкале были представлены данные, в то время как многие непараметрические тесты таких требований к данным не включают.

В любом случае непараметрическое тестирование имеет преимущества и недостатки, по сравнению с параметрическими тестами.

Недостатки:

1. В отличие от параметрических тестов, в непараметрическом тестировании имеющаяся в данных информация, используется менее эффективно и мощность этого типа тестирования ниже.

Именно по этой причине параметрические тесты являются более предпочтительными и используются тогда, когда требуемые предположения относительно генеральной совокупности могут быть сделаны.

2. Непараметрическое тестирование требует, точнее оно зависит от статистических таблиц, в том случае, если не используется специальный пакет прикладных программ.

Но есть и плюсы непараметрического тестирования.

Преимущества:

1. Имеется меньше предположений о генеральной совокупности, а это значит, что наиболее важное из них то, что данная совокупность не должна быть нормально распределенной или приблизительно нормальной. Поэтому непараметрические тесты не включают в себя никаких предположений о каких-либо типах распределения.
2. Методы непараметрического тестирования применяются даже тогда, когда выборка значительно, мала.
3. Используются данные, представленные в любых шкалах измерения (они либо номинальные, либо порядковые)
4. Вычисления могут проводиться на микрокалькуляторе.

И это в первую очередь связано с малым числом наблюдений, к которым и применяется непараметрическое тестирование.

Все выше перечисленное относится к проверке статистических гипотез. Но проверка проверкой, а как, же испытания?

 

8. Испытание  статистических гипотез

Основным принципом проведения испытаний статистических  гипотез, является использование выборочного метода. Почему именно так?

Ну, во-первых, это реальное повышение точности данных, следовательно, снижаются ошибки регистрации с уменьшением единиц наблюдения в выборке. Однако из-за неполноты охвата единиц возникает некая ошибка, связанная с репрезентативностью, т.е. представительности выборочных данных. Но в любом случае, взятые вместе ошибка наблюдения для выборки и ошибка репрезентативности, обеспечивают большую точность выборочных данных по сравнению с массовым сплошным наблюдением.

Во-вторых,  использование выборок обеспечивает большую экономию материальных, трудовых, финансовых ресурсов и времени.