Отбор факторов в модель множественной регрессии

При проверке основной гипотезы возможны следующие ситуации.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. F_набл>F_крит, то основная гипотеза о необоснованности включения факторной переменной x_k в модель множественной регрессии отвергается. Следовательно, включение данной переменной в модель множественной регрессии является обоснованным.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого  по таблице распределения Фишера-Снедекора), т. е. F_набл≤F_крит, то основная гипотеза о необоснованности включения факторной переменной x_k в модель множественной регрессии принимается. Следовательно, данную факторную переменную можно не включать в модель без ущерба для её качества.

3. проверка факторных  переменных на значимость осуществляется до тех пор, пока не найдётся хотя бы одна переменная, для которой не выполняется условие F_набл>F_крит.

5) Метод исключения факторов  состоит в том, что в модель  включаются все факторы. Затем  после построения уравнения регрессии  из модели исключают фактор, коэффициент при котором незначим и имеет наименьшее значение t – критерия. После этого получают новое уравнение регрессии и снова проводят оценку значимости всех оставшихся коэффициентов регрессии. Процесс исключения факторов продолжается до тех пор, пока модель не станет удовлетворять определенным условиям и все коэффициенты регрессии не будут значимы [3].

6) Метод перехода от несмещённых оценок, определённых по методу наименьших квадратов, к смещённым оценкам, обладающим, однако, меньшим рассеянием относительно оцениваемого параметра, т.е. меньшим математическим ожиданием квадрата отклонения оценки b_j от параметра β_j или M (b_j - β_j)².  Оценки, определяемые вектором, обладают в соответствии с теоремой Гаусса-Маркова минимальными дисперсиями в классе всех линейных несмещённых оценок, но при наличии мультиколлинеарности эти дисперсии могут оказаться слишком большими, и обращение к соответствующим смещённым оценкам может повысить точность оценивания параметров регрессии. На рисунке показан случай, когда смещённая оценка , выборочное распределение которой задаётся плотностью , лучше несмещенной оценки b_j , распределение которой представляет плотность φ ( b_j) [3].

7) Если ни одну из  факторных переменных, включённых в модель множественной регрессии, исключить нельзя, то применяют один из основных смещённых методов оценки коэффициентов модели регрессии – гребневую регрессию или ридж (ridge).

При использовании  метода гребневой регрессии ко всем диагональным элементам матрицы (Х^ТХ) добавляется небольшое число τ: 10^-6 < τ < 0,1. Оценивание неизвестных параметров модели множественной регрессии осуществляется по формуле: , где τ – некоторое положительное число, называемое «гребнем» , Е_р+1 – единичная матрица (р+1) –го порядка. Добавление τ к диагональным элементам матрицы X'X делает оценки параметров модели смещёнными, но при этом увеличивается определитель матрицы системы нормальных уравнений – вместо |X'X| он будет равен |X'X+τ E_p+1|. Таким образом, становится возможным исключение мультиколлинеарности в случае, когда определитель |X'X| близок к нулю. Результатом применения гребневой регрессии является уменьшение стандартных ошибок коэффициентов модели множественной регрессии по причине их стабилизации к определённому числу [3,7].

 

 

Глава 2. Отбор факторов в модель множественной  регрессии

1. Метод исключения факторов

Требуется провести отбор факторов в модель множественной  линейной регрессии на основе исходных данных, приведенных в таблице 1.

Таблица 1.

№ организации	Объем реализации продукции, мнл. руб. (Y)	Расходы на рекламу, тыс. руб. ( )	Цена единицы продукции, руб. ( )	Отдел маркетинга в организации, (1 – есть, 0 – нет) ( )
1	1,27	138	140	1
2	1,34	134	141	1
3	1,25	116	136	0
4	1,28	137	149	1
5	1,43	127	154	0
6	1,25	125	143	0
7	1,53	116	155	1
8	1,57	134	155	1
9	1,27	145	151	1
10	1,46	135	154	1
11	1,28	164	147	0
12	1,55	109	151	0
13	1,35	145	144	0
14	1,49	144	156	1
15	1,46	132	152	0
16	1,25	122	141	0
17	1,29	163	148	1
18	1,28	139	141	1
19	1,33	134	139	0
20	1,51	136	147	1

Воспользуемся методом исключения факторов. На первом этапе включим в модель все  факторы. В качестве программного средства реализации анализа воспользуемся  программной «Анализ данных в Excel», инструмент «Регрессия». Результаты представлены в таблице 2.

Таблица 2.Вывод итогов

Регрессионная статистика
Множественный R	0,806634
R-квадрат	0,650659
Нормированный R-квадрат	0,585158
Стандартная ошибка	0,073662
Наблюдения	20

Дисперсионный анализ

Показатель	df	SS	MS	F
Регрессия	3	0,161702	0,053908	9,933511
Остаток	16	0,086818	0,005426
Итого	20	0,248520

 

Показатель	Коэффициенты	Стандартная ошибка	t-статистика	P-значение
Y-пересечение	- 0,199947	0,451283	- 0,443064	0,663651
Расходы на рекламу, тыс. руб.	- 0,002977	0,001269	- 2,345899	0,032196
Цена продукции, руб.	0,013347	0,002845	4,691053	0,000245
Наличие отдела маркетинга	0,015308	0,036151	0,423457	0,677599

 

Модель зависимости  объема реализации продукции от всех факторов имеет вид .

Проверку значимости уравнения регрессии осуществим на основе F-критерия Фишера. Расчетное  значение . Табличное значение F-критерия при доверительной вероятности 0,95 и числе степеней свободы и составляет 3,24. Поскольку   уравнение регрессии следует признать адекватным.

Множественный коэффициент корреляции R, равный 0,807, свидетельствует о тесной связи  между признаками.

Множественный коэффициент детерминации R² равный 0,651, показывает, что около 65% вариации зависимой переменной (объема реализации продукции) учтено в модели и обусловлено влиянием включенных факторов (ценной единицы товара, расходами на рекламу и наличием отдела маркетинга на предприятии) и на 35% - другими факторами, не включенными в модель.

Значимость  коэффициентов регрессии оценим с помощью t-критерия Стьюдента. Расчетные  значения критерия Стьюдента следующие: ; ; .  Табличное значение критерия при уровне значимости α = 0,05 и числе степеней свободы γ = n – k – 1 = 16 равно 2,12. Значит, выполняются следующие неравенства: ; ; . Таким образом, коэффициент регрессии а₃ незначим, и из модели нужно исключить факторный признак х₃.

На втором шаге построим модель зависимости объема реализации продукции от цены продукции  и расходов на рекламу. Расчеты представлены в таблице 3.

Таблица 3.Выведение итогов

Регрессионная статистика
Множественный R	0,804204
R-квадрат	0,646744
Нормированный R-квадрат	0,605184
Стандартная ошибка	0,071862
Наблюдения	20

Дисперсионный анализ

Показатель	df	SS	MS	F
Регрессия	2	0,160729	0,080364	15,5618652
Остаток	17	0,087791	0,005164
Итого	19	0,24852

 

Показатель	Коэффициенты	Стандартная ошибка	t-статистика	P-значение
Y-пересечение	- 0,264114	0,414695	- 0,636886	0,532682
Расходы на рекламу, тыс. руб.	- 0,002824	0,001186	- 2,379640	0,029307
Цена продукции, руб.	0,013699	0,002653	5,162456	7,8161Е-05

 

Модель зависимости  объема реализации продукции от цены продукции и расходов на рекламу  имеет вид .

Значение множественного коэффициента корреляции и детерминации по сравнению с первой моделью уменьшились не значительно.

Сравним вычисленные  значения критериев с табличными. Расчетное значение F-критерия Фишера при уровне значимости 0,05 и числе степеней свободы и , следовательно построенное уравнение регрессии значимо.

Расчетные значения критерия Стьюдента равны: , . Табличное значение критерия при уровне значимости α = 0,05 и числе степеней свободы γ = 17 равно 2,11. Следовательно, выполняются неравенства: ; . Таким образом, коэффициенты регрессии значимы.

Параметр регрессии  а₁= - 0,003  показывает, что повышение расходов на рекламу на 1,0 тыс.руб. при фиксированном (постоянном) значении цены на продукцию приводит к уменьшению объема реализации продукции на 3,0 тыс.руб. Параметры регрессии а₂= 0,014 свидетельствуют о том, что с ростом цены продукта на 1 руб. при фиксированном уровне расходов на рекламу объем реализации продукции увеличивается в среднем на 14,0 тыс.руб.

Рассчитаем  коэффициенты эластичности бета- и  дельта-коэффициенты и дадим их экономическую  интерпретацию.

Для определения  коэффициентов эластичности вычислим средние значения признаков: млн. руб.; тыс. руб.; руб. ; .

Анализ коэффициентов  эластичности показывает, что по абсолютному  приросту наибольшее влияние на объем  реализации продукции оказывает  фактор х₂: повышение цены продукции на 1% приводит к росту объема реализации продукции на 1,5%. Снижение расходов на рекламу на 1% вызывает повышение объема реализации продукции только на 0,29%.

Для расчета  бета-коэффициентов предварительно исчислим средние квадратические отклонения по следующим формулам:

Для расчета  дельта-коэффициентов определим  парные коэффициенты корреляции, для  чего воспользуемся пакетом «Анализ данных» табличного процесса Excel, инструмент «Корреляция».

	Y
Y	1
	-0,30497	1
	0,727375	0,051692	1