Лекции по "Эконометрии"

Page 1

ЛЕКЦИЯ
№
1. Понятие эконометрики
и эконометрических моделей
Эконометрика — это наука, которая на базе статистических дан
ных дает количественную характеристику взаимозависимым эко
номическим явлениям и процессам.
Слово «эконометрика» произошло от двух слов: «экономика»
и «метрика» (от греч. «метрон» — «правило определения расстоя
ния между двумя точками в пространстве», «метрия» — «измере
ние»). Эконометрика — это наука об экономических измерениях.
Зарождение эконометрики является следствием междисципли
нарного подхода к изучению экономики. Эконометрика представ
ляет собой сочетание трех наук:
1) экономической теории;
2) математической и экономической статистики;
3) математики.
На современном этапе развития науки неотъемлемым факто
ром развития эконометрики является развитие компьютерных
технологий и специальных пакетов прикладных программ.
Основным предметом исследования эконометрики являются
массовые экономические явления и процессы. Предметы эконо
метрики и статистики очень схожи, так как статистика имеет де
ло с массовыми социальноэкономическими явлениями.
Эконометрика ставит своей целью количественно охарактери
зовать те экономические закономерности, которые экономиче
ская теория выявляет и определяет лишь в общем.
Анализ экономических процессов и явлений в эконометрике осу
ществляется с помощью математических моделей, построенных
на эмпирических данных.
Практически все эконометрические методы и приемы изуче
ния экономических закономерностей позаимствованы из мате
матической статистики. Специфика применения методов мате
матической статистики в эконометрике заключается в том, что
практически все экономические показатели являются величина
ми случайными, а не результатами контролируемого эксперимента.
3

---

Page 2

Поэтому существуют определенные усовершенствования
и дополнения методов, которые в математической статистике не
используются.
Зачастую экономические данные содержат ошибки измере
ния. В эконометрике разрабатываются специальные методы ана
лиза, позволяющие устранить или снизить влияние этих ошибок
на результаты экспериментов.
Таким образом, эконометрика через математические и ста
тистические методы анализирует экономические закономерно
сти, доказанные экономической теорией.
С помощью эконометрики решается очень широкий круг за
дач. Их можно классифицировать по трем признакам:
1) по конечным прикладным целям:
а) прогноз социальноэкономических показателей, опре
деляющих состояние и развитие изучаемой системы;
б) моделирование возможных вариантов социальноэко
номического развития системы для определения тех пара
метров, которые оказывают наиболее мощное влияние на
состояние системы в целом;
2) по уровню иерархии:
а) задачи, решаемые на макроуровне (страна в целом);
б) задачи, решаемые на мезоуровне (уровень отраслей, ре
гионов);
в) задачи, решаемые на микроуровне (уровень фирмы,
семьи, предприятия);
3) по области решения проблем изучаемой экономической
системы:
а) рынок;
б) инвестиционная, социальная, финансовая политика;
в) ценообразование;
г) распределительные отношения;
д) спрос и потребление;
е) отдельно выделенный комплекс проблем.
1. Основные виды эконометрических моделей
Выделяют три основных класса эконометрических моделей.
1. Модель временных рядов.
Модель представляет собой зависимость результативного
признака от переменной времени или переменных, относящихся
к другим моментам времени.
4

---

Page 3

К моделям временных рядов, в которых результативный приз
нак зависит от времени, относятся:
1) модель тренда (модель зависимости результативного призна
ка от трендовой компоненты);
2) модель сезонности (модель зависимости результативного
признака от сезонной компоненты);
3) модель тренда и сезонности.
К моделям временных рядов, в которых результативный приз
нак зависит от переменных, датированных другими моментами
времени, относятся:
1) модели с распределенным лагом, которые объясняют ва
риацию результативного признака в зависимости от предыду
щих значений факторных переменных;
2) модели авторегрессии, которые объясняют вариацию ре
зультативного признака в зависимости от предыдущих значе
ний результативных переменных;
3) модели ожидания, объясняющие вариацию результативно
го признака в зависимости от будущих значений факторных
или результативных переменных.
Модели временных рядов делятся на модели, построенные по
стационарным и нестационарным временным рядам.
Стационарные временные ряды характеризуются постоянны
ми во времени средней, дисперсией и автокорреляцией, т. е. дан
ный временной ряд не содержит трендового и сезонного компо
нента.
Если временной ряд не отвечает перечисленным условиям, то
он является нестационарным (т. е. содержит трендовую и сезон
ную компоненты).
2. Регрессионные модели с одним уравнением.
В подобных моделях зависимая или результативная перемен
ная, обозначаемая обычно , представляется в виде функции фак
торных или независимых признаков x
1
…x
n
:
где β
1
, …, β
κ
— параметры регрессионного уравнения.
Регрессионные модели делятся на парные (с одним фактор
ным признаком) и множественные регрессии.
В зависимости от вида функции f(x, β) модели делятся на ли
нейные и нелинейные регрессии.
(
)
(
)
1
1
,
,
, , , ,
,
n
k
y f x
f x
x
β
β
β
=
=
…
…
5

---

Page 4

3. Системы одновременных уравнений.
Данные модели описываются системами взаимозависимых
регрессионных уравнений. Системы могут состоять из тождеств
и регрессионных уравнений, каждое из которых может включать
в себя не только факторные переменные, но и результативные пер
еменные из других уравнений системы.
Для тождеств характерно то, что их вид и значения параметров
известны.
Регрессионные уравнения, из которых состоит система, назы
ваются поведенческими уравнениями. В поведенческих уравне
ниях значения параметров являются неизвестными и подлежат
оцениванию.
Примером системы одновременных уравнений может служить
модель спроса и предложения, включающая три уравнения:
— уравнение предложения;
— уравнение спроса;
— тождество равновесия,
где
— предложение товара в момент времени t;
— спрос на товар в момент времени t;
— цена товара в момент времени t;
— цена товара в предшествующий момент времени t;
— доход потребителей в момент времени t.
2. Эконометрическое моделирование
Можно выделить несколько этапов эконометрического моде
лирования.
1. Постановочный. На данном этапе определяются конечные
цели и задачи исследования и набор участвующих в модели фак
торных и результативных экономических переменных.
Можно выделить следующие цели эконометрического иссле
дования:
1) анализ изучаемого экономического процесса (явления,
объекта);
2) прогноз экономических показателей, характеризующих
изучаемый процесс;
t
I
1
t
P
−
t
P
d
t
Q
S
t
Q
S
d
t
t
Q
Q
=
0
1
2
d
t
t
t
Q
b
b P b
I
= + × + ×
0
1
2
1
S
t
t
t
Q
a
a P a
P
−
= + × + ×
6

---

Page 5

3) моделирование поведения процесса при различных значе
ниях независимых (факторных) переменных;
4) выработка управленческих решений.
Включение в эконометрическую модель той или иной пере
менной должно быть теоретически обосновано. Число перемен
ных не должно быть слишком большим. Факторные переменные
не должны быть связаны функциональной или тесной корреля
ционной связью, присутствие в модели условия мультиколли
неарности может привести к негативным последствиям всего
процесса моделирования.
2. Априорный. На этом этапе проводятся теоретический анализ
сущности изучаемого процесса, а также формирование и форма
лизация известной до моделирования (априорной) информации.
3. Параметризация. Осуществляется выбор общего вида моде
ли и выявление состава и формы входящих в нее связей, т. е. про
исходит непосредственно моделирование.
Основная задача этапа моделирования заключается в выборе
наиболее оптимального вида функции зависимости результатив
ной переменной от факторных признаков. Если возникает воз
можность выбора между нелинейной и линейной формой зависи
мости, то предпочтение всегда отдается линейной форме как
наиболее простой и надежной.
Помимо этого, на этапе моделирования решается задача специ
фикации модели путем:
1) аппроксимации математической формой выявленных свя
зей и соотношений между переменными;
2) определения зависимых и независимых переменных;
3) формулировки исходных предпосылок и ограничений мо
дели.
Успех эконометрического моделирования во многом зависит
от правильного решения проблемы спецификации модели.
4. Информационный. Происходит сбор необходимой статисти
ческой базы данных, т. е. эмпирических (наблюдаемых) значений
экономических переменных, анализ качества собранной инфор
мации.
5. Идентификация модели. На данном этапе осуществляются
статистический анализ модели и оценка ее параметров.
6. Оценка качества модели. Проверяются достоверность и аде
кватность модели, т. е. определяется, насколько успешно решены
7

---

Page 6

задачи спецификации и идентификации модели, какова точность
расчетов, полученных на ее основе. Построенная модель должна
быть адекватна реальному экономическому процессу. Если ка
чество модели оказалось неудовлетворительным, то вновь возвра
щаются ко второму этапу моделирования.
7. Интерпретация результатов моделирования. Среди наиболее
известных эконометрических моделей можно выделить:
1) модели потребительского и сберегательного потребления;
2) модели взаимосвязи риска и доходности ценных бумаг;
3) модели предложения труда;
4) макроэкономические модели (модель роста);
5) модели инвестиций;
6) маркетинговые модели;
7) модели валютных курсов и валютных кризисов и др.
3. Классификация видов
эконометрических переменных и типов данных
В эконометрических исследованиях, как правило, использую
тся два типа выборочных данных:
1) пространственные данные (crosssectional data);
2) временные данные (timeseries data).
Под пространственными данными понимается совокупность
экономической информации, относящейся к разным объектам,
полученной за один и тот же период или момент времени. Про
странственные данные представляют собой выборочную сово
купность из некоторой генеральной совокупности. В качестве
примера пространственных данных можно привести совокуп
ность различной информации по какомулибо предприятию (чи
сленность работников, объем производства, размер основных
фондов), об объемах потребления продукции определенного вида и т.
д.
Под временными данными понимается совокупность эконо
мической информации, характеризующей один и тот же объект,
но за разные периоды времени. По аналогии с пространственной
выборкой отдельно взятый временной ряд можно считать выбор
кой из бесконечного ряда значений показателей во времени.
В качестве примера временных данных можно привести дан
ные о динамике индекса потребительских цен, ежедневные об
менные курсы валют. Временная информация естественным об
разом упорядочена во времени в отличие от пространственных
данных.
8

---

Page 7

Существуют определенные отличия временного ряда от прост
ранственной выборки:
1) элементы динамического ряда не являются статистически
независимыми, в отличие от элементов случайной простран
ственной выборки, т. е. они подвержены явлению автокорре
ляции (зависимости между прошлыми и текущими наблюде
ниями временного ряда);
2) элементы динамического ряда не являются одинаково рас
пределенными величинами.
Совокупность экономической информации, которая характе
ризует изучаемый процесс или объект, представляет собой на
бор признаков. Данные признаки связаны между собой
и в эконометрической модели могут выступать в одной из
двух ролей;
3) в роли результативного или зависимого признака, который
в эконометрическом моделировании называется объясняемой
переменной;
4) в роли факторного или независимого признака, который
называется объясняющей переменной.
Экономические переменные, участвующие в любой эконометри
ческой модели, делятся на четыре вида:
1) экзогенные (независимые) — переменные, значения кото
рых задаются извне. В определенной степени данные пере
менные являются управляемыми (x);
2) эндогенные (зависимые) — переменные, значения которых
определяются внутри модели, или взаимозависимые (y);
3) лаговые — экзогенные или эндогенные переменные в эко
нометрической модели, относящиеся к предыдущим момен
там времени и находящиеся в уравнении с переменными, от
носящимися к текущему моменту времени. Например, x
i − 1
—
лаговая экзогенная переменная, y
i − 1
— лаговая эндогенная
переменная;
4) предопределенные(объясняющие переменные) — лаговые (x
i − 1
)
итекущие (x) экзогенные переменные, а также лаговые эндоген
ные переменные (y
i − 1
).
Любая эконометрическая модель предназначена для объясне
ния значений одной или нескольких текущих эндогенных пере
менных в зависимости от значений предопределенных переменных.

---

Page 8

ЛЕКЦИЯ
№
2. Общая и нормальная линейная
модели парной регрессии
1. Общая модель парной регрессии
После того как в ходе экспериментов было доказано наличие
взаимосвязи между изучаемыми переменными, встает задача
определения точного вида выявленной зависимости с помощью
регрессионного анализа.
Регрессионный анализ заключается в определении аналитиче
ского выражения связи (в определении функции), в котором из
менение одной величины (результативного признака) обусловле
но влиянием независимой величины (факторного признака).
Количественно оценить данную взаимосвязь можно с помощью
построения уравнения регрессии или регрессионной функции.
Базисной регрессионной моделью является модель парной
(однофакторной) регрессии. Данная регрессионная функция на
зывается полиномом первой степени и используется для описа
ния равномерно развивающихся во времени процессов. Общий
вид парного уравнения регрессии зависимости y от x :
где y
i
— зависимые переменные,
x
i
— независимые переменные;
β
0
, β
1
— параметры уравнения регрессии, подлежащие оцени
ванию;
ε
ι
— случайная ошибка модели регрессии, появление которой
может быть обусловлено следующими объективными предпосы
лками:
1) нерепрезентативностью выборки. В модель парной регрес
сии включается одни фактор, неспособный полностью объяс
нить вариацию результативного признака, который может
быть подвержен влиянию множества других факторов в гораз
до большей степени;
1, ;
i
n
=
0
1
,
(1)
i
i
i
y
x
β
β
ε
=
+
+
10

---

Page 9

2) вероятностью того, что переменные, участвующие в моде
ли, могут быть измерены с ошибкой.
Аналитическая форма зависимости между изучаемой парой
признаков (регрессионная функция) определяется с помощью
следующих методов:
1) на основе визуальной оценки характера связи. На линей
ном графике по оси абсцисс откладываются значения фактор
ного (независимого) признака x, по оси ординат — значения
результативного признака y. На пересечении соответствую
щих значений отмечаются точки. Полученный точечный гра
фик в указанной системе координат называется корреляцион
ным полем. При соединении полученных точек получается
эмпирическая линия, по виду которой можно судить не только
о наличии, но и о форме зависимости между изучаемыми пе
ременными;
2) на основе теоретического и логического анализа природы
изучаемых явлений, их социальноэкономической сущности.
Параметр β
1
уравнения парной регрессии называется коэффи
циентом регрессии. Его величина показывает, на сколько в сред
нем изменится результативный признак y при изменении фак
торного признака x на единицу своего измерения. Знак параметра
β
1
в уравнении парной регрессии указывает на направление свя
зи. Если, β
1
> 0, то связь между изучаемыми показателями пря
мая, т. е. с увеличением факторного признака x увеличивается
и результативный признак, и наоборот. Если β
1
< 0, то связь меж
ду изучаемыми показателями обратная, т. е. с увеличением фак
тора x результат уменьшается, и наоборот.
Значение параметра β
0
в уравнении парной регрессии трак
туется как среднее значение результативного признака y при
условии, что факторный признак x равен нулю. Такая трактовка
параметра β
0
возможна только в том случае, если значение x = 0
имеет смысл.
2. Нормальная линейная модель парной регрессии
Нормальная, или классическая, линейная модель парной ре
грессии (регрессии с одной переменной) строится исходя из сле
дующих предположений:
1) факторный признак x
i
является неслучайной или детерми
11

---

Page 10

нированной величиной, не зависящей от распределения слу
чайной ошибки уравнения регрессии ε
i
;
2) математическое ожидание случайной ошибки уравнения
регрессии равно нулю во всех наблюдениях:
где
3) дисперсия случайной ошибки уравнения регрессии являет
ся постоянной для всех наблюдений:
4) случайные ошибки уравнения регрессии не коррелированы
между собой, т. е. ковариация случайных ошибок любых двух
разных наблюдений равна нулю:
где i ≠ j.
Это предположение верно в том случае, если изучаемые
данные не являются временными рядами;
5) основываясь на 3 и 4м предположениях, добавляется усло
вие о том, что случайная ошибка уравнения регрессии являет
ся случайной величиной, подчиняющейся нормальному зако
ну распределения с нулевым математическим ожиданием
и дисперсией
Исходя из указанных предпосылок нормальную линейную мо
дель парной регрессии можно записать в следующем виде:
где y
i
— значения зависимой переменной,
x
i
— значения независимой переменной;
β
0
, β
1
— коэффициенты уравнения регрессии, подлежащие
оценке;
ε
i
— случайная ошибка уравнения регрессии.
1, ;
i
n
=
0
1
,
(1)
i
i
i
y
x
β
β
ε
=
+
+
2
2
/ (0, ).
i
G
N G
ε
( , )
(
) 0,
i
j
i
j
Cov ε ε
ε ε
=Ε
=
2
2
( )
( )
const;
i
i
D
G
ε
ε
=Ε
=
=
1, ;
i
n
=
( ) 0,
i
ε
Ε
=
12

---

Page 11

Матричная форма нормальной линейной модели парной регрессии:
Y = β X + ε,
(2)
где
— вектор значений зависимой переменной
размер ности n × 1;
— вектор значений независимой переменной
размерности n × 2. Первый столбец является
единичным, так как в уравнении регрессии па
раметр β
0
умножается на 1;
— вектор коэффициентов уравнения регрес
сии размерности 2 × 1;
— вектор случайных ошибок уравнения регрес
сии размерности n × 1.
Предположения о модели, записанные в матричном виде:
1) факторный признак x является неслучайной или детерми
нированной величиной, не зависящей от распределения слу
чайной ошибки уравнения регрессии ε;
2) математическое ожидание случайной ошибки уравнения
регрессии равно нулю во всех наблюдениях:
3) предположения о том, что дисперсия случайной ошибки
уравнения регрессии является постоянной для всех наблюде
ний и ковариация случайных ошибок любых двух разных наб
0
0
( )
0;
0
ε
⎛ ⎞
⎜ ⎟
⎜ ⎟
Ε
=
=
⎜ ⎟
⎜ ⎟
⎝ ⎠
1
2
n
ε
ε
ε
ε
⎛ ⎞
⎜ ⎟
⎜ ⎟
=
⎜ ⎟
⎜ ⎟
⎜ ⎟
⎝ ⎠
0
1
β
β
β
⎛ ⎞
⎜ ⎟
=
⎝ ⎠
1
2
1
1
1
n
x
x
X
x
⎛
⎞
⎜
⎟
⎜
⎟
=
⎜
⎟
⎜
⎟
⎜
⎟
⎝
⎠
1
2
n
y
y
Y
y
⎛ ⎞
⎜ ⎟
⎜ ⎟
=
⎜ ⎟
⎜ ⎟
⎜ ⎟
⎝ ⎠
13

---

Page 12

людений равна нулю, можно записать с помощью ковариаци
онной матрицы случайных ошибок нормальной линейной мо
дели парной регрессии:
Данную ковариационную матрицу можно преобразовать следую
щим образом:
,
где G
2
— дисперсия случайной ошибки уравнения регрессии ε;
I
n
— единичная матрица размерности n × n.
Ковариация — это показатель тесноты связи между изучаемы
ми переменными, которая вычисляется по формуле:
где
— среднее арифметическое значение произведения
факторного и результативного признаков:
На диагонали ковариационной матрицы случайных ошибок
нормальной линейной модели парной регрессии располагает
ся дисперсия случайных ошибок, так как ковариация пере
менной с самой собой равна дисперсии переменной. Таким
образом:
4) случайная ошибка уравнения регрессии имеет нормальный
закон распределения:
2
(0,
).
N G n
ε
Ι
2
( , )
( );
Cov
G
ε ε
ε
=
1
.
n
i i
i
x y
xy
n
=
=
∑
xy
( )
,
,
Cov x y
x y x y
=
−
2
2
1
0
0
0 1
0
,
0
0
1
G
G n
ε
⎛
⎞
⎜
⎟
⎜
⎟
Σ =
= Ι
⎜
⎟
⎜
⎟
⎝
⎠
2
2
2
0
0
0
0
. (3)
0
0
G
G
G
ε
⎛
⎞
⎜
⎟
⎜
⎟
Σ =
⎜
⎟
⎜
⎟
⎜
⎟
⎝
⎠

---

Page 13

ЛЕКЦИЯ
№
3. Методы оценивания
и нахождения параметров уравнения регрессии.
Классический метод наименьших квадратов (МНК)
На первом этапе проведения регрессионного анализа была
выбрана функция f(x), отражающая зависимость результативного
признака y от факторного признака x. Необходимо оценить неиз
вестные параметры модели. В качестве методов оценки неизвест
ных параметров уравнения регрессии β
0
, …, β
n
могут выступать:
1) сумма квадратов отклонений наблюдаемых значений ре
зультативного признака y от теоретических значений
рас
считанных на основании регрессионной функции, f(x):
Этот метод оценивания неизвестных параметров уравнения
регрессии называется методом наименьших квадратов (МНК).
Термин МНК был впервые использован в работе А. М. Лежан
дра в 1805 г. Можно выделить следующие достоинства метода:
а) расчеты сводятся к механической процедуре нахожде
ния коэффициентов;
б) доступность полученных математических выводов.
Основным недостатком МНК является чувствительность оце
нок к резким выбросам, которые встречаются в исходных дан
ных.
2) сумма модулей отклонений наблюдаемых значений резуль
тативного признака y от теоретических значений
(рассчи
танных на основании регрессионной функции ) f(x):
Основным достоинством метода является нечувствительность
оценок к резким выбросам (в отличие от МНК). Среди недо
статков можно выделить следующие:
а) сложности в ходе вычислительной процедуры;
б) зачастую большим отклонениям в исходных данных
следует придавать больший вес для уравновешивания их
в общей сумме наблюдений;
1
1
( , ) или
.
n
n
i
i
i
i
i
i
F
y
f x
F
y
y
β
=
=
=
−
=
−
∑
∑
y
2
2
1
1
(
( , )) или
(
) .
n
n
i
i
i
i
i
i
F
y
f x
F
y
y
β
=
=
=
−
=
−
∑
∑
,y
15

---

Page 14

в) неодинаковым значениям оцениваемых параметров β
0
, …, β
n
могут соответствовать одинаковые суммы модулей откло
нений;
где g — мера или вес, с которой отклонение (y
i
— f(x
i
,β))
входит в функционал F. Примером меры g является функ
ция Хубера, которая при малых значениях переменной
x является квадратичной, а при больших значениях x — ли
нейной:
где c — ограничения функции.
Третий метод оценки неизвестных параметров уравнения ре
грессии β
0
, …, β
n
— объединие достоинства предыдущих двух ме
тодов. Оценки неизвестных параметров, найденные с его помо
щью, являются менее чувствительными к случайным выбросам
в исходных данных, чем оценки, полученные МНК. Этот метод
применяют, когда выборка сильно «засорена».
Для нахождения оптимальных значений неизвестных па
раметров β
0
, …, β
n
необходимо минимизировать функционал F по
данным параметрам:
— процесс минимизации
функционала F
состоит
в отыскании таких параметров β
0
, …, β
n
, при которых сумма
квадратов отклонений наблюдаемых значений результативно
го признака yот теоретических значений была бы минимальной;
— процесс минимизации
функционала F
состоит
в отыскании таких параметров β
0
, …, β
n
, при которых сумма
модулей отклонений наблюдаемых значений результативного
признака y от теоретических значений
была бы минимальной;
— процесс минимизации
функционала F
состоит
1
3)
(
( , )) min
n
i
i
i
F
g y
f x β
=
=
−
→
∑
y
1
2)
( , )
min
n
i
i
i
F
y
f x β
=
=
−
→
∑
y
2
1
1)
(
( , ))
min
n
i
i
i
F
y
f x β
=
=
−
→
∑
2
2
2
,
( )
2
,
2
,
,
x
x c
g x
cx c x c
cx c x
c
⎧
<
⎪
⎨
=
−
≥
⎪
−
−
≤−
⎩
1
1
(
( , )) или
(
),
n
n
i
i
i
i
i
i
F
g y
f x
F
g y
y
β
=
=
=
−
=
−
∑
∑
16

---

Page 15

в отыскании таких параметров β
0
, …, β
n
, при которых сумма
отклонений наблюдаемых значений результативного призна
ка y от теоретических значений
с учетом заданных весов
g была бы минимальной.
Наиболее распространенным методом оценивания парамет
ров уравнения регрессии является метод наименьших квадратов.
1. Классический метод наименьших квадратов
для модели парной регрессии
Рассмотрим применение метода наименьших квадратов для
нахождения неизвестных параметров уравнения регрессии на
примере модели линейной парной регрессии.
Пусть подобрана эмпирическая линия, по виду которой можно
судить о том, что связь между независимой переменной и зависи
мой переменной линейна и описывается равенством:
Необходимо найти такие значения параметров
и
, кото
рые бы доставляли минимум функции (1), т. е. минимизировали
бы сумму квадратов отклонений наблюдаемых значений резуль
тативного признака y от теоретических значений
(значений,
рассчитанных на основании уравнения регрессии):
При минимизации функции (1) неизвестными являются значе
ния коэффициентов регрессии β
0
и β
1
. Значения зависимой и не
зависимой переменных известны из наблюдений.
Для того чтобы найти минимум функции двух переменных,
нужно вычислить частные производные этой функции по каждо
му из оцениваемых параметров и приравнять их к нулю. В резуль
тате получаем стационарную систему уравнений для функции (2):
0
1
0
1
0
1
1
1
2
(
) 0,
2
(
)
0.
n
i
i
n
i
i
i
F
y
F
y
x
β
β
β
β
β
β
=
=
⎧
∂
⎪
=−
−
−
=
∂
⎪
⎨
⎪∂
=−
−
−
× =
⎪
∂
⎩
∑
∑
2
0
1
1
1
(
)
(
) min.
(2)
n
n
i
i
i
i
i
i
F
y
y
y
x
β
β
=
=
=
−
=
−
−
→
∑
∑
y
1
β
0
β
0
1
. (1)
i
i
y
x
β
β
=
+
y
17

---

Page 16

Если разделить обе части каждого уравнения системы на (–2),
раскрыть скобки и привести подобные члены, то получим систему:
Это система нормальных уравнений относительно коэффи
циентов β
0
и β
1
для зависимости
Решением системы нормальных уравнений являются оценки
неизвестных параметров уравнения регрессии β
0
и β
1
:
,
где
— среднее значение зависимого признака;
— среднее значение независимого признака;
— cреднее арифметическое значение произведения за
висимого и независимого признаков;
— дисперсия независимого признака;
— ковариация между зависимым и независимым
признаками.
Рассмотрим применение МНК на конкретном примере.
Имеются данные о цене на нефть x (долларов за баррель) и ин
дексе акций нефтяной компании y (в процентных пунктах). Тре
буется найти эмпирическую формулу, отражающую связь между
ценой на нефть и индексом акций нефтяной компании исходя из
предположения, что связь между указанными переменными ли
нейна и описывается функцией вида
Зависимой
переменной (y) в данной регрессионной модели будет являться
индекс акций нефтяной компании, а независимой (x) — цена на
нефть.
0
1
.
i
i
y
x
β
β
=
+
( , )
Cov x y
2
( )
G x
xy
x
y
0
1
,
y
x
β
β
= − ×
1
1
1
1
2
2
2
2
2
1
1
( , )
,
( )
n
n
n
i
i
i
i
i
i
i
n
n
i
i
i
i
n
x
y
x
y
xy xy Cov x y
G x
x
x
n
x
x
β
=
=
=
=
=
× −
×
−
=
=
=
⎛
⎞
−
⎜
⎟
−
⎜
⎟
⎝
⎠
∑
∑ ∑
∑
∑
0
1
.
i
i
y
x
β
β
=
+
2
1
0
1
1
1
1
0
1
1
,
.
n
n
n
i
i
i
i
i
i
i
n
n
i
i
i
i
x
x
x
y
x
n
y
β
β
β
β
=
=
=
=
=
⎧
⎪
+
=
×
⎪
⎨
⎪
+ × =
⎪
⎩
∑
∑ ∑
∑
∑
18

---

Page 17

19
Для нахождения коэффициентов β
0
и β
1
построим вспомога
тельную таблицу 1.
Таблица 1
Таблица для нахождения коэффициентов β
0
и β
1
Запишем систему нормальных уравнений исходя из данных таб
лицы:
Решением данной системы нормальных уравнений будут сле
дующие числа:
Таким образом, уравнение регрессии, описывающее зависи
мость между ценой на нефть и индексом акций нефтяной компа
нии, можно записать как:
На основании полученного уравнения регрессии можно сде
лать вывод о том, что с изменением цены на нефть на 1 денежную
единицу за баррель индекс акций нефтяной компании изменяет
ся примерно на 15,317 процентных пункта.
15,317
266,86.
y
x
=
+
0
266,86.
β =
1
15,317;
β =
1
0
1
0
1988,52
110,13
59 847,06,
110,13
6
3288.
β
β
β
β
⎧
+
=
⎪
⎨
⎪
+
=
⎩
№
Наблюдения
Цена на
нефть —
x, ден. Ед.
Индекс
нефтяной
компании —
процентные
пункты
x
i
× y
i
x
i
2
1
17,28
537
9279,36
298,5984
2
17,05
534
9104,70
290,7025
3
18,30
550
10 065,00
334,8900
4
18,80
555
10 434,00
353,4400
5
19,20
560
10 752,00
368,6400
6
18,50
552
10 212,00
342,2500
Cумма
по столбцу
110,13
3288
59 847,06
1988,52

---

Page 18

2. Альтернативный метод нахождения параметров
уравнения парной регрессии
Традиционно параметры уравнения парной регрессии β
0
и β
1
оцениваются с помощью МНК, однако в случае парной регресси
онной модели возможен и другой подход к оценке параметров ре
грессионной функции. Запишем уравнение парной регрессии
в следующем виде:
где y — значение зависимой переменной;
x — значение независимой переменной;
— среднее значение зависимой переменной, вычисленное
на основе выборочных данных. Чаще всего это значение вы
числяется по формуле средней арифметической:
где y
i
— значения зависимой переменной,
n — объем выборки;
— среднее значение независимой переменной, которое вы
числяется аналогично среднему значению зависимой пере
менной;
β
yx
— выборочный коэффициент регрессии y по x. Он характе
ризует, насколько в среднем изменится результативный пока
затель y при изменении факторного показателя x на единицу
своего измерения.
Вычисляется выборочный коэффициент регрессии y по x с по
мощью следующей формулы:
где r
yx
— выборочный парный коэффициент корреляции,
определяемый как:
Выборочный парный коэффициент корреляции показывает
тесноту связи между изучаемыми признаками. Он изменяется
в пределах [—1; +1]. Если r
yx
∈ [0; +1], то связь между признаками
прямая. Если r
yx
∈ [—1;0], то связь между признаками обратная.
. (4)
yx
y
x
yx yx
r
S S
−
=
, (3)
S
y
r
yx
yx
S
x
β
=
×
x
1, ;
i
n
=
1
,
(2)
n
i
i
y
y
n
=
=
∑
y
( )
,
(1)
y y
x x
yx
β
= +
−
20

---

Page 19

Если r
yx
= 0, то связь между признаками отсутствует. Если r
yx
= 1
или r
yx
=—1, то связь между изучаемыми признаками является
функциональной, т. е. характеризуется полным соответствием
между x и y. Примером функциональной зависимости могут слу
жить математические и статистические формулы, например: S = a
2
.
При таком значении парного коэффициента корреляции регрес
сионный анализ между изучаемыми показателями не проводится.
Данная связь не подлежит численной характеристике, так как на
практике массовым социальноэкономическим явлениям прису
щи иные виды связи (в частности, корреляционная связь);
— среднее арифметическое значение произведения фактор
ного и результативного признаков;
S
y
— выборочное среднеквадратическое отклонение зависимой
переменной y. Этот показатель характеризует, на сколько единиц
в среднем отклоняются значения зависимого признака y от его
среднего значения
Он вычисляется по формуле:
— среднее значение из квадратов значений результативной
переменной y:
— квадрат средних значений результативной переменной y:
S
x
— выборочное среднеквадратическое отклонение независи
мой переменной x. Этот показатель характеризует, на сколько
единиц в среднем отклоняются значения независимого признака
x от его среднего значения ⎯x. Он вычисляется аналогично средне
квадратическому отклонению зависимого показателя y.
При оценивании коэффициента β
yx
в модели регрессионной
зависимости результативного показателя y от факторного показа
теля x с помощью рассмотренного метода следует помнить о том,
что r
yx
= r
xy
, но β
yx
≠ β
xy
.
2
2
1
; (7)
n
i
i
y
y
n
=
⎛
⎞
⎜
⎟
⎜
⎟
=
⎜
⎟
⎜
⎟
⎜
⎟
⎝
⎠
∑
2
y
2
2
1
;
(6)
n
i
i
y
y
n
=
=
∑
2
y
2
2
;
(5)
y
S
y
y
=
−
.y
yx
21

---

Page 20

ЛЕКЦИЯ
№
4. Оценка дисперсии
случайной ошибки регрессии.
Состоятельность и несмещенность МНКоценок.
Теорема Гаусса — Маркова
В большинстве случаев генеральная дисперсия случайной
ошибки — величина неизвестная, поэтому возникает необходи
мость в расчете ее несмещенной выборочной оценки.
Несмещенной оценкой дисперсии случайной ошибки линей
ного уравнения парной регрессии является величина:
где n — объем выборки;
e
i
— остатки регрессионной модели:
Оценка дисперсии, вычисляемая по формуле (1), также назы
вается исправленной дисперсией.
В случае множественной линейной регрессии оценка диспер
сии случайной ошибки вычисляется по формуле:
где k — число оцениваемых параметров модели регрессии.
Оценкой матрицы ковариаций случайных ошибок
бу
дет являться оценочная матрица ковариаций:
где In — единичная матрица.
Оценка дисперсии случайной ошибки уравнения регрессии
подчиняется
χ
2
(хиквадрат) закону распределения с (n — k — 1)
степенями свободы, где k — число оцениваемых параметров.
Докажем несмещенность оценки дисперсии, т. е. необходимо
доказать, что
2
2
( ( ))
( ).
S
G
ε
ε
Ε
=
2
( )
( )
,
(2)
C
S
n
ε
ε
=
×Ι
( )
Cov ε
2
2
1
( )
,
1
n
i
i
e
S
n k
ε
=
=
− −
∑
0
1
.
i
i
i
i
i
e
y
y
y
x
β
β
= − = −
−
2
2
2
1
( )
( )
,
2
n
i
i
e
G
S
n
ε
ε
=
=
=
(1)
−
∑
22

---

Page 21

Примем без доказательства следующее выражения:
где G
2
(ε) — генеральная дисперсия случайной ошибки;
S
2
(ε) — выборочная дисперсия случайной ошибки;
— выборочная оценка дисперсии случайной ошибки.
Тогда:
что и требовалось доказать.
Таким образом,
является несмещенной оценкой для
G
2
(ε).
Теоретически можно предположить, что оценка любого пара
метра регрессии, полученная методом наименьших квадратов,
состоит из двух компонент:
1) константы, т. е. истинного значения параметра;
2) случайной ошибки Cov(x,ε), вызывающей вариацию пара
метра регрессии.
На практике такое разложение невозможно в связи с неиз
вестностью истинных значений параметров уравнения регрессии
и значений случайной ошибки, но в теории оно может оказаться
полезным при изучении статистических свойств МНКоценок:
состоятельности, несмещенности и эффективности.
Докажем, что значение МНКоценки
зависит от величины
случайной ошибки
ε
.
МНКоценка параметра регрессии β
1
рассчитывается по формуле:
Ковариация между зависимой переменной y и независимой
переменной x может быть представлена как:
Дальнейшие преобразования полученного выражения прово
дятся исходя из свойств ковариации:
1) ковариация между переменной x и какойлибо константой
A равна нулю:
( , ) 0, где
const;
Cov x A
A
=
=
0
1
0
1
( , )
( ,(
))
( , )
( ,
)
( , ).
Cov x y
Cov x
x
Cov x
Cov x
x Cov x
β
β
ε
β
β
ε
=
+
+
=
+
+
1
2
( , )
.
( )
Cov x y
G x
β =
1
β
2
( )
S ε
2
2
2
2
2
( ( ))
( )
( ( ))
1
1
1
( )
( ),
1
n
n
S
S
S
n
n
n
n
G
G
n
n
ε
ε
ε
ε
ε
⎛
⎞
Ε
=Ε
×
=
Ε
=
⎜
⎟
⎝
⎠
−
−
−
=
×
×
=
−
2
( )
S ε
2
2
( )
( ),
1
n
S
S
n
ε
ε
=
×
−
2
2
1
( ( ))
( ),
n
S
G
n
ε
ε
−
Ε
=
×
23

---

Page 22

2) ковариация переменной x с самой собой равна дисперсии
этой переменной:
Следовательно, на основании свойств ковариации можно за
писать, что:
Таким образом, ковариация между зависимой и независимой
переменными Cov(x, y) может быть представлена в виде выраже
ния:
В результате несложных преобразований МНКоценка пара
метра уравнения регрессии
β
1
принимает вид:
Из формулы (3) следует, что МНКоценка
действительно мо
жет быть представлена как сумма константы β
1
и случайной
ошибки Cov(x, ε), которая и вызывает вариацию данного парамет
ра регрессии.
Аналогично доказывается, что и оценка параметра регрессии
полученная методом наименьших квадратов, и несмещенная
оценка дисперсии случайной ошибки
могут быть предста
влены как сумма постоянной составляющей (константы) и слу
чайной компоненты, которая зависит от ошибки уравнения ре
грессии ε.
1. Состоятельность и несмещенность МНКоценок
Для того чтобы оценку
полученную с помощью метода
наименьших квадратов, можно было бы принять за оценку пара
метра , необходимо и достаточно, чтобы оценка
удовлетво
ряла трем статистическим свойствам: несмещенности, состоя
тельности и эффективности.
1.
называется несмещенной оценкой для параметра
, если
ее выборочное математическое ожидание равно оцениваемому
параметру генеральной совокупности, т. е.
( )
,
(3)
i
i
ϑ
ϑ
Ε
=
i
ϑ
i
ϑ
i
ϑ
i
ϑ
,
i
ϑ
2
( )
S ε
0
,
β
1
β
2
1
1
1
2
2
( )
( , )
( , )
. (3)
( )
( )
G x
Cov x
Cov x
G x
G x
β
ε
ε
β
β
+
=
= +
2
1
( , )
( )
( , ).
Cov x y
G x
Cov x
β
ε
=
+
2
1
1
1
( ,
)
( , )
( ).
Cov x
x
Cov x x
G x
β
β
β
= ×
= ×
0
0
( , ) 0, так как
const;
Cov x β
β
=
=
2
( , )
( ).
Cov x x
G x
=
24

---

Page 23

где ϕ
ι
— смещение оценки.
Докажем, что МНКоценка
является несмещенной оцен
кой параметра
β
1
для нормальной линейной регрессионной моде
ли. Исходя из предпосылок данной модели, можно записать:
1) x — неслучайная детерминированная величина;
2) G
2
(x) = const — дисперсия независимого признака является
известной постоянной величиной;
3) E(Cov(x,ε)) = 0 — случайная ошибка и независимый приз
нак не коррелированы между собой;
4) E(ε
i
) = 0 — математическое ожидание случайной ошибки
уравнения равно нулю во всех наблюдениях;
5) Cov(ε
1
, ε
2
) = E(ε
1
, ε
2
) = 0 — случайные ошибки уравнения ре
грессии не коррелированы между собой, т. е. ковариация слу
чайных ошибок любых двух разных наблюдений равна нулю.
Исходя из определения свойства несмещенности необходимо
доказать, что
Доказательство через ковариационную матрицу:
или в развернутом виде
Таким образом, МНКоценка
является несмещенной оцен
кой параметра β
1
.
Несмещенность МНКоценки
доказывается аналогично.
Запишем доказательство несмещенности МНКоценок пара
метров
β
1
в матричной форме:
т. е.
что доказывает несмещенность МНКоценок
параметров β
i
.
( )
,
β
β
Ε
=
( )
1
1
1
1
1
((
)
)
(
)
(
)
(
)
(
)
((
)
( ) )
,
T
T
T
T
T
T
T
T
T
T
X X
X Y
X X
X X
X X
X X
X X
X
X X
X
β
β ε
β
ε
β
ε
β
−
−
−
−
−
⎡
⎤
Ε
=Ε
=Ε
+
=
⎣
⎦
⎡
⎤
=Ε
+
=
⎣
⎦
= +
Ε
=
0
β
1
β
(
)
( )
1
1
1
2
2
1
1
2
(
)
(
)
( )
(
)
(
)
(
)
.
i
i
i
i
i
i
i
i
i
x
x
x
x
x
x
x
x
x
x
x
x
β
β
ε
β
ε
β
ε
β
⎛
⎞
⎛
⎞
−
−
⎜
⎟
⎜
⎟
Ε
=Ε
+
×
= +Ε
×
=
⎜
⎟
⎜
⎟
−
−
⎝
⎠
⎝
⎠
⎛
⎞
−
⎜
⎟
= +Ε
×Ε
=
⎜
⎟
−
⎝
⎠
∑
∑
∑
∑
∑
∑
( )
1
1
1
1
1
2
2
2
( , )
( , )
0
( )
( )
( )
Cov x
Cov x
G x
G x
G x
ε
ε
β
β
β
β
β
⎛
⎞
⎛
⎞
Ε
=Ε
+
= +Ε
= +
=
⎜
⎟
⎜
⎟
⎝
⎠
⎝
⎠
( )
1
1
.
β
β
Ε
=
1
β
( )
,
i
i
i
ϑ
ϑ
ϕ
Ε
− =
25

---

Page 24

2.
является состоятельной оценкой для параметра
, если
она удовлетворяет закону больших чисел (ЗБЧ). Закон больших
чисел гласит о том, что с увеличением выборки значение оценки
стремится к значению параметра
генеральной совокупности:
Это же условие можно записать с помощью теоремы Бернулли:
т. е. значение оценки
сходится по вероятности к значению
параметра
генеральной совокупности при условии, что объем
выборки стремится к бесконечности.
Для определения состоятельности оценки достаточно выпол
нения двух условий:
1) ϕ
i
= 0 или ϕ
i
→ 0 при n → ∞ — смещение оценки равно нулю
или стремится к нему при объеме выборки, стремящемся
к бесконечности;
2)
— дисперсия оценки параметра стре
мится к нулю при объеме выборки, стремящемся к бесконеч
ности.
Докажем первое условие состоятельности для МНКоценки
Докажем второе условие состоятельности для МНКоценки:
Докажем состоятельность МНКоценок параметров
β
i
в мат
ричной форме:
( )
2
2
2
2
2
2
2
2
2
(
)
(
)
(
)
( )
.
(
)
(
)
i
i
i
i
i
i
i
x
x
x
x
x
x
G x
x
x
x
x
ε
ε
⎡
⎤
−
⎢
⎥
=Ε
×
=
⎢
⎥
⎡
⎤
−
⎢
⎥
⎣
⎦
⎣
⎦
−
=
×Ε
=
⎡
⎤
−
−
⎣
⎦
∑
∑
∑
∑
∑
2
2
2
1
1
1
2
(
)
( )
(
)
(
)
i
i
i
x
x
G
x
x
β
β
β
ε
⎡
⎤
⎛
⎞
−
⎢
⎥
⎜
⎟
=Ε
−
=Ε
×
=
⎢
⎥
⎜
⎟
−
⎝
⎠
⎣
⎦
∑
∑
( )
1
1
1
1
1
0.
ϕ
β
β
β
β
=Ε
−
= − =
1
:
β
2
( ) 0 при
i
G
n
ϑ →
→∞
i
ϑ
i
ϑ
при
,
P
i
i
n
ϑ
ϑ
⎯⎯→
→∞
(
)
1при
. (4)
i
i
P
n
ϑ
ϑ
θ
− <
→
→∞
i
ϑ
i
ϑ
i
ϑ
i
ϑ
26

---

Page 25

Таким образом, МНКоценка
подчиняется нормальному за
кону распределения с математическим ожиданием β
1
и дисперсией
где индекс
22
указывает на расположение дисперсии параметра β
1
в матрице ковариаций.
Состоятельность МНКоценки
доказывается аналогично.
Величины
называются оценками стандартных ошибок МНКоценок
и
Эффективность МНК—оценок доказывается с помощью тео
ремы Гаусса—Маркова.
Таким образом, оценки параметров уравнения регрессии
и дисперсии случайной ошибки, полученные методом наимень
ших квадратов, являются оптимальными оценками, т. е. несме
щенными, состоятельными и эффективными.
2. Эффективность МНКоценок.
Теорема Гаусса—Маркова
С помощью теоремы Гаусса — Маркова доказывается эффек
тивность оценок неизвестных параметров уравнения регрессии,
полученных с помощью МНК.
Нормальная, или классическая, линейная модель парной ре
грессии (регрессии с одной переменной) строится исходя из сле
дующих предположений:
1) факторный признак x
i
является неслучайной или детерми
нированной величиной, не зависящей от распределения слу
чайной ошибки уравнения регрессии ε
i
;
2) математическое ожидание случайной ошибки уравнения
регрессии равно нулю во всех наблюдениях:
где
3) дисперсия случайной ошибки уравнения регрессии является
постоянной для всех наблюдений:
2
2
( )
( )
cons ;
i
i
D
G
t
ε
ε
=Ε
=
=
1, ;
i
n
=
( ) 0,
i
ε
Ε
=
0
β
1
β
( )
( )
(
)
1
2
1
22
T
S
S
X X
β
ε
−
=
0
β
(
)
2
2
2
1
1
2
2
1
1
1
22
( )
( ( )/
(
) ) /
;
(
)
или
;
( )(
)
,
i
i
T
G x
G x
x
x
N
x
x
N
G
X X
β
β
β
β
ε
−
⎛
⎞
⎜
⎟
−
⎜
⎟
−
⎝
⎠
∑
∑
1
β
(
)
1
1
1
1
2
1
( )
(
)
((
)
(
) )
= (
)
(
) (
)
( )(
) ,
T
T
T
T
T
T
T
T
T
Cov
X X
X
X X X
X X
X X X
G
X X
β
β β
β β
εε
εε
ε
−
−
−
−
−
⎡
⎤
=Ε
− ×
−
=Ε
=
⎢
⎥
⎣
⎦
Ε
=
27

---

Page 26

4) случайные ошибки уравнения регрессии не коррелированы
между собой, т. е. ковариация случайных ошибок любых двух раз
ных наблюдений равна нулю:
Это верно тогда, когда изучаемые данные не являются времен
ными рядами;
5) основываясь на 3 и 4м предположениях, добавляется усло
вие о том, что ошибка уравнения регрессии является случай
ной величиной, подчиняющейся нормальному закону распре
деления с нулевым математическим ожиданием и дисперсией
G
2
/ ε
i
∼ N(0,G
2
).
Тогда оценки неизвестных параметров уравнения регрессии,
полученные методом наименьших квадратов, имеют наимень
шую дисперсию в классе всех линейных несмещенных оценок, т. е.
оценки МНК являются эффективными оценками неизвестных
параметров β
0
, …, β
n
.
Для нормальной линейной модели множественной регрессии
теорема Гаусса — Маркова звучит точно так же.
Дисперсии МНКоценок неизвестных параметров записы
ваются с помощью матрицы ковариаций. Матрица ковариаций
МНКоценок параметров линейной модели парной регрессии
выглядит так:
где
— дисперсия МНКоценки параметра уравнения регрессии;
— дисперсия МНКоценки параметра уравнения регрессии .
Общая формула для расчета матрицы ковариаций МНКоце
нок коэффициентов регрессии:
где
— дисперсия случайной ошибки уравнения регрессии.
Рассмотрим процесс определения дисперсий оценок коэффи
циентов линейной модели парной регрессии, полученных с по
мощью метода наименьших квадратов.
Дисперсия МНКоценки коэффициента уравнения регрессии β
0
:
дисперсия МНКоценки коэффициента уравнения регрессии β
1
:
2
2
2
0
2
( )
( )
1
;
( )
G
x
G
n
G x
ε
β
⎛
⎞
⎜
⎟
=
+
⎜
⎟
⎝
⎠
2
( )
G ε
2
1
( )
( ) (
) ,
T
Cov
G
X X
β
ε
−
=
×
2
1
( )
G β
2
0
( )
G β
2
0
2
1
( )
0
( )
,
0
( )
G
Cov
G
β
β
β
⎛
⎞
⎜
⎟
=
⎜
⎟
⎝
⎠
( , )
(
) 0, где
.
i
j
i
j
Cov
i
j
ε ε
ε ε
=Ε
=
≠
28

---

Page 27

где
— диспер
сия случайной ошибки уравнения регрессии ε;
— дисперсия независимого признака уравнения ре
грессии;
n — объем выборочной совокупности.
На практике значение дисперсии случайной ошибки уравне
ния регрессии
зачастую неизвестно, поэтому для опреде
ления матрицы ковариаций МНКоценок применяют оценку
дисперсии случайной ошибки уравнения регрессии
В слу
чае парной линейной регрессии оценка дисперсии случайной
ошибки будет рассчитываться по формуле:
где
— остатки регрессионной модели.
Тогда общую формулу для расчета матрицы ковариаций
МНКоценок коэффициентов регрессии на основе оценки дис
персии случайной ошибки уравнения регрессии можно записать
следующим образом:
В случае линейной модели парной регрессии оценка дисперсии
МНКоценки коэффициента уравнения регрессии β
0
:
оценка дисперсии МНКоценки коэффициента уравнения ре
грессии β
1
:
2
2
1
1
2
1
( )
.
(
2)
(
)
n
i
i
n
i
i
e
S
n
x
x
β
=
=
=
− ×
−
∑
∑
2
2
2
1
1
0
2
1
( )
;
(
2)
(
)
n
n
i
i
i
i
n
i
i
e
x
S
n
n
x
x
β
=
=
=
×
=
× − ×
−
∑ ∑
∑
2
1
( )
( ) (
) .
T
G
S
X X
β
ε
−
=
×
2
i
i
i
e
y
y
= −
2
2
2
1
( )
( )
,
2
n
i
i
e
G
S
n
ε
ε
=
=
=
−
∑
2
( ).
S ε
2
( )
G ε
2
( )
G x
2
( )
G ε
2
2
1
2
( )
( )
,
( )
G
G
n
G x
ε
β =
×
29

---

Page 28

ЛЕКЦИЯ
№
5. Определение качества модели
регрессии. Проверка гипотез о значимости
коэффициентов регрессии, корреляции
и уравнения парной регрессии
Качество модели регрессии — адекватность построенной мо
дели исходным (наблюдаемым) данным.
Качество парной линейной регрессии определяется с по
мощью парного линейного коэффициента корреляции:
,
где G(x) — среднеквадратическое отклонение независимого приз
нака;
G(y) — среднеквадратическое отклонение зависимого признака.
Коэффициент парной линейной корреляции можно рассчи
тать через МНКоценку параметра уравнения регрессии
Парный коэффициент корреляции показывает тесноту связи
между изучаемыми признаками. Он изменяется в пределах [
−
1; + 1].
Если r
yx
∈ [0;+1] то связь между признаками прямая. Если
r
yx
∈ [−1; 0], то связь между признаками обратная. Если r
yx
= 0,
то связь между признаками отсутствует. Если r
yx
= 1 или C =
−
1,то
связь между изучаемыми признаками является функциональной,
т. е. характеризуется полным соответствием между x и y. Чем бли
же |r
xy
| к 1, тем более тесной считается связь между изучаемыми
признаками.
Парный коэффициент корреляции определяется для количе
ственных переменных.
Если парный линейный коэффициент корреляции r
yx
воз
вести в квадрат, то получим коэффициент детерминации r
2
yx
.
Данный коэффициент показывает, на сколько процентов вариа
ция результативного признака объясняется вариацией факторно
го признака в общем объеме вариации.
Чтобы оценить качество линейной множественной модели ре
грессии, необходимо воспользоваться теоремой о разложении
дисперсий.
( )
.
( )
yx
G x
r
G y
β
=
:
β
( , )
,
( ) ( )
( ) ( )
yx
xy xy
Cov x y
r
G x G y
G x G y
−
=
=
30

---

Page 29

Общая дисперсия зависимой переменной может быть разло
жена на две составляющие — объясненную и необъясненную по
строенным уравнением регрессии дисперсии:
где
— объясненная с помощью по
строенного уравнения регрессии
дисперсия переменной y;
— необъясненная или ос
таточная дисперсия пере
менной y.
С помощью данной теоремы можно рассчитать множествен
ный коэффициент корреляции между результативным призна
ком y и несколькими факторными признаками x:
Множественный коэффициент корреляции показывает тес
ноту связи между результативным и факторными признаками.
Трактовка его значений аналогична трактовке значений парного
линейного коэффициента корреляции.
Квадрат множественного линейного коэффициента корреля
ции называется теоретическим коэффициентом детерминации:
Этот коэффициент показывает, на сколько процентов вариа
ция результативного признака объясняется вариацией фактор
ных признаков x. Величина 1
−
R
y
2
показывает ту долю вариации
результативного признака, которую модель регрессии учесть не
смогла.
Среднеквадратическая ошибка (Mean square error — MSE)
уравнения регрессии схожа по построению с показателем сред
неквадратического отклонения:
где h — число параметров уравнения регрессии.
2
1
,
n
i
i
e
MSE
n h
=
=
−
∑
2
2
2
( )
.
( )
y
y
R
G y
σ
=
2
2
( )
.
( )
y
y
R
G y
σ
=
2
2
1
( )
n
i
i
e
y
n
δ
=
=
∑
2
2
1
(
)
( )
n
i
i
i
y
y
y
n
σ
=
−
=
∑
2
2
2
( )
( )
( ),
G y
y
y
σ
δ
=
+
31

---

Page 30

Если MSE окажется меньше σ(y), то построенную модель мож
но считать качественной. Показатель среднеквадратического от
клонения наблюдаемых значений зависимой переменной от мо
дельных значений, рассчитанных по уравнению регрессии,
определяется как:
Показатель средней ошибки аппроксимации рассчитывается
по формуле:
Максимально допустимым значением данного показателя
считается 12—15%. Если средняя ошибка аппроксимации состав
ляет менее 6—7%, то качество модели считается хорошим.
1. Проверка гипотезы о значимости коэффициентов
регрессии
Чтобы построенную модель можно было использовать для
дальнейших экономических расчетов, например для построения
прогноза зависимой переменной, проверки качества построен
ной модели недостаточно. Необходимо также проверить значи
мость полученных с помощью метода наименьших квадратов
оценок коэффициентов регрессии, значимость парного линейно
го коэффициента корреляции и уравнения регрессии в целом
с помощью статистических гипотез.
При проверке значимости (предположения того, что парамет
ры отличаются от нуля) коэффициентов регрессии выдвигается основ
ная гипотеза H
0
о незначимости полученных оценок, например:
в качестве альтернативной (или обратной) выдвигается гипотеза
о значимости коэффициентов регрессии, например:
1
1
/
0.
H β ≠
0
1
/
0;
H
β =
1
1
.
n
i
y
i
i
y y
A
n
y
=
−
=
∑
2
1
( )
.
n
i
i
e
y
n
σ
=
=
∑
32

---

Page 31

Для проверки выдвинутых гипотез используется tкритерий
(tстатистика) Стьюдента. Наблюдаемое значение tкритерия,
вычисленное на основе выборочных данных, сравнивают со зна
чением tкритерия, определяемого по таблице распределения
Стьюдента. Значение tстатистики, найденное по таблице, назы
вается критическим. Критическое значение tкритерия
зависит от двух параметров: уровня значимости
и числа степеней свободы.
Уровень значимости α — величина, определяемая по формуле:
α=1
−
γ,
где γ — доверительная вероятность попадания оцениваемого
параметра в доверительный интервал.
Данную величину необходимо брать близкую к единице
(0,95—0,99). Таким образом, α — это вероятность того, что оцени
ваемый параметр не попадет в доверительный интервал, равный
0,05 или 0,01.
Число степеней свободы — показатель, который определяется
как разность между объемом выборки (n) и числом оцениваемых
параметров по данной выборке (h). Для модели парной линейной
регрессии число степеней свободы рассчитывается как (n
−
2),
так как по выборке оцениваются два параметра: β
0
и β
1
.
Выдвинутые гипотезы проверяются следующим образом:
1) если модуль наблюдаемого значения tкритерия больше
критического значения tкритерия, т. е. |t
набл
| > t
крит
, то с веро
ятностью (1
−
α) или γ основную гипотезу о незначимости па
раметров регрессии отвергают, т. е. параметры регрессии не
равны нулю;
2) если модуль наблюдаемого значения tкритерия меньше
или равен критическому значению tкритерия, т. е. |t
набл
| ≤t
крит
,то
с вероятностью α или (1
−
γ) основная гипотеза о незначимо
сти параметров регрессии принимается, т. е. параметры ре
грессии почти не отличаются от нуля или равны нулю.
Формула наблюдаемого значения tкритерия Стьюдента для
проверки гипотезы H
0
/ β
1
= 0 имеет вид:
где
— оценка параметра регрессии β
1
;
— величина стандартной ошибки параметра регрессии β
1
.
1
( )
ω β
1
β
1
1
,
( )
набл
t
β
ω β
=
(
)
;
крит
t
n h
α −
33

---

Page 32

В случае парной линейной модели регрессии показатель вы
числяется следующим образом:
Числитель стандартной ошибки может быть рассчитан через
парный коэффициент детерминации как:
где G
2
(y) — общая дисперсия зависимого признака;
— парный коэффициент детерминации между зависимым
и независимым признаками.
Формула наблюдаемого значения tкритерия Стьюдента для
проверки гипотезы H
0
/ β
0
= 0 имеет вид:
,
где
— оценка параметра регрессии;
ω(β
0
) — величина стандартной ошибки параметра регрессии β
0
.
В случае парной линейной модели регрессии показатель ω(β
0
)
вычисляется так:
2. Проверка гипотезы о значимости парного линейного
коэффициента корреляции
При проверке значимости коэффициента корреляции между
независимым признаком x и зависимым признаком y (предполо
жения того, что изучаемый параметр отличается от нуля), выдви
(
)
(
)
2
2
1
1
0
2
1
( )
.
2
n
n
i
i
i
i
n
i
i
e
x
n
n
x
x
ω β
=
=
=
×
=
× − ×
−
∑ ∑
∑
0
β
0
0
,
( )
набл
t
β
ω β
=
2
yx
r
(
)
2
2
2
2
1
1
( ) (1
),
n
n
i
i
i
yx
i
i
e
y
y
n G y
r
=
=
=
−
= ×
× −
∑ ∑
2
1
1
2
1
( )
.
(
2)
(
)
n
i
i
n
i
i
e
n
x
x
ω β
=
=
=
− ×
−
∑
∑
34

---

Page 33

гается основная гипотеза H
0
о его незначимости: H
0
/ r
yx
= 0; в ка
честве альтернативной (или обратной) выдвигается гипотеза H
1
о
значимости коэффициента корреляции: H
1
/ r
yx
≠ 0.
Для проверки выдвинутых гипотез используется tкритерий
(tстатистику) Стьюдента.
Гипотезы проверяются таким образом:
1) если модуль наблюдаемого значения tкритерия больше
критического значения tкритерия, т. е. |t
набл
| > t
крит
, то с ве
роятностью (1
−
α) или γ основную гипотезу о незначимости
парного линейного коэффициента корреляции отвергают,
между изучаемыми признаками и существует корреляцион
ная связь, которую аналитически можно оценить с помощью
построения уравнения парной регрессии;
2) если модуль наблюдаемого значения tкритерия меньше
или равен критическому значению tкритерия, т. е. |t
набл
| ≤t
крит
,то
с вероятностью α или (1
−
γ) основная гипотеза о незначимо
сти коэффициента корреляции принимается, т. е. между изу
чаемыми признаками x и y корреляционная связь отсутствует,
построение уравнения регрессии в данном случае нецелесооб
разно.
Критическое значение tкритерия t
крит
(α; n
−
h), где α — уро
вень значимости, (n
−
h) — число степеней свободы, определяет
ся по таблице распределений tкритерия Стьюдента.
Формула значения tкритерия Стьюдента для проверки гипо
тезы H
0
/ r
yx
= 0 имеет вид:
где r
yx
— выборочный парный коэффициент корреляции между
переменными x и y, вычисляемый по формуле:
ω(r
yx
) — величина стандартной ошибки парного выборочного
коэффициента корреляции.
При линейной парной модели регрессии эта величина рассчи
тывается как:
(
)
(
)
2
1
( )
.
2
yx
yx
r
r
n
ω
−
=
−
;
yx
y
x
yx xy
r
S S
−
=
,
( )
yx
набл
yx
r
t
r
ω
=
35

---

Page 34

Подставим данную формулу в выражение для расчета наблю
даемого значения tкритерия Стьюдента для проверки гипотезы
H
0
/ r
yx
= 0, получим:
.
tстатистика Стьюдента применяется для проверки значимо
сти парного выборочного коэффициента корреляции в случае,
если объем выборки достаточно велик (n ≥ 30) и коэффициент
корреляции по модулю значительно меньше 1 0,45 ≤ |r
xy
| ≤ 0,75.
Если модуль парного выборочного коэффициента корреля
ции близок к 1, то гипотеза H
0
/ r
yx
= 0 может быть проверена (по
мимо tкритерия) с помощью zстатистики. Этот метод оценки зна
чимости коэффициента корреляции был предложен Р. Фишером.
Величина z связана с парным выборочным коэффициентом
корреляции определенным отношением:
.
Величина z подчиняется нормальному закону распределения,
поэтому проверка основной гипотезы о незначимости парного ко
эффициента корреляции H
0
/ r
yx
= 0 отождествляется с проверкой
гипотезы о незначимости величины z H
0
/ z = 0 по формуле:
где ω(z) — величина стандартной ошибки величины z, определяе
мая как:
Критическое значение этого критерия t
крит
определяют по таб
лице нормального распределения (z распределения) с доверитель
ной вероятностью γ или (1
−
α).
Проверка гипотез осуществляется аналогично проверке гипо
тез по tкритерию Стьюдента:
1) при |t
набл
| > t
крит
основная гипотеза H
0
/ r
yx
= 0 или H
0
/ r
yx
= 0
отвергается и выборочный парный коэффициент корреляции
считается значимым;
1
( )
.
3
z
n
ω
=
−
( )
,
набл
z
t
z
ω
=
1
0,5
.
1
yx
yx
r
z
ln
r
⎛
⎞
+
⎜
⎟
=
⎜
⎟
−
⎝
⎠
(
)
2
2 .
1
yx
набл
yx
r
t
n
r
=
× −
−
36

---

Page 35

2) при |t
набл
| ≤ t
крит
основная гипотеза H
0
/ r
yx
= 0 или H
0
/ r
yx
= 0
принимается и выборочный парный коэффициент корреляции
считается незначимым.
3. Проверка гипотезы о значимости уравнения парной
регрессии. Теорема о разложении сумм квадратов
Проверка гипотезы значимости парного линейного уравнения
регрессии сводится к проверке гипотез о значимости коэффициен
тов регрессии β
0
и β
1
или парного коэффициента детерминации
В этом случае могут быть выдвинуты следующие основные гипо
тезы:
1) H
0
/ β
0
= 0 и H
0
/ β
1
= 0 — коэффициенты регрессии яв
ляются незначимыми и уравнение регрессии также является
незначимым;
2) H
0
/r
2
yx
= 0 — парный коэффициент детерминации незна
чим и уравнение регрессии также является незначимым.
Альтернативной (или обратных к основным) выступает гипо
тезы;
3) H
1
/ β
0
≠ 0 и H
1
/ β
1
≠ 0 — коэффициенты регрессии значи
мо отличаются от нуля и построенное уравнение регрессии яв
ляется значимым;
4) H
1
/ r
2
yx
≠ 0 — парный коэффициент детерминации значи
мо отличается от нуля, следовательно, построенное уравнение
регрессии является значимым.
Для проверки гипотезы значимости уравнения регрессии в це
лом используется Fкритерий Фишера—Снедекора.
Гипотеза проверяется следующим образом:
1) если наблюдаемое значение Fкритерия больше критиче
ского значения данного критерия, т. е. F
набл
> F
крит
, то с ве
роятностью α основная гипотеза о незначимости коэффици
ентов уравнения регрессии или парного коэффициента
детерминации отвергается, и уравнение регрессии признается
значимым;
2) если наблюдаемое значение Fкритерия меньше критиче
ского значения данного критерия, т. е. F
набл
< F
крит
, то с ве
роятностью (1
−
α) основная гипотеза о незначимости коэф
фициентов уравнения регрессии или парного коэффициента
детерминации принимается, и построенное уравнение регрес
сии признается незначимым.
2
.
yx
r
37

---

Page 36

Критическое значение Fкритерия находится по таблице рас
пределения Фишера—Снедекора в зависимости от следующих
параметров: уровня значимости α и числа степеней свободы:
k
1
= h
−
1 и k
2
= n
−
h, где n — это объем выборки, а h — число оце
ниваемых по выборке параметров. В случае проверки значимости
уравнения парной регрессии критическое значение Fстатистики
вычисляется как F
крит
(α; 1; n
−
2).
Формула наблюдаемого значения Fкритерия для проверки
гипотезы о незначимости уравнения регрессии в целом имеет
вид:
в случае парной регрессии наблюдаемое значение Fкритерия
преобразуется в вид:
.
Данный критерий имеет распределение Фишера—Снедекора.
Коэффициент детерминации можно определить не только как
квадрат парного линейного коэффициента корреляции или через
теорему о разложении общей дисперсии результативной пере
менной на составляющие, но и через теорему о разложении сумм
квадратов результативной переменной.
Сумма квадратов разностей между значениями результатив
ной переменной и ее средним значением по выборке может быть
представлена таким образом:
где
— общая сумма квадратов (Total Sum Square —
TSS);
— сумма квадратов остатков (Error Sum Square —
ESS);
(
)
1
n
i
i
i
y
y
=
−
∑
(
)
2
1
n
i
i
y
y
=
−
∑
(
)
(
)
2
2
2
1
1
1
(
)
,
n
n
n
i
i
i
i
i
i
i
y
y
y
y
y
y
=
=
=
−
=
−
+
−
∑
∑
∑
(
)
2
2
2 .
1
yx
набл
yx
r
F
n
r
=
×
−
−
2
2
;
1
1
yx
набл
yx
r
n h
F
r
h
−
=
×
−
−
38

---

Page 37

— сумма квадратов объясненной регрессии (Re
gression Sum Square — RSS).
В векторной форме данное равенство можно записать как:
Рассмотрим общую сумму квадратов:
Если в уравнение регрессии не включается свободный член β
0
,
это разложение остается верным.
Парный коэффициент детерминации может быть вычислен
по следующим формулам:
2
2
1
или
.
yx
yx
ESS
RSS
r
r
TSS
TSS
= −
=
(
) (
)
[
]
(
)
[
]
(
)
(
) (
) (
)
(
)
(
)
(
)
(
) (
)
(
)
(
)
(
)
0.
T
T
i
i
i
i
T
T
i
ESS
T
T
i
i
i
RSS
T
T
T
T
i
i
i
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
y y
e x
y
e x
y e
β
β
⎡
⎤
⎡
⎤
−
× −
=
− + −
×
−
+ −
=
⎣
⎦
⎣
⎦
= −
× −
+ −
× −
+
+ −
× −
+ −
× −
=
= −
× −
=
−
=
−
=
2
2
2
.
i
i
i
i
y y
y y
y
y
−
= −
+ −
(
)
2
1
n
i
i
y
y
=
−
∑

---

Page 38

ЛЕКЦИЯ
№
6. Построение прогнозов
для модели парной линейной регрессии. Примеры
оценивания параметров парной регрессии
и проверки гипотезы о значимости
коэффициентов и уравнения регрессии
Целью построения регрессионной функции на основе эмпи
рических данных является не только аппроксимация исходных
данных с заданной точностью, но и возможность дальнейшего
применения в экономических расчетах полученного уравнения
регрессии. В частности, на основе регрессионной модели можно
рассчитать прогнозное значение результативного признака при
заданном значении факторного признака.
Для модели парной линейной регрессии точечный прогноз за
висимой переменной y при заданном значении независимой пере
менной x
m
будет выглядеть следующим образом:
y
m
= β
0
+ β
1
x
m
+ ε
m
.
С доверительной вероятностью γ или (1
−
α)точечная оценка
прогноза результативного признака y
m
попадет в интервал прог
ноза, который определяется по формуле:
где y
m
— точечная оценка прогноза результативного признака;
t — tкритерий Стьюдента, который определяется в зависимо
сти от заданного уровня значимости α и числа степеней свобо
ды (n
−
2) (в случае парной регрессионной модели);
ω(m) — величина ошибки прогноза в точке m .
Величина ошибки прогноза рассчитывается по формуле:
где S
2
(ε) — несмещенная оценка дисперсии случайной ошибки
линейного уравнения парной регрессии.
Рассмотрим подробнее процесс определения величины ошиб
ки прогноза.
( )
( )
(
)
(
)
2
2
2
1
1
,
m
n
i
i
x
x
n
m
S
n
x
x
ω
ε
=
⎛
⎞
⎜
⎟
−
+
⎜
⎟
=
×
+
⎜
⎟
⎜
⎟
−
⎜
⎟
⎝
⎠
∑
( )
( )
,
m
m
m
y
t m
y
y
t m
ω
ω
−
≤
≤
+
40

---

Page 39

Пусть задана парная линейная регрессионная модель следующе
го вида:
где независимая переменная xпредставлена в центрированном виде.
Необходимо построить прогноз зависимой переменной y при
заданном значении независимой переменной x
m
:
Математическое ожидание зависимой переменной y в точке
m определяется как:
Дисперсия зависимой переменной y в точке m определяется как:
где D (β
0
) — дисперсия оценки параметра β
0
парной линейной ре
грессии, рассчитываемая по формуле:
Точечная оценка прогноза результативной переменной y
m
имеет нормальный закон распределения с математическим ожи
данием
и дисперсией
(
)
(
)
(
)
2
2
0
1
2
1
;
.
m
m
m
m
i
x
x
n
y
x
N
x
x G
n
x
x
β
β
⎛
⎞
⎛
⎞
−
+
⎜
⎟
⎜
⎟
+
−
+
⎜
⎟
⎜
⎟
−
⎝
⎠
⎝
⎠
∑
(
)
(
)
2
2
2
1
:
m
i
x
x
n
G
n
x
x
⎛
⎞
−
+
⎜
⎟
×
+
⎜
⎟
−
⎝
⎠
∑
(
)
(
)
1
o
m
x
x
β
β
+
−
( )
( )
0
0
2
2
2
2
1
.
i
i
i
D
D
D
n
n
nG
G
D
n
n
n
ε
ε
β
β
ε
⎛
⎞
⎛
⎞
⎜
⎟
⎜
⎟
=
+
=
=
⎜
⎟
⎜
⎟
⎝
⎠
⎝
⎠
=
=
=
∑
∑
∑
(
)
(
)
(
)
( )
(
)
(
)
( )
(
)
(
)
0
1
0
1
2
2
2
2
2
1
,
m
m
m
m
m
m
m
n
i
i
D y x
x
D
x
x
D
D
x
x
D
G
G
x
x
G
n
x
x
β
β
ε
β
β
ε
=
−
=
+
− +
=
=
+
−
+
=
=
+
−
×
+
−
∑
(
)
(
)
0
1
.
m
m
m
m
y x
x
x
β
β
ε
Ε
=
+
−
+
(
)
0
1
.
m
m
m
y
x
x
β
β
ε
=
+
−
+
(
)
0
1
,
i
i
i
y
x
x
β
β
ε
=
+
−
+
41

---

Page 40

Если в выражение для дисперсии зависимой переменной y в точ
ке m вместо дисперсии G
2
подставить ее оценку выборочную
оценку S
2
, то можно построить доверительный интервал для
прогноза зависимой переменной при заданном значении незави
симой переменной x
m
:
где S
2
для модели парной линейной регрессии рассчитывается по
следующей формуле:
Прогнозный интервал можно преобразовать к виду:
что и требовалось доказать.
Рассчитаем точечный прогноз.
На основании данных о цене на нефть x (долларов за баррель)
и индексе акций нефтяной компании y (в процентных пунктах)
было построено уравнение регрессии:
Если цена на нефть подскочит в связи с нефтяным кризисом
на Ближнем Востоке и преодолеет рубеж в 20 долларов за баррель,
остановившись на отметке в 22,13 доллара за 1 баррель. Требует
ся определить, какое влияние окажет этот ценовой скачок на уро
вень индекса акций нефтяной компании.
Подставим новое значение независимой переменной в урав
нение регрессии с целью получения прогноза:
15,317 22,13
266,86
605,825.
y =
×
+
=
15,317
266,86.
y
x
=
+
(
)
(
)
(
)
2
2
1
0
1
2
1
,
2
n
i
m
i
m
m
m
i
e
x
x
n
y
x
x
x
n
n
x
x
β
β
=
⎡
⎤
⎡
⎤
⎢
⎥
⎢
⎥
⎛
⎞
−
⎢
⎥
⎢
⎥
+
⎜
⎟
∈
+
−
±
+
⎢
⎥
⎢
⎥
⎜
⎟
−
−
⎢
⎥
⎢
⎥
⎝
⎠
⎢
⎥
⎢
⎥
⎣
⎦
⎣
⎦
∑
∑
2
2
1
.
2
n
i
i
e
S
n
=
=
−
∑
(
)
(
)
(
)
2
2
0
1
2
1
,
m
m
m
m
i
x
x
n
y
x
x
x
S
n
x
x
β
β
⎡
⎤
⎡
⎤
⎛
⎞
−
⎢
⎥
+
⎢
⎥
⎜
⎟
∈
+
−
±
+
⎢
⎥
⎢
⎥
⎜
⎟
−
⎢
⎥
⎝
⎠
⎢
⎥
⎣
⎦
⎣
⎦
∑
42

---

Page 41

Нефтяной кризис благотворно сказался на финансовом поло
жении нефтяной компании, повысив индекс ее акций с 550 про
центных пункта до 605,825 процентных пункта.
1. Пример оценивания параметров парной регрессии
с помощью альтернативного метода
Определим оценки неизвестных параметров парного линей
ного уравнения регрессии с помощью альтернативного метода
(табл. 2). Имеются данные по двадцати банкам страны о размере
прибыли в денежных единицах (результативная переменная)
и объемах выданных кредитов в денежных единицах (факторная
переменная).
Таблица 2
Пример определения оценок неизвестных параметров
парного линейного уравнения регрессии
№ наблюдения
y — прибыль,
ден. ед.
x — кредиты,
ден. ед.
1
19
200
2
30
300
3
26
200
4
22
220
5
13
100
6
35
250
7
28
250
8
30
300
9
40
280
10
37
300
11
18
150
12
20
250
13
15
100
14
38
300
15
20
120
16
30
220
43

---

Page 42

Окончание табл. 2
На первом этапе определим r
yx
— выборочный парный коэф
фициент корреляции по формуле:
Рассчитаем вспомогательные характеристики.
— среднее арифметическое значение произведения фак
торного и результативного признаков:
⎯y — среднее значение зависимой переменной:
⎯x — среднее значение независимой переменной:
S
y
— выборочное среднеквадратическое отклонение зависи
мой переменной y.
Этот показатель характеризует, на сколько единиц в среднем от
клоняются значения зависимого признака y от его среднего зна
чения⎯y .
1
4400
220;
20
n
i
i
x
x
n
=
=
=
=
∑
1
513
25,65;
20
n
i
i
y
y
n
=
=
=
=
∑
1
122 060
6103;
20
n
i
i
i
y
x
yx
n
=
×
=
=
=
∑
yx
.
yx
y
x
yx y x
r
S
S
− ×
=
×
№ наблюдения
y — прибыль,
ден. ед.
x — кредиты,
ден. ед.
17
30
290
18
28
260
19
19
160
20
15
150
Сумма
513
4400
44

---

Page 43

Он вычисляется по формуле:
где
— среднее значение из квадратов значений результатив
ной переменной:
— квадрат средних значений результативной переменной:
Тогда
S
x
— выборочное среднеквадратическое отклонение независи
мой переменной x. Этот показатель характеризует, на сколько
единиц в среднем отклоняются значения независимого признака
от его среднего значения ⎯x. Он вычисляется по формуле:
где
Тогда
2
2
52 970 48 400 67,6.
x
S
x
x
=
−
=
−
=
(
)
2
2
2
1
220
48 400.
n
i
i
x
x
n
=
⎛
⎞
⎜
⎟
⎜
⎟
=
=
=
⎜
⎟
⎜
⎟
⎜
⎟
⎝
⎠
∑
2
2
1
1 059 400
52 970;
20
n
i
i
x
x
n
=
=
=
=
∑
2
2
,
x
S
x
x
=
−
2
2
721,55 657,92 7,97.
y
S
y
y
=
−
=
−
=
(
)
2
2
2
1
25,65
657,92.
n
i
i
y
y
n
=
⎛
⎞
⎜
⎟
⎜
⎟
=
=
=
⎜
⎟
⎜
⎟
⎜
⎟
⎝
⎠
∑
2
y
2
2
1
14 431
721,55;
20
n
i
i
y
y
n
=
=
=
=
∑
2
y
2
2
,
y
S
y
y
=
−
45

---

Page 44

Выборочный парный коэффициент корреляции будет равен:
На следующем этапе перед построением уравнения регрессии
необходимо проверить значимость полученного коэффициента
корреляции с помощью tкритерия Стьюдента.
Выдвигается гипотеза H
0
о незначимости парного коэффи
циента корреляции:
Альтернативной (или обратной) выдвигается гипотеза о зна
чимости парного коэффициента корреляции:
Значение tкритерия Стьюдента для проверки гипотезы
в случае парной линейной регрессионной модели
рассчитывается по формуле:
.
Таким образом,
Критическое значение tкритерия t
крит
(α; n
−
h), где α — уро
вень значимости, (n
−
h) — число степеней свободы, определяет
ся по таблице распределений tкритерия Стьюдента.
В данном случае t
крит
(α; n
−
h) = t
крит
(0,05; 20
−
2)=1,73.
Получаем, что наблюдаемое значение tкритерия по модулю
больше его критического значения, т. е. |t
набл
| > t
крит
. Основная ги
потеза отклоняется, и парный коэффициент корреляции приз
нается значимым. Построение линейного уравнения регрессии
по исходным данным является обоснованным.
Запишем уравнение парной регрессии в виде:
где β
yx
— выборочный коэффициент регрессии y по x.
( )
,
y y
x x
yx
β
= +
−
(
)
2
0,85
20 2
29,08.
1 0,85
набл
t
=
×
− =
−
(
)
2
2 .
1
yx
набл
yx
r
t
n
r
=
× −
−
0
/
0.
yx
H
r =
1
/
0.
yx
H
r ≠
0
/
0.
yx
H
r =
6103 25,65
220
460
0,85.
7,97
67,6
538,77
yx
y
x
yx yx
r
S S
−
−
×
=
=
=
=
×
46

---

Page 45

Он характеризует, насколько в среднем изменится результа
тивный показатель y при изменении факторного показателя x на
единицу своего измерения. Вычисляется выборочный коэффи
циент регрессии y по x с помощью следующей формулы:
Рассчитаем выборочный коэффициент регрессии y по x на ос
нове имеющихся данных:
Уравнение регрессии будет иметь вид:
Экономическая интерпретация данного уравнения выглядит
так: если уставной капитал банка изменится на 1 денежную еди
ницу, тогда прибыль в среднем изменится на 0,1 денежную еди
ницу.
2. Пример проверки гипотезы о значимости коэффициентов
парной регрессии и уравнения регрессии в целом
На основании исходных данных по двадцати банкам страны
о размере прибыли в денежных единицах (результативная пере
менная) и объемах выданных кредитов в денежных единицах
(факторная переменная) было построено уравнение парной ре
грессии вида:
При проверке значимости (предположения того, что парамет
ры отличаются от нуля) коэффициента регрессии выдвигается ос
новная гипотеза H
0
о незначимости полученной оцен
ки:
Альтернативной (или обратной) выдвигается гипотеза о зна
чимости коэффициента регрессии:
Для проверки выдвинутых гипотез используется tкритерий
(tстатистика) Стьюдента.
1
1
/
0.
H
β ≠
0
1
/
0.
H
β =
(
)
25,65 0,1
220 .
y
x
=
+
× −
(
)
25,65 0,1
220 .
y
x
=
+
× −
7,97
0,85
0,1.
67,6
S
y
r
yx
yx S
x
β
=
×
=
×
=
.
S
y
r
yx
yx S
x
β
=
×
47

---

Page 46

Формула наблюдаемого значения tкритерия Стьюдента для
проверки гипотезы H
0
/ β
1
= 0 имеет вид:
где
— оценка параметра регрессии β
1
;
ω(β
1
) — величина стандартной ошибки параметра регрессии β
1
.
В случае парной линейной модели регрессии показатель ω(β
1
)
вычисляется таким образом:
Числитель стандартной ошибки может быть рассчитан через
парный коэффициент детерминации как:
где G
2
(y) — общая дисперсия зависимого признака;
— парный коэффициент детерминации между зависимым
и независимым признаками.
Рассчитаем общую дисперсию результативного признака по
исходным данным:
Тогда стандартная ошибка будет равна:
(
)
(
)
2
1
1
2
1
20 63,63 1 0,85
( )
20 2 170
(
2)
(
)
190,89
0,053 .
3060
n
i
i
n
i
i
e
n
x
x
ω β
=
=
×
× −
=
=
=
− ×
− ×
−
=
=
∑
∑
2
2
2
( )
721,55 657,92 63,63.
G y
y
y
= − =
−
=
2
yx
r
(
)
2
2
2
2
1
1
( ) (1
),
n
n
i
i
i
yx
i
i
e
y
y
n G y
r
=
=
=
−
= ×
× −
∑ ∑
2
1
1
2
1
( )
.
(
2)
(
)
n
i
i
n
i
i
e
n
x
x
ω β
=
=
=
− ×
−
∑
∑
1
β
1
1
,
( )
набл
t
β
ω β
=
48

---

Page 47

Рассчитаем наблюдаемое значение tкритерия:
Критическое значение tкритерия t
крит
(α; n
−
h), где α — уро
вень значимости, (n
−
h) — число степеней свободы, определяет
ся по таблице распределений tкритерия Стьюдента.
В данном случае t
крит
(α; n
−
h) = t
крит
(0,05; 20
−
2) = 1,73.
Наблюдаемое значение tкритерия по модулю больше его кри
тического значения, т. е. |t
набл
| > t
крит
. Таким образом, коэффи
циент парной регрессии оказался значимым.
Проверим значимость уравнения регрессии через проверку
гипотезы о значимости парного коэффициента детерминации.
Основная гипотеза формулируется как H
0
/ r
2
yx
= 0 — парный
коэффициент детерминации незначим, и, следовательно, уравне
ние регрессии также является незначимым.
Альтернативная ей гипотеза H
1
/ r
2
yx
≠ 0 — парный коэффи
циент детерминации значимо отличается от нуля, следовательно,
построенное уравнение регрессии является значимым.
Рассчитаем коэффициент детерминации как квадрат парного
коэффициента корреляции: r
2
yx
= 0,85
2
= 0,7225.
Для проверки гипотезы о значимости уравнения регрессии
в целом используется Fкритерий Фишера.
Критическое значение Fкритерия находится по таблице рас
пределения Фишера — Снедекора в зависимости от уровня зна
чимости α и числа степеней свободы: k
1
= h
−
1 и k
2
= n
−
h.
В случае проверки значимости уравнения парной регрессии кри
тическое значение Fстатистики вычисляется как (α; 1; n
−
2).
В нашем примере
Формула наблюдаемого значения Fкритерия для проверки
гипотезы о незначимости парного уравнения регрессии имеет вид:
Наблюдаемое значение Fкритерия оказалось больше его кри
тического значения, следовательно, линейное уравнение парной
регрессии является значимым.
Построенное уравнение регрессии между получаемой при
былью и объемом выдаваемых кредитов на 72,25% объясняет ва
риацию зависимой переменной в общем объеме ее вариации.
27,75% дисперсии зависимой переменной остались необъяснен
ными.
(
)
2
2
0,7225
2
18 46,84.
1
1 0,7225
yx
набл
yx
r
F
n
r
=
× − =
× =
−
−
(
)
(
)
;1;
2
0,05;1;18
4,41.
крит
крит
F
n
F
α
− =
=
1
1
0,1
1,88.
( ) 0,053
набл
t
β
ω β
=
=
=
49

---

Page 48

ЛЕКЦИЯ
№
7. Линейная модель множественной
регрессии. Классический метод наименьших
квадратов для модели множественной регрессии.
Множественное линейное уравнение регрессии
Модель множественной регрессии является методом выявле
ния аналитической формы связи между зависимым (или резуль
тативным) признаком и несколькими независимыми (или фак
торными) переменными. Ее построение целесообразно в том
случае, если коэффициент множественной корреляции показал
наличие связи между переменными.
Общий вид линейного уравнения множественной регрессии:
где y
i
— значение i ой зависимой переменной,
x
1k
, …, x
ik
— значения независимых переменных;
β
0
, …, β
n
— параметры уравнения регрессии, подлежащие оцен
ке;
ε
ι
— случайные ошибки множественного уравнения регрессии.
Модель нормальной линейной множественной регрессии
строится исходя из следующих предпосылок:
1) величины x
1i
, …, x
ki
являются неслучайными и независимы
ми переменными;
2) математическое ожидание случайной ошибки уравнения ре
грессии равно нулю во всех наблюдениях: E(ε
ι
) = 0, где
3) дисперсия случайной ошибки уравнения регрессии являет
ся постоянной для всех наблюдений: D(ε
ι
) = E(ε
2
ι
) = const;
4) случайные ошибки уравнения регрессии не коррелированы
между собой, т. е. ковариация случайных ошибок любых двух
разных наблюдений равна нулю: Cov(ε
ι
,ε
j
) = E(ε
ι
ε
j
) = 0. Это
предположение верно в том случае, если изучаемые данные не
являются временными рядами;
5) основываясь на 3 и 4м предположениях, добавляется усло
вие о том, что случайная ошибка уравнения регрессии являет
ся случайной величиной, подчиняющейся нормальному зако
ну распределения с нулевым математическим ожиданием
и дисперсией G
2
/ ε
ι
∼ N(0,G
2
).
1, ;
i
n
=
1, ;
i
n
=
0
1 1
i
k
n i k
y
x
x
β
β
β
ε
=
+
+
+
+
…
50

---

Page 49

Уравнение множественной линейной регрессии в матричном виде:
где
— вектор значений зависимой переменной
размерности n × 1;
— вектор значений независи
мой переменной размерности
n ґ (k + 1). Первый столбец яв
ляется единичным, так как в уравнении регрессии параметр β
0
умно
жается на 1.
— вектор неизвестных параметров модели мно
жественной регрессии размерности (k + 1) ґ 1;
— вектор случайных ошибок уравнения регрессии
размерности n ґ 1.
Добавление в модель такого компонента, как вектор случай
ных ошибок, необходимо в связи с практической невозможно
стью оценить связь между переменными со стопроцентной точ
ностью.
Нормальная линейная модель множественной регрессии
в матричной форме строится исходя из следующих предположений:
1) факторные признаки
являются детерминированными
неслучайными величинами. В терминах матричной записи X — это
детерминированная матрица ранга (k + 1) , т. е. столбцы матрицы
X линейно независимы между собой;
2) математическое ожидание случайной ошибки уравнения
регрессии равно нулю во всех наблюдениях: E(
ε
) = 0;
3) предположения о том, что дисперсия случайной ошибки
уравнения регрессии является постоянной для всех
1
, ,
k
i k
x
x
…
1
2
n
ε
ε
ε
ε
⎛ ⎞
⎜ ⎟
⎜ ⎟
=
⎜ ⎟
⎜ ⎟
⎜ ⎟
⎝ ⎠
0
1
k
β
β
β
β
⎛ ⎞
⎜ ⎟
⎜ ⎟
=
⎜ ⎟
⎜ ⎟
⎜ ⎟
⎝ ⎠
11
12
1
21
22
2
1
2
1
1
1
k
k
n
n
nk
x
x
x
x
x
x
X
x
x
x
⎛
⎞
⎜
⎟
⎜
⎟
=
⎜
⎟
⎜
⎟
⎜
⎟
⎝
⎠
…
…
… … …
…
…
1
2
n
y
y
Y
y
⎛ ⎞
⎜ ⎟
⎜ ⎟
=
⎜ ⎟
⎜ ⎟
⎜ ⎟
⎝ ⎠
,
Y
X β ε
=
+
51

---

Page 50

наблюдений и ковариация случайных ошибок любых двух
разных наблюдений равна нулю, можно записать с помощью
ковариационной матрицы случайных ошибок нормальной
линейной модели множественной регрессии:
где G
2
— дисперсия случайной ошибки уравнения регрессии
ε
;
In — единичная матрица размерности n ґ n;
4)
ε
— независимая и не зависящая от X случайная величина,
подчиняющаяся многомерному нормальному закону
распределения с нулевым математическим ожиданием
и дисперсией G
2
:
1. Классический метод наименьших квадратов
для модели множественной регрессии
Общий вид линейного уравнения множественной регрессии:
где y
i
— значение i ой зависимой переменной,
x
1i
, …, x
ki
значения независимых переменных;
β
0
, …, β
n
— параметры уравнения регрессии, подлежащие
оценке;
ε
ι
— случайные ошибки множественного уравнения регрессии.
Чтобы найти оценки неизвестных параметров линейного
уравнения множественной регрессии, используется обычный ме
тод наименьших квадратов. Его суть состоит в нахождении векто
ра оценки β, который минимизировал бы сумму квадратов откло
нений (остатков) наблюдаемых значений зависимой переменной
y от модельных значений
рассчитанных на основании построен
ного уравнения регрессии.
Рассмотрим матричную форму функционала F метода наимень
ших квадратов:
(
)
1
(
)
(
) min,
n
T
i
i
i
F
y
y
Y X
Y X
β
β
=
=
−
= −
×
−
→
∑
.y
1, ;
i
n
=
0
1 1
,
i
i
n k i
i
y
x
x
β
β
β
ε
=
+
+ +
+
…
2
(0;
).
N
G n
ε →
Ι
2
2
2
2
2
1
0
0
0
0
0 1
0
0
0
,
0
0
1
0
0
G
G
G
G n
G
ε
⎛
⎞
⎛
⎞
⎜
⎟
⎜
⎟
⎜
⎟
⎜
⎟
Σ =
=
= Ι
⎜
⎟
⎜
⎟
⎜
⎟
⎜
⎟
⎜
⎟
⎝
⎠
⎝
⎠
52

---

Page 51

53
— вектор значений зависимой переменной размер
ности n × 1;
— вектор значений независимой
переменной размерности n ґ (k + 1)
.
.
Первый столбец является единичным, так как в уравнении ре
грессии параметр β
0
умножается на 1.
Для того чтобы найти минимум функции (F ), нужно вычиc
лить частные производные этой функции по каждому из оценивае
мых параметров и приравнять их к нулю. Полученная стационар
ная система уравнений может быть записана как:
где
— вектор оцениваемых параметров уравнения
регрессии.
Общий вид стационарной системы уравнений
можно записать как:
В результате решения системы нормальных уравнений полу
чим следующие МНКоценки неизвестных параметров уравне
ния регрессии:
1
(
)
.
T
T
X X
X Y
β
−
=
2
2
0.
T
T
F
X Y
X X β
β
∂
=−
+
=
∂
0
1
k
β
β
β
β
⎛ ⎞
⎜ ⎟
⎜ ⎟
=
⎜ ⎟
⎜ ⎟
⎜ ⎟
⎝ ⎠
0
1
0
0,
F
F
β
β
⎧∂
=
⎪
∂
⎪
⎪
⎪∂
⎨
=
∂
⎪
⎪
⎪
⎪⎩
11
12
1
21
22
2
1
2
1
1
1
k
k
n
n
nk
x
x
x
x
x
x
X
x
x
x
⎛
⎞
⎜
⎟
⎜
⎟
=
⎜
⎟
⎜
⎟
⎜
⎟
⎝
⎠
…
…
… … …
…
…
1
2
n
y
y
Y
y
⎛ ⎞
⎜ ⎟
⎜ ⎟
=
⎜ ⎟
⎜ ⎟
⎜ ⎟
⎝ ⎠

---

Page 52

Рассмотрим применение метода наименьших квадратов на при
мере модели множественной линейной регрессии с двумя перемен
ными:
где
Для нахождения оценок неизвестных параметров данного урав
нения регрессии минимизируем выражение:
Стационарная система уравнений для модели множественной
линейной регрессии с двумя переменными строится следующим
образом:
После элементарных преобразований данной стационарной
системы уравнений получим систему нормальных уравнений:
Данная система называется системой нормальных уравнений
относительно коэффициентов
и
для зависимости
Система нормальных уравнений является квадратной, т. е. ко
личество уравнений равняется количеству неизвестных перемен
ных, поэтому коэффициенты
можно найти с по
мощью метода Крамера или метода Гаусса.
0
1
2
, и
β β
β
0
1 1
2 2
.
i
i
i
i
y
x
x
β
β
β
ε
=
+
+
+
2
β
1
β
0
,
β
0
1
1
2
2
1
1
1
2
0
1
1
1
2
1
2
1
1
1
1
1
2
0
2
1
1
2
2
1
2
1
1
1
1
,
,
.
n
n
n
i
i
i
i
i
i
n
n
n
n
i
i
i
i
i
i
i
i
i
i
n
n
n
n
i
i
i
i
i
i
i
i
i
i
n
x
x
y
x
x
x
x
y
x
x
x
x
x
y
x
β
β
β
β
β
β
β
β
β
=
=
=
=
=
=
=
=
=
=
=
⎧
⎪ ×
+
+
=
⎪
⎪
⎪
⎨
+
+
×
=
×
⎪
⎪
⎪
+
×
+
=
×
⎪
⎩
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
0
0
1
1
2
2
2
2
,
2
2
,
2
2
.
T
T
T
T
T
T
F
X Y
X X
F
X Y
X X
F
X Y
X X
β
β
β
β
β
β
⎧
∂
⎪
=−
+
∂
⎪
⎪
⎪∂
⎨
=−
+
∂
⎪
⎪
∂
⎪
=−
+
⎪∂
⎩
(
)
0
1
2
,
,
0
1 1
2 2
1
min.
n
i
i
i
i
F
y
x
x
β
β
β
β
β
β
=
=
−
−
−
⎯⎯⎯⎯⎯→
∑
1, .
i
n
=
0
1 1
2 2
,
i
i
i
i
y
x
x
β
β
β
ε
=
+
+
+
54

---

Page 53

Метод Крамера заключается в следующем.
Единственное решение квадратной системы линейных уравне
ний определяется по формуле:
где
Δ
— основной определитель квадратной системы линейных
уравнений;
Δ
j
—определитель, полученный из основного определителя пу
тем замены j го столбца на столбец свободных членов.
Если основной определитель системы Δ равен нулю и все
определители Δ
j
также равны нулю, то данная система имеет бес
конечное множество решений.
Если основной определитель системы Δ равен нулю и хотя бы
один из определителей Δ
j
также равен нулю, то система решений
не имеет.
Метод Гаусса применяется в основном для решения систем
линейных уравнений, когда количество неизвестных параметров
не совпадает с количеством уравнений.
Однако его используют и для решения квадратных систем ли
нейных уравнений.
2. Множественное линейное уравнение регрессии
в стандартизированном масштабе. Решение
квадратных систем линейных уравнений
методом Гаусса
Оценки неизвестных параметров уравнения регрессии опре
деляются с помощью метода наименьших квадратов. Однако су
ществует и другой способ оценивания этих коэффициентов в слу
чае множественной линейной регрессии. Для этого строится
уравнение множественной регрессии в стандартизированном
(нормированном) масштабе. Это означает, что все переменные,
участвующие в регрессионной модели, стандартизируются с по
мощью специальных формул.
Процесс стандартизации позволяет установить точкой отсчета
для каждой нормированной переменной ее среднее значение по
выборке. При этом единицей измерения стандартизированной
переменной становится ее среднеквадратическое отклонение.
,
1, ,
j
j
K
j
n
Δ
=
=
Δ
55

---

Page 54

Формула для перевода независимой переменной x в стандар
тизированный масштаб:
,
где
G(x
i
) — среднеквадратическое отклонение независимой пере
менной.
Формула для перевода зависимой переменной y в стандарти
зированный масштаб:
В случае линейной зависимости между изучаемыми перемен
ными процесс стандартизации не нарушает этой связи, поэтому
справедливо следующее равенство:
Для того чтобы найти неизвестные коэффициенты данной
функции, можно использовать классический метод наимень
ших квадратов для множественной регрессии, т. е. необходимо
минимизировать функционал вида:
При этом в качестве переменных в системе нормальных урав
нений будут выступать парные коэффициенты корреляции. Та
кой подход основывается на следующем равенстве:
( )
( )
1
.
m
ij
k j
L L
x x
i k
i k
j
t x
t x
r
r
=
×
=
=
∑
( )
( )
1
min.
n
i
i
i
F
t y
S x
β
β
=
⎛
⎞
⎜
⎟
=
−
×
⎯⎯→
⎝
⎠
∑
( )
( )
1
.
n
i
i
i
t y
L x
β
=
=
×
∑
( )
( )
.
i
i
y
y
t y
G y
−
=
1, ,
1, ;
i
n j
k
=
=
( )
( )
ij
i
ij
i
x
x
t x
G x
−
=
56

---

Page 55

Таким образом, система нормальных уравнений для стандар
тизированной модели множественной регрессии имеет вид:
Данная система нормальных уравнений является квадратной,
т. е. количество уравнений равняется количеству неизвестных пе
ременных, поэтому оценки коэффициентов
можно
найти с помощью метода Крамера, метода Гаусса или метода об
ратных матриц.
После того как параметры уравнения множественной регрессии
в стандартизированном масштабе определены, необходимо пере
вести их в масштаб исходных данных:
Основная идея решения квадратной системы линейных урав
нений методом Гаусса заключается в том, что исходную квадрат
ную систему из n линейных уравнений с n неизвестными пере
менными необходимо преобразовать к треугольному виду. С этой
целью в одном из уравнений системы оставляют все неизвестные
переменные. В другом уравнении сокращают одну из неизвест
ных переменных для того, чтобы число неизвестных стало (n
−
1).
В следующем уравнении сокращают две неизвестные пере
менные, чтобы число переменных стало (n
−
2). В конце данного
процесса система примет треугольный вид, первое уравнение ко
торой содержит все неизвестные, а последнее — только одну.
В последнем уравнении системы остается (n
−
(n
−
1)) неизвест
ных переменных, т. е. одна неизвестная переменная, которая на
зывается базисной. Дальнейшее решение сводится к выражению
свободных (n
−
1) неизвестных переменных через базисную пере
менную и получению общего решения квадратной системы ли
нейных уравнений.
0
1
.
n
i
i
i
y
x
β
β
=
= −
×
∑
( )
( )
;
i
i
G y
G x
β
β
= ×
0
, ,
n
β
β
…
(
)
(
)
( )
(
)
(
)
( )
(
)
(
)
( )
1
1 2
2
1
1
2 1
1
2
2
2
1
1
2
2
,
,
.
n
n
n
n
n
n
n
n
r x x
r x x
r x y
r x x
r x x
r x y
r x x
r x x
r x y
β
β
β
β
β
β
β
β
β
⎧
+
+ +
=
⎪
⎪
+
+ +
=
⎨
⎪
⎪
+
+ +
=
⎩
…
…
…
57

---

Page 56

ЛЕКЦИЯ
№
8. Показатели тесноты связи,
частной и множественной корреляции.
Обычный и скорректированный показатели
множественной детерминации
Соизмеримые показатели тесноты связи могут использоваться
в случае, если факторные признаки имеют несопоставимые еди
ницы измерения. Они позволяют определить тесноту связи меж
ду факторным и результативным признаками в модели множест
венной регрессии. К ним относятся коэффициенты частной
эластичности и стандартизированные частные коэффициенты ре
грессии.
Для определения стандартизированных частных регрессион
ных коэффициентов строится уравнение множественной регрес
сии в стандартном масштабе. Все переменные, участвующие в ре
грессионной модели, стандартизируются с помощью специальных
формул. Стандартизация позволяет установить точкой отсчета
для каждой нормированной переменной ее среднее значение по
выборке. Единицей измерения стандартизированной перемен
ной становится ее среднеквадратическое отклонение. Их трактов
ка сводится к следующему: на какую долю среднеквадратического
отклонения G(y) изменится зависимый признак при условии из
менения факторного признака G(x) на величину своего среднеква
дратического отклонения, если остальные факторы, участвующие
в модели, будут зафиксированы.
Стандартизированный частный регрессионный коэффициент
показывает степень непосредственной или прямой связи между
результативным и факторным признаками. В модели множест
венной регрессии факторный признак оказывает на результативную
переменную не только прямое, но и косвенное влияние, которое
объясняется его связью с другими факторными модельными приз
наками. Для измерения косвенного влияния факторного призна
ка на результативную переменную рассчитывается величина
частного коэффициента детерминации:
( )
,
i
i
i
j
d
r x x
β
=
×
∑
58

---

Page 57

где β
i
— стандартизированный частный регрессионный коэф
фициент;
r(x
i
x
j
) — коэффициент частной корреляции между фактор
ными признаками x
i
и x
j
.
Частный коэффициент детерминации показывает, на сколько
процентов вариация результативного признака объясняется ва
риацией i го факторного признака, входящего в множественное
уравнение регрессии, при фиксированных значениях остальных
факторов.
Другим показателем тесноты связи является коэффициент
частной эластичности. Он рассчитывается по формуле:
где⎯X
i
—среднее значение независимого признака по выборке
— среднее значение результативного признака по
выборке;
— первая производная y по x.
Частный коэффициент эластичности отражает процентное
изменение результативного признака при изменении на 1% от
среднего уровня факторного признака x
i
, если остальные пере
менные, участвующие в модели, зафиксированы.
Для линейной модели регрессии частный коэффициент эла
стичности рассчитывается:
где β
ι
— коэффициент уравнения множественной регрессии.
Стандартизированные частные регрессионные коэффициен
ты и частные коэффициенты эластичности могут не совпадать по
результатам. Это расхождение в выводах можно объяснить, на
пример, тем, что величина среднеквадратического отклонения
одного из факторных признаков слишком велика. Другой причи
ной расхождения может быть эффект неоднозначного воздей
ствия одного из признаков на результативный показатель.
,
i
i
i
X
Э
Y
β
=
×
Y
X
∂
∂
Y
1, ;
i
n
=
,
i
i
X
Y
Э
X
Y
∂
=
×
∂
59

---

Page 58

1. Показатели частной корреляции для модели
линейной регрессии с двумя переменными
Применение частных коэффициентов корреляции вызвано
необходимостью оценить взаимосвязь между результативным
признаком и одним из факторных при условии фиксированности
остальных переменных, участвующих в модели. Частный коэф
фициент корреляции позволяет элиминировать влияние на ре
зультат всех факторных модельных признаков, кроме одного.
Определим частные коэффициенты корреляции на примере
модели линейной регрессии с двумя переменными. Общий вид
модели:
где y
i
— зависимая переменная,
;
x
i
— первый факторный признак;
z
i
— второй факторный признак;
β
0
, β
1
, β
2
— неизвестные коэффициенты уравнения регрессии;
ε
ι
— случайная ошибка уравнения регрессии.
Определим взаимосвязь между результативным y
i
и первым
факторным признаком x
i
при фиксированном значении второго
факторного признака z
i
, и наоборот, определим взаимосвязь меж
ду результативным и вторым факторным признаком при фикси
рованном значении первого факторного признака. Коэффициен
ты частной корреляции называются коэффициентами первого
порядка, так как элиминируется влияние только одного фактора.
Порядок частного коэффициента корреляции определяется ко
личеством параметров, влияние которых устраняется. Порядок
коэффициента парной корреляции в случае парной регрессион
ной модели равен нулю.
Коэффициент частной корреляции между y
i
и x
i
при фиксирован
ном z
i
:
Расчет ведется через обычные парные коэффициенты корреляции.
(
)
(
)
2
2
.
1
1
yx
yz
xz
yx z
xz
yz
r
r
r
r
r
r
− ×
=
−
×
−
1,
i
n
=
0
1
2
,
i
i
i
i
y
x
z
β
β
β
ε
=
+
+
+
60

---

Page 59

Рассчитаем коэффициент частной корреляции между y
i
и z
i
при
фиксированном x
i
:
Факторные признаки оказывают определенное влияние друг
на друга. С помощью частного коэффициента корреляции можно
оценить эту взаимосвязь при фиксированном признаке y
i
:
Частные коэффициенты корреляции рассчитываются через
коэффициент множественной детерминации, например коэффи
циент частной корреляции между y
i
и x
i
при фиксированном z
i
:
где R
y
2
— множественный коэффициент детерминации регресси
онной модели с двумя переменными.
Коэффициент корреляции изменяется в пределах [0;1] в отли
чие от частных коэффициентов корреляции, рассчитанных через
парную корреляцию, изменяющихся в пределах [
−
1;+1).
На основании частных коэффициентов корреляции можно
сделать вывод об обоснованности включения переменной в ре
грессионную модель. Если его значение мало или коэффициент
незначим, следовательно, связь между данным фактором и ре
зультативной переменной либо очень слаба, либо вовсе отсут
ствует, поэтому фактор можно исключить из модели без ущерба
для ее качества.
Значимость частных коэффициентов корреляции проверяют
с помощью tкритерия Стьюдента. Критическое значение tкри
терия t
крит
(α; n
−
h) находится по таблице распределения Стьюден
та, где α — уровень значимости, n
−
h — число степеней свободы.
Для модели множественной регрессии с двумя переменными чис
ло степеней свободы равняется n
−
3.
Значение tкритерия рассчитывается по формуле (на примере
частного коэффициента корреляции между y
i
и x
i
при фиксиро
2
2
2
2
1
1
,
1
1
y
y
yx
yx z
yx
yx
R
R
r
r
r
r
−
−
= −
=
−
−
(
) (
)
2
2
.
1
1
xz
yx
yz
xz y
yz
yx
r
r
r
r
r
r
− ×
=
−
×
−
(
)
(
)
2
2
.
1
1
yz
yx
xz
yz x
xz
yx
r
r
r
r
r
r
−
×
=
−
×
−
61

---

Page 60

ванном z
i
):
где k — порядок частного коэффициента корреляции (в случае
модели регрессии с двумя переменными k = 1).
2. Показатели частной корреляции для модели
множественной регрессии с тремя и более факторами
В случае модели множественной регрессии с тремя факторами
можно рассчитать частные коэффициенты корреляции как пер
вого, так и второго порядка. Выявляется взаимосвязь между ре
зультативной переменной и одним из факторов при фиксирован
ных значениях двух других факторов.
Коэффициенты частной корреляции второго порядка для мо
дели множественной регрессии вида:
строятся так:
Частные коэффициенты корреляции второго порядка по
строены через частные коэффициенты корреляции первого по
рядка.
Частный коэффициент корреляции порядка t может быть по
строен через частный коэффициент корреляции (t
−
1) порядка.
Формулы, построенные через указанную взаимосвязь, называют
ся рекуррентными.
В случае модели множественной регрессии, содержащей
n факторных признаков, частный коэффициент (n
−
1) порядка
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
3
1
2
1
3 2
1
3
1 2
2
2
3 2
1
2
1
.
1
1
r yx x
r yx x
r x x x
r yx x x
r x x x
r yx x
−
×
=
−
×
−
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
2
1
3
1
2 3
1
2
1 3
2
2
2 3
1
3
1
;
1
1
r yx x
r yx x
r x x x
r yx x x
r x x x
r yx x
−
×
=
−
×
−
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
1
2
3
2
1 3
2
1
2 3
2
2
1 3
2
3
2
;
1
1
r yx x
r yx x
r x x x
r yx x x
r x x x
r yx x
−
×
=
−
×
−
0
1 1
2 2
3 3
i
i
i
i
i
y
x
x
x
β
β
β
β
ε
=
+
+
+
+
2
2,
1
yx z
набл
yx z
r
t
n k
r
=
×
− −
−
62

---

Page 61

можно рассчитать по общей формуле:
Рассмотрим построение частных коэффициентов корреляции
через показатель остаточной дисперсии.
Для модели парной линейной регрессии остаточная дисперсия
вычисляется как:
где
— оценка уравнения парной регрессии с независи
мым фактором x
1
.
Если в исходное уравнение парной регрессии добавить новый
фактор x
2
, остаточная дисперсия модели регрессии с двумя фак
торными признаками будет равна величине:
где
— оценка уравнения регрессии с двумя независи
мыми факторами x
1
и x
2
.
При любом качестве построенной модели двухфакторной ре
грессии будет выполняться неравенство:
Тогда величина
будет означать долю сокращения остаточной дисперсии за счет
включения в модель фактора x
2
. Чем больше эта доля, тем сильнее
дополнительный фактор x
2
влияет на результативный признак y,
на качество модели регрессии в целом, тем, следовательно, силь
нее связь между x
2
и y при фиксированном значении x
1
.
Частный коэффициент корреляции между переменными x
2
и y при фиксированном значении x
1
через остаточную дисперсию
(
)
(
)
(
)
2
2
1
1
2
2
1
,
, ,
,
y x
y x x
y x
δ
δ
δ
−
(
)
(
)
2
2
1
1
2
,
, ,
.
y x
y x x
δ
δ
≥
( )
1 2
i
y x x
(
)
(
)
(
)
2
1 2
2
1
2
, ,
i
i
y
y x x
y x x
n
δ
−
=
∑
( )
1
i
y x
(
)
( )
(
)
2
1
2
1
,
,
i
i
y
y x
y x
n
δ
−
=
∑
(
)
(
) (
)
(
)
(
)
(
)
(
)
(
)
1
1
1
1
1
1
1
2
2
1
1
1
1
,
,
, ,
, ,
, ,
.
1
,
,
1
,
,
i
n
i
n
n
n
i n
n
i n
n
n
n
r yx x
x
r yx x
x
r yx x
x
r x x x
x
r x x x
x
r yx x
x
−
−
−
−
−
=
−
×
=
−
×
−
…
…
…
…
…
…
63

---

Page 62

вычисляется:
Для модели множественной регрессии с n факторными
признаками частный коэффициент корреляции (n
−
1) порядка
между результативным признаком y и факторным признаком x
1
при фиксированном значении остальных признаков можно рас
считать по формуле:
Остаточная регрессия результативного признака и коэффици
ент множественной детерминации связаны отношением:
Если в формуле частного коэффициента корреляции выразить
остаточную дисперсию результативного признака через коэффи
циент множественной детерминации, то для модели множествен
ной регрессии с n факторными признаками частный коэффициент
корреляции в общем виде можно определить по формуле:
Частные коэффициенты корреляции, вычисленные по рекур
рентным формулам, изменяются в пределах [
−
1; +1]. Частные
коэффициенты корреляции, вычисленные через остаточную дис
персию или коэффициент множественной детерминации, изме
няются в пределах [0; +1].
Частный коэффициент корреляции для модели множествен
ной регрессии показывает степень тесноты связи между результа
тивным признаком и одним из факторных признаков при фикси
рованном или постоянном значении остальных переменных,
входящих в модель.
3. Показатель множественной корреляции.
Обычный и скорректированный показатели
множественной детерминации
Построение множественного коэффициента корреляции целе
сообразно только в том случае, когда частные коэффициенты
(
)
(
)
(
)
2
1
2
1
1
,
, ,
1
.
1
,
i
i
n
i
R y x
r yx x
x
R y x
−
−
= −
−
…
( )
2
2
( ) 1
.
y
R y
δ
= −
(
)
(
)
(
)
(
)
2
2
2
1
2
1
2
2
2
2
, , ,
, , , ,
, ,
.
, , ,
n
n
n
y x
x
y x x
x
r yx x
x
y x
x
δ
δ
δ
−
=
…
…
…
…
(
)
(
)
(
)
(
)
2
2
1
1
2
2
1
2
1
,
, ,
.
,
y x
y x x
r yx x
y x
δ
δ
δ
⎛
⎞
−
⎜
⎟
=
⎜
⎟
⎝
⎠
64

---

Page 63

корреляции оказались значимыми и связь между результативным
признаком и факторами, включенными в модель, действительно
существует. Множественный коэффициент корреляции позволя
ет оценить общее влияние всех факторных переменных на резуль
тативный признак в модели множественной регрессии.
В случае линейной модели множественной регрессии с n фак
торными признаками коэффициент множественной корреляции
рассчитывается через стандартизированные частные коэффици
енты регрессии и парные коэффициенты корреляции следующим
образом:
,
где r(yx
i
) — парный (не частный) коэффициент корреляции меж
ду результативным признаком y и факторным признаком
x
i
,
Коэффициент множественной корреляции изменяется в пре
делах [0; +1] и поэтому не предназначен для определения напра
вления связи между результативным и факторными признаками.
Чем ближе множественный коэффициент корреляции к единице,
тем сильнее взаимосвязь между зависимой и независимыми пере
менными, и, наоборот, чем ближе множественный коэффициент
корреляции к нулю, тем слабее взаимосвязь между изучаемыми
переменными.
Если возвести множественный коэффициент корреляции
в квадрат, то получим коэффициент множественной детерминации:
Множественный коэффициент детерминации показывает, на
сколько процентов построенная модель регрессии объясняет раз
брос значений зависимой переменной относительно среднего
значения, т. е. какая доля общей дисперсии результативного
признака объясняется вариацией факторных модельных призна
ков. Множественный коэффициент детерминации можно на
звать количественной характеристикой, объясненной построен
ным уравнением регрессии дисперсии результативного признака.
Чем больше значение данного показателя, тем лучше уравнение
регрессии описывает выявленную взаимосвязь.
Для множественного коэффициента детерминации всегда спра
ведливо неравенство:
т. е. включение в линейную регрессионную модель нового фак
(
)
(
)
2
2
1
1
1
, , ,
, , ,
,
n
n
R y x
x
R y x
x
−
≤
…
…
(
)
( )
2
1
1
, , ,
.
n
станд
i
i
i
i
R y x
x
r yx
β
=
=
×
∑
…
1, .
i
n
=
(
)
( )
1
1
, ,
,
,
n
станд
n
i
i
i
R y x
x
r yx
β
=
=
×
∑
…
65

---

Page 64

торного признака x
n
не снижает значения коэффициента мно
жественной детерминации.
Коэффициент множественной детерминации можно рассчи
тать на основании теоремы о разложении сумм квадратов:
где ESS (Error Sum Square) — сумма квадратов остатков мно
жественного уравнения регрессии с n переменными:
TSS (Total Sum Square) — общая сумма квадратов множествен
ного уравнения регрессии:
Влияние на качество модели дополнительно включенного
в регрессионное уравнение фактора не всегда можно выявить
с помощью обычного множественного коэффициента детерми
нации. Поэтому рассчитывают также и скорректированный ко
эффициент множественной детерминации, в котором учитывает
ся количество факторных признаков в модели:
где n — количество наблюдений в выборке;
h — число параметров в регрессионной модели.
При большом объеме выборки обычный и скорректирован
ный (adjusted) коэффициенты множественной детерминации от
личаться практически не будут.
(
)
(
)
(
)
(
)
(
)
2
2
1
1
1 1
,
1
Adj
ESS
n h
n
R
R
TSS
n h
n
−
−
= −
= − −
×
−
−
(
)
2
1
.
n
i
i
y
y
=
−
∑
(
)
(
)
2
1
1
, , ,
;
n
i
n
i
y
y y x
x
=
−
∑
…
(
)
2
1
, , ,
1
,
n
ESS
R y x
x
TSS
= −
…

---

Page 65

ЛЕКЦИЯ
№
9. Проверка гипотез
о значимости частного и множественного
коэффициентов корреляции,
регрессионных коэффициентов и уравнения
множественной регрессии в целом
После расчета всех частных коэффициентов корреляции мно
жественного уравнения регрессии необходимо проверить их зна
чимость.
Выдвигается гипотеза H
0
о незначимости частных коэффи
циентов корреляции.
Альтернативной гипотезой является утверждение о значимости
частного коэффициента корреляции: H
0
/ r ( y x
i
/ x
1
, …, x
n1
) ≠ 0.
Гипотеза о значимости частных коэффициентов корреляции
проверяется с помощью t — критерия Стьюдента.
Наблюдаемое значение tкритерия t
набл
вычисляется по формуле:
где n — объем выборочной совокупности (число наблюдений);
l — число оцениваемых по выборке параметров.
Критическое значение tкритерия t
крит
находится по таблице
распределения Стьюдента с уровнем значимости α/2 и степенью
свободы (n
−
l − 1) / t
крит
(α/2; n − l − 1).
Если модуль наблюдаемого значения tкритерия больше кри
тического значения tкритерия, т. е. |t
набл
| > t
крит
, то с вероятно
стью α основную гипотезу о незначимости частного коэффициен
та корреляции отвергают, т. е. между изучаемыми признаками x
i
и y существует корреляционная связь при фиксированных значениях
остальных переменных, участвующих в модели.
Если модуль наблюдаемого значения tкритерия меньше или
равен критическому значению tкритерия, т. е. |t
набл
| ≤ t
крит
,то ос
новная гипотеза H
0
о незначимости частного коэффициента корре
ляции принимается, т. е. между изучаемыми признаками x
i
и y при
фиксированных значениях остальных переменных, участвующих
в модели, корреляционная связь отсутствует и включение данно
(
)
(
)
1
1
1
1
, ,
1,
1
,
,
i
n
набл
n
r yx x
x
t
n l
r yx x
x
−
−
=
×
− −
−
…
…
67

---

Page 66

го фактора в регрессионную модель в данном случае нецелесооб
разно.
После проверки значимости всех частных коэффициентов
корреляции осуществляется проверка значимости множествен
ного коэффициента корреляции.
Основной гипотезой H
0
является утверждение о статистической
незначимости множественного коэффициента корреляции.
Обратной к основной является гипотеза H
1
о значимости мно
жественного коэффициента корреляции, т. е. о его значимом от
личии от нуля:
Проверка гипотезы о незначимости множественного коэффи
циента корреляции осуществляется с помощью Fкритерия Фи
шера через коэффициент множественной детерминации.
Наблюдаемое (фактическое) значение Fкритерия F
набл
вы
числяется по формуле:
где R
2
(y, x
i
) — коэффициент множественный детерминации.
Критическое значение Fкритерия F
крит
вычисляется по таб
лице распределения Фишера—Снедекора в зависимости от сле
дующих параметров: уровня значимости α и числа степеней сво
боды:
Гипотезы проверяются следующим образом.
Если наблюдаемое значение Fкритерия больше критическо
го значения данного критерия, т. е. F
набл
>F
крит
, то с вероятностью
α основная гипотеза о незначимости коэффициента множествен
ной регрессии отклоняется, а он признается значимым. В этом
случае построение модели множественной регрессии на основа
нии изучаемого набора переменных является обоснованным.
Если наблюдаемое значение Fкритерия меньше критическо
го значения данного критерия, т. е. F
набл
< F
крит
, то с вероятностью
(1 − α) основная гипотеза о незначимости коэффициента мно
жественной корреляции принимается, а он признается незначимым.
(
)
(
)
1
2
1
2
2
1
2
1 и
/
; ;
и
/
; ;
.
крит
крит
k
l
k
n l F
k k
k
n l F
k k
α
α
= −
= −
= −
( )
( )
2
2
,
,
1
1
,
i
набл
i
R y x
n l
F
l
R y x
−
=
×
−
−
(
)
1
/
,
0.
i
H
R y x ≠
( )
0
/
,
0,
1, .
i
H
R y x
i
n
=
=
68

---

Page 67

Построение модели множественной регрессии является не
целесообразным.
Чтобы построенную модель множественной регрессии можно
было использовать при изучении экономических связей между
модельными переменными, необходимо проверить значимость
регрессионных коэффициентов.
При проверке значимости (предположения того, что парамет
ры значимо отличаются от нуля) коэффициентов уравнения мно
жественной регрессии выдвигается основная гипотеза H
0
о не
значимости полученных оценок:
Альтернативной (или обратной) выдвигается гипотеза о зна
чимости коэффициентов множественной регрессии:
Проверка этих гипотез осуществляется с помощью tкритерия
Стьюдента, который, в свою очередь, вычисляется через частный
Fкритерий Фишера.
Между частным Fкритерием и tкритерием Стьюдента сущест
вует взаимосвязь, которая используется при проверке значимости
коэффициентов модели множественной регрессии:
Наблюдаемое значение частного Fкритерия F
набл
рассчиты
вается по формуле:
где n — объем выборки;
l — число оцениваемых по выборке параметров.
Критическое значение tкритерия t
крит
(α; n − l − 1) определя
ется по таблице распределения Стьюдента.
Если наблюдаемое значение tкритерия больше или равно
критическому значению данного критерия, т. е. t
набл
≥ t
крит
, то ко
эффициент β
κ
уравнения множественной регрессии является зна
чимым.
Если наблюдаемое значение tкритерия меньше, чем критиче
ское значение данного критерия, т. е. t
набл
< t
крит
, то коэффи
циент уравнения множественной регрессии является незначи
( )
(
)
(
)
(
)
(
)
2
2
1
1
1
2
1
, , ,
, , ,
,
1
, , ,
n
n
набл
k
n
R y x
x
R y x
x
F
x
n l
R y x
x
−
−
=
×
−
−
…
…
…
.
набл
набл
t
F
=
1
0
1
/
0.
k
H
β
β
β
≠
≠ ≠
≠
…
1
0
1
/
0.
k
H
β
β
β
=
= =
=
…
69

---

Page 68

мым. Модель множественной регрессии необходимо оценить на
адекватность в отношении реальных данных, т. е. проверить ее
значимость в целом. Проверка гипотезы о значимости множе
ственного уравнения регрессии сводится к проверке гипотезы
о значимости множественного коэффициента корреляции или
значимости параметров уравнения регрессии.
В качестве основной гипотезы (о незначимости уравнения мно
жественной регрессии) может выступать: H
0
/ r(yx
i
/ x
1
, …, x
n1
) = 0 —
гипотеза о незначимости коэффициента множественной корре
ляции;
Основной гипотезе противостоит альтернативная гипотеза вида:
H
1
/ r(yx
i
/ x
1
, …, x
n
−
1
) ≠ 0 — гипотеза о значимости коэффициен
та множественной корреляции.
Чаще значимость уравнения множественной регрессии прове
ряется через значимость коэффициента множественной корреля
ции с помощью Fкритерия Фишера.
Наблюдаемое значение Fкритерия F
набл
вычисляется по фор
муле:
где R
2
(y, x
i
) — коэффициент множественный детерминации.
Критическое значение Fкритерия F
крит
вычисляется по та
блице распределения Фишера—Снедекора в зависимости от
уровня значимости α и числа степеней свободы: k
1
= l − 1 и n − l.
Если наблюдаемое значение F−критерия больше критическо
го значения данного критерия, т. е. F
набл
> F
крит
, то с вероятностью
α основная гипотеза о незначимости коэффициента множествен
ной регрессии отклоняется, а уравнение множественной регрес
сии является значимым.
Если наблюдаемое значение Fкритерия меньше критическо
го значения данного критерия, т. е. F
набл
< F
крит
, то с вероятностью
(1 − α) основная гипотеза о незначимости коэффициента множе
ственной корреляции принимается.
Уравнение множественной регрессии признается незначимым.
(
)
(
)
2
2
,
,
1
1
,
i
набл
i
R y x
n l
F
l
R y x
−
=
×
−
−

---

Page 69

ЛЕКЦИЯ
№
10. Пример применения МНК
к трехмерной модели регрессии. Пример
расчета коэффициентов корреляции и проверки
гипотез для трехмерной регрессионной модели
Имеются данные по двадцати банкам страны о размере при
были в дененежных единицах (результативная переменная y),
объемах выданных кредитов в денежных единицах (факторная
переменная x) и размере уставного капитала в денежных едини
цах (факторная переменная z) ( табл. 3).
Таблица 3
Данные по двадцати банкам страны о размере прибыли, объемах
выданных кредитов и размере уставного капитала
в денежных единицах
Исходя из предположения о линейной зависимости между пере
менными составим систему нормальных уравнений для опреде
ления параметров уравнения множественной регрессии:
Для решения данной квадратной системы линейных уравне
ний используем метод Крамера.
0
1
2
0
1
2
0
1
2
20
4400
576 513;
4400
1059400
129660 122 060;
576
129 660
16 844 15 098.
β
β
β
β
β
β
β
β
β
⎧
× + ×
+
×
=
⎪
⎪
⎨ ×
+ ×
+
×
=
⎪
×
+ ×
+
×
=
⎪
⎩
Σ
y
—
прибыль,
ден. ед.
Σ
x
—
креди
ты,
ден. ед.
Σ
z
—
уставный
капитал,
ден. ед
Σ
yx
Σ
yz
Σ
x
2
Σ
z
2
Σ
xz
513
4 400
576
122 060 15 098 1 059 400 16 844 129 660
71

---

Page 70

Для этого вычислим общий определитель системы:
Аналогично вычисляем частные определители, заменяя при
этом соответствующий столбец столбцом свободных членов:
(
)
513 1 059 400 576 4400 129 660 513 122 060 4400 576
=
×
×
+
×
×
+
×
×
−
3
20
4400
513
4 400
1 059 400 122 060
576
129 660
15 098
Δ =
=
2 792 9120.
=
(
)
576 122 060 576 15 098 129 660 20 4400 513 16 844
−
×
×
+
×
× +
×
×
=
(
)
20 122 060 16 844 4400 15 098 576 513 129 660 576
=
×
×
+
×
×
+
×
×
−
2
20
513
576
4 400
122 060
129 660
576
15 098
16 844
Δ =
=
105 920 751 440.
=−
(
)
576 1 059 400 15 098 129 660 129 660 513 4400 122 060
16 844
−
×
×
+
×
×
+
×
×
=
(
)
513 1 059 400 16 844 122 060 129 660 576 4400 129 660
1 5098
=
×
×
+
×
×
+
×
×
−
1
513
4400
576
122 060
1 059 400
129 660
15 098
129 660
16 844
Δ =
=
293 633 600.
=
(
)
576 1 059 400 576 129 660 129 660 20 4400 4400 16 844
−
×
×
+
×
× +
×
×
=
(
)
20 1 059 400 16 844 4400 129 660 576 4400 129 660 576
=
×
×
+
×
×
+
×
×
−
20
4400
576
4400 1 059 400 129 660
576
129660
16 844
Δ=
=
72

---

Page 71

Определим коэффициентырегрессионного уравненияпо формулам:
Таким образом, уравнение регрессии, описывающее зависи
мость прибыли банка от объема выдаваемых кредитов и размера
уставного капитала, выглядит следующим образом:
Параметр регрессии
показывает, что при изменении пере
менной x на 1 дененежную единицу результативная переменная
изменится на 0,09 денежных единиц при фиксированном значе
нии переменной z.
Параметр регрессии
показывает, что при изменении пере
менной z на 1 денежную единицу результативная переменная из
менится на 0,17 денежных единиц при фиксированном значении
переменной x.
Рассчитаем по имеющимся данным уравнение регрессии
в стандартизированном масштабе:
где
— стандартизованные переменные:
( )
( )
( )
;
.
( )
ij
i
i
ij
i
i
x
x
y
y
t x
t y
G x
G y
−
−
=
=
1
, , ,
p
y
x
x
t t
t
…
1
2
1
2
,
p
y
x
x
p
x
t
t
t
t
β
β
β
= × + × + +
×
…
2
β
1
β
0,236 0,09
0,17 .
y
x
z
=−
+
−
3
2
0,17.
β
Δ
=
≈
Δ
2
1
0,09;
β
Δ
=
≈
Δ
1
0
0,236;
β
Δ
=
≈−
Δ
1366 229 280.
=
(
)
20 1 059 400 15 098 129 660 122 060 20 4400 4400 15 09 8
−
×
×
+
×
× +
×
×
=
73

---

Page 72

Система нормальных уравнений для стандартизированной моде
ли множественной регрессии имеет вид:
где r(x
i
x
j
), r(x
i
y) — парные коэффициенты корреляции между пе
ременными:
Рассчитаем вспомогательные характеристики для определе
ния стандартизированных коэффициентов:
Таким образом, система нормальных уравнение будет иметь вид:
Отсюда найдем стандартизированные регрессионные коэф
фициенты:
Уравнение регрессии в стандартизированном масштабе мож
но записать следующим образом:
0,8012
0,08
.
y
x
z
t
t
t
=
× +
×
2
0,08.
β =
1
0,8012;
β =
1
2
2
1
0,61
0,85;
0,61
0,57.
β
β
β
β
⎧
+
=
⎪
⎨
⎪ +
=
⎩
2
1
1
1
1
1
1
2
2
2
2
2
2
513
4400
25,65
4 ;
220;
28,8;
20
20
122 060
6103;
754,9;
6483;
20
7,97;
67,6;
3,66
n
n
n
i
i
i
i
i
i
n
n
n
i
i
i
i
i
i
i
i
i
y
x
z
<div