Поняття мультиколінеaрності

маємо коефіцієнти кореляції для першого компонента:              

           (6.18)

У загальному випадку коефіцієнт кореляції між   і                              

                   (6.19)

Частка різних головних компонентів в варіації   визначається показником  , а оскільки компоненти не корелюють один з одним, то сума їх часток дорівнює одиниці.

Визначивши всі головні компоненти і відкинувши ті з них, які відповідають невеликим значенням характеристичних коренів, знаходимо зв'язок залежної змінної Y з основними головними компонентами, а далі з допомогою оберненого перетворення повертаємося від параметрів моделі з головними компонентами до знаходження оцінок параметрів змінних X.

Приклад 6.2. Нехай для п'яти змінних матриці X знайдено п'ять головних компонентів. Порівнявши їх значення, вибираємо лише два:                          

                   (6.20)

Тоді модель, що характеризує зв'язок між Y, Z1 i Z2, має вигляд:                              

                         (6.21)

Підставимо в (6.21) значення головних компонентів із (6.20):   

   (6.22)

У разі, коли було б збережено всі головні компоненти, коефіцієнти рівняння (6.22) були б такі самі, як коефіцієнти, знайдені на основі прямої регресії Y на всі змінні X.

Розглянемо, як обчислити параметри моделі з головними компонентами:

Звідси                                                (6.23)

Оскільки  , то, підставивши цей вираз у (6.23), дістанемо:

тобто

, тому   нормально і незалежно розподілені навколо b.

Алгoритм головних компонентів

Крок 1. Нормалізація всіх пояснювальних змінних:

Крок 2. Обчислення кореляційної матриці

Крок 3. Знаходження характеристичних чисел матриці r з рівняння

де  E — одинична матриця розміром m ´ m.

Крок 4. Власні значення   упорядковуються за абсолютним рівнем вкладу кожного головного компонента до загальної дисперсії.

Крок 5. Обчислення власних векторів   розв'язуванням системи рівнянь

за таких умов:

Крок 6. Знаходження головних компонентів — векторів

Головні компоненти мають задовольняти умови:

;

;

Крок 7. Визначення параметрів моделі   :

Крок 8. Знаходження параметрів моделі  :

 

 

 

 

 

 

висновки

Якщо порушується одна з чотирьох умов, необхідних для застосування 1МНК, що стосується матриці вихідних даних Х, а саме коли між пояснювальними змінними існує лінійна залежність, то це явище називається мультиколінеарністю.

Мультиколінеарність негативно впливає на кількісні характеристики економетричної моделі або взагалі робить неможливою її побудову, коли матриця вироджена.

Найважливіші наслідки мультиколінеарності такі.

 Падає точність оцінювання  параметрів економетричної моделі.

Оцінки деяких параметрів моделі можуть бути незначущими через наявність мультиколінеарності пояснювальних змінних, взаємозв'язок між ними, а не тому, що вони не впливають на залежну змінну.

Оцінки параметрів моделі стають дуже чутливими до особливостей сукупності спостережень, насамперед до її розмірів. Збільшення сукупності спостережень іноді може призвести до істотних змін в оцінках параметрів.

Основні ознаки мультиколінеарності.

Наявність парних коефіцієнтів кореляції між пояснювальними змінними, які наближаються до одиниці і наближено дорівнюють множинному коефіцієнту кореляції.

Значення визначника кореляційної матриці   наближається до нуля.

Наявність малих значень оцінок параметрів моделі при високому рівні коефіцієнта детермінації R2 і F-критеріїв, які істотно відрізняються від нуля.

Наявність частинних коефіцієнтів детермінації між пояснювальними змінними, які наближаються до одиниці.

Істотна зміна оцінок параметрів моделі при додатковому введенні до останньої пояснювальної змінної, а також незначне підвищення (або зниження) коефіцієнтів кореляції чи детермінації.

Найповніше дослідити мультиколінеарність можна з допомогою алгоритму Феррара — Глобера. Цей алгоритм має три види статистичних критеріїв, за якими перевіряється мультиколінеарність усього масиву незалежних змінних (c2 — "хі'-квадрат); кожної незалежної змінної з усіма іншими (F-критерій); кожної пари незалежних змінних (t-критерій).

Алгоритм Феррара — Глобера складається із семи кроків.

Стандартизація (нормалізація) змінних

Знаходження кореляційної матриці

.

Визначення критерію c2  ("хі'-квадрат)

Визначення оберненої матриці

.

 Обчислення F-критеріїв

Знаходження частинних коефіцієнтів кореляції

Обчислення t-критеріїв

Метод головних компонентів використовується для оцінювання параметрів моделей великого розміру, а також моделей, до яких входять мультиколінеарні змінні.

Ідея методу полягає в тому, щоб перетворити множину змінних Х на нову множину попарно некорельованих змінних, серед яких перша відповідає максимально можливій дисперсії, друга — максимально можливій дисперсії в підпросторі, який є ортогональним до першого, і т.д.

Головні компоненти Zj обчислюються як добутки матриці нормалізованих пояснювальних змінних на власні вектори матриці ( )aj : Zj = Xaj. Звідси сума елементів вектора дорівнює  .

Щоб знайти головні компоненти Zj, необхідно максимізувати вектор   за таких умов:

1)  ,     k = j;

2)  ,   k ¹ j.

Перша умова нормалізує вектор aj, щоб він не став дуже великим, а друга умова забезпечує відсутність кореляції між Zj і Zk, бо коваріація між ними подається у вигляді   і дорівнює нулю лише тоді, коли ajak = 0. Для розв'язування цієї задачі будується функція Лагранжа:

.

З огляду на те, що   і  , маємо рівняння  , розв'язавши яке, знайдемо всі власні вектори матриці ( )aj.

Головні компоненти Zj = Xaj попарно некорельовані, а їх дисперсії визначаються так:

Співвідношення   характеризують пропорційний внесок кожного з векторів до загальної варіації змінних Х, а оскільки ці компоненти ортогональні, сума всіх внесків дорівнює одиниці.

Алгоритм головних компонентів складається з восьми кроків.

Нормалізація всіх пояснювальних змінних:

Обчислення кореляційної матриці

Знаходження характеристичних чисел матриці r з рівняння:

де lj — характеристичні числа; E — одинична матриця.

Власні (характеристичні) числа lj упорядковуються за абсолютними значеннями.

Знаходження власних векторів aj розв'язуванням системи рівнянь: 

(r – lE)a = 0.

Обчислення головних компонентів векторів Zj:

Головні компоненти мають задовольняти умови:

;

Визначення параметрів моделі з головними компонентами

,    

Знаходження параметрів вихідної моделі:

,     

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ЛІТЕРАТУРА

1.   Джонстон Дж. Эконометрические методы.— М., 1980.

2. Дрейлер Н., Смит Г. Прикладной регрессионный анализ. — М.: Финансы и статистика, 1986.

3.  Кейн Э. Экономическая статистика и эконометрия. — М.: 1977.– Вып.12.

4. Класc А., Гергели К., Колек Ю., Шуян И. Введение в эконометрическое моделирование. –– М., 1975.

5.  Крамер Г. Математические методы статистики. — М., 1975.

6. Ланге О. Введение в эконометрику. –– М., 1964.

7. Лизер С. Эконометрические методы и задачи. –– М., 1971.

8. Линник Ю. В. Метод наименьших квадратов и основы математико-статистической обработки наблюдений. — М., 1962.

9.  Маленво Э. Статистические методы в эконометрии. — М., 1975 – 1976. Вып. 1,2.

10.  Мальцев А. Н. Основы линейной алгебры. –– М., 1975.

11. Пирогов Г., Федоровский Ю. Проблемы структурного оценивания в эконометрии. –– М., 1979.

12. Тинтнер Г. Введение в эконометрию. –– М., 1964.

13. Фишер Ф. Проблема идентификации в эконометрии. — М., 1978.

14. Чупров А. А. Основные проблемы теории