Спецификация модели. Отбор факторов при построений множественной регрессии. Предпосылки метода наименьших квадратов

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ

 

1. Спецификация модели. Отбор факторов при построений                 множественной регрессии

 

Парная  регрессия может дать хороший  результат при моделировании, если влиянием других факторов, воздействующих на объект исследования, можно пренебречь. Например, при построении модели потребления того или иного товара от дохода исследователь предполагает, что в каждой группе дохода одинаково влияние на потребление таких факторов, как цена товара, размер семьи, ее состав. Вместе с тем исследователь никогда не может быть уверен в справедливости данного предположения. Для того чтобы иметь правильное представление о влиянии дохода на потребление, необходимо изучить их корреляцию при неизменном уровне других факторов. Прямой путь решения такой задачи состоит в отборе единиц совокупности с одинаковыми значениями всех других факторов, кроме дохода. Он приводит к планированию эксперимента — методу, который используется в химических, физических, биологических исследованиях. Экономист в отличие от экспериментатора-естественника лишен возможности регулировать другие факторы. Поведение отдельных экономических переменных контролировать нельзя, т. е. не удается обеспечить равенство всех прочих условий для оценки влияния одного исследуемого фактора. В этом случае следует попытаться выявить влияние других факторов, введя их в модель, т. е. построить уравнение множественной регрессии

 

Такого  рода уравнение может использоваться при изучении потребления. Тогда коэффициенты bj — частные производные потребления у по соответствующим факторам х_i:

 

в предположении, что все остальные х_i постоянны.

В 30-е  гг. XX в. Дж.М. Кейнс сформулировал свою гипотезу потребительской функции. С того времени исследователи неоднократно обращались к проблеме ее совершенствования. Современная потребительская функция чаще всего рассматривается как модель вида:

 

где С - потребление;

у - доход;

Р - цена» индекс стоимости жизни;

М - наличные деньги;

Z - ликвидные активы.

При этом

Множественная регрессия широко используется в  решении проблем спроса, доходности акций, при изучении функции издержек производства, в макроэкономических расчетах и целого рада других вопросов эконометрики. Основная цель множественной регрессии - построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.

Построение  уравнения множественной регрессии  начинается с решения вопроса о спецификации модели. Она включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии. Их решение при построении модели множественной регрессии имеет некоторую специфику.

Отбор факторов при построении множественной  регрессии

Включение в уравнение множественной регрессии  того или иного набора факторов связано  прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям.

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность (например, в модели урожайности качество почвы задается в виде баллов; в модели стоимости объектов недвижимости учитывается место нахождения недвижимости: районы могут быть проранжированы).

2. Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.

Включение в  модель факторов с высокой интеркорреляцией, когда R_yx1 < R_yx2 для зависимости может привести к нежелательным последствиям — система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.

Если  между факторами существует высокая  корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми. Так, в уравнении предполагается, что факторы х₁ и х₂ независимы друг от друга, т. е. r _х1х2 = 0. Тогда можно говорить, что параметр b₁ измеряет силу влияния фактора х₁ на результат у при неизменном значении фактора х₂. Если же r_х1х2 = 1, то с изменением фактора х₁ фактор х₂ не может оставаться неизменным. Отсюда b₁ и b₂ нельзя интерпретировать как показатели раздельного влияния х₁ и х₂ на y.

Включаемые  во множественную регрессию факторы  должны объяснить вариацию независимой переменной. Если строится модель с набором р факторов, то для нее рассчитывается показатель детерминации R², который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии р факторов. Влияние других не учтенных в модели факторов оценивается как 1 - R² с соответствующей остаточной дисперсией S².

При дополнительном включении в регрессию р + 1 фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться:

R²_p+1 > R²_p и S²_p+1 < S²_p.

Если  же этого не происходит и данные показатели практически мало отличаются друг от друга, то включаемый в анализ фактор x_p+1 не улучшает модель и практически является лишним фактором. Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по t-критерию Стьюдента.

Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число  факторов, практически в этом нет  необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй - на основе матрицы показателей корреляции определяют t-статистики для параметров регрессии.

Коэффициенты  интеркорреляции (т. е. корреляции между  объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменных явно кoллинеарны, т. е. находятся между собой в линейной зависимости.

Поскольку одним из условий построения уравнения  множественной регрессии является независимость действия факторов, т.е. R_хiхj = 0, коллинеарность факторов нарушает это условие. Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.

Наибольшие  трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем два фактора связаны между собой линейной зависимостью, т. е. имеет место совокупное воздействие факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой, и нельзя оценить воздействие каждого фактора в отдельности. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью метода наименьших квадратов (МНК).

Если  рассматривается регрессия , то для расчета параметров, применяя МНК, предполагается равенство

S_y = S_факт + S_ε

где S_y - общая сумма квадратов отклонений

S_факт - факторная (объясненная) сумма квадратовотклонений

S_ε - остаточная сумма квадратов отклонений

В свою очередь, при независимости факторов друг от друга выполнимо равенство

S_факт = S_x + S_z + S_v

где S_x S_z S_v - суммы квадратов отклонений, обусловленные влиянием

соответствующих факторов.

Если  же факторы интеркоррелированы, то данное равенство нарушается.

Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий:

• затрудняется интерпретация параметров множественной  регрессии как характеристик действия факторов в «чистом» виде, ибо факторы коррелированы; параметры линейной регрессии теряют экономический смысл;

• оценки параметров ненадежны, обнаруживают большие  стандартные ошибки и меняются с изменением объема наблюдений (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогноза.

Для оценки мультиколлинеарности факторов может  использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Если  бы факторы не коррелировали между  собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы r_хiхj (х_i ≠  х_j) были бы равны нулю. Так, для включающего три объясняющих переменных уравнения

 

матрица коэффициентов  корреляции между факторами имела  бы определитель, равный единице.

 

так как     _{и   .}

Если  же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны единице, то определитель такой матрицы равен нулю:

 

Чем ближе  к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И, наоборот, чем ближе к единице определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.

Оценка значимости мультиколлинеарности факторов может  быть проведена методом испытания гипотезы о независимости переменных . Доказано,   что   величина имеет приближенное распределение степенями свободы. Если фактическое значение превосходит табличное (критическое) _факт > _{табл(df,o)}, то гипотеза Н₀ отклоняется. Это означает, что , недиагональные ненулевые коэффициенты корреляции указывают на коллинеарность факторов. Мультиколлинеарность считается доказанной.

Через коэффициенты множественной детерминации можно  найти переменные, ответственные за мультиколлинеарность факторов. Для этого в качестве зависимой переменной рассматривается каждый из факторов. Чем ближе значение коэффициента множественной детерминации к единице, тем сильнее проявляется мультиколлинеарность факторов. Сравнивая между собой коэффициенты множественной детерминации факторов

(R²_x1|x2x3…xp; R²_x2|x1x3…xp и т.п.)

можно выделить переменные, ответственные за мультиколлинеарность, следовательно, можно решать проблему отбора факторов, оставляя в уравнении факторы с минимальной величиной коэффициента множественной детерминации.

Существует  ряд подходов преодоления сильной  межфакторной корреляции. Самый простой путь устранения мультиколлинеарности состоит в исключении из модели одного или нескольких факторов. Другой подход связан с преобразованием факторов, при котором уменьшается корреляция между ними. Например, при построении модели на основе рядов динамики переходят от первоначальных данных к первым разностям уровней Δt = y_t – y_t-1, чтобы исключить влияние тенденции, или используются такие методы, которые сводят к нулю межфакторную корреляцию, т. е. переходят от исходных переменных к их линейным комбинациям, не коррелированных друг с другом (метод главных компонент).

Одним из путей учета внутренней корреляции факторов является переход к совмещенным  уравнениям регрессии, т. е. к уравнениям, которые отражают не только влияние факторов, но и их взаимодействие. Так, если у = f(x₁,x₂,x₃), то возможно построение следующего совмещенного уравнения:

 

 

Рассматриваемое уравнение включает взаимодействие первого порядка (взаимодействие двух факторов). Возможно включение в модель и взаимодействий более высокого порядка, если будет доказана их статистическая значимость по F-критерию Фишера, например, - взаимодействие второго порядка и т. д. Как правило, взаимодействия третьего и более высоких порядков оказываются статистически незначимыми, совмещенные уравнения регрессии ограничиваются взаимодействиями первого и второго порядков. Но и эти взаимодействия могут оказаться несущественными, поэтому нецелесообразно полное включение в модель взаимодействий всех факторов и всех порядков. Так, если анализ совмещенного уравнения показал значимость только взаимодействия факторов х₁ и x₃, то уравнение будет иметь вид:

 

Взаимодействие  факторов х₁ и х₃ означает, что на разных уровнях фактора х₃ влияние фактора х₁ на у будет неодинаково, т. е. оно зависит от значений фактора x₃. На рис. 1 взаимодействие факторов представляется непараллельными линиями связи с результатом у. И, наоборот, параллельные линии влияния фактора х₁ на у при разных уровнях фактора х₃ означают отсутствие взаимодействия факторов х₁ и х_3.