Метод наименьших квадратов

Министерство образования и науки Российской Федерации

Федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

«Московский государственный университет экономики, статистики и информатики (МЭСИ)»

Пермский филиал МЭСИ

 

 

 

Специальность 080100.62                                                       Кафедра БУАиА 

 

 

 

 

Доклад

на тему: Метод наименьших квадратов  

 

 

 

 

 

 

 

Студент гр.ПР -ДЭЭ-201

ФИО: Гизатулина М.О.

Руководитель ФИО: Чирва Э.В.  

 

 

 

 

 

  

 

 

Пермь 2014 г.

СОДЕРЖАНИЕ

 

ВВЕДЕНИЕ

 

Наш мир не идеален, ни в чем нельзя быть уверенным с абсолютной точностью. Кто помнит лабораторные работы по физике, тот должен знать, что измерение какой-либо физической величины обычно проводят несколько раз при различных условиях, а найденный результат записывают в виде 20,3±2,3. Это необходимо для того, чтобы нейтрализовать погрешности приборов, трясущиеся руки экспериментатора, вспышки на солнце и так далее.

Метод наименьших квадратов (далее МНК), о котором пойдет речь в докладе, является одним из способов противостоять ошибкам измерений.

МНК является одним из наиболее разработанных и распространенных вследствие своей относительной простоты и эффективности методов оценки параметров линейных эконометрических моделей. Он не предъявляет жестких требований к закону распределения ошибок моделей. Вследствие этого оценки коэффициентов моделей, полученные на основе МНК, не зависят от фактического (или предполагаемого) закона распределения.

Цель работы - рассмотрение методики классического метода наименьших квадратов.

Для достижения поставленной цели необходимо решить следующие задачи:

• рассмотреть основную характеристику МНК;
• рассмотреть применение метода наименьших квадратов для нахождения неизвестных параметров уравнения регрессии на примере модели линейной парной регрессии.

Объектом исследования является метод наименьших квадратов. Предметом изучения является процедура оценки параметров по методу наименьших квадратов.

 

 

СОДЕРЖАНИЕ

 

Основная характеристика метода наименьших квадратов

 

Основная идея данного метода состоит в том, что в качестве критерия точности решения задачи рассматривается сумма квадратов ошибок, которую стремятся свести к минимуму. При использовании этого метода можно применять как численный, так и аналитический подход.

В частности, в качестве численной реализации метод наименьших квадратов подразумевает проведение как можно большего числа измерений неизвестной случайной величины. Причем, чем больше вычислений, тем точнее будет решение. На этом множестве вычислений (исходных данных) получают другое множество предполагаемых решений, из которого затем выбирается наилучшее. Если множество решений параметризировать, то метод наименьших квадратов сведется к поиску оптимального значения параметров. В качестве аналитического подхода к реализации МНК на множестве исходных данных (измерений) и предполагаемом множестве решений определяется некоторая функциональная зависимость (функционал), которую можно выразить формулой, получаемой в качестве некоторой гипотезы, требующей подтверждения. В этом случае метод наименьших квадратов сводится к нахождению минимума этого функционала на множестве квадратов ошибок исходных данных.

 МНК широко используется  в различных областях. Например, в теории вероятностей и математической  статистике метод используется  для определения такой характеристики  случайной величины, как среднее  квадратическое отклонение, определяющей ширину диапазона значений случайной величины. В математическом анализе и различных областях физики, использующих для вывода или подтверждения гипотез данный аппарат, МНК применяют, в частности, для оценки приближенного представления функций, определенных на числовых множествах, более простыми функциями, допускающими аналитические преобразования. Ещё одна область применения МНК – эконометрика. Здесь данный метод настолько широко используется, что для него были определены некоторые специальные модификации. Большинство задач эконометрики, так или иначе, сводится к решению систем линейных эконометрических уравнений, описывающих поведение некоторых систем - структурных моделей. Основной элемент каждой такой модели – временной ряд, представляющий собой набор некоторых характеристик, значения которых зависят как от времени, так и от ряда других факторов. При этом может наблюдаться соответствие между внутренними (эндогенными) характеристиками модели и внешними (экзогенными) характеристиками. Это соответствие выражается обычно в виде систем линейных экономических уравнений. Характерной особенностью таких систем является наличие взаимосвязей между отдельными переменными, которые с одной стороны, усложняют ее, с другой – переопределяют. Дополнительным фактором, усложняющим решение таких задач, является зависимость параметров моделей от времени. Основная цель задач эконометрики – идентификация моделей, то есть определение структурных взаимосвязей в выбранной модели, а также оценивание ряда ее параметров.

 

Метод наименьших квадратов на примере парной линейной регрессии

 

Возможны разные виды уравнений множественной регрессии:

линейные и нелинейные.

Ввиду четкой интерпретации параметров наиболее широко используется линейная функция. В линейной множественной регрессии a+++…+ параметры при x называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.

Рассмотрим линейную модель множественной регрессии:

                    y=a+++…++ε.                                                 (1)

С помощью классического подхода МНК к оцениванию параметров линейной модели множественной регрессии можно получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных ŷ минимальна:

                                                                                            (2)

Как известно из курса математического анализа, для того чтобы найти

экстремум функции нескольких переменных, надо вычислить частные производные первого порядка по каждому из параметров и приравнять их к нулю.

          Итак. Имеем функцию m +1 аргумента:

                       (3)

Находим частные производные первого порядка:

                              (4)

После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии:

               (5)

Для двухфакторной модели данная система будет иметь вид:

                                                   (6)

Метод наименьших квадратов применим и к уравнению множественной регрессии в стандартизированном масштабе:

                             (7)

где - стандартизированные переменные:  , , для которых среднее значение равно нулю: , а среднее  квадратическое отклонение равно единице: ; - стандартизированные коэффициенты регрессии.

Стандартизованные коэффициенты регрессии показывают, на сколько единиц изменится в среднем результат, если соответствующий фактор изменится на одну единицу при неизменном среднем уровне других факторов. В силу того, что все переменные заданы как центрированные и нормированные, стандартизованные коэффициенты регрессии можно сравнивать между собой. Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.

Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений вида:

                                 (8)

где - коэффициенты парной и межфакторной корреляции.

Коэффициенты «чистой» регрессии связаны со стандартизованными коэффициентами регрессии следующим образом: .

Поэтому можно переходить от уравнения регрессии в стандартизованном масштабе (7) к уравнению регрессии в натуральном масштабе переменных (1), при этом параметр определяется как  .

Рассмотренный смысл стандартизованных коэффициентов регрессии позволяет их использовать при отсеве факторов – из модели исключаются факторы с наименьшим значением .

На основе линейного уравнения множественной регрессии   y=a+++…++ε   могут быть найдены частные уравнения регрессии, т.е. уравнения регрессии, которые связывают результативный признак с соответствующим фактором при закреплении остальных факторов на среднем уровне:

                (9)

При подстановке в эти уравнения средних значений соответствующих

факторов они принимают вид парных уравнений линейной регрессии, т.е. имеем

 

где

 

В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне. Эффекты влияния других факторов присоединены в них к свободному члену уравнения множественной регрессии. Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности:

,                          (10)

где – коэффициент регрессии для фактора в уравнении множественной регрессии, – частное уравнение регрессии.

Наряду с частными коэффициентами эластичности могут быть найдены средние по совокупности показатели эластичности:

,                                                (11)

которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.

 

 

 

 

 

ИСПОЛЬЗУЕМАЯ ЛИТЕРАТУРА

 

1. Эконометрика: Учебник / Под ред. И.И. Елисеевой. – М.: Финансы и статистика, 2008
2. http://fb.ru/article/32814/gde-primenyaetsya-metod-naimenshih-kvadratov