Метод наименьших квадратов

Введение

1. История

2. Постановка задачи

3. Свойства оценок на основе  МНК

4. Взвешенный метод наименьших  квадратов

5. Системы одновременных уравнений

6. Нелинейная регрессия

7. Авторегрессионное преобразование

8. Применение МНК в экономике

Заключение

Список  литературы

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение

Метод наименьших квадратов -- один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.

Метод наименьших квадратов применяется  также для приближённого представления  заданной функции другими (более  простыми) функциями и часто оказывается  полезным при обработке наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина  отрезка или угол, то, для увеличения точности, измерение производится много  раз, и за окончательный результат  берут арифметическое среднее из всех отдельных измерений. Это правило  арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов  уклонений отдельных измерений  от арифметической середины будет меньше, чем сумма квадратов уклонений  отдельных измерений от какой  бы то ни было другой величины. Само правило  арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

Актуальность  данной темы и определила тему работы.

Целью работы является рассмотрение методики классического метода наименьших квадратов.

Для достижения поставленной цели необходимо решить следующие задачи:

1.История

2.Постановка  задачи

3.Свойства  оценок на основе МНК

4.Парная  линейная регрессия. Метод наименьших  квадратов

5.Взвешенный  метод наименьших квадратов

6.Системы  одновременных уравнений

7.Нелинейная  регрессия

8.Авторегрессионное  преобразование

9.Применение  МНК в экономике

квадрат регрессионный линейный уравнение

1. История

Метод наименьших квадратов -- один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.

Метод наименьших квадратов применяется  также для приближённого представления  заданной функции другими (более  простыми) функциями и часто оказывается  полезным при обработке наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина  прямой или угол, то, для увеличения точности, измерение производится много  раз, и за окончательный результат  берут арифметическое среднее из всех отдельных измерений. Это правило  арифметической середины основывается на соображениях теории вероятности; легко  показать, что сумма квадратов  уклонений отдельных измерений  от арифметической середины будет меньше, чем сумма квадратов уклонений  отдельных измерений от какой  бы то ни было другой величины. Само правило  арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

Большие затруднения представляются при  определении из наблюдений величин, которые не могут быть измерены непосредственно. Если, например, желают определить элементы орбиты планеты или кометы, то светила  эти наблюдаются несколько раз, и в результате получают лишь координаты их (склонение и прямое восхождение) в известные времена; самые же элементы выводятся затем решением уравнений, связывающих наблюдаемые  координаты с элементами орбиты планеты  или кометы. При этом, если бы число уравнений равнялось числу неизвестных, то для каждой неизвестной получилась бы одна определённая величина; если же число уравнений больше числа неизвестных, то, вследствие ошибок наблюдений, результаты решений отдельных групп этих уравнений в различных сочетаниях оказываются не совсем согласными между собой.До начала XIX в. учёные не имели опредёленных правил для решения системы уравнений, в которой число неизвестных менее числа уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Лежандру (1805--06) и Гауссу (1794--95) принадлежит первое применение к решению указанной системы уравнений теории вероятности, исходя из начал, аналогичных с началом арифметической середины, уже издавна и, так сказать, бессознательно применяемых к выводам результатов в простейшем случае многократных измерений. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но даёт зато вероятнейшие значения. Этот способ распространён и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена и др. и получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков, после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть даёт величины, по которым судят о степени точности выводов.

2. Постановка задачи

Задача  метода наименьших квадратов состоит  в выборе вектора , минимизирующего ошибку . Эта ошибка есть расстояние от вектора до вектора . Вектор лежит в простанстве столбцов матрицы , так как есть линейная комбинация столбцов этой матрицы с коэффициентами . Отыскание решения по методу наименьших квадратов эквивалентно задаче отыскания такой точки , которая лежит ближе всего к и находится при этом в пространстве столбцов матрицы . Таким образом, вектор должен быть проекцией на пространство столбцов и вектор невязки должен быть ортогонален этому пространству. Ортогональность состоит в том, что каждый вектор в пространстве столбцов есть линейная комбинация столбцов с некоторыми коэффициентами , то есть это вектор . Для всех в пространстве , эти векторы должны быть перпендикулярны невязке :

(1)

Так как это равенство должно быть справедливо для произвольного  вектора , то

(2)

решение по методу наименьших квадратов несовместной системы , состоящей из уравнений с неизвестными, есть уравнение

(3)

которое называется нормальным уравнением. Если столбцы матрицы линейно независимы, то матрица обратима и единственное решение

(4)

Проекция  вектора на пространство столбцов матрицы  имеет вид

(5)

Матрица называется матрицей проектирования вектора  на пространство столбцов матрицы . Эта матрица имеет два основных свойства: она идемпотентна, , и симметрична, . Обратное также верно: матрица, обладающая этими двумя свойствами есть матрица проектирования на свое пространство столбцов.

3. Свойства оценок на основе  МНК

Возможны  разные виды уравнений множественной  регрессии: линейные и нелинейные.

Ввиду четкой интерпретации параметров наиболее широко используется линейная функция. В линейной множественной регрессии  параметры при называются коэффициентами "чистой" регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.

Рассмотрим  линейную модель множественной регрессии

.(6)

Классический  подход к оцениванию параметров линейной модели множественной регрессии  основан на методе наименьших квадратов (МНК). МНК позволяет получить такие  оценки параметров, при которых сумма  квадратов отклонений фактических  значений результативного признака от расчетных минимальна:

.(7)

Как известно из курса математического  анализа, для того чтобы найти  экстремум функции нескольких переменных, надо вычислить частные производные  первого порядка по каждому из параметров и приравнять их к нулю.

Имеем функцию аргумента:

.

Находим частные производные первого  порядка:

После элементарных преобразований приходим к системе линейных нормальных уравнений  для нахождения параметров линейного  уравнения множественной регрессии (6):

(8)

Для двухфакторной модели данная система  будет иметь вид:

Метод наименьших квадратов применим и  к уравнению множественной регрессии  в стандартизированном масштабе:

(9)

где - стандартизированные переменные: , , для которых среднее значение равно нулю: , а среднее квадратическое отклонение равно единице: ; - стандартизированные коэффициенты регрессии. Стандартизованные коэффициенты регрессии показывают, на сколько единиц изменится в среднем результат, если соответствующий фактор изменится на одну единицу при неизменном среднем уровне других факторов. В силу того, что все переменные заданы как центрированные и нормированные, стандартизованные коэффициенты регрессии можно сравнивать между собой. Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов "чистой" регрессии, которые несравнимы между собой. Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений вида

(10)

где и - коэффициенты парной и межфакторной корреляции.

Коэффициенты "чистой" регрессии связаны  со стандартизованными коэффициентами регрессии следующим образом:

.(11)

Поэтому можно переходить от уравнения регрессии  в стандартизованном масштабе (2.4) к уравнению регрессии в натуральном  масштабе переменных (2.1), при этом параметр определяется как

.

Рассмотренный смысл стандартизованных коэффициентов  регрессии позволяет их использовать при отсеве факторов - из модели исключаются  факторы с наименьшим значением .

На  основе линейного уравнения множественной  регрессии

(12)

могут быть найдены частные уравнения  регрессии:

(13)

т.е. уравнения регрессии, которые связывают  результативный признак с соответствующим  фактором при закреплении остальных  факторов на среднем уровне. В развернутом  виде систему (2.8) можно переписать в  виде:

При подстановке в эти уравнения  средних значений соответствующих  факторов они принимают вид парных уравнений линейной регрессии, т.е. имеем

(14)

В отличие от парной регрессии частные  уравнения регрессии характеризуют  изолированное влияние фактора  на результат, ибо другие факторы  закреплены на неизменном уровне. Эффекты  влияния других факторов присоединены в них к свободному члену уравнения  множественной регрессии. Это позволяет  на основе частных уравнений регрессии  определять частные коэффициенты эластичности:

,(15)

где - коэффициент регрессии для фактора  в уравнении множественной регрессии, - частное уравнение регрессии.

Наряду  с частными коэффициентами эластичности могут быть найдены средние по совокупности показатели эластичности:

,(15)

которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат

Рис.1 Парная линейная регрессия. Метод наименьших квадратов

На  рисунке изображены три ситуации:

* на графике (а) взаимосвязь  х и у близка к линейной; прямая линия (1) здесь близка  к точкам наблюдений, и последние отклоняются от нее лишь в результате сравнительно небольших случайных воздействий;

* на графике (b) реальная взаимосвязь  величин х и у описывается нелинейной функцией (2), и какую бы мы ни провели прямую линию (например, 1), отклонения точек наблюдений от нее будут существенными и неслучайными;

* на графике (с) явная взаимосвязь  между переменными х и у отсутствует; какую бы мы ни выбрали формулу связи, результаты ее параметризации будут здесь неудачными. В частности, прямые линии 1 и 2, проведенные через "центр" "облака" точек наблюдений и имеющие противоположный наклон, одинаково плохи для того, чтобы делать выводы об ожидаемых значениях переменной у по значениям переменной х.

Начальным пунктом эконометрического анализа  зависимостей обычно является оценка линейной зависимости переменных. Если имеется некоторое "облако" точек  наблюдений, через него всегда можно  попытаться провести такую прямую линию, которая является наилучшей в  определенном смысле среди всех прямых линий, то есть "ближайшей" к точкам наблюдений по их совокупности. Для  этого мы вначале должны определить понятие близости прямой к некоторому множеству точек на плоскости; меры такой близости могут быть различными. Однако любая разумная мера должна быть, очевидно, связана с расстояниями от точек наблюдений до рассматриваемой  прямой линии (задаваемой уравнением у= а + bх).