Метод Наименьших Квадратов (МНК) д ля нахождения коэффициентов уравнения регрессии

Метод Наименьших Квадратов (МНК) для нахождения

коэффициентов уравнения регрессии.

Метод Наименьших Квадратов

Пусть у нас есть набор данных вида (xi, yi), для i=1, 2,.., n. Данные можно изобразить на графике точками (xi, yi).

x

y

xi

yi

(x1, y1)

(x2, y2)

(xi, yi)

Регрессия – функция, описывающая среднюю зависимость между исходными данными. Пусть мы ищем уравнение регрессии y = f(x)


линия регрессии y = f(x)

x

y


отклонение |yi - f(xi)|

x

y

Регрессия – функция, описывающая среднюю зависимость между исходными данными. Пусть мы ищем уравнение регрессии y = f(x)

Тогда отклонение для точки (xi,yi) будет равно yi - f(xi).



Оценка параметров уравнений регрессии осуществляется методом наименьших квадратов (МНК).


x

y



Оценка параметров уравнений регрессии осуществляется методом наименьших квадратов (МНК).

Основной принцип МНК рассмотрим на примере:

Две величины (два показателя) x и y взамосвязаны между собой, причем y находится в некоторой зависимости от x. Следовательно y будет зависимой (результативной), а x - независимой (факторной) величинами.


x

y



Сущность метода наименьших квадратов заключается в нахождении параметров модели (a, b), при которых минимизируется сумма квадратов отклонений эмпирических значений результативного признака от теоретических, полученных по выбранному уравнению регрессии:

отклонение |yt - f(xt)|

x

y





x

y

То есть S = Σ(yi - f(xi))2 min


Поэтому он и называется методом наименьших квадратов.




x

y

То есть S = Σ(yi - f(xi))2 min

Для линейной зависимости (y = a + bx): S = Σ(yi - a - bxi)2 min;


Поэтому он и называется методом наименьших квадратов.


Распишем S:

S = Σ(a2 + b2xi2 + yi

2 + 2*abxi – 2*bxiyi – 2*ayi) =

= a2*n + b2(Σxi2) + (Σyi

2) + 2*ab(Σxi) - 2*b(Σxiyi) - 2*a(Σyi);

(n)*a2 + (2*b(Σxi) - 2*(Σyi))*a + (b2(Σxi2) + (Σyi

2) - 2*b(Σxiyi) - 2*a(Σyi));



Распишем S:

S = Σ(a2 + b2xi2 + yi

2 + 2*abxi – 2*bxiyi – 2*ayi) =

= a2*n + b2(Σxi2) + (Σyi



2) - 2*b(Σxiyi) - 2*a(Σyi));

Теперь, рассматривая S как функцию от одной переменной - S(a), находим, что это парабола с ветвями, направленными вверх.


a

S

min


Распишем S:

S = Σ(a2 + b2xi2 + yi

2 + 2*abxi – 2*bxiyi – 2*ayi) =

= a2*n + b2(Σxi2) + (Σyi



2) - 2*b(Σxiyi) - 2*a(Σyi));

Теперь, рассматривая S как функцию от одной переменной - S(a), находим, что это парабола с ветвями, направленными вверх, у такой параболы минимум будет соответствовать нулевой производной.

Минимизируя функцию S(a), находим искомый коэффициент a.

Аналогично ищем коэффициент b.

Минимум функции будет достигнут при и

Где - частная производная функции S по переменной a.

0a

S0

b

S


a

S

min

a

S


n

iii ybxaS

1

2

;0

;0

b

Sa

S

Необходимо вычислить эти производные:

n

i

ii

n

iii

a

ybxa

a

ybxa

a

S

1

21

2

Известно, что производная суммы слагаемых равна сумме производных этих слагаемых:


n

iii ybxaS

1

2

;0

;0

b

Sa

S


n

i

ii

n

iii

a

ybxa

a

ybxa

a

S

1

21

2


2ii ybxa является сложной функцией вида f(g(x)), где f(t) = t2.

Правило нахождения производных от сложных функций:

gf

x

xgf;

xg


n

iii ybxaS

1

2

;0

;0

b

Sa

S


n

i

ii

n

iii

a

ybxa

a

ybxa

a

S

1

21

2


2ii ybxa является сложной функцией вида f(g(x)), где f(t) = t2.

Правило нахождения производных от сложных функций:

;2 g gx

xg

2

gg

g

fxg

Применим правило для f(t) = t2:

gf

x

xgf;

xg


a

ybxa

a

ybxa

a

S iiii22

;0

;0

b

Sa

S

iiii

ii ybxaa

ybxaybxa 22

Вычислим эти производные как производные от сложных функций:

1.


a

ybxa

a

ybxa

a

S iiii22

iiiii

ii xybxab

ybxaybxa 22

b

ybxa

b

ybxa

b

S iiii22

;0

;0

b

Sa

S

iiii

ii ybxaa

ybxaybxa 22


1.

2.


a

ybxa

a

ybxa

a

S iiii22

iiiii

ii xybxab

ybxaybxa 22

;02

;02

xybxabS

ybxaa

S

b

ybxa

b

ybxa

b

S iiii22

;0

;0

b

Sa

S

iiii

ii ybxaa

ybxaybxa 22


Подставим в систему:

1.

2.

Сократим постоянный множитель 2.

;0

;0

xybxa

ybxa


;0

;0

xybxa

ybxa


;0

;02 xaxyxb

axby

Раскроем скобки.

;0

;0

xybxa

ybxa



Заметим, что Σ(a) = an, так как в сумме всего n слагаемых.

;0

;0

xybxa

ybxa

;0

;02 xaxyxb

axby




Перенесем выражения, содержащие y, в правую сторону:

;

;2 xy

y

xb

xb

xa

an

;0

;0

xybxa

ybxa

;0

;02 xaxyxb

axby




Перенесем выражения, содержащие y, в правую сторону:

;

;2 xy

y

xb

xb

xa

an

Теперь выведем эту же систему матричным способом:

;0

;0

xybxa

ybxa

;0

;02 xaxyxb

axby

Эта система называется системой нормальных уравнений

Матричный вид записи



У нас есть набор данных, состоящий из n точек (xi, yi), мы стремимся подобрать коэффициенты a, b таким образом, чтобы функция регрессии проходила через все эти точки.

Для каждого xi значение функции регрессии должно совпадать со значением yi.


;

;

;

22

11

nn bxay

bxay

bxay

У нас есть набор данных, состоящий из n точек (xi, yi), мы стремимся подобрать коэффициенты a, b таким образом, чтобы функция регрессии проходила через все эти точки.

Для каждого xi значение функции регрессии должно совпадать со значением yi.

То есть мы стремимся выполнить систему из n уравнений:

Это система из n линейных уравнений с двумя неизвестными переменными. Для того, чтобы удовлетворить всем уравнениям одновременно, необходимо перейти к системе более простого вида.


;

;

;

22

11

nn bxay

bxay

bxay

1. Система уравнений:


;

;

;

22

11

nn bxay

bxay

bxay

1. Система уравнений: 2. Представим ее в матричном виде:

nn bxa

bxa

bxa

y

y

y

2

1

2

1


;

;

;

22

11

nn bxay

bxay

bxay


nn bxa

bxa

bxa

y

y

y

2

1

2

1

3. Обозначим левую матрицу через Y:

ny

y

y

2

1

Y


;

;

;

22

11

nn bxay

bxay

bxay


nn bxa

bxa

bxa

y

y

y

2

1

2

1

3. Обозначим левую матрицу через Y:

nbxa

bxa

bxa

2

1

Y

ny

y

y

2

1

Y

4. Тогда уравнение запишется в виде:


1. Уравнение в матричном виде:

nbxa

bxa

bxa

2

1

Y


2. Правую часть можно представить в виде произведения двух матриц:

1. Уравнение в матричном виде:

nbxa

bxa

bxa

2

1

Y

b

a

x

x

x

bxa

bxa

bxa

nn 1

1

1

2

1

2

1

Y


b

a

x

x

x

bxa

bxa

bxa

nn 1

1

1

2

1

2

1

Y

Произведение двух матриц возможно только тогда, когда количество столбцов в первой матрице совпадает с количеством строк во второй.

2

2

Правило умножения матриц: строка умножается на столбец


b

a

x

x

x

bxa

bxa

bxa

nn 1

1

1

2

1

2

1

Y


При умножении мы получаем матрицу с количеством строк, равным количеству строк в первой матрице, и количеством столбцов, равным количеству столбцов во второй.

Для простого случая, как у нас, мы получим матрицу с 1столбцом и n строками.

1

2

21

nПравило умножения матриц: строка умножается на столбец


b

a

x

x

x

bxa

bxa

bxa

nn 1

1

1

2

1

2

1

Y



Для простого случая, как у нас, мы получим матрицу с 1 столбцом и n строками.

Каждая ячейка i-ой строки j-го столбца результирующей матрицы вычисляется как произведение i-ой строки первой матрицы на j-ый столбец второй матрицы.



b

a

x

x

x

bxa

bxa

bxa

nn 1

1

1

2

1

2

1

Y





Под произведением строки на столбец понимается сумма произведений соответствующих ячеек. Пусть ячейка первой матрицы находится в i-ой строке и k-ом столбце, ей соответствует ячейка второй матрицы в k-ой строке и j-ом столбце.

111 bxabxa



b

a

x

x

x

bxa

bxa

bxa

nn 1

1

1

2

1

2

1

Y


При умножении мы получаем матрицу с количеством строк равным количеству строк в первой матрице, и количеством столбцов равным количеству столбцов во второй.





111 bxabxa

221 bxabxa 1


b

a

x

x

x

bxa

bxa

bxa

nn 1

1

1

2

1

2

1

Y


При умножении мы получаем матрицу с количеством строк равным количеству строк в первой матрице, и количеством столбцов равным количеству столбцов во второй.




111 bxabxa

221 bxabxa

nn bxabxa 1



b

a

x

x

x

n1

1

1

2

1

Y


b

aA

Обозначим матрицы именами Z и A:

b

a

x

x

x

n1

1

1

2

1

Y

nx

x

x

1

1

1

2

1

Z


b

aA

Обозначим матрицы именами Z и A:

AZY Система уравнений в матричном виде представляется:

b

a

x

x

x

n1

1

1

2

1

Y

nx

x

x

1

1

1

2

1

Z


AZY


Умножим левую и правую части уравнения на ZT слева:

AZZYZ TT

AZY



AZZYZ TT Где ZT – транспонированная матрица (матрица полученная из матрицы Z, зеркальным отражением относительно диагонали, строки меняются на столбцы, а столбцы на строки).

nxxx

21

111TZ

AZY

nx

x

x

1

1

1

2

1

Z



nxxx

21

111TZ

AZY

nx

x

x

1

1

1

2

1

Z




nxxx

21

111TZ

AZY

nx

x

x

1

1

1

2

1

Z




nxxx

21

111TZ

AZY

nx

x

x

1

1

1

2

1

Z




nxxx

21

111TZ

AZY

nx

x

x

1

1

1

2

1

Z




nxxx

21

111TZ

AZY

nx

x

x

1

1

1

2

1

Z



AZZYZ TT


Вычислим произведение матриц в правой части:

22

1

21

1

1

1

111

xx

xn

x

x

x

xxx

n

n

ZZT

22xb

xb

xa

an

b

a

xx

xnAZZT

AZZYZ TT


AZZYZ TT


AZZYZ TT

Вычислим произведение матриц в левой части:

nxxx

21

111TZ

xy

y

y

y

y

xxx

n

n 2

1

21

111YZT


xy

y

xb

xb

xa

an2

Подставим найденные левую и правую части:

AZZYZ TT


xy

y

xb

xb

xa

an2

Подставим найденные левую и правую части:

AZZYZ TT

;

;2 xy

y

xb

xb

xa

an

Получили систему нормальных уравнений:


;

;2 xy

y

xb

xb

xa

an

Это система из 2-х линейных уравнений с 2-мя неизвестными (a и b), следовательно она имеет точное решение.


;

;2 xy

y

xb

xb

xa

an

Это система из 2-х линейных уравнений с 2-мя неизвестными (a и b), следовательно она имеет точное решение.По теореме Крамера решением будет:

ba ba ,

;2

x

x

x

n

;2

x

x

xy

ya

;

xy

y

x

nb

Где равна определителю матрицы, составленной из коэффициентов при неизвестных.

a равна определителю такой же матрицы, первый столбец которой заменен значениями, стоящими справа от знака равенства (столбец свободных членов).

Соответственно, b равна определителю такой же матрицы, второй столбец которой заменен значениями, стоящими справа от знака равенства (столбец свободных членов).


;

;2 xy

y

xb

xb

xa

an

Это система из 2-ух линейных уравнений с 2-мя неизвестными (a и b), следовательно она имеет точное решение.По теореме Крамера решением будет:

ba ba ,

;2

x

x

x

n

;2

x

x

xy

ya

;

xy

y

x

nb





;

;2 xy

y

xb

xb

xa

an

Это система из 2-ух линейных уравнений с 2-мя неизвестными (a и b), следовательно она имеет точное решение.По теореме Крамера решением будет:

ba ba ,

;2

x

x

x

n

;2

x

x

xy

ya

;

xy

y

x

nb





;2 xyxbxa

;yxban

Это система из 2-х линейных уравнений с 2-мя неизвестными (a и b), следовательно она имеет точное решение.По теореме Крамера решением будет:

ba ba ,

;2

x

x

x

n Где равна определителю матрицы, составленной из коэффициентов при неизвестных.



;2

x

x

xy

ya

;

xy

y

x

nb


;CBDAD

B

C

A

Определитель матрицы 2-го порядка (2x2) вычисляется по формуле:


2

;

22 xxnx

x

x

n

;2

2 xxyxyx

x

xy

ya

; yxxyn

xy

y

x

nb

;CBDAD

B

C

A

Определитель матрицы 2-го порядка (2x2) вычисляется по формуле:

Вычислим , a и b :


ba ,

Теперь мы знаем , a и b .Остается только вычислить

коэффициенты a и b по формулам:

a b

yxxynb

22 xxn

2 xxyxya =

= 22 xxn


ba ,



a b

yxxynb

22 xxn

2 xxyxya =

= 22 xxn

И подставить их в искомое уравнение регрессии:

;bxay


ba ,



a b

yxxynb

22 xxn

2 xxyxya =

= 22 xxn


;bxay

Получившаяся функция регрессии описывает среднюю зависимость между исходными данными (xi, yi), i=1..n;


ba ,



a b

yxxynb

22 xxn

2 xxyxya =

= 22 xxn


;bxay

Получившаяся функция регрессии описывает среднюю зависимость между исходными данными (xi, yi), i=1..n;

a b, - это оценки, т.е. приблизительные значения a, b. Их истинные значения неизвестны.

СПАСИБО ЗА ВНИМАНИЕ

Documents

Метод Наименьших Квадратов (МНК) д ля нахождения коэффициентов уравнения регрессии