Quadrados Mínimos

Quadrados Mínimos

Situação

Em diversas ciências com uma dimensão experimental, é necessário modelizar os fenômenos a partir de tabelas de dados experimentais.

A modelização consista em inúmeros casos em procurar a função que expressa melhor a relação entre os dados.

Problema

O objetivo do método de mínimos quadrados é determinar uma função, a partir de combinação linear de funções simples, que aproxima um conjunto de pontos.

Existem métodos polinomiais (aproximação com polinômio), mas elas não sempre fornecem aproximações aceitáveis. O método de mínimos quadrados permite estender as aproximações com funções não polinomiais.

Exemplo 1

Esse conjunto de pontos aparece como uma parabola.

Exemplo 2

Caso discreto

A partir de uma tabela de valores (discretas), que representam vários pontos de uma função teórica (f(x)), tentamos determinar uma função (x) combinação linear de funções gi(x) ((x)=1g1(x)+...+ngn(x)) de tal forma que o desvio de - f seja mínimo para os valores da tabela.

O que significa mínimo nesse caso?

Caso contínuo

No caso contínuo, dada uma função f(x) contínua no intervalo [a,b] e escolhidas as funções g1(x), .., gn(x), o objetivo é determinar constantes 1, ..., n de tal forma que (x)=1g1(x)+...+ngn(x) se aproxima ao maximo de f(x) no intervalo [a,b].

O que significa aproximar nesse caso?

Método dos quadrados mínimos

Caso discreto Considerando um conjunto de valores {(x1,f(x1)), ...,

{(xm,f(xm))} e n (com nm) funções gn(x), o objetivo é encontrar um conjunto de coeficientes 1, .., n de tal forma que a função (x)=1g1(x)+..+ngn(x) se aproxima ao máximo de f(x).

O criterio para decidir da aproximação é minimizar a soma dos quadrados da diferencia entre as duas funções nos xi ou seja minimizar:

2

1

( ( ) ( ))m

i ii

f x x

Método dos quadrados mínimos

Caso discreto Minimizar é minimizar a função:

Para minimizar essa função F, devemos encontrar os pontos críticos da função, ou seja os valores (1,...,n) tal que:

2

1

( ( ) ( ))n

i ii

f x x

2

1 1 11

( ,..., ) ( ( ) ( ) ... ( ))m

n i i n ni

F f x g x g x

1( ,..., ) 0, 1,2,...,ni

Fpara i n

Método dos quadrados mínimos

Caso discretoElemento de calculo:

Para derivar, considerando os termos com i:2

,1

1

( ( ) ( )), ( ) ( ) ( )

m

i j j i k n k ji

i i k k ikj

A x g xcom A x f x g x

21 1

11

( ( ) ( ) ... ( ))( ,..., )

m

i i n ni

nj j

f x g x g xF

Método dos quadrados mínimos

Caso discretoElemento de calculo:

2

1

1

1 11

1 11 1 1

( ( ) ( ))2 ( )( ( ) ( ))

2 ( ) ( ) ( ) ( ) ... ( ) ( )

2 ( ) ( ) ( ) ( ) ... ( ) ( )

m

i j j i mi

j i i j j iij

m

j i i j i i n j i n ii

m m m

j i i j i i n j i n ii i i

A x g xg x A x g x

g x f x g x g x g x g x

g x f x g x g x g x g x

Método dos quadrados mínimos

Caso discreto Com a condição:

obtemos assim o sistema a resolver:

1 1 1 1 11 1 1

1 2 1 2 21 1 1

1 11 1 1

[ ( ) ( )] ... [ ( ) ( )] ( ) ( )

[ ( ) ( )] ... [ ( ) ( )] ( ) ( )

....

[ ( ) ( )] ... [ ( ) ( )] ( ) ( )

m m m

k k n k k n k kk k k

m m m

k k n k k n k kk k k

m m m

k n k n k n k n k n kk k k

g x g x g x g x f x g x

g x g x g x g x f x g x

g x g x g x g x f x g x

1( ,..., ) 0, 1,2,...,ni

Fpara i n

Método dos quadrados mínimos

Caso discreto As equações desse sistema são chamadas

equações normais. Ele pode ser escrito:

Onde e A matriz desse sistema é simétrica.

11 1 12 2 1 1

21 1 22 2 2 2

1 1 2 2

....

....

............................................

....

n n

n n

n n nn n n

a x a x a x b

a x a x a x b

a x a x a x b

1

( ) ( )n

ij j k i k jik

a g x g x a

1

( ) ( )n

i k i kk

b f x g x

Método dos quadrados mínimos

Caso discreto Considerando os vetores e

e o produto escalar de dois vetores:

Os coeficientes aij podem ser escritos:

e bi:

Demontra-se que se as funções g1(x),...,gn(x) forem tais que os vetores: sejam linearmente independentes, o sistema admite uma solução única. Demonstra-se também que esta solução é o ponto em que a função F atinge seu valor mínimo.

1

,m

i iik

x y x y

i i ig (g (x1),...,g (xm))

1 mf (f(x ),...,f(x ))

ij i ja = g ,gi i= f,gb

1,..., ng g

Método dos quadrados mínimos

Caso discreto Se os vetores tiverem a propriedade suplementar

seguinte: , nesse caso os vetores

são ortogonais entre si e a matriz A do sistema é diagonal.

Exemplo de funções ortogonais: seria de Fourier (aproximação de funções periódicas), polinômios de Legendre, Gram, Chebyshev.

0,, :

0,i j

i jg g

i j

Método dos quadrados mínimos

Caso contínuo Para aproximar uma função em um intervalo

[a,b] com uma combinação linear de funções (g1,...,gn) de coeficientes (1,...,n), o método de quadrados mínimos propõe de minimizar a área entre as curvas das duas funções, ou seja minimizar: 2( ( ) ( ))

b

a

f x x dx

Método dos quadrados mínimos

Caso contínuo Aplicando o mesmo princípio que no caso

discreto, trata-se de minimizar a função:

Obtemos um sistema de equações lineares:

A=b, onde A=(aij), =(1,...,n) e b=(b1,...,bn).

aij=<gi,gj> e bi=<f,gi> com

21( ,..., ) ( ( ) ( ))

b

n

a

F f x x dx

, ( ) ( )a

i j i j

a

g g g x g x dx

Método dos quadrados mínimos

Caso não linear Existem casos que precisam ser aproximados por

funções que não são resultados de combinação linear de funções simples.

Por exemplo, podemos precisar de aproximar uma função com: 2

1xe

Método dos quadrados mínimos

Caso não linear Para resolver o caso não linear, é necessário

linear a função escolhida para a aproximação. No caso de , se queremos aproximar f(x)

com essa função, podemos tentar aproximar ln(f(x)) com , ou seja , que é um caso linear.

É importante notar que os parâmetros obtidos não são ótimos em relação com o critério de quadrados mínimos.

21

xe

21ln( )xe

1 2ln( ) x

Método dos quadrados mínimos

Teste de alinhamento Uma vez a função não linear em 1,..,n

escolhida, para testar se ela é um bom escolhe podemos:Linearizar essa função,Fazer o diagramo de dispersão dos novos dadosE observar se os pontos do diagramo estiverem

alinhados.

Exercício

A tabela abaixo mostra as alturas e pesos de uma amostra de nove homens entre as idades de 25 e 29 anos, extraída ao acaso entre funcionários de uma grande indústria:

a) Faça o diagrama de dispersão dosdados e observer que parece existir uma relação linear entre a altura e o peso.

b) Ajuste a reta que descreva o comportamento do peso em função da altura, isto é peso=f(altura), e ajuste a reta que descreva o comportamento da altura em função do peso, isto é altura=f(peso).

c) Estime o peso de um funcionário com 175 cm de altura; e estima a altura de um funcionário com 80kg com cada uma das duas equações.

Altura 183 173 168 188 158 163 193 163 178 cm

Peso 79 69 70 81 61 63 79 71 73 kg

Solução

b) 52.7570x-20.0780 e 0.0159+0.6029

c) Com o primeiro ajuste: 1.75->72.2467 e 80kg->1.897

Com o segundo ajuste: 1.75->72.14 e 80kg->1.871

Exercício

Ajuste os dados:

a) Usando a aproximação y1/(a0+a1x). Faça o gráfico para 1/y e verifique que esta aproximação é viável;

b) Idem para yabx;c) Compare os resultados

x -8 -6 -4 -2 0 2 4

y 30 10 9 6 5 4 4

Solução

y=1/(0.1958+0.0185x) y=5.5199(0.8597)x