Conf_6_slow

Métodos Numéricos para problemas sin restricciones 1-D

Optimización

Conferencia 38

Junio 2011

Conferencia 38

Consideremos el siguiente problema:

min f (x) = e3x + e2x + xlnx (1)

Calculemos la condición necesaria de 1◦ orden.

f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)

Cuanto vale x∗ =????? el calculo de x∗ es muy complejo⇒Métodos Numé-ricos

Métodos para encontrar x tal que G(x) = 0

1 Sección Dorada.

2 Bisección3 Regula falsi.

4 Newton5 Secante6 Horner7 etc...




f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)



1 Sección Dorada.






f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)



1 Sección Dorada.






f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)



1 Sección Dorada.






f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)



1 Sección Dorada.






f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)



1 Sección Dorada.






f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)



1 Sección Dorada.






f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)



1 Sección Dorada.






f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)



1 Sección Dorada.






f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)



1 Sección Dorada.






f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)



1 Sección Dorada.






f ′(x) = 3e3x + 2e2x + lnx + 1 = 0 (2)



1 Sección Dorada.



Método de Bisección

Bosquejo del algoritmo

El algoritmo de bisección usará en cada paso una sola evaluación de f ′ yreducirá el intervalo a la mitad (de ahí el nombre de bisección).Supongamosque:

1 f ′ es continua sobre el intervalo [a, b]

2 f ′(a) y f ′(b) tiene signos opuestos.

Entonces el teorema del valor medio indica que existe un x∗ ∈ [a, b] tal quef ′(x∗) = 0.Denotaremos, por [α, β] el intervalo de mínimosEn el punto medio xm = a+b

2 la derivada puede tener tres valores posibles:

f ′(xm) > 0 ⇒ [α, β] ⊂ [a, xm],

f ′(xm) < 0 ⇒ [α, β] ⊂ [xm, b],

f ′(xm) = 0 ⇒ xm ∈ [α, β].








f ′(xm) > 0 ⇒ [α, β] ⊂ [a, xm],

f ′(xm) < 0 ⇒ [α, β] ⊂ [xm, b],

f ′(xm) = 0 ⇒ xm ∈ [α, β].








f ′(xm) > 0 ⇒ [α, β] ⊂ [a, xm],

f ′(xm) < 0 ⇒ [α, β] ⊂ [xm, b],

f ′(xm) = 0 ⇒ xm ∈ [α, β].








f ′(xm) > 0 ⇒ [α, β] ⊂ [a, xm],

f ′(xm) < 0 ⇒ [α, β] ⊂ [xm, b],

f ′(xm) = 0 ⇒ xm ∈ [α, β].








f ′(xm) > 0 ⇒ [α, β] ⊂ [a, xm],

f ′(xm) < 0 ⇒ [α, β] ⊂ [xm, b],

f ′(xm) = 0 ⇒ xm ∈ [α, β].








f ′(xm) > 0 ⇒ [α, β] ⊂ [a, xm],

f ′(xm) < 0 ⇒ [α, β] ⊂ [xm, b],

f ′(xm) = 0 ⇒ xm ∈ [α, β].








f ′(xm) > 0 ⇒ [α, β] ⊂ [a, xm],

f ′(xm) < 0 ⇒ [α, β] ⊂ [xm, b],

f ′(xm) = 0 ⇒ xm ∈ [α, β].








f ′(xm) > 0 ⇒ [α, β] ⊂ [a, xm],

f ′(xm) < 0 ⇒ [α, β] ⊂ [xm, b],

f ′(xm) = 0 ⇒ xm ∈ [α, β].

ALGORITMO DE BISECCION

1 Encontrar a0, b0 en [a, b] tales que f ′(a0) < 0, f ′(b0) > 0. Si eso no es posible,el mínimo de f se encuentra en uno de los extremos a ó b. Poner k = 0.

2 Calcular el punto medio xkm = ak+bk

2 y calcular f ′(xkm).

3 Si f ′(xkm) > 0, poner ak+1 = ak, bk+1 = xk

m, e ir al paso 3),Si f ′(xk

m) < 0, poner ak+1 = xkm, bk+1 = bk, e ir al paso 3),

Si f ′(xkm) = 0, el punto xk

m es un mínimo global de f en [a, b]. Parar.

4 Poner k + 1→ k, e ir al paso 2).

Algunos Comentarios

1 Sobre la convergencia del método, tenemos la siguiente igualdad:

(bk − ak) =12k (b0 − a0)→ 0, k→ +∞.











Algunos Comentarios


(bk − ak) =12k (b0 − a0)→ 0, k→ +∞.











Algunos Comentarios


(bk − ak) =12k (b0 − a0)→ 0, k→ +∞.











Algunos Comentarios


(bk − ak) =12k (b0 − a0)→ 0, k→ +∞.











Algunos Comentarios


(bk − ak) =12k (b0 − a0)→ 0, k→ +∞.











Algunos Comentarios


(bk − ak) =12k (b0 − a0)→ 0, k→ +∞.

Ejemplo

min f (x) = e−x + x ln x− x (3)

Observemos que f ′(1) = −e−1 + ln 1 = −e−1 < 0 y f (1,5) = −e−1,5 +ln 1,5 = 0,1823 > 0

1 Calculamos el punto medio1 + 1,5

2= 1,25

2 Evaluamos f ′(1,25) = −e−1,25 + ln(1,25) = −0,06363 ∴ ∃x∗ ∈ [1,25, 1,5] tal que f ′(x∗) = 0

4 Calculemos el punto medio del nuevo intervalo1,25 + 1,5

2= 1,375

5 Evaluamos f ′(1,375) = −e−1,375 + ln(1,375) = 0,06566 ∴ ∃x∗ ∈ [1,25, 1,375] tal que f ′(x∗) = 0 y se vuelve a iterar.

Ejemplo

min f (x) = e−x + x ln x− x (3)



2= 1,25



2= 1,375


Ejemplo

min f (x) = e−x + x ln x− x (3)



2= 1,25



2= 1,375


Ejemplo

min f (x) = e−x + x ln x− x (3)



2= 1,25



2= 1,375


Ejemplo

min f (x) = e−x + x ln x− x (3)



2= 1,25



2= 1,375


Ejemplo

min f (x) = e−x + x ln x− x (3)



2= 1,25



2= 1,375


Método de Newton

Bosquejo del método

Este método, el cual es un método iterativo, es uno de los más usados yefectivos.

A diferencia del método anterior, el método de Newton no trabaja sobre unintervalo sino que basa su fórmula en un proceso iterativo.

En este método se supone f ∈ C2 y se aproxima la función por un polinomiocuadrático, utilizando el desarrollo de Taylor truncado hasta el orden 2.

Si xk ∈ [a, b] es la aproximación del paso k (o el punto inicial), el puntosiguiente xk+1, que aproxima el mínimo, se halla sumando un incremento dk apartir de xk :

xk+1 = xk + dk,

Método de Newton






xk+1 = xk + dk,

Método de Newton






xk+1 = xk + dk,

Método de Newton






xk+1 = xk + dk,

Algoritmo de Newton

dk se calcula minimizando la aproximación cuadrática de f :

f (xk + d) ≈ Pk(d) = f (xk) + f ′(xk)d +12

f ′′(xk)d2.

Suponiendo que Pk tiene mínimo, por ejemplo suponiendo que f ′′(xk) es po-sitiva, se tiene que el punto de mínimo dk debe satisfacer:

∇Pk(dk) = 0Tn = f ′(xk) + f ′′(xk)dk,

⇒ dk = −f ′(xk)

f ′′(xk),

y por lo tanto:

xk+1 = xk −f ′(xk)

f ′′(xk)(4)

Algoritmo de Newton


f (xk + d) ≈ Pk(d) = f (xk) + f ′(xk)d +12

f ′′(xk)d2.


∇Pk(dk) = 0Tn = f ′(xk) + f ′′(xk)dk,

⇒ dk = −f ′(xk)

f ′′(xk),

y por lo tanto:

xk+1 = xk −f ′(xk)

f ′′(xk)(4)

Algoritmo de Newton


f (xk + d) ≈ Pk(d) = f (xk) + f ′(xk)d +12

f ′′(xk)d2.


∇Pk(dk) = 0Tn = f ′(xk) + f ′′(xk)dk,

⇒ dk = −f ′(xk)

f ′′(xk),

y por lo tanto:

xk+1 = xk −f ′(xk)

f ′′(xk)(4)

Ejemplo

min f (x) = e−x + x ln x− x (5)

1 Observemos que:

f ′(x) = −e−x + ln x f ′′(x) = e−x +1x

2 Con esto tenemos que:

xi+1 = xi +e−xi − ln xi

e−xi + 1xi

3 Tomando x0 = 1 entonces:

x1 = x0 +e−x0 − ln x0

e−x0 + 1x0

x1 = 1 +e−1 − ln 1e−1 + 1

1

= 1,2689

Ejemplo

min f (x) = e−x + x ln x− x (5)

1 Observemos que:

f ′(x) = −e−x + ln x f ′′(x) = e−x +1x



e−xi + 1xi


x1 = x0 +e−x0 − ln x0

e−x0 + 1x0

x1 = 1 +e−1 − ln 1e−1 + 1

1

= 1,2689

Ejemplo

min f (x) = e−x + x ln x− x (5)

1 Observemos que:

f ′(x) = −e−x + ln x f ′′(x) = e−x +1x



e−xi + 1xi


x1 = x0 +e−x0 − ln x0

e−x0 + 1x0

x1 = 1 +e−1 − ln 1e−1 + 1

1

= 1,2689

continuación del ejemplo

1

x1 = x0 +e−x0 − ln x0

e−x0 + 1x0

x1 = 1 +e−1 − ln 1e−1 + 1

1

= 1,2689

2 x2 = x1 +e−x1 − ln x1

e−x1 + 1x1

= 1,3091

3 x3 = x2 +e−x2 − ln x2

e−x2 + 1x2

= 1,3098

4 Así f ′(x3) = 0,00010291 que es “bastante” cercano a 0.


1

x1 = x0 +e−x0 − ln x0

e−x0 + 1x0

x1 = 1 +e−1 − ln 1e−1 + 1

1

= 1,2689

2 x2 = x1 +e−x1 − ln x1

e−x1 + 1x1

= 1,3091

3 x3 = x2 +e−x2 − ln x2

e−x2 + 1x2

= 1,3098



1

x1 = x0 +e−x0 − ln x0

e−x0 + 1x0

x1 = 1 +e−1 − ln 1e−1 + 1

1

= 1,2689

2 x2 = x1 +e−x1 − ln x1

e−x1 + 1x1

= 1,3091

3 x3 = x2 +e−x2 − ln x2

e−x2 + 1x2

= 1,3098



1

x1 = x0 +e−x0 − ln x0

e−x0 + 1x0

x1 = 1 +e−1 − ln 1e−1 + 1

1

= 1,2689

2 x2 = x1 +e−x1 − ln x1

e−x1 + 1x1

= 1,3091

3 x3 = x2 +e−x2 − ln x2

e−x2 + 1x2

= 1,3098


Observaciones

El método de Newton cuando converge tiene tasa de convergencia cuadrática.

Cuando f ′′(x) es cercano a cero el método se vuelve inestable.

Note que el método de Newton no trabaja con intervalos donde nos asegure queencontraremos la raíz.

El método de Newton se combinan con bisección como salvaguarda paraconservar las aproximaciones {xk} en el intervalo [a, b].

Observaciones





Observaciones





Observaciones





Ejemplo

máx f (x) = xe−x + e−x (6)

1 Observemos que:f (x) = −xe−x − e−x f ′(x) = xe−x f ′′(x) = e−x − xe−x


xi+1 = xi −xi

1− xi


x1 = x0 −x0

1− x0

x1 = 2− 21− 2

= 4

Ejemplo

máx f (x) = xe−x + e−x (6)



xi+1 = xi −xi

1− xi


x1 = x0 −x0

1− x0

x1 = 2− 21− 2

= 4

Ejemplo

máx f (x) = xe−x + e−x (6)



xi+1 = xi −xi

1− xi


x1 = x0 −x0

1− x0

x1 = 2− 21− 2

= 4


1 x2 = x1 −x1

1− x1=⇒ x2 = 4− 4

1− 4=

163

= 5, 3333

2 x3 = x2 −x2

1− x2=⇒ x3 =

163−

163

1− 163

= 17, 2307

3 Así f ′(x3) = 5,6634 ∗ 10−7 que es “bastante” cercano a 0. Pero Observemos elgráfico de la función:

Figura: Gráfico de la función f (x) = −xe−x − e−x


1 x2 = x1 −x1

1− x1=⇒ x2 = 4− 4

1− 4=

163

= 5, 3333

2 x3 = x2 −x2

1− x2=⇒ x3 =

163−

163

1− 163

= 17, 2307




1 x2 = x1 −x1

1− x1=⇒ x2 = 4− 4

1− 4=

163

= 5, 3333

2 x3 = x2 −x2

1− x2=⇒ x3 =

163−

163

1− 163

= 17, 2307



ALGORITMO DE NEWTON CON BISECCIÃN


2 Calcular el incremento de Newton:

dk =−f ′(xk)

f ′′(xk)

3 Si xk + dk ∈ [ak, bk], poner xk+1 = xk + dk,

Si xk + dk /∈ [ak, bk], poner xk+1 = xkm = ak+bk

2 .

4 Si f ′(xk+1) > 0, poner ak+1 = ak, bk+1 = xkm, e ir al paso 5),

Si f ′(xk+1) < 0, poner ak+1 = xkm, bk+1 = bk, e ir al paso 5),

Si f ′(xk+1) = 0, el punto xk+1 es un mínimo global de f en [a, b]. Parar.5 Poner k + 1→ k, e ir al paso 2).




dk =−f ′(xk)

f ′′(xk)



2 .







dk =−f ′(xk)

f ′′(xk)



2 .







dk =−f ′(xk)

f ′′(xk)



2 .







dk =−f ′(xk)

f ′′(xk)



2 .




Método de la Falsa posición


En este método se supone f ∈ C1 y se trata de seguir la idea de Newton pero sinutilizar las segundas derivadas.

Se usa entonces una aproximación de ellas por diferencias finitas:

f ′′(xk+1) =f ′(xk)− f ′(xk−1)

xk − xk−1

La fórmula iterativa de falsa posición es:

xk+1 = xk − f ′(xk)

[(xk − xk−1)

f ′(xk)− f ′(xk−1)

],





f ′′(xk+1) =f ′(xk)− f ′(xk−1)

xk − xk−1


xk+1 = xk − f ′(xk)

[(xk − xk−1)

f ′(xk)− f ′(xk−1)

],





f ′′(xk+1) =f ′(xk)− f ′(xk−1)

xk − xk−1


xk+1 = xk − f ′(xk)

[(xk − xk−1)

f ′(xk)− f ′(xk−1)

],

ALGORITMO DE FALSA POSICION (REGULA FALSI)


2 Calcular el incremento de Falsa Posición:

dk = −f ′(xk)

[(xk − xk−1)

f ′(xk)− f ′(xk−1)

],



2 .







dk = −f ′(xk)

[(xk − xk−1)

f ′(xk)− f ′(xk−1)

],



2 .







dk = −f ′(xk)

[(xk − xk−1)

f ′(xk)− f ′(xk−1)

],



2 .







dk = −f ′(xk)

[(xk − xk−1)

f ′(xk)− f ′(xk−1)

],



2 .







dk = −f ′(xk)

[(xk − xk−1)

f ′(xk)− f ′(xk−1)

],



2 .




Observaciones

Al igual que Newton, Regula Falsi puede aplicarse al caso sin restricciones.

En ese caso, es necesario conocer 2 puntos para poder generar un nuevo puntoen la sucesión, pero al igual que en Newton.

La sucesión {xn} generada por el algoritmo es tal que rn = |xn − x̄| tiene orden

de convergencia p =(

1+√

52

)≈ 1,61803....

Observaciones





1+√

52

)≈ 1,61803....

Observaciones





1+√

52

)≈ 1,61803....

Documents

Conf_6_slow