Embed Size (px)
Citation preview
Um algoritmo sem derivadas para otimizacao restrita
Paulo Domingos Conejo Elizabeth Wegner KarasUNIOESTE - Dep. Matematica UFPR - Dep. Matematica
85819-110, Cascavel, PR 81531-990, Curitiba, [email protected] [email protected]
Jose Mario Martınez Lucas Garcia PedrosoUNICAMP - Dep. Matematica Aplicada UFPR - Dep. Matematica
13081-970, Campinas, SP 81531-990, Curitiba, [email protected] [email protected]
Resumo: Neste trabalho propomos um algoritmo de regiao de confianca para o problema deminimizacao nao linear restrita, com uso de derivadas somente das restricoes. Os modelos saoatualizados utilizando as ideias de Powell como as desenvolvidas no algoritmo BOBYQA e ossubproblemas resolvidos pelo ALGENCAN de Andreani, Birgin, Martınez e Schuverdt. Resulta-dos numericos sao apresentados.
Palavras-chave: algoritmos sem derivadas, otimizacao restrita, programacao nao linear.
1 Introducao
Metodos de regiao de confianca sao uma classe de algoritmos para resolver problemas deotimizacao nao linear. Sao baseados em modelos quadraticos ou lineares, que aproximam afuncao objetivo em uma vizinhanca de um ponto corrente. No caso em que as derivadas dafuncao objetivo nao estao disponıveis, tais modelos sao obtidos somente com informacoes dosvalores da funcao objetivo e podem ser construıdos por interpolacao.
Considere o problema de programacao nao linear
minimizar f(x)sujeita a h(x) = 0
g(x) ≤ 0,(1)
onde g : IRn −→ IRp e h : IRn −→ IRs sao continuamente diferenciaveis e f : IRn −→ IR comderivadas nao disponıveis.
Nossa proposta de algoritmo segue as ideias de Conn, Scheinberg e Toint [2], diferenciandoessencialmente na forma como os modelos sao atualizados e os subproblemas resolvidos. Foiutilizado um metodo de regiao de confianca sem derivadas, em que a funcao objetivo e aproxi-mada por modelos quadraticos a partir de interpolacao polinomial. As restricoes originais doproblema e a regiao em que se confia o modelo foram incorporadas aos subproblemas, e estesresolvidos pelo Algoritmo ALGENCAN proposto por Andreani, Birgin, Martınez e Schuverdtem [1, 7].
Para os testes computacionais foram resolvidos os mesmos problemas da colecao Hock-Schittkowski [4], tambem resolvidos pelos algoritmos apresentados em [2, 3, 5], que sao algoritmosque, como o proposto, nao fazem uso de derivadas da funcao objetivo.
127
ISSN 1984-8218
2 Descricao do algoritmo proposto
O algoritmo consiste em uma sequencia de minimizacoes aproximadas de subproblemasquadraticos restritos. O modelo quadratico na k-esima iteracao do algoritmo tem a forma
Qk(x) = gkT (x− xb) +
12
(x− xb)TGk(x− xb), (2)
onde gk ∈ IRn, Gk ∈ IRn×n e xb ∈ IRn e um vetor fixo. Dados o numero m de pontos de
interpolacao, 2n + 1 ≤ m ≤ 12
(n + 1)(n + 2) e o conjunto interpolador Y k ={y1, y2, · · · , ym
},
o modelo (2) deve satisfazer a condicao de interpolacao Qk(Y k) = f(Y k).O primeiro valor do vetor xb e ponto inicial x1 e recebe o atual iterando xk toda vez que o
algoritmo nao produz decrescimo suficiente na funcao objetivo. A utilizacao do vetor fixo xb eessencial no procedimento que permite atualizar os modelos quadraticos dentro da complexidadeO(m2) operacoes. A liberdade nos parametros do modelo foi considerada como sugere Powellem [6] obtendo Qk+1 a partir da norma de Frobenius da diferenca entre as Hessianas do novo edo velho modelo, ou seja, resolvendo o problema
minimizar ‖∇2Qk+1 −∇2Qk‖Fsujeita a f(Y k+1) = Qk+1(Y k+1).
(3)
Quando se tem liberdade nos parametros do modelo, a independencia linear dos pontosinterpoladores garantem a unicidade no modelo quadratico [6] atualizado por (3). Em cadasubproblema foi incorporado as restricoes originais do problema e a regiao de confianca de raio∆k > 0 resolvendo
minimizar Qk(x)sujeita a h(x) = 0
g(x) ≤ 0‖x− xk‖∞ ≤ ∆k.
(4)
A disposicao geometrica do primeiro conjunto interpolador e de suma importancia no de-sempenho do algoritmo, sendo a estrutura deste primeiro conjunto repetida toda vez que nao haprogresso no algoritmo. A escolha dos 2n + 1 pontos do primeiro conjunto interpolador e feitacomo em [6]. A partir de um dado ponto inicial y1 e do raio ∆1 da primeira regiao de confianca,para i = 1, . . . , n e definido
yi+1 = y1 + ∆1ei e yn+i+1 = y1 −∆1e
i, (5)
onde ei e o i-esimo vetor coordenado do IRn. Para os demais m−(2n+1) pontos, primeiramentesao reordenados os pontos de interpolacao obtidos pela expressao (5) por: para j = 1, 2, · · · , n,se
f(yi+1) < f(yn+i+1), (6)
yi+1 e trocado por yn+i+1. Este reordenamento preve uma tendencia na direcao de diminuicaodos valores de f e estas direcoes sao consideradas na escolha dos m−2n−1 pontos interpoladoresrestantes como discutido no proximo paragrafo.
Para 2n+ 2 ≤ j ≤ m, considere
p(j) ={j − 2n− 1, 2n+ 2 ≤ j ≤ 3n+ 1,p(j − n), 3n+ 2 ≤ j ≤ m. (7)
A sequencia finita {p(j)} tem⌊m− 2n− 2
n
⌋+ 1 ciclos. O ultimo ciclo tem comprimento menor
ou igual a n e os demais tem comprimento n. Tome 1 ≤ r ≤⌊m− 2n− 2
n
⌋+ 1 um numero que
indica o ciclo em {p(j)} e para 2n+ 2 ≤ j ≤ m, considere
q(j) ={p(j) + r se (p(j) + r) ∈ {1, 2, · · · , n}p(j) + r − n se (p(j) + r) /∈ {1, 2, · · · , n} . (8)
128
ISSN 1984-8218
Finalmente, os m− 2n− 1 pontos de interpolacao para j ∈ {2n+ 2, · · · ,m} sao dados por
yj = yp(j)+1 + yq(j)+1 − y1. (9)
O algoritmo inicia com um conjunto interpolador obtido pela expressao (9), e por um modeloquadratico obtido por uma formula fechada em virtude da disposicao geometrica deste primeiroconjunto interpolador. Enquanto e possıvel um decrescimo suficiente na funcao objetivo, oconjunto interpolador e alterado em apenas um ponto de uma iteracao para outra. Quando odecrescimo suficiente nao e obtido, todo o conjunto interpolador e modificado pela expressao(9), tomando como ponto inicial o melhor ponto obtido ate o momento.
2.1 O algoritmo
Dados x1 ∈ IRn, os parametros ρbeg > ρend > 0 e m.k = 1, ρk = ρbeg, ∆k = ρbeg, y
1 = x1 e xb = x1.Etapa 1:
Obtenha Y k ={y1, y2, · · · , ym
}por (9) e o modelo Qk(x) satisfazendo Qk(Y k) = f(Y k).
Etapa 2:Utilizando o ALGENCAN, determine aproximadamente dk ∈ IRn solucao de (4).Se ‖dk‖ < 0.5ρk,
va para a Etapa 4.Senao,
r =f(xk)− f(xk + dk)
Qk(xk)−Qk(xk + dk).
∆k+1 =
0.5∆k, se r ≤ 0.1,∆k, se 0.1 < r ≤ 0.7,2∆k, se r > 0.7.
Se f(xk + dk) < f(xk),xk+1 = xk + dk.Coloque xk + dk no conjunto interpolador, no lugar de um ponto que maximizao volume do simplex determinado pelo conjunto interpolador resultante.Atualiza Qk+1 por (3).Se r ≥ 0.1,
ρk+1 = ρk, k = k + 1 e va para a Etapa 2.Senao,
Se max1≤j≤m
{‖yj − xk+1‖
}> max {∆k+1, 10ρk},
y1 = xk+1, xb = xk+1, ρk+1 = ρk,∆k+1 = ρk, k = k + 1 e va para a Etapa 1.
Senao,Se r > 0 ou max
{∆k+1, ‖dk‖
}> ρk,
ρk+1 = ρk, k = k + 1 e va para a Etapa 2.Senao,
xk+1 = xk.Etapa 3:
Se ρk = ρend, pare.Senao,
ρk+1 = 0.1ρk, ∆k+1 = max {0.5ρk, ρk+1} , k = k + 1 e va para a Etapa 2.Etapa 4:
Se max1≤j≤m
{‖yj − xk‖
}> 10ρk,
y1 = xk, xb = xk, ∆k+1 = ρk, ρk+1 = ρk, k = k + 1 e va para Etapa 1.Senao Qk+1 = Qk e va para a Etapa 3.
129
ISSN 1984-8218
3 Resultados numericos
O algoritmo proposto foi implementado em Fortran 77, utilizando as rotinas do AlgoritmoBOBYQA [6] para atualizacao dos modelos quadraticos. Foram testados problemas da colecaoHock-Schittkowski [4] e problemas de intersecao de elipses sugeridos em [3]. O compiladorutilizado foi o gfortran-4.2.3 no sistema operacional Linux. Nao houve preocupacao com o tempocomputacional, pois os resultados de todos os problemas testes foram obtidos instantaneamente.Os problemas da colecao Hock-Schittkowski possuem informacoes de derivadas e portanto podemser resolvidos por algoritmos ja consagrados em otimizacao e com desempenho melhor do queo algoritmo proposto. No entanto, estes testes tem o objetivo de verificar como o algoritmofunciona. Alguns problemas da colecao sao mal condicionados e mal escalados, o que causadificuldades na solucao mesmo por algoritmos que utilizam derivadas. O problema de intersecaode elipses teve como objetivo verificar a funcionalidade do algoritmo em um problema que naoenvolve derivadas. O problema tem forte apelo geometrico o que permite verificar graficamentea qualidade da solucao.
3.1 Colecao Hock-Schittkowski (HS)
Foram considerados dois algoritmos a partir do numero de pontos de interpolacao. Foi deno-minado m1 o algoritmo proposto quando utilizado 2n+ 1 pontos de interpolacao e denominadom2 quando utilizado (n+1)(n+2)/2 pontos de interpolacao. Assim, comparamos o desempenhodos Algoritmos m1 e m2 com o denominado DFO proposto em [2] de Conn, Scheinberg e Tointe com AL-NMead, AL-BOBYQA e AL-NMead propostos em [3] por Diniz-Ehrhardt, Martıneze Pedroso.
Para resolver os subproblemas com ALGENCAN versao 2.2.1, foi utilizado os parametrosdefault, com 10−8 para otimalidade e viabilidade. As derivadas das restricoes foram aproxima-das. Os parametros de entrada para os Algoritmos m1 e m2 foram ρbeg = 10−1, ρend = 10−4. Aetapa 3 mostra que os Algoritmos m1 e m2 param quando a sequencia ρk atinge o parametroρend. Os pontos iniciais para os problemas sao os sugeridos na colecao, e como os algoritmosm1 e m2 caminham por pontos viaveis, inicialmente os algoritmos executam o ALGENCANsomente com as restricoes originais do problema para busca de viabilidade.
Foram resolvidos os mesmos 47 problemas da colecao Hock-Schittkowski como em [3], e os29 problemas restritos da mesma colecao como em [2]. As dimensoes variam de 2 a 16 e onumero de restricoes entre 1 e 38. Sao 63 problemas ao todo, uma vez que ha intersecao entreos conjuntos de problemas considerados nos dois artigos.
Na Tabela 1 sao apresentados os resultados obtidos por m1 e m2 para os 63 problemasresolvidos. A letra P indica o numero do problema da colecao, #FE o numero de avaliacoesda funcao objetivo, f o valor da funcao objetivo no ponto solucao encontrado. O sımbolo (∗)indica que o problema nao foi resolvido, e foi considerado solucao todo ponto x viavel dentro datolerancia 10−8 e que satisfaz
ER =|f(x)− fHS |
max{1, |fHS |}≤ 10−2, (10)
onde fHS e a solucao obtida no artigo [4].A Tabela 2 apresenta a porcentagem de problemas resolvidos utilizando um certo limite de
avaliacoes de funcoes objetivo. Assim, a primeira linha mostra a porcentagem dos 47 problemasapresentados em [3] e dos 29 apresentados em [2] que precisaram de 10 a 100 avaliacoes defuncao objetivo para serem resolvidos. A ultima linha indica a porcentagem de problemasnao resolvidos. As informacoes sobre os algoritmos com que comparamos os resultados foramfornecidos nos artigos correspondentes.
130
ISSN 1984-8218
Algoritmo m1 Algoritmo m2P f ER #FE f ER #FE18 5.00000000E+0 0.00E+0 30 5.00000000E+0 0.00E+0 4619 -6.96181384E+3 4.90E-9 23 -6.96181387E+3 5.92E-10 3321 -9.99600000E+1 8.94E-12 36 -9.99600000E+1 8.94E-12 4222 1.00000000E+0 0.00E+0 13 1.00000000E+0 0.00E+0 2723 2.00000000E+0 0.00E+0 21 2.00000000E+0 0.00E+0 3626 1.93248941E-6 1.93E-6 91 1.59853940E-12 1.60E-12 21930 1.00000000E+0 0.00E+0 48 1.00000000E+0 0.00E+0 6631 5.99999998E+0 3.33E-9 34 5.99999998E+0 3.33E-9 6632 9.99999981E-1 1.90E-8 42 1.00000001E+0 1.00E-8 5634 -8.34032450E-1 0.00E+0 44 -8.34032450E-1 0.00E+0 5936 -3.30000000E+3 0.00E+0 51 -3.30000000E+3 0.00E+0 6937 -3.45600000E+3 0.00E+0 81 -3.45600000E+3 0.00E+0 9238 3.00241627E+0 (*) 3.00E+0 478 5.83861540E-13 5.84E-13 77041 1.92592593E+0 1.56E-8 61 1.92592593E+0 1.56E-8 8844 -1.50000000E+1 0.00E+0 60 -1.50000000E+1 0.00E+0 8348 1.06911222E-8 1.07E-8 110 2.09948403E-17 2.10E-17 11349 7.46726597E-6 7.47E-6 324 1.27792132E-11 1.28E-11 35053 4.09302328E+0 4.89E-9 81 4.09302318E+0 2.93E-8 13354 -9.03213854E-1 4.86E-3 734 -9.03606371E-1 4.47E-3 465056 -3.45599996E+0 1.16E-8 97 -3.45600000E+0 0.00E+0 19259 -6.75456600E+0 0.00E+0 40 -6.75456600E+0 0.00E+0 5560 3.25682002E-2 2.00E-10 88 3.25682002E-2 2.00E-10 8262 -2.62725145E+4 1.90E-8 67 -2.62725145E+4 1.90E-8 7863 9.61715172E+2 2.08E-9 31 9.61715172E+2 2.08E-9 4465 9.53528860E-1 0.00E+0 66 9.53528860E-1 0.00E+0 5966 5.18163274E-1 2.80E-8 33 5.18163274E-1 2.80E-8 5567 -1.16203653E+3 2.58E-8 157 -1.16203653E+3 2.58E-8 11068 -9.20425000E-1 2.00E-8 137 -9.20425000E-1 2.00E-8 16769 4.00000000E-3 (*) 1.00E+0 154 -9.56712899E+2 9.41E-9 32370 7.78387592E-3 2.85E-4 336 7.49846360E-3 0.00E+0 44971 1.70140170E+1 0.00E+0 58 1.70140170E+1 0.00E+0 6772 7.27524710E+2 2.13E-4 55 7.27524710E+2 2.13E-4 9474 5.12649810E+3 0.00E+0 41 5.12649810E+3 0.00E+0 9175 5.17441270E+3 5.43E-9 40 5.17441270E+3 5.43E-9 8876 -4.68181818E+0 4.27E-9 54 -4.68181818E+0 4.27E-9 8279 7.87730050E-2 3.82E-6 124 7.87730042E-2 3.82E-6 23680 5.39498480E-2 2.00E-9 54 5.39498480E-2 2.00E-9 8881 5.39498620E-2 1.40E-8 62 5.39498480E-2 0.00E+0 12083 -3.06655390E+4 0.00E+0 65 -3.06655390E+4 0.00E+0 11584 -5.28033510E+1 0.00E+0 82 -5.28033510E+1 0.00E+0 14385 -1.90515530E+0 1.13E-5 69 -1.90515530E+0 1.13E-5 23487 8.92759770E+3 0.00E+0 102 8.92759770E+3 0.00E+0 19295 1.56195250E-2 0.00E+0 42 1.56195250E-2 0.00E+0 11596 1.56195250E-2 0.00E+0 42 1.56195250E-2 0.00E+0 11597 3.13580890E+0 0.00E+0 31 3.13580890E+0 0.00E+0 6198 3.13580890E+0 0.00E+0 80 3.13580890E+0 0.00E+0 15999 -8.31079890E+8 0.00E+0 156 -8.31079890E+8 0.00E+0 581100 6.80630057E+2 4.41E-9 107 6.80630057E+2 4.41E-9 197101 1.80976520E+3 2.21E-7 551 1.80976480E+3 0.00E+0 852102 9.11880560E+2 1.10E-8 309 9.11880560E+2 1.10E-8 817103 5.43667960E+2 0.00E+0 498 5.43667960E+2 0.00E+0 1055104 3.95116342E+0 5.06E-9 112 3.95116344E+0 1.01E-8 246105 1.13964126E+3 1.08E-3 1894 1.13841066E+3 4.87E-6 1184106 7.04924802E+3 1.18E-5 89 7.04924802E+3 1.18E-5 243107 5.05501144E+3 7.12E-8 79 5.05501144E+3 7.12E-8 223108 -8.66025401E-1 1.00E-9 87 -8.66025405E-1 5.00E-9 285111 -4.77610909E+1 1.88E-8 423 -4.77610909E+1 1.88E-8 1274112 -4.77610808E+1 1.09E-7 126 -4.77610908E+1 1.01E-7 499114 -1.76880696E+3 2.26E-8 159 -1.76880696E+3 2.26E-8 348116 9.75875100E+1 9.21E-6 129 9.75875100E+1 9.21E-6 653118 6.64820450E+2 0.00E+0 165 6.64820450E+2 0.00E+0 690119 2.44899698E+2 8.17E-9 239 2.44899700E+2 0.00E+0 1092268 2.82166594E+0 (*) 2.82E+0 233 -4.43201031E-13 4.43E-13 113
Tabela 1: Resultados do algoritmo proposto para 63 problemas da colecao HS.
% de 47 problemas resolvidos % de 29 problemas resolvidos
# f m1 m2 AL-CSearch AL-BOBYQA AL-NMead m1 m2 DFO
101 a 102 63.8 44.7 6.4 4.3 0.0 51.7 34.5 82.8102 a 103 34.0 44.7 17.0 34.0 21.3 48.3 55.2 17.2103 a 104 2.2 10.6 27.7 29.8 34.0 0.0 10.3 27.7104 a 105 0.0 0.0 19.1 14.9 14.9 0.0 0.0 0.0105 a 106 0.0 0.0 12.8 8.5 10.6 0.0 0.0 0.0fracasso 8.5 0.0 17 8.5 12.8 6.9 0.0 10.3
Tabela 2: Numero de avaliacoes de funcao objetivo para os 47 problemas de [3] e os 29 de [2].
131
ISSN 1984-8218
3.2 O problema de intersecao de elipses
Foi considerado tambem o problema proposto em [3], que consiste em determinar duas elipsesE1, E2 com area mınima contendo p pontos dados. Uma elipse fica inteiramente definida quandose conhece seus focos e seu eixo maior. Logo, tome as duas elipses E1 e E2 definidas por um pontox = (x1, x2, · · · , x10)T ∈ R10. As cinco primeiras coordenadas de x definem a elipse E1, tomandopara o eixo maior a coordenada x5 e para os focos os pares (x1, x2)T e (x3, x4)T . As cinco ultimascoordenadas de x definem a elipse E2, tomando para o eixo maior a coordenada x10 e para osfocos os pares (x6, x7)T e (x8, x9)T . O problema de intersecao possui infinitos minimizadoreslocais e o mınimo encontrado pelo algoritmo depende do ponto inicial e do numero de pontosde interpolacao considerados na construcao do modelo quadratico. Foi utilizado para avaliar afuncao objetivo (calcular a area da intersecao de elipses) um metodo numerico que aproximaarea. Como a precisao do metodo e relativa, nao e possıvel boas aproximacoes para derivadas eportanto o problema pode ser considerado sem derivadas. As restricoes do problema consistemem verificar se o ponto p pertence a intersecao das elipses E1 e E2, e portanto sao restricoes naolineares de desigualdade.
Para p = 4, tome os pontos (1, 0)T , (0, 1)T , (−1, 0)T , (0,−1)T e o ponto inicial x1 ∈ R10 quedefinem duas circunferencias de raio 2. As Figuras 1 e 2 mostram as solucoes obtidas pelosAlgoritmos m1 e m2, respectivamente. Os pontos em formato de losango sao os p pontos quedevem permanecer na intersecao das elipses. Os demais pontos que aparecem na figura sao osfocos das duas elipses.
−1.5 −1 −0.5 0 0.5 1 1.5 2−2
−1.5
−1
−0.5
0
0.5
1
Figura 1: Solucao geometrica obtida pelo Al-goritmo m1. Area 3.1415 e 1221 avaliacoes dafuncao objetivo.
−2.5 −2 −1.5 −1 −0.5 0 0.5 1 1.5 2 2.5−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
Figura 2: Solucao geometrica obtida pelo Al-goritmo m2. Area 2.0867 e 1304 avaliacoes dafuncao objetivo.
4 Conclusoes
Os testes realizados mostram que o Algoritmo m2 e robusto pois resolveu todos os proble-mas aos quais foi submetido. E possıvel observar que o Algoritmo m1, que deixa liberdade nosparametros do modelo pois trabalha com 2n + 1 pontos de interpolacao, e mais eficiente emnumero de avaliacoes de funcao objetivo do que o Algoritmo m2 (que nao deixa liberdade nosparametros do modelo). Por outro lado, o Algoritmo m2 e mais robusto que o Algoritmo m1 eque todos os 4 algoritmos utilizados para comparacao. A robustez do Algoritmo m2 esta relaci-onada a boa qualidade do modelo interpolador. As solucoes obtidas pelos Algoritmos m1 e m2,Figuras 1 e 2, mostram o bom comportamento dos Algoritmos em proplemas que nao permitemaproximar derivadas devido ao mau comportamento da funcao objetivo. A tecnica utilizada naatualizacao dos modelos pelos Algoritmos m1 e m2 requer O(m2) operacoes, permitindo resolveros problemas da colecao HS em baixo tempo computacional.
132
ISSN 1984-8218
Referencias
[1] R. Andreani, E. G. Birgin, J. M. Martınez e M. L. Schuverdt. Augmented LagrangianMethods under the Constant Positive Linear Dependence Constraint Qualification. Mathe-matical Programming, 111 (2008) 5-32.
[2] A. R. Conn, K. Scheinberg e L. Toint. “A Derivative Free Optimization Algorithm in Prac-tice”, Proceedings of the American Institute of Aeronautics and Astronautics Conference,St Louis, 1998.
[3] M.A. Diniz-Ehrhardt, J.M. Martınez e L.G. Pedroso. Derivative-free methods for nonlinearprogramming with general lower-level constraints. Computational Applied Mathematics. 30(2011) 19-52.
[4] W. Hock e K. Schittkowski. “Test Examples for Nonlinear Programming Codes. LectureNotes in Economics and Mathematical Systems”, Springer-Verlag, 187, 1981.
[5] L. G. Pedroso. “Programacao nao linear sem derivadas”. Tese de Doutorado, IMECC-Unicamp, 2009.
[6] M. J. D. Powell. “The BOBYQA algorithm for bound constrained optimization without de-rivatives”. Cambridge NA Report NA2009/06, University of Cambridge, Cambridge, 2009.
[7] http://www.ime.usp.br/egbirgin/tango, ALGENCAN versao 2.2.1, consultado em 2011.
133
ISSN 1984-8218
