Szemide nit optimaliz al asi feladatok megold as anak numerikus …imre.polik.net/wp-content/uploads/Polik_MTA_2012.pdf · 2012. 11. 29. · numerikus k erd esei P olik Imre SAS Institute

Copyright c©2012, SAS Institute Inc. All rights reserved.

Szemidefinit optimalizálásifeladatok megoldásánaknumerikus kérdései

Pólik ImreSAS InstituteCary, NC, USA

Szemidefinit optimalizáláselmélete és alkalmazásaiMTA, 2012. november 21.

Tartalom

1 Kúplineáris optimalizálás

2 Algoritmusok

3 Dualitási problémák

4 Kutatási irányok


Kúplineáris optimalizálás

Primál-duál feladat

min cTx max bT y

Ax = b AT y + s = c

x ∈ K s ∈ K∗

A kúp lehet

LP K = Rn+SOCP K = {(x0, x) ∈ R+ × Rn : x0 ≥ ‖x‖2}SDP K = {X ∈ Rn×n : X � 0}ezek szorzata


Kúplineáris optimalizálás

Primál-duál feladat

min cTx max bT y

Ax = b AT y + s = c

x ∈ K s ∈ K∗

Egyéb kúpok

kúpok metszete (pl. PSD és nemnegat́ıv)

négyzetösszeg (SOS), nemnegat́ıv polinomok

homogén kúpok

komplex kúpok


Szemidefinit optimalizálás

Primál-duál SDP feladat

min Tr(CX) max bT y

Tr(AiX) = bi, i = 1, . . . ,m

m∑i=1

Aiyi + S = C

X � 0 S � 0

Strukturális tulajdonságok

S örökli Ai, C szerkezetét (rang, ritkaság)

X általában nem

ha Ai alacsony rangú, akkor

Ai = aiaTi ⇒ Tr(AiX) = aTi Xai


Reprezentációk

Speciális feltétel

AX +XA = B

Mátrixalakban: (A⊗A) vecX = vecBKöltség: O(n4) tár, O(n4) műveletA direkt alakhoz speciális szoftver kell.

Newton-rendszer

A jobboldal mérete O(n2), a Newton-rendszer mérete O(n4),A faktorizáció költsége O(n6).⇒ A Newton-rendszert iterat́ıvan oldjuk meg.


Algoritmusok

Főleg IPM (Nesterov-Nemirovski, Renegar, Todd, Terlaky, ...)

Iterációk

SDP: O(√n)

SOCP: O(√#kúpok)

általában: ≈ 50− 100

Egy iteráció költsége

SDP: O(mn3 +m2n2 +m3)SOCP: O(m3 + ...)ritka mátrixokkal kevesebb

Megoldható feladatok

SDP: m ≤ 10000, n ≤ 5000SOCP: m ≤ 10000, k ≤ 10000


Implementációk

A bőség zavara

Akadémiai és kereskedelmi implementációk

Szinte csak IPM

Nincs két egyforma

Nincs legjobb

CSDP, SDPA, DSDP, SDPT3, SeDuMi, Mosek, CVXOPT, ...

Párhuzamośıtás: OpenMP és BLAS

Modellezési nyelvek

CVX, YALMIP: ingyenes, Matlab-alapú

Mosek (új, API)


SeDuMi

Történelem

Eredetileg (1999-2003) Jos F. Sturm

2004-től AdvOL (McMaster), 2008-tól COR@L (Lehigh)

Több ezer felhasználó

Algoritmus, implementáció

Matlab/C/BLAS

Beágyazásos, primál-duál IPM, NT-skálázással

Saját Cholesky-faktorizáció

Előnyök, hátrányok

Numerikus stabilitás

SOCP feladatokon nagyon hatékony

Nagy és sűrű SDP feladatokon lassú


Dualitási problémák

1 Kúplineáris optimalizálás

2 Algoritmusok

3 Dualitási problémákGyenge és erős nem-megengedettségAz optimum nem érhető elPozit́ıv dualitásrés

4 Kutatási irányok


Gyenge nem-megengedettség

min

(0 11 0

)•(x11 x12x21 x22

)max y1(

1 00 0

)•(x11 x12x21 x22

)= 1

(1 00 0

)y1 + S =

(0 11 0

)X � 0 S � 0

Megengedettség

A duál feladat nem-megengedett.

A primál feladatnak nincsen jav́ıtó iránya.

Majdnem megengedettség (∀ε > 0)A duál feladat ε-megengedett.

Létezik primál ε-jav́ıtó irány.

Numerikusan nem válaszhatók szét.


Az optimum nem érhető el

min

(1 00 0

)•(x11 x12x21 x22

)max 2y1(

0 −1−1 0

)•(x11 x12x21 x22

)= 2

(0 −1−1 0

)y1 + S =

(1 00 0

)X � 0 S � 0

Optimumok

A duál optimum 0, a megoldás y1 = 0.

A primál optimum 0, de nem létezik optimális megoldás.

A megoldás divergál.

A duál megengedett halmaz”túl kicsi” (Slater).


Pozit́ıv dualitásrés

min

α 0 00 0 00 0 0

•X 0 0 00 1 0

0 0 0

•X = 0 1 0 00 0 1

0 1 0

•X = 1X � 0

Optimumok

A primál optimum α, x11 = 1

A duál optimum 0, y = 0

A primál-duál módszereknem működnek.

Mindkét megengedett halmaz

”túl kicsi” (Slater).

max y2

y1

0 0 00 1 00 0 0

+ y2 1 0 00 0 1

0 1 0

+ S = α 0 00 0 0

0 0 0

S � 0


Kutatási irányok – I

Jobb algoritmusok

Szimplex(-jellegű) algoritmus?

?

Egészértékű feladatok

SOCP eredmények

Előfeldolgozás

vegyes LP/SOCP/SDP problemák

dekompoźıció, szimmetria-redukció

LP technikák általánośıtása


Kutatási irányok – II

Speciális szerkezetű feladatok

metszetkúpok

gráf-problémák

robusztus optimalizálás

Egyszerűbb modellezés

feladatok definiálása természetes módon

Új alkalmazások

gazdag struktúra

±1 feladatok

Párhuzamos algoritmusok

lineáris algebra


[email protected]

Kúplineáris optimalizálásAlgoritmusokDualitási problémákKutatási irányok

Documents

Szemide nit optimaliz al asi feladatok megold as anak numerikus …imre.polik.net/wp-content/uploads/Polik_MTA_2012.pdf · 2012. 11. 29. · numerikus k erd esei P olik Imre SAS Institute