Upload
ngotuyen
View
224
Download
0
Embed Size (px)
Citation preview
Decision Optimization
Programmation non-linéaire en
variables mixtes et applications
Pierre Bonami (et nombreux co-auteurs)IBM ILOG CPLEX etLIF, CNRS/Université Aix-Marseille
ROADEF 2014 – Bordeaux —26 févier 2014.1 c©2014 IBM corportation
"The mother of all deterministic optimization problems" [Lee, 2008]
min f (x)s.t. gi (x) ≤ 0 i = 1, . . . ,m
x ∈ X
xj ∈ Z j = 1, . . . , p
(PNLM)
X ⊆ Rn polyhèdre.
f and gi : X → R, i = 1, . . . ,m,continues et dérivables.
1
2
−1
−2
1 2−1−2
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
2 c©2014 IBM corportation
Sous-problèmes “bien” résolus
Programmation non-linéaire (PNL)
p = 0 : optimum local. + f et gi convexes ⇒ optimum global.
Programmation linéaire mixte (PLM)
f linéaire, m = 0, p > 0
3 c©2014 IBM corportation
Problèmes de complexité
Theorem ([Jeroslow, 1973])
Le problème de minimisation d’une fonction linéaire soumise à des
contraintes quadratiques en variables entières n’est pas calculable par
une fonction récursive.
Theorem ([De Loera et al., 2006])
Le problème de minimisation d’une fonction linéaire soumise à des
contraintes polynomiales sur au plus 10 variables entières n’est pas
calculable par une fonction récursive.
4 c©2014 IBM corportation
Problèmes de complexité
Theorem ([Jeroslow, 1973])
Le problème de minimisation d’une fonction linéaire soumise à des
contraintes quadratiques en variables entières n’est pas calculable par
une fonction récursive.
Theorem ([De Loera et al., 2006])
Le problème de minimisation d’une fonction linéaire soumise à des
contraintes polynomiales sur au plus 10 variables entières n’est pas
calculable par une fonction récursive.
Aucun algorithme ne peux résoudre (PNLM)...
4 c©2014 IBM corportation
Problèmes de complexité
Theorem ([Jeroslow, 1973])
Le problème de minimisation d’une fonction linéaire soumise à des
contraintes quadratiques en variables entières n’est pas calculable par
une fonction récursive.
Theorem ([De Loera et al., 2006])
Le problème de minimisation d’une fonction linéaire soumise à des
contraintes polynomiales sur au plus 10 variables entières n’est pas
calculable par une fonction récursive.
Aucun algorithme ne peux résoudre (PNLM)...
même en petite dimension.
4 c©2014 IBM corportation
Modèle plus raisonnable
min f (x)s.t. gi (x) ≤ 0 i = 1, . . . ,m
x ∈ X
xj ∈ Z j = 1, . . . , plj ≤ xj ≤ uj , j = 1, . . . , p
(PNLM)
Pour être soluble, en général, lj , ujfinis.
1
2
−1
−2
1 2−1−2
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
b
5 c©2014 IBM corportation
Deux classes principales de programmes
Programmes Convexes Mixtes
f est convexe.
gi sont des fonctions convexes ou décrivent des régions convexes :(contrainte conique:
∑
x2
j ≤ x20, x0 ≥ 0).
La relaxation continue est un problème d’optimisation convexe.
Programmes non-linéaires mixtes
Aucune hypothèse de convexité sur f ou gi .
Calculer l’optimum de la relaxation continue est NP-difficile engénéral.
Remarque: si lj et uj sont finis l’intégrité peut être vue comme unecontrainte sur une variable continue:(xj − lj)(xj − lj + 1)....(xj − uj) = 0.
Beaucoup de problèmes 0-1 (p = n, l = 0, u = 1) peuvent seréduire à des programmes linéaires mixtes.6 c©2014 IBM corportation
Applications de la programmation convexe mixte
Application Non-linéaire CombinatoirePortefeuille d’actions Risque, robustesse cardinalité, investisse-
ment minimum[Bienstock, 1996]Usine chimique Réaction chimiques Élements à installer[Duran and Grossmann, 1986]Agencement de blocs Contraintes spatiales Choix des blocs[Castillo et al., 2005]Réseaux congestion-nés
Le délai en fonction dutraffic
Chemins, flots
[Boorstyn and Frank, 1977, Ameur and Ouorou, 2006]Localisation avec ser-vices stochastiques
Demandes Modèle de localisation
[Elhedhli, 2006]TSP avec voisinages Voisinages (ellipses) TSP[Gentilini et al., 2013]
7 c©2014 IBM corportation
Applications de la programmation non-linéaire mixte
Application Non-linéaire CombinatoirePétrochimie Mélange, pooling Choix de processus[Haverly, 1978]Réseaux d’eau/gaz Écoulements, pres-
sionsTopologie du réseau
[Bragalli et al., 2011]Recharge de réacteurnucléaire
Réactions Carottes à remplacer
[Quist et al., 1999]Trajectoires d’avions Aérodynamique Waypoints, collisions
. . .[Cafieri and Durand, 2013, Soler et al., 2013]Contrôle optimal Equations différen-
tiellesContrôles discrets
[Sager, 2005, 2012]Beaucoup d’autres . . . . . .voir par exemple [Belotti et al., 2013]
8 c©2014 IBM corportation
Agenda
1 Le cas convexePrincipales approches algorithmiquesAperçu de résultats de calculSélection de techniques avancées
2 Un pas dans la non-convexité avec CPLEX 12.6
3 Conclusions
9 c©2014 IBM corportation
Programme convexe mixte
min cT x
s.t. gi (x) ≤ 0 i = 1, . . . ,mx ∈ X
xj ∈ Z j = 1, . . . , plj ≤ xj ≤ uj , j = 1, . . . , p
(PCM)
gi : X → R, i = 1, . . . ,m, convexes, différentiables.
Objectif linéaire. Si nécessaire, introduire α ∈ R et minα avecf (x) ≤ α une contrainte.
10 c©2014 IBM corportation
Principales approches algorithmiques pour (PCM)
x y
z
Propriété fondamentale: convexité de la relaxation continue.
1 Branch-and-bound Programation Non-Linéaire [Gupta andRavindran, 1985].
2 Décomposition par Outer Approximation [Duran and Grossmann,1986].
3 LP/NLP branch-and-cut [Quesada and Grossmann, 1992].
11 c©2014 IBM corportation
NLP B&B
Simple généralisation de l’algorithme pour laPLNE:
Résout un PNL à chaque nœud de l’arbre.
12 c©2014 IBM corportation
NLP B&B
Simple généralisation de l’algorithme pour laPLNE:
Résout un PNL à chaque nœud de l’arbre.
Branche sur les variables fractionnaires.integerfeasible
fathomedbybound
infeasible
12 c©2014 IBM corportation
NLP B&B
Simple généralisation de l’algorithme pour laPLNE:
Résout un PNL à chaque nœud de l’arbre.
Branche sur les variables fractionnaires.
Élague: irréalisables, bornes inf. et solutionsentières.
integerfeasible
fathomedbybound
infeasible
12 c©2014 IBM corportation
NLP B&B
Simple généralisation de l’algorithme pour laPLNE:
Résout un PNL à chaque nœud de l’arbre.
Branche sur les variables fractionnaires.
Élague: irréalisables, bornes inf. et solutionsentières.
Principales difficultés d’adaptation
Démarrage à chaud des solveurs PNL.
Redévelopper techniques de PLM.
integerfeasible
fathomedbybound
infeasible
12 c©2014 IBM corportation
Outer Approximation [Duran and Grossmann, 1986]
min cT x
s.t.
gi (x) ≤ 0 i = 1, . . . ,m,
xj ∈ Z, j = 1, . . . , p.
Idée: Linéariser les contraintes en différents points et construire un PLMéquivalent.
13 c©2014 IBM corportation
Outer Approximation [Duran and Grossmann, 1986]
min cT x
s.t.
gi (x) ≤ 0 i = 1, . . . ,m,
xj ∈ Z, j = 1, . . . , p.
Idée: Linéariser les contraintes en différents points et construire un PLMéquivalent.
min cT x
s.t.
gi (xk) +∇gi (x
k)T (x − xk) ≤ 0 i = 1, . . . ,m, k = 1, . . . ,K
xj ∈ Z, j = 1, . . . , p.
13 c©2014 IBM corportation
Sous-problèmes
Étant donné x̂ ∈ Rp:
PNL fixé (PNLf(x̂))
min cT x
s.t.
gi (x) ≤ 0, i = 1, . . . ,m
x ∈ X ; (PNLf(x̂))
xj = x̂j , j = 1, . . . , p.
Si x̂ ∈ Zp donne une borne supérieure.
PNL fixé de faisabilitéPNLff(x̂)
minm∑
i=1
max{0, gi (x)}
s.t.
x ∈ X ,
xj = x̂j , j = 1, . . . , p
14 c©2014 IBM corportation
Sous-problèmes
Étant donné x̂ ∈ Rp:
PNL fixé (PNLf(x̂))
min cT x
s.t.
gi (x) ≤ 0, i = 1, . . . ,m
x ∈ X ; (PNLf(x̂))
xj = x̂j , j = 1, . . . , p.
Si x̂ ∈ Zp donne une borne supérieure.
PNL fixé de faisabilitéPNLff(x̂)
minm∑
i=1
max{0, gi (x)}
s.t.
x ∈ X ,
xj = x̂j , j = 1, . . . , p
Remarque: Si (PNLf(x̂)) n’est pas réalisable, algorithmes donnenttypiquement la solution de PNLff(x̂).Par abus, solutions de (PNLf(x̂)) indifféremment
14 c©2014 IBM corportation
Équivalent PLM de PCM
Pour chaque x̂k ∈ K = Proj1,...,p(X )∩Zp, soit xk une solution optimale
de (PNLf(x̂)).
Theorem ([Duran and Grossmann, 1986])
Si X 6= ∅, f et g sont convexes, différentiables et une qualification de
contraintes est satisfaite pour chaque xk , alors
min cT x
gi (xk) +∇gi (x
k)T (x − xk) ≤ 0 i = 1, . . . ,m, x̂k ∈ K ,
x ∈ X , xj ∈ Z, j = 1, . . . , p.
a la même valeur optimale que (PCM).
15 c©2014 IBM corportation
Décomposition OA
Génère le PLM équivalent par génération de contraintes
K: ensemble des points où sont prises les coupes de linéarisation.
À chaque itération: résoudre (OA(K)) puis (PNLf(x̂)) en utilisantla solution de (OA(K)).
min cT x
s.t.
gi (xk) +∇gi (x
k)T (x − xk) ≤ 0,i = 1, . . . ,m,
xk ∈ K, (OA(K))
x ∈ X , xj ∈ Z, j = 1, . . . , p.
x0 est la solution de la relaxation : min{cT x : x ∈ X , gi (x) ≤ 0}. Pourk = 1, . . . , |K|, x̂k est la solution de (OA(K)), xk la solution de(PNLf(x̂)).
16 c©2014 IBM corportation
Décomposition OA
Génère le PLM équivalent par génération de contraintes
K: ensemble des points où sont prises les coupes de linéarisation.
À chaque itération: résoudre (OA(K)) puis (PNLf(x̂)) en utilisantla solution de (OA(K)).
Convergence
À chaque itération:
(OA(K)) donne une borne inf,
Si réalisable, (PNLf(x̂)) donne une borne sup.
Le théorème garantie que les deux bornes convergent en un nombre finid’itérations.
16 c©2014 IBM corportation
LP/NLP B&B [Quesada and Grossmann, 1992]
OA peut être intégrée dans une recherche arborescente unique.
Commencer par résoudre le même PLM parbranch-and-bound.A chaque nœud de solution entière :
solutionentière
17 c©2014 IBM corportation
LP/NLP B&B [Quesada and Grossmann, 1992]
OA peut être intégrée dans une recherche arborescente unique.
Commencer par résoudre le même PLM parbranch-and-bound.A chaque nœud de solution entière :
1 Résoudre (PNLf(x̂)), et actualiser leslinéarisations.
2 Résoudre la relaxation linéaire du nœudavec les nouvelles coupes.
3 Répéter tant que la solution du nœud estentière. solution
entière
17 c©2014 IBM corportation
LP/NLP B&B [Quesada and Grossmann, 1992]
OA peut être intégrée dans une recherche arborescente unique.
Commencer par résoudre le même PLM parbranch-and-bound.A chaque nœud de solution entière :
1 Résoudre (PNLf(x̂)), et actualiser leslinéarisations.
2 Résoudre la relaxation linéaire du nœudavec les nouvelles coupes.
3 Répéter tant que la solution du nœud estentière.
Pas d’élagage des solutions entières
integerfeasi-ble
17 c©2014 IBM corportation
Solveur pour la programmation convexe mixte
Solver Reference Algorithm(s)Dicopt OAMINLP_BB [Leyffer, 1998] NLP B&BSBB [Bussieck and Drud, 2001] NLP B&Bα-ECP [Westerlund and Lundqvist, 2005] ECP (variante de OA)Bonmin [Bonami et al., 2008] NLP B&B, OA, LP/NLP B&BFilMINT [Abhishek et al., 2010] LP/NLP B&BKNITRO [Byrd et al., 2006] NLP B&B, LP/NLP B&BSCIP [Vigerske, 2012] LP/NLP
18 c©2014 IBM corportation
Comparaison des solveurs dans GAMS [Vigerske, 2013]
0
10
20
30
40
50
60
70
80
90
100
1 10 100 1000 10000
% o
f m
odel
sol
ved
time factor
alpha-ECPBonmin BB
Bonmin HybBonmin OA/CPLEX
Bonmin OA/CBCSBBSCIP
19 c©2014 IBM corportation
Comparaison des solveurs dans GAMS [Vigerske, 2013]
0
10
20
30
40
50
60
70
80
90
100
1 10 100 1000 10000
% o
f m
odel
sol
ved
time factor
alpha-ECPBonmin BB
Bonmin HybBonmin OA/CPLEX
Bonmin OA/CBCSBBSCIP
Les 5 meilleurs algorithmes sont
basés sur OA.
19 c©2014 IBM corportation
Comparaison des solveurs dans GAMS [Vigerske, 2013]
0
10
20
30
40
50
60
70
80
90
100
1 10 100 1000 10000
% o
f m
odel
sol
ved
time factor
alpha-ECPBonmin BB
Bonmin HybBonmin OA/CPLEX
Bonmin OA/CBCSBBSCIP
19 c©2014 IBM corportation
Remarques sur les résultats de Bonmin
La decomposition OA utilisant CPLEX semble un des 2 meilleurscodes.
C’est une boucle appelant CPLEX (PLM) et Ipopt (PNL)alternativement comme boites noires.S’améliore avec CPLEX (sans changer le code de Bonmin).
Le NLP/LP B&B de Bonmin (Hyb) est dans le peloton des bonssolveurs.
Utilise l’infrastructure de CBC (solveur LP, coupe, presolve,...).S’améliore plus lentement.
Le NLP B&B de Bonmin clairement derrière.Pas grand chose de CBC qui peut être réutilisé. Presque tout surmesure.En fait il y a une meilleure implémentation dans Bonmin qui devraitêtre équivalent à Hyb.
20 c©2014 IBM corportation
A quel point OA est mauvais?
Considérons le PCM:
min cT x
s.t.∑n
i=1
(
xi −1
2
)2≤ n−1
4
x ∈ Zn
(1)
(1) n’a pas de solution:
La boule est trop petite pourcontenir des points entiers.
Elle est juste suffisammentgrande pour toucher toutes lesarêtes de l’hypercube.
xy
z
21 c©2014 IBM corportation
Résolution de (1) par OA
Aucune contrainte de OA nepeut couper deux sommets del’hypercube.
Si une inégalité coupe deuxsommets elle coupe aussil’arête qui les lie.Contradiction: la boule aune intersection non videavec toutes les arêtes.
x y
z
22 c©2014 IBM corportation
Résolution de (1) par OA
Aucune contrainte de OA nepeut couper deux sommets del’hypercube.
Si une inégalité coupe deuxsommets elle coupe aussil’arête qui les lie.Contradiction: la boule aune intersection non videavec toutes les arêtes.
La décomposition OA effectueau moins 2n itérations sur ceproblème (chaque itérationrésout un PLM).
x y
z
22 c©2014 IBM corportation
Résolution de (1) par OA
Aucune contrainte de OA nepeut couper deux sommets del’hypercube.
Si une inégalité coupe deuxsommets elle coupe aussil’arête qui les lie.Contradiction: la boule aune intersection non videavec toutes les arêtes.
La décomposition OA effectueau moins 2n itérations sur ceproblème (chaque itérationrésout un PLM).
Un NLP/LP B&B énumèreraitau moins 2n nœuds.
x y
z
22 c©2014 IBM corportation
Résolution de (1) par OA
Aucune contrainte de OA nepeut couper deux sommets del’hypercube.
Si une inégalité coupe deuxsommets elle coupe aussil’arête qui les lie.Contradiction: la boule aune intersection non videavec toutes les arêtes.
La décomposition OA effectueau moins 2n itérations sur ceproblème (chaque itérationrésout un PLM).
Un NLP/LP B&B énumèreraitau moins 2n nœuds.
x y
z
Note: NLP B&B énumèreaussi 2n solutions entières.
22 c©2014 IBM corportation
Techniques avancées pour PCM
Preprocessing/Modélisation:séparabilité [Hijazi et al., 14]formulations perspectives [Frangioni and Gentile, 2006, Günlük andLinderoth, 2008]propagation [Vigerske, 2012]
Relaxations aux nœuds/branchements:QP strong-branching [Bonami et al., 2013]QP divings [Mahajan et al., 2012]
Heuristiques:Feasibility Pumps [Bonami et al., 2009],Undercover [Berthold and Gleixner, 2013]
Coupes:Coupes disjonctives [Kılınc et al., 2011, Bonami, 2011],
23 c©2014 IBM corportation
Techniques avancées pour PCM
Preprocessing/Modélisation:séparabilité [Hijazi et al., 14]formulations perspectives [Frangioni and Gentile, 2006, Günlük andLinderoth, 2008]propagation [Vigerske, 2012]
Relaxations aux nœuds/branchements:QP strong-branching [Bonami et al., 2013]QP divings [Mahajan et al., 2012]
Heuristiques:Feasibility Pumps [Bonami et al., 2009],Undercover [Berthold and Gleixner, 2013]
Coupes:Coupes disjonctives [Kılınc et al., 2011, Bonami, 2011],
23 c©2014 IBM corportation
PCM séparables
min cT x
s.t. gi (x) ≤ 0 i = 1, . . . ,mx ∈ X
xj ∈ Z j = 1, . . . , pl ≤ x ≤ u
(sPCM)
Pour i = 1, . . . ,m, gi : X → R sont convexes et séparables:
gi (x) =n
∑
j=1
gij(xj)
avec gij : [lj , uj ] → R convexe différentiable.
24 c©2014 IBM corportation
Formulation étendue
On introduit une variable yij pour chaque fonction élémentaire gij :
min cT x
s.t.n∑
j=1
yij ≤ 0 i = 1, . . . ,m,
gij(xj) ≤ yiji = 1, . . . ,m,j = 1, . . . , n,
x ∈ X ,xi ∈ Z i = 1, . . . , p,l ≤ x ≤ u.
(sPCM∗)
25 c©2014 IBM corportation
Application à (1) [Hijazi et al., 14]
Formulation étendue de (1)
min cT x
s.t.n
∑
i=1
yi ≤ (n − 1)/4
(xi − 0.5)2 ≤ yi i = 1, . . . , n
x ∈ Zn.
(2)
xy
z
Son approximation linéaire:
min cT x
s.t.n
∑
i=1
yi ≤ (n − 1)/4
2(
xki − 0.5)
(xi − xki ) +(
xki − 0.5)2
≤ yii = 1, . . . , nk = 1, . . . ,K
x ∈ Zn
26 c©2014 IBM corportation
Application à (1) [Hijazi et al., 14]
Formulation étendue de (1)
min cT x
s.t.n
∑
i=1
yi ≤ (n − 1)/4
(xi − 0.5)2 ≤ yi i = 1, . . . , n
x ∈ Zn.
(2)Son approximation linéaire:
min cT x
s.t.n
∑
i=1
yi ≤ (n − 1)/4
2(
xki − 0.5)
(xi − xki ) +(
xki − 0.5)2
≤ yii = 1, . . . , nk = 1, . . . ,K
x ∈ Zn
26 c©2014 IBM corportation
Application à (1) [Hijazi et al., 14]
Formulation étendue de (1)
min cT x
s.t.n
∑
i=1
yi ≤ (n − 1)/4
(xi − 0.5)2 ≤ yi i = 1, . . . , n
x ∈ Zn.
(2)Son approximation linéaire:
min cT x
s.t.n
∑
i=1
yi ≤ (n − 1)/4
2(
xki − 0.5)
(xi − xki ) +(
xki − 0.5)2
≤ yii = 1, . . . , nk = 1, . . . ,K
x ∈ Zn
2 points suffisent x ∈ {0, 1}n et 1 − x :
− xi + 0.25 ≤ yi i = 1, . . . , n
xi − 0.75+ ≤ yi i = 1, . . . , n
26 c©2014 IBM corportation
Illustration expérimentale
Dans les librairies de modèles tests pour PCM, sur > 100 instances,8 ne sont pas trivialement séparables.En construisant les formulations étendues d’un sous-ensemble de47 instances on obtient une accélération d’un facteur 3 du tempsde résolution par OA.
10
20
30
40
50
60
70
80
90
1 10 100
% o
f m
odel
sol
ved
time factor
SepaOriginal
27 c©2014 IBM corportation
Coupes pour PCM
Les coupes sont une composante essentielle des solveurs PLNE.
Bien sûr on peut toujours appliquer des coupes de PNLE sur unelinéarisation de PCM.
Comment générer des coupes qui exploitent la non-linéarité?
Cela donne-t-il de meilleures coupes?
Une réponse partielle: tant qu’on génère des coupes linéaires ellepeuvent aussi être déduites d’une linéarisation.
Dans les trois dernières années de très nombreux travaux endirection de coupes coniques mais pas encore de résultats vraimentgénéral avec une application frappante.
28 c©2014 IBM corportation
Coupes pour PCM
Les coupes sont une composante essentielle des solveurs PLNE.
Bien sûr on peut toujours appliquer des coupes de PNLE sur unelinéarisation de PCM.
Comment générer des coupes qui exploitent la non-linéarité?
Cela donne-t-il de meilleures coupes?
Une réponse partielle: tant qu’on génère des coupes linéaires ellepeuvent aussi être déduites d’une linéarisation.
Dans les trois dernières années de très nombreux travaux endirection de coupes coniques mais pas encore de résultats vraimentgénéral avec une application frappante.
28 c©2014 IBM corportation
Relaxations Splits
Considérons C un convexe etM := C ∩ (Zp × R
n−p).
Soit k ≤ p, et π ∈ Z, et
C(k,π) := conv
(
C∩({x : xk ≤ π}∪
{x : xk ≥ π + 1})
)
.
(M ⊆ C(k,π) ⊆ C). x1
x2
x1 = 0 x1 = 1
C
M
29 c©2014 IBM corportation
Relaxations Splits
Considérons C un convexe etM := C ∩ (Zp × R
n−p).
Soit k ≤ p, et π ∈ Z, et
C(k,π) := conv
(
C∩({x : xk ≤ π}∪
{x : xk ≥ π + 1})
)
.
(M ⊆ C(k,π) ⊆ C).
xk ≤ π xk ≥ π + 1
29 c©2014 IBM corportation
Relaxations Splits
Considérons C un convexe etM := C ∩ (Zp × R
n−p).
Soit k ≤ p, et π ∈ Z, et
C(k,π) := conv
(
C∩({x : xk ≤ π}∪
{x : xk ≥ π + 1})
)
.
(M ⊆ C(k,π) ⊆ C).
xk ≤ π xk ≥ π + 1
C (k,π)
29 c©2014 IBM corportation
Relaxations Splits
Considérons C un convexe etM := C ∩ (Zp × R
n−p).
Soit k ≤ p, et π ∈ Z, et
C(k,π) := conv
(
C∩({x : xk ≤ π}∪
{x : xk ≥ π + 1})
)
.
(M ⊆ C(k,π) ⊆ C).
Dans la suite on considère le cas où x̂ estle point à séparer, x̂k ∈]0, 1[ (k ≤ p), etπ = 0
C (k,π)
xαTx = β
29 c©2014 IBM corportation
Coupes disjonctive en PLM
Dans le cas où C est un polyèdre: {x : Ax = b, x ≥ 0}
PL de génération de coupe
x̂ ∈ C peut être séparé en résolvant:
minαT x̂ − β
s.t. :
α = uTA+ s − u0ek , α = vTA+ t + v0ek ,
β = uTb, β = vTb + v0,α ∈ R
n, β ∈ R, u, v ∈ Rm, s, t ∈ R
n+, u0, v0 ∈ R+
(CGLP)
Si l’optimum est < 0, αT x ≥ b est une inégalité valide coupant x̂ .
30 c©2014 IBM corportation
Généralisation à la PCM
But: Construire une relaxation linéaire pour laquelle une coupe peutêtre déduite en utilisant CGLP.
1 Résoudre un PNL qui dit si x̂est dans la relaxation split. Sioui, pas de coupe FIN.
2 Sinon, déduire x1, x0 tels quex̂ = λx1 + (1 − λ)x0.
3 Construire une relaxationlinéaire autour de ces 2 points.
4 Résoudre CGLP, qui donne unecoupe.
x
xk ≤ π xk ≥ π + 1
31 c©2014 IBM corportation
Généralisation à la PCM
But: Construire une relaxation linéaire pour laquelle une coupe peutêtre déduite en utilisant CGLP.
1 Résoudre un PNL qui dit si x̂est dans la relaxation split. Sioui, pas de coupe FIN.
2 Sinon, déduire x1, x0 tels quex̂ = λx1 + (1 − λ)x0.
3 Construire une relaxationlinéaire autour de ces 2 points.
4 Résoudre CGLP, qui donne unecoupe.
x
xk ≤ π xk ≥ π + 1
31 c©2014 IBM corportation
Généralisation à la PCM
But: Construire une relaxation linéaire pour laquelle une coupe peutêtre déduite en utilisant CGLP.
1 Résoudre un PNL qui dit si x̂est dans la relaxation split. Sioui, pas de coupe FIN.
2 Sinon, déduire x1, x0 tels quex̂ = λx1 + (1 − λ)x0.
3 Construire une relaxationlinéaire autour de ces 2 points.
4 Résoudre CGLP, qui donne unecoupe.
x
xk ≤ π xk ≥ π + 1
x1x0
31 c©2014 IBM corportation
Généralisation à la PCM
But: Construire une relaxation linéaire pour laquelle une coupe peutêtre déduite en utilisant CGLP.
1 Résoudre un PNL qui dit si x̂est dans la relaxation split. Sioui, pas de coupe FIN.
2 Sinon, déduire x1, x0 tels quex̂ = λx1 + (1 − λ)x0.
3 Construire une relaxationlinéaire autour de ces 2 points.
4 Résoudre CGLP, qui donne unecoupe.
x
xk ≤ π xk ≥ π + 1
x1x0
31 c©2014 IBM corportation
Généralisation à la PCM
But: Construire une relaxation linéaire pour laquelle une coupe peutêtre déduite en utilisant CGLP.
1 Résoudre un PNL qui dit si x̂est dans la relaxation split. Sioui, pas de coupe FIN.
2 Sinon, déduire x1, x0 tels quex̂ = λx1 + (1 − λ)x0.
3 Construire une relaxationlinéaire autour de ces 2 points.
4 Résoudre CGLP, qui donne unecoupe.
x
xk ≤ π xk ≥ π + 1
31 c©2014 IBM corportation
Généralisation à la PCM
But: Construire une relaxation linéaire pour laquelle une coupe peutêtre déduite en utilisant CGLP.
1 Résoudre un PNL qui dit si x̂est dans la relaxation split. Sioui, pas de coupe FIN.
2 Sinon, déduire x1, x0 tels quex̂ = λx1 + (1 − λ)x0.
3 Construire une relaxationlinéaire autour de ces 2 points.
4 Résoudre CGLP, qui donne unecoupe.
x
xk ≤ π xk ≥ π + 1
Remarque
Approche par PNL [Bonami, 2011]. Approche voisine uniquement parPL [Kılınc et al., 2011].
31 c©2014 IBM corportation
Apperçu de résultats expérimentaux
[Kılınc et al., 2011], accélération d’un facteur 3 sur un ensembled’instances "difficiles" avec le NLP/LP B&B de Filimint.[Bonami, 2011], accélération de 24 % sur un ensemble d’instances"non-triviales" avec NLP B&B de Bonmin.Dans les deux cas, des instances non résolues sans coupes sontrésolues en quelques minutes.
Combinaison avec la séparabilité[Kılınç, 2011]
Des résultats encore meilleurs sont obtenus en combinant lesformulations étendues avec les coupes.
Original Extendedn root gap sol time root gap sol time
Batch 10 58.40 376.2 68.77 58.7Markowitz 10 0.00 > 10 800 98.07 1 262SLay 14 68.50 36 86.08 5.0uflquad 15 10.85 784 96.25 145
32 c©2014 IBM corportation
Agenda
1 Le cas convexe
2 Un pas dans la non-convexité avec CPLEX 12.6Programmes Quadratiques MixtesSpatial branch-and-boundExpériences de calculs
3 Conclusions
33 c©2014 IBM corportation
(MI)QP
min12xTQx + cT x
s.t.
Ax = b
xj ∈ Z j = 1, . . . , p
l ≤ x ≤ u
(MIQP)
(avec Q symétrique),
34 c©2014 IBM corportation
(MI)QP
min12xTQx + cT x
s.t.
Ax = b
xj ∈ Z j = 1, . . . , p
l ≤ x ≤ u
(MIQP)
(avec Q symétrique),
Historique de MIQP dans CPLEX
Classe p Q Algorithme V. (Année)QP Convexe 0 � 0 barrier 4.0 (1995)– – – simplexe QP 8.0 (2002)MIQP convexe > 0 � 0 B&B 8.0 (2002)QP non-convexe 0 6� 0 barrier (local) 12.3 (2011)– – – B&B spatial (global) 12.6 (2013)MIQP non-convexe > 0 6� 0 B&B spatial(global) 12.6 (2013)
34 c©2014 IBM corportation
Exemple
Soit G = (N,E ) un graphe et Q la matrice d’incidence de G . La valeuroptimale de :
min12xTQx
s.t.∑
xj = 1
x ≥ 0.
est 1
2
(
1 − 1
χ(G)
)
où χ(G ) est la taille de la plus grande clique de G
[Motzkin and Straus, 1965],
⇒ QP est NP-difficile.
Plus généralement les QP sur un simplex peuvent être résolus parun algorithme non-linéaire de clique maximale [Scozzari andTardella, 2008].
35 c©2014 IBM corportation
(MI)QP Global
Activé en mettant l’option solution target à 3 (ouCPX_SOLUTIONTARGET_OPTIMALGLOBAL).
Note: les versions précédentes pouvaient résoudre certaines classes(0-1 purs, convexes après presolve,...).
Complexité
NP-difficile si Q à au moins 1 valeur propre négative.
Vérifier qu’un QP non-convexe est non-borné est NP-complet.
B&B spatial
Établir une relaxation (convexe), facilement soluble.
Établir des règles de branchement sur les solutions de cetterelaxation.
36 c©2014 IBM corportation
Relaxations élémentaires: approximation d’un carré
La meilleure relaxation convexe d’un carré x21
x1
x21
x1 = l1 x1 = u1
{y ≤ x21}
37 c©2014 IBM corportation
Relaxations élémentaires: approximation d’un carré
La meilleure relaxation convexe d’un carré x21
x1 = l1 x1 = u1
approximation sécante
37 c©2014 IBM corportation
Relaxations élémentaires: approximation d’un carré
La meilleure relaxation convexe d’un carré x21
x2
1 ≤ y+ii := (l1 + u1)x1 − l1u1
37 c©2014 IBM corportation
Relaxations élémentaires: : formules de McCormick
La meilleure relaxation convexe du produit x1x2 [McCormick, 1976]
x1
x2
x1x2
38 c©2014 IBM corportation
Relaxations élémentaires: : formules de McCormick
La meilleure relaxation convexe du produit x1x2 [McCormick, 1976]
x1x2 ≥ y−12
:= max
{
u2x1 + u1x2 − u1u2
l2x1 + l1x2 − l1l2
}
x1x2 ≤ y+12
:= min
{
u2x1 + l1x2 − l1u2
l2x1 + u1x2 − u1l2
}
x1
x2
x1x2
38 c©2014 IBM corportation
Relaxations élémentaires: : formules de McCormick
La meilleure relaxation convexe du produit x1x2 [McCormick, 1976]
x1x2 ≥ y−12
:= max
{
u2x1 + u1x2 − u1u2
l2x1 + l1x2 − l1l2
}
x1x2 ≤ y+12
:= min
{
u2x1 + l1x2 − l1u2
l2x1 + u1x2 − u1l2
}
x1
x2
x1x2
En fonction du signe de qij , on a seulement besoin de y+ ou y−.
Pour simplifier, on suppose qu’on met toutes les inégalités dans lasuite.
38 c©2014 IBM corportation
Reformulation et relaxation Q-space
Soit Q = P + Q̃ avec P la matrice diagonale � 0 des qii > 0.
min12xTPx +
12xT Q̃x + cT x
s.t.
Ax = b
xj ∈ Z j = 1, . . . , p
l ≤ x ≤ u
(MIQP)
39 c©2014 IBM corportation
Reformulation et relaxation Q-space
Soit Q = P + Q̃ avec P la matrice diagonale � 0 des qii > 0.
Ajouter une variable yij = xixj pour chaque q̃ij 6= 0 de Q̃.
min12xTPx +
12〈Q̃,Y 〉+ cT x
s.t.
Ax = b
xj ∈ Z j = 1, . . . , p
Y = xxT
l ≤ x ≤ u
(MIQP)
( 〈Q,Y 〉 =∑
i ,j qijyij )
39 c©2014 IBM corportation
Reformulation et relaxation Q-space
Soit Q = P + Q̃ avec P la matrice diagonale � 0 des qii > 0.
Ajouter une variable yij = xixj pour chaque q̃ij 6= 0 de Q̃.
Relâcher yij = xixj avec McCormik et les sécantes.
min12xTPx +
12〈Q̃,Y 〉+ cT x
s.t.
Ax = b
xj ∈ Z j = 1, . . . , p
y−ij ≤ yij ≤ y+ij
yii ≤ y+ii
l ≤ x ≤ u
(q-MIQP)
39 c©2014 IBM corportation
Reformulation et relaxation EV-space
Factoriser Q = LTDL. Soient z = Lx et zTDz = xTQx et réaliser lesmême étape (mais plus simples)....
min12zTDz + cT x
s.t.
Ax = b, Lx = z
xj ∈ Z j = 1, . . . , p
l ≤ x ≤ u
(MIQP)
40 c©2014 IBM corportation
Reformulation et relaxation EV-space
Factoriser Q = LTDL. Soient z = Lx et zTDz = xTQx et réaliser lesmême étape (mais plus simples)....
Sit D = D+ − D− avec D± des matrices diagonales �.
min12(zTD+z − zTD−z) + cT x
s.t.
Ax = b, Lx = z
xj ∈ Z j = 1, . . . , p
l ≤ x ≤ u
(MIQP)
40 c©2014 IBM corportation
Reformulation et relaxation EV-space
Factoriser Q = LTDL. Soient z = Lx et zTDz = xTQx et réaliser lesmême étape (mais plus simples)....
Sit D = D+ − D− avec D± des matrices diagonales �.
Ajouter des variables yii ≤ z2 pour chaque élément non-nul de D−.
min12zTD+z −
n∑
i=1
dii
2yii + cT x
s.t.
Ax = b, Lx = z
xj ∈ Z j = 1, . . . , p
yii ≤ z2
i
l ≤ x ≤ u
(MIQP)
40 c©2014 IBM corportation
Reformulation et relaxation EV-space
Factoriser Q = LTDL. Soient z = Lx et zTDz = xTQx et réaliser lesmême étape (mais plus simples)....
Sit D = D+ − D− avec D± des matrices diagonales �.
Ajouter des variables yii ≤ z2 pour chaque élément non-nul de D−.
Déduire des bornes finies lz , uz pour z et relâcher yii ≤ z2
i enutilisant les sécantes.
min12zTD+z −
n∑
i=1
dii
2yii + cT x
s.t.
Ax = b, Lx = z
xj ∈ Z j = 1, . . . , p
yii ≤ y+ii
l ≤ x ≤ u, lz ≤ z ≤ uz
(ev-MIQP)
40 c©2014 IBM corportation
Notes sur les deux relaxations
Les étapes sont quasiment les mêmes.
En général, pas comparables.
Si Q est diagonale les deux relaxations sont identiques.
Si Q � 0, EV-space est meilleure: préserve convexité.Q-space donne des approximation étonnamment bonnes [Luedtkeet al., 2012]: si Q à 0 comme diagonale, pour le QP:min{xTQx : 0 ≤ x ≤ 1}.
Si Q ≥ 0 l’approximation est dans un facteur 2.Si Q 6≥ 0 l’approximation est dans un facteur au moinsproportionnel au nombres de non-nuls dans Q (pas serré).
Beaucoup de façons de mieux décomposer Q par ex. [Billionnetet al., 2012, Saxena et al., 2009].
Stratégie dans CPLEX
Utiliser EV-space si le problème à l’air presque convexe.
41 c©2014 IBM corportation
Branchements
Soit (x , y) la solution de la relaxation. Supposons que xj ∈ Z,j = 1, . . . , p.Si pour tout i , j , y ij = x ix j , alors (x , y) est une solution duproblème, FIN.Sinon, (x , y) n’est pas une solution, on doit brancher.Choisir un tel indice i et une valeur θ entre li+ui
2et x i .
Brancher en changeant une borne de xi à θ et en mettant à jourtoutes les approximations sécantes et de McCormick utilisant cetteborne.
x1
x2
x1x2
42 c©2014 IBM corportation
Branchements
Soit (x , y) la solution de la relaxation. Supposons que xj ∈ Z,j = 1, . . . , p.Si pour tout i , j , y ij = x ix j , alors (x , y) est une solution duproblème, FIN.Sinon, (x , y) n’est pas une solution, on doit brancher.Choisir un tel indice i et une valeur θ entre li+ui
2et x i .
Brancher en changeant une borne de xi à θ et en mettant à jourtoutes les approximations sécantes et de McCormick utilisant cetteborne.
42 c©2014 IBM corportation
Branchements
Soit (x , y) la solution de la relaxation. Supposons que xj ∈ Z,j = 1, . . . , p.Si pour tout i , j , y ij = x ix j , alors (x , y) est une solution duproblème, FIN.Sinon, (x , y) n’est pas une solution, on doit brancher.Choisir un tel indice i et une valeur θ entre li+ui
2et x i .
Brancher en changeant une borne de xi à θ et en mettant à jourtoutes les approximations sécantes et de McCormick utilisant cetteborne.
xi = θ
x1 = θ
42 c©2014 IBM corportation
Branchements
Soit (x , y) la solution de la relaxation. Supposons que xj ∈ Z,j = 1, . . . , p.Si pour tout i , j , y ij = x ix j , alors (x , y) est une solution duproblème, FIN.Sinon, (x , y) n’est pas une solution, on doit brancher.Choisir un tel indice i et une valeur θ entre li+ui
2et x i .
Brancher en changeant une borne de xi à θ et en mettant à jourtoutes les approximations sécantes et de McCormick utilisant cetteborne.
xi = θ
x1 = θ
42 c©2014 IBM corportation
Autres ingrédients
Relaxations résolution par un simplexe QP.
Point intérieurs indéfini pour améliorer l’incombant.
Renforcement de bornes basés sur les KKT.
Linéarisation complète des termes quadratique impliquant unevariable 0 − 1.Détection heuristique des problèmes non-bornés:
ne marche pas toujours: RELAXATION_UNBOUNDED
Multi-threadé.
43 c©2014 IBM corportation
Expériences de calculs
390 modèles de diverses origines
Librairie interne de QP 0-1 non-convexes avec 3 variantes :originel, 50% relaché, 100 % relaché.
Globallib [GAMS]
[minlp.org], Box-QP[Burer and Vandenbussche, 2009], . . .
CUTEr [Gould et al., 2003] avec objectifs inversés.
Expériences
Pas vraiment d’autre solveur visant MIQP non-convexe.
Comparaison avec SCIP 3.0.1 [Vigerske, 2012] sur 1 thread.
Comparaison de CPLEX utilisant 1 et 4 threads.
Limite de temps de 3 heures.
44 c©2014 IBM corportation
Comparaison avec SCIP sur différents types de modèles
100
101
102
all ≥1 ≥10 ≥102
avec hors délais
<1 1:10 10:102
102:10
310
3:104
sans hors délais
Pure 0-1. Hors délais: SCIP 5.
0-1 mixtes. Hors délais: CPLEX 2 , SCIP 2.
Continus et entiers généraux. Hors délais: CPLEX 1, SCIP 29.
45 c©2014 IBM corportation
CPLEX multi-thread
0
0.2
0.4
0.6
0.8
1.0
all ≥1 ≥10 ≥102
Avec hors délais
<1 1:10 10:102
102:10
310
3:104
Sans hors délais
4 modèles hors délais avec 1 résolus avec 4.
46 c©2014 IBM corportation
Conclusions
PNLM est toujours très difficile et pas bien résolu.Dans les trois dernières années:
SCIP[Vigerske, 2012]MINOTAUR[Leyffer et al., 2012]GLOMIQO/ANTIGONE [Misener and Floudas, 2013]
(chacun apporte des améliorations fantastiques sur l’état del’art).
Les principaux vendeurs commerciaux essaient aussi d’offrir denouvelles capacités en PNLM.Pour faire de bons solveurs on a besoin de bons ensembles detests:
www.minlp.org: dépot publique de modèles.Je prends tous les (MI)QP qu’on m’envoie (résolus ounon).
47 c©2014 IBM corportation
Traitement des problèmes non-bornés
On essaie de borner toutes les variables par propagation.
Si ce n’est pas suffisant on le fait par PL..Si il reste une direction non-bornée r , on considère son coût rTQr :
Si rTQr < 0: le problème est non-borné (ou irréalisable),Si rTQr ≥ 0: la relaxation est non-bornée mais on ne peut pasconclure sur le statut du problème. CPLEX retourneRELAXATION_UNBOUNDED.
(Très simple de construire des exemples où on ne peut pasconclure).
[Hu et al., 2012]
Proposent un système KKT qui détecte correctement les problèmesnon-bornés.
Utilisent une décomposition de Benders combinatoire pour lerésoudre.
48 c©2014 IBM corportation
References I
K. Abhishek, S. Leyffer, and J. T. Linderoth. FilMINT: Anouter-approximation-based solver for convex mixed-integer nonlinearprograms. INFORMS Journal on Computing, 2010. To appear, DOI:10.1287/ijoc.1090.0373.
W. B. Ameur and A. Ouorou. Mathematical models of the delayconstrained routing problem. Algorithmic Operations Research, 1(2):94–103, 2006.
P. Belotti, C. Kirches, S. Leyffer, J. Linderoth, J. Luedtke, andA. Mahajan. Mixed-integer nonlinear optimization. Acta Numerica,22:1–131, 5 2013. ISSN 1474-0508.
T. Berthold and A. Gleixner. Undercover: a primal minlp heuristicexploring a largest sub-mip. Mathematical Programming, pages 1–32,2013. doi: 10.1007/s10107-013-0635-2.
49 c©2014 IBM corportation
References II
D. Bienstock. Computational study of a family of mixed-integerquadratic programming problems. Mathematical Programming, 74:121–140, 1996.
A. Billionnet, S. Elloumi, and A. Lambert. Extending the qcr method togeneral mixed-integer programs. Mathematical Programming, 131(1-2):381–401, 2012. doi: 10.1007/s10107-010-0381-7.
P. Bonami. Lift-and-project cuts for mixed integer convex programs. InIPCO, pages 52–64, 2011.
P. Bonami, L. T. Biegler, A. R. Conn, G. Cornuéjols, I. E. Grossmann,C. D. Laird, J. Lee, A. Lodi, F. Margot, N. Sawaya, and A. Wächter.An algorithmic framework for convex mixed integer nonlinearprograms. Discrete Optimization, 5(2):186–204, 2008.
P. Bonami, G. Cornuejols, A. Lodi, and F. Margot. A feasibility pumpfor mixed integer nonlinear programs. Mathematical Programming A,119:331–352, 2009.
50 c©2014 IBM corportation
References III
P. Bonami, J. Lee, S. Leyffer, and A. Wächter. On branching rules forconvex mixed-integer nonlinear optimization. ACM JEA, 5, 2013.
R. Boorstyn and H. Frank. Large-scale network topological optimization.IEEE Transactions on Communications, 25:29–47, 1977.
C. Bragalli, C. D’Ambrosio, J. Lee, A. Lodi, and P. Toth. On theoptimal design of water distribution networks: a practical minlpapproach. Optimization and Engineering, pages 1–28, 2011.
S. Burer and D. Vandenbussche. Globally solving box-constrainednonconvex quadratic programs with semidefinite-based finitebranch-and-bound. Comput Optim Appl, 43:181–195, 2009.
M. R. Bussieck and A. Drud. Sbb: A new solver for mixed integernonlinear programming. Talk, OR 2001, Section "ContinuousOptimization", 2001.
51 c©2014 IBM corportation
References IV
R. H. Byrd, J. Nocedal, and R. A. Waltz. KNITRO: An integratedpackage for nonlinear optimization. In Large Scale Nonlinear
Optimization, 35–59, 2006, pages 35–59. Springer Verlag, 2006.
S. Cafieri and N. Durand. Aircraft deconfliction with speed regulation:new models from mixed-integer optimization. Journal of Global
Optimization, pages 1–17, 2013. ISSN 0925-5001.
I. Castillo, J. Westerlund, S. Emet, and T. Westerlund. Optimization ofblock layout deisgn problems with unequal areas: A comparison ofMILP and MINLP optimization methods. Computers and Chemical
Engineering, 30:54–69, 2005.
J. A. De Loera, R. Hemmecke, M. Köppe, and R. Weismantel. Integerpolynomial optimization in fixed dimension. Mathematics of
Operations Research, 31(1):147–153, 2006.
52 c©2014 IBM corportation
References V
M. A. Duran and I. Grossmann. An outer-approximation algorithm for aclass of mixed-integer nonlinear programs. Mathematical
Programming, 36:307–339, 1986.
S. Elhedhli. Service System Design with Immobile Servers, StochasticDemand, and Congestion. Manufacturing & Service Operations
Management, 8(1):92–97, 2006. doi: 10.1287/msom.1050.0094.URLhttp://msom.journal.informs.org/cgi/content/abstract/8/1/92.
A. Frangioni and C. Gentile. Perspective cuts for a class of convex 0-1mixed integer programs. Mathematical Programming, 106:225–236,2006.
GAMS. Global library. URLhttp://www.gamsworld.org/global/globallib.htm.
53 c©2014 IBM corportation
References VI
I. Gentilini, F. Margot, and K. Shimada. The travelling salesmanproblem with neighborhoods: Minlp solution. Optimization Methods
and Software, 28(2):364–378, 2013.
N. I. M. Gould, D. Orban, and P. L. Toint. Cuter and sifdec: Aconstrained and unconstrained testing environment, revisited. ACM
Trans. Math. Softw., 29(4):373–394, Dec. 2003. doi:10.1145/962437.962439.
O. Günlük and J. Linderoth. Perspective relaxation of mixed integernonlinear programs with indicator variables. In IPCO 2008: The
Thirteenth Conference on Integer Programming and Combinatorial
Optimization. Springer, 2008.
O. K. Gupta and A. Ravindran. Branch and bound experiments inconvex nonlinear integer programming. Management Science, 31:1533–1546, 1985.
54 c©2014 IBM corportation
References VII
C. A. Haverly. Studies of the behavior of the recursion for the poolingproblem. SIGMAP Bulletin, 25:19–28, 1978.
H. Hijazi, P. Bonami, and A. Ouorou. An outer-inner approximation forseparable mixed-integer nonlinear programs. INFORMS Journal on
Computing, 26(1):null, 14. doi: 10.1287/ijoc.1120.0545.
J. Hu, J. E. Mitchell, and J.-S. Pang. An lpcc approach to nonconvexquadratic programs. Math. Program., 133(1-2):243–277, 2012.
R. C. Jeroslow. There cannot be any algorithm for integer programmingwith quadratic constraints. Operations Research, 21(1):221–224,1973.
M. Kılınc, J. Linderoth, and J. Luedtke. Effective separation ofdisjunctive cuts for convex mixed integer nonlinear programs.Technical Report 1681, 2011.
55 c©2014 IBM corportation
References VIII
M. R. Kılınç. Disjunctive Cutting Planes ann Algorithms for Convex
Mixed Integer Nonlinear Programming. PhD thesis, University ofWisconsin-Madison, 2011.
J. Lee. How we participate in open source agreements, 2008. URLhttp://ibm.co/1nPMkAM.
S. Leyffer. Integrating SQP and branch-and-bound for mixed integernonlinear programming. Technical report, University of Dundee, 1998.
S. Leyffer, J. Linderoth, J. Luedtke, A. Mahajan, and T. Munson.Minotaur, 2012. URL http://wiki.mcs.anl.gov/minotaur.
J. Luedtke, M. Namazifar, and J. Linderoth. Some results on thestrength of relaxations of multilinear functions. Math. Program., 136(2):325–351, 2012.
56 c©2014 IBM corportation
References IX
A. Mahajan, S. Leyffer, and C. Kirches. Solving mixed-integer nonlinearprograms by qp-diving. Technical Report ANL/MCS-P2071-0312,Mathematics and Computer Science Division, Argonne NationalLaboratory, 2012.
G. P. McCormick. Computability of global solutions to factorablenonconvex programs: Part I—Convex underestimating problems.Mathematical Programming, 10:147–175, 1976.
R. Misener and C. A. Floudas. GloMIQO: Global Mixed-IntegerQuadratic Optimizer. J. Glob. Optim., 57:3–30, 2013.
T. S. Motzkin and E. G. Straus. Maxima for graphs and a new proof ofa theorem of turán. Canadian Journal of Mathematics, 17:533–540,1965.
I. Quesada and I. E. Grossmann. An LP/NLP based branch–and–boundalgorithm for convex MINLP optimization problems. Computers and
Chemical Engineering, 16:937–947, 1992.
57 c©2014 IBM corportation
References X
A. J. Quist, R. van Gemeert, J. E. Hoogenboom, T. Ílles, C. Roos, andT. Terlaky. Application of nonlinear optimization to reactor core fuelreloading. Annals of Nuclear Energy, 26:423–448, 1999.
S. Sager. Numerical methods for mixed–integer optimal control
problems. Der andere Verlag, Tönning, Lübeck, Marburg, 2005.ISBN 3-89959-416-9.
S. Sager. A benchmark library of mixed-integer optimal controlproblems. In J. Lee and S. Leyffer, editors, Mixed Integer Nonlinear
Programming, pages 631–670. Springer, 2012.
A. Saxena, P. Bonami, and J. Lee. Convex relaxations of non-convexmixed integer quadratically constrained programs: Projectedformulations. Mathematical Programming, Series A, 130, 2009.
A. Scozzari and F. Tardella. A clique algorithm for standard quadraticprogramming. Discrete Applied Mathematics, 156(13):2439–2448,2008.
58 c©2014 IBM corportation
References XI
M. Soler, P. Bonami, A. Olivares, and E. Staffetti. Multiphasemixed-integer optimal control approach to aircraft trajectoryoptimization. Journal of Guidance, Control, and Dynamics, 36(5):1267–1277, 2013.
S. Vigerske. Decomposition in multistage stochastic programming and a
constraint integer programming approach to mixed-integer nonlinear
programming. PhD thesis, 2012.
S. Vigerske. Gams minlp benchmarks, 2013. URLhttp://bit.ly/1ftcys8.
T. Westerlund and K. Lundqvist. Alpha-ECP, version 5.101. aninteractive minlp-solver based on the extended cutting plane method.In Updated version of Report 01-178-A, Process Design Laboratory,
Abo Akademi Univeristy, 2005.
59 c©2014 IBM corportation