Upload
zikamner
View
217
Download
0
Embed Size (px)
Citation preview
7/29/2019 Essaim de Particules 13
1/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
38
Facult
dingnierie
Mthodes avances ding. II
GGEN6090
Facult dingnierie
Prof. Grard J. Poitras, ing.Bureau : 132G2Tl : 858-4759Courriel :[email protected]
Facult
dingnierie
Optimisation par essaim de particules
Loptimisation par essaim de particules (particle swarmoptimization, PSO) est une technique doptimisation dveloppe par
Kennedy et Eberhart, 1995.
Elle est base sur le comportement social de groupes danimaux
(poissons, oiseaux, abeilles, insectes).
7/29/2019 Essaim de Particules 13
2/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
39
Facult
dingnierie
Optimisation par essaim de particules Le PSO appartient la classe des mthodes directes de recherche
employes pour trouver une solution optimale une fonction objective
dans un espace de recherche.
L'optimisation d'essaim de particulesest inspire par un comportementdoptimisation sociale.
Un rseau social est dfini, unepopulation dindividus (particules)est initialise. Ces individus sontdes solutions aux problmes
Facult
dingnierie
Optimisation par essaim de particules Un processus itratif pour amliorer ces solutions est utilis. Les particules
valuent itrativement la forme physique des solutions et se rappellent l'endroito elles ont eu leur meilleur succs.
Chaque particule rend cette informationdisponible leurs voisins. Ils peuventgalement voir o leurs voisins ont eu dusuccs.
Chaque particule se dplace danslespace de recherche dune position lautre selon son vecteur de vitesse.
7/29/2019 Essaim de Particules 13
3/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
40
Facult
dingnierie
Optimisation par essaim de particules Des mouvements dans l'espace de recherche sont guids par ces succs, avec la
population convergeant habituellement, vers la fin d'une preuve, sur unesolution de problme.
Facult
dingnierie
On peut expliquer lalgorithme par une analogie: Des abeilles sortent de la ruche pour trouver du pollen des fleurs. Elles
vont voler partout dans les alentours de la ruche. Lorsquune abeille
trouve une bonne source, toutes les autres abeilles vont converger versce point.
Optimisation par essaim de particules
7/29/2019 Essaim de Particules 13
4/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
41
Facult
dingnierie
L'essaim est typiquement model par les particules qui ont une position etune vitesse.
Optimisation par essaim de particules
Ces particules se dplacent dans lespace et ont trois possibilitsessentielles de raisonnement : garder en mmoire le meilleur global, lemeilleur individuel et les meilleurs locaux des groupes de voisins.
i
k
i
kvx
,
meilleurglobal
meilleurindividuel
meilleurlocal
Facult
dingnierie
Dans un problme d'optimisation de minimisation (ou de maximisation), desproblmes sont formuls de sorte que le meilleur signifie simplement laposition avec la plus petite (ou la plus grande) valeur objective.
Les membres d'un essaim communiquent de bonnes positions entre eux etajustent leur propres position et vitesse bases sur ces bonnes positions.
Optimisation par essaim de particules
7/29/2019 Essaim de Particules 13
5/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
42
Facult
dingnierie
Dans un problme d'optimisation, une particule a l'information suivante pourfaire un changement appropri de sa position et vitesse :
Optimisation par essaim de particules
le meilleur global qui est connu tous et immdiatement mis jourquand une nouvelle meilleureposition est trouve par n'importequelle particule dans l'essaim.
les meilleurs locaux qui sont lesmeilleures solutions obtenues dessous-ensembles de l'essaim.
le meilleur individuel, qui est lameilleure solution que la particulea vue.
Facult
dingnierie
Lalgorithme doptimisation par essaim de particules est encore plus simple quecelui de lalgorithme gntique :
Optimisation par essaim de particules
On cre une population departicules.Chaque particule reprsente unesolution possible au problme.
On suppose que 2 facteurs influencentle comportement dune particule.
facteur individuel (la particule). facteur social (les autres
particules).
Chaque particule a une position et unevitesse: la particule se dplace danslespace de recherche.
Espace de recherche
7/29/2019 Essaim de Particules 13
6/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
43
Facult
dingnierie
Optimisation par essaim de particules
tvxxt
xp
rt
xp
rt
xp
rvvi
k
i
k
i
k
i
k
v
k
i
k
g
k
i
k
i
ki
kk
i
k
11
3322111
La position et la vitesse des particules sont mises jour selon :
La position future est fonction de 4 facteurs:
la position prcdente, ;
la vitesse prcdente, ;
la meilleure position obtenue par chaque particule, ;
la meilleure position obtenue de toutes les particules, ;
la meilleure position obtenue pour un sous-ensemble de particules, .
i
kx
i
kv
i
kpg
kp
v
kp
i
kx
1
o k est le poids inertiel
1, 2 et 3 sont des constantes, r1, r2 et r3 sont des nombres alatoiresentre 0 et 1 et test lintervalle de temps entre les itrations.Note : Typiquement, on limite la vitesse entre vmax et vmin.
Facult
dingnierie
Schma de dplacement dune particule dun PSO de type global.
Optimisation par essaim de particules
i
kkv
txpr ikik 11
txpr ikgk 22
i
kx
g
kp
i
kpik
x1
i
kv
i
kx
7/29/2019 Essaim de Particules 13
7/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
44
Facult
dingnierie
Le pseudo-codepour lalgorithme est:
Population initiale,xket vitesses initiales vk(alatoires)
valuer la performancef(xk) de chaque particule
Identifier la particule avec la meilleureperformance = meilleur litration k (mgk)
Modifier la vitesse et la positionde toutes les particules
Optimisation par essaim de particules
k=1
k= k+1
Si k=1, meilleur global mg = mgk
Si k1, mg =max ou min (mg, mgk)
Pour chaque groupe :Identifier les particules avecla meilleure performance =meilleur litration k (mvk)
Pour chaque groupe :Si k=1
meilleur local mv = mvkSi k1
mv =max ou min (mv, mvk)
Pour chaque particule :Si k=1, meilleur individuel mi = mikSi k1, mi =max ou min (mi, mik)
Facult
dingnierie
Pendant que l'essaim ritre, la forme physique de la meilleure solution globales'amliore.
Problmes possibles :
Il pourrait se produire que toutes les particules influences par le meilleurglobal deviennent le meilleur global et la solution ne s'amliore jamais;
Les particules se dplaant proximit de l'espace de recherche du meilleurglobal ne vont pas explorer le reste de l'espace de recherche.
Le choix des coefficients k, 1, 2, 3 et tdans les quations de mise jour de
vitesse, affectent la convergence et la capacit de l'essaim de trouver l'optimum.
Il existe des variations de la mthode de PSO selon lesquelles des groupementsde particules locales communiquent aussi entre eux leur meilleure position, leurmeilleur local, et tous ces groupements de particules forment lessaim qui
communique entre ces groupements
Optimisation par essaim de particules
7/29/2019 Essaim de Particules 13
8/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
45
Facult
dingnierie
Pour un PSO de type global, toutes les particules sont voisins les uns des
autres (topologie entirement connecte). Par consquent, la position dela meilleure globale se propage l'essaim entier. De manire gnrale,un PSO de type global converge gnralement plus rapidement, maispeut demeurer pig dans des optima locaux plus facilement..
Optimisation par essaim de particules PSO de type global
Topologie globale
Facult
dingnierie
Pour les variantes de PSO de type local, les particules sont regroupes enquartiers selon une certaine stratgie. Dans cette variante, les particulesvoisines d'une particule donne peuvent influencer la vitesse de sa mise jour. Par consquent, un PSO de type local (avec ses topologies)converge plus lentement qu'un PSO de type global, mais est moinssusceptible d'tre captur dans des minima locaux due une plus grandediversit de la population.
Optimisation par essaim de particules PSO de type local
Topologie VonNeumann
Topologie anneau
7/29/2019 Essaim de Particules 13
9/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
46
Facult
dingnierie
Les meilleurs locaux permettent l'exploration parallle de l'espace de
recherche et ramne la susceptibilit du PSO tomber dans des minimumslocaux, mais ralentit la vitesse de convergence. Souvent, les meilleurs locauxne sont pas utiliss dans les algorithmes.
Optimisation par essaim de particules
meilleurslocaux
PSO de type local
Facult
dingnierie
Essaim de particules : exemple #1
2222
)()1(),(33)1(2 yxyx
eyxxexyxf
Supposons quon veut trouver le maximum dune fonction deux variables:ox ety varient entre -3 et +3.
tape 1 :Dfinir la taille de la population,N. Avec deux variables, si on utilise la
rgle de 6 ou 7 fois le nombre de variables, on cre un minimum 12 14individus.
Ces particules ressembleront beaucoup aux individus de lalgorithme
gntique.
Crer alatoirement les vitesses initiales des particules.
Ex: deux particules pourraient tre:
P1 = {-0.767, -1.027}, P2 = {2.561, -1.517}
x1 y1 x2 y2
Ex: les vitesses des deux particules pourraient tre:
P1 = {0.573, -1.292}, P2 = {-1.443, -0.682}
vx1 vy1 vx2 vy2
7/29/2019 Essaim de Particules 13
10/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
47
Facult
dingnierie
Essaim de particules : exemple #1 tape 2 :
valuer la performance des particules.
Ex: performance des particules:f(P1) =1.378,f(P2) = 0.0044,f(P3)=0.5873,f(P4)= 1.3968,
f(P5)=1.1036,f(P6)=0.4591,f(P7)=1.0593, etc.
Ex: meilleure performance de la particule P7
Pour la population ci-dessus, la particule P7aurait une meilleureperformance,f(P7)= 1.0593 (meilleur individuel, )
tape 3 :Identifier la meilleure performance de chaque particule jusquici.
7
kp
Identifier la particule ayant la meilleure performance depuis le dbut descalculs.
Ex: meilleure performance de la population de particules depuis ledbut:
Depuis le dbut des calculs, la meilleure performance,f(P)= 1.624(meilleur global, )g
kp
:017.1)(si 7 kpf
Facult
dingnierie
Essaim de particules : exemple #1 tape 4 :
Calculer les vitesses des particules.
Ex: vitesses de la particule P1 {-0.767, -1.027} avec v ={0.573, -1.292}:
si k= 0.4, 1 = 1.0, 2 = 1.0, r1 = 0.5, r2 = 0.3, t= 2.0 ,
{-0.393, -2.531}, {-0.655, -0.850}
Calculer les nouvelles positions des particules.
ty
x
p
prt
y
x
p
pr
v
v
v
vi
k
g
ky
x
i
k
i
ky
x
i
ky
x
k
i
ky
x
2211
1
0.2
027.1
767.0
850.0
655.0
3.00.10.2
027.1
767.0
531.2
393.0
5.00.1
027.1
767.0
4.0
760.0
197.011111
1
k
g
kkkkk
i
kpg
kp
tv
v
y
x
y
xi
ky
x
i
k
i
k
11
0.2
0.2
760.0
197.0
027.1
767.0
547.2
161.11
1
11
1 kkk
Ex: vitesses de la particule P1 {-0.767, -1.027}
7/29/2019 Essaim de Particules 13
11/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
48
Facult
dingnierie
0 10 20 30 40 50 60 70 80 90 1000
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
Generation
Fitness
Maximum
Moyenne
Exemple de rsultat.
Essaim de particules : exemple #1
Pour cet exemple, les rsultats obtenus sont similaires ceux de lalgorithmegntique.
En gnral, cependant, il y a moins de calculs faire avec loptimisation paressaim de particules, puisquon na pas les oprations de croisement, demutation, etc.
g
kp
f( ) =1.671
{-0.623, -0.828}
g
kp
Facult
dingnierie
Il y a un certain nombre de considrations en employant PSO dans la pratique :
on pourrait maintenir les positions ou les vitesses une certaine gamme;
on pourrait donner chaque particule une dure de vie finie aprs quoi elleaurait une position alatoire;
faire des choix intelligents de k, i et ri.
les valeurs k diminuent avec les itrations ; par exemple, de 0.9 unevaleur finale de 0.4.
Optimisation par essaim de particules
Des modifications significatives et non triviales ont t dveloppes pendant lesdernires annes:
optimisations multi objectives, versions conues pour trouver des solutionsde manire satisfaire des contraintes linaires ou non linaires;
versions conues pour trouver les solutions multiples aux problmes;version modifie de l'algorithme appel l'optimisation rpulsive d'essaim departicules, dans laquelle un nouveau facteur est ajout pour maintenir lasparation entre les particules. Si deux particules sont trop prs lunelautre, elles se repoussent.
7/29/2019 Essaim de Particules 13
12/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
49
Facult
dingnierie
Optimisation par essaim de particulesLe poids inertiel
k
Il dfinit la capacit dexploration de chaque particule. Une grande valeurimplique
une grande amplitude de mouvement. loppos, une faible valeur favorise uneexploration locale. Gnralement, la valeur de kest fixe et comprise entre 0.7 et1.2 inclusivement. Mais sa valeur peut galement dcrotre linairement au fil desdiffrentes itrations.
112
et421
21
Les facteurs cognitifs 1 et social 2
Le facteur cognitif f1 pondre la valeur de lexploration locale tandis que lefacteur social f2 est une mesure la tendance suivre le groupe. La convergence delalgorithme repose en grande partie sur le choix de ces deux paramtres.
Ruben et al. recommande que les paramtres respectent les ingalits ci-dessousafin dassurer la convergence de lalgorithme :
Facult
dingnierie
2. Deuxime approche : rduction dynamique du poids inertiel et par consquent la
vitesse des particules.
o k[0, 1] avec une valeur initiale k
= 0.95.
Optimisation par essaim de particulesChoix du poids inertiel
k
Le poids inertiel k peut tre constant ou dcrotre en fonction du nombreditrations.
1. Premire approche : rduction linaire du poids inertiel et par consquent lavitesse des particules.
kkk max
minmax
max1
o k dsigne le nombre ditrations et max= 0.95, min=0.55.
kkk
1
7/29/2019 Essaim de Particules 13
13/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
50
Facult
dingnierie
Optimisation par essaim de particules
Afin dviter que les particules ne se dplacent trop rapidement dans lespace
de recherche, passant ventuellement ct de loptimum, on fixe normalementune vitesse maximale pour amliorer la convergence de lalgorithme.
Cependant, on peut sen passer si on utilise un coefficient de constriction kintroduit par Maurice CLERC et qui permet de resserrer lhyperespace derecherche.
Lquation de la vitesse est alors :
Vitesse maximale et coefficient de constriction
2
411
2
k
211
t
xp
t
xpvv
i
k
g
k
i
k
i
ki
k
i
k k
4
,
4
21
222111
21
rr
o
Facult
dingnierie
Optimisation par essaim de particulesGestion des contraintesLa gestion des contraintes pour des problmes doptimisation consiste en deuxapproches :
La premire approche consiste restreindre la vitesse des particules qui nerespectent pas les contraintes et les rediriger dans lespace de recherche.Cependant cette approche ne garantit pas une solution optimale qui respecte toutesles contraintes. Par ailleurs elle nest pas applicable toutes les situations.
Lautre approche consiste dprcier la valeur de la fonction objective chaquefois quune contrainte nest pas respecte. Ruben et al. propose dappliquerlquation suivante :
om dsigne le nombre de fois o les contraintes ne sont pas respectes;kj dsigne le facteur de pnalit qui croit linairement en fonction du nombreditrationsj;
autrement)(
respectessontscontraintelestoutessi
'
1
m
j
kjk
k
k xfgkxf
xf
xf
7/29/2019 Essaim de Particules 13
14/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
51
Facult
dingnierie
Optimisation par essaim de particulesGestion des contraintes
1. Premire approche :
o aest une constante strictement suprieure 1.
autrement
respectessontscontraintelestoutessi'
k
k
kxf
xfxf
a
2. Deuxime approche :
o m dsigne le nombre de fois o la contrainte nest pas respecte.
autrement
respectessontscontraintelestoutessi'
k
k
kxfm
xfxf
3. Troisime approche :
o m dsigne le nombre de fois o la contrainte nest pas respecte et auneconstante.
autrement
respectessontscontraintelestoutessi'
m
k
k
kxf
xfxf
a
4. Quatrime approche :
o kdsigne le nombre ditrations et aune constante.
autrement
respectessontscontraintelestoutessi'
akxf
xfxf
k
k
k
Facult
dingnierie
Rfrences
1. J. Kennedy, R.C. Eberhart, and Y. Shi. Swarm intelligence. Morgan Kaufmann Publishers, San Francisco, 2001.
2. K. E. Parsopoulos and M. N. Vrahatis. Recent approaches to global optimization problems through particle swarmoptimization.Natural Computing: an international journal, 1(2-3):235-306, 2002.
3. Maurice Clerc and James Kennedy. The particle swarm - explosion, stability, and convergence in a multidimensional complexspace.IEEE Trans. Evolutionary Computation, 6(1):58-73, 2002.
4. Frans van den Bergh. An analysis of particle swarm optimizers. PhD thesis , University of Pretoria, South Africa, 2002.
5. Loan Cristian Trelea. The particle swarm optimization algorithm: convergence analysis and parameter selection.Inf. Process. Lett., 85(6):317-325, 2003.
6. Y. Shi and R.C. Eberhart. Parameter selection in partic le swarm optimization. In Proceedings of the Seventh AnnualConference on Evolutionary Programming, pages 591-600, 1998.
7. Y. Shi and R.C. Eberhart. Empirical study of particle swarm optimization. In Proceedings of the IEEE Congress onEvolutionary Computation (CEC), pages 1945-1950, 1999.
8. J. Kennedy and R.C. Eberhart. A discrete binary version of the particle swarm algorithm. In Proceedings of the WorldMulticonference on Systemics, Cybernetics and Informatics, pages 4104-4109, 1997.
9. Xiaohui Hu, Yuhui Shi, and Russ Eberhart. Recent advances in particle swarm. In Proceedings of IEEE Congress onEvolutionary Computation 2004 (CEC 2004), pages 90-97, 2004.
7/29/2019 Essaim de Particules 13
15/15
Autres algorithmes doptimisation
Universit de Moncton Grard J. Poitras 2013
52
Facult
dingnierie
Rfrences
10. Shuyuan Yang, Min Wang, and Licheng Jiao. A quantum particle swarm optimization. In Proceedings of IEEE Congress onEvolutionary Computation 2004 (CEC 2004), pages 320-331, 2004.
11. Tiago Sousa, Arlindo Silva, and Ana Neves. Particle swarm based data mining algorithms for classification tasks. ParallelComput., 30(5-6):767-783, 2004.
12. Maurice Clerc. Binary partic le swarm optimisers: toolbox, derivations and mathematical insights.http://clerc.maurice.free.fr/pso/binary_pso.
13. J.H. Holland. Adaptation. Progress in theoretical biology, pages 263-293, 1976.
14. S. B. Thrun et al. The MONK's problems: A performance comparison of different learning algorithms. Technical Report CS-91-197, Pittsburgh, PA, 1991.
15. Shaun Saxon and Alwyn Barry. XCS and the monk's problems. In Wolfgang Banzhaf, Jason Daida, Agoston E. Eiben, MaxH. Garzon, Vasant Honavar, Mark Jakiela, and Robert E. Smith, editors, Proceedings of the Genetic and EvolutionaryComputation Conference, volume 1, page 809, Orlando, Florida, USA, 13-17 1999. Morgan Kaufmann.
16. Kenneth A. De Jong and William M. Spears. Learning concept classification rules using genetic algorithms. In Proceedingsof the Twelfth International Conference on Artificial Intelligence (IJCAI), volume 2, 1991.
17. Steward W. Wilson. Classifier fitness based on accuracy. Evolutionary Computation, 3(2):149-175, 1995.
18. Ester Bernad-Mansilla and Josep M. Garrell-Guiu. Accuracy-based learning classifier systems: models, analysis andapplications to classification tasks. Evol. Comput., 11(3):209-238, 2003.
Facult
dingnierie
Rfrences19. T. M. Blackwell and Peter J. Bentley. Dynamic search with charged swarms. In Proceedings of the Genetic and Evolutionary
Computation Conference 2002 (GECCO), pages 19-26, 2002.
20. P. N. Suganthan. Particle swarm optimiser with neighbourhood operator. In Proceedings of the IEEE Congress onEvolutionary Computation (CEC), pages 1958-1962, 1999.
21. Riaan Brits. Niching strategies for particle swarm optimization. Master's thesis, University of Pretoria, Pretoria, 2002.
22. X. Hu and R.C. Eberhart. Multiobjective optimization using dynamic neighborhood particle swarm optimisation. InProceedings of the IEEE Congress on Evolutionary Computation (CEC), pages 1677-16, 2002.
23. J. Kennedy. Stereotyping: improving particle swarm performance with cluster analysis. In Proceedings of the IEEE Congresson Evolutionary Computation (CEC), pages 1507-1512, 2000.
24. K. E. Parsopoulos and M. N. Vrahatis. Particle swarm optimization method in multiobjective problems. In Proceedings of theACM Symposium on Applied Computing (SAC 2002) , pages 603-607, 2002.
25. Carlos A. Coello and Maximino Salazar Lechuga. Mopso: A proposal for multiple objective particle swarm optimization. InProceedings of the Congress on Evolutionary Computation (CEC'2002)) , pages 1051-1056, 2002.
26. Yongde Zhang and Shabai Huang. A novel multiobjective particle swarm optimization for buoys-arrangement design. InProceedings of the IEEE/WIC/ACM International Conference on Intelligent Agent Technology (IAT 2004) , pages 24-30, 2004.
27. X. Li. Adaptively choosing neighbourhoodbests using species in a particle swarm optimizer for multimodal functionoptimization. Lecture Notes on Computer Science, 3102:105-116, 2004.
28. E. Ruben, Perez and Karman Behdinan. Particule swarm optimization in structural design. Vienne Autriche:. Itech Educationand Publishing, 2007.