Systèmes multi-agents & flux du trafic aérien

IntroductionManagement des flux du trafic aerien

Agent Intelligent du Management des flux du trafic aerienResultats des simulations

Conclusion

Decouverte des parcours SMA

Systemes multi-agents distribues pour le managementet le controle des flux du trafic aerien

Mohamed IMLI

Universite Paris Descartes

13 Decembre 2012

Encadre par Mr : Pavlos Moraitis

Mohamed IMLI SMA distribues : Management des flux du trafic aerien



Conclusion

Plan

1 Introduction2 Management des flux du trafic aerien

FACETSysteme d’evaluation

3 Agent Intelligent du Management des flux du trafic aerienChoix de l’agentActions de l’agentApprentissage de l’agentStructure de la recompense de l’agentEstimation de la difference de recompense

4 Resultats des simulationsAvec congestion uniqueAvec deux congestions

5 ConclusionMohamed IMLI SMA distribues : Management des flux du trafic aerien



Conclusion

Introduction

Gestion des flux du trafic aerien:

Un des defis de l’industrie aerospaciale40000 vols commercials par jour aux Etats-UnisLe systeme actuel est centralise et herarchique : tres lent a reagir auxchangements322272 heures de retard par an !Cout : environ 3 Milliards $ par an !




Conclusion

Introduction

Gestion des flux du trafic aerien:

Trouver des solutions fiables et evolutives :⇒ importance primordiale

Objectif de NGATS :⇒ acceuillir 3 fois plus de trafic actuel

Probleme naturellement distribue :⇒ Solution naturelle : utilisation d’une approche Multi-agentsune solution pre-determinee et centralisee est fortement sous-optimale !




Conclusion

Approche Multi-agents

Attribution de l’agent a une position dans un espace 2D⇒ Un plan de vol est une suite de positions

Objectif de chaque agent :⇒ garder la distance de securite entre les avions

Actions :⇒ Accelerer ou ralentir le flux local⇒ Apprentissage par renforcement




Conclusion








Conclusion








Conclusion








Conclusion

Apprentissage par renforcement




Conclusion

Methode Monte Carlo

But ?⇒ Calcul de la moyenne d’une variable aleatoire

Principe ?E[f (X)] = ∑

i

f (Xi) (1)




Conclusion


FACET (Future ATM Concepts Evaluation Tool)

Figure : Facet

Simulateur du trafic aerien developpe par NASA :

Projection des plans de vols dans le temps⇒ tester des algorithmes multi-agents




Conclusion


Systeme d’evaluation

Fonction d’evaluation des performances du systeme :

G(z) =−((1−α)B(z) + αC(z)) (2)

B(z) : penalite du retard de tous les avions du systemeC(z) : penalite pour la congestion totale du systemez : l’etat actuel du systemeα : Une constante a determiner

L’objectif du systeme : Maximiser G(z)




Conclusion


Systeme d’evaluation

Fonction d’evaluation des performances du systeme :

G(z) =−((1−α)B(z) + αC(z)) (2)

B(z) : penalite du retard de tous les avions du systemeC(z) : penalite pour la congestion totale du systemez : l’etat actuel du systemeα : Une constante a determiner

L’objectif du systeme : Maximiser G(z)




Conclusion

Choix de l’agentActions de l’agentApprentissage de l’agentStructure de la recompense de l’agentEstimation de la difference de recompense

Choix de l’agent

Le plus evident ?⇒ Considerer chaque avion comme agent

cette approche pose des problemes :⇒ Un grand systeme massivement multi-agents⇒ L’apprentissage est tres lent

Solution ?⇒ Assigner des agents a des positions sur un espace a 2D⇒ Une zone sur le sol de l’espace aerien⇒ Definie par ses coordonnees




Conclusion


Choix de l’agent







Conclusion


Choix de l’agent







Conclusion


Choix de l’agent







Conclusion


Architecture du systeme multi-agent

Figure : Schema de l’architecture des agents




Conclusion


Actions de l’agent

Un choix evident ?⇒ Soumettre les avions aux agents ..

cette approche pose egalement des problemes :⇒ Les plans de vols seront moins fiables et compliques⇒ probleme d’ordonnecement

Solution ?⇒ Action : garder la distance de securite entre les avions⇒ Cette distance s’appelle MIT⇒ L’agent augmente au diminue la distance MIT




Conclusion









Conclusion









Conclusion









Conclusion


Apprentissage de l’agent

L’agent cherche a maximiser sa recompense⇒ Objectif : apprendre les meilleurs valeurs de MIT

Q(a) = (1− ε)Q(a) + ε(R) (3)

a chaque etape l’agent choisi :

L’action a avec la probabilite : 1− ε

→Exploitation de sa connaissance

Une action aleatoire avec la probabilite : ε

→Exploration des autres actions




Conclusion




Q(a) = (1− ε)Q(a) + ε(R) (3)









Conclusion




Q(a) = (1− ε)Q(a) + ε(R) (3)









Conclusion


Structure de la recompense de l’agent

Une premiere approche ?⇒ performance du systeme

cette approche n’est pas la meilleure⇒ Ralentissement de l’apprentissage

Solution ?⇒ Considerer la difference de la recompense :

Di = G(z)−G(z− zi + ci) (4)

zi est l’action de l’agent i




Conclusion






Di = G(z)−G(z− zi + ci) (4)





Conclusion






Di = G(z)−G(z− zi + ci) (4)





Conclusion






Di = G(z)−G(z− zi + ci) (4)





Conclusion


Estimation de la difference de recompense

⇒ Impossible de calculer directement Di

Solution ?⇒ Faire une estimation

Dest1i = Gf (f (z))−Gf (f (z)−E(f (z)/zi) + E(f (z)/ci)) (5)

Dest2i = Gf (f (z))−Gf (f (z)−E(f (z)/zi) + E(f (z))) (6)




Conclusion










Conclusion










Conclusion

Avec congestion uniqueAvec deux congestions

Simulation avec congestion unique




Conclusion


Simulation avec deux congestions




Conclusion


Nombre d’agents




Conclusion


Influence de α




Conclusion


Cout de calcul




Conclusion

Conclusion

Une solution distribuee adaptative

Pas de changement radical

D’autres pistes ?

Chercher d’autres algorithmes

Etendre la notion d’agent aux secteurs




Conclusion

Conclusion

Une solution distribuee adaptative

Pas de changement radicalD’autres pistes ?

Chercher d’autres algorithmes

Etendre la notion d’agent aux secteurs


Technology

Systèmes multi-agents & flux du trafic aérien