1 Contriubtions du CRIL dans le cadre de lACI Daddi Mars 2006 Présenté par: Zied Elouedi...

1

Contriubtions du CRIL dans le cadre de l’ACI DaddiMars 2006

Présenté par: Zied Elouedizied.elouedi@gmx.fr

2

Introduction

Traitement du problème de détection d’intrusions comme un problème de classification.

3

Ensemble d’apprentissage

Modèle de classificationClassifieur

Choix de la technique

Phase de construction (apprentissage)

Phase de classification (inférence)

Certain Incertain

Certain Incertain

4

Cadre stanadrdCadre stanadrd

5

Ensemble d’apprentissage certain (détection d’intrusions)

Protocole Service Flag Classe

tcp http SF Normal

tcp http RSTO Normal

tcp http REJ Probing

tcp time SF Probing

tcp time SO DOS

tcp auth SF Normal

tcp auth SO DOS

tcp private SF Normal

tcp private SF Normal

tcp private REJ Probing

tcp private RSTO DOS

tcp private SO DOS

udp domain_u SF Normal

udp private SF DOS

tcp http RSTO Normal

tcp private RSTO DOS

tcp http SF Normal

Nature des connexions

…

6

Arbres de décision

Techniques utilisées

o Une technique de classification.

o Expression simple de la connaissance.

o Compréhension et interprétation facile des résultats.

Réseaux Bayésiens naïfs

o Un nœud racine (classe).o Plusieurs nœuds enfants (attributs).o Forte hypothèse (naïve) d'indépendance entre les enfants. dans le contexte de leur parent.

7

Arbres de décision flag

SF

protocole

RSTO

udp

N

tcp

http

P N

domain-uprivate

P

service

REJ

http

N P

domain-uprivate

D

serviceD

udp Private C=?SFNouvelle connexion

8

Réseaux Bayésiens naïfs

Classe

Protocole Service Flag

P(Protocole | Classe) P(Service | Classe) P(Flag | Classe)

P(Classe)

udp Private C=?RSTONouvelle connexion

Max P(Classes | E)E

9

Méta-classifieur

AD

ConnexionMéta-classifieur

AD+RBN

RBN

Type de laconnexion

10

Cadre incertain:Cadre incertain:Arbre de décision crédibilisteArbre de décision crédibiliste

(BDT)(BDT)

11

Protocole Service Flag Classe

tcp http SF Normal

tcp http RSTO Normal

tcp http REJ Probing ou DOS

tcp time SF Probing

tcp time SO DOS

tcp auth SF Normal

tcp auth SO ?

tcp private SF Normal

tcp private SF Normal

tcp private REJ Probing

tcp private RSTO DOS avec degré 1 et U2R avec degré 2

tcp private SO DOS

udp domain_u SF Normal

udp private SF DOS avec degré 1 et (U2R ou R2L) avec degré 2

tcp http RSTO ?

tcp private RSTO DOS

tcp http SF Normal

Ensemble d’apprentissage incertain

12

Fonction de masse de croyance élémentaire (bba)

m: 2 [0,1]

m(A)A

1

m(A) Partie de croyance attribuée exactement à A

Exemple = {A, H, M}; A: Avion; H: Hélicoptère; M: Missile2 = {, {A}, {H}, {M}, {A, H}, {A, M}, {H, M},{A, H, M}}m({A}) = 0.6; m({A, H}) = 0.2; m() = 0.2

Théorie des fonctions de croyance

13

Idée

Utilisation de la théorie des fonctions de croyance qui permet:

L'expression des croyances partielles.

La possibilité d'exprimer l'ignorance partielle ou totale.

Le traitement des jugements subjectifs et personnels.

La représentation des informations mathématiques et épistémiques.

La combinaison de l’évidence survenue de plusieurs sources d’information.

L’adaptation aux systèmes de raisonnement (système expert, système d’aide à la décision, IDS,…).

14

Combinaison Règle conjonctive: Construire une bba quand toutes les pièces d’évidence sont acceptées.

Règle disjonctive: Construire une bba quand au moins une pièce d’évidence est acceptée mais on ne connaît pas laquelle.

Exemplem1({A}) = 0.6; m1({A, H}) = 0.2; m1() = 0.2;m2({H}) = 0.4; m2({A, H}) = 0.3; m2() = 0.3;Règle conjonctive:(m1m2)() = 0.24; (m1m2)({A}) = 0.36; (m1m2)({H})=0.16;(m1m2)({A, H}) = 0.18; (m1m2)() = 0.06;Règle disjonctive:(m1 m2)({A, H}) = 0.56; (m1 m2)() = 0.44;

Théorie des fonctions de croyance

15

Prise de décision

Niveau de croyance Niveau pignistique

Transformation pignistique

Exemplem({H}) = 0.4; m({A, H}) = 0.3; m() = 0.3betP({A}) = 0.25;betP({H}) = 0.65;betP({M}) = 0.1;

Théorie des fonctions de croyance

16

Exemple

Protocole Service Flag Classe

tcp http SF m{I1}

tcp http RSTO m{I2}

tcp http REJ m {I3}

tcp time SF m{I4}

tcp time SO m{I5}

tcp auth SF m{I6}

tcp auth SO m{I7}

tcp private SF m{I8}

tcp private SF m{I9}

tcp private REJ m{I10}

tcp private RSTO m{I11}

tcp private SO m{I12}

udp domain_u SF m{I13}

udp private SF m{I14}

tcp http RSTO m{I15}

tcp private RSTO m{I16}

tcp http SF m{I17}

17

Connexions d’apprentissage

tcp http NSF tcp http m{I1}SF

m{I1}(N) = 1

N : Normal; D: DOS; U: U2R; R: R2L; P: Probing

tcp http REJ tcp http m{I2}REJP D

m{I2}(P D) = 1

tcp auth m{I3}SFtcp auth SF N(70%),D(30%)

m{I3}(N) = 0.7; m{I3}(D) = 0.3

18

Connexions d’apprentissage

udp private m{I4}SFudp private SF D(60%),U R(40%)

m{I4}(D) = 0.6; m{I4}(U R) = 0.4

udp domain-u m{I5}SFudp domain-u SF N(80%),?

m{I5}(N) = 0.8; m{I5}() = 0.2

= {N, D, P, U, R}

tcp auth m{I6}SOtcp auth SO ?

m{I6}() = 1

19

Arbres de décision

Arbre de décision crédibiliste

Traiter l’incertitude au niveau de la détection d’intrusions

Théorie des fonctions de croyance (TBM)++

Arbres de décision crédibilistes (BDT)

20

Arbres de décision crédibilistes (BDT)

flag

SF

protocol-type

RSTO

udptcp

httpdomain-u

private

service

REJ

httpdomain-u

private

service

m1

m5

m6

m4m3m2

m7 m8

Comment construire un classifieur (BDT) avec des classes de connexions d’apprentissages incertaines ?

21

Stratégie de partitionnement

Critères d’arrêt

Structure des feuilles

Mesure de sélection d’attributs

Le principe:

22

Mesure de sélection d’attributs

Extension de l’algorithme de Quinlan (C4.5).

Approche par moyenne Adaptation du ratio de gain au conexte incertain

Utilisation de distance entre les objets.

Approche conjunctiveBasée sur les concepts de base du TBM

23

Approche par moyenne

I4

I1

I2

I3

m{I1}

m{I2}

m{I3}

m{I4}

.

.

Ensemble d’apprentissage T

L’entropie de la distribution des classes dans T. L’entropie de la distribution des classes dans les sous ensembles d’apprentissage (suite au partitionnement).

Calculer la ratio de gain de chaque attribut.

Choisir l’attribut qui offre le plus de ratio de gain

(le plus discriminant)

24

Approche conjunctive

I4

I1

I2

I3

Ensemble d’apprentissage T

m{I1}

m{I2}

m{I3}

m{I4}

.

.

Développer une distance entre bba’s

Tous les objets d’une feuiles doivent êtreproches les uns des autres

Minimiser la distance intra-groupe.

Maximiser la distance inter-group.

25

Création d’une branche pour chaque valeur d’attributs.

Stratégie de pratitionnement

Attributs symboliques

Attributs continus

Découper en sous-ensembles ordonnés

26

Le nœuds contient une seule connexion (objet).

Le nœud contient des connexions ayant la même bba.

Il n’ y a plus d’attributs à tester.

La valeur de la mesure de sélection sur les attributs restants est inférieure ou égale à zéro.

Critères d’arrêt

27

Structure d’une feuille

Un seul objet appartenant à la feuille

bba de la feuille = bba de l’objet

feuille bba sur les classes

Plusieurs objets appartenant à la feuille

bba de la feuille = bba jointe

28

Arbres de décision crédibilistes (BDT)

flag

SF

protocol-type

RSTO

udptcp

httpdomain-u

private

service

REJ

httpdomain-u

private

service

m1

m5

m6

m4m3m2

m7 m8

Comment utiliser le BDT pour trouver les classes des connexions ?

29

Classification off-line

Valeurs d’attributs disponiblesflag: RSTOservice: httpProtocol-type: udp

flag

SF

protocol-type

RSTO

udptcp

httpdomain-u

private

service

REJ

httpdomain-u

private

service

m1

m5

m6

m4m3m2

m7 m8

m6(Probing) =0.5; m6() = 0.5

Normal: 0.1Dos: 0.1U2R: 0.1R2L: 0.1Probing: 0.6

30

Classification off-line/on-line

Qu’en est-il de la classification on-line/anticipée ?

Est-ce qu’on peut arrêter une connexion (douteuse) avantsa terminaison ?

31

Cas disjonctif

valeurs d’attributs disjonctivesflag: RSTOservice: http domain-uProtocol-type: udp

flag

SF

protocol-type

RSTO

udptcp

httpdomain-u

private

service

REJ

httpdomain-u

private

service

m1

m5

m6

m4m3m2

m7 m8

Règle disjonctive: m6 m7

Normal: 0.05; Dos: 0.05; U2R: 0.05R2L: 0.05: Probing: 0.8

32

Cas des valeurs manquantes

valeurs d’attributs manquantesflag: SFservice: httpprotocol-type: ?

flag

SF

protocol-type

RSTO

udptcp

httpdomain-u

private

service

REJ

httpdomain-u

private

service

m1

m5

m6

m4m3m2

m7 m8

Normal: 0; Dos: 0.8; U2R: 0R2L: 0; Probing: 0.2

Règle disjonctive: m1 m2

33

Cas général: attributs incertains

Incertitude dans les valeurs de certains attributs bba pour chaque attribut

flag: m(RSTO) = 1service: m(http domain-u) = 0.8; m(private) = 0.2protocol-type: m(udp) = 0.6; m(udp tcp) = 0.4

flag

SF

protocol-type

RSTO

udptcp

httpdomain-u

private

service

REJ

httpdomain-u

private

service

m1

m5

m6

m4m3m2

m7 m8

Tenir compte de toutes les bba’s

34

Cadre incertain:Cadre incertain:Arbre de décision possibilisteArbre de décision possibiliste

(Approche qualitative)(Approche qualitative)

35

Exemple

SF 3

REJ 4

RSTO 1

http 1

domain-u 3

private 1

<1 2

>=1, <=46 1 >46 2

flagservice count

>0 1

<=0 3

wrong_fragment

36

Théorie des possibilités

Distribution de possibilitésDistribution de possibilités : : [0,1]

Possible / ImpossiblePossible / Impossible : ()=1 / ()=0,

IgnoranceIgnorance : , () = 1

NormalisationNormalisation : / ()=1

A(a1) > A(a2) :

A= a1 est plus plausible que A= a2

OrdinaleOrdinale NumériqueNumérique

complètement possible (()=1)

quelque peu possible

totalement impossible (()=0)

ProduitProduitMinimumMinimum

37

Arbres de décision possibilistes

Différentes façons pour classer des connexions avec des attributs incertains/manquants en utilisant la

théorie des possibilités.

Arbres de décision

Théorie des possibilités++

38

Travail effectué

Plusieurs propositions:

Méthode basée sur les opérateurs Min/max ou Min/leximax

Méthode basée sur les opérateurs Min/leximax

Méthode basée sur les opérateurs Leximin/leximax

39

Méthode basée sur le Leximin/leximax

Établir un pré-ordre total de tous les chemins utilisant l’opérateur leximin

Sélectionner un premier ensemble des classes candidates correspondant aux classes libellant les meilleurs chemins dans le pré-ordre total.

Si cet ensemble contient plus qu’une classe, il faut le raffiner en sélectionnant les classes leximax préférées en utilisant l’ordre leximin-leximax.

40

Exemple

service

http

count

private

<=46

N(P1)

>46

<=0

N(P2)

>0

D(P3)

Wrong_fragment

domain-u

SF REJ RSTO

P(P9)

flagP

(P4)

2

3 1

3

1

13

1

2 113 4

3 1

count

>=1

D(P5)

<1<=0

Wrong_fragment

>0

N(P6)

P(P7)

N(P8)

2 1

3 3 4 4

3 1

P3 =leximinP9 >leximinP1>leximinP2 =leximinP4=leximin P6 >leximinP5 >leximinP8 >leximinP7

SF 3

REJ 4

RSTO 1

http 1

domain-u 3

private 1

<1 2

>=1, <=46 1 >46 2

flagservice count

>0 1

<=0 3

wrong_fragment

41

C={ P, D}

Exemple service

http

count

private

<=46

N(P1)

>46

<=0

N(P2)

>0

D(P3)

Wrong_fragment

domain-u

SF REJ RSTO

P(P9)

flagP

(P4)

2

3 1

3

1

13

1

2 113 4

3 1

count

>=1

D(P5)

<1<=0

Wrong_fragment

>0

N(P6)

P(P7)

N(P8)

2 1

3 3 4 4

3 1

P3 =leximinP9 >leximinP1>leximinP2 =leximinP4=leximin P6 >leximinP5 >leximinP8 >leximinP7

P=(P9, P4, P7) >leximin-leximax D=(P3, P5) Donc la classe candidate est P

42

Autre options

Arbres de décision qualitatifs (possibilistes) avec options

Arbres de décision possibiliste (incertitude au niveau de

l’apprentissage).

Evaluation des classifieurs

43

Travaux en cours

Réseaux naïfs crédibilistes

Réseaux naïfs possibilistes

Expérimentations

44

Publications"Qualitative classification with possibilistic decision trees" Nahla Ben Amor, Salem Benferhat, Zied Elouedi, Chapitre of The Tenth InternationalConference on Information Processing and Management of Uncertainty in Knowledge-Based Systems IPMU 2006.

"Réseaux Bayésiens naïfs et arbres de décision dans les systèmes dedétection d'intrusions" Nahla Ben Amor, Salem Benferhat, Zied Elouedi, A paraître dans le journal Technique et Science Informatiques (TSI), 2006.

"Qualitative inference in possibilistic option decision trees“ Ilyes Jenhani, Zied Elouedi, Nahla Ben Amor, Khaled. Mellouli, The Eighth European Conference of Symbolic and Quantitative Approaches to Reasoning with Uncertainty ECSQARU-2005, Barcelone, Espagne, 944-955, 6-8 Juillet 2005.

"Towards a definition of evaluation criteria for probabilistic classifiers“Nahla Ben Amor, Salem Benferhat, Zied Elouedi, The Eighth European Conference of Symbolic and Quantitative Approaches to Reasoning with Uncertainty ECSQARU-2005, Barcelone, Espagne, 921-931,6-8 Juillet 2005.

“On the combination of Naïve Bayes and decision trees for intusion detection“Salem Benferhat, Karim Tabia, The International Conference of Intelligence, Control and Automation, CIMCA 2005.