From genes to behaviora new challenge for

Machine Vision

P. Perona - CaltechOxford University

22 June 2009

Goal: understand this

H. Cartier-Bresson[Cartier-Bresson, Roma]

Why?

Surveillance, sociologyWarfare

EntertainmentAutomotive: safety, comfort

Consumerelectronics

What is `behavior’?

1 frame

1 second

1 minute

1 hour

1 day

10 pix 100 pix 1000 pix

mov

emes

actio

nsac

tiviti

es

step reach glance

walk

hike

have drink

dine flirt

court

write `A’open door

Johansson’s experiments [‘70s]

Johansson’s experiments [‘70s]

Johansson’s experiments [‘70s]

Johansson’s experiments [‘70s]

[Song et al, PAMI 03]

Detection and tracking

[C. Fanti, PhD Thesis, 2008]

Movemes - unsupervised learning

Challenges working with humans

• Detecting/tracking body and parts

• Variable clothing, viewpoint, lighting

• Definition of behaviors

• Ground truth

• Legal restrictions

12

Zidane in a dish

[Dankert et al., Nature Methods, April 2009]

Zidane in a dish

[Dankert et al., Nature Methods, April 2009]

Study fly behavior instead

``Even insects express anger, terror, jealousy and love by their stridulation.’’ -Charles Darwin (1872) The expression of Emotions in Man and Animals p 349

``Flies are like little people, only easier to handle’’ - D. Anderson (2005)

© Hoyer and Heisenberg, 2006

Courtship

Marla B. SokolowskiNature Reviews Genetics 2, 879-892 (2001)

Adapted from:Kravitz et al.PNAS April 16, 2002 vol. 99 no. 85664–5668

Fly behavior(as we understand it today)

Dankert

15/7/2007 03:03:55 PM

From images to behavior

x

y

t

Video stream

tracking

Trajectory

I(x, y, t) !x(t)

statistics

10Mb/s 10kb/s

f1...

fN

Features100b

!f

The puff-o-mat

D. Anderson et al., Caltech, 2004

! "!!! #!!! $!!! %!!! &!!! '!!!!

#

%

'

(

"!

"#

"%

"'

"(

#!

)*+,-./0.1"!2345

6-+/.278.9-7:;<=8.1,,>45

;4#3.,-+/.">".!.)<=.-**?.!0#@'.,,>4

.

.

3-+A!=:!=+B

7+4=.3B22.2*+,-.C'&"

D-E</.:2.-F3:0.2<=.2/C''"

G+=+

G+=+.</.-F3:0.2<=

3*-.3B22.,-G<+/.9-7:;<=8.C!0($

+48,3=:=<;.9-7:;<=8.C"0!'.,,>4

7:E"!.=+BC#0#'

-F3:0.2<=

3-+A.9-7:;<=8C"#0#!.,,>4

! "!!! #!!! $!!! %!!! &!!! '!!!!

#

%

'

(

"!

"#

"%

"'

"(

#!

)*+,-./0.1"!2345

6-+/.278.9-7:;<=8.1,,>45

?:3#3.,-+/.">".!.)<=.-**@.!0%A#.,,>4

.

.

3-+B!=:!=+C

7+4=.3C22.2*+,-.D'&"

E-F</.:2.-G3:0.2<=.2/D''"

?+=+

?+=+.</.-G3:0.2<=

3*-.3C22.,-?<+/.9-7:;<=8.D$0$%

+48,3=:=<;.9-7:;<=8.D"0$&.,,>4

7:F"!.=+CD$0"$

-G3:0.2<=

3-+B.9-7:;<=8D"#0#A.,,>4

!!!!"#$% !!!&'%$%(

)

$

*

+

,

-

.

/0123#

43&506!%73!%288!931'"5:;!<44=#>!!!%?(@(((

!!!!"#$% !!!&'%$%

+

-

A

)(

)$

)+

)-

)A

$(

/0123#

%30B!%'#:!%288!931'"5:;!<44=#>!!!%?(@+$C

!!!!"#$% !!!&'%$%

(

(@,

)

)@,

$

$@,

*

*@,

/0123#

0#;4%:':5"!931'"5:;!<44=#>!!!%?(@,$$

!!!!"#$% !!!&'%$%

$

$@,

*

*@,

/0123#

1'D)(!!!<8>!!!%?(@(((

!!!!"#$% !!!&'%$%

(

,(

)((

),(

$((

$,(

*((

/0123#

43&506!%73!%288!;!%'#5:5'6!<%5E>!!!%?(@((A

!!!!"#$% !!!&'%$%

(@,

)

)@,

$

$@,

*

*@,

+

+@,

E!)(+

/0123#

%'#:%288!&5#:@!:709313&!<44>!!!%?(@(((

Dankert

15/7/2007 03:03:55 PM

From images to behavior

x

y

t

Video stream

tracking

Trajectory

I(x, y, t) !x(t)

classification

eat

drink mate

Ethogram dynamics

t1

t2

10Mb/s 10kb/s 1b/s

(t1, b1) . . . (tN , bN )

‘Lunging’ (view from top)

Tussling

27

Chasing

[Dankert et al., Nature Methods, April 2009]

[Dankert et al., Nature Methods, April 2009]

Parametrization

Detection

a

w

f

d

Detection

Lunge

Chase

Wing threat

a

w

f

d

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

567803

95:1$

8;<67=!-;6->

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1$1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

95:1%1!1?.7810@-,

;.8>-1?.78

A<->1?.783

509-1?.78

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B>C3.78

95:1$

95:1%

!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!

!,%

!,&

!,(

!,*

$

-./012//"334

B<6;-3>.D

95:1$

95:1%

33

-/-, CG9733

Detection performance

[Dankert et al., Nature Methods, April 2009]

Detection performance

Phenotyping

[Dankert et al., in preparation]

Ethograms

[Dankert et al., Nature Methods, April 2009]

Hi-throughput setup

Walking arena

Accuracy

Motor behaviors

Male vs female Wild type vs fru/fru

[Branson et al. , Nature Methods, June 2009]

‘T-Stops’

‘T-Stops’

‘T-Stops’

‘T-Stops’

‘T-Stops’

‘X-Stops’

‘X-Stops’

‘X-Stops’

‘X-Stops’

‘Chicken’

‘Chicken’

‘Chicken’

‘Chicken’

‘Chicken’

‘Jousts’

‘Jousts’

‘Jousts’

‘Jousts’

‘Drag race’

‘Drag race’

What is the fly seeing?

[courtesy A. Straw]

What is the fly seeing?

[courtesy A. Straw]

Learning behaviors without supervision

What are they doing??

Dankert

15/7/2007 03:03:55 PM

Method

Dankert

15/7/2007 03:03:55 PM

Dankert

25/7/2007 03:07:21 PM

Method

Dankert

15/7/2007 03:03:55 PM

Dankert

25/7/2007 03:07:21 PM

Dankert

35/7/2007 03:10:46 PM

Method

!"#$"%&' !"#$"%&( !"#$"%&) !"#$"%&* !"#$"%&+ !"#$"%&, !"#$"%&- !"#$"%&.

!"#$"%&/ !"#$"%&'0 !"#$"%&'' !"#$"%&'( !"#$"%&') !"#$"%&'* !"#$"%&'+ !"#$"%&',

!"#$"%&'- !"#$"%&'. !"#$"%&'/ !"#$"%&(0 !"#$"%&(' !"#$"%&(( !"#$"%&() !"#$"%&(*

!"#$"%&(+ !"#$"%&(, !"#$"%&(- !"#$"%&(. !"#$"%&(/ !"#$"%&)0 !"#$"%&)' !"#$"%&)(

!"#$"%&)) !"#$"%&)* !"#$"%&)+ !"#$"%&), !"#$"%&)- !"#$"%&). !"#$"%&)/ !"#$"%&*0

!"#$"%&*' !"#$"%&*( !"#$"%&*) !"#$"%&** !"#$"%&*+ !"#$"%&*, !"#$"%&*- !"#$"%&*.

!"#$"%&*/ !"#$"%&+0 !"#$"%&+' !"#$"%&+( !"#$"%&+) !"#$"%&+* !"#$"%&++ !"#$"%&+,

!"#$"%&+- !"#$"%&+. !"#$"%&+/ !"#$"%&,0 !"#$"%&,' !"#$"%&,( !"#$"%&,) !"#$"%&,*

Centers & Covariances

58

Optimal No. of Clusters

59

! "! #! $! %! &! '! (! )!!)

!'

!%

!#

!*+"!

& ,-,./+/-0+/123/14--5+,6.178,39,

,-,./+/-0+/123/14--5+,6.17+:+,39,

7-;+-<+=/>9,369

+

+

! "! #! $! %! &! '! (! )!!;$#

!;$$

!;$%

!;$&

!;$'

,39,+8+,6.17+/123/14--5

,6.17

,39,

! "! #!!

!$%

&

'()*+,&

! "! #!!

!$%

&

'()*+,"

! "! #!!

!$%

&

'()*+,-

! "! #!!

!$%

&

'()*+,#

! "! #!!

!$%

&

'()*+,%

! "! #!!

!$%

&

'()*+,.

! "! #!!

!$%

&

'()*+,/

! "! #!!

!$%

&

'()*+,0

! "! #!!

!$%

&

'()*+,1

! "! #!!

!$%

&

'()*+,&!

! "! #!!

!$%

&

'()*+,&&

! "! #!!

!$%

&

'()*+,&"

! "! #!!

!$%

&

'()*+,&-

! "! #!!

!$%

&

'()*+,&#

! "! #!!

!$%

&

'()*+,&%

! "! #!!

!$%

&

'()*+,&.

! "! #!!

!$%

&

'()*+,&/

! "! #!!

!$%

&

'()*+,&0

! "! #!!

!$%

&

'()*+,&1

! "! #!!

!$%

&

'()*+,"!

! "! #!!

!$%

&

'()*+,"&

! "! #!!

!$%

&

'()*+,""

! "! #!!

!$%

&

'()*+,"-

! "! #!!

!$%

&

'()*+,"#

! "! #!!

!$%

&

'()*+,"%

! "! #!!

!$%

&

'()*+,".

! "! #!!

!$%

&

'()*+,"/

! "! #!!

!$%

&

'()*+,"0

! "! #!!

!$%

&

'()*+,"1

! "! #!!

!$%

&

'()*+,-!

! "! #!!

!$%

&

'()*+,-&

! "! #!!

!$%

&

'()*+,-"

! "! #!!

!$%

&

'()*+,--

! "! #!!

!$%

&

'()*+,-#

! "! #!!

!$%

&

'()*+,-%

! "! #!!

!$%

&

'()*+,-.

! "! #!!

!$%

&

'()*+,-/

! "! #!!

!$%

&

'()*+,-0

! "! #!!

!$%

&

'()*+,-1

! "! #!!

!$%

&

'()*+,#!

! "! #!!

!$%

&

'()*+,#&

! "! #!!

!$%

&

'()*+,#"

! "! #!!

!$%

&

'()*+,#-

! "! #!!

!$%

&

'()*+,##

! "! #!!

!$%

&

'()*+,#%

! "! #!!

!$%

&

'()*+,#.

! "! #!!

!$%

&

'()*+,#/

! "! #!!

!$%

&

'()*+,#0

Visited Clusters per Movie

60

! "!

#!!

$!!

%&'()*+,#

! "!

$!!

-!!

%&'()*+,$

! "!

#!!

$!!

%&'()*+,.

! "!

$!!

-!!

%&'()*+,-

! "!

#!!

$!!

%&'()*+,"

! "!

$!!

-!!

%&'()*+,/

! "!

#!!

$!!

%&'()*+,0

! "!

#!!

$!!

%&'()*+,1

! "!

"!

#!!

%&'()*+,2

! "!

$!!

-!!

%&'()*+,#!

! "!

#!!

$!!

%&'()*+,##

! "!

#!!

$!!

%&'()*+,#$

! "!

"!

#!!

%&'()*+,#.

! "!

"!!

#!!!

%&'()*+,#-

! "!

#!!

$!!

%&'()*+,#"

! "!

$!!

-!!

%&'()*+,#/

! "!

"!!

%&'()*+,#0

! "!

"!

#!!

%&'()*+,#1

! "!

$!!

-!!

%&'()*+,#2

! "!

#!!

$!!

%&'()*+,$!

! "!

$!!

-!!

%&'()*+,$#

! "!

$

-

%&'()*+,$$

! "!

#!!

$!!

%&'()*+,$.

! "!

"!

#!!

%&'()*+,$-

! "!

$!!

-!!

%&'()*+,$"

! "!

"!

#!!

%&'()*+,$/

! "!

"!

%&'()*+,$0

! "!

#!!

$!!

%&'()*+,$1

! "!

#!!

$!!

%&'()*+,$2

! "!

"!

#!!

%&'()*+,.!

! "!

#!!

$!!

%&'()*+,.#

! "!

$!!

-!!

%&'()*+,.$

! "!

#!!

$!!

%&'()*+,..

! "!

#!!

$!!

%&'()*+,.-

! "!

#!!

$!!

%&'()*+,."

! "!

#!!

$!!

%&'()*+,./

! "!

$!!

-!!

%&'()*+,.0

! "!

"!

#!!

%&'()*+,.1

! "!

$!!

-!!

%&'()*+,.2

! "!

"!!

%&'()*+,-!

! "!

"!

#!!

%&'()*+,-#

! "!

$!!

-!!

%&'()*+,-$

! "!

#!!

$!!

%&'()*+,-.

! "!

#!!

$!!

%&'()*+,--

! "!

$!!

-!!

%&'()*+,-"

! "!

#!!

$!!

%&'()*+,-/

! "!

#!!

$!!

%&'()*+,-0

! "!

"!

#!!

%&'()*+,-1

Visited Classes per Cluster

61

! "! #! $! %!!

#!

%!

&!

'!

"!!()*+,)-..+"

! "! #! $! %!!

#!

%!

&!

'!

"!!()*+,)-..+#

! "! #! $! %!!

#!

%!

&!

'!

"!!()*+,)-..+$

! "! #! $! %!!

#!

%!

&!

'!

"!!()*+,)-..+%

! "! #! $! %!!

#!

%!

&!

'!

"!!()*+,)-..+/

! "! #! $! %!!

#!

%!

&!

'!

"!!()*+,)-..+&

Visited Cluster per Class

62

Identify Mutants by Behavior?

!1 0 1 2 3 4 5!505

!2

!1

0

1

2

3

4TRAIN/TEST DATA (circles/squares) projected using Fisher Linear Discriminants

Fisher dimension 1Fisher dimension 2

Fis

her

dim

ensio

n 3

!1 0 1 2 3 4 5!1.5!1!0.500.511.522.53

!2

!1

0

1

2

3

4

Fisher dimension 1

TRAIN/TEST DATA (circles/squares) projected using Fisher Linear Discriminants

Fisher dimension 2

Fis

her

dim

ensio

n 3

!!/CG15745

!!/Hr38

!!/sr

!!/CG14186

!!/CG9733

w+

63

1 5 2 6 4 3

0.7

0.8

0.9

1

1.1

1.2

1.3

1.4

1.5

1.6

Dendrogram of distances

1 2 3 4 5 60

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2mean distance from i

i

dist

1 2 3 4 5 6

0.8

1

1.2

1.4

1.6

1.8

dist

i

Percentile distance from i

Behaviors that stand out

``Ethometrics’’(Automating the measurement of behavior)

• Reproducible results

• Explicit assumptions

• Definition of `behavior’

• Rare events

• Cost, boredom, throughput

• Antropomorphic pollution

• Serendipity?

Conclusions

• Tracking

• Expert-defined behaviors

• High-throughput screening

• Unsupervised discovery of behaviors

• Ethometrics

Collaborators

Kristin BransonHeiko Dankert

David Anderson Michael Dickinson

+John BenderClaudio FantiTim LebestkyAlice Robie

Andrew StrawAnne Hergarten

Liming Wang