48
Facial Expression Recognition A.i. By TEAM BIG August 23, 2017 1

Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Facial Expression Recognition A.i.

By TEAM BIGAugust 23, 2017

1

Page 2: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Table of Contents

➔ IntroductionWhy we built our A.i.

➔ BodyWhat our A.i can doHow we made our A.i.

➔ ConclusionHow can we improve our A.i.?

2

Page 3: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Introduction

Why did we build Facial Recognition A.i.?

3

Page 4: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

우리 프로젝트는?

4

Page 5: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

컴퓨터 비전이란…

5

Page 6: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

표정분석은 일부분

6

Page 7: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

그럼, 왜 표정분석인가?

입력디바이스의진화

표정분석

개발스코프

7

Page 8: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

표정분석이 가능해진다면…

8

Page 9: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

9

Page 10: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

빅데이터란?

10

Page 11: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

+ =

11

Page 12: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Body 1

What can our A.i. do?

12

Page 13: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Paul Ekman의 7대 미세 표정

13

Page 14: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

회선신경망이란?

14

Page 15: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

15

Page 16: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

DEMO

1

16

Page 17: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

The Link to Demo 1

17

Page 18: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Demo 1 - ResultsIntensity

Time(sec)

18

Page 19: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

DEMO

2

19

Page 20: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

The Link to Demo 2

20

Page 21: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

21

Page 22: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

22

Page 23: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

23

Page 24: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

24

Page 25: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

25

Page 26: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

DEMO

직접시연3

26

Page 27: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Demo 1

짧은 영상

Demo 2

영화 전체

Demo 3

직 찍

27

Page 28: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Body 2

How did we build our A.i.?

28

Page 29: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

과정

모델 생성 과정

➔ 사진수집 과정

➔ 전처리과정

모델 적용 과정

➔ 영상을 1초별 Frame 자름

➔ Azure API 활용전처리

➔ 자체모델에 입력

➔ CSV Output

➔ R을활용해시각화

29

Page 30: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

30

Page 31: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

크로울링Python

Google Image Crawler

Keyword

31

Page 32: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Crawling 방법

32

Page 33: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

사진 전처리 과정

33

Page 34: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

사진 전처리 과정

34

Page 35: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

사진 전처리 과정

35

Page 36: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Q.A. - 결측치 기준

36

Page 37: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

37

Page 38: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

38

Page 39: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

39

Page 40: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

전처리 결과물

40

Page 41: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

전처리 결과물

최대치: 1만6천 장, Neutral

최소치: 266장, Fear

41

Page 42: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

모델은 최소치 값으로 제작 (266개)

42

Page 43: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Process 1

전처리:코드

Process 2

전처리:수기

Process 3

클린데이터

266

43

Page 44: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Conclusion

How can we improve our A.i.?

44

Page 45: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

10% 향상예측 5%향상예측 5% 향상예측

향후 버전에 대한 로드맵…

45

Page 47: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Outside Programs Used

47

Page 48: Facial Expression Recognition A.i.266장, Fear 41. 모델은최소치값으로제작(266개) 42. Process 1 전처리: 코드 Process 2 전처리: 수기 Process 3 클린

Thank you for watching.Feel free to ask any questions!

48