테크니컬 리포트

사람 행동 영상 AI 데이터

사람 동작 영상 (3D, Multi-person)

한국 정보화 진흥원 (NIA)

KT 컨소시엄

개요: 사람 동작 영상 (3D, MULTIPERSON) 데이터 셋

2 명 이상의 여러 사람이 상호작용하는 영상에서 사람의 3D 자세 (3D human pose)과 3D 형태

(3D human shape)를 추론할 수 있도록 학습하기 위해 필요한 학습용 데이터 셋으로 사람의

동작 추정 (human pose estimation) 분야에 적용하여 커머스, 스포츠 및 AR・VR・MR 같은

실감 미디어 서비스를 개발하는데 활용될 수 있다. 아래 그림 1 은 사람 동작 영상 학습용

데이터 셋 구축에 대한 개요를 나타내고 있다.

그림 1. 사람 동작 영상 (3D, multi-person) 학습용 데이터 셋의 개요

3

데이터 셋의 구성

본 데이터 셋의 구성은 아래 그림 2 와 같이 2D 영상, 3D 모델, 3D 인체 자세, 그리고 3D 인체

표면 폴리곤 세그먼테이션으로 구성되어 있으며, 데이터 자료의 규모는 표 1 에서와 같이 2D

영상 200 만 개, 3D 모델 40 만 개, 그리고 3D 인체 자세와 3D 폴리곤 세그먼테이션 labeling

데이터가 각각 40 만 개로 되어있다. 특히, 본 데이터 셋에서는 인공지능 데이터의 활용

목적에 따라 다양하게 적용할 수 있도록 고품질의 2D 영상 및 3D 모델을 일부 제공하여 그

활용성을 높이도록 구성하였다.

표 1. 사람 동작 영상 (3D, multiperson) 학습용 데이터 구성

데이터 종류 데이터 규모

2D 영상 일반 2D 영상 198 만 개 200 만 개

고품질 2D 영상 2 만 개

3D 모델 일반 3D 모델 39.5 만 개 40 만 개

4

데이터 종류 데이터 규모

고품질 3D 모델 0.5 만 개

Labeling 데이터 3D 인체 자세 40 만 개

3D 인체 표면 폴리곤 세그먼테이션 40 만 개

표 2. 데이터 종류와 규모

5

데이터 셋의 설계 기준과 분포

데이터 셋을 설계할 때 가장 중요하게 고려했던 점은 2 명 이상의 사람이 상호동작하는 환경과

이 데이터 셋을 활용하여 서비스를 만들 때 효율적으로 활용할 수 있는 내용이다. 이를 위해

산업계의 서비스 요구와 학계, 연구기관의 자문을 통해 기본 동작과 응용 동작을 포함한 총

100 가지 동작을 선별하고, 2D 영상 및 3D 모델을 위한 연기자 또한 남녀 성비 및 연령별 분포

통계에 따른 다양성을 고려하여 200 명에 대한 데이터를 수집하였다.

항목 내용

전체 촬영 사람 수 200 명 이상

동시 촬영 사람 수 2 명 이상 (2 ~ 4 명)

성별 남 / 여

나이 7 ~ 69 세

신체 특징 키, 체형

(한국인 전체 체형 분류 - 작은 역삼각 체형, 큰 사각 체형, 사각 체형, 삼각 체형)

표 2. Subject 다양성을 위한 고려사항

성별 인원 (명) 성비 (%)

남자 100 50.0

여자 100 50.0

표 3. 연기자 성별에 따른 인원과 분포

연령대 인원 연령 비 (%)

10 대 이하 20 10.0%

10 대 20 10.0%

20 대 35 17.5%

6

연령대 인원 연령 비 (%)

30 대 35 17.5%

40 대 30 15.0%

50 대 30 15.0%

60 대 이상 30 15.0%

표 4. 연기자 연령에 따른 인원과 분포

번호 동작 분류 동작 설명

1 기본 동작 걷기 나란히 걷기

2 교차하며 걷기

3 손잡고 걷기

4 인사하기 악수

5 고개 인사

6 전통 절

7 손 인사

8 경례

9 포옹

10 하이파이브

11 대화하기 마주보고 서서

12 마주보고 앉아서

13 앉기 무릎 꿇고

14 양반다리

15 쪼그려서

16 무릎 세우고

17 박수 마주보며 위로

7

번호 동작 분류 동작 설명

18 마주보며 앞으로

19 마주보며 위아래로

20 뛰기 제자리 뛰기

21 멀리 뛰기

22 한발로 제자리 뛰기

23 업기 업히기

24 등 스트레칭

25 팔로 안아주기

26 목마 태우기

27 눕기 위를 보며 눕기

28 엎드려 눕기

30 같은 방향 옆으로 눕기

31 응용동작 스트레칭 목

32 허리

33 팔

34 다리

35 고관절

36 재활운동 손 위로 좌우 흔들기

37 양손 번갈아 위아래 흔들기

38 양팔로 시간 표현

39 양손 공 잡기

40 양손 공 주고받기

41 한 손 공 잡기

42 한 손 공 주고 받기

43 화상회의 발표

8

번호 동작 분류 동작 설명

44 손 깍지

45 메모

46 질문 (손들기)

47 스포츠 배드민턴 서브

48 배드민턴 리시브

49 야구 배팅

50 야구 피칭

51 농구 드리블

52 농구 슈팅

53 골프 퍼팅

54 골프 스윙

55 축구 패스

56 축구 슈팅

57 탁구 서브

58 탁구 리시브

59 사격 서서 쏴

60 사격 앉아 쏴

61 사격 누워 쏴

62 홈 트레이닝 스쿼트

63 런지

64 플랭크

65 팔굽혀 펴기

66 덤벨 컬

67 홈트동작 1

68 홈트동작 2

9

번호 동작 분류 동작 설명

69 홈트동작 3

70 홈트동작 4

71 홈트동작 5

72 홈트동작 6

73 홈트동작 7

74 홈트동작 8

75 유아교육 팔 율동

76 다리 율동

77 전신 율동

78 커버 율동 1

79 커버 율동 2

80 커버 율동 3

81 커버 율동 4

82 커버 율동 5

83 코로나 예방수칙 소매 기침

84 손바닥 기침

85 간격 두고 줄서기

86 코로나 인사

87 악기연주 기타+노래

88 건반+노래

89 리코더+노래

90 노래 (중창)

91 커머스 옷 입기

92 계산하기

93 물건 주고받기

10

번호 동작 분류 동작 설명

94 교차하기

95 도전적 동작 복싱

96 제자리 한 바퀴 돌기

97 다리 꼬기

98 두 팔 교차

99 어깨동무

100 유도

표 5. 동작 분류 100 가지

11

데이터 구조

데이터 셋의 어노테이션 설계는 사람의 3D 자세 및 형태 추정에 도움을 줄 수 있도록 3D

인체 자세 (skeleton)와 3D 인체 폴리곤 세그먼테이션으로 구성함.

1. 3D 인체 자세 정보

- 데이터 셋 AI 허브의 ‘인체 동작 데이터 셋’과의 연속성 확보를 위해 ‘인체 동작 데이터

셋’의 관절 표시 (joint) 구성을 바탕으로, 비슷한 구조의 3D json 포맷을 따름.

- 기존의 16 개 관절 표시에 얼굴, 손, 발의 위치를 더 구체적으로 나타내기 위해 11 개의

관절 표시를 추가하여 총 27 개의 관절을 표시함.

- 구체적인 관절 표시 label 정보는 다음과 같음.

Index 관절 정보

0 가운데 엉덩이

1 왼쪽 엉덩이

2 왼쪽 무릎

3 왼쪽 발목

4 왼쪽 엄지 발가락

5 왼쪽 새끼 발가락

6 오른쪽 엉덩이

7 오른쪽 무릎

8 오른쪽 발목

9 오른쪽 엄지 발가락

12

Index 관절 정보

10 오른쪽 새끼 발가락

11 허리

12 가슴

13 목

14 왼쪽 어깨

15 왼쪽 팔꿈치

16 왼쪽 손목

17 왼쪽 손바닥 엄지

18 왼쪽 손바닥 약지

19 오른쪽 어깨

20 오른쪽 팔꿈치

21 오른쪽 손목

22 오른쪽 손바닥 엄지

23 오른쪽 손바닥 약지

24 코

25 왼쪽 눈

26 오른쪽 눈

표 6. 3D 인체 자세 label 정보

13

그림 2. 3D 인체 자세 label 의 위치

2. 3D 인체 폴리곤 세그먼테이션

- 데이터 셋 AI 허브의 ‘인체 동작 데이터 셋’과의 연속성 확보를 위해 ‘인체 동작 데이터

셋’의 관절 표시 (joint) 구성을 바탕으로, 비슷한 구조의 3D json 포맷을 따름.

- 신체 폴리곤 세그먼테이션은 사람의 3D 형태가 동작을 취하며 변할 때, 관절을

기준으로 한 각 신체 부위가 함께 움직이기 때문에 다음과 같이 구성함.

14

- 추가로 향후 데이터 셋의 호환 및 확장을 위해 다른 신체 부위와는 조금 다르게 변형

(deformation)되는 경향이 있는 머리카락 (0), 상의 (16), 하의 (17), 물건 (18)에 대한

내용도 미리 정의함.

- 3D 인체 폴리곤 세그먼테이션 정보는 3D 인체 자세와 같이 json 포맷을 사용함.

- 구체적인 신체 부위 어노테이션은 다음과 같음.

Index Body part

0 Hear

1 Head, Face (Neck)

2 Front Torso

3 Back Torso

4 Right Upper Arm

5 Right Lower Arm

6 Left Upper Arm

7 Left Lower Arm

8 Right Hand

9 Left Hand

10 Right Upper Leg

11 Right Lower Leg

12 Left Upper Leg

13 Left Lower Leg

14 Right Foot

15 Left Foot

16 Shirt (tops)

17 Pants (bottoms)

18 Object

15

표 7. 3D 인체 폴리곤 세그먼테이션 label 정보

3. 파일 구조 및 데이터 형태

- Mesh 파일 이름 형태

{actor_index}_{mesh_index}_{cloth_index}_{motion_index}_{per-

son_ID}_{frame}.obj

- 폴더 구조

Dataset (root)

{actor_index}_{mesh_index}_{left_index}_{motion_index}_{frame} (directory)

4. 어노테이션 포맷

No 항목 내용 타입 필수여부

1 Mesh Mesh 정보 List Y

1 Id Mesh ID Number Y

2 texture_file_name Texture 파일 이름 String Y

3 obj_file_name Obj 파일 이름 String Y

4 image_list Mesh 구성 영상 목록 List Y

5 actor_id 배우 ID Number Y

2 Images 영상 (image) List Y

1 image_id 영상 (image) ID Number Y

16

No 항목 내용 타입 필수여부

2 height 영상 세로 크기 Number Y

3 width 영상 가로 크기 Number Y

4 frame_index 비디오 내 프레임

인덱스

Number Y

5 file_name 영상 파일 이름 String Y

6 license 라이선스 정보 Number Y

7 depth_file 깊이 영상 파일 이름 Number Y

3 categories 카테고리 List Y

1 type 데이터 타입 String Y

2 type_id 데이터 타입 ID Number Y

3 skeleton 관절 구조 List Y

3-1 skeleton[i] 관절 연결 정보 List[a, b] Y

4 key points 관절 라벨 List Y

4-1 key points[i] 각 관절 라벨 정보 String Y

5 segments 신체 영역 라벨 List Y

5-1 segments[I] 각 신체 영역 라벨 정보 String Y

4 annotations 어노테이션 List Y

1 id 어노테이션 ID Number Y

2 image_id 영상 ID Number Y

3 video_id 비디오 ID Number Y

4 actor_id 배우 ID Number Y

5 type_id 데이터 타입 ID Number Y

6 box 바운딩 박스 List [x, y, w, h] Y

7 segmentation 신체 영역 List Y

7-1 counts RLE 방식의 영역 분할 List Y

7-2 size 신체 영역 맵 크기 List [w, h] Y

17

No 항목 내용 타입 필수여부

8 area 바운딩 박스 내 영역

크기

Number Y

9 iscrow Segmentation based

on polygon / RLE

Number Y

10 num_keypoints 관측 가능한 관절 수 Number Y

11 keypoints_2d 2 차원 관절 List Y

11-1 x, y, visibility 2 차원 관절 위치 정보 Number Y

12 keypoints_3d 3 차원 관절 Number Y

12-1 x, y, z, yaw, pitch, roll 3 차원 관절 위치 정보 Number Y

5 actors 배우 List N

1 license 라이선스 정보 String N

2 image_id 영상 고유번호 Number N

3 image_path 영상 파일 경로 String N

4 video_id 비디오 고유번호 Number N

6 videos 비디오 List Y

1 Id 비디오 ID List Y

2 frame_rate 프레임 레이트 Number Y

3 width 비디오 가로 크기 Number Y

4 height 비디오 세로 크기 Number Y

5 camera_id 카메라 ID Number Y

6 parameters 카메라 파라미터 List Y

6-1 intrinsic 내부 파라미터 List Y

6-2 extrinsic 외부 파라미터 List Y

7 file_name 비디오 파일 이름 String Y

8 date_capture 촬영 날짜 String N

7 license 라이선스 정보 List Y

18

No 항목 내용 타입 필수여부

1 id 라이선스 ID Number Y

2 name 라이선스 이름 String N

3 url 라이선스 사이트 주소 String N

8 info 기타정보 String Y

1 version 데이터 버전 String N

2 description 데이터 이름 String N

3 year 생성 년도 Number N

4 contributor 제공자 String N

5 url 데이터 사이트 주소 String N

6 date_create 생성 날짜 String N

표 8. 어노테이션 포맷

5. 데이터 구성 형태

Data Format

├ Annotation Json

⎿ Section Array

├ Image JPG, PNG

├ Action [1]

├ Camera [1]

├ Camera [∙ ∙ ∙ ]

├ Camera [N]

├ Action [∙ ∙ ∙ ]

⎿ Action [100]

├ Video AVI, MP4

19

Data Format

├ Action [1]

├ Camera [1]

├ Camera [∙ ∙ ∙ ]

├ Camera [N]

├ Action [∙ ∙ ∙ ]

⎿ Action [100]

⎿ Mesh OBJ

├ Action [1]

├ Action [∙ ∙ ∙ ]

⎿ Action [100]

표 9. 데이터 구성 형태

20

데이터 구축 과정

1. 데이터 구축 개요

그림 3. 데이터 구축 개요

2. 데이터 획득

2-1. 데이터 수집 방법

21

- 모든 데이터 직접 촬영: 웹 크롤링 같은 간접 데이터 수집이 아닌 컨소시엄

참여업체를 통한 직접 획득을 통해 원천 데이터 - 2D 영상 및 3D 모델 을 확보함.

- [개인정보 보호 준수] 법률적 확보 방안: 명확한 용도 제시와 사용 목적이 포함된

개인정보 및 초상권에 대한 사용 동의서를 작성하고, 데이터 제공자에게 충분히 알린

다음, 동의를 구하여 법률적 문제를 해결함.

2-2. 사람 동작 영상 데이터 수집

- 다양한 인체 유형 및 다량의 동작 회득 등 인공지능 학습에 원활한 학습 데이터

구축을 목표로 하여 스테레오 (다시점 RGB-D) 기반 인체 외형 3D 복원 솔루셜 활용

및 고품질 외형 복원 학습을 위한 고해상도 다시점 카메라 (DSLR) 기반 고품질 외형

3D 복원 솔루션 활용함.

- 여러 사람 (다중객체)의 3D 모델 복원 방법은 아래의 블록도를 기반으로 함.

그림 4. 3D 모델 복원 방법 블록도

- 다중 객체의 3D 모델과 텍스처 맵을 동시에 복원하기 위해 영상 및 포인트 클라우드

기반 클러스터링 기법이 활용됨.

22

- 영상 정보와 기하 정보를 함께 확인하여 각 시점으로부터 개별 객체에 대한 3D

모델의 복원하고, 동시에 개별 객체의 영상 정보로부터 텍스처 맵을 복원함.

그림 5. 스테레오 (다시점 RGB-D) 기반 인체 외형 복원 2D/3D 자료 수집

그림 6. 스테레오 (다시점 RGB-D) 기반 인체 외형 복원 실시간 깊이 추정 및 입력 영상 캘리브레이션, ini-

tial 포인트 클라우드 예시

23

그림 7. 고해상도 다시점 (DSLR) 시스템을 통해 획득한 사람 동작 영상의 3D 모델 예시

3. 데이터 정제

3-1. 스캔 데이터 정제

- 컴퓨터 그래픽스 전문가들이 원본 3D 모델 데이터의 잡 신호 제거 및 학습에 활용할

수 있도록 고품질의 학습 데이터로 가공하는 과정을 수행함.

- 획득한 3D 스캔 데이터를 Zbrush, ZWrap 플러그인, Wrap 프로그램을 통해 학습

데이터 구축 및 활용에 쉬운 형태로 가공함.

3-2. 스캔 데이터 정제 및 가공 세부 과정

- 원본 3D 스캔 데이터를 Wrap 프로그램을 통해 대량의 스캔 데이터로 일괄적으로

정제함.

- 원하는 기능의 노드 추가를 통해 정제 과정을 수행함.

24

- Wrap 으로 초반 작업을 진행한 후에 후반 작업은 세부적인 표현을 향상하기 위해

Zbrush 로 가공을 진행함.

그림 8. 학습 데이터 정제 과정 예시

3-3. 획득 및 정제 기준

구분 사양 비고

데이터 외형 (mesh) 100k polygon .obj 형식

데이터 영상 (texture) 1024 * 1024 pixels .jpg 형식

원본 영상 2D 영상 1920 * 1080 pixels RGB-D 입력 영상

표 10. 스테레오 (다시점 RGB-D) 기반 데이터 사양

25

구분 사양 비고

데이터 외형 (mesh) 300 ~ 500k polygon .obj 형식

데이터 영상 (texture) 8192* 8192 pixels .jpg 형식

원본 영상 2D 영상 6000 * 4000 pixels .jpg 형식

표 11. 고해상도 다시점 카메라 (DSLR) 기반 데이터 사양

4. 데이터 가공

4-1. 어노테이션/라벨링 절차

- 라벨링 절차를 분석, 설계, 세팅, 가공, 완료 단계로 세분화 하여 추진함.

그림 5. 학습용 데이터 가공 프로세스

- 분석: 프로젝트 정의, 요구사항, 정의, 데이터 셋 정의함.

- 설계/세팅: 프로젝트 work-flow 를 하위 작업 단계 (stage)로 세분화하여 설정함.

26

- 가공/완료 : 작업자는 온라인 (오프라인 가능) 환경 어디서나 가공 작업이 가능하며,

작업이 완료되면 검수자에게 자동 전달함.

그림 6. 프로젝트 설계 화면

4-2. 어노테이션/라벨링 도구

- 어노테이션 전문기업 (주)에이모가 개발한 저작도구를 활용함.

- (작업) 작업자 활용을 위한 편의 기능 탑재함. (작업 이동, 화면 조절 등)

- (결과물) 작업 결과물을 다양한 형식으로 제공할 수 있도록 데이터 포맷 컨버터 기능

지원함.

- (저작도구 공개) 과제를 통해 진행된 저작도구는 소스와 기술 매뉴얼 (데이터 셋 형태,

규모, 특성 등)을 공개하여 외부에서 활용이 가능하도록 함.

27

검수와 품질 확보

1. 검수 절차

- 검수를 위해 어노테이션 공정별 6 단계 절차로 검수를 진행함 (2 인 이상 수작업 검증

실시).

- 공정 별 품질관리 목표를 설정하고 진단 및 개선을 통해 고품질 AI 학습용 데이터를

제작함.

표 12. 데이터 품질관리 프로세스

2. 검수 기준

구분 측정 지표 정량 목표

정확도 구조 및 형식 어노테이션 포맷 정확도 정합률 97% 이상

참값 (ground truth) 참값 정확도 오태깅률 3% 이하

28

구분 측정 지표 정량 목표

유효성 학습 성능 관절 위치 논문 기준 MPJPE 2mm 향상

표 13. 검수 기준

3. 검수 조직

- (외부 품질관리) 산•학•연•관 데이터 품질관련 전문가로 구성된 ‘품질관리 위원회’를

구성하여 데이터 어노테이션 전 과정에 대한 품질공정으로 데이터 순도를 극대화함.

- (TTA 품질 검증) 학습 데이터 품질 검증에 필요한 자료 및 환경(도구)를 제공 및 적극

지원함.

구분 구축 공정 정확도 유효성

검증대상 공정 전주기 데이터 및 저장소 학습 모델

검증방법 -문서 검토

-수행 기업 인터뷰

-현장 점검, 자료 확인

-전수 또는 샘플링 검사

-자동화 검수 도구

-검증 데이터 분석

-학습 조건 설정 및 수행

(데이터 구분, 반복 횟수

등)

지원사항 -작업 공정도 제공

-인터뷰/현장점검 지원

-품질 검증 데이터 제공

-저작 도구 활용 지원

- AI 학습 결과 검증 지원

확인 품질 검증 결과서 (구축 공정, 정확도, 유효성)

표 14. TTA 품질 검증 체계 별 지원 사항

29

데이터 셋 구축 담당자

담당 기관 담당자 이름 연락처 (이메일)

데이터 셋 총괄 (주) 케이티 소영준 yjun.so@kt.com

AI 모델 설계 이재영 jaeyung.lee@kt.com

박영수 park.young-

soo@kt.com

데이터 수집 (주) 이오이스 김헌기 keihk@ioys.co.kr

데이터 정제 홍익대학교 산학협력단 임익수 re-

mixleem@hongik.ac.kr

데이터 가공 (주) 에이모 이재도 jade@aimmo.co.kr