URC and IoRT (Ubiquitous Robotic Companion and

Internet of Robotic Things)

김창환

치매DTC융합연구단/로봇연구단

한국과학기술연구원

2016.06.20

KRnet 2016 (The 24th Korea Internet Conference): Track C.VR/AR, Fin Tech, Smart Things

KRnet 2016

목차

URC 정의 및 개념 URC 핵심 기술 URC 로봇 종류 해외로봇 현황 URC 로봇 시범 사업 URC 로봇 개발 시사점

사물인터넷 정의 IoT 응용 사례

IoT and Robotics Three Classes of Edge Devices IoT and Robotics 응용 IoT와 로봇 기술의 공유 및 융합

2

KRnet 2016

국내 로봇 산업의 진화

산업용 로봇

산업용 로봇 시장 성장

산업용 로봇 시장 성숙

지능형 서비스 로봇 시장 형성

자동차, 전자산업 등 노동 집약적 대량생산 로봇의 생산현장 투입

산업용 로봇 시장의 정체 새로운 분야의 로봇연구 진전

생활환경 변화, 고령화 사회 진전, ICT 기술 발전 신규 서비스 로봇 시장 형성 가능성 타진

1980년대 1990년대 2000년대

응용 전환기 서비스 로봇

제조/서비스/ 의료 등 로봇 시장 성장 중

제조 생산성 제고, 사람과의 협업, 고령화, 사회성 지원,전문서비스 제조/전문/개인/공공 로봇 시장 확대 시도

2010년대 로봇 시장 성장 시도

3

KRnet 2016

IT 839 전략 (참여정부 정보통신부)

8대 신규 서비스

WiBro(휴대인터넷) DMB(위성/지상파) 홈네트워크 서비스 텔레매틱스 서비스 RFID 활용 서비스 W-CDMA 서비스 DTV 방송서비스 인터넷 전화(VoIP)

3대 인프라

광대역 통합망 (BcN) u-센서 네트워크 (USN) 차세대 인터넷 주소체계 (IPv6)

9대 신성장 동력

이동통신기기 디지털 TV 홈네트워크 기기 IT SoC 차세대 PC 임베디드 S/W 디지털 콘텐츠 텔레매틱스 기기 지능형 로봇

4

KRnet 2016

URC 정의

언제 어디서나 나와 함께 하며 나에게 필요한 서비스를 제공하는 로봇

로봇에 네트워크를 활용하여 응용 서비스를 확장하고, 모든 기능을 자체적으로 가짐으로써 안게 되는 기술적인 제약성이나 비용 상의 문제를 네트워크를 통해 기능을 분담하는 것

5

KRnet 2016

URC 개념

Sensing

Processing Action

Conventional Robot

6

KRnet 2016

URC 인프라시스템

Sensing Processing

Sensing

Processing Action

Ubiquitous Sensor Network

High Performance Distributed Servers

Software Robot

Network Communication System

Hardware Robot

7

KRnet 2016

URC 핵심기술 - 1/2

URC 네트워크 및 프로토콜: 실시간 서비스 및 Connectivity 보장을 위한 유무선 네트워크 설계,

구현 기술을 포괄

URC 서버: 로봇 기본 기능인 음성인식/합성, 영상인식, 상황인식 등에 대한 프로세싱 기능을 담

당하고 로봇 서비스와 연계하여 원격 제어 명령을 로봇에 내려주는 역할

URC 인프라 시스템 기술

8

URC 서버 구성

KRnet 2016

URC 핵심기술 -2/2

9

인간/로봇 상호작용 기술: 사용자의 음성을 인식, 정보를 음성합성을 통해 전달, 카메라를 통해

사용자 인식, 표정/제스쳐를 인식하여 반응

URC 로봇의 스마트 액션 기술: URC의 물리적 행동을 실현하기 위한 지능형 주행기술과 지능형

조작기술로 나눔

URC 로봇 소프트웨어 컴포넌트

URC 서버 구성 인간/로봇 상호작용 기술

KRnet 2016

URC 로봇 종류:가정용

10

가정용 URC 로봇

아이로비큐(유진로봇) 네토로(한울로보틱스)

큐보(이지/아이오)

제니보(다사테크)

외형

높이 45cm 30cm 23.8cm 19.2cm

무게 7kg 15kg 1.2kg 1.1kg

주요 서비스

- 뉴스,날씨,요리 휴대폰, 홈 모니터링, 일정관리 - 구연동화, 단어학습 - 노래방, 음악 스트리밍, 사진찍기

- 청소,자율충전 - 뉴스, 날씨 정보

- 뉴스,날씨,요리 휴대폰, 홈 모니터링, 일정관리

- 구연동화, 단어학습 - 음악 연주

KRnet 2016

URC 로봇 종류: 공공용

11

공공용 URC 로봇

다사테크(삼성전자) PGR(로보테크)

(iMARO-PSR1) (iMARO-PSR2)

외형

높이 150cm 150cm, 사인보드 포함 (190cm) 150cm

무게 90kg 95kg 90kg

주요 서비스

- 자율안내/홍보, 기관업무/위치 정보, 운항정보(항공철도), 연계 교통(관광) 정보 - 날씨, 뉴스 - 동요, 율동, 운세정보, 사진찍기

인천공항 송도 U시티

KRnet 2016

네트워크 기반 휴머노이드 로봇 개발 (2004~2010, KIST)

12

서버시스템 휴머노이드 시스템

...

통합관리 및 모니터링

서버

네트워크를 통한 지능 부여

KRnet 2016

네트워크 기반 휴머노이드 로봇 개발: 연구 결과

13

미들웨어

기반

작업계획

자율 이동

양팔협조/협력 제어

전신제어 기반

이동-조작 작업

지능

작업지식 모델링 및

환경인식

모듈형 양팔 로봇

실시간 작업경로 계획 및 동

작 생성

네트워크

기반

휴머노이드

플랫폼

주요 핵심 개발 기술

KRnet 2016

당시 해외 로봇 현황

• 동경대 가사도우미 로봇(2008)

14

쟁반 옮기기 (의자 등받이 위)옷 집어 들기

밀대 잡기/한 손 밀기 의자 밀기

밀대 두 손 잡기/밀기

• 미국 자율주행차량/빅독

• DLR(독일) 휴머노이드 로봇

DARPA U-Challenge (2008) Big Dog (2006)

KRnet 2016

URC 로봇 시범서비스 (2006.10~2007.01)

15

KRnet 2016

URC 로봇 시범사업 설문 결과

16

KRnet 2016

URC 로봇 개발의 시사점

• URC 로봇 활성화 미흡 이유 (2007년 방송통신위원회 국회 보고 자료)

o 전반적으로 기술 성숙이 미흡: 한계극복(breakthrough)기술 확보 미흡

o 서비스 발굴 제한, 가격대비 로봇 성능 부족

o 중소벤처기업 중심의 산업구조로 자체 성장역량 부족

1기 시범사업 이후, 2기 사업 수행 안 함

17

• 활성화 미흡이 기술/시장/역량 부족만 이유인가?

• 2008년 이후에도 활성화 되지 못 함

Why? 2008년 i-phone 3G 국내 출시 - 정보 접근이 URC 로봇보다 훨씬 간단하고 쉽다. - 다양한 앱을 통한 - 맞춤형 정보

URC로봇 서비스 대부분이 네트워크 기반 정보서비스

KRnet 2016

향후 개인 서비스 로봇의 개발 방향

18

기존 개인 스마트기기의 역할 + Mobility 고도화

로봇 기동성 및 인공지능 기반의 행동, 정보, 감정 등의 HRI 기능 고도화

감정 표현/행동 가능한 로봇, 페퍼

셀카 드론 (lyli)

가정용 소셜로봇, JIBO

KRnet 2016

사물인터넷 (IoT, Internet of Things)

목표 - 인간의 개입 없이, 인터넷으로 연결된 사물들이 각자 알아서 커뮤니케이션 하는 환경을 만드는 것.

핵심 - 인간을 둘러싼 사물들이 서로 연결되면서 인간에게 새로운 편의 혹은 가치를 부여하는 것.

IoT (Internet of Things) 구현을 위한 핵심 기술 - 각종 센서를 이용한 환경정보와 사용자 이용 패턴을 습득하고, 이를 바탕으로 스스로 움직이는 기술을 확보하는 것.

19

KRnet 2016

IoT? 생활 속 사물들을 유무선 네트워크로 연결해서 새로운 UX를 제공하는

가전제품, 스마트폰, 자동차, 공장 및 빌딩 등 다양한 사물과 Contents가 연동해서 Wearable Device, Healthcare, Smart Car, Smart Home, 공장 자동화와 Energy 등 다양한 분야에 접목

20

WSN Wireless sensor network composed of sensor, wireless PAN and internet

M2M Machine to machine communication cf) H2H, H2M

IoT Internet of things. Not only computer and phone, but also other machines are connected to internet

IoE Internet of everything. Everything is connected to internet

Internet o Robotic(Intelligent) Things

KRnet 2016

IoT 응용 분야

21

KRnet 2016

IoT 주요 구성 기술

센서 시스템 (Sensor System)

통신 시스템

인터페이스 시스템

(Interface System)

IoT (Internet of Things)

(Communication System)

22

- Sensor - 가속도 센서, 터치 센서, 압력 센서, 생체신호 센서 및 각종 환경 센서

- MCU - 센싱된 정보 처리 프로세서 - 빅 데이터 등의 처리 프로세서 - Monitoring, Location, Middle ware, Social network, Process management, etc..

- Communication SoC (LTE, WiFi, BT, ZigBee, NFC) - 정보를 전달하고 기기를 컨트롤 하기 위해 필요한 유무선 통신 관련 디바이스

보안시스템

KRnet 2016

IoT Road Map

RDIF tags for facilitating routing,

inventorying, and loss prevention

Surveillance, security, healthcare, transport, food safety, document

management

Locating people and everyday objects

Teleoperation and telepresence: Ability to

monitor and control distant objects

2000 2010 2020 Time

Software agents and advanced sensor fusion Miniaturization, power-

efficient electronics, and available spectrum

Ability of devices located indoors to receive geolocation signals

Cost reduction leading to diffusion into 2nd wave of applications

Demand for expedited logistics

Tech

nolo

gy R

each

Source : SRI Consulting Business Intelligence

IoT roadmap

23

KRnet 2016

IoT Apps.: Wearable Devices

24

Band and Watch

Nike Fuel band Nike Watch Nike running shoes and smart phone

Samsung Galaxy Gear fit SONY smart band

사용자 상황 이해 도움: 생체상태, 기분, 행동량 등 (개인 서비스/헬스케어용) 로봇의 행동 계획에 도움

KRnet 2016

IoT Apps.: Smart Home

25

Smart Lighting

Philips Hue

GE LED Lighting

Lutron Pico LED Lighting

K7 F-digital Grohe: 물이 나오는 양과 온도, 속도를 조정 LED 의 색상으로 물의 온도 파악

Lively: 건강 상태 체크, 약 복용 체크

Smart Home Hub 역할

KRnet 2016

IoT and Robotics

26 출처: http://www.reuters.com/article/ny-abi-research-idUSnBw115973a+100+BSW201409...

KRnet 2016

Robotics, Automation and Intelligent Sys.

Automation Robotics Mobile

Communication

Sense Act

Sense Think

Communicate Collaborate

Act Autonomy Mobility

Communicate Collaborate

Intelligent Systems

Smart Devices

Sense Think Act

Sense Think

Communicate Collaborate

Act

자료출처: ABI Research - The Internet of Things and Robotics (https://www.youtube.com/watch?v=qsd5yWQKWl8) 27

KRnet 2016

Three Classes of Edge Devices

28

IoT edge nodes can be classified based on their level of support for sensing, communication, processing and actuation.

Edge Devices Wired/Wireless LAN Hubs/Gateways Wired/Wireless

WAN Cloud Based Processing

S

C P

A

S C

P C

S P C

S A Sensing Communication Processing Actuation

C P C P C

자료출처: ABI Research - The Internet of Things and Robotics (https://www.youtube.com/watch?v=qsd5yWQKWl8)

“Thin” Devices

“Intelligent” Devices

“Actuated” Devices

Applications/Actions

Data Analytics

Static Actuation/Dynamic Actuation Movement/Mobility/Manipulation/Intelligence “Robotic” Devices

KRnet 2016

Three Classes of Edge Devices

29

• Thin Devices • Deliver a minimum of sensing and communication • Computational work takes place on distance services • Devices programmability is limited or non-existent

• Intelligent Devices • Also provide for a level of intelligence in term of

processing • Can be reprogrammable and can even exhibit varying

levels of autonomy • Most serious computational occurs on remote servers.

• Actuated Devices • Subsumes the functionality of thin and intelligent

Devices • Adds some degree of actuation. • In some senses they are robotic. iCAMPRO

(Amaryllo)

자료출처: ABI Research - The Internet of Things and Robotics (https://www.youtube.com/watch?v=qsd5yWQKWl8)

KRnet 2016

Robotics & IOT: Connection

30

• 정소로봇 + 스마트기기 연동

KRnet 2016

Robotics & IOT: Smart Factory

31

• KUKA(독일) - MS 협업 • 캐나다 자동차 공장 259조립라인 상의 기기(6000여기)를 네트워크로 연동 기기에 탑재된 센서를 통한 Big Data 생성 새로운 다양한 공정을 빠른 시간 내에 적용 : 다양한 차량 옵션에 적용 가능 고장 원인 분석에 활용하여 수리 시간 단축

KRnet 2016

Robotics & IOT: Autonomous Navigation

32

• Intelligent Transportation System • 자율주행차량

KRnet 2016

Robotics & IOT: 농업분야

33

u-FARM 작물 생산관리시스템과 연계 기후변화 대응 신작물개발연구에 필요한 농생명 R&D 기반 확표 (표현체학 연구)

• K-farm (KIST 강릉분원 소재) - 식물특성 자동 분석시스템 - 식물생육 전 과정을 영상기반 자동 분석시스템을 통해 분석/관리 - 센서/비파괴 스펙트럼 분석시스템과 연계

KRnet 2016

Increasing Robot Mobility and Manipulability

34

bi-pedal (2016, Shaft, google) Atlas (2016, Boston Dyn., google)

Hubo in DRC (2015, KAIST) ML based grasping (2016, google)

로봇의 기동성, 조작성 고도화 지속적으로 진행 로봇 기술만으로 요구되는 고난이도 작업은 여전히 미흡

KRnet 2016

로봇에 요구되는 대표적 작업 사례

35

로봇청소기를 사용하기 위해 먼저 정리를 해야한다!!!

로봇청소를 위해 정리정돈이 선행 정리정돈을 위한 로봇기술 개발 필요

KRnet 2016

개인 서비스로봇의 IoT 응용 예시-1/2

36

로봇 미션 (거실의 사용자가 로봇에게 지시): - 사용자: 안방에 책상 위에 있는 휴대폰을 가져와?

현재의 접근 방법: 작업 계획의 모든 세부 테스크를 로봇이 수행 안방과 그 안의 책상 찾기 책상 위의 여러 물건 중 휴대폰 찾기 다시, 거실 찾기 거실의 사용자 찾기

서비스 수행 시간이 너무 길다. 정확한 실내 지도 및 주요 object 위치정보 입력 필요

또 다른 노력 요구

- 안방은 어디에? - 책상은 또 어디? - 휴대폰도 찾아야돼!!! - 주인님께 되돌아 갈 길은? - 거실은? 주인님은? .... 쩝

사진출처: Care-O-bot 4, 프라운호퍼

KRnet 2016 37

IoT 이용 접근 방법 - 자체 위치를 인식하여 로봇에 알려주는 센서 개발 - 센서가 휴대폰 및 사용자에 부착 혹은 내장되어 있다면, 로봇과 휴대폰의 상대 위치에 따라 로봇이 직접 휴대폰 위치로 이동 복귀 주행 path 또한 문제 없음. 즉, 단순 p2p 이동 문제로 간략화

향후 IoT 센서는 정확도뿐 아니라 [센싱+기본인식] 기술의 고도화가 예상 로봇 서비스 고도화에 필수 기술

개인 서비스로봇의 IoT 응용 예시-2/2

로봇 미션 (거실의 사용자가 로봇에게 지시): - 사용자: 안방에 책상 위에 있는 휴대폰을 가져와?

KRnet 2016

IoT와 로봇 기술의 공유 및 융합

38

Manipulation

Locomotion

Localization

Object recognition

Face recognition

Voice recognition

Dialog interface

Grasping

…..

센서 시스템

통신 시스템

인터페이스 시스템

IoT (Internet of

Things)

상황인식

사진출처: Care-O-bot 4, 프라운호퍼

센서 정보의 상호 이용, 교환뿐 아니라 인식 등의 기술 공유 가능

KRnet 2016

Robots as Nexuses of Interaction and Control

39 사진출처: Care-O-bot 4, 프라운호퍼

자료출처: ABI Research - The Internet of Things and Robotics (https://www.youtube.com/watch?v=qsd5yWQKWl8)

Cloud Based / Distributed Processing

무엇을 도와줄까요?

Face, Speech Recog. Natural Language Processing etc. …

화장실이 어디야?

저를 따라오세요?

Robot as Gateways: - 클라우드 컴퓨팅(인공지능), 다양한 IoT Item을 연결하고 작업을 실행하는 Gateway 중심 Sensor Fusion and Data Preprocessing: - 로봇뿐 아니라 로컬 센서간의 보다 고도화된 데이터 처리 기술 융합 Robot as Social, Human-Machine Interfaces: - Seamless HRI을 위한 로봇과 IoT간의 최적화

KRnet 2016 40

4차 산업혁명

사진출처: 로보티즈

IoT

AI

감사합니다.

KRnet 2016

참조 자료

41

• 김현, 조영조, 오상록 (2006). URC(Ubiquitous Robotic Companion): 네트워크 기반 서비스 로봇, 정보과학회지, 24(3), 5-11.

• 방송통신위원회 국회관련 주요정책자료, ‘URC로봇 관련’, 2007-11-20

• Flavio Bonomi et al., The Smart and Connected Vehicle and IoT, WSTS 2013

• RF / Analog 회로 워크샵 발표자료, IOT Connectivity 의 현황 및 발전방향, RadioPulse Inc., 왕성호,2014

• IOT (internet of things) 구현을 위한 스마트 센서 기술 개발 동향 SENSOR Platform ?, 기술경영경제학회, 이석, 2014

• ABI Research - The Internet of Things and Robotics (https://www.youtube.com/watch?v=qsd5yWQKWl8) • http://www.microsoft.com/en-us/server-cloud/customer-stories/kuka-robotics.aspx