Tecnologie Ottiche per l’interazione uomo-macchinagoy/materiale/1819/Ferraris1819.pdfDEFINIZIONE Tecnologie Ottiche per l’interazione uomo-macchina … è una disiplina he si oupa

Tecnologie Ottiche per l’interazione uomo-macchina

Claudia Ferraris, Roberto Nerino, Antonio Chimienti, Giuseppe Pettiti

Lab New ICT Trends

Campus Luigi Einaudi Torino

12 Marzo 2019

Tecnologie Ottiche per l’interazione uomo-macchina 2/56

CONTENUTI


Hand & Body Tracking

(Tele) Monitoraggio e (Tele) Riabilitazione

Interfacce uomo-macchina (HMI – HCI)

Estrazione di informazioni da immagini e video Sviluppo di “sistemi di visione” adeguati allo specifico contesto applicativo, per l’acquisizione, l’elaborazione e l’analisi

Algoritmi di visione e calibrazione multi-camera

Misurazioni “no-contact” e Modeling 3D

Riconoscimento e Tracking 3D Real-Time di oggetti in movimento


COMPETENZE

4/56

http://www.ehw.ieiit.cnr.it/?q=computervision

5

Virtual Reality in the Assessment and Rehabilitation of Parkinson’s Disease and Post Stroke

Nuove Tecnologie per il tele-monitoraggio della malattia di Parkinson

NINFA – iNtelligent Integrated Network For Aged people

Comando Remoto di esoscheletro per Tele-Riabilitazione della mano

Riconoscimento della Lingua Italiana dei Segni per comando remoto di mano robotica

Riabilitazione post operatoria del legamento crociato del ginocchio

Soluzioni ICT per la tele-riabilitazione di disabilità cognitive e motorie originate da patologie neurologiche


PROGETTI E COLLABORAZIONI

5/56

6 Tecnologie Ottiche per l’interazione uomo-macchina 6/56

DEFINIZIONE


… è una disciplina che si occupa di progettazione, valutazione, implementazione di sistemi informatici interattivi per uso umano e con lo studio dei principali fenomeni ad essi connessi… ACM SIGCHI Curricula for Human-Computer Interaction, T.T. Hewett et al. (1992)

… è un processo di comunicazione tra utenti e computer (o tecnologie interattive in generale)… 3D User Interfaces: Theory and Practice, J.J. La Viola et al. (2017)

… sviluppare o migliorare la sicurezza, l’utilità, l’efficacia, l’efficienza e l’usabilità di sistemi che includono computer…

Interacting with computers, J. Barlow et al. (1989)

7/56

8

Persona che cerca di

«giungere» ad un obiettivo

Sistema che «esegue»

operazioni/ azioni/app

Dialogo bidirezionale tra mondo «human»

e «computer»

Un «computer» è poco utile senza una modalità di utilizzo adeguato da parte dell’uomo:

ATTORI


9

A chi si rivolge? (giovani vs anziani, esperti vs novizi,

utente generico vs specializzato)

Quali funzionalità fornite? (produttività vs servizi)

CARATTERISTICHE


E’ easy-to-use? (risponde alle necessità/esigenze

dell’utilizzatore)

Accessibile a qualsiasi utente? («deficit» motorio, cognitivo, sensoriale)

9/56

Caratteristiche di un sistema (usability):

Easy to Remember how to Use

Easy to Learn how to Use

Effective to Use

Efficient to Use

Safe to Use

Enjoyable To Use

10

Mouse Tastiera

Controller Joystick

Joypad

Schermo

Altoparlanti / cuffie

Reagisce agli input Produce gli output

Centrata su funzioni e processi

Poco uso di grafica

Curva di apprendimento alta

Centrata sull’utente

Grafica e Ambienti virtuali

Interazione più semplice ed intuitiva

Centrata su utente e informazione

Più tecnologie sullo stesso dispositivo

Curve di apprendimento minime

Elevata mobilità e produttività

Grandi quantità di dati

Multi-touch

Touch screen Motion capture

Natural Interaction

Robot

Avatar

Attuatori

EVOLUZIONE


Deep Learning

Intelligenza artificiale

IoT

10/56

11

Metodi di Input e Output che sfruttano le capacità di «comunicazione motorio-sensoriale» dell’uomo

Acustici (Suono, parlato)

Tattili (Pressione, forza)

Movimento (IMU, Smart Textile)

Ottici (camere RGB-Depth)

Bionici (EEG, EMG, EOG)

Biometrici (impronte, occhio, riconoscimento facciale)

DAL PRESENTE AL FUTURO: INPUT


LE IMMAGINI PRESENTI IN QUESTA SLIDE POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE

http://developerblog.myo.com/myocraft-emg-in-the-bluetooth-protocol/ https://engineeringsport.co.uk/2011/05/09/ki

nect-biomechanics-part-1/

EEG Sensor (image) https://www.emotiv.com/store/

RGB-Depth camera (image) Kinect for Windows

https://www.stt-systems.com/products/inertial-motion-capture/isen/

https://pressureprofile.com/finger-tps

Hey Siri (image)

12

Controllo gestuale dispositivi e Robot

Avatar in ambienti AR/VR

Visione 3D in AR/VR (visori)

Parlato sintetico

Sensazione di forza (haptics)

Valutazione stato fisico - emotivo

Display autostereoscopici

Controllo di accesso Biometrico

DAL PRESENTE AL FUTURO: OUTPUT


LE IMMAGINI PRESENTI IN QUESTA SLIDE POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE

Riconoscimento emozioni https://azure.microsoft.com/en-us/services/cognitive-services/

Haptics https://www.quanser.com/products/omni-bundle/

Controllo Robot https://www.youtube.com/watch?v=ggLge1Rw2z4

Visori https://www.oculus.com

13

DAL PRESENTE AL FUTURO: ESEMPI


A Wheelchair Control System Using Human-Machine Interaction: Single-Modal and Multimodal Approaches – M.K. Shahin et al (2017)

Settore Salute / Assistenza • Controllo automatico di sedia a rotelle • EEG (cattura dei segnali del cervello)

Smart Eye automotive solution Settore Automotive • Camera IR / Eye Tracking • Sicurezza alla guida

Settore Industriale • Controllo macchinario / impianto • Touch-screen, mouse, AR

American Industrial System Inc., CKLB Radio

13/56

LE IMMAGINI PRESENTI IN QUESTA SLIDE POSSONO ESSERE SOGGETTE A COPYRIGHT.

Gesti, parole, espressioni variano per parametri fisici continui pur avendo stessa semantica

Riconoscimento degli input su base probabilistica

Caratterizzazione degli input con opportuni descrittori (features) Es. relazioni di distanza tra punti 3D della scansione mano

Creazione database di input con coppie «descrittori - gesto»

Ricerca nel database per riconoscere nuove istanze di posa della mano

NUOVE METODOLOGIE


15

Separazione classi (spazio descrittori- classi) con algoritmi di Machine Learning

Database di coppie pre-classificate «istanze (gesti) - descrittori»

Nuova istanza non classificata

Estrazione descrittori e classificazione «probabilistica» della regione di appartenenza della nuova istanza (regione stabilita nella fase di learning)

NUOVE METODOLOGIE


16

Nuove problematiche da affrontare

NUOVE PROBLEMATICHE



18

TRACKING RECOGNITION

NUOVI METODI DI COMUNICAZIONE


Immagine RGB ogni pixel è un colore

Immagine DEPTH ogni pixel è una distanza

Ricostruzione 3D Ricostruzione 3D + colore

RGB colore

DEPTH profondità

RGB-DEPTH colore e profondità

doppia camera in un solo dispositivo fisico

TECNOLOGIE OTTICHE


LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT

HAND TRACKING

BODY TRACKING

o Riconoscono «oggetti» e/o ricostruiscono il movimento dalle immagini acquisite

solo RGB, solo DEPTH o uso combinato di RGB e DEPTH

o Tecniche di Computer Vision e/o Machine Learning

o Real-Time

o Algoritmi proprietari (SDK dei produttori di camere) o dedicati (sviluppati ad-hoc)

Buona robustezza in condizioni statiche Problema complesso in condizioni dinamiche

FACE RECOGNITION

TRACKING E RECOGNITION


LE IMMAGINI PRESENTI IN QUESTA SLIDE, RECUPERATE IN RETE, POSSONO ESSERE SOGGETTE A COPYRIGHT.

Basso costo nascono per gaming

Non invasivi dispositivi no-contact

Facili da usare No calibrazione

Portabili @home Connessione USB

Flessibilità adatti a diverse

applicazioni

Requisiti di funzionamento distanza minima e massima, campo

visivo, luce

Setup ottimale per applicazione frontale, laterale, dall’alto, distanza

Occlusioni Movimento/oggetto «visibile»

DISPOSITIVI OTTICI


https://www.leapmotion.com/

https://realsense.intel.com/

https://orbbec3d.com/

https://developer.microsoft.com/it-it/windows/kinect

LE IMMAGINI PRESENTI IN QUESTA SLIDE (RECUPERATE IN RETE ) POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE

RGB e Depth Proiettore IR per stima distanza Range: 40 cm – 450 cm 3D Body Model (Body Tracking /

Pose Recognition) 3D Face Model (Face Tracking /

Face Recognition) Microfoni (Speech Recognition)

MICROSOFT KINECT


Face Tracking / Face Reconstruction

Body Tracking / Pose Recognition

22/56

https://msdn.microsoft.com/en-us/library/jj131033.aspx

http://www.i-programmer.info/news/194-kinect/4253-kinect-sdk-15-now-with-face-tracking.html


https://brekel.com/kinect-2-details-specifications-observations/

(RGB e DEPTH disponibili)

MICROSOFT KINECT: APPLICAZIONI


https://www.youtube.com/watch?v=TLnHvvPzYsE

https://www.youtube.com/watch?v=EOva-nVWr6Q

LE IMMAGINI PRESENTI IN QUESTA SLIDE (RECUPERATE IN RETE) POSSONO ESSERE SOGGETTE A COPYRIGHT. A TITOLO DI ESEMPIO, OVE POSSIBILE SONO STATI AGGIUNTI I LINK DISPONIBILI SULLA RETE

Video/KN_fitness.wmv

3D Hand Model (Hand Tracking) 2 sensori ottici e 3 LED IR Usa modello anatomico della mano

(segue i dati dei sensori)

Tracking «predittivo» quando non completamente visibile (usa parte

visibile ed «osservazioni» passate per stimare la posizione più probabile delle parti nascoste: indice di confidenza per qualità della stima)

Tracking di entrambe le mani contemporaneamente

LEAP MOTION


24/56

https://developer.leapmotion.com/documentation/csharp/devguide/Leap_Images.html


(dispositivo «chiuso»: no RGB o DEPTH ma solo modello della mano)

LEAP MOTION: APPLICAZIONI


https://www.youtube.com/watch?v=0s5II7ZayAg https://www.youtube.com/watch?v=0s5II7ZayAg

https://www.youtube.com/watch?v=rnlCGw-0R8g https://www.youtube.com/watch?v=ojiCkrR6RxI

LE IMMAGINI SONO STATE SOSTITUITE CON I LINK AI VIDEO

Torino 23 /05/ 2018 26 Tecnologie Ottiche per l’interazione uomo-macchina

INTEL REAL SENSE


RGB e Depth Proiettore IR per stima distanza Range: 20 cm – 120 cm 3D Hand Model (Hand/Fingers

Tracking / Gesture Recognition) 3D Face Model (Face Tracking /

Face Recognition) Microfoni (Speech Recognition)

Software di terze parti

26/56

https://software.intel.com/en-us/articles/introducing-the-intel-realsense-camera-sr300

https://software.intel.com/en-us/blogs/realsense-tips



INTEL REAL SENSE: APPLICAZIONI

Tecnologie Ottiche per l’interazione uomo-macchina Tecnologie Ottiche per l’interazione uomo-macchina 27/56

https://realsenseapp.intel.com/apps/wizard-of-oz/ LE IMMAGINI SONO STATE SOSTITUITE CON I LINK AI VIDEO

https://realsenseapp.intel.com/apps/posture-monitor/ https://www.youtube.com/watch?v=7Th1zUE4-Vo

Torino 23 /05/ 2018 Tecnologie Ottiche per l’interazione uomo-macchina

ORBBEC


RGB e Depth Proiettore IR per stima distanza Range: 60 cm – 800 cm 3D Body Model (Body Tracking /

Pose Recognition) Microfoni (Speech Recognition)

Body Tracking / Pose Recognition

28/56

https://orbbec3d.com/

https://orbbec3d.com/bodytracking-sdk/



ORBBEC: APPLICAZIONI

Tecnologie Ottiche per l’interazione uomo-macchina Tecnologie Ottiche per l’interazione uomo-macchina 29/56

https://vimeo.com/151951022

https://vimeo.com/151823496

https://orbbec3d.com/healthcare-2/ https://orbbec3d.com/robotics-3/


SOFTWARE DI TERZE PARTI

Tecnologie Ottiche per l’interazione uomo-macchina Tecnologie Ottiche per l’interazione uomo-macchina

Nuove società sviluppano e distribuiscono algoritmi di tracking dedicati Compatibilità con diversi dispositivi (partner dei produttori) Multipiattaforma Uso su licenza (nuovi profitti attraverso abbonamenti) Permettono di concentrarsi solo sullo sviluppo di applicazioni

30/56


https://nuitrack.com/

https://www.youtube.com/watch?v=jh9kgFke3wI

https://gestoos.com/

https://www.youtube.com/channel/UCU9dx_MgFDYMgSyuVC2r8lg

https://eyeware.tech/

https://eyeware.tech/gazesense/

https://sightcorp.com/

https://www.youtube.com/watch?v=jMD1WDbCXhs

Nuovo_Materiale/NUITRack_skeleton.wmv

Nuovo_Materiale/GESTOOS_gesture.wmv

Nuovo_Materiale/GazeSense_robot.wmv

Nuovo_Materiale/SighCorp_face.wmv


Hand e Body

«Azione» legata alla valutazione

del movimento

Tracking Movimenti 3D

CASI DI STUDIO


Dispositivi RGB-Depth Computer Vision e Machine Learning

32/56

Algoritmi Innovativi per

Hand Tracking

Misure Cinematiche Accurate

Valutazione Task Motori Parkinson Real-Time e Bassa Invasività Portabile a casa del paziente

Finger Tapping Apertura - Chiusura

Pronazione - Supinazione

HAND TRACKING


o Algoritmo di Tracking dedicato basato su tecniche di Computer Vision per il

riconoscimento blob di colore

o Integra informazioni RGB e DEPTH maggior robustezza

o Sufficienti alla cattura dei movimenti semplificazione del problema

HAND TRACKING CON AUSILIO


Ferraris C. et al., 2019 «Assessment of Parkinson’s Disease at-home Using a Natural Interface Based System» – Ambient Assisted Living Italian Forum 2018

34/56

LE IMMAGINI PRESENTI IN QUESTA SLIDE SONO SOGGETTE A COPYRIGHT.

Traiettoria 3D base per valutazione oggettiva

Algoritmo tracking 3D con metodo CV

(segmentazione colori)

Movimenti della mano (RGB e DEPTH)

HAND TRACKING CON AUSILIO

Ferraris C. et al., 2018 «A self-managed system for automated assessmente of UPDRS upper limb tasks in Parkinson’s Disease» – Sensors


Più robusto rispetto a tracker commerciali

35/56


o Algoritmo di Tracking dedicato basato su tecniche di apprendimento per il

riconoscimento della posa dall’aspetto dell’immagine osservata

o Fasi di addestramento e classificazione predittiva delle «zone» della mano

elevata complessità

o Solo informazione DEPTH ricostruzione 3D della mano

Classificazione

Classificatore

Addestramento

Classificatore

Classificazione predittiva veloce Recupero del tracking

Addestramento costoso (tempo e risorse)

Malfunzionamento con pose impreviste

HAND TRACKING A MANO NUDA



Classificazione Clustering (articolazioni e

modello scheletrico)

Traiettoria 3D base per valutazione oggettiva

Algoritmi tracking 3D con metodi di CV e ML

Movimenti della mano (solo DEPTH)

HAND TRACKING A MANO NUDA



Mano robotica (riproduzione)

Algoritmo di Hand Tracking con classificatore addestrato (approccio «mano nuda»)

Gesti LIS (operatore)

APPLICAZIONI DI HAND TRACKING


collaborazione con DAUIN – Politecnico di Torino

38/56

LE IMMAGINI PRESENTI IN QUESTA SLIDE POSSONO ESSERE SOGGETTE A COPYRIGHT. OVE POSSIBILE SONO STATI INSERITI I LINK DISPONIBILI SULLA RETE

Esoscheletro (riproduzione)

Movimenti Pinch (operatore)

Algoritmo di Hand Tracking con classificatore addestrato (approccio «mano nuda»)


collaborazione con Scuola Superiore Sant’Anna


39/56


Analisi del movimento Segnalazione anomalie

Algoritmo di Hand Tracking con guanto colorato (approccio «con ausilio»)

Movimenti FT-OC-PS

(paziente)



U.O. di Neurologia e Neuroriabilitazione – Ospedale San Giuseppe (VB) – Istituto Auxologico Italiano

40/56


o Fatica: quando si presenta, intensità o Alterazioni: quando e come si presentano o Anomalie tipiche: esitazioni, interruzioni,

movimenti parziali



G.Albani, C.Ferraris, R.Nerino, et all «From kinematic measurements of motor symptoms to the

Home Monitoring of Parkinson’s Disease: the challenge», poster al convegno «AAT-AD/PD focus meeting 2018», Torino, 15-18 marzo 2018


o Interazione gestuale e/o vocale

o Oggetti in realtà aumentata

o Aiuto audio, video, testo

o Personalizzazione sull’utente

o Limitare i movimenti richiesti (disposizione oggetti)

o Garantire buona visibilità (dimensioni e colori oggetti)

o Introdurre fasi di riposo (insorgere dell’ansia)

APPLICAZIONI PER IL PARKINSON


Cattura del movimento ACCURATA Valutazione OGGETTIVA ed AUTOMATICA della prestazione motoria

FACILE da usare




La tecnologia a casa del paziente

meno disagi, ambiente familiare, tranquillità emotiva e psicologica, «in

contatto» con il medico

Intervento rapido e mirato per «alterazioni» funzionali (WRN) durante la giornata (fluttuazioni) e nel medio-lungo

periodo




• 65 anni (5 di malattia) • DX peggiore di SX • FT: valutazione UPDRS 0–1 • OC: valutazione UPDRS 1–2 • PS: valutazione UPDRS 2-3 • poco fluttuante



PS DX: escursione normale (ore 21.23)

PS DX: escursione normale (ore 21.00)

PS DX: escursione ridotta (ore 21.25)

45/56


Valutazione della funzionalità motorio-cognitiva attraverso il gioco

Analisi Motorio-Cognitiva Warning anomalie

Movimenti Mano

o Far «accettare» la tecnologia o Rendere «semplice» o Rendere «motivante»



Algoritmo di Hand Tracking con guanto colorato (approccio «con ausilio»)

46/56


STATISTICHE LIVELLO MANO PERSA(#) : 0 TEMPO(s) : 12.06 DISTANZA (cm) : 89.3 DEPTH (cm) : 59.8



47/56


o Algoritmo di Tracking proprietario o Task Motori arti inferiori, postura e instabilità posturale (Parkinson) o Riabilitazione post-operatoria del ginocchio

BODY TRACKING


https://msdn.microsoft.com/en-us/library/microsoft.kinect.jointtype.aspx

LE IMMAGINI PRESENTI IN QUESTA SLIDE (RECUPERATE IN RETE) POSSONO ESSERE SOGGETTE A COPYRIGHT. OVE POSSIBILE SONO STATI INSERITI I LINK DISPONIBILI SULLA RETE

BODY TRACKING: TIPI DI HMI


o Realtà Aumentata o Interazione con parti del

corpo su oggetti interattivi

Ferraris C. et al., 2019 «Feasibility of Home-Based Automated Assessment of Postural Instability and Lower Limb Impairments in Parkinson’s Disease» – Sensors

o Riconoscimento Pose

o Rilevazione di eventi o pattern

Ferraris C. et al., 2019 «A step forward an accurate telemonitoring of Parkinson’s Disease» – Journal on Parkinson’s Disease (submitted)

49/56


SIT-TO-STAND

Analisi Motoria Warning Anomalie

Movimenti «dannosi» Valutazione oggettiva correlata

alla valutazione clinica

Body Tracking di segmenti corporei (RGB, DEPTH, SKELETON)

Movimento corpo

APPLICAZIONI DI BODY TRACKING



Video_miei/SIT_TO_STAND_finale.wmv

Analisi Posturale Warning Anomalie

Detection Variazione

Movimento del corpo

Tracking di segmenti corporei (DEPTH, SKELETON)




Valutazione recupero della postura dopo forza di sbilanciamento


Analisi Posturale Warning Anomalie Oscillazioni CoM

Movimento del corpo

Tracking di segmenti corporei (DEPTH, SKELETON)






APPLICAZIONI DI SPEECH RECOGNITION




Fondamentale nello sviluppo di un qualsiasi sistema al servizio dell’uomo senza un metodo di interazione un sistema è totalmente inutile

Rende il sistema facilmente usabile pensata per gli «utenti» finali (chiarezza e semplicità d’uso)

come il sistema deve «rispondere» in ogni situazione (guidare l’utente nelle scelte, non

metterlo in condizione di non «sapere che fare»)

Orientata ad un nuovo modello di interazione naturale più intuitiva e coinvolgente particolarmente adatta a soggetti con «deficit», patologici o poco pratici campo di applicazione più ampio (non solo web interfaces)

CONCLUSIONI


Documents

Tecnologie Ottiche per l’interazione uomo-macchinagoy/materiale/1819/Ferraris1819.pdfDEFINIZIONE Tecnologie Ottiche per l’interazione uomo-macchina … è una disiplina he si oupa