Sensori low-cost per la riabilitazione3dom.fbk.eu/repository/files/lc3d/Borghese_etal_lowcost3... · 2012-03-09 · Trento, 09 Marzo 2012 1 Sensori low-cost per la riabilitazione

Trento, 09 Marzo 2012 1

Sensori low-cost per la riabilitazione

Applied Intelligent Systems Laboratory University of Milano

N.A. Borghese, M. Pirovano, R. Mainetti P. Lanzi, G. Baud Bovy


Idea chiave:

Sensori Low Cost di facile reperibilità +

Free Software =

Piattaforma per “At home rehabilitation” LowCost


Riabilitare a casa:

• Sessioni più intensive e più frequenti

• Adattamento della riabilitazione allo stato del paziente

• Ambiente accogliente • Stop a lunghi trasferimenti • Risparmio economico

Progetti realizzati in questo ambito:


DuckNeglect – 2008 http://homes.dsi.unimi.it/~borghese/Research/LinesResearch/Virtual/Virtual.html

FitRehab: 2009-2011 http://www.innovation4welfare.eu/287/subprojects/fitrehab.html

REWIRE: 2011-2014 http://www.rewire-project.eu/

http://homes.dsi.unimi.it/~borghese/Research/LinesResearch/Virtual/Virtual.html

http://homes.dsi.unimi.it/~borghese/Research/LinesResearch/Virtual/Virtual.html

http://www.innovation4welfare.eu/287/subprojects/fitrehab.html

http://www.innovation4welfare.eu/287/subprojects/fitrehab.html

http://www.rewire-project.eu/




DuckNeglect:


Patologia: Neglect Hardware utilizzato: PS3 Eye-Cam (640 x 480 x 75Hz) FreeSoftware: SFML(simple & fast multimedia lib), openCV

-Non intrusivo ( “hands free” )

- Semplicità di interazione

- Output numerico(accuratezza ,

tempo di reazione, cinematica)

Caratteristiche di DuckNeglect: • Guida al posizionamento del paziente e calibrazione

• Scenari differenti

• Musica

• Feed-back audio spazializzato e video

• Randomizzazione controllata di target e scenari


Sottrazione del Background:


• Valutazione Modello BackGround è un problema per la diffusione a casa Kinect

• Sogliatura per Pixel • Individuazione punti salienti Sagoma

• Sensibiltà alle variazioni luminose


FitRehab:

http://www.cetemmsa.com/index.php

http://www.fh-ooe.at/fh-oberoesterreich/

http://www.vmh.ee/index.php


Patologia: Emiparesi Arti Superiori Hardware utilizzato: Accelerometri, Giroscopi FreeSoftware: Ogre3D, OpenAL

FitRehab:


• Giochi coinvolgenti • Necessità di stretta

supervisione da parte dell’ospedale

• Fase di calibrazione è critica • Tracking robusto

• Occorre indossare una

maglietta

FitRehab:

The REWIRE project’s consortium

Timetable: October 2011 – October 2014 Total cost: 3.558.904 €

Project Identifier: FP7-ICT-2011-7-287713 EC funding: 2.730.000 €

Web site: http://www.rewire-project.eu/ Instrument: STREP

http://www.juntadeandalucia.es/servicioandaluzdesalud

http://www.juntadeandalucia.es/index.html

Progetto REWIRE

Paradigma Mani Libere: • Kinect • Balance board • Lifestyle evaluation

• Comunità di Pazienti • Prescrizione Esercizi e controllo dei progressi

- Data mining


• Focus sul software libero e gratuito • Panda 3D C++ core Python scripts


Software 3D

• Blender • Modellazione • Animazione • Texturing • Etc…

Tool aggiuntivi

• Gimp Manipolazione di immagini

• Linux multi media studio Sintetizzazione di musica


Astrazione dell’input

• Layer di astrazione

• Emulazione dei device


Astrazione dell’input

•Per ora supportiamo: •Mouse e tastiera •Microsoft Kinect •PS3 Cam •Wii Balance Board •Novint Falcon (Haptics) •Phantom Omni (Haptics)


Wii Balance Board

Massimo peso nominale: 150 kg Massimo peso sostenibile: 300 kg Quattro sensori di pressione agli angoli (16-bit) risoluzione: circa 0.5 grammi Costo: 80€

Top Left

Top Right

Bottom Left

Bottom Right


Software

Libreria Wiiyourself http://wiiyourself.gl.tter.org/

Fornisce i dati dei 4 sensori in kg


http://wiiyourself.gl.tter.org/




Stima del baricentro

Immagina creata usando la balance board come una tavoletta grafica!


La board è troppo spessa!

Wii Balance Board Spessore: 5.5 cm Larghezza: 30 cm Lunghezza: 50 cm

Prototipo di Balance Board Spessore: 3.5 cm Larghezza: 30 cm Lunghezza: 70 cm


Come misurare la pressione?

• Utilizzo di 'pressure mat', più accurati e meno spessi. • Utilizzo di sensori di pressione sotto le suole

+ permettono il movimento per la stanza - sono costosi!

• Stima utilizzando lo scheletro dato da kinect (da investigare)


Microsoft Kinect

RGB stream: 640x480 - 30 FPS Depth stream: 320x240 - 30 FPS Array di quattro microfoni Servomotore Costo: 120€


Software

•Usiamo Microsoft Kinect SDK (non Open )

Natural User Interface API • Produce i dati dello scheletro di due giocatori • 20 punti nello spazio 3D


Rotazioni dei giunti

• Abbiamo sviluppato una libreria per la stima delle rotazioni dei giunti

un giunto = un nodo

• Rappresentazione delle rotazioni con quaternioni

Stimate da tre punti dello scheletro No gimbal lock

• Problema: Grado di libertà aggiuntivo Azzeriamo il rollio


Rotazioni dei giunti

• Avatar 3D con struttura scheletrica uguale allo scheletro di kinect • Risultato: l'avatar mima i movimenti del giocatore!


Sottrazione di sfondo

• Utilizzo delle librerie Open NI • Calibrazione effettuata su forme semplici

I dati nominali non permettono un

allineamento tra RGB e depth stream calibrazione

un allineamento più robusto è

ottenuto


Device aptici

• I device aptici forniscono un feedback di forza • Molto utile per creare giochi innovativi! • Ma anche per fornire un feedback al paziente

disturbi (dual task) aiuti (light touch)


Soluzione completa: Combinazione

Microsoft KINECT •RGB stream •Depth stream •Scheletro 3D •X-Y projection

Nintendo Wii Balance Board •Distribuzione del peso •X-Z baricentro

Z X

Y


Gentile mapping

• I giochi sono costruiti tenendo conto della tassonomia di Gentile

[2000 - Gentile]


Esempio: Fruit Catcher 3D

• Giocabile con: • Kinect • Balance board • Tastiera • PS3Cam (2D)


Esempio: Animal Feeder

• Giocabile con: • Interfacce aptiche • Mouse • Kinect


Player view

• Quale è la visuale migliore per un gioco di riabilitazione motoria?

Terza persona Mirror

Prima persona


Terza persona

[2010 – Kurillo], [2007 – Yee]


Mirror

[2005 – Rend], [2005 – Brooks], [2004 – Weiss]


Prima persona

[2007 - Ma], [2003 – Hoffman]


La nostra scelta

• La visuale in terza persona sembra essere la più flessibile, adatta a molte esigenze • Possiamo avere una visuale diversa per ogni esercizio, in base ad esigenze particolari • In ogni caso, faremo dei test con le tre visuali

Un semplice meccanismo di 'view switching' è già nel prototipo attuale


The end!

Grazie per l'attenzione! Ci sono domande?

contatti: [email protected]

[email protected]


Documents

Sensori low-cost per la riabilitazione3dom.fbk.eu/repository/files/lc3d/Borghese_etal_lowcost3... · 2012-03-09 · Trento, 09 Marzo 2012 1 Sensori low-cost per la riabilitazione