Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess

Μάριος-Φώτιος ΜπίκοςΕπιβλέπων:

Δυναμική Προσομοίωση Εικονικών Αντικειμένων για

Εφαρμογές Επαυξημένης Πραγματικότητας.

Κωνσταντίνος Μουστάκας

Διπλωματική Εργασία

Εφαρμογή σε Σκάκι Επαυξημένης Πραγματικότητας

Ιούλιος 2015

Teaser

8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 2

Video από την Meta Co.PROMPROM

OO

Επαυξημένη Πραγματικότητα


ΠραγματικόΠραγματικός Κόσμοςς Κόσμος

Ψηφιακή Ψηφιακή ΠληροφορίΠληροφορίαα

Αλληλεπίδραση


Πρόβλημα


Ο χειρισμός εικονικών αντικειμένων με γυμνά χέρια είναι πολύπλοκη διαδικασία…

…ιδιαίτερα σε ένα σκάκι επαυξημένης πραγματικότητας!

Θεωρητικό Υπόβαθρο


Παράμετροι Κάμερας


Extrinsics

Intrinsics

Βαθμονόμηση - Calibration


Offline Διαδικασία Εύρεσης Intrinsics

Markers σε Γάντι Marker Props


Σχετικές Ερευνητικές Εργασίες

“FingARtips – Gesture Based Direct Manipulation in Augmented Reality” 2nd International conference on Computer graphics and interactive techniques -2004

“Virtual object manipulation on a table-top AR environment” IEEE and ACM International Symposium on Augmented Reality-2000

Cube-Marker Pen Marker Glove & Retroreflective Spheres



“Mobile collaborative augmented reality” IEEE and ACM International Symposium on Augmented Reality-2001

“Finger tracking for interaction in augmented environments” IEEE and ACM International Symposium on Augmented Reality-2001



Κάμερα Βάθους για την δημιουργία 3D μοντέλου χεριών

Η Εφαρμογή


Εργαλεία & Τεχνολογίες


IRSensor

Color Sensor

IR Laser Projector

First-Person View

Εργαλεία & Τεχνολογίες


• Αξιοποίηση βασικών αλγορίθμων όρασης• Χρήση βασικών δομών(π.χ Mat)

• Ανίχνευση markerboards• Εύκολος συνδυασμός με OpenGL

• Πρόσβαση στα δεδομένα των αισθητήρων• Εξαγωγή Blobs / Contours

• 3D Models / Αnimations• Aπεικόνιση επαυξημένης σκηνής

• Επικοινωνία με εκτελέσιμα αρχεία μηχανής σκακιού

Πρόβλημα


• Πιόνια = Ορατά συνεχώς • Απόκρυψη σκακιέρας με τα χέρια

- Δυσκολότερο να χαθούν όλα την ίδια στιμή- Περισσότερα σημεία διαθέσιμα

για εκτίμηση πόζας κάμερας


Board of Markers=Μarkerboard

Robustness

Markerboard


8 x 8 MarkerBoard 64 Markers

Blobs & Contours


Blob = Σχήμα που αναγνωρίζεται σε μία εικόνα και αναπαριστά ένα συγκεκριμένο αντικείμενο.

Αναγνώριση Χειρονομίας Pinch


Διάγραμμα Διαδικασίας


3D Θέση της Xειρονομίας


..Inner Contour(Hole)

Outer Contour

RGB Image Blob Image

Average X,Y

Mapped Mapped neighborhood neighborhood of pixelsof pixels

....Neighborhood of Points

Average Z depth3D Position3D Position

MapDepthMapDepthToColorToColor

Xcam,Ycam

Γράφουμε στο Z-Buffer της OpenGL, τις τιμές βάθους για κάθε pixel που παίρνουμε από τον αισθητήρα (ανάλογα με την προβολή)


Occlusion Handling

Occlusion Handling


Μηχανή Σκακιού


Universal Chess Interface (UCI)

• Έξοδος: Κίνηση Αντιπάλου

• Είσοδος: Κίνηση Χρήστη

Πρωτόκολλο Επικοινωνίας με μηχανή σκακιού=

Πειραματική Εγκατάσταση


Αξιολόγηση Συστήματος

System Usability Scale - SUS


System Usability Scale - SUS


Λάθη Κινήσεων


Σύγκριση Μεγεθών Αξιολόγησης


Participant # Time per Task (sec) Tasks Completed (of 30) Time % Tasks % SUS Rating % Average

1 2,99 25 83% 83% 75% 81%

2 4,23 25 59% 83% 55% 66%

3 3,05 16 82% 53% 80% 72%

4 4,94 25 50% 83% 92,5% 75%

5 3,49 25 71% 83% 80% 78%

6 5,64 22 44% 73% 67,5% 62%

7 2,49 18 100% 60% 75% 78%

8 4,66 28 53% 93% 60% 69%

9 2,74 28 91% 93% 70% 85%

10 3,00 26 83% 87% 77,5% 82%

Averages 3,7233,723 23,8 72% 79% 73.25% 75%

Μειονεκτήματα


Λάθη Κινήσεων


Remember This?


Video από την Meta Co.PROMPROM

OO

Μελλοντικές Επεκτάσεις


3D Models Attack Animations

Depth Perception Pawn Promotion

Μελλοντικές Επεκτάσεις


Συνδυασμός Αισθητήρα+Oculus Rift

Δημοσίευση



Engineering

Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess