KFB - Gives eyes to the Blind

: פרוייקט מהנדסידלל • גלשימקין • צחי

: פרוייקט מנחהכוחי • קובי

לישראל, טכנולוגי מכון טכניוןחשמל להנדסת הפקולטה

Quick Overview

• - ה את מציג זה מכשיר. KFB (Kinect For the Blind)פרויקט. היומיום בחיי להליכה לעיוורים לסייע ומיועד המתכונן

הינו • ידי standaloneהמוצר על מכשולים שיזהה כך ומיועד. הקינקט ממכשיר המתקבלת עומק תמונת סריקת

• " של המותנים אזור על שמולבשת רצועה י ע נישא המכשירלגבי אינדיקציה לעיוור נותן ופשוטה קלה ובהפעלה המשתמש

. ' מולו ' הנמצא מכשול כל

Why they need us

ישנם • לבדה של 23בישראל לקהילה המצטרפים עיוורים אלף. העולם ברחבי עיוורים מיליוני

טכנולוגיים • פתרונות ליצירת וגוברים הולכים וצורך דרישה ישעצמאי באופן דרכו את לנווט עיוור של לצורך מענה ייתנו אשר

. מוכרת לא בסביבהזה • צורך מספקים אינם בשוק היום הקיימים הפתרונות

במלואו.

Project Objectives

אוטונומי )• מוצר עיוור( standaloneתכנן אדם להכווין יוכל אשר. ברחוב והן מבנים בתוך הן הליכה במהלך

• ( , אחיזה מצריך אינו לנשיאה קל זול שיהיה כך המוצר בנית. ) עצמאי לתפעול ופשוט ביד ממושכת

ובעלי • מספיק יעילים יהיו אשר רובוסטים אלגוריתמים בנייתהביטחון תחושת את למשתמש לתת מספקת מהימנות

. במוצר הנדרשת

Similar Projects

: לעיוורים לסייע שמטרתם קודמים פרויקטים מספר נעשורטט + RGBמצלמות 2• חגורת כחיישנים

בין מידע העיוור 2הצלבת והכוונת עומק מימד לקבלת מצלמות. המותניים באזור הממוקמת רטט חגורת בעזרת

• Eadept – מבוסס רחובות GPSרישותהתקן בעזרת וניווט הרחובות GPSמיפוי

רטט + + • מנועי חגורת מחשב כחיישן קינקט מצלמת

• + + - יד כף מחשב בקר למיקרו מחוברים סונר חיישנירטט חגורת

Device Components Overview

קינקט • כוח + מצלמת ספקחיישני ושני אדום אינפרא ממקרן מורכב – 30בקצב CMOSהקינקט הראשון הרץ

- ה להחזר כמצלמת IR uמקלט מתפקד מיקרופונים. RGBוהשני מערך קיים בנוסףשל דגימה .16בקצב קילוהרץ

הפתיחה ) בזווית מוגבל הקינקט , 57מכשיר לרוחב ( 43מעלות העצמים ובטווח לגובהבמדוייק לחזות יכול הוא מרחקם את אשר

נייד • הפעלה pc2מחשב מערכת .windowsמותקןבשנת לראשונה הושק מחשבים של זה חדש " 2007דור חברת י ע CompuLabומיוצר

הישראלית.

הפעלה smartphoneמכשיר • מערכת .androidמותקן . , המערכת לב המרכזי העיבוד ככוח לשמש תפקידו האנדרואיד מכשיר

אוזניות•

So how does it work ?

So how does it work ? Data transfer : Kinect to PC2

Raw Data

Running client

application

Captures image

So how does it work ? Client application

Process raw data, generate depth

matrix

Input:Run navigation

algorithmsraw data

Generate strings from algorithm

results

So how does it work ? Data transfer : PC2 to Android machine

String output

Server application

Client application

So how does it work ? Server Application

Process string

Input: Determine instruction

according to stringstring

Generate sound instructions

So how does it work ? Data transfer : Android Machine to Ears

Sound output

Play sound to user

Generate guiding instructions from

string

So how does it work ? Full Path

The System’s Heart – Navigation Algorithms

הנווט • אלגוריתמי עומדים המערכת של .בבסיסהשל • העומק תמונת של גולמי מידע מקבלים אלו אלגוריתמים

" , . ניתוחים י ע מטרתם למשתמש הקרובה הסביבה , סיגנלים ולשלוח זה מידע לעבד היא מתימטיים אלגוריתמים

. תנועה הנחיות מהם לייצר שניתןתהיה • המערכת כך יותר טובים יהיו שהאלגוריתמים ככל

יותר ושימושית יותר מהימנה•: הבאים האלגוריתמים את תכננו הראשון הפרוייקט במסגרת

Navigation by Shortest Distance – Stereo Beeps

חלקים • לשני המטריצה את מחלקחלק • כל של המינימלי הערך את מחשב מקבילי באופןהשניה • באוזן תלוי ובלתי נפרד שמע אות אוזן לכל מייצרצפצוף • בעזרת נעשת ההכוונהותדירותו • הצפצוף עוצמת את קובע המועבר הערך

Hallway Navigation

חלקים • לשלושה המטריצה את מחלקחלק • כל של הממוצע הערך את מחשב מקבילי באופןביותר • הגדול המרחק לכוון ללכת המשתמש את מכווין•. " קוליות פקודות י ע נעשת ההכוונה

Android GUI

• - ה אפליקציית :serverממשק האנדרואיד מכשיר על

Summary 1

הצגנו • זה לכדי אבטיפוסבפרוייקט אלמנטים מספר המשלבפוטנציאל בעל שהינו עיוורים ניווט לצרכי אינטגרלי מוצר

. השוק בדרישות לעמודשהוא • הינם הסופי המוצר של יחסית, יתרונותיו קל נייד

שלו, לחלופות יחסית וזול לתפעול פשוט . לנשיאה , : מחשב קינקט מצלמת במוצר המשולבים , pc2האלמנטים

רבים בבתים נפוצים מוצרים הינם ואוזניות אנדרואיד מכשיר. סבירים במחירים הרחב בשוק לקניה וזמינים

Summary 2 – What did we learn?

• : חדשות טכנולוגיה סביבות עם בעבודה התנסינו הפרוייקט במהלך.1OpenNI for Kinect פונקציות 2. עם ה matlabבסביבת mexהתנסות פרוייקט תחת נכתבו . open NIאשר

) , אחרת) פיתוח סביבת עם לעבודה לעבור הוחלט ונבחנה נלמדה זו שאופציה לאחרJava Development:

של 3. הסיפריות המידע Javaעבור openNIלמידת את קוראת אשר אפליקציה וכתיבת- מה . Kinectהגולמי איתה לעבוד שנוח עומק למטריצת אותו וממירה

ה 4. סיפריות אפליקצית Javaעבור TCP-IPלמידת בין תקשורת מודול על Javaוכתיבתלבין ברשת . Smartphoneמחשב ה בין החיבוריות אנדרואיד smartphoneבסביבת

. אלחוטית רשת דרך גם להתבצע יכולה למחשבשל 5. הפיתוח סביבת אפליקציה Androidלמידת במכשיר Multi-threadedויצירת

למשתמש Androidה- אודיו מעבירה גם אשר

Future Development

של • מתקדם עיבוד לבצע המסוגלים יותר חזקים אלגוריתמים בנייתאינפורמציה יותר ולהעביר הקינקט ממצלמת המתקבל המידע

למשתמש.• : הקינקט מצלמת מתוך נוספים מידע בערוצי שימוש תוך מידע עיבוד

. בחיישני לשימוש אפשרות כן כמו קול ועיבוד צבע תמונות עיבודה במכשירי המתוחכמים קוליות Androidהתנועה פקודות וזיהוי

במכשיר• . למשתמש האידיאלית האינפורמציה העברת צורת ומימוש בחינת

. לאוזניות פרט נוספות אינפורמציה העברת דרכי של בחינהל • ישירות הקינקט מצלמת לחיבור האפשרות smartphoneבחינת

ה מחשב הוצאת . pc2תוך כאשר יתאפשר זה תהליך מהמערכת . מתאימים דרייברים יתוכנתו

Questions?