โครงรางโครงงานทางวศวกรรม

(Senior Project Proposal)

ภาควชาวศวกรรมคอมพวเตอร

คณะวศวกรรมศาสตร จฬาลงกรณมหาวทยาลย

5 กนยายน 2554

ชอหวขอโครงงาน (ภาษาไทย) การแตงเตมฉากจากตวรบรภาพ

ชอหวขอโครงงาน (ภาษาองกฤษ) Scene Augmentation from Visual Sensor

โดย

นายเรวต รตกานต รหสประจำาตว 5130455321 ลายมอชอ ………………………

อาจารยทปรกษาโครงงาน

ผศ.ดร.อรรถวทย สดแสง ลายมอชอ ………………………………

อ.ดร.นทท นภานนท ลายมอชอ ………………………………

ชอหวขอโครงงาน

(ภาษาไทย) การแตงเตมฉากจากตวรบรภาพ(ภาษาองกฤษ) Scene Augmentation from Visual

Sensor

ความเปนมาและความสำาคญของปญหา

เทคโนโลยเสมอนจรง (Augmented Reality: AR) เปนสวนหนงงานวจยดานวทยาการคอมพวเตอรมาตงแตป ค.ศ. 2004 ซงเปนประเภทหนงของเทคโนโลยความจรงเสมอน (Virtual Reality: VR) ทมการนำาระบบความจรงเสมอนมาทำางานรวมกบเทคโนโลยภาพเพอสรางสงทเสมอนจรงใหกบผใช โดยการเพมภาพเสมอนของโมเดลสามมตทสรางจากคอมพวเตอรลงไปในภาพทถายมาจากกลองวดโอ เวบแคม หรอกลองในโทรศพทมอถอ ดวยเทคนคทางดานคอมพวเตอรกราฟกส [1],[2]

รปแสดง Reality-Virtuality Continuum (Milgram, P., H. Takemura, 1994)

รปแสดง Augmented Reality ของกราฟกแสดงผลการแขงขน

รปแสดง Augmented Virtuality ของผประกาศขาวทนงอยบนโตะทมจรง ซงถายทำาใน Virtual Studio

ซงตวอยางของการประยกตใช Augmented Reality ใหเขากบชวตประจำาวน ตงแตอดตจนถงปจจบนกมมากมายหลายแขน เชน

การประยกตใชในทางอตสาหกรรม เชน บรษท BMW ไดใช Augmented Reality มาชวยในการผลต โดยใหผใชไดเรยนรการทำางานดวยการใสแวนตาทจะแสดงคำาแนะนำาและจำาลองการทำางานใหเหนแตละขนตอนกอนการปฏบตจรงแบบสามมต

รปแสดง การประยกตใช Augmented Reality ในอตสาหกรรมการผลตรถยนตของบรษท BMW

การประยกตใชในทางการแพทย เชน มหาวทยาลย Ganz ไดใช Augmented Reality ในการจำาลองการผาตดตบผานระบบ ARI*SER

รปแสดง การประยกตใช Augmented Reality ในการจำาลองการผาตด

การประยกตใชในทางการโฆษณาและการคา เชน โฆษณาทปรากฏอยรอบสนามฟตบอลในการแขงขน ภาพแสดงสญลกษณสโมสรบนพนสนามขนาดใหญ หรอการโปรโมทสนคาของ AXE ทใช Augmented Reality ในการแสดงนางฟาขนมาปรากฏในจอภาพ

รปแสดง การประยกตใช Augmented Reality ในการแสดงภาพนางฟาในการโปรโมทสนคาของ AXE

การประยกตใชในการสงซอสนคาออนไลน เชน บรษท Shiseido ไดใช Augmented Reality ผานกระจกดจตอล เพอจำาลองการทดสอบการแตงหนาวาเหมาะกบลกคาหรอไม หรอบรษท Tissot ใหลกคาสามารถลองสนคาผานหนาจอกอนการสงซอสนคา

รปแสดง การประยกตใช Augmented Reality เพอจำาลองการทดสอบการแตงหนาของบรษท Shiseido

รปแสดง การประยกตใช Augmented Reality เพอใหลกคาลองสนคากอนสงซอของบรษท Tissot

โดยจากทงหมดทกลาวมาจะเหนไดวา เทคโนโลยเสมอนจรงนจะเรมเขามามบทบาทกบชวตประจำาวนของเรามากยงขนในอนาคต ซงเทคโนโลยเสมอนจรงนกยงมขอดอยบางอยางเชนกน ดงทเหนในตวอยางของการโฆษณาสนคา AXE จะเหนวาภาพเสมอนจรงทเกดขนนนจะตองมการใชวตถสญลกษณ (Marker) เพอแสดงภาพโมเดลสามมตขนมา จงทำาใหเกดความยงยากในการแสดงผลภาพเสมอนมากยงขน เนองจากจะตองม Marker จงจะสามารถแสดงโมเดลสามมตได อกทงการแสดงภาพเสมอนนนยงมสวนของ Marker เขามาปรากฏอยในภาพทเราไมตองการอกดวย

โครงงาน การแตงเตมฉากจากตวรบรภาพ จงไดถกจดทำาขน เพอ“ ”ชวยลดความยงยากในการแสดงผลภาพเสมอนทใช Marker ใหลดลง โดยจะใชวธการทจะไมใช Marker เปนสวนประกอบในการแสดงผลภาพโมเดลสามมต แตจะใชลกษณะเดนตางๆทปรากฏอยในภาพมาทำาการวเคราะหเพอหาตำาแหนงทเหมาะสมในการแสดงผลโมเดลสามมตลงบนภาพจรง โดยทมเงอนไขคอ จะตองมชดขอมลของวตถหรอสถานททตองการในฐานขอมลกอนจงจะสามารถวเคราะหและประมวลผลภาพถายทตองการได ซงประโยชนทจะไดรบจากการใชลกษณะเดนในภาพมาทำาการแสดงผลภาพเสมอนนนจะไมมสวนของ Marker เขามาเกยวของในภาพ จงทำาใหภาพมความเสมอนจรงมากยงขน ตวอยางเชน สามารถแสดงโมเดลสามมตทเคลอนไหวไดของเรอทเคลอนทไปในแมนำา หรอสามารถแสดงโมเดลสามมตของบรรยากาศบรเวณวดในสมยกอน จากการถายภาพวดในปจจบนแลวใชการสรางโมเดลสามมตเพมเตมรายละเอยดใหเสมอนจรงลงไปในภาพไดเปนตน

ทฤษฎทเกยวของ

1. SIFT (Scale Invariant Feature Transform) นำามาใชในการวเคราะหเพอหาจดเดนของรปภาพทไดรบเขามา โดยไม

ขนกบขนาดหรอทศทางของวตถในภาพ ซงลกษณะเดนทไดจากวตถลกษณะเดยวกนจะมลกษณะทคลายคลงกน โดยวธการของ SIFT จะประกอบดวย 4 ขนตอนทสำาคญ [8],[9],[10] ไดแก

1.การหาปรภมคาในมตขนาดและระยะทาง (Scale-space extrema detection)

เราจะเรมดวยการหาลกษณะเดนของภาพทไมขนกบขนาดหรอทศทาง โดยจะใชวธการเบลอ (Blur) ภาพดวยฟงกชนเกาสเซยน (Gaussian Function) ไปในแตละขน (Octave) ซงในแตละ Octave กจะมรปหลายๆระดบการ Blur ซงมขนาดรปทเทากน โดยทแตละระดบการ Blur จะ Blur จากระดบปกตแลวคอยๆเพม σ (Scale parameter) ซงจะมผลทำาใหภาพ Blur มากยงขน แลวทำาซำากบ Octave ตอไปเรอยๆ โดย Octave ตอไปกจะมขนาดของรปเปนครงหนงของ Octave เดม

โดยทL คอ ภาพทผานการ Blur G คอ ตวกรองแบบ Gaussian ทมขนาด σI คอ ภาพตนฉบบx,y คอ พกดบนภาพσ คอ ตวแปรขนาดของการ Blur ยงมคามาก ยง Blur มาก* คอ การคอนโวลชนบนภาพ I โดยใช Gaussian

blur G

รปแสดง การใช σ ทแตกตางกนไปในแนวตงซงไดผลลพธคอภาพทมความ Blur มากขน และการขยบ Octave ขนไปทละขนโดยมขนาดรปภาพเปนครงหนงของ Octave กอนหนา ซงในภาพนไดแสดง 4 Octave โดยแตละ Octave ม 5 รปทเหมอนกนแตตางกนทขนาดของการ Blur

2.การกำาหนดตำาแหนงจดสนใจ (Keypoint localization)

จากการหาปรภมคาในมตขนาดและระยะทางในขนตอนกอนหนา เรากจะนำามาหาจดทนาจะเปนลกษณะสำาคญของภาพ โดยเราจะทำาการจบคภาพของแตละ Octave มาหาความตางของแตละผลลพธทไดจากการ Blur (Difference of Gaussian : DoG) โดยจะทำาทกภาพในแตละ Octave และทำาซำาจนครบทก Octave

รปแสดง การหา Difference of Gaussian ในแตละขนของ Octave

รปแสดง ผลลพธจากการทำา Difference of Gaussian ในแตละขนของ Octave

ตอมาจะเปนการหาจดสำาคญ (Keypoints) ซงจะถกแบงออกเปน 2 สวน คอ

1.Locate maxima/minima in DoG imagesเปนการประมาณหาคาจดภาพ (Pixel) ทมคาสงสดหรอตำา

สดแบบหยาบๆ (ใชคำาวาประมาณเพราะวา จดทมคาสงสดหรอตำาสดเปนจดทอยระหวางจดภาพ) เมอทำาการเปรยบเทยบกบจดรอบ

บานรอบขาง 26 จด ซงแบงเปน 8 จดทอยตดกบจดทพจารณา และ 9 จดบนและลางทอยตดกบจดทพจารณา

รปแสดง จด X ทเปนจดอางองเปรยบเทยบกบจดรอบขาง 26 จด

รปแสดง จดสแดงท เปนจดสงสดหรอตำาสดทเปน pixel แตจดทสงสดจรงๆ คอ จดสเขยว ซงเปน subpixel

2.Find subpixel maxima/minimaเราจะใชสมการของ Taylor เพอทำาการประมาณหา

subpixel ทเปนจดทมคาสงสดหรอตำาสดอยางแทจรง จาก pixel ทเราไดเลอกมาจากขนตอนกอนหนา

รปแสดง ผลลพธจากการทำา Locate maxima/minima กบ 4 DoG images

จากขนตอนทผานมาเราจะได Keypoints จำานวนมาก ซงบางจดจะวางเรยงตวอยบนเสนขอบ (Edge) หรอบางจดม ความคมชด (Contrast) โดยจดเหลานจะเปนจดทเราจะทำาการคดออก เพอจะไดผลลพธสดทายทแตละจดจะมความเหมาะสมทจะเปน Keypoint มากทสด ประกอบดวย 2 ขนตอน คอ

1.Removing low contrast featuresเราจะทำาการหาคาความเขม(Intensity) ของจดทเปน

subpixel ซงเราไดประมาณมาจากขนตอนทผานมา นำามาเปรยบเทยบกบคาทเรากำาหนดคาหนงโดยถามคานอยกวากจะทำาการคดจดนนออกจาก Keypoints

2.Removing edgesเราจะทำาการคำานวณ gradients 2 ตวของจดทเปน

keypoint ซงตงฉากกนและกน โดยเราสามารถสรปความสมพนธบนภาพจากจดทง 2 ไดเปน 3 แบบ คอ

1.พนทราบ (Flat region) จะม gradient ทมคานอยทงค

2.ขอบ (Edge) จะม gradient ทมคามากสำาหรบตวทตงฉากกบ

ขอบ และม gradient ทมคานอยสำาหรบตวทขนานไปกบขอบ

3.มม (Corner) จะม gradient ทมคามากทงค

โดยเราจะพจารณา keypoint ทมลกษณะเปนมมเปนหลก ซงถามคาของ gradient ทมากพอทงค เรากจะนยามใหเปน keypoint แตถาไมมากพอกจะถกตดทง และในขนตอนการพจารณาหา keypoint ทเปนมมน เราสามารถใช Hessian Matrix เขามา เพอชวยในการหาวาเปนมมหรอไม ไดดยงขน

4.

รปแสดง ผลลพธทไดหลงจากทำาการหา keypoint จากการทดสอบ Edge และ Contrast ทเหมาะสม

3. การกำาหนดทศทางของจดสนใจ (Orientation assignment)

ทำาการเกบรวบรวมขนาด m(x,y) และ ทศทาง Ө(x,y) ของ gradient ของบรเวณรอบๆ keypoints เพอทจะกำาหนดทศทางให keypoint นนๆ

รปแสดง การขนาดและทศทางของ keypoint

จากนนกจะนำาเอาขนาดและทศทางของ gradient ของ pixel รอบๆ keypoint มาทำาการสรางภาพแทงความถ (Histogram) ซงจะมแกน x ชวงขององศา และแกน y เปนขนาดของ gradient ของ pixel นนๆรวมกบ pixel อนๆทแบงแยกตามแตละชองของแกน x เดยวกน ตอมากจะทำาการเพม keypoint โดยมเงอนไขวา ถา keypoint ใดม peak ของ histogram ทมขนาดมากกวา 80%ของ peak ทสงสด กจะแบงออกเปน keypoint ใหม

4. การสรางคำาอธบายลกษณะเดนของภาพ (Keypoint descriptor)

เราจะทำาการสราง 16x16 window (window คอ บรเวณทจะทำาการเกบขอมลทศทาง ซงจะมขนาดคอ 1.5* σ) รอบ keypoint และทำาการแบงออกเปน 4x4 windows ทงหมด 16 ชด โดยในแตละชดจะทำาการคำานวณหาขนาดและทศทางของ gradient แลวนำามาสรางเปน histogram ทมขนาด 8bin (แกน x แบง 8 ชวง ชวงละ 45 องศา) โดยทขนาดของ histogram ในแตละสวนจะขนกบ ขนาด*ตวถวงนำาหนก(ระยะทางทหางจาก keypoint) ดงนนเมอเราทำาการคำานวณเสรจสน ผลลพธทไดคอ 4x4x8 = 128 ซงจะทำาการ normalize ตอ และจะใชเปน feature vector ของแตละ keypoint นนเอง

2. Pose Estimationเปนกระบวนทนำามาใชเพอทำาการหาตำาแหนงและทศทางการวางตว

ของกลอง โดยจะนำาความสมพนธของจดทจะใชเปน feature point หรอ key point บนภาพถายสองมตของวตถชนเดยวกนจากหลายๆมมมองมาชวยในการวเคราะหเพอคำานวณตำาแหนงและทศทางไดอยางถกตองและมความใกลเคยงมากทสด โดยในการคำานวณโมเดลของกลองน เราจะมพารามเตอรทสนใจ 2 ตวดวยกน ไดแก

1.Internal parameter จะแทนดวย โดยคา K จะขนอยกบคณสมบตของ

ตวกลองโดยตรง ไดแก ความยาวโฟกส คณสมบตของเลนส ซงคา K น เราจะสามารถประมาณไดดวยการใชเทคนค Camera Calibration (การปรบมาตรฐานของภาพทไดจากกลอง เพอใหไดภาพทไมบดเบอน) โดยจะนำามาใชในการเปลยนจากพกดสามมตของกลองใหกลายเปนพกดสองมตบนภาพ

2.External parameterจะแทนดวย โดยคา R จะแทนการหมน

และคา t จะแทนการเลอนขนาน โดยคาทงสองจะใชแทนการเปลยนจากตำาแหนงของกลองบนพกดสามมตในโลกจรงมายงพกดของกลองในระบบ

ซงเราสามารถสรปเปนสมการของการเปลยนจากพกดสามมตในโลกจรง( ) ใหเปนพกดสองมตบนภาพ( ) คอ

หรอ

หรอ

ซงจากความสมพนธของจดทจะใชเปน feature point หรอ key point นเอง เรากจะใชความสอดคลองของจดเหลาน (

) โดยใชสมการขางตน เพอทำาการประมาณการตำาแหนงและทศทางของกลอง

โดยทวไปแลววธการหาจดทจะเปน feature point หรอ key point นน จะมดวยกนหลากหลายวธ โดยวธทคอนขางเปนทนยม คอ SIFT และ Randomized Tree และเมอทำาการหาความสอดคลองไดจนครบทกจดในภาพแลว กอาจพบวามจดบางจดทเปนจดทอาจจะอยนอกความสนใจในการพจารณาของเรา ซงมผลทำาใหเกดความผดพลาดในกระบวนการประมาณของเรา เราจงตองทำาการวเคราะหเพอคดจดทอยนอกความสนใจของเราออก โดยใชวธการ คอ RANSAC(Random Sample Consensus) ซงเปนวธการทำาซำา (Iterative Method) จนกวาจะไดผลลพธทมความเปนไปไดสงสดขนกบจำานวนรอบการทำาซำานนเอง

รปแสดง ผลลทธของการหาตำาแหนงและทศทางของการวางตวของกลองจากหนงสอทตองการ(เสนขอบสนำาเงน) โดยภาพทางดานซายจะเปนภาพทยงไมไดใชเทคนค RANSAC ซงจะเหนไดวาจากการใช SIFT หา feature point ทสอดคลองกน(เสนสเหลอง)ระหวางภาพตนฉบบ(ภาพ

ดานบน)กบภาพนำาเขา(ภาพดานลาง) กอใหเกดความผดพลาดในการประมาณการวางตวของกลองเปนอยางมาก สวนภาพทางดานขวาเปนการใชเทคนค RANSAC เขามาชวย โดยจะคด feature point ทไมสอดคลองกบภาพตนฉบบออก(เสนสแดง) ทำาใหไดการประมาณการวางตวของกลองถกตองและแมนยำามากยงขน

และในปจจบน กระบวนการประมาณตำาแหนงและทศทางการวางตวของกลองนนมไดหลากหลายขนตอนวธ โดยจะสามารถแบงอกเปน 3 แบบหลกๆ ไดแก

1.Direct Linear Transformationเปนขนตอนวธการประมาณแบบตรงๆ โดยไมสนใจเงอนไขขอ

กำาหนดทเกยวกบผลลพธทจะเปนไปไดทงหมด(Solution Space)2.Perspective n-Point

เปนขนตอนวธทจะประมาณคาตวแปรทเหมาะสมกอน เพอทจะจำากดผลลพธใหครอบคลมเฉพาะการวางตวของกลองทมความสมเหตสมผลออกจากผลลพธทจะเปนไปไดทงหมด (Solution Space)

3.A priori information estimatorsเปนขนตอนวธทจะนำาขอมลอนๆทเกยวของมาชวย ทำาให

สามารถหาผลลพธไดอยางรวดเรวและนาเชอถอมากยงขน โดยขอมลทเกยวของทจะนำามาพจารณา ไดแก

1.Inclination information จะใชตวรบรความเอยง (Inclination sensor) มาใชเปนคาของเมทรกซการหมน (Rotation Matrix)

2.Prior probability จะใชขอมลบางอยางเพอทจะจำากดใหเหลอแตผลลพธทนาจะเปนไปได

3. เทคโนโลยเสมอนจรง (Augmented Reality : AR) แนวคดของ Augmented Reality นน คอการพฒนา

เทคโนโลยทผสานเอาโลกแหงความจรงและความเสมอนจรงเขาดวยกน

ผานซอฟตแวรและอปกรณเชอมตอตางๆ เชน เวบแคม คอมพวเตอร และอนๆ ซงภาพเสมอนจรงนนจะแสดงผลผานหนาจอคอมพวเตอร หรออปกรณแสดงผลอนๆ ทงในลกษณะทเปนภาพยงสามมต ภาพเคลอนไหว หรออาจเปนสออนๆขนกบการออกแบบใหเปนแบบใด โดยกระบวนการภายในของ Augmented Reality จะประกอบดวย 3 กระบวนการ ไดแก [2],[7]

1.การวเคราะหภาพ (Image Analysis) แบงไดเปน 2 ประเภท คอ

การวเคราะหภาพโดยอาศย Marker (Marker based Augmented Reality)

การวเคราะหภาพโดยใชลกษณะตางๆทอยในภาพมาวเคราะห (Marker-less based Augmented Reality)

โดยทง 2 ประเภทมหลกการทำางานคลายคลงกนคอ เปนขนตอนการคนหา Markers หรอ Feature จากภาพแลวสบคนจากฐานขอมลทมการเกบขอมลขนาดและรปแบบของ Marker หรอ Feature เพอนำามาวเคราะหรปแบบของ Marker หรอ Feature

2.การคำานวณคาตำาแหนงเชงสามมต (Pose Estimation)

เปนการคำานวณคาตำาแหนงเชงสามมตของ Marker หรอ Feature เมอเปรยบเทยบกบกลอง

3.กระบวนการสรางภาพสองมตจากโมเดลสามมต (3D Rendering)

เปนการเพมขอมลเขาไปในภาพ โดยใชคาตำาแหนงเชงสามมตทคำานวณไดจนไดภาพเสมอนจรง

เครองมอทเกยวของ

1.OpenCV (Open Source Computer Vision)

เปน Library  ทถกพฒนาขนมาดวยภาษา C ซงถกใชสำาหรบการพฒนาโปรแกรมทเกยวของกบงานทางดาน Image Processing และ Computer Vision โดยสามารถประมวลผลภาพดจตอลไดทงภาพนง และภาพเคลอนไหวเชน ภาพจากกลองวดโอ หรอไฟลวดโอ และในเวอรชนปจจบนของ OpenCV นน การพฒนาสวนใหญจะถกพฒนาในภาษา C++ อกทงยงสามารถรองรบไดทงในระบบปฏบตการ Windows, Linux, Android และ Mac อกดวย [3],[4]

2.OpenGL (Open Graphics Library)

เปน Library ทถกพฒนามาเพอรองรบการทำางานในการสรางชนงานทงในรปแบบสองมตและสามมตของงานดาน Computer Graphics ซงชนงานทเกดขนนนจะเกดจากการนำาจด,เสน และรปหลายเหลยมมาประกอบกน โดยมกระบวนการทเรยกวา Graphics Pipelines มาใชในการประมวลผลงานทจะแสดงออกมาทางจอภาพของผใชนนเอง [5],[6]

งานวจยทเกยวของ

Distinctive Image Features from Scale-Invariant Keypoints [11]

3D Shape Reconstruction [12],[13],[14] Camera Calibration and 3D Reconstruction [15] Markerless Camera Pose Estimation [16]

แนวคดในการพฒนาโครงงาน

ซอฟตแวรทจะพฒนาขนนนจะใหผใชนำาเขาภาพถายผานอปกรณรบภาพคอ กลองเวบแคม หรอนำาเขาภาพถายผานทางไฟลบนเครองคอมพวเตอร จากนนจะนำาภาพถายมาวเคราะห ประมวลผล เพอหาวตถทปรากฏอยใน โดยซอฟตแวรจะทำาการวเคราะห ประมวลผลจดรายละเอยดทสำาคญของวตถในภาพถายเปรยบเทยบกบชดขอมลตวอยางในฐานขอมล เพอทำาการวเคราะหหาการวางตวของตำาแหนงและทศทางของกลองทถายภาพจากขอมลความสมพนธของจดทสำาคญบนวตถระหวางภาพถายของวตถจากผใชและภาพถายของวตถทเปนชดขอมลตวอยาง และเมอไดขอมลการวางตวของกลองแลวกจะนำามาใชในการคำานวณการแสดงผลโมเดลสามมตของขอมลของวตถใหปรากฏลงบนภาพถายทไดรบเขามาอยางเหมาะสม

วตถประสงค

1. เพอสรางซอฟตแวรทสามารถนำาขอมลของวตถทปรากฏอยในภาพถายมาแสดงใหกบผใช โดยใชการสรางภาพเสมอนของโมเดลสามมตลงบนภาพถาย โดยไมใชวตถสญลกษณ (Marker)

ขอบเขตของโครงงาน

1. ซอฟตแวรจะรองรบเฉพาะภาพถายของวตถซงปรากฏอยภายในอาคารเทานน

2. ซอฟตแวรจะตองสามารถวเคราะห ประมวลผลภาพถาย และระบไดวาวตถทปรากฏอยในภาพถายนน คอสงใด

3. ซอฟตแวรจะตองสามารถวเคราะห ประมวลผลภาพถาย และระบไดวาวตถทปรากฏอยในภาพถายนนมการวางตวของตำาแหนงและทศทางของกลองทถายภาพเปนอยางไร

4. ซอฟตแวรจะตองสามารถนำาขอมลของวตถทปรากฏในภาพถายมาแสดง โดยใชการสรางภาพเสมอนของโมเดลสามมตลงบนภาพถายได

5. ซอฟตแวรจะตองมชดขอมลตวอยางสำาหรบวตถกอน โดยทขอมลของชดตวอยางนนจะตองมความเหมาะสมทงดานความชดเจน ความสวาง และคณภาพ

ขนตอนการดำาเนนงาน

1. กำาหนดวตถประสงค และขอบเขตของซอฟตแวรทจะทำาการพฒนา2. ศกษาคนควาทฤษฎหรองานทเกยวของกบซอฟตแวรทจะทำาการ

พฒนา3. ศกษาคนควาขอมลเพมเตม เพอทจะทำาการกำาหนดรายละเอยดของ

ซอฟตแวรทจะทำาการพฒนาใหถกตอง ครบถวน และชดเจนมากทสด4. ศกษาเครองมอและทฤษฎทจะนำามาใชในการพฒนาซอฟตแวร5. เรมพฒนาซอฟตแวรตามทไดออกแบบและวางแผนไว

5.1 พฒนาสวนการทำางาน SIFT5.2 พฒนาสวนการทำางาน 3D Shape Reconstruction5.3 พฒนาสวนการทำางาน Pose Estimation5.4 พฒนาสวนการทำางาน 3D Rendering

6. ทำาการตรวจสอบการทำางานของซอฟตแวรวามความถกตอง และครบถวนหรอไม อกทงยงทำาการปรบปรงแกไขขอผดพลาดตางๆทเกดขนใหถกตองและเหมาะสม

7. นำาซอฟตแวรทพฒนาขนไปใชงานจรง

ระยะเวลาในการดำาเนนโครงงาน

ประโยชนทคาดวาจะไดรบ

1. ไดซอฟตแวรทสามารถแสดงขอมลของวตถทปรากฏอยในภาพถายทไดรบมาจากผใช โดยใชการสรางภาพเสมอนของโมเดลสามมตแสดงผลลงบนภาพถาย ไดอยางถกตองและมประสทธภาพ

รายการอางอง

[1] http://en.wikipedia.org/wiki/Augmented_reality[2] พนดา ตนศร. โลกเสมอนผสานโลกจรง (Augmented Reality).[3] http://en.wikipedia.org/wiki/OpenCV[4] http://opencv.willowgarage.com/wiki/FullOpenCVWiki[5] http://en.wikipedia.org/wiki/OpenGL[6] http://www.opengl.org/[7] วสนต เกยรตแสงทอง, พรรษพล พรหมมาศ, อนวตร เฉลมสกลกจ(2552). การศกษาเทคโนโลยออค-เมนตเตลเรยลรต: กรณศกษาการพฒนาเกมส เมมการด“ ”. มหาวทยาลยศรนครนทรวโรฒ,2552, 15, 12.[8] http://en.wikipedia.org/wiki/Scale-invariant_feature_transform#Scale-invariant_feature_detection[9] http://www.aishack.in/2010/05/sift-scale-invariant-feature-transform/[10] วทลย ดอนพรทน, สรภทร เชยวชาญวฒนา, คำารณ สนต. การหาจดสนใจของภาพดวย Dop-RPPRBF เพอหาลกษณะเดนของภาพแบบ SIFT บนอปกรณทมความสามารถในการประมวลผลแบบจำากด (Keypoints detection with Dop-RPPRBF for SIFT feature descriptor on Low Complexity Processor).[11] David G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints”.[12] Richard Hartley and Andrew Zisserman, “Multiple View Geometry in Computer Vision”.[13] Chhandomay Mandal, Huaibin Zhao, Baba C. Vemuri, J.K. Aggarwal, “3D Shape Reconstruction from Multiple Views”.[14] Saad M. Khan , “Multi-view Approaches to Tracking, 3D Reconstruction and Object Class Detection”

[15]http://opencv.willowgarage.com/documentation/cpp/calib3d_camera_calibration_and_3d_reconstruction.html[16] Tobias Nöll, Alain Pagani, Didier StrickerMarkerless, “Camera Pose Estimation – An Overview”