Upload
valentine-terry
View
230
Download
5
Embed Size (px)
Citation preview
Specific Object Recognition using SIFT
گروه بینایی ماشین و پردازش
تصویرMachine Vision and Image Processing Group (Student Group)Electronic Research Center of Iran University of Science and Technology
http://mvip.iust.ac.ir
Presentation by:
Amir Azizi
1389آبان November 2010
1
Introduction
Example for specific object recognition:Search photos on web for the particular places
j. sivic
9
Local Features
New
Dataset
☺Corners☺Blobs
Local Features (Interest points or key points):
Some of applications:- Specific object recognition- Tracking- Image registration- Camera calibration- ….
10
Local Features
Desired Properties of local features:* Repeatability
- The same feature can be found in several images despite geometric and photometric transformation
* Distinctiveness- Each feature has a distinctive description
* Locality- A feature occupies a relatively small area of the image; robust to clutter and occlusion
* Quantity- Number of features
* Efficiency- Applications that need to speed
11
Local feature-based object recognition
(:Detector- آشکارساز )1استخراج نقاط کلیدی
- توصیف کننده 2(Descriptor:)
ساخت بردار ویژگی برای هر (Matching- انطباق )3نقطه کلیدی
انطباق بردارهای ویژگی با دیتاست
نیرومندی نسبت به موارد زیر:
تغییر نقطه دید-تغییر روشنایی-تغییر شکل و کجی-تغییر اندازه-انسداد-شلوغی و درهم -
برهمی
سرعت نیز اهمیت دارد
مراحل:
12
توصیف کننده هاآشکارسازها
- Harris- Harris-Laplace- Harris-Affine- MSER- Salient Regions- SIFT Detector (DoG)- SURF Detector
- Hessian-Laplace- Hessian-Affine- Shape Context- Geometric Blur- SIFT Descriptor- SURF Descriptor
Local feature-based object recognition
14
Hessian Matrix
𝐻=[ 𝐿𝑥𝑥(𝑥 , 𝑦 ,𝜎) 𝐿𝑥 𝑦 (𝑥 , 𝑦 ,𝜎)𝐿𝑥 𝑦(𝑥 , 𝑦 ,𝜎 ) 𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎) ] 𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )= 𝜕2
𝜕 𝑥2 𝑃
In mathematics, the Hessian matrix (or simply the Hessian) is the square matrix of second-order partial derivatives of a function; that is, it describes the local curvature of a function of many variables.
We want to find Blobs, soSIFT uses extrema of Hessian matrix trace:
Laplacian=𝑇𝑟𝑎𝑐𝑒=𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎 )
15
1- SIFT Detector
هدف: آشکارسازی مکان هایی که با تغییر اندازه تصویر ثابت بمانند.
1- Lindeberg 1994,19982- Koendernik 1984
SCALE-SPACE𝐿 (𝑥 , 𝑦 ,𝜎 )=𝐺 (𝑥 , 𝑦 ,𝜎 )∗ 𝑓 (𝑥 , 𝑦 )
Scale = σ
16
1- SIFT Detector SCALE-SPACE
𝐿 (𝑥 , 𝑦 ,𝜎 )=𝐺 (𝑥 , 𝑦 ,𝜎 )∗ 𝑓 (𝑥 , 𝑦 )
Laplacian=𝑇𝑟𝑎𝑐𝑒=𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎 )Laplacian=𝑇𝑟𝑎𝑐𝑒=(𝐺¿¿ 𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐺𝑦𝑦(𝑥 , 𝑦 ,𝜎 ))∗ 𝑓 (𝑥 , 𝑦 )¿
𝐺 (𝑥 , 𝑦 ,𝑘𝜎 )−𝐺 (𝑥 , 𝑦 ,𝜎 )≈(𝑘−1)𝜎2𝛻2𝐺
𝐿𝑜𝐺=𝛻2𝐺
DoG
Mikolajczyk 2002: normalized Laplacian gives more robust features
𝐻=[ 𝐿𝑥𝑥(𝑥 , 𝑦 ,𝜎) 𝐿𝑥 𝑦 (𝑥 , 𝑦 ,𝜎)𝐿𝑥 𝑦(𝑥 , 𝑦 ,𝜎 ) 𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎) ]
20
1- SIFT Detector
حذف نقاط کلیدی نقاط دارای کنتراست پایین*ناپایدار:
نقاطی که بطور ضعیفی روی لبه ها قرار گرفته اند*
24
3- Matching
دارای k-dساخت درخت * kمحاسبه تقریبی نزدیکترین همسایه اول و دوم به هر نقطه کلیدی در دیتا ست * بعد
نسبت نردیکترین همسایه اول به نزدیکترین همسایه دوم محاسبه * BBFبه کمک روش می شود
برای David Loweروش انطباق
در انتها برای *افزایش دقت
شناسایی نسبت به تغییر شکل و استتار از تبدیل
هاف نیز استفاده می شود.
با سپاس از توجه شما