Upload
ngvanduc
View
716
Download
1
Embed Size (px)
DESCRIPTION
_Nội dung báo cáo: http://www.mediafire.com/?4buw58jbb37o5j6 _Video và full code: http://youtu.be/PR9tlFay0U8
Citation preview
Đề tài:
Ứng dụng kỹ thuật stereo vision cho robot
GVHD: PGS.TS Hoàng Đình Chiến
SVTH: Nguyễn Văn Đức
Nguyễn Hồng Đức
NỘI DUNG
Giới thiệu1
Hệ thống Stereo Vision2
Kết quả đạt được3
Hướng phát triển4
Giới thiệu
Các phương pháp phát hiện vật cản
Dùng công tắc hành trình Dùng cảm biến siêu âm
Giới thiệu
Các phương pháp phát hiện vật cản
Phương pháp optical flow
Giới thiệu
Các phương pháp phát hiện vật cản
Phương pháp dò biên (Edge detection)
Giới thiệu
Các phương pháp phát hiện vật cản
Phương pháp dò nền
Giới thiệu
Các phương pháp phát hiện vật cản
Phương pháp Stereo Vision
Hệ thống Stereo Vision Lấy ý tưởng từ hoạt động thị giác của người
Hệ thống Stereo Vision Sơ đồ khối
Thu hình
Hiệu chỉnh ảnh
Hiệu chỉnh Camera
Tính toán bản đồ độ chênh lệch
Xử lý bản đồ độ
chênh lệch
Điều khiển ứng dụng
Trái
Phải Phải *
Trái *
Hệ thống Stereo Vision
Thu hình
Hiệu chỉnh ảnh
Hiệu chỉnh Camera
Tính toán bản đồ độ chênh lệch
Xử lý bản đồ độ
chênh lệch
Điều khiển ứng dụng
Trái
Phải Phải *
Trái *
Khối thu hình
Hệ thống Stereo Vision
rl
rl
xx
fTZ
Z
T
fZ
xxT
)(
Hệ thống Stereo Vision Khối hiệu chỉnh camera
Thu hình
Hiệu chỉnh ảnh
Hiệu chỉnh Camera
Tính toán bản đồ độ chênh lệch
Trái
Phải Phải *
Trái *Xử lý bản
đồ độ chênh lệch
Điều khiển ứng dụng
Khối hiệu chỉnh camera1. Đặc tính của camera (Camera Model)
q = M * Q
Đặc tính của camera (Camera Model)
Đặc tính của camera (Camera Model)
Đặc tính của camera (Camera Model)
Đặc tính của camera (Camera Model)
Radial distorsions :
Tangential distorsions :
Khối hiệu chỉnh camera
2. Hiệu chỉnh
Mục đích chính của hiệu chỉnh camera là tìm ra ma trận cần thiết E (Essential matrix) và ma trận cơ sở F (Fundamental matrix)
Hệ thống Stereo Vision Khối hiệu chỉnh ảnh
Thu hình
Hiệu chỉnh ảnh
Hiệu chỉnh Camera
Tính toán bản đồ độ chênh lệch
Xử lý bản đồ độ
chênh lệch
Điều khiển ứng dụng
Trái
Phải Phải *
Trái *
Khối hiệu chỉnh ảnh
Hiệu chỉnh ảnh
Tìm đường epipolar
Canh ảnh (Image rectification)
Tìm đường epipolar
Canh ảnh
Hệ thống Stereo Vision Khối tính toán bản đồ độ chênh lệch
Thu hình
Hiệu chỉnh ảnh
Hiệu chỉnh Camera
Tính toán bản đồ độ chênh lệch
Xử lý bản đồ độ
chênh lệch
Điều khiển ứng dụng
Trái
Phải Phải *
Trái *
Tính toán bản đồ độ chênh lệch
Tìm điểm tương quan
d
fT
xx
fTZ
rl
d
Thuật toán SAD
capcapc IIIIMaxMin ),,(
han tren gioi triGia :capI
tam trungpixel sang do cuong triGia :cI
so cuabinh trungsang do triGia :I
Thuật toán SAD
Thuật toán SAD
Thuật toán SAD
Hệ thống Stereo Vision Khối xử lý bản đồ độ chênh lệch
Thu hình
Hiệu chỉnh ảnh
Hiệu chỉnh Camera
Tính toán bản đồ độ chênh lệch
Xử lý bản đồ độ
chênh lệch
Điều khiển ứng dụng
Trái
Phải Phải *
Trái *
Xử lý bản đồ độ chênh lệch
Hệ thống Stereo Vision Khối điều khiển ứng dụng
Thu hình
Hiệu chỉnh ảnh
Hiệu chỉnh Camera
Tính toán bản đồ độ chênh lệch
Xử lý bản đồ độ
chênh lệch
Điều khiển ứng dụng
Trái
Phải Phải *
Trái *
Kết quả đạt được
Kết quả đạt được
Kết quả đạt được
Đạt được Đưa được ra bản đồ độ chênh lệch với chất lượng chấp
nhận được Kết quả về khoảng cách sai số không đáng kể trong phạm vi
70 - 90 cm
Hướng phát triển
Tìm hiểu các kỹ thuật trong điều khiển di chuyển
Thiết kế mô hình Mobile robot di chuyển bằng bánh xe
Tiến hành lập kế hoạch đường đi và tránh vật cản trên mô hình robot thực kết hợp với kỹ thuật stereo vision