第２回　CV勉強会＠九州ECCV2014読み会（2014/12/23)

LSD-SLAM: Large-Scale Direct Monocular SLAMJakob Engel and Thomas Schöps and Daniel Cremers

Computer Vision Group, TUM（ミュンヘン工科大学）

ITS（胡）　研究室D1　藤本賢志（FUJIMOTO　Satoshi）

自己紹介

● 2011年3月　熊本高専熊本キャンパス（熊本電波）卒業– マスタースレーブ上肢用CPM装置の開発– インピーダンス制御やバイラテラル制御

– リアルタイムOS

● 2013年3月　熊本大学情報電気電子工学科　卒業– STAVi(パーソナルモビリティ）

– Lidarを用いて2D SLAM、姿勢制御、衝突防止

● 2014年3月　熊本大学大学院　自然科学研究科　修士課程　修了– RGB-D SLAM（平面検出と姿勢推定）– 経路計画、自動運転（タッチして目的地まで移動）、衝突回避

● 2014年　現在、熊本大学大学院　自然科学研究科　博士課程　1年– RGB-D SLAM(特徴点によるSLAM、平面パッチ）

● 趣味は国際交流、ドライブ、旅行、グルメ

● Twitter @sotongshi　CV勉強会チェックしてました！まさか九州であるなんて！

はじめに

● いまポピュラーな研究

– Simultaneous Localization and Mapping(SLAM)　自己位置推定と地図生成

– 3D reconstruction　3次元再構築● 応用分野

– ロボティクス、特に無人航空機（UAVｓ）、ドローン– 仮想現実、拡張現実、複合現実

● 本プレゼンでは、Monocular SLAM(単眼によるSLAM)を紹介する– スケールのあいまいさやドリフトが発生する問題

– 屋内のデスク環境や、屋外の広い環境に利用できる点

– デプスやステレオカメラでは限られた範囲で信頼できる測量を与えるが、　柔軟でない

従来研究

従来研究

特徴点を使わないで直接？なんだって！？

従来研究

● Feature-Based Methods

1.特徴を抽出する

2.カメラの位置を推定し、シーンを構築する

– Filtering-based or Keyframe-based

– Edge-based or region-based features– 特徴点とその周辺の情報しか用いなかった

– 再構成されるのは特徴点のみ

Visual SLAM : Why Filter? Hauke Strasdat, et al. Image and Vision Computing 2012

Ti: camera positionXj: feature position

従来研究

● Direct Methods– Semi-dense depth filtering　（デプス推定）– 画像上のすべての情報を用いる　（勾配を用いる）

– スマートフォン上で実行可能

– 再構成されるのは全点群　(Semiなので半点群）

提案手法

● Large-Scale Direct monocular SLAM (LSD-SLAM)– 局所的な追跡だけではなく、大規模なマップ環境を構築できる

– Filtering-based estimation　– Semi-dense depth maps　デプス推定　– Pose graphによりドリフトの検出と補正

– Real-time CPU上で動作し、スマートフォンのオドメトリとして用いることができる

大規模 Depth推定 キーフレーム

概要

● システムの流れは以下の３つからなる

– Tracking　追跡

– Depth map estimation　デプス推定

– Map optimization　マップ最適化

追跡

● フォトメトリックエラー関数（輝度差）

● エラー関数の最小化– ガウスニュートン法

最小化: キーフレームと変換後depth上にある輝度差新しいフレームの追跡

追跡

● Multi-resolution (track large motions)– 複数の解像度

● Huber norm instead of L2 (outliers & occlusions)– 深度を滑らかに

● Statistical normalization (respect depth- and pixel noise)– ノイズの影響を受けにくい

追跡

● デプスノイズの影響を受けにくい(depth上輝度差)

デプス推定

● 新しいフレームが追跡できた後

キーフレームとなるか判断● 画素単位のフィルタリング

– 小さな基線長→大きな基線長

● 情報選択– 十分な情報利得、ステレオを実行

● エッジ保存平滑化● 距離ベースのキーフレーム選択

– Engel, Strum, Cremers; ICCV'13● キーフレーム間でデプス推定

ここまでがVisual　OdometrySLAMではない大規模でもない

グローバルマップ最適化

● ２つの推定したDepthマップを用いる

グローバルマップ最適化

グローバルマップ最適化

● Pose-Graph on Sim(3) : ループ検出と補正

– キーフレームの前後で、矛盾がないように補正

結果

● スケールの大小に対応

– 近いところ20cmから遠いところ10mまで見える

結果

● 絶対軌跡誤差　4.52cm以内RGB-Dセンサ要らないんじゃ

結果

● 動画

– https://www.youtube.com/watch?v=GnuQzP3gty4#action=share

まとめ

● Large-scale direct mono-SLAM● Fully direct (no keypoints / features)● Real-time even on CPU● Open-source code & data-sets

参考文献

● ECCV2014（プレゼン資料、発表ビデオ、HP、PDF）– http://videolectures.net/eccv2014_zurich/– http://videolectures.net/eccv2014_engel_monocular_slam/– http://vision.in.tum.de/research/lsdslam– https://vision.in.tum.de/_media/spezial/bib/engel14eccv.pdf– 訳して発表するだけでも勉強なるわー

● LSD-SLAM（githubにコード、動画）

– https://github.com/tum-vision/lsd_slam– https://www.youtube.com/watch?v=GnuQzP3gty4

● SVO: Fast Semi-direct Monocular Visual Odometry　チューリッヒ大学のSVO、githubにコードあり。

– http://rpg.ifi.uzh.ch/

● G2o framework（loop closure）– https://openslam.org/g2o.html

● RGB-D SLAM Dataset and Benchmark– http://vision.in.tum.de/data/datasets/rgbd-dataset– （RGB-D SLAMを評価するデータセットとベンチマーク：真値があるのが嬉しい、ミュンヘン工科大学）