エネルギー科学研究科

エネルギー社会・環境科学専攻修士論文

題目：原子力プラントの

系統隔離作業支援システムにおける

拡張現実感用トラッキング手法の開発

指導教官： 吉川 榮和 教授

氏名： 松井　康治

提出年月日： 平成16年2月5日（木）

論文要旨題目 : 原子力プラントの系統隔離作業支援システムにおける拡張現実感用トラッキング手法の開発

吉川榮和研究室 松井康治

要旨 :

電力自由化を背景に、原子力プラントの運用コストの削減が求められている。一方で、近年相次いだ原子力プラントの事故を受けて、さらなる安全性が求められている。現在は莫大なコストを掛けることで安全性を保っているが、このような現状からコスト削減と安全性のトレードオフを改善する必要がある。その手段として、保守作業の高効率化やヒューマンエラーの軽減を実現できる、次世代HMS(Human Machine System)を用いた作業支援が検討されている。近年注目されている次世代HMSに拡張現実感技術がある。これは作業対象機器にコンピュータが生成した作業情報を重畳表示させるというもので、作業員がより直感的に作業情報を取得できるため、ヒューマンエラーの軽減につながると期待されている。この、拡張現実感技術を実際に応用するためには、作業員の視界に映る作業対象機器の正確な位置に正確な向きで作業情報を提示する必要があり、作業員の位置や顔の向きを計測する技術、すなわちトラッキング技術が必要となる。トラッキング技術は、これまでに様々な手法が提案されているが、原子力プラント保守作業に対する拡張現実感技術を応用した作業支援システムを構築する場合、その特殊な環境から、従来のトラッキング技術では作業員の位置や顔の向きを正確に計測できないため、新たなトラッキング技術を開発する必要がある。そこで、本研究では、系統隔離作業の特徴と制約に合わせて、(a) 人工マーカを用いたトラッキング、(b) 自然特徴点を用いたトラッキング、(c) ジャイロセンサ・加速度センサを用いたトラッキングの 3つのトラッキング技術を組み合わせたハイブリッドトラッキング手法を考案する。

(a) 人工マーカを用いたトラッキングと、(b) 自然特徴点を用いたトラッキングでは、マーカの特徴点、および自然特徴点の抽出方法、各特徴点の三次元位置の算出方法、異なる視界画像から得られた各特徴点同士の対応付けの方法、6つの各特徴点を用いた作業員の位置・姿勢の推定方法を設計する。

(c) ジャイロセンサ・加速度センサを用いたトラッキングでは、センサが検出した角速度・加速度を利用した位置・姿勢の推定方法を設計する。またセンサからのデータに含まれる誤差の要因の一つであるドリフト成分を除去する方法を提案する。そしてこれら 3つのトラッキング技術を統合方法を設計する。以上の要素技術の設計を元に、ハイブリッドトラッキングシステムを試作し、個々の技術についての評価とシステム全体の動作確認を行った。評価の結果、6つの特徴点を用いた位置・姿勢の推定と特徴点の三次元位置の算出に関しては実用に耐えうる算出精度・計算負荷であることを確認した。一方、異なる視界画像から得られた自然特徴点同士の対応付けは、十分な精度が得られず、また提案した改良手法は精度向上を期待できるが、計算負荷が問題となった。ジャイロセンサ・加速度センサに関しては、提案した手法によりドリフト成分の除去が可能であることを確認した。一方、位置・姿勢の算出に関しては、十分な精度とは言えなかった。以上の結果より、今後の課題として、自然特徴点同士の対応付けの精度を向上させる手法の開発と、ジャイロセンサ・加速度センサの誤差を補正する手法の開発が挙げられる。

目 次

第 1 章 序論 1

第 2 章 研究の背景と目的 3

2.1 原子力プラントにおける系統隔離作業の現状と課題 . . . . . . . . . . . 3

2.2 拡張現実感技術を利用した系統隔離作業支援システム . . . . . . . . . . 5

2.2.1 拡張現実感技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.2.2 拡張現実感技術を利用した作業支援例 . . . . . . . . . . . . . . 7

2.2.3 系統隔離作業支援への拡張現実感技術の適用 . . . . . . . . . . 9

2.2.4 拡張現実感技術利用の課題 . . . . . . . . . . . . . . . . . . . . 10

2.3 研究の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

第 3 章 系統隔離作業支援に用いるトラッキング技術の設計 13

3.1 系統隔離作業におけるトラッキング技術 . . . . . . . . . . . . . . . . . 13

3.1.1 既存の代表的なトラッキング技術 . . . . . . . . . . . . . . . . . 13

3.1.2 ハイブリッドトラッキング技術 . . . . . . . . . . . . . . . . . . 17

3.1.3 系統隔離作業支援において要求されるトラッキング技術 . . . . 17

3.2 取り扱う座標系とその変換 . . . . . . . . . . . . . . . . . . . . . . . . 20

3.3 人工マーカを用いたトラッキング . . . . . . . . . . . . . . . . . . . . . 23

3.4 自然特徴点を用いたトラッキング . . . . . . . . . . . . . . . . . . . . . 24

3.4.1 自然特徴点の抽出 . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.4.2 自然特徴点間のマッチング . . . . . . . . . . . . . . . . . . . . 26

3.4.3 自然特徴点の三次元位置推定 . . . . . . . . . . . . . . . . . . . 28

3.4.4 6つの自然特徴点を利用したカメラの位置と姿勢推定 . . . . . . 31

3.5 ジャイロ・加速度センサを用いたトラッキング . . . . . . . . . . . . . 35

3.5.1 ジャイロセンサによる姿勢の変化量の算出 . . . . . . . . . . . . 35

3.5.2 加速度センサによる位置の変化量の算出 . . . . . . . . . . . . . 35

3.5.3 ジャイロセンサ・加速度センサのドリフト成分を除去するアル

ゴリズム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

i

3.5.4 センサ値補正アルゴリズム . . . . . . . . . . . . . . . . . . . . 39

3.6 ハイブリッドトラッキングアルゴリズム . . . . . . . . . . . . . . . . . 39

第 4 章 ハイブリッドトラッキングシステムの開発 41

4.1 ハードウェア構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

4.2 ソフトウェア構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

4.2.1 トラッキングの処理の流れ . . . . . . . . . . . . . . . . . . . . 49

4.2.2 初期化処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

4.2.3 ジャイロセンサ・加速度センサを用いたトラッキング処理 . . . 51

4.2.4 センサデータの確認 . . . . . . . . . . . . . . . . . . . . . . . . 51

4.2.5 視界画像を用いたトラッキング処理 . . . . . . . . . . . . . . . 52

第 5 章 ハイブリッドトラッキングシステムの評価と動作確認 54

5.1 自然特徴点を用いたトラッキングの評価 . . . . . . . . . . . . . . . . . 54

5.1.1 6つの自然特徴点を用いた位置・姿勢算出の評価 . . . . . . . . 54

5.1.2 ステレオ法を用いた自然特徴点の三次元位置算出の評価 . . . . 59

5.1.3 自然特徴点間のマッチングの評価 . . . . . . . . . . . . . . . . . 65

5.2 ジャイロ・加速度センサを用いたトラッキングの評価 . . . . . . . . . . 72

5.2.1 ジャイロ・加速度センサのドリフトキャンセル手法の評価実験 72

5.2.2 ジャイロ・加速度センサによる位置・姿勢算出の精度評価 . . . 78

5.3 ハイブリッドトラッキングシステムの動作確認 . . . . . . . . . . . . . 80

5.4 評価のまとめと今後の課題 . . . . . . . . . . . . . . . . . . . . . . . . 81

第 6 章 結論 82

謝 辞 84

参 考 文 献 85

ii

図 目 次

2.1 拡張現実感の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.2 拡張現実感の位置付け . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.3 対象が直観的に理解できる例 . . . . . . . . . . . . . . . . . . . . . . . 7

2.4 情報内容を容易に理解できる例 . . . . . . . . . . . . . . . . . . . . . . 8

2.5 航空機ワイヤーハーネス作成支援システム . . . . . . . . . . . . . . . . 8

2.6 KARMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.7 拡張現実感技術によるバルブの特定 . . . . . . . . . . . . . . . . . . . . 9

2.8 拡張現実感技術による作業内容の提示 . . . . . . . . . . . . . . . . . . 10

3.1 本研究で取り扱う座標系 . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.2 ARToolKitで使用するマーカの例 . . . . . . . . . . . . . . . . . . . . . 24

3.3 ARToolKitによるデモンストレーション . . . . . . . . . . . . . . . . . 24

3.4 設置するマーカと座標系の関係 . . . . . . . . . . . . . . . . . . . . . . 25

3.5 Harrisオペレータの実行例 . . . . . . . . . . . . . . . . . . . . . . . . . 26

3.6 Harrisオペレータと直線の交点を利用した角の検出 . . . . . . . . . . . 27

3.7 異なる視点で取得した画像間での特徴点の対応付け . . . . . . . . . . . 27

3.8 ステレオ法における視界画像と特徴点の関係 . . . . . . . . . . . . . . . 29

3.9 視点・画像面・その上での座標軸を表すベクトル . . . . . . . . . . . . 34

3.10 ドリフト成分の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

3.11 センサの取り付け方 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

3.12 減算回路 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

3.13 ハイブリッドトラッキングアルゴリズム . . . . . . . . . . . . . . . . . 40

4.1 ハードウェア接続図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

4.2 PointGery FireFly Color . . . . . . . . . . . . . . . . . . . . . . . . . . 43

4.3 センサユニットの外観 . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

4.4 センサユニット内部 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

4.5 ジャイロセンサ・加速度センサ基盤 . . . . . . . . . . . . . . . . . . . . 46

iii

4.6 一体化したセンサユニットとカメラ . . . . . . . . . . . . . . . . . . . . 47

4.7 日立製作所 H83048F . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

4.8 トラッキングシステム全体の流れ . . . . . . . . . . . . . . . . . . . . . 49

4.9 トラッキング初期化処理の流れ . . . . . . . . . . . . . . . . . . . . . . 50

4.10 ジャイロセンサ・加速度センサを用いたトラッキング処理の流れ . . . . 51

4.11 視界画像を用いたトラッキング処理の流れ . . . . . . . . . . . . . . . . 52

5.1 マーカボックス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

5.2 利用した 6頂点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

5.3 最小距離と位置誤差の関係 . . . . . . . . . . . . . . . . . . . . . . . . . 57

5.4 最小距離と位置に関する標準偏差の関係 . . . . . . . . . . . . . . . . . 57

5.5 最小距離と姿勢誤差の関係 . . . . . . . . . . . . . . . . . . . . . . . . . 58

5.6 最小距離と姿勢に関する標準偏差の関係 . . . . . . . . . . . . . . . . . 58

5.7 三次元位置算出評価実験の実験環境 . . . . . . . . . . . . . . . . . . . . 60

5.8 z方向 80mm、x方向 25mmの視界画像 (2回目) . . . . . . . . . . . . . 64

5.9 視界画像 (1枚目) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

5.10 視界画像 (2枚目) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

5.11 Harrisオペレータによる特徴点検出結果 (1枚目) . . . . . . . . . . . . . 67

5.12 Harrisオペレータによる特徴点検出結果 (2枚目) . . . . . . . . . . . . . 67

5.13 直線検出を併用した特徴点検出結果 (1枚目) . . . . . . . . . . . . . . . 68

5.14 直線検出を併用した特徴点検出結果 (2枚目) . . . . . . . . . . . . . . . 68

5.15 SK-JYRO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

5.16 1軸分のジャイロセンサユニット . . . . . . . . . . . . . . . . . . . . . 73

5.17 ジャイロセンサの実験システム . . . . . . . . . . . . . . . . . . . . . . 74

5.18 ジャイロセンサAの出力 . . . . . . . . . . . . . . . . . . . . . . . . . . 75

5.19 ジャイロセンサBの出力 . . . . . . . . . . . . . . . . . . . . . . . . . . 75

5.20 ジャイロセンサAの出力 - ジャイロセンサBの出力 . . . . . . . . . . . 76

5.21 加速度センサの実験システム . . . . . . . . . . . . . . . . . . . . . . . 76

5.22 加速度センサAの出力 . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

5.23 加速度センサBの出力 . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

5.24 加速度センサAの出力 - 加速度センサBの出力 . . . . . . . . . . . . . 78

5.25 ジャイロ・加速度センサによる位置・姿勢算出の精度評価実験の配置 . 79

5.26 ジャイロセンサと人工マーカによる姿勢推定結果 . . . . . . . . . . . . 79

iv

5.27 加速度センサと人工マーカによる姿勢推定結果 . . . . . . . . . . . . . . 80

v

表 目 次

3.1 各トラッキング技術の長所 . . . . . . . . . . . . . . . . . . . . . . . . . 14

3.2 各トラッキング技術の短所 . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.3 本研究で用いる各トラッキング技術の関係 . . . . . . . . . . . . . . . . 20

4.1 ハードウェア構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

4.2 小型CCDスペックシート . . . . . . . . . . . . . . . . . . . . . . . . . 43

4.3 ジャイロセンサスペックシート . . . . . . . . . . . . . . . . . . . . . . 45

4.4 加速度センサスペックシート . . . . . . . . . . . . . . . . . . . . . . . 45

4.5 A/Dコンバータスペックシート . . . . . . . . . . . . . . . . . . . . . . 46

4.6 H8マイコンスペックシート . . . . . . . . . . . . . . . . . . . . . . . . 47

5.1 奥行き方向への距離と最小距離の関係 . . . . . . . . . . . . . . . . . . 56

5.2 各地点で算出に要した時間 . . . . . . . . . . . . . . . . . . . . . . . . . 56

5.3 ステレオ法による自然特徴点の三次元位置算出 (1回目) . . . . . . . . . 61

5.4 ステレオ法による自然特徴点の三次元位置算出 (2回目) . . . . . . . . . 62

5.5 ステレオ法による自然特徴点の三次元位置算出 (3回目) . . . . . . . . . 63

5.6 検出された特徴点の数 . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

5.7 検出された直線の本数と交点の数 . . . . . . . . . . . . . . . . . . . . . 66

5.8 Harrisオペレータによって検出された特徴点の座標 . . . . . . . . . . . 69

5.9 直線検出によって選別された結果 . . . . . . . . . . . . . . . . . . . . . 70

5.10 目視による特徴点の対応付け . . . . . . . . . . . . . . . . . . . . . . . 70

5.11 マッチング結果 (Harrisオペレータのみ) . . . . . . . . . . . . . . . . . 71

5.12 マッチング結果 (直線検出併用) . . . . . . . . . . . . . . . . . . . . . . 72

vi

第 1 章 序論

世界水泳のテレビ中継では、プール水面に、各レーンの選手の母国の国旗や世界記

録のラップタイムに合わせたラインが表示されていた。スキーのジャンプ競技の中継

では、雪面上にK点ラインが表示されていた。それはまるで現実の水面や雪面に描い

たように。近年、盛んに見かけるこのような表示は、拡張現実感と呼ばれる技術を利

用して実現されている。以前までの決められた位置に表示するCG(コンピュータグラ

フィック)とは違い、人や物の動きに合わせて、その状況に適した情報を表示すること

ができる。視聴者は、今どれくらい世界記録より速いか、今のジャンプはK点よりど

れくらい飛んだかといった情報を知るのに、何秒とか何メートルといった数字を考え

て想像しなくてもよい。画面を見れば、その情報が実際の競技に重ねて表示されてい

るため、一目で理解できる。このように、拡張現実感技術とは現実世界に情報を重畳

することで、直感的で容易な理解を可能にする技術である。

この拡張現実感技術は、現在様々な分野での利用が検討されている。例えば医療分

野では、患者の体の内部を CGで再現して、患者本人に重ねて表示すれば、医者はレ

ントゲンと同じ目を持つことができるかもしれない。また、観光業界では、観光客が

史跡を回っているときに由来や逸話などを知りたくなれば、CGで生み出された歴史上

の人物が、歴史上の出来事を本物の史跡を背景に演じることも可能になる。また、作

業支援への適用では、複雑な手順を分かりやすく提示する研究が進められており、作

業効率の向上やヒューマンエラーの軽減が期待されている。その中の一つに、原子力

プラントの機器保守作業支援システムがある。

原子力発電は、環境問題や化石燃料の枯渇が問題である現在において、環境面、経

済面、安定性の面から、欠くことのできない重要な電力源である。しかし、原子力発

電の危険性から、その運用や保守、管理には十分な安全性が求められている。現在は、

安全性を確保するために、膨大なコストと人員がかけられている。一方で、1990年代

から始まった欧米諸国での電力自由化の流れを受けて、わが国でも 1995年に発電分野

での部分的自由化や 2000年に小売分野の自由化が行われ、今後も自由化が進められる。

この自由化の流れにより、電力を安価に確保する必要があり、発電コスト削減が求め

られている。この十分な安全性を保ちつつコスト削減を行うという困難な課題の解決

策の一つに、次世代HMS(Human Machine System)を用いた作業支援があり、その中

1

で拡張現実感技術の利用が検討されている。直感的で容易な理解を可能にする拡張現

実感技術は、複雑な作業の効率化と、ヒューマンエラーの軽減に効果的であり、高い

安全性を保ちながら、原子力プラントの操業に携わる人員を削減することができると

期待されている。

本研究では、原子力プラントの保守作業の中でも、系統隔離作業に注目する。系統隔

離作業は、稼働中の機器の機器と、保守作業対象機器との系統を隔離することで、プ

ラント全体を止めることなく、安全に保守作業を行うために必要な作業である。そのた

め作業内容は、系統を隔てる数多くのバルブの中から目的のバルブを探し出し、開閉

を行う作業の繰り返しである。この作業に拡張現実感技術を適用して、目的のバルブ

へ誘導を行うことで、バルブを探す手間を減らし、作業効率の向上が期待できる。ま

た、バルブを間違えるヒューマンエラーの軽減も期待できる。しかし、拡張現実感技

術を構成する様々な要素技術は汎用的ではなく、その用途に応じた開発・改良が必要

である。要素技術の中でも、現実世界との重畳表示を正しい位置、向きで実現するた

めに必要なトラッキング技術は、現在盛んに研究されている。しかし原子力プラント

は、そこで行われる作業内容や、環境によって多くの制約を受けるため、既存の技術

をそのまま利用することはできない。そこで本研究では、原子力プラントという環境

と、系統隔離作業支援という用途に適合したトラッキング技術の開発を行う。

本論文は、第 1章の序論を含め、6章で構成されている。第 2章では、原子力プラン

トにおける系統隔離作業の現状と課題を説明し、拡張現実感技術の適用について述べ

る。そして、本研究での目的を述べる。第 3章では、本研究で行うハイブリッドトラッ

キング技術について、個々の技術の説明と統合手法を述べる。第 4章では、第 3章の

設計もとに試作した、ハイブリッドトラッキングシステムの開発手法について述べる。

第 5章では、第 4章で試作したシステムの評価実験について述べる。第 6章では、本研

究の結果をまとめ、今後の課題について述べる。

2

第 2 章 研究の背景と目的

本章では、まず、原子力プラントにおける系統隔離作業の現状と課題について説明

する。次いで、それら課題の解決策として検討されている「拡張現実感技術を利用し

た系統隔離作業支援システム」について、拡張現実感技術の概要・適用例を説明し、系

統隔離作業での利用方法を述べる。また、拡張現実感技術を利用したシステムを構築

する際の主要課題の一つである、トラッキング技術について述べる。そして最後に本

研究の目的を述べる。

2.1 原子力プラントにおける系統隔離作業の現状と課題

原子力プラントでは、定期点検中も燃料の崩壊熱を除去するために、燃料冷却系統

は稼働状態にある。発電所機器の保守点検のためには、作業安全と燃料の冷却確保の

面から、この燃料冷却系統を作動させながら、保守点検する設備、機器の系統を切り

離す必要がある。この作業を系統隔離作業と呼ぶ。この作業は、冷却系統のバルブの

開閉と、それに伴う配電盤の操作があるが、バルブ操作が作業の中心である。現在、原

子力プラントにおける系統隔離作業のバルブ操作は以下の手順で行われている。

1. 保守作業センターの系統隔離作業支援ワークステーションから作業指示書を入手

する

2. 作業指示書に書かれた内容を見て作業対象のバルブに向かう

3. バルブを見つけたら現状を確認し作業を行い、作業実績を作業指示書に記入する

4. 行程 2と行程 3を繰り返す

5. 全工程終了後、保守作業センターに戻り、作業指示書に記入した作業実績を系統

隔離作業支援ワークステーションへ入力する

系統隔離作業支援ワークステーションとは、プラント内の系統に関する情報を管理

するコンピュータである。機器保守作業時に必要な系統隔離作業の情報は、このコン

3

ピュータに問い合わせることで得ることができる。また、プラント内のバルブにはそ

れぞれ固有の識別 IDが割り当てられており、その IDが書かれたタグが取り付けられ

ている。系統隔離作業支援ワークステーションから出力される作業指示書には、作業

対象バルブに割り当てられている固有の IDと、作業前の状態、作業内容が書かれてい

る。作業員はこの作業指示書と経験を頼りに作業対象バルブを探し、バルブの開閉を

を行う。この現状の方法には以下の問題点が指摘されている。

1. バルブの場所がわかりにくいため、移動に手間取るうえ間違えやすい

広い敷地・建物である原子力プラントの中に、約 30,000個のバルブが点在するた

め、経験を頼りに対象バルブを探しながら移動することは非常に困難である。ま

た、バルブの多くが類似形であり、それらの識別には IDタグを一つ一つ目で確認

する必要があり、その ID自体も英数字の組み合わせであることから、認識に時間

がかかり、間違いも犯しやすい。

2. 作業と報告のタイムラグや作業ミス・報告ミスから、バルブの状態が作業指示書

と現状とで異なる場合がある

作業実績は作業指示書単位で報告されるため、作業指示書の全行程が終了するま

での間は、保守作業センターはバルブの状態の変更を知ることができない。さらに

作業実績の報告は、作業員が保守作業センターへ戻ってから作業指示書に書き込

んである内容を見て入力するため、実際の変更と誤っていた場合でもそのエラー

を確認することができない。

3. 複数人員が必要となる現行の作業体制では、今後必要人員の確保が難しい。

経験や知識のある熟練作業員の高齢化が進み、また近年の少子化の影響を受け若

手作業員も育ちにくい。

これらの問題点の中でも、特に深刻とされる 1の解決には、作業員に直観的理解を

促す情報提示を行うことが有用であると考えられており、現在、次世代HMS(Human

Machine System)を用いた作業支援が検討されている [1]。また、このような支援が実

現すると、熟練作業員から吸い上げた経験や知識をデータベースとして蓄積すること

で、情報提示時に還元することができ、若手作業員だけでも安全で効率的な作業が可

能になると期待できる。例えば、これまでの作業において気がついた特定のバルブに

対する注意点など、系統隔離作業支援ワークステーションには格納されていないきめ

細かな情報を提示することができる。

4

2.2 拡張現実感技術を利用した系統隔離作業支援システム

2.2.1 拡張現実感技術

近年、次世代HMSの手法として、拡張現実感 (AR:Augmented Reality)技術が注目さ

れている [2][3]。これは現実空間と仮想空間を融合した複合現実感（MR:Mixed Reality）

の一種で、現実空間の映像上に、コンピュータを用いて生成した文字や図形などの情報

を重ね合わせて、現実空間の情報を「拡張」する技術である。この「拡張」とは、情報

を増やすために新たな提示媒体を見ることなく、その現実空間を見ることで適切な情

報が増えていることを意味している。図 2.1は、現実の机を写した画像に、コンピュー

タによって生成された仮想物体のランプと 2つの椅子を重畳させることで、この机を

見る人は、机と椅子とランプが存在しているかのように「拡張された」現実を見るこ

とができる。コンピュータで仮想世界を生成し、その中に人間を没入させる仮想現実

感（Virtual Reality:VR）や現実世界との関係は図 2.2に示すようになり、拡張現実感

は現実世界に近い「実世界志向」のインタフェースである。一方で、仮想世界の情報

を現実世界の情報によって「拡張」する拡張仮想現実感は、「仮想正解志向」のインタ

フェースと言える。

図 2.1: 拡張現実感の例

5

Augmented Reality

Augmented Virtuality

Virtual Reality

Reality

(Mixed Reality)

図 2.2: 拡張現実感の位置付け

このような拡張現実感技術には以下の特徴がある。

1. 対象の直観的理解

付加情報は、情報が指し示している対象の上に重畳表示されるため、ユーザは情

報の対象を直観的に理解できる。例えば、図 2.3に示すように、機器のレバーを

上げる操作を行う際、従来のマニュアルでは、マニュアルと実物を見比べて操作

の対象となるレバーを特定する。そのためユーザは、視線移動を繰り返す必要が

あり、操作対象の特定に負担がかかる。また、レバーを間違える可能性も大きく

なる。一方、拡張現実感を用いると、矢印や文字でレバーの操作を表現した付加

情報を現実空間に重畳表示するため、ユーザは機器を見るだけで操作するレバー

を特定でき、間違える可能性も小さくなる。また、ユーザは機器のマニュアルや

配線図などを携帯しながら作業する必要がなくなり、必要な情報だけを重畳表示

という形で得ることができる。

2. 情報内容の容易な理解

付加情報は、文字だけでなく図も用いて表現できるため、ユーザは情報の内容を

容易に即座に理解でき、また、情報の内容を確実に理解できる。例えば、図 2.4

に示すように、レバーを上げる操作において、文字のみの情報では、ユーザはレ

バーを動かす方向をすべての文字を読んで理解する。一方、情報の内容を矢印の

記号で表現した情報では、矢印を見たユーザは即座にレバーを動かす方向を理解

できる。また、文字のみの情報では意味が不明確になる場合があり、情報の本来

6

図 2.3: 対象が直観的に理解できる例

の意味とユーザの解釈が一致していない可能性もある。しかし、図のようにユー

ザにとって理解が容易な形で情報を提示することで、意味を明確に伝えることが

できる。

これら 2つの特徴は、第 1段階として提示したい情報と現実世界内の対象とを視覚

的に結びつけ、第 2段階として情報提示の表現手段をより豊かにするという関係にあ

る。つまり、「なに」を「どうする」という作業内容を、より直接的な表現で提示した

ものと言える。このような特徴から、拡張現実感技術は作業を支援するインタフェー

スとして有効と考えられる。次節では、実際に拡張現実感技術を作業支援に適用した

例を示す。

2.2.2 拡張現実感技術を利用した作業支援例

前節で述べた拡張現実感技術の特徴を生かした作業支援の例として、ボーイング社

の航空機ワイヤーハーネス作成支援システム [4]が実用化されている。このシステムは、

航空機の電子機器配線ハーネスの配線を行う際、図 2.5に示すように、配線すべきハー

ネスの種類と位置を、作業員が装着している光学シースルー HMDを用いて基板上に

重畳表示することで、作業効率の向上が図られている。

また、レーザプリンタのメンテナンスの支援を目的とした支援システムとして、KARMA[5]

がある。このシステムは、図 2.6に示すように、目的の作業を行うには、パーツをどの

7

図 2.4: 情報内容を容易に理解できる例

図 2.5: 航空機ワイヤーハーネス作成支援システム

8

ように動かせば良いかをHMDを介して提示する。

図 2.6: KARMA

2.2.3 系統隔離作業支援への拡張現実感技術の適用

図 2.7に示すように、系統隔離作業支援に拡張現実感技術を用いると、現実世界の作

業対象となるバルブにコンピュータが生成した情報が重畳表示され、作業員は直観的

に目的のバルブを認識することができる。そのため、一つ一つのバルブを確認する手

間を省くことができ、作業効率の向上が期待できる。また、誤ったバルブを操作して

しまうヒューマンエラーも軽減できる。

図 2.7: 拡張現実感技術によるバルブの特定

9

また、図 2.8に示すように、作業内容を絵で提示することも可能となり、作業内容を

平易に理解することができる。

図 2.8: 拡張現実感技術による作業内容の提示

このように、2.1節で述べた系統隔離作業における課題を改善できることがわかる。

2.2.4 拡張現実感技術利用の課題

拡張現実感技術を利用して実用的な支援システムを構築する上で、インタフェース

の開発とトラッキング技術開発の 2点が主要課題として挙げられる [2]。中でもトラッキ

ング技術は、拡張現実感技術の特徴である現実世界との重畳表示を、正しい位置、向

きで実現するためには欠かせない技術であり、これを解決しなければ拡張現実感技術

を利用した作業支援の実現は不可能である。

トラッキングとは、ユーザと情報提示対象物との位置・姿勢関係を取得することで

ある。位置は対象物からみてどこにいるかを三次元座標で表したもので、姿勢はどの

方向を向いているかを三次元空間の各軸からの角度で表したもので、合わせて 6自由

度の値である。このトラッキング技術によって得られる位置・姿勢情報を利用して、現

実世界に重ねて提示する情報の位置と向きが決められる。つまり、拡張現実感技術を

利用するには、まず始めに解決しなければいけない問題であると言える。今までにも

以下に示すように様々な研究がなされている。

• カメラから取得した画像を用いた画像処理によるトラッキング

10

• ジャイロセンサ・加速度センサ・歩数計測といったユーザの動きを計測するトラッキング

• 周囲に設置した超音波センサや赤外線センサを利用するトラッキング

• GPS(Global Positioning System)を利用したトラッキング

図 2.5で示した航空機ワイヤーハーネス作成支援システムでは、作業員の頭部に取り

付けられた磁気センサを用いて作業員の頭部の位置を計測することでトラッキングを

行っている。また、図 2.6で示したKARMAでは、対象となるプリンタの主要なパー

ツにあらかじめマーカを貼り付けておき、超音波を利用して各マーカを検出すること

でトラッキングを行っている。また、近年は個々の技術を融合させることで互いの欠

点を補い合うハイブリッドトラッキング技術も盛んであり、磁気センサと画像処理の

組み合わせ [6]や、複数のセンサを拡張カルマンフィルタにより統合するもの [7]などが

提案されている。また、学習機能を利用したトラッキング技術 [8]も提案されている。

しかしいずれの技術も汎用的なものではなく、用途や環境によって利用が限定され

る。そのため拡張現実感技術を適用する用途や環境に適したトラッキング技術を選択・

開発する必要がある。

2.3 研究の目的

以上より、本研究では、系統隔離作業支援に拡張現実感技術を適用したシステムを

構築する際に必要となる、トラッキング技術の開発を目的とする。

系統隔離作業支援を拡張現実感技術を用いて行うことで、作業対象となるバルブの

位置や作業内容を、作業員にとって直観的で平易な情報として提示することが可能に

なり、作業効率の向上、ヒューマンエラーの軽減が期待できる。このようなシステム

を構築する際の主幹技術であるトラッキングに関しては様々な研究がなされているが、

実用レベルに達していないものや、環境・用途を限定しているといった理由から転用・

実用化が困難である。そこで本研究では、これまでに提案されたトラッキング技術を、

実際に利用する環境や用途に特化させることで、実用に耐えうるトラッキング技術を

開発する。本研究では、作業員の視界を撮影した画像 (視界画像)から、人工マーカや

画像内の特徴的な点を抽出してトラッキングを行い、同時にジャイロセンサと加速度

センサを用いて作業員の動きを計測することで、視界画像を用いたトラッキングの精

度向上や失敗時の補償を行うハイブリッドトラッキング技術を提案する。

11

提案手法を用いて評価システムを構築し、それぞれの手法による位置・姿勢算出の

精度・計算負荷について評価実験を行い、統合した状態での動作確認を行う。

12

第 3 章 系統隔離作業支援に用いるトラッキング

技術の設計

本章では、はじめに系統隔離作業支援におけるトラッキング技術について、既存の

代表的なトラッキング技術について説明し、系統隔離作業支援に要求されるトラッキ

ング技術について述べる。次いで、本研究のトラッキング技術で取り扱う座標系につ

いて説明した後、開発するトラッキングシステムについて、3つのトラッキング技術に

ついて述べる。そして最後に、それらを組み合わせたハイブリッドトラッキングアル

ゴリズムについて述べる。

3.1 系統隔離作業におけるトラッキング技術

3.1.1 既存の代表的なトラッキング技術

まず、表 3.1、表 3.2に、既存のトラッキング技術について長所と短所を示す。次い

で、それぞれについて説明する。

人工マーカを用いたトラッキング 人工マーカを用いたトラッキングとは、壁や天井

などに位置と形と大きさが既知のマーカ（人工マーカ）を貼り、この人工マーカをユー

ザの頭に取り付けたカメラで撮影し、得られた画像を画像処理して位置を求める方法

である [9]。また人工マーカを複数用いることでより精度・安定性を高める手法も開発

されている [10]。この手法はこれまでにも数多くの研究がなされ、精度・安定性が高い

手法である。しかし取得画像内にマーカがない場合は全くトラッキングができないと

いう欠点があり、広い範囲で用いるには、それを補うために数多くのマーカを設置す

る必要がある。

自然特徴点を用いたトラッキング 自然特徴点を用いたトラッキングとは、カメラか

ら取得した画像内の特徴的な点を抽出し、その三次元位置を推定することで、人工マー

カの代わりとして用いる手法である。また直線を検出して利用するものある [11]。この

手法を用いてトラッキングを行うには、開始した時点での視界画像内の自然特徴点の

13

表3.

1:各トラッキング技術の長所

トラッキング手法

長所

人工マーカ

形状や位置が既知のマーカを利用するため安定したトラッキングが可能である

必要な機材が、視界画像を撮影するカメラと画像処理を行うコンピュータだけであり、また人工

マーカも紙や木などの安価な物を利用できるため、コストがかからない

人工マーカを正確に認識できる近距離では、比較的精度が高い

自然特徴点

環境から特徴点を抽出するため、周囲に機器を設置する必要がない

周辺環境の情報

(特徴点の三次元位置

)を順次取得していくため、広範囲で利用できる

ジャイロ・加速度センサ

作業員の動きを直接計測するため、環境に手を加える必要がない

計算負荷が低いため、リアルタイム性が高い

GP

Sカーナビなどで利用実績があり、安定したトラッキングが可能である

屋外であればどこでも利用できる

磁気センサ

信号が届く範囲では比較的精度が高い

14

表3.

2:各トラッキング技術の短所

トラッキング手法

短所

人工マーカ

人工マーカが写っていない時は利用できないため、大量のマーカを貼付する必要がある

精度は画像の解像度に依存するため、精度を上げるには高解像度の画像処理が必要になる

自然特徴点

画像から得られた特徴点の三次元位置を知る必要がある

複数画像間の特徴点同士を対応付けるのが困難であり、トラッキングに大きな乱れが生じる

精度は画像の解像度に依存するため、精度を上げるには高解像度の画像処理が必要になる

ジャイロ・加速度センサ

センサのドリフト成分に起因する誤差を生じやすい

積分計算をする必要があるため、誤差が蓄積しやすい

得られる値は前回計測時からの変化分であり、絶対位置・姿勢を得るには初期値が必要になる

GP

S電波が届きにくいため、屋内環境で利用できない

一般の利用に際しては、精度の保証がされていない

磁気センサ

機器を設置する必要があり、利用環境が限定される

金属や電子機器など磁場を乱す要因があれば計測結果に歪みが生じる

信号が届く範囲でしか利用できないため、狭い範囲での使用に限定される

15

三次元位置を知る必要があり、この位置を算出するために別のトラッキング技術によ

り位置・姿勢を得る必要がある。位置・姿勢を推定するのに必要な数の自然特徴点の三

次元位置を算出し終えてからは、それら特徴点を用いて位置・姿勢を推定し、推定結

果から別の自然特徴点の三次元位置を算出することが可能になる。位置・姿勢の推定

と、自然特徴点の三次元位置の算出を繰り返すことで、広範囲で利用可能となる。し

かし各画像ごとで抽出された特徴点同士の対応付けをすることが難しいうえ、画像か

ら得られる特徴点の位置精度には画像の解像度という限界あるため、トラッキング精

度が低い。また、多くの画像処理が必要になり、計算負荷が大きいことも問題である。

ジャイロ・加速度センサ用いたトラッキング ジャイロ・加速度センサ用いたトラッキ

ングを用いたトラッキングとは、微少時間ごとに、加速度センサによって作業員の位

置の変位を、ジャイロセンサによって作業員の姿勢の変位を計測することで、計測開

始時の位置・姿勢を平行・回転移動させて現在の位置・姿勢を算出する手法である。し

かし両センサとも時間や環境に起因したドリフト成分により、正確な値を得ることが

できない。さらに、センサからの値は角速度・加速度であるため、角度・位置の変位を

得るには、ジャイロセンサは 1回、加速度センサは 2回の積分演算が必要となる。積分

演算では誤差が蓄積するため、十分な精度で位置・姿勢の推定ができない。そのため、

これらセンサを単体で用いるのではなく、加速度センサと画像を併用した [12]や、ジャ

イロセンサと画像を併用した [13]など、補助的な要素として利用されている。また、拡

張カルマンフィルタを用いて補正を行う手法もある [7]。ジャイロセンサや加速度セン

サから得られた変位は、前回計測した時からの変位であり、常に相対位置・姿勢しか

求められない。絶対位置・姿勢を求めるには前回計測時の位置・姿勢が必要になる。そ

のため、最初に得られた計測結果から位置・姿勢を算出するには、計測を開始した時

点での作業員の位置・姿勢が必要になり、別のトラッキング手法を用いてこれを得な

ければならない。

GPS(Global Positioning System)を用いたトラッキング GPS用いたトラッキン

グとは、GPS衛星からの電波信号を受信し経度・緯度情報を得る手法である [14]。この

手法ではGPS端末が衛星との間で信号を送受信するため、屋内環境では使用できない

ことや、精度が電波状態に大きく左右される問題がある。

磁気センサを用いたトラッキング 磁気センサを用いたトラッキングは、環境に配置

したトランスミッタから発生する球状の磁場を利用して、3次元的な位置と角度を計測

16

する。[17]。この手法は環境にトランスミッタを設置する必要があるため、使用場所が

限定される。また、トラッキングが可能な範囲は磁場の範囲に限定される上、金属や

電子機器など磁場を乱す要因があれば計測結果に歪みが生じる。安定した磁場では比

較的精度が高い。POLHEMUS社のFASTRAKの場合、計測精度は位置が 0.8mm、角

度が 0.15度と高精度である [16]。

3.1.2 ハイブリッドトラッキング技術

最近注目を集めているハイブリッドトラッキングとは、3.1.1項で述べた様々なトラッ

キング技術を組み合わせることで、互いの欠点を補い合う手法である。ハイブリッド

トラッキングにはさまざまな組み合わせが研究されている。例えば、トラッキングの

リアルタイム性を高めるため、磁気センサと加速度センサの値を得るたびに拡張カル

マンフィルタで補正し、人工マーカトラッキングで再度補正する手法 [12]などがある。

どの手法を組み合わせるかは、拡張現実感技術を適用する環境・用途によって異なり、

またそれらを統合するアルゴリズムも合わせて開発する必要がある。

3.1.3 系統隔離作業支援において要求されるトラッキング技術

系統隔離作業支援に用いられるトラッキング技術は、利用環境や用途などの条件を

考慮して決定する必要がある。まず、系統隔離作業の環境・作業員について説明する。

系統隔離作業を行う環境は、以下の特徴がある。

系統隔離作業環境の特徴

1. 広いプラント内に大量のバルブが点在する

2. 新たな機器を設置することは、場所の確保や安全面から困難である

3. 多くの機器が並んでいるため、見通しが悪い

また、系統隔離作業を行う作業員には、以下の特徴がある。

系統隔離作業を行う作業員の特徴

1. 安全のためヘルメットを着用する必要がある

2. 作業を妨げる機器を身につけることはできない

17

上記のことから、系統隔離作業環境で利用できるトラッキング技術には、以下の制

限がある。

系統隔離作業環境におけるトラッキング技術の制限

1. 環境に様々なセンサを設置することは困難であるため、赤外線や超音波センサは

利用できない

2. 機器の大部分は金属なので、磁気センサは利用できない

3. 屋内環境であるため、GPSは利用できない

4. 各バルブ単位で人工マーカを貼ることは非現実的だが、少数枚は貼付可能である

また、系統隔離作業を拡張現実感技術で支援する上で、要求されるトラッキング技

術は以下のようになる。

系統隔離作業支援に要求されるトラッキング技術

1. 広い範囲にわたる移動に対応する必要がある

2. 直径 20cm程度のバルブが情報提示対象であるため、重畳情報の提示が正しい位

置・向きで行われるためには、作業員の位置・姿勢測定の誤差は数 cm、数度程度

に留める必要がある

3. 作業員の動きを妨げないように、用いる機器は小型・軽量で、機動性が高いもの

が望ましい

4. コスト削減の背景から、できるだけ安価で構築できることが望ましい

以上のことを踏まえ、実現可能な方法を考察すると、3.1.1節で述べたトラッキング

手法を単体で用いるだけでは、上記条件を満たすことはできない。そこで、複数のト

ラッキング技術を組み合わせたハイブリッドトラッキング技術を採用する。以降では

ハイブリッドトラッキングを構成する個々のトラッキング技術の選択と組み合わせ方

法について述べる。

18

条件を満たすハイブリッドトラッキングの構成

まず、環境に機器を設置しなくてもよい手法として、人工マーカ、自然特徴点、ジャ

イロセンサ、加速度センサが挙げられる。自然特徴点、ジャイロセンサ、加速度センサ

を利用する場合は、作業開始時の位置と姿勢を何らかの手段で得る必要がある。また、

作業員はヘルメットを着用していることから、作業員の負担にならない大きさ、重さの

小型のカメラを装着することができ、作業員の視界画像を得ることが可能である。そ

こで本研究では、人工マーカを用いたトラッキングを中心に考え、人工マーカが視界

画像内に無い場合に自然特徴点を用いたトラッキングやジャイロ・加速度センサを用

いたトラッキングを行うこととする。

人工マーカを用いたトラッキングは、一つの人工マーカでトラッキング可能な範囲

は狭い。系統隔離作業では、広範囲にわたる移動に対応する必要があるため、人工マー

カで対応するには、環境内に大量の人工マーカを貼付する必要がある。しかし、系統

隔離作業環境では人工マーカの貼付枚数に制限があるため、自然特徴点を人工マーカ

の代わりに用いてトラッキングを行う。この両者の技術は、視界画像として取得した

画像を処理して行われる。そのため、暗い、明るい、ピントが合っていないなど、得

られた画像の質が悪いときには、トラッキングを行うことができない。そのような場

合でも途切れずトラッキングを行うために、作業員の動き自体を計測することで位置・

姿勢を得られるジャイロセンサ・加速度センサを用いたトラッキングを併用する。ジャ

イロセンサ・加速度センサは、小型・計量であり、小型カメラと同様に、作業員のヘル

メットに取り付けることが可能である。ジャイロセンサ・加速度センサから得られる

値は、画像処理を行う場合と比べて精度は低くなるが、途切れることなく位置・姿勢

を得ることができる。また、人工マーカや自然特徴点を用いて位置・姿勢を得られた

ときに、その値を用いて補正することができる。

以上より、本研究では、系統隔離作業支援において要求されるトラッキング技術を

実現するために、人工マーカトラッキング、自然特徴点を用いたトラッキング、ジャイ

ロセンサ・加速度センサを用いたトラッキングを組み合わせた、ハイブリッドトラッキ

ングを採用する。本研究で用いる各トラッキング技術について、精度・範囲などの関

係を表 3.3に示す。

また本研究では、ジャイロセンサ・加速度センサの精度向上のため、3.5.3項で述べ

る新たなドリフト成分のキャンセル手法を開発する。また、自然特徴点を利用する際

に必要となる、視界画像間での特徴点同士の対応付けに関して、3.4.2項で述べる手法

19

表 3.3: 本研究で用いる各トラッキング技術の関係

手法 精度 利用可能範囲 計算負荷 リアルタイム性

人工マーカ 高い 狭い 高い 高い

自然特徴点 誤差を少し含む やや広い 非常に高い 低い

ジャイロ 誤差が大きい 広い 低い 非常に高い

加速度センサ 誤差が非常に大きい 広い 低い 非常に高い

を用いて精度向上を図る。

次節では、本研究で用いる 3つのトラッキング技術で取り扱う座標系と、互いの関

係について説明する。

3.2 取り扱う座標系とその変換

取り扱う座標系について、拡張現実感技術共通の定義は特に存在しないため、採用

する機器や手法に合わせて定義する必要がある。加藤らによるARToolKit[9]で定義さ

れている座標系は、本研究と用いる手法や機器において共通する部分が多いため、こ

れを採用する。この座標系は、使用するカメラの内部パラメータをARToolKitのライ

ブラリを用いて算出して利用できるため、自然特徴点を用いたトラッキングや、ジャ

イロ・加速度センサを用いたトラッキングを実現する際にも利便性が高い。

本研究ではユーザ 5つの座標系を定義し、相互に変換して利用する。以下に取り扱

う座標系を挙げる。

1. マーカ座標系

2. カメラ座標系

3. 観測スクリーン座標系

4. 理想スクリーン座標系

5. センサ座標系

20

1から 4までは、ARToolKitでの定義と同じである。1と 2は三次元座標系であり、

3と 4は二次元座標系である。5は、1、2とは相互変換が可能な形で、本研究において

定義した三次元座標系である。図 3.1に、これら座標系の関係を示し、以降でそれぞれ

について説明する。また、これ以降では小文字で太字はベクトル、大文字で太字は行

列を表すものとする。

図 3.1: 本研究で取り扱う座標系

まず、マーカの座標系 (以降、マーカ座標系と呼ぶ)を (Xm, Ym, Zm)とする。本研究

ではマーカ座標系の y軸方向が、地面垂直上向きとする。これはマーカを壁などの垂

直なものに貼付することを想定しているためである。一方、画像を取得するカメラの

座標系 (以降、カメラ座標系と呼ぶ)を (Xc, Yc, Zc)とする。本研究では、3.1.3項で述

べたように、作業員の頭部にカメラが取り付けられていることを前提とするため、カ

メラは視界に近い画像を取得することができる。よって、作業員の位置と姿勢を計測

することは、頭部の位置と姿勢を計測することとする。この時、マーカとカメラ (作業

員)の位置・姿勢の関係を表す行列式 Tcmは以下のよう定義する。

Tcm =

R3ˆ3 T3ˆ1

0 0 0 1

=

R11 R12 R13 T1

R21 R22 R23 T1

R31 R32 R33 T1

0 0 0 1

(3.1)

21

R3ˆ3は回転移動成分を、T3ˆ1は平行移動成分を表す。

このTcmを用いて、マーカ座標系とカメラ座標系との関係を表すと、式 3.2となる。

Xc

Yc

Zc

1

= Tcm

Xm

Ym

Zm

1

(3.2)

この関係において、Tcmで表される変換行列の意味は、カメラから見た人工マーカ

の位置と姿勢を表している。よって、Tcmの逆行列である T−cmが、マーカ座標系にお

けるカメラ (作業員)の位置と姿勢を表すことになり、本研究では T−cmを求めることが、

トラッキングの内容である。

またカメラが撮影した二次元画像の座標系を観測スクリーン座標系 (xd, xd)とする。

カメラで三次元空間を撮影して二次元画像を得ることは、透視変換が行われることを

意味する。しかし実際のカメラでは、画像の中心から遠くなるほど、レンズによる歪

みを生じるため、実際には透視変換とはならない。そこで、理想的な透視変換画像を

得るために、レンズに起因する歪みの補正を行う必要がある。この補正された二次元

画像の座標系を理想スクリーン座標系を (xc, yc)とする。両座標系の変換は、付録に記

すARToolKitの歪み関数を用いて行われる。以降では、カメラによって得られた二次

元画像の座標は、理想スクリーン座標系で表されるものとする。

カメラ座標系における点 (Xc, Yc, Zc)を、(xc, yc)に射影する透視変換行列を P とす

ると、以下のように表せる。

hxc

hyc

h

1

= P

Xc

Yc

Zc

1

(3.3)

この透視変換行列P は、カメラの内部パラメータと呼ばれ、付録に述べるARToolKit

のキャリブレーションツールを用いて事前に得られている。

以上のことから、マーカ座標系の点 (Xm, Ym, Zm)を、理想スクリーン座標系の点

(xc, yc)へ投影する変換は、以下のように書ける。

22

hxc

hyc

h

1

= PTcm

Xm

Ym

Zm

1

(3.4)

一方、ジャイロセンサ・加速度センサの座標系 (以降、センサ座標系と呼ぶ)を (Xs, Ys, Zs)

とする。ジャイロ・加速度センサは、カメラ座標系の各軸方向の動きを計測できるよう

に、センサ座標系がカメラ座標系と一致する用に取り付ける。ジャイロ・加速度セン

サは、微少時間毎の相対的な変化量を計測するため、絶対位置・姿勢を得るには、初期

値としてその時点での位置と姿勢を表す行列を与え、センサが検出した微少時間毎の

相対的な変化量を表す行列を掛けていくことで、その時刻の位置と姿勢を表す行列を

得る。初期値として T `cm(0)を与えたとして、時刻 t−�tから時刻 tの間の回転・移動

を表す行列をS(t;4t)とすると、時刻 t−�tにおける位置・姿勢を表す行列T `cm(t`4t)

と、時刻 tにおける位置・姿勢を表す行列 T `cm(t)との関係は、式 3.5で表される。

T `cm(t) = S(t;4t)T

`cm(t`4t) (3.5)

この S(�t)は、ジャイロセンサから得られる微少時間 �tの間の回転移動成分を

Rs(4t)、加速度センサから得られる微少時間�tの間の平行移動成分を Ts(4t)とする

と、式 3.6で表される。

S(t;4t) =

Rs(4t) Ts(4t)

0 0 0 1

(3.6)

3.3 人工マーカを用いたトラッキング

本研究において、人工マーカを用いた位置推定は、加藤らによって提供されている

ARToolKitを用いて行う。ARToolKitは、人工マーカを利用してユーザの 3次元位置

を取得するライブラリである (付録参照)。ARToolKitで使用される人工マーカは、図

3.2に示すような 2次元バーコードのような模様を含んでおり、周りには黒色の四角形

で囲まれた構造をしている。

23

図 3.2: ARToolKitで使用するマーカの例

ARToolKitでは、カメラで撮影した人工マーカの画像を処理して、カメラとマーカ

の三次元位置関係と、カメラに対するマーカの姿勢を表す 3 × 3行列を計算し、図 3.3

に示すように人工マーカ上に三次元形状の物体などの情報を付加できる。ここで算出

される位置関係・姿勢は、3.2で述べた座標系と照らし合わすと、Tcmを算出している

ことになる。

図 3.3: ARToolKitによるデモンストレーション

ここで用いられる人工マーカは、マーカ座標系において図 3.4に示すよう配置される。

3.4 自然特徴点を用いたトラッキング

3.4.1 自然特徴点の抽出

本研究では、カメラから取得した視界画像内の特徴的な点の中でも、物体の角に注

目して利用する。2次元画像内での角の検出は、MORAVECらのアルゴリズムを利用

することで可能である。しかし抽出された角を表す値は画素単位でしか得られないた

24

図 3.4: 設置するマーカと座標系の関係

め、この値を角の座標として利用すると、サブピクセル分の誤差を含んでしまう。そ

のため本研究では、視界画像から直線を検出し、それらの交点座標を実際の角の座標

として用い誤差を少なくする。

実際には、カメラから取得した視界画像を、MORAVECの方法を改良したHarrisオ

ペレータ [18]で走査して、特徴点を抽出する。Harrisオペレータは、画像中の画素の値

（画素値）を水平方向、垂直方向に微分した値を用いて演算を行い、この演算結果を閾

値で分離する。判別に画素値の微分した値を用いるため、照明の変化に影響を受けに

くくなり、安定して角を抽出できる。これにより、図 3.5に示すように画像中の物体の

角を抽出できる。

このHarrisオペレータを用いた特徴点抽出には、以下の問題がある。

• 特徴点が物体の角か、偶然光の加減で生じたものか、判別ができないHarrisオペレータは二次元画像における特徴を抽出しており、決して物体の角と

いう三次元形状を認識しているわけではない。そのため複数個検出される特徴点

の中には、物体の角以外に光の影響によってたまたま生じた、周囲の画素が物体

の角と同じような変化をもつ特徴点が多数存在している。Harrisオペレータでは

検出した点の特徴度合いが算出されるが、このような理由から、物体の角か偽物

の角かの判別を閾値によって行うことができない。

• 角部分周辺に、複数の特徴点が生じる場合がある画像上での物体の角の周辺には、物体の角と似たような画像上の変化が、周囲数

画素に渡って集中することがある。そのため、それらの画素も特徴点として抽出

されてしまう。

そこで本研究では、図 3.6に示すように得られた視界画像から直線検出を行い、得ら

25

（青の丸が角として抽出された部分）

図 3.5: Harrisオペレータの実行例

れた直線の交点座標と、Harrisオペレータによって抽出された特徴点の中で、最も近

い特徴点座標との距離が一定範囲以内の場合、その特徴点を物体の角と見なし、直線

の交点を特徴点座標として利用する。直線検出には、Sobelフィルタ [19]によるエッジ

抽出を行い、固定閾値により 2値化した後、Hough変換を行い直線を検出する。この

処理で得られた直線の交点と、Harrisオペレータによって抽出された特徴点の距離を

算出し、閾値以内の場合は角と見なし、その交点座標を特徴点座標として利用する。

次節で述べる自然特徴点間のマッチングを行うには、異なる画像間において、三次

元空間内の同じ点が検出されていることが必要である。本節で述べた判別をすること

で、二次元画像上の角と思われる点のみを検出することができるため、ある視界画像

で検出された点は、異なる画像でも検出される可能性が高くなる。また同様の理由か

ら、見かけ上似ているだけの点を検出されにくくなる。

3.4.2 自然特徴点間のマッチング

自然特徴点を利用するには、図 3.7に示すように、異なる視界画像から抽出された自

然特徴点同士で、三次元空間内の同じ点を表している点同士の対応づけができる必要

がある。

これには以下の 2つの理由がある。

26

検出された直線

図 3.6: Harrisオペレータと直線の交点を利用した角の検出

図 3.7: 異なる視点で取得した画像間での特徴点の対応付け

27

1. 3.4.3項で述べる自然特徴点の三次元位置推定を行うには、2枚の異なる視点から

得られた画像中で、三次元位置が同一の点を表す画像上の座標の組合わせが必要

になる。そのため、今までに蓄積された、視点位置が分かっていて三次元位置が

分からない点の画像と、現在取得した視界画像内の特徴点とを対応づけることで、

異なる視点から撮影された、三次元位置が同じ特徴点座標の組合わせを得る。

2. 3.4.4項で述べる 6つの自然特徴点を利用したカメラ位置推定を行うには、画像内

の特徴点の三次元位置を知る必要がある。そのために、今までに蓄積された三次

元位置が分かっている点の画像と、現在取得した視界画像内の特徴点とを対応付

けることで、視界画像中の特徴点の三次元位置を得る

このため、このマッチング作業は、上記の 2つの場合に共通して用られるように、得

られた視点画像を判断要素として行う必要がある。本研究では、五十嵐らによる「方

向ヒストグラムの自己回帰モデルに基づく回転不変画像照合 [20]」を用いて類似度判定

を行う (付録参照)。この手法は以下の特徴がある。

• 画像の回転に対応している

• 画像の拡大・縮小に対応している

• 画像の変形・歪みに耐性を持つ

類似度判定を行う際に、判断材料として用いられるテンプレート画像は、3.4.1項で

述べた手法を用いて抽出された自然特徴点の座標を中心とした、正方形画像を切り出

すことで作成される。画像毎の特徴は、切り出す正方形の大きさ大きいほど顕著にな

るが、それに合わせて計算コストも大きくなるため、最適な大きさを探す必要がある。

類似度判定は、五十嵐らの手法を用いて変換された、方向ヒストグラムの自己回帰

モデルで表される特徴ベクトルのユークリッド距離を基本として、方向ヒストグラム

の平均度数の差の大きさを付加して判定される。相違度が小さいほど、画像が写して

いる対象が同じである可能性が高いと判断され、自然特徴点の対応付けができる。

3.4.3 自然特徴点の三次元位置推定

本研究では、3.4.1項の手法により抽出した特徴点に対し、視界画像中の座標 (xc, yc)

と、視界画像への射影変換を表す行列 (3.2節におけるPT `cm)を 2組用い、ステレオ法

(三角測量)を適用することで三次元位置を求める [21]。

28

図 3.8: ステレオ法における視界画像と特徴点の関係

図 3.8に、ステレオ法における視界画像と特徴点の関係を示す。

今、異なる視点から撮影された 2枚の画像がある。これを図 3.8における画像B、画

像 Cとする。画像 Bの中のある特徴点をBとし、画像 Cの中のある特徴点を Cとす

る。この時Bと Cとは、3.4.2項の手法を用いて三次元空間内の点Aであることが分

かっているとする。またそれぞれの画像を撮影したときのカメラの位置・姿勢も分かっ

ているとする。このような時、Aのマーカ座標系での座標を求めることが、ステレオ

法の意味である。

図 3.8のように、三次元座標を求めたい点Aの、マーカ座標系における斉次座標A[a]

を< a1, a2, a3, 1 >とし、視界画像 Bにおいて点Aが射影された点の斉次座標B[b]を

< b1, b2, 1 >、視界画像Cにおいて点Aが射影された点の斉次座標C[c]を< c1, c2, 1 >

とする。AからBへの射影変換を表す行列をMB、AからCへの射影変換を表す行列

をMC とすると、hB、hC をある実数として、

< a1, a2, a3, 1 > MB = hB < b1, b2, 1 >

< a1, a2, a3, 1 > MC = hC < c1, c2, 1 >(3.7)

と書ける。ここで、MB、MCは、3.2節で述べた本システムで扱う変換行列に照ら

し合わすと、MBについて、

PT `cm =

MB

T

0 0 0 1

(3.8)

29

であり、MC も同様である。

この 2式をまとめると、

a[MB MC ] =< hBb hCc > (3.9)

となる。MB、MC をそれぞれ 3つの列ベクトルで表すと、

MB =[m1

′m2

′m3

′]

MC =[m1

′′m2

′′m3

′′]

(3.10)

となり、式 3.7は、

a[m1′

m2′

m3′

m1′′

m2′′

m3′′]

=< hBb1, hBb2, hB, hCc1, hCc2, hC > (3.11)

となる。したがって、

hB = am30

hC = am300

(3.12)

である。これより、

a[m1′

m2′

m1′′

m2′′] =< am3

0b1,am3

0b2,am3

00c1,am3

00c2 > (3.13)

となる。よってこれを書き下すと、

< a1, a2, a3 >

m11′ − m31

′b1 m21

′ − m31′b2 m11

′′ − m31′′c1 m21

′′ − m31′′c2

m12′ − m32

′b1 m22

′ − m32′b2 m12

′′ − m32′′c1 m22

′′ − m32′′c2

m13′ − m33

′b1 m23

′ − m33′b2 m13

′′ − m33′′c1 m23

′′ − m33′′c2

= − < m14′ − m34

′b1 m24

′ − m34′b2 m14

′′ − m34′′c1 m24

′′ − m34′′c1 > (3.14)

となる。したがって、この方程式を< a1, a2, a3 > T = dと表せば、T の右逆行列

T + = T T (TT T )−1を使って、

< a1, a2, a3 >= T +d (3.15)

と解くことができる。以上より、自然特徴点の三次元位置を求めることができる。

30

3.4.4 6つの自然特徴点を利用したカメラの位置と姿勢推定

本研究では、以前の視界画像に対して、3.4.1項と 3.4.3項の手法を適用して抽出さ

れた三次元位置がわかっている点と、現在の視界画像から 3.4.1項の手法で検出した特

徴点とを、3.4.2項の手法を用いて評価し、同一の点と判断された複数の点を用いてカ

メラ位置を推定する。このように三次元位置と画像上の座標との対応が取れている n

点を用いて撮影したカメラの位置・姿勢を求める問題を、透視 n点問題 (PnP 問題)と

言う [22]。この問題は、最小で 3つの点の組があれば解くことができるが、高次の連立

方程式を解く必要があるため、本研究では平易な計算で導出可能となる 6点を用いる

P6P 問題を解くこととする。この 6点は同一平面上にあってはならないという条件 [23]

がつく。しかし系統隔離作業を行う環境では、3.1.3で述べたとおり、様々な機器が並

ぶ環境なので、抽出された特徴点全てが同一平面上にあることはまずあり得ないと考

えるが、念のため、カメラ位置推定に利用可能な点から、同一平面にない点の組を選

択して利用することとする。

今、三次元空間中の 6点の斉次座標を、

[ai] (ai =< ai1, ai2, ai3, 1 >, i = 1, 2, 3, 4, 5, 6) (3.16)

と置き、それぞれに対応する画像上の 6点の斉次座標を、

[bi] (bi =< bi1, bi2, 1 >, i = 1, 2, 3, 4, 5, 6) (3.17)

とすると、透視変換行列M を、

M =

m11 m12 m13

m21 m22 m23

m31 m32 m33

m41 m42 m43

(3.18)

として、

[aiM ] = [bi] (i = 1, 2, 3, 4, 5, 6) (3.19)

斉次座標には定数倍の自由度があるので、hiをある実数として、式 3.19は、

aiM = hi < si, ti, 1 > (3.20)

31

と書ける。

M を 3つの列ベクトルで、

M =

m1 m2 m3

(3.21)

と表すと、

ai[m1 m2 m3] = hi < si, ti, 1 > (3.22)

となり、まず、

aim3 = hi (3.23)

したがって、

ai[m1 m2] = (aim3) < si, ti > (3.24)

となる。

そこで、各miの成分をたてに並べて、

m =

m1

m2

m3

(3.25)

と置けば、

ai 0 −siai

0 ai −tiai

m = 0 (3.26)

これを 6点についてまとめて書くと、

32

a11 a12 a13 1 −s1a11 −s1a12 −s1a13 −s1

a21 a22 a23 1 −s2a21 −s2a22 −s2a23 −s2

a31 a32 a33 1 −s3a31 −s3a32 −s3a33 −s3

a41 a42 a43 1 −s4a41 −s4a42 −s4a43 −s4

a51 a52 a53 1 −s5a51 −s5a52 −s5a53 −s5

a61 a62 a63 1 −s6a61 −s6a62 −s6a63 −s6

a11 a12 a13 1 −t1a11 −t1a11 −t1a11 −t1

a21 a22 a23 1 −t2a21 −t2a22 −t2a23 −t2

a31 a32 a33 1 −t3a31 −t3a32 −t3a33 −t3

a41 a42 a43 1 −t4a41 −t4a42 −t4a43 −t4

a51 a52 a53 1 −t5a51 −t5a52 −t5a53 −t5

a61 a62 a63 1 −t6a61 −t6a62 −t6a63 −t6

m = 0 (3.27)

これに対して左基本変換を行うことで、上三角行列の形にしてmについて解くこと

で、M が求まる。M は見かけ上 12個の成分を持つが、定数倍の自由度を持つことか

ら一意には決まらない。そこで、m43を kとおいて、

k

m′11 m

′12 m

′13

m′21 m

′22 m

′23

m′31 m

′32 m

′33

m′41 m

′42 1

(3.28)

を求める。

一方行列M は、ワールド座標系で表される空間上の点 P (p)を、理想スクリーン座

標系で表される点 x(x)に投影する変換を表している。その時の視点を e(e)、視点から

画像面におろした垂直の足を z0(z0)とし、その z0(z0)が画像面では原点となって、単

位ベクトルω1、ω2の方向にそれぞれの画面上のx軸、y軸がとられているものとする。

図 3.9に各ベクトルの関係を示す。

すると、行列M は次のように表される。

M =

ω1

′ω2

′u1

′

−eω1′ −eω2

′ −eu1′

(3.29)

33

e

o

x p

x

y

z0w1

w2

u

図 3.9: 視点・画像面・その上での座標軸を表すベクトル

ただし、

u =x0 − e

|x0 − e| (3.30)

である。よって

|ω1| = |ω2| = |u| = 1 (3.31)

から、これらをM の成分で表すと、

m112 + m21

2 + m312 = m12

2 + m222 + m32

2 = m132 + m23

2 + m332 = 1 (3.32)

であり、kの値が定まる。この時 kは正負 2つの値を持つが、特徴点を裏から見るこ

とはないため、kは正の値となる。

本研究で取り扱う座標系で表すと、aiはマーカ座標系で表された点 (Xmi, Ymi, Zmi, 1)、

biは理想スクリーン座標系で表された点 (xci, yci, 1)となり、M は

PT `cm =

MT

0 0 0 1

(3.33)

であることから、T−cmは、

T `cm = P `

MT

0 0 0 1

(3.34)

となり、作業員の三次元位置・姿勢を表す行列 T−cmを得ることができる。

34

3.5 ジャイロ・加速度センサを用いたトラッキング

ジャイロ・加速度センサを用いたトラッキングでは、まずジャイロセンサの値から

姿勢を推定する。次に求められた姿勢を元に、加速度センサの値から重量加速度成分

をキャンセルした後、位置の推定を行う。

3.5.1 ジャイロセンサによる姿勢の変化量の算出

ジャイロセンサから得られる値 (ωx, ωy, ωz)は、センサ座標系における各座標軸周り

の回転を表す角速度の値である。前回センサから値を得てから経過した微少時間を�t

とすると、微少時間�tの間の回転移動成分Rs(4t)は、式 3.35で表される。

Rs(4t) =

0BB@

1 0 0

0 cos ωx�t − sin ωx�t

0 sin ωx�t cos ωx�t

1CCA

0BB@

cos ωy�t 0 sin ωy�t

0 1 0

− sin ωy�t 0 cos ωy�t

1CCA

0BB@

cos ωz�t − sin ωz�t 0

sin ωz�t cos ωz�t 0

0 0 1

1CCA (3.35)

3.5.2 加速度センサによる位置の変化量の算出

加速度センサから得られる値 (ax, ay, az)は、センサ座標系において各座標軸方向へ

どれだけ位置が変化したかを加速度で表されたものである。この値には、重力加速度

成分が加わっているため、地面に対して垂直下方向の重力加速度を、加速度センサの

各軸成分に分解して除かなければ、加速度センサの位置の変化に起因する加速度だけ

を得ることができない。

まず重力加速度成分を取り除く。時刻 tにおける姿勢を表す回転行列Rtを、

Rt =

R11 R12 R13

R21 R22 R23

R31 R32 R33

(3.36)

とする。マーカ座標系における重力加速度ベクトル gmを

gm = (0, g, 0) (3.37)

であり、センサ座標系における重力加速度成分 gs(gx, gy, gz)は、

(gx, gy, gz) = (gR12, gR22, gR32) (3.38)

35

となる。よって、時刻 t +�tのセンサ座標系での各軸方向の加速度成分の大きさを、

at+4t = (ax(t+�t), ay(t+�t), az(t+�t)) (3.39)

とすると、重力加速度成分がキャンセルされた加速度成分 a0(t+4t)は、

a0(t+4t) = (ax(t+�t) − gR12, ay(t+�t) − gR22, az(t+�t) − gR32) (3.40)

となる。これで重力加速度の影響をキャンセルできたため、a0tは、時刻 tにおける

ユーザの移動によるセンサ座標系での軸方向の加速度を表すことになる。時刻 tにおけ

るセンサ座標系での速度成分を vtとすると、a0tを縦に書いて離散積分の台形公式を用

いると、

vt =1

2× (v(t`4t) + R`

s(4t)a0t) �t (3.41)

となる。

これが時間 tにおける速度なので、時刻 t−�tから時刻 tの間の平行移動成分Ts(4t)

は、離散積分の台形公式を用いて、

Ts(4t) =1

2× (v(t`4t) + vt) ×�t (3.42)

となる。よって 3.5.1で求めたRs(4t)と、本節で求めた Ts(4t)を用いて、微少時間

�tの間の位置・姿勢の変化を表す行列S(t;4t)を得る。

3.5.3 ジャイロセンサ・加速度センサのドリフト成分を除去するアル

ゴリズム

ジャイロセンサや加速度センサに生じるドリフト成分とは、本来の回転・移動の変化

に無関係な、時間や温度などの環境に起因して起こる出力値の変動である [24]。図 3.10

は、ジャイロセンサを正の方向へ約 90◦回転させた際の、出力である角速度を表す電

圧値 (V)と、その値を離散積分した角度を表す電圧値 (V)である。

本来、0秒から 1.6秒位までと、3.4秒以降は静止しているため出力は 0(V)であり、

積分した角度の値も変化しないはずである。しかし、測定結果ではいずれの時間でも

負の電圧が計測されていて、その結果静止しているはずのジャイロセンサが、少しず

つ負の方向へ動いているように見える。このような本来計測する動きと無関係な出力

がドリフトである。先に述べたとおり、ドリフトの原因は時間や環境に起因するため、

36

図 3.10: ドリフト成分の例

完全に除去することは困難である。このドリフト成分を含むセンサの補正には、拡張

カルマンフィルタを用いた予測が広く用いられている [25][26]。これはドリフト成分を補

正するわけでなく、ノイズとして含んだまま運動予測を行うことで、真値を得る手法

である。

本研究では、ドリフト成分のみを除去するために次の手法を開発した。

図 3.11に示すように、同一のセンサを 1軸に対し 2個用い、それらを運動方向に対

して正負が逆になるように設置する。

図 3.11: センサの取り付け方

2つのセンサからの値は、図 3.12の減算装置によって差が取られる。

この時センサの出力は、2個のセンサをA, Bとして式 3.43のように書ける。

37

図 3.12: 減算回路

SA(t) = F (ω(t)) + eA(t)

SB(t) = −F (ω(t)) + eB(t)(3.43)

ただし、各成分は、

SA(t) :センサAの出力

SB(t) :センサBの出力

ω(t) :時刻 tでのセンサの移動成分 (角速度または加速度)

F (ω) :移動ωに伴うセンサの出力成分

eA(t) :センサAのドリフト成分

eB(t) :センサBのドリフト成分

ドリフト成分は一般的に同一環境下で試験された場合の結果は、同一であることが

望ましいとされ、製造元によって一定以内に収まるとされている [24]。よって

eA(t) ≈ eB(t) (3.44)

減算装置によってこれら 2つの出力の差をとると、式 3.43、式 3.44より

SA − SB = 2F (ω(t)) (3.45)

式 3.45はドリフト成分がキャンセルされ、移動に伴うセンサの出力だけが 2倍で出力

されることを意味する。以上より、移動に伴うセンサの出力のみを得ることができる。

38

3.5.4 センサ値補正アルゴリズム

センサ値の補正には、様々な手法が考えられている [25][26]。その補正目的は、主にド

リフト成分の除去である。本研究ではドリフト成分を 3.5.3項で述べた手法で除去して

いる。よってここでは、人工マーカを用いたトラッキングか自然特徴点を用いたトラッ

キングが行われ、位置・姿勢を表す行列を得た際に、その行列でセンサによって得ら

れた位置・姿勢を表す行列を書き換えることとする。

3.6 ハイブリッドトラッキングアルゴリズム

これまでに述べた 3つのトラッキング技術を組み合わせることで、ハイブリッドト

ラッキングを実現する。ハイブリッドトラッキングは、精度が高い推定手法による算

出を優先的に行うため、図 3.13に示す順で行われる。これはセンサからの値を得る度

に行われる。

まず、センサによる位置・姿勢算出が試みられる。視界画像が更新されている場合

は、視界画像による位置・姿勢算出の方が精度が高いため、人工マーカを用いた位置・

姿勢算出か自然特徴点による位置・姿勢算出が試みられる。視界画像を利用した位置・

姿勢算出が可能であった場合は、自然特徴点の三次元位置の算出が試みられる。位置・

姿勢の推定が複数の手法で可能な場合は、精度が高い人工マーカ、自然特徴点、セン

サの順で算出結果が採用される。

また、センサによる位置・姿勢算出は途切れることなく行うことが可能であるが、セ

ンサのみによるトラッキングが続いた場合は誤差の蓄積から精度が低下してしまう。そ

のため、一定期間センサのみによって算出がされた場合は、人工マーカを見るよう促

すなどの対策が必要となる。

次章では、本章で述べたトラッキングアルゴリズムの設計をもとに作成した試作シ

ステムについて説明する。

39

図 3.13: ハイブリッドトラッキングアルゴリズム

40

第 4 章 ハイブリッドトラッキングシステムの

開発

本章では、3章で述べた 3種類のトラッキング技術と統合アルゴリズムの設計を元に

試作したハイブリッドトラッキングシステムへの実装手法を、ハードウェア・ソフト

ウェアの両面から説明する。

4.1 ハードウェア構成

本システムで用いたハードウェアを、表 4.1に示す。

表 4.1: ハードウェア構成

ハードウェア 製品名

ジャイロセンサ 村田製作所 圧電振動ジャイロ ENC-03

加速度センサ Analog Devices ADXL105

A/Dコンバータ Analog Devices AD7856

マイコン 日立製作所 H83048F

小型CCDカメラ PointGery FireFly Color

またこれら機器の接続を、図 4.1に示す。

小型CCDカメラ 人工マーカトラッキング・自然特徴点を用いたトラッキングで用

いられる視界画像は、小型のCCDカメラで撮影される。本システムで使用したカメラ

を図 4.2に示し、仕様を表 4.2に示す。

撮影した視界画像は、IEEE1394インタフェースを通して PCへ取り込まれる。

センサユニット 図 4.3、図 4.4に示すセンサユニットは、3軸方向に取り付けられた

ジャイロセンサと加速度センサ、それらから出力されるアナログ信号をデジタル信号

へ変換するA/Dコンバータからなる。図 4.4の番号は、3軸方向のセンサ基盤であり、

1は紙面を貫く方向の軸、2は紙面横方向の軸、3は紙面縦方向の軸に沿っている。

41

図 4.1: ハードウェア接続図

42

図 4.2: PointGery FireFly Color

表 4.2: 小型CCDスペックシート

撮像素子 1/3インチCCD× 3

プログレッシブスキャン

正方画素

解像度 (pixel) H640xV480 (VGAフォーマット)

フレームレート (frame/sec) 3.75,7.5,15,30　

フォーマット (bit) 24(RGB)

コネクタ (pin) 6(IEEE1394)

電源 (W) 0.625(スタンバイ),1.25(アクティブ)

ゲインコントロール (dB) -3～+33

シャッタースピード (sec) 1/25～1/15000

彩度 マニュアル

ホワイトバランス オート/マニュアル

レンズ焦点距離 (mm) 4,6,8

寸法 (mm) 50.8× 50.8

43

図 4.3: センサユニットの外観

図 4.4: センサユニット内部

44

本システムで使用したジャイロセンサの仕様を表 4.3に、加速度センサの仕様を表

4.4に、A/Dコンバータの仕様を表 4.5に示す。また、ジャイロセンサと加速度センサ

を配した基盤を、図 4.5に示す。

表 4.3: ジャイロセンサスペックシート

供給電圧 (Vdc) 2.7～5.25

検出範囲 (deg/sec) +/-300

静止時出力 (Vdc) 1.35

(mV/deg/sec) 0.67

リニアリティ(%FS) +/-5

応答性 (Hz) 50max.

重量 (g) 0.4

表 4.4: 加速度センサスペックシート

計測範囲 (g) +/-5

解像度 (mg) 2

帯域幅 (kHz) 10

flat振幅反応 (kHz) 5(+/-1%)

電流 (mA) 2

電圧 (V) +2.7～+5.25

感度 (V/g) 0.25～1.5

温度計測範囲 (℃) 0～+70,-40～+80

温度計測感度 (mV/℃) 8

耐久力 (g) 1000

この図からわかるように、ジャイロセンサ、加速度センサ共に、3.5.3項で述べたドリ

フトキャンセル手法を実現するように、2つのセンサが逆向きに取り付けられている。

また、3.2で述べたように、センサ座標系とカメラ座標系とを一致させるため、図 4.6

に示すようにカメラとセンサユニットの 3軸方向が一致するように設置した。

45

表 4.5: A/Dコンバータスペックシート

分解能 (bit) 14

スループットレート (kSPS) 285

アナログ入力数 8

電源電圧 (V) 5(単電源)

消費電力 (mW) 90

リファレンス電圧 内部、外部

図 4.5: ジャイロセンサ・加速度センサ基盤

46

図 4.6: 一体化したセンサユニットとカメラ

マイコン A/Dコンバータによってデジタル信号へ変換されたセンサからの信号は、

図 4.7に示すようにマイコンに取り込まれる。本システムで使用したマイコンの仕様

を、表 4.6に示す。

表 4.6: H8マイコンスペックシート

汎用レジスタ 16bit× 16本

最大動作周波数 (MHz) 16

加減算 (ns) 125

乗除算 (ns) 875

マイコンはシリアル通信でPCと接続されており、PCからの要求に応じてセンサか

らの値を PCへ転送する。

4.2 ソフトウェア構成

試作したシステムは、Microsoft Windows上で動作し、開発環境にはMicrosoft Visual

C++6.0を使用した。

47

図 4.7: 日立製作所 H83048F

48

4.2.1 トラッキングの処理の流れ

図 4.8にトラッキングの処理の流れを示す。

図 4.8: トラッキングシステム全体の流れ

本システムのトラッキングは、ジャイロ・加速度センサによるトラッキングと、画

像処理による人工マーカと自然特徴点を用いたトラッキングが並列で処理される。両

者がトラッキングを行うタイミングは独立であり、トラッキングの結果だけが互いの

補完に用いられる。そのため、システム全体はマルチスレッドプログラムで構成され

る。スレッドの優先順位は、センサのデータは決められた間隔で必ず取得されなけれ

ばいけないので、センサによるトラッキングを行うスレッドを最も高い設定とした。

以降ではそれぞれの機能について説明する。

4.2.2 初期化処理

トラッキングシステムは、起動すると図 4.9に示す初期化処理が行われる。

初期化処理は、センサの基準電圧測定と初期位置の設定の 2つからなる。

基準電圧測定 本システムでは、ジャイロセンサ・加速度センサへは 5vの電圧を供給

しているため、値の出力は 0(V) から 5（V)の間になる。センサは、静止している間

49

図 4.9: トラッキング初期化処理の流れ

も一定電圧の出力があり、動きを検知した際には、静止時の電圧を基準に、その動き

に応じた電圧の変動が出力される。??節で述べたドリフト成分の補正手法を用いるに

は、動きに応じて変動する電圧値は 0vを基準に正負の値をとる必要がある。そこで、

センサから出力された値から、静止時に出力されている電圧値を差し引くことで、必

要な値を得る。静止時の電圧は、時間や環境に応じたドリフト成分によって変動する

が、その変動分は??項のドリフト成分の補正の中に含まれるため、ある時刻で測定し

た静止時電圧を使用し続けてもよい。

実際の手順は、センサユニットを水平に完全に静止させた状態で PCから基準電圧

測定コマンドを送信することで測定される。測定は、10秒間電圧を計測し続け、その

平均値を基準電圧とする。ただし、垂直方向の加速度成分には常に重力加速度の影響

を受けているが、本研究では 1軸あたり同一のセンサが 2個逆方向に取り付けられて

いるので、2個のセンサが受ける重力加速度成分は同じ大きさで正負が逆である。よっ

て 2個のセンサの平均値を基準電圧とした。

初期位置の設定 ジャイロセンサ・加速度センサによるトラッキングは、推定した位

置・姿勢の値に微少時間内の変化分を掛け合わすことで行われる。そのためセンサを

利用したトラッキングを開始した時点での位置・姿勢の値を得る必要がある。本シス

50

テムでは、人工マーカを利用したトラッキングによって得た値を初期値に用いる。

実際の手順は、人工マーカを利用したトラッキングができている状態で、初期値を

設定するコマンドを入力する。すると、その時点での位置・姿勢の値がセンサを利用

したトラッキングを行うスレッドに渡され、センサを利用したトラッキングが開始さ

れる。

4.2.3 ジャイロセンサ・加速度センサを用いたトラッキング処理

ジャイロセンサ・加速度センサを用いたトラッキング処理の流れを、図 4.10に示す。

図 4.10: ジャイロセンサ・加速度センサを用いたトラッキング処理の流れ

ジャイロセンサ・加速度センサを用いたトラッキングでは、まず 4.2.4項で述べるセ

ンサデータの確認が行われ、正常な場合は 3.5項で述べた手法を用いて位置・姿勢の推

定が行われる。

4.2.4 センサデータの確認

PCに入力されたセンサデータは、正常なデータかどうかが判別される。センサが検

知した動きのデータは、A/Dコンバータによってデジタル値に変換され、マイコンに

一時蓄積される。この変換と蓄積のタイミングが非常にシビアなため、マイコンがデー

タを受け取れないエラーを生じることがある。このような事態には、マイコンが送信

51

するデータにエラーが含まれることを付加する仕様になっている。そのためPCは、受

け取ったデータにエラーが含まれるかどうかを判別できる。エラーが含まれると判断

された場合は、そのデータは破棄され、前回のデータ取得時からの時間を累計する。こ

の累計時間がある一定基準を超えた場合は、システムは異常終了する。累計時間が一

定基準以内の場合、センサデータの取得に戻る。

4.2.5 視界画像を用いたトラッキング処理

視界画像を用いたトラッキングには、人工マーカを用いたトラッキングと自然特徴

点を用いたトラッキングがある。具体的な処理の流れを、図 4.11に示す。図中の赤線

はデータの流れを表す。

図 4.11: 視界画像を用いたトラッキング処理の流れ

視界画像を用いたトラッキングは、人工マーカを用いたトラッキング、自然特徴点を

用いたトラッキング、自然特徴点の三次元位置推定、センサ補正関数の修正の 4つの機

能からなる。また、視界画像を用いたトラッキングが行われる際には、その直前に算

52

出されたセンサによるトラッキング結果と、これまでに三次元位置が分かっている自

然特徴点のデータが入力される。

人工マーカを用いたトラッキング 視界画像を用いたトラッキングでは、まず 3.3節で

述べた、人工マーカを用いたトラッキングが試みられる。ARToolKitを用いて視界画

像内を検索し、人工マーカが抽出できた場合は作業員の位置・姿勢を推定することが

できる。

自然特徴点を用いたトラッキング 人工マーカを用いたトラッキングで位置・姿勢が推

定できなかった場合、3.4節で述べた自然特徴点を用いたトラッキングが試みられる。

ここでは、得られた視界画像から、3.4.1項で述べた自然特徴点の抽出が行われ、3.4.2

項で述べた手法により、三次元位置が既知の自然特徴点データとの照合を行い、対応

付けができた 6点を、3.4.4節で述べた手法に適用することで、作業員の位置・姿勢を

推定する。

また、Harrisオペレータの評価値算出に用いられる定数 kは、推奨値とされる 0.04

に設定し、判別の閾値は最大値の 1/100まで検出する可変閾値とした。直線検出の閾

値は最大値の 1/50まで検出する可変閾値とし、ρ− θ平面上で θ方向 5◦、ρ方向で 5ピ

クセルの領域の極大値を求めることで、類似の線を除いた。

自然特徴点の三次元位置推定 人工マーカを用いたトラッキングか、自然特徴点を用

いたトラッキングのどちらかで作業員の位置・姿勢を得ることができた際は、3.4.3項

で述べた手法を用いて、視界画像中で三次元位置が未知の特徴点について、三次元位

置算出を行う。

センサ補正関数の修正 前節と同様に、作業員の位置・姿勢を得ることができた際は、

3.5.4項に述べた手法により、センサ補正関数の修正も行われる。

53

第 5 章 ハイブリッドトラッキングシステムの評

価と動作確認

本章では、4章で述べた通りに試作したシステムを用いて、各トラッキング技術の精

度評価実験と、統合したシステムの動作確認について述べる。

5.1 自然特徴点を用いたトラッキングの評価

トラッキングの精度を評価するために、以下の 3点について、評価・確認する実験

を行った。

• 6つの自然特徴点を用いた位置・姿勢の算出精度と計算負荷

• ステレオ法を用いた自然特徴点の三次元位置の算出精度と計算負荷

• 自然特徴点間のマッチングにおける提案手法の効果の確認

いずれの実験も照度は 200(lux)から 250(lux)の間であり、照明状態が変化すること

はなかった。

5.1.1 6つの自然特徴点を用いた位置・姿勢算出の評価

6つの点のマーカ座標系での三次元位置と、理想スクリーン座標系での二次元位置

が与えられた場合の、カメラの位置・姿勢の算出精度を評価する。実験は、図 5.1に示

す、2つの人工マーカを貼付した立方体 (以降ではマーカボックスと表記する)を用い

て行った。このマーカボックスは、一辺が 100mmであり、その中央に一辺が 80mmの

人工マーカが貼付してある。マーカボックスには、回転させた量が分かるよう、15◦毎

の目盛りがついた円盤が取り付けられている。このマーカボックスをカメラで撮影し、

各マーカの 4つの頂点座標を、ARToolKitを用いて算出し、図 5.2の赤丸で示す 6頂点

を自然特徴点として利用した。

自然特徴点同士の距離の最小値を変化させた場合の位置・姿勢推定精度を評価する。

マーカボックスは、カメラに対して 45◦回転した状態とし、画像のほぼ中央に写るよ

54

図 5.1: マーカボックス

図 5.2: 利用した 6頂点

55

うに設置した。この状態で、マーカを奥行き方向に 500mmずつ 6ヵ所動かし、算出さ

れるカメラの位置・姿勢を記録した。始点は、目視による確認で自然特徴点がほぼ画

面全体に分散するように写る、カメラ前方 300mm地点に設定した。一地点につき連続

した 100回の計測し、誤差の平均と標準偏差を算出した。同時に、算出に要した時間

を 1msの精度で計測し、100回の平均を求めた。

特徴点間の最小距離は、サブピクセル誤差の影響が顕著に表れるため、この値を評

価の基準とした。表 5.1に、奥行き方向への移動距離と最小距離の関係を示す。図 5.3

に最小距離と位置誤差の関係を、図 5.4に最小距離と位置に関する標準偏差の関係を示

す。また最小距離と姿勢誤差の関係を図 5.5に、最小距離と姿勢に関する標準偏差の関

係を図 5.6に示す。位置の誤差の単位は [mm]で表され、姿勢は、姿勢を表す 3 × 3行

列を、ZYZオイラー角で表現したものから誤差を計算し、単位は [度]で表される。た

だし、2800mm動かした時は、安定して位置・姿勢を算出することができなかったため

除外した。

表 5.1: 奥行き方向への距離と最小距離の関係

距離 (mm) 300 800 1300 1800 2300

最小距離 (pixel) 50.87 19.79 12.12 10.12 7.61

また、算出に要した時間の平均値を表 5.2に示す

表 5.2: 各地点で算出に要した時間

距離 (mm) 300 800 1300 1800 2300

算出に要した時間 (ms) 10.03 10.05 10.03 10.06 10.05

実験結果から、考察を述べる。

• 位置に関して、最小距離が短くなるほど誤差・標準偏差共に大きくなる。これは特徴点同士の距離に対するサブピクセル分の誤差の割合が大きくなり、その影響

が現れたためである。よって位置・姿勢の算出に使う自然特徴点は、視界画像内

ではできるだけ広範囲に広がっている方が、精度がよく安定したトラッキングが

可能になると推測される。

56

図 5.3: 最小距離と位置誤差の関係

図 5.4: 最小距離と位置に関する標準偏差の関係

57

図 5.5: 最小距離と姿勢誤差の関係

図 5.6: 最小距離と姿勢に関する標準偏差の関係

58

• 姿勢に関して、最小距離が短くなるにつれて誤差は若干減少した後、大きく乱れた。一方標準偏差は増えている。以上のことから、誤差の乱れは平均を取ったこ

とで誤差が相殺された結果であると考えられる。つまり、誤差は真値を挟んで振

動していると予想される。この状態は、実際に拡張現実感技術を用いたシステム

を構築した際に、表示が振動することを意味するため、できる限りこの状態にな

らないようにすべきである。

• 位置・姿勢のどちらに関しても、精度・ばらつきは 20pixel付近から急激に悪くな

ることから、この 20pixel付近を閾値として利用する特徴点を選別し、精度向上を

図ることができる。

• 算出に要した時間はほぼ 10msであった。この値はカメラのフレームレートに対

して十分な速度であり、実用上問題ないと言える。

以上のことから、6つの自然特徴点を用いた位置・姿勢算出の際には、特徴点間の距

離の下限を 20pixelとして特徴点の選別を行えば、精度・安定性が向上すると思われる。

5.1.2 ステレオ法を用いた自然特徴点の三次元位置算出の評価

ステレオ法を用いた自然特徴点の三次元位置の算出精度と計算負荷の評価を行う。実

験は、図 5.7に示すように、マーカボックスをカメラに対して 30◦回転させて設置した。

ステレオ法で用いる 2枚の視界画像のうち、1枚は z方向 50mm、x方向 0mmの位置

で撮影した画像であり、もう 1枚の視界画像はカメラを 50mmから 100mmまで 10mm

ずつ移動させ、その都度 x方向に 5mmずつ、視界画像からマーカが消えるまで移動さ

せ撮影した画像である。それぞれの画像において、ARToolKitを利用してマーカの 4

頂点の観測スクリーン座標系での二次元座標を得る。この値を用いて算出した各頂点

の三次元位置と、図 3.4に示したマーカ座標系における各頂点の三次元位置との誤差を

取った。実験は同じ条件のもと、3回繰り返した。また、4つの頂点の三次元位置を算

出するのに要した時間も計測した。表 5.3、表 5.4、表 5.5に誤差の結果を示す。

算出に要した時間は、全ての場合において 1ms以下であった。

実験結果から考察を述べる。

• どの回においても、x方向の移動後の結果には、大きな誤差が見られる。これは

視界画像の左端付近にマーカの左辺が写っており、観測スクリーン座標系から理

想スクリーン座標系への変換の際に大きな誤差を生じたためと推測される。特に

59

図 5.7: 三次元位置算出評価実験の実験環境

60

表5.

3:ステレオ法による自然特徴点の三次元位置算出

(1回目

)

頂点

1誤差

(mm

)頂点

2誤差

(mm

)頂点

3誤差

(mm

)頂点

4誤差

(mm

)

z方向の距離

(mm

)x方向の距離

(mm

)x

yz

xy

zx

yz

xy

z

50

5-0

.228

-0.0

81

0.1

09

-6.4

86

-0.8

85

10.9

92

-6.0

95

0.1

68

9.9

82

-0.0

20

-0.7

72

-0.1

70

50

10

3.5

98

0.3

40

-6.9

20

-2.9

46

-0.1

31

6.0

52

-3.9

82

0.6

69

6.6

21

1.0

20

-1.0

66

-2.1

25

60

010.7

47

2.7

15

-21.2

92

4.5

36

1.3

78

-4.7

84

-10.5

23

0.5

06

16.1

43

3.9

01

-1.2

53

-8.2

11

60

5-1

.177

-0.1

46

1.9

99

-5.7

20

-0.6

29

10.0

12

-7.3

88

0.4

92

11.8

34

-5.0

55

-0.0

20

9.6

60

60

10

1.8

69

-0.1

47

-3.2

70

-3.5

56

-0.1

19

6.8

72

-5.8

61

0.6

27

9.4

85

-1.3

27

-0.7

40

2.4

32

60

15

7.1

12

1.6

41

-14.2

94

-2.4

38

-0.8

34

4.8

94

-2.4

75

-0.1

87

4.7

90

4.2

57

-0.6

10

-7.8

81

70

06.2

90

1.6

47

-12.6

65

2.0

17

0.8

20

-1.0

20

-1.0

27

0.0

66

3.0

97

-1.7

46

-0.4

51

2.6

80

70

5-3

.607

-0.6

03

6.5

82

-7.7

25

-0.8

31

12.8

24

-7.9

64

0.3

62

12.6

44

-10.1

47

0.6

47

19.7

05

70

10

-1.6

42

-0.1

96

2.9

15

-4.4

61

-1.1

93

7.6

89

0.0

21

-0.5

54

1.1

00

-1.3

14

-0.1

22

3.1

10

70

15

2.5

66

-0.5

44

-3.4

47

-0.5

95

0.3

21

2.7

20

-3.2

25

0.4

41

5.6

21

1.6

94

-1.1

96

-3.3

78

70

20

8.8

96

1.7

96

-17.8

12

0.4

81

-0.3

52

0.8

61

0.1

69

-0.5

74

0.9

34

9.0

95

-0.8

18

-16.8

59

80

05.6

85

1.5

23

-11.3

46

1.7

04

0.6

93

-0.4

49

1.2

18

-0.2

31

-0.0

90

-2.5

30

-0.2

82

4.1

37

80

50.8

44

0.4

51

-2.5

85

-7.5

03

-0.3

42

12.1

05

-7.1

79

-0.1

25

11.1

84

-9.6

99

0.3

58

17.9

05

80

10

-2.8

23

-0.4

98

5.1

77

-6.7

19

-0.5

71

11.3

41

-5.5

82

-0.2

36

9.1

30

-3.7

90

-0.2

73

7.2

12

80

15

0.9

08

-0.6

42

-0.5

91

-1.9

29

0.2

06

4.5

21

-4.6

89

0.5

32

7.8

01

-1.3

72

-0.8

42

2.6

01

80

20

6.8

31

0.4

70

-12.5

27

-1.1

56

-0.2

13

3.6

90

-3.1

08

0.3

89

5.7

10

6.3

77

-1.6

74

-12.6

63

80

25

-526.1

79

-129.7

57

1024.8

20

62.3

31

47.8

70

-109.1

96

2.3

23

-0.5

45

-1.9

92

-214.7

09

7.0

23

366.9

25

90

0-2

.725

-0.4

93

5.1

00

1.7

92

0.8

74

-0.8

48

-0.0

36

-0.3

00

1.3

06

22.9

79

-4.1

09

-45.4

83

90

5-3

.692

-0.7

79

7.0

80

0.8

51

0.8

19

0.3

64

-1.9

15

0.0

31

3.9

02

-13.0

78

1.2

15

24.8

16

90

10

-2.9

27

-0.6

46

5.2

87

-3.4

84

-0.8

78

6.2

49

0.4

46

-0.7

31

0.3

07

-2.3

59

-0.3

54

4.6

76

90

15

0.2

52

-0.3

01

0.1

25

-0.4

69

0.7

38

2.1

60

-6.7

61

0.5

84

10.8

16

-2.6

69

-0.3

91

4.9

44

90

20

5.6

99

1.1

03

-11.1

17

-3.5

71

-0.1

74

6.8

98

-1.1

52

-0.6

31

2.8

02

6.7

81

-1.2

18

-13.1

22

90

25

7.1

69

1.6

54

-14.5

04

2.2

14

-0.3

68

-2.1

28

1.4

27

-0.8

70

-1.1

26

4.8

62

0.0

05

-7.1

13

100

01.6

20

0.4

97

-3.5

96

8.6

31

1.9

73

-10.4

33

16.8

40

-1.9

77

-22.6

98

-1.9

27

-0.2

27

2.9

05

100

50.7

61

0.4

47

-2.2

86

-3.0

67

0.4

26

5.7

77

-8.9

21

0.4

07

13.9

72

-10.0

63

0.2

51

18.3

90

100

10

-8.6

95

-1.4

99

16.5

34

-9.0

01

-1.1

27

14.6

23

-2.1

63

-0.6

22

3.9

48

-1.3

37

-0.3

57

3.0

35

100

15

0.5

61

0.0

73

-0.7

16

-0.9

74

1.0

80

2.0

82

-4.8

19

-0.0

36

8.2

58

-6.6

17

0.2

28

12.3

44

100

20

0.0

38

-0.1

88

-0.4

33

-4.7

08

-1.0

80

8.3

90

-1.5

97

-0.4

95

3.3

69

-0.6

38

-0.1

26

1.8

24

100

25

3.0

98

0.8

89

-6.3

64

-1.5

34

-1.1

32

3.3

82

0.2

15

-0.3

67

1.0

05

4.2

77

-0.1

92

-6.9

64

100

30

10.9

61

0.7

79

-19.6

09

0.5

74

-0.2

11

1.4

13

-0.7

31

0.2

94

2.3

71

12.5

28

-2.0

61

-24.6

06

61

表5.

4:ステレオ法による自然特徴点の三次元位置算出

(2回目

)

頂点

1誤差

(mm

)頂点

2誤差

(mm

)頂点

3誤差

(mm

)頂点

4誤差

(mm

)

z方向の距離

(mm

)x方向の距離

(mm

)x

yz

xy

zx

yz

xy

z

50

5-1

.426

-0.6

38

3.4

24

-6.9

86

-0.6

02

12.3

52

-3.3

93

0.4

84

5.5

32

0.7

56

-1.1

68

-2.7

06

50

10

3.3

12

0.1

72

-6.1

14

-4.4

73

-0.6

08

8.5

01

-4.1

65

0.5

14

6.7

05

2.8

23

-1.2

19

-6.6

71

60

019.1

54

3.2

56

-37.6

77

-29.6

95

-3.2

65

45.4

22

3.1

80

-0.7

76

-4.1

40

-7.6

90

0.4

58

14.3

02

60

50.8

91

0.1

64

-1.4

34

-3.9

61

0.1

25

7.9

41

-2.8

74

-0.0

08

4.7

66

0.5

00

-1.0

15

-2.1

69

60

10

0.3

50

-0.4

24

-0.1

02

-5.3

09

-0.7

76

9.9

37

-4.7

99

0.6

67

7.6

34

0.2

16

-0.7

53

-1.4

91

60

15

5.8

98

0.5

98

-11.2

97

-1.0

72

-0.5

57

3.4

51

-1.6

54

-0.0

48

2.9

97

5.9

02

-1.5

47

-12.4

28

70

0-5

.084

-0.7

70

9.3

10

1.8

91

0.5

06

-1.6

72

8.9

04

-1.4

07

-11.6

82

-4.9

22

-0.0

60

9.2

36

70

5-4

.222

-1.1

05

9.2

92

-2.8

65

0.5

75

6.0

09

-1.4

47

0.2

17

2.6

29

-7.3

54

0.7

06

13.2

65

70

10

-1.8

31

-0.6

52

4.2

57

-6.0

16

-0.7

26

10.9

97

-4.7

74

0.4

78

7.5

55

-1.1

81

-0.7

24

1.2

19

70

15

1.7

86

0.3

60

-2.6

06

-0.1

84

-0.5

18

1.4

90

-0.6

95

-0.1

45

1.6

41

1.9

59

-0.6

33

-3.6

29

70

20

7.0

22

-0.5

80

-11.0

73

-0.8

47

0.1

87

3.7

15

0.2

35

0.0

11

0.0

87

8.3

83

-2.9

39

-17.6

93

80

06.3

38

1.2

64

-12.0

57

-293.9

25

-35.7

53

430.0

74

7.6

44

-1.3

25

-9.6

94

-3.4

02

-0.3

07

5.3

59

80

5-3

.941

-0.7

83

8.1

72

-3.2

05

0.3

36

6.7

37

-1.6

53

0.4

51

3.0

46

-8.0

91

0.7

28

14.9

63

80

10

-1.5

40

-0.5

19

3.6

72

-4.1

21

-0.1

62

8.3

30

-6.0

66

1.0

42

9.4

26

-3.1

35

-0.1

57

5.0

72

80

15

2.9

66

-0.3

34

-4.7

51

-1.0

46

0.4

40

3.7

20

-5.2

11

0.6

75

8.1

80

1.2

16

-1.3

95

-3.6

35

80

20

5.0

36

-0.5

74

-8.1

95

-2.4

53

0.0

10

5.9

24

-3.3

23

0.4

33

5.4

31

7.7

91

-2.3

11

-16.7

10

80

25

-153.3

43

-7.8

73

242.3

19

97.4

96

35.0

07

-175.7

39

1.3

16

-0.0

12

-1.4

72

-438.5

58

100.4

44

849.9

64

90

04.3

95

1.2

19

-9.2

37

19.0

43

2.7

40

-26.3

24

6.3

57

-0.9

33

-7.3

37

-6.2

06

0.1

40

11.6

92

90

51.1

53

-0.0

11

-2.1

78

2.2

59

1.2

44

-1.9

52

-3.1

41

0.2

32

5.1

52

-6.3

55

0.0

19

10.4

39

90

10

-2.8

91

-0.2

82

5.4

32

-7.8

97

0.3

37

13.2

79

-3.6

15

-0.6

75

5.1

95

-1.4

88

-1.0

36

1.1

29

90

15

-4.2

58

-1.1

69

8.8

07

-3.5

44

-0.6

69

6.6

94

0.5

01

-0.5

18

-0.3

37

-0.4

99

-0.4

27

0.9

17

90

20

3.6

99

-0.3

11

-5.7

27

-6.5

42

-0.4

69

11.8

92

-5.0

98

0.5

18

8.0

13

4.8

35

-1.8

61

-10.7

91

90

25

10.9

83

0.5

41

-20.9

34

-1.9

39

-0.4

74

5.1

52

-1.4

67

-0.1

82

2.6

74

8.9

01

-1.8

32

-17.9

48

100

04.9

08

0.9

69

-8.9

93

27.1

08

3.9

58

-36.8

86

14.1

80

-2.3

00

-19.1

36

1.2

39

-1.3

69

-3.5

12

100

57.9

35

1.9

28

-16.3

01

-17.5

67

-1.9

99

27.0

56

8.7

59

-1.7

23

-12.7

38

-1.5

76

-0.7

87

2.7

12

100

10

-8.9

40

-1.4

74

17.1

86

-11.9

05

-0.2

86

19.2

24

-2.8

92

-0.5

78

4.0

08

-6.0

56

0.0

59

10.3

26

100

15

-3.6

36

-0.9

49

7.8

92

-5.8

70

-0.4

92

10.8

38

-4.2

01

0.6

36

6.7

95

-2.2

55

-0.1

27

3.5

80

100

20

-0.1

11

-0.7

83

1.0

59

-5.0

47

-0.5

75

9.6

59

-4.5

37

0.2

77

7.1

44

0.3

96

-1.0

96

-1.9

60

100

25

9.7

05

1.0

71

-18.8

63

-3.7

07

-0.4

73

7.5

33

1.9

74

-0.8

26

-2.4

85

8.5

89

-1.8

15

-16.5

98

100

30

9.3

75

-1.1

00

-13.1

71

3.9

00

0.3

80

-2.7

81

3.8

74

-0.7

33

-5.0

39

16.8

09

-5.3

21

-34.1

87

62

表5.

5:ステレオ法による自然特徴点の三次元位置算出

(3回目

)

頂点

1誤差

(mm

)頂点

2誤差

(mm

)頂点

3誤差

(mm

)頂点

4誤差

(mm

)

z方向の距離

(mm

)x方向の距離

(mm

)x

yz

xy

zx

yz

xy

z

50

5-2

.697

-0.7

34

5.8

64

0.5

85

0.1

19

-0.4

44

-0.1

09

-0.1

45

0.5

82

-0.5

69

-0.3

77

0.4

87

50

10

3.2

66

0.1

46

-6.3

61

-2.4

89

-0.2

96

4.8

11

-3.7

93

0.6

97

6.4

78

2.9

12

-1.2

63

-6.9

29

60

0-1

.025

-0.3

31

2.2

33

6.8

42

1.2

94

-8.5

18

22.2

85

-3.6

94

-31.8

39

-0.1

63

-0.8

48

-0.7

37

60

5-7

.137

-1.5

68

14.2

75

-3.1

41

-0.1

08

5.3

20

3.7

66

-0.8

84

-5.3

75

-0.8

70

-0.2

76

1.5

55

60

10

2.1

30

-0.2

51

-4.0

59

-3.9

93

0.1

32

7.3

87

-3.4

39

1.0

06

6.0

41

-0.4

68

-0.9

23

-0.2

45

60

15

8.5

46

0.0

46

-16.8

37

-0.1

81

0.1

52

1.8

58

-4.0

62

1.1

66

6.9

83

5.3

92

-2.3

21

-12.1

15

70

0-4

.901

-0.7

50

8.9

46

7.2

10

1.3

49

-9.5

16

7.8

40

-1.0

62

-9.8

92

-3.2

31

-0.0

86

5.5

16

70

5-2

.394

-0.8

59

5.1

37

-3.2

04

0.6

10

5.9

30

-5.3

14

1.1

60

8.8

07

-2.9

47

-0.4

15

4.6

45

70

10

-1.6

96

-0.6

86

3.6

13

-4.0

12

-0.4

75

6.9

10

-1.7

46

0.0

30

3.0

28

-1.0

58

-0.4

35

1.1

85

70

15

4.5

23

-0.6

65

-7.9

26

-1.5

33

0.4

46

3.7

49

-5.5

50

1.5

59

9.0

63

2.9

71

-1.8

44

-7.0

91

70

20

6.2

35

-1.2

59

-9.8

04

0.9

19

-0.0

47

0.8

90

0.3

76

0.6

47

0.1

73

5.6

81

-2.7

62

-12.1

25

80

06.9

99

0.7

67

-13.5

52

3.4

57

1.0

34

-3.7

14

7.2

07

-1.1

09

-9.7

82

0.8

42

-1.1

88

-2.4

36

80

5-8

.868

-1.9

54

16.7

97

1.5

64

0.0

47

-2.2

58

3.2

09

-0.4

86

-4.0

52

-3.7

36

0.3

91

7.6

93

80

10

-2.6

51

-1.0

54

5.6

59

-3.9

93

-0.1

37

7.4

28

-2.9

04

0.7

44

5.2

68

-3.7

40

0.1

15

6.3

85

80

15

-3.1

84

-0.9

59

6.5

23

0.4

22

-0.4

82

-0.3

01

0.0

68

-0.1

51

0.4

06

-0.6

40

0.0

57

1.6

57

80

20

8.7

70

-0.1

91

-16.7

16

-1.5

93

-0.1

76

4.1

19

-4.2

67

1.0

70

7.2

81

6.0

78

-2.2

49

-13.4

60

80

25

10.5

49

1.6

74

-20.2

87

5.4

73

0.1

26

-7.4

29

4.8

56

-0.6

59

-6.1

65

7.5

13

-0.5

79

-12.4

98

90

04.6

31

0.2

63

-9.1

08

12.9

54

1.7

06

-17.4

18

7.0

09

-0.9

96

-9.2

79

-0.8

30

-0.5

91

-0.0

36

90

5-3

.779

-1.3

56

8.7

03

3.7

96

0.2

39

-3.0

48

1.2

75

0.3

23

-1.1

26

-9.6

87

2.0

19

17.3

36

90

10

-2.7

58

-0.9

34

5.9

74

-1.3

68

0.7

98

3.1

41

-3.7

23

0.5

86

6.5

62

-4.8

40

0.3

98

8.4

97

90

15

-0.3

42

-1.1

94

0.6

96

-0.0

48

-0.5

11

1.3

38

0.8

82

0.3

26

-0.2

17

-1.5

66

0.2

11

2.1

86

90

20

1.6

38

-1.2

32

-1.6

07

-1.1

69

0.3

88

3.2

99

-4.5

50

1.3

24

7.6

15

3.1

01

-2.0

48

-7.2

75

90

25

7.1

95

0.8

22

-14.0

09

2.2

76

-0.3

25

-2.8

24

1.7

14

-0.2

28

-1.7

14

4.5

46

-0.3

88

-7.1

68

100

09.1

55

1.5

05

-18.2

39

9.8

31

1.2

72

-13.0

17

8.3

45

-1.1

39

-10.9

12

-7.0

93

0.8

18

13.3

06

100

513.9

75

1.9

71

-27.8

73

-10.7

34

-0.0

48

17.1

93

8.2

46

-1.8

27

-12.6

39

3.6

01

-1.6

85

-8.8

74

100

10

-11.4

65

-1.8

01

23.1

88

-7.7

93

0.3

31

12.8

42

-1.7

63

-0.4

08

2.5

95

-4.2

91

0.0

62

7.0

96

100

15

-3.4

82

-0.9

13

7.1

98

-5.4

47

0.4

44

9.3

91

-5.1

18

0.3

17

7.9

55

-3.0

06

-0.2

79

4.6

16

100

20

0.1

64

-0.4

26

-0.1

59

-5.6

78

-0.4

59

9.7

13

-3.0

74

0.2

27

5.0

23

-0.4

70

-0.2

30

0.6

08

100

25

5.6

59

0.1

86

-11.2

59

-4.0

01

-0.5

81

7.3

63

1.3

33

-0.3

52

-1.1

80

8.6

69

-2.0

30

-17.5

66

100

30

16.3

63

0.9

30

-32.5

77

1.5

23

-0.0

58

-0.6

29

0.6

79

-0.2

55

-0.1

94

12.2

84

-2.5

19

-24.5

84

63

z方向 80mmの時は、図 5.8に示すように、左端の数ピクセルの位置に人工マーカ

の左辺があり、レンズの歪みの影響を大きく受けたことが想像できる。

図 5.8: z方向 80mm、x方向 25mmの視界画像 (2回目)

• 2枚の視界画像を撮影した時の位置が近いほど、誤差が大きくなる傾向がある。こ

れは、2枚の視界画像が似たものになるため、撮影時の位置・姿勢を表す行列が似

たものとなり、計算誤差を含みやすいためである。

• 2枚の画像で撮影時の位置・姿勢が十分異なり、歪み補正の影響をあまり受けて

いない時には、誤差はほぼ 10mm以内に収まっており、十分な精度で算出できて

いる。

• 4頂点の三次元位置を算出するのに要した時間は 1ms以下であったことから、最

大でも 1頂点あたり 0.25ms程度である。カメラのフレームレートが 15fpsである

ことから、抽出できる特徴点の数を考慮しても、実用上問題ないと言える。

以上のことから、自然特徴点の算出を行う際には、画面中央付近に特徴点がある視

界画像を用いることが望ましく、また視界画像を撮影した時の位置・姿勢はできるだ

け異なっている方が精度がよいと言える。

64

5.1.3 自然特徴点間のマッチングの評価

異なる視界画像で検出された自然特徴点に対して、現実世界では同じ位置にある点

同士を対応づける自然特徴点間のマッチングについて、本研究で提案したHarrisオペ

レータと直線検出の併用による効果を確認するために、評価は、異なる位置・姿勢で

撮影された 2枚の視界画像で対応付けを行い、正しく対応付けられているがを評価し

た。手順は、まず 2枚の視界画像から、Harrisオペレータによる特徴点検出のみの場

合と、直線検出によって得られた直線同士の交点座標による選別を行った場合の 2種

類を行う。Harrisオペレータによる検出によって得られた特徴点の中で、対応付けら

れるものを目視にて確認する。次に得られた自然特徴点について、1枚目の抽出結果と

のマッチングを行い、Harrisオペレータのみ場合と、直線検出を併用した場合のそれ

ぞれについて、本システムのマッチングアルゴリズムによって対応付けを行い、その

結果と目視して得られた結果を比較する。また、Harrisオペレータによる特徴点検出、

直線検出、テンプレート画像生成、類似度算出に要した時間も合わせて計測した。撮

影対象としてはプラント機器の代用として、モータを写した。また、Harrisオペレー

タ、直線検出での各パラメータは 4.2.5で述べた設定とした。使用した視界画像の 1枚

目を図 5.9に、2枚目を図 5.10に示す。

この 2枚の画像から、Harrisオペレータのよって自然特徴点を検出した結果を、図

5.11、図 5.12に示す。検出された自然特徴点は、赤い正方形の中心である。ただし、1

枚目の画像で番号が振られていない正方形が 1つあるが、画像の左端に寄りすぎてい

るため、テンプレート画像を生成できないことから除かれた点である。

次に、特徴点検出に直線検出を併用した場合の視界画像を図 5.13、図 5.14に示す。

図中の白い線が検出された直線である。

検出された特徴点の数を表 5.6に、直線の本数と、直線同士の交点の数を表 5.7に

示す。

表 5.6: 検出された特徴点の数

検出された自然特徴点の数

Harrisオペレータのみ (個) 直線検出を併用 (個)

1枚目 34 2

2枚目 28 2

Harrisオペレータによって検出された自然特徴点の座標を、表 5.8に示す。

65

図 5.9: 視界画像 (1枚目)

図 5.10: 視界画像 (2枚目)

表 5.7: 検出された直線の本数と交点の数

直線の本数 (本) 直線同士の交点の数 (個)

1枚目 7 12

2枚目 6 8

66

図 5.11: Harrisオペレータによる特徴点検出結果 (1枚目)

15

18

79

14

17

20

16 19

10

4

6

13

8

532

11

12

1

26

242123

27

2228

25

図 5.12: Harrisオペレータによる特徴点検出結果 (2枚目)

67

15

18

79

14

17

20

16

19

10

4

613

85

3

2

11

12

30

2624

21

29

23

27

22

28

25

33

3432

31

1

図 5.13: 直線検出を併用した特徴点検出結果 (1枚目)

15

18

79

14

17

20

16 19

10

4

6

13

8

532

11

12

1

26

242123

27

2228

25

図 5.14: 直線検出を併用した特徴点検出結果 (2枚目)

68

表 5.8: Harrisオペレータによって検出された特徴点の座標

視界画像 1 枚目 視界画像 2 枚目

番号 x 座標 y 座標 x 座標 y 座標

1 11 74 51 227

2 23 406 55 232

3 32 26 57 218

4 37 30 60 45

5 53 195 65 189

6 123 219 67 180

7 125 215 176 270

8 176 187 232 277

9 242 174 235 252

10 246 291 241 236

11 248 250 355 362

12 252 276 369 468

13 255 269 387 397

14 327 432 429 463

15 335 459 434 197

16 337 225 448 79

17 343 361 450 74

18 378 344 457 133

19 384 356 503 92

20 398 412 509 401

21 446 163 551 155

22 451 150 553 141

23 453 145 557 149

24 457 133 562 169

25 459 126 579 14

26 461 121 593 408

27 473 96 613 99

28 476 82 622 103

29 482 64

30 486 335

31 510 114

32 587 377

33 600 330

34 608 372

69

直線検出によって選別された結果を、表 5.9に示す。

表 5.9: 直線検出によって選別された結果

1枚目 2枚目

13 15

21 16

目視により対応付けを行った結果を表 5.10に示す。表中の番号は、図 5.11と図 5.12

の図中の番号である。

表 5.10: 目視による特徴点の対応付け

1枚目 2枚目

4 4

12 8

19 13

21 15

29 16

30 20

31 24

Harrisオペレータのみの検出結果を使用して、試作したシステムによる対応付けを

行った結果を、表 5.11に示す。この際の閾値は、経験上 0.4とした。

また、直線検出を併用した場合の結果を表 5.12に示す。

また、Harrisオペレータ実行に要した時間は、130(ms)、直線検出に要した時間は、1

枚目の視界画像で2354(ms)、2枚目の視界画像で2133(ms)であった。テンプレート画像

生成に要した時間は、1枚目の視界画像で 34枚のテンプレート画像を生成して 10(ms)、

2枚目の視界画像では 28枚のテンプレート画像を生成して同じく 10(ms)であった。た

だし、テンプレート画像生成に必要な演算の中で最も演算量が多い処理に関しては、

Harrisオペレータと共通で使用したため、テンプレート画像生成時間には入っていな

いため、大幅に時間が短縮されている。類似度算出に要した時間は 40(ms)であった。

以上の結果から考察を述べる。

70

表 5.11: マッチング結果 (Harrisオペレータのみ)

1枚目 2枚目 類似度 閾値による判定結果

13 11 0 ○

15 21 0 ○

16 23 0.222045 ○

18 12 0.222045 ○

19 16 0.222045 ○

6 31 0.314018 ○

17 9 0.314018 ○

24 31 0.384593 ○

3 9 0.444089 ×

9 25 0.444089 ×

14 21 0.444089 ×

20 22 0.444089 ×

7 4 0.496507 ×

22 7 0.555112 ×

8 15 0.628037 ×

23 27 0.666134 ×

10 4 0.915513 ×

21 14 0.993014 ×

25 21 0.993014 ×

28 18 1.11022 ×

12 14 1.79018 ×

2 19 2.03507 ×

27 1 2.39149 ×

5 33 4.18953 ×

11 20 5.0243 ×

4 20 9.56597 ×

26 2 63.081 ×

1 17 1265.5 ×

71

表 5.12: マッチング結果 (直線検出併用)

1枚目 2枚目 類似度 閾値による判定結果

15 21 0 ○

16 21 1.08779 ×

• 提案した直線検出を併用することで、明らかに角と関係ない位置の特徴点を除外することができた。

• 直線検出の精度が悪く、正しく角を検出しているにも関わらず除外されてしまう特徴点が数多く見られた。これには、実験で写したモータは、自然特徴点検出に適

した角や直線を多く含むが、塗料の影響で光の影響を受けやすいためであり、照

明状態によってマッチング結果が変化することを示唆している。

• 直線検出は、多くの計算負荷がかかり、リアルタイムでの利用は困難である。

5.2 ジャイロ・加速度センサを用いたトラッキングの評価

5.2.1 ジャイロ・加速度センサのドリフトキャンセル手法の評価実験

3.5.3項で述べた、ジャイロセンサ・加速度センサのドリフト成分を除去するアルゴ

リズムを実装したセンサユニットを用いて、ドリフト成分が除去できているかを評価

する。

ジャイロセンサのドリフト除去 ジャイロセンサのドリフト成分が除去できているか

を確認するため、1軸分のセンサユニットを作成し実験を行った。図 5.15に示すジャイ

ロセンサ基盤を、出力の正負が逆になるよう取り付けた。このジャイロセンサ基板は、

本研究のシステムでも使用した、村田製作所製圧電振動ジャイロ ENC03Jを組み込ん

だ共立電子産業（株）製、圧電振動ジャイロ基板 SK-JYROである。

図 5.16に 1軸分のセンサユニットを示す。

このセンサユニットを、図 5.17に示すように三脚に取り付けた。三脚を回すことで

回転を与え、その回転を検知したセンサからの出力を、オシロスコープで観測する。

図 5.18、図 5.19は、三脚を 90◦回してセンサユニットに回転を与えた時の、ジャイ

ロセンサA、ジャイロセンサBの出力と、その値を積分して得られた角度である。

72

図 5.15: SK-JYRO

図 5.16: 1軸分のジャイロセンサユニット

73

図 5.17: ジャイロセンサの実験システム

0秒から 1.6秒位までと、3.4秒以降は静止しているため出力は 0(V)であり、本来積

分した角度の値は変化しないはずである。しかし、測定結果ではどちらのジャイロセ

ンサからも負の電圧が出力されていて、その結果静止しているはずのジャイロセンサ

が、少しずつ負の方向へ動いているように見える。そこでこのドリフト成分を除去す

るために、このような状態の 2つのセンサに対して、3.5.3項で述べたアルゴリズムを

適用する。図 5.20に適用した結果を示す。

単独では、ドリフト成分により負の方向へ動いていた 0秒から 1.6秒位までと、3.4

秒以降で、静止状態が確認できる。

加速度センサのドリフト除去 ジャイロセンサと同様に、加速度センサについても 1軸

分のセンサユニットを作成し、ドリフト除去を確認する実験を行った。実験は図 5.21

に示すように、加速度センサユニットを定規に沿って動かし、出力をオシロスコープ

で観測する。

図 5.22、5.23に、加速度センサから得られた出力と、その値を積分して得られた速

度、および速度を積分して得られた位置を示す。

微少ではあるが、加速度センサでもドリフト成分によって静止しているセンサから

正の出力がある。3.5.3項で述べたアルゴリズムを適用した結果を図 5.24に示す。

単独の時は、静止時でもドリフト成分により正の方向へ動いていたが、ドリフトキャ

ンセル手法により静止状態が確認できる。

74

図 5.18: ジャイロセンサAの出力

図 5.19: ジャイロセンサBの出力

75

図 5.20: ジャイロセンサAの出力 - ジャイロセンサBの出力

図 5.21: 加速度センサの実験システム

76

図 5.22: 加速度センサAの出力

図 5.23: 加速度センサBの出力

77

図 5.24: 加速度センサAの出力 - 加速度センサBの出力

5.2.2 ジャイロ・加速度センサによる位置・姿勢算出の精度評価

ジャイロセンサが検出した回転の変化量と、加速度センサが検出した位置の変化量

から、作業員の現在の位置・姿勢を算出する際の算出精度について評価する。実験は、

図 5.25のようにマーカ座標系の x-y平面とカメラ座標系 (センサ座標系)の x-y平面が

平行になるようにマーカボックスとカメラ・センサユニットを設置した状態で、セン

サユニットの基準電圧測定と初期化を行う。初期化作業が成功し、ジャイロセンサ・加

速度センサによるトラッキングが始まるのを確認する。その状態から、カメラ座標系

の x軸正の方向に、ゆっくりと 30cm動かし、位置・姿勢の精度を評価する。

ジャイロセンサによるトラッキング結果と、同じ時刻に人工マーカを用いて行ったト

ラッキング結果を示す。図 5.26はジャイロセンサによる姿勢推定結果の ZYZオイラー

角表現である。

図 5.27は加速度センサによる位置推定結果である。

実験結果から考察を述べる。

• ジャイロセンサ・加速度センサともに、ノコギリ波のように見えるのは、3.5.4で

述べたセンサ値補正アルゴリズムによって、位置と姿勢が再設定されたためであ

る。実験ではセンサからのデータに対して、人工マーカによるトラッキング結果

が周期的に設定されている。その結果、動きの正負や動き始め、動き終わりの検

78

図 5.25: ジャイロ・加速度センサによる位置・姿勢算出の精度評価実験の配置

図 5.26: ジャイロセンサと人工マーカによる姿勢推定結果

79

図 5.27: 加速度センサと人工マーカによる姿勢推定結果

出には利用可能な精度になった。

• ジャイロセンサ・加速度センサともに、値は大きくずれているが、動きの方向は検出できている。

• 加速度センサの結果に、一部大きく値がずれた所がある。人工マーカによるトラッキング結果を見ると、この箇所と動かしはじめの急な動きの部分とは一致する。グ

ラフの右端にも大きな変化が見られるが、これは動きを止めた時と一致する。以

上のことから、加速度センサは急激な動きの影響を受けやすいことが分かる。

• 本システムが行った、人工マーカによるトラッキング結果を用いた周期的な補正で効果が見られたのは、ドリフト成分が除去されているため、温度や環境に依存

した不規則な誤差がないためである。しかし、動きはじめや止まったときは、影

響を大きく受けている。

以上のことから、試作したジャイロセンサ・加速度センサユニットは、位置・姿勢

を算出できるほどの精度は確保できなかったが、ドリフト成分を除去できたことから、

補正手法の改良によっては、画像処理によるトラッキングと同精度程度まで精度向上

が期待できると思われる。

5.3 ハイブリッドトラッキングシステムの動作確認

5.1節、5.2節で述べた実験結果を踏まえ、ハイブリッドトラッキングシステム全体

の動作確認を行った。動作確認は、センサユニットの初期化作業を行った後、マーカ

80

ボックスを用いて人工マーカによるトラッキングができている状態にした。この状態

から、視界画像から人工マーカが消えるまでは、人工マーカを利用したトラッキング

が行われたが、視界画像内に人工マーカが無くなってからは、自然特徴点を用いたト

ラッキングへと切り替わった。その間、センサによるトラッキングが継続されている

ことも確認した。以上から、ジャイロ・加速度センサユニットによるトラッキングと、

画像処理を用いたトラッキングの並列処理の動作を確認した。しかし、5.1.3で述べた

ように、自然特徴点のマッチング精度は非常に低く、自然特徴点の対応付けがうまく

動作しなかった。また本研究で提案した直線検出を併用した場合は、処理速度に問題

があり、5～8秒程度に 1回トラッキングができる程度となった。

5.4 評価のまとめと今後の課題

本実験では、ハイブリッドトラッキングシステムを構成する個々の技術について評

価を行った。

自然特徴点を用いたトラッキングの技術に関して、6つの自然特徴点を用いたトラッ

キング、ステレオ法を用いた自然特徴点の三次元位置推定については、良好な結果が

確認できた。しかし、自然特徴点同士を対応づけるマッチングに関しては、本研究で

提案した直線検出とHarrisオペレータの併用では、効果が期待できる結果ではあるが、

計算負荷の問題から、実用的なレベルには達しなかった。

一方、ジャイロセンサ・加速度センサを用いたトラッキングに関して、センサを利用

する上で問題であったドリフト成分の除去については、提案手法の有効性が示された。

しかし、位置・姿勢を算出するには精度が低くく、推定結果には大きな誤差が現れた。

今後の課題としては、まず自然特徴点の利用には異なる視界画像間での対応付けが

挙げられる。本研究のようなリアルタイムでの検出・対応付けを確実に行うことは困難

であり、代わりに事前に環境を学習させ、その結果を利用する手法や、過去のトラッキ

ング結果をデータベースなどに蓄積し、有効利用する手法などが考えられる。またジャ

イロセンサ・加速度センサに関しては、ドリフト成分以外の誤差補正も課題となる。

また、本研究では人工マーカ、自然特徴点、ジャイロ・加速度センサによる位置・姿

勢の算出を同時に行うことで、強調効果が期待できる。例えば、センサからの値は視

界画像より多い頻度で得ることができるため、自然特徴点の追跡を行う際に利用でき

ると考えられる。

81

第 6 章 結論

本研究では、原子力プラントの系統隔離作業支援システムに拡張現実感を適用する

際に必要となるトラッキング技術を開発するため、その環境・用途に適合する手法を

選択し、改良・統合手法を提案した。提案に基づき構築した試作システムを用い、個々

の技術の評価とシステム全体の動作確認を行った。そこから得られた知見を元にして、

要素技術の改良点と提案したトラッキング技術の新たな適用手法を提案した。

第 2章では、研究の背景として、原子力プラントにおける系統隔離作業の現状と課題

を述べた。そして、この課題の解決策として、現在研究が進められている次世代HMS

を用いた作業支援手法の中でも、拡張現実感技術を用いた作業支援方法が有効である

ことを述べ、拡張現実感技術の機能と特徴について概説し、関連する従来研究をまと

めた。次いで、拡張現実感技術を系統隔離作業支援に適用する際の課題として、トラッ

キング精度の向上を図る必要があることを述べ、トラッキング技術について簡単に説

明した。そして以上を背景として研究の目的が、系統隔離作業支援に適した拡張現実

感技術用トラッキングの技術の開発であることを述べた。

第 3章では、系統隔離作業支援に適したトラッキングの技術を選択するため、既存の

トラッキングの技術について、その利点と欠点を総覧し、それらを組み合わせること

で互いの欠点を補完するハイブリッドトラッキングについて説明した。次いで、系統

隔離作業に関わる環境や作業員の特徴を挙げ、そこから開発するトラッキング技術へ

の制限と要求を詮索した。そこから、開発するトラッキング技術への制限と要求を策

定し、それらを元に、系統隔離作業支援に適したトラッキング技術として、人工マー

カ・自然特徴点・ジャイロセンサ・加速度センサを併用したハイブリッドトラッキン

グを考案した。次いで、考案したハイブリッドトラッキングの構成要素である、人工

マーカを用いたトラッキング、自然特徴点を用いたトラッキング、ジャイロセンサ・加

速度センサを用いたトラッキングの 3つについて、既存技術の改良を行い、これら 3つ

のトラッキング技術を統合するハイブリッドトラッキングアルゴリズムを設計した。

第 4章では、第 3章で述べた各トラッキング技術と統合アルゴリズムの設計を元に試

作したトラッキングシステムの、ハードウェアとソフトウェアについて述べた。ハー

ドウェアに関しては、視界画像を取得するCCDカメラ、ジャイロセンサ・加速度セン

サを組み込んだセンサユニット、画像処理を行うPCとセンサユニットをつなぐマイコ

82

ンについて述べた。ソフトウェアに関しては、システム全体の流れを説明し、画像と

センサデータの並列処理について述べた。そして、個々のトラッキング技術に関して、

実装したアルゴリズムについて述べた。

第 5章では、第 4章で試作したシステムを用いて、各トラッキング技術を構成する要

素技術についての評価実験について述べた。実験では自然特徴点を用いたトラッキン

グについては以下の 3点を評価した。

• 6つの自然特徴点を用いた作業員の位置・姿勢の算出精度と計算負荷

• ステレオ法を用いた自然特徴点の三次元位置の算出精度と計算負荷

• 自然特徴点間のマッチング精度と計算負荷

ジャイロセンサ・加速度センサを用いたトラッキングについては、以下の 2点を評

価した。

• ジャイロセンサ・加速度センサのドリフトキャンセル手法の有効性

• ジャイロセンサ・加速度センサによる位置・姿勢の算出

またそれらを統合したシステム全体の動作確認を行った。

最後にこれら評価実験の結果から、今後の課題として以下の点が挙げられた。

• 自然特徴点間の対応付けの精度向上

• ジャイロ・加速度センサの誤差に対する補正手法の開発

83

謝 辞

学部 4回生で配属されて以来、研究全般にわたってご指導を頂きました吉川榮和教

授に深く感謝いたします。吉川教授には、お忙しい身に関わらず、研究の進め方や卒

業論文、修士論文の書き方に至るまで全ての研究活動に対して的確にご指導して頂き

ました。また、私が度々体調を崩していたにも関わらず、常に暖かいご配慮を頂きま

した。

本研究を進めるにあたり、様々な助言、論文の校正など、研究全般にわたって多大

な御指導、御協力を頂きました下田宏助教授に深く感謝いたします。また、下田助教

授とは、世間の冷たい目にさらされながらも、たばこ部として共に活動できたことを

うれしく思います。

研究室に配属されて以来、研究はもとより研究室での活動全般に渡ってお世話して

頂きました石井裕剛助手に心より感謝いたします。

本研究におけるシステム開発をサポートしてくれた修士課程 1回生の河内美佐さん、

学部 4回生の関山友輝君に深く感謝します。

本論文を執筆する上で協力してくれた修士課程 1回生の佐野真治君、前嶋真行君に

深く感謝します。

研究を進める上で何かとお世話して頂きました谷友美秘書、吉川万里子秘書に深く

感謝いたします。

研究生活において互いに励ましあい苦楽を共にした修士課程 2回生の富田大輔君、藤

野秀則君、山崎雄一郎君、楊明君、城田莉菜さん、そして修士課程 2.5回生の服部貴司

君に感謝します。

最後に、研究室での学生生活を共に過ごした吉川研究室の学生のみんなに感謝しま

す。そして、本研究に関わった全ての人々に深く感謝いたします。

84

参 考 文 献

[1] 尾崎貞彦,吉川榮和,北村正晴,古田一雄,五福明夫,伊藤広二:原子力発電所運用高度

化のための次世代HMSの技術開発,日本原子力学会 2002年春の年会要旨集,第 II

分冊,p407(2002)

[2] Ronald Azuma: A Survey of Augmented Reality, Presence, Vol.6, No.4, pp.355-

385(1997)

[3] Ronald Azuma, Yohan Baillot, Reinhold Behringer, Steven Feiner, Simon Julier,

Blair MacIntyre: Recent Advances in Augmented Reality, IEEE Computer Graph-

ics and Applications,21,6(Nov/Dec(2001)),pp.34-47(2001)

[4] BOEING:MAthematics and Computing Technology Focus,

http://www.boeing.com/assocproducts/art/tech focus.html(2003 年 1 月 31 日現

在)

[5] Steven Feiner,Blair MacIntyre,Doree Seligman:KARMA,

http://www.cs.columbia.edu/graphics/projects/karma/karma.html(2003 年 1 月

31日現在)

[6] Andrei State, Gentaro Hirota, David T. Chen, William F. Garrett, Mark A.

Livingston: Superior Augmented Reality Registration by Integrating Landmark

Tracking and Magnetic Tracking, Proc. SIGGRAPH, pp.429-438(1996)

[7] Greg Welch, Gary Bishop, Leandra Vicci: SCAAT:Incremental Tracking with In-

complete Information, Proc. SIGGRAPH, pp.333-344(1997)

[8] Y. Genc, S. Riedel, F. Souvannavong, C. Akınlar, N. Navab: Marker-less tracking

for AR: a learning-based approach Proc. IEEE and ACM International Symposium

on Mixed and Augmented Reality, pp.295-304(2002)

85

[9] Hirokazu Kato, Mark Billinghurst: Marker Tracking and HMD Calibration for a

Video-based Augmented Reality Conferencing System, Proc. of 2nd Int. Workshop

on Augmented Reality, pp.85-94(1999)

[10] Sebastian Vogt, Ali Khamene, Frank Sauer, Heinrich Niemann: Single camera

tracking of marker clusters: multiparameter cluster optimization and experimen-

tal verification Proc. IEEE and ACM International Symposium on Mixed and

Augmented Reality, pp.127-136(2002)

[11] Bolan Jiang, Ulrich Neumann: Extendible Tracking by Line Auto-Calibration,

Proc. IEEE and ACM International Symposium on Augmented Reality, pp.97-

103(2001)

[12] 横小路泰義,菅原嘉彦, 吉川恒夫: 画像と加速度計を用いたHMD上での映像の正確

な重ね合わせ,日本バーチャルリアリティ学会論文誌,Vol4, No.4, pp.589-598(1999)

[13] 藤井博文, 神原誠之, 岩佐英彦, 竹村治雄, 横矢直和: 拡張現実のためのジャイロセ

ンサを併用したステレオカメラによる位置合わせ, 電子情報通信学会 技術研究報

告, PRMU99-192(2000)

[14] Bruce Thomas, Victor Demczuk, Wayne Piekarski, David Hepworth, Bernard Gun-

ther: A Wearable Computer System with Augmented Reality to Support Terres-

trial Navigation, 2ND. International Symposium on Wearable Computers, pp.166-

167(1998)

[15] IS-600 MK2 & Plus 6DOF Precision Motion Tracker

http://www.creact.co.jp/jpn/j n is600.htm(2004年 1月 31日現在)

[16] FASTRAK http://www.polhemus.com/FastTrak/(2004年 1月 31日現在)

[17] Joseph Newman, David Ingram, Andy Hopper: Augmented reality in a wide area

sentient environment, Proc. IEEE and ACM International Symposium on Aug-

mented Reality, pp.77-86(2001)

[18] Chris Harris,Mike Stephens: A Combined Corner and Edge Detector, Proc. Alvey

Vision Conf., pp.147-151(1988)

86

[19] FEST Project編集委員会: 新実践画像処理, pp.46-48, 株式会社リンクス 出版事業

部 (2001)

[20] 五十嵐悟, 橋本進, 宮本敦, 金子俊一: 方向ヒストグラムの自己回帰モデルに基づく

回転不変画像照合, 精密工学会誌, vol.67, No.9, pp.1519-1523(2001)

[21] 出口光一郎: センシング/認識シリーズ 第 5巻 画像と空間 コンピュータビジョン

の幾何学, pp.144-150, 昭晃堂 (1997)

[22] 出口光一郎: センシング/認識シリーズ 第 5巻 画像と空間 コンピュータビジョン

の幾何学, pp.128-142, 昭晃堂 (1997)

[23] 出口光一郎: ロボットビジョンの基礎, pp.17-24, 昭晃堂 (1997)

[24] 多摩川精機 (株): ジャイロ活用技術入門, pp.129-130, 工業調査会 (2002)

[25] Ronald Azuma, Bruce Hoff, Howard Neely III, Ron Sarfaty: A Motion-Stabilized

Outdoor Augmented Reality System, Proc. VR’99, pp.252-259(1999)

[26] Suya You, Ulrich Neumann: Fusion of Vision and Gyro Tracking for Robust Aug-

mented Reality Registration Proc. IEEE VirtualReality(2001)

87

付 録 目 次

付録 A AR Tool Kit 付録A-1

A.1 AR Tool Kitの概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-1

A.2 マーカ検出処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-1

A.2.1 取り扱う座標系 . . . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-1

A.2.2 マーカ抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-4

A.2.3 マーカ識別 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-4

A.2.4 ４頂点位置検出 . . . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-5

A.3 マーカの３次元位置推定 . . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-5

A.3.1 回転移動成分R3×3の推定 . . . . . . . . . . . . . . . . . . . . . 付録A-6

A.3.2 平行移動成分T3×1の推定 . . . . . . . . . . . . . . . . . . . . . 付録A-8

A.3.3 変換行列Tcmの修正 . . . . . . . . . . . . . . . . . . . . . . . . 付録A-8

A.4 カメラキャリブレーション . . . . . . . . . . . . . . . . . . . . . . . . 付録A-9

付録 B Harrisオペレータ 付録B-1

B.1 Harrisオペレータの概要 . . . . . . . . . . . . . . . . . . . . . . . . . . 付録B-1

B.2 Harrisオペレータによる物体の角の検出 . . . . . . . . . . . . . . . . . 付録B-2

B.2.1 Moravecらの方法による物体の角の検出 . . . . . . . . . . . . . 付録B-2

B.2.2 Harrisオペレータによる物体の角の検出 . . . . . . . . . . . . . 付録B-3

付録 C 方向ヒストグラムの自己回帰モデルに基づく回転不変画像照合 付録C-1

C.1 概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 付録C-1

C.2 方向ヒストグラム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 付録C-1

C.3 自己回帰モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 付録C-2

C.4 自己回帰モデルを導入した照合法 . . . . . . . . . . . . . . . . . . . . . 付録C-4

C.4.1 方向ヒストグラムの自己回帰モデル表現 . . . . . . . . . . . . . 付録C-4

C.4.2 自己回帰係数間の比較 . . . . . . . . . . . . . . . . . . . . . . . 付録C-5

i

付 録 図 目 次

A.1 AR Tool Kitの使用例 . . . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-2

A.2 システムが取り扱う座標系 . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-3

A.3 マーカの例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-7

A.4 格子点のフィッティング 1 . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-11

A.5 格子点のフィッティング 2 . . . . . . . . . . . . . . . . . . . . . . . . . 付録A-12

B.1 Harrisオペレータの実行例 . . . . . . . . . . . . . . . . . . . . . . . . . 付録B-1

C.1 方向ヒストグラムの生成法の概要 . . . . . . . . . . . . . . . . . . . . . 付録C-2

C.2 等角度置き点列の 2次元閉輪郭化 . . . . . . . . . . . . . . . . . . . . . 付録C-3

ii

付 録 表 目 次

iii

付録 A AR Tool Kit

A.1 AR Tool Kitの概要

広島市立大学の加藤氏らによって開発され、ワシントン大学HIT LabのWWWサー

バでソースコードが公開されているAR Tool Kitは、正方形マーカ上に 3次元仮想物

体の重ね合わせを行う拡張現実感 (Augmented Reality :AR)システム構築用ツールで

ある。情報端末とカメラとHMDがあればAR Tool Kitを利用して容易にARシステ

ムを構築できる。表示のみではなく３次元での情報操作が可能なインタフェースシス

テムや、デスクトップ・テーブルトップでの拡張現実感アプリケーションの開発を得

意としている。理論的にはマーカを設置すれば屋外環境、大規模空間でも利用可能だ

が、テーブル上の空間程度の大きさでの利用が現実的である。

AR Tool KitはC言語で記述されたマルチプラットフォームのソフトウェアであり、

画像入力ライブラリ (libARVideo)、画像処理ライブラリ (libAR)、画像表示ライブラリ

(libARgsub)と、光学シースルーHMD用キャリブレーションや複数マーカによる位置

計算等の補助ライブラリ (libARgsubUtil、libARMulti)によって構成される。

AR Tool Kitを用いて構築したARシステムでは、カメラキャリブレーション、HMD

キャリブレーション、マーカ検出処理、マーカ座標系からカメラ座標系への座標変換

行列を求める処理 (マーカの 3次元位置推定)、HMDスクリーンの適切な位置への仮想

物体描画処理などの処理が可能である。

AR Tool Kitを利用したARシステムによって仮想物体を表示している例を図A.1に

示す。

以降に本研究で利用したAR Tool Kitのマーカ検出処理とマーカの 3次元位置推定

処理について述べる。

A.2 マーカ検出処理

A.2.1 取り扱う座標系

図A.2にAR Tool Kitシステムが取り扱う座標系を示す。仮想物体はマーカ座標系の

上で表現される。カメラ座標系は焦点位置を原点、画像平面に垂直な方向をZ軸、画像の

付録A-1

図 A.1: AR Tool Kitの使用例

付録A-2

x,y軸に平行な方向を各X,Y軸とする。マーカ座標系で表現された点 (Xm, Ym, Zm)は、

回転・平行移動でカメラ座標系でカメラ座標系に変換可能で、その座標系では (Xc, Yc, Zc)

と表記する。透視変換モデルによって投影される画像平面は理想スクリーン座標系と

呼び、この座標系においては (xc, yc)に写るものとする。また、理想スクリーン座標系

から歪み関数によって変換された座標系を観測スクリーン座標系とし、実際にカメラ

から取り込まれたデータをこの座標系で表現し、その座標値を (xd, yd)で表す。

HMDと目は理想的な透視変換モデルで変換でき、HMDの映像表示面をHMDスク

リーン座標系と呼び、その上の座標値を (xs, ys)で表す。このHMDスクリーン座標系

に対し同一方向にX,Y軸を持ち、垂直な方向に Z軸を有する目の焦点位置を原点とす

る座標系を目座標系と呼び、その座標系は (Xe, Ye, Ze)で表す。

(xs,ys)

(Xe,Ye,Ze)

(Xm,Ym,Zm)

(Xc,Yc,Zc)

(xc,yc)

(xd,yd)

図 A.2: システムが取り扱う座標系

付録A-3

A.2.2 マーカ抽出

入力された画像に対して、固定閾値による２値化、連結領域ごとの面積・外接長方

形計算を行ったのち、面積値によって巨大領域と微小領域を除外し、外接長方形情報

から画像境界に接する連結領域も除外する。残された連結領域に対して輪郭線追跡を

行い、輪郭線上の画素位置を全て記憶する。輪郭線データに対して折れ線近似を行い、

４本の線分によって十分な精度で近似できた連結領域をマーカ候補とする。このとき

の 4つの折れ点の座標値を記憶しておく。

A.2.3 マーカ識別

図A.3にマーカの例を示す。マーカの中央部に識別用のパターンが描かれている。こ

のパターンを事前に登録したパターンとのテンプレートマッチングによって識別する。

マーカは透視変換モデルによって理想スクリーン座標系に投影されるので、マーカ座

標系 (Xm − Ym, 0)平面内の点 (Xm, Ym, 0)は以下の式で理想スクリーン座標系上の点

(xc, yc)に変換される。

hxc

hyc

h

=

C11 C12 C13

C21 C22 C23

C31 C32 1

Xm

Ym

1

(A.1)

マーカの大きさは既知なので、その情報とマーカ抽出処理で求めた４頂点の座標値

を用いると、この式のすべてのCの値を求められる。従って、マーカ内部のパターン

はこの式によって正規化できる。具体的にはマーカ内部のパターン領域を 64× 64に分

割し、その領域に対する画素値を入力画像から抜き出し、64× 64画素のパターン画像

を得る。これを 16× 16に縮小しテンプレートマッチングに使用する。マーカの回転に

対処するために、90度おきに回転したテンプレートを 4枚作成しておき、それらと入

力画像に対し以下の式で類似度を計算し、最大値をとるものをマーカの種類および方

向と見なす。

s(l) =

∑Ni=1(xi − x) · (x(l)

i − x(l))√∑Ni=1(xi − x)2 ·

√∑Ni=1(x

(l)j − x(l)))2

(A.2)

ここで xiは画像ベクトルの i番目の要素を示す。xは要素の平均値で、N は画素の

階調数、この場合は 256となる。xlは l番目のテンプレート画像を意味する。この式は

付録A-4

明るさの正規化された 2つの画像ベクトルの余弦を求めることになる。

A.2.4 ４頂点位置検出

マーカの各辺に対応する輪郭線データに最小２乗法で直線当てはめを行い、それら

直線の交点を頂点座標値とする。この直線当てはめの際、以下の歪み関数による変換

を行い、理想スクリーン座標系における頂点座標値を求める。

zd

zc= {1 − pz2

c} ,

z2c = (xc − xc0)

2 + (yc − yc0)2, z2

d = (xd − xc0)2 + (yd − yc0)

2

xd = zd

zc(xc − xc0) + xc0, yd = zd

zc(yc − yc0) + yc0

(A.3)

ここで (xc, yc)は理想スクリーン座標系での座標値、(xd, yd)は観測スクリーン座標

値である。また、pは歪み率、(xc0, yc0)は歪み中心座標値で、この 3パラメータはカメ

ラキャリブレーションによって求めておく。ここでの計算では、式（A.3）の逆変換が

必要となるが、その計算は初期値を (xd, yd)としたニュートン法の 4回の繰り返しで十

分な精度が得られる。観測された正方形マーカ画像では樽型歪みでの影響でその辺は

曲線となるが、この変換によって辺は直線として扱うことができる。

A.3 マーカの３次元位置推定

これはマーカ座標系からカメラ座標系への変換行列Tcmを推定する問題である。こ

の変換行列は回転移動成分R3×3と平行移動成分T3×1からなる。理想スクリーン座標

系とカメラ座標系の間は透視変換モデルで変換でき、その具体的な変換行列は事前の

キャリブレーションにより求めておく。これらの座標系はの関係は式 (A.4),(A.5)のよ

うに表現できる。式 (A.1)は、マーカ座標系のXm − Ym平面内座標値と理想スクリー

ン座標系の関係式であるが、以下の式はマーカ座標系の 3次元座標値を取り扱うもの

である。

付録A-5

Xc

Yc

Zc

1

= Tcm

Xm

Ym

Zm

1

=

R3×3 T3×1

0 0 0 1

Xm

Ym

Zm

1

=

R11 R12 R13 T1

R21 R22 R23 T2

R31 R32 R33 T3

0 0 0 1

Xm

Ym

Zm

1

(A.4)

hxc

hyc

h

1

= P

Xc

Yc

Zc

1

=

P11 P12 P13 0

0 P22 P23 0

0 0 1 0

0 0 0 1

Xc

Yc

Zc

1

(A.5)

マーカ座標系におけるマーカの 4頂点の座標値は図A.3に示すように設定されてお

り、これらに対応する理想スクリーン座標系における座標値もこれまでの処理で得ら

れている。これらの情報から式 (A.4)におけるTcmを求めるが、その手順は、

1. 回転移動成分R3×3の推定

2. 平行移動成分T3×1の推定

3. 変換行列Tcmの修正

となる。

A.3.1 回転移動成分R3×3の推定

理想スクリーン座標系におけるマーカの頂点位置から向かい合う 2辺の直線の方程

式が得られる。それを式 (A.6)のように表し、式 (A.5)の xc,ycをこれに代入すること

で式 (A.7)が得られる。

a1x + b1y + c1 = 0, a2x + b2y + c2 = 0 (A.6)

a1P11Xc + (a1P12 + b1P22)Yc + (a1P13 + b1P23 + c1)Zc = 0

a2P11Xc + (a2P12 + b2P22)Yc + (a2P13 + b2P23 + c2)Zc = 0(A.7)

付録A-6

Zm

Xm

Ym

L[mm]

図 A.3: マーカの例

付録A-7

この式はカメラ座標系によって表現される 3次元空間中の平面の方程式であり、3次

元空間中のマーカの辺がこの平面内に存在することを意味する。マーカの向かい合う

2辺は平行なのでその方向ベクトルは一致し、式 (A.7)の 2平面の面内方向となる。つ

まり、式 (A.7)の 2平面の各法線ベクトルの外積として計算されるベクトルが、平行 2

辺のカメラ座標系における方向ベクトルとなる。この計算を 2組の平行 2辺に対して

行うことでマーカの隣り合う 2辺の方向ベクトルU1,U2を求めることできる。

A.3.2 平行移動成分T3×1の推定

式 (A.4)(A.5)を結合し、マーカの 4頂点のマーカ座標系での座標値、理想スクリー

ン座標系での座標値を代入すると、T1,T2,T3に関する i次方程式が 8個得られる。行列

P,Rが既知なので、これらの式から T1,T2,T3を計算できる。

A.3.3 変換行列Tcmの修正

以上の計算でTcmは計算されるが、回転行列の計算において大きな誤差を伴う。そ

こで再度画像情報を利用し回転行列の修正を行う。（式 4）においては回転行列は９個

のパラメータで表現されているが，これを３つの回転角（a: Zm 軸の傾斜方向，b: Zm

軸の傾斜角度，c: Xm-Ym平面の Zm軸周りの回転角）で表現する．これは ZYZ オイ

ラー角表現を修正したものである．通常のオイラー角表現ではベクトルの微少変動が回

転角に大きな変化を及ぼす場合があるが，この表現ではそのような影響が小さい．（式

8）に回転行列を回転角で表した式を示す．

R=

2666666666664

cos a cos b cos(c−a)−sin a sin(c−a) − cos a cos b sin(c−a)−sin a cos(c−a) cos a sin b

sin a cos b cos(c−a)+cos a sin(c−a) − sin a cos b sin(c−a)+cos a cos(c−a) sin a sin b

− sin a cos(c−a) sin a sin(c−a) cos b

3777777777775

(A.8)

この式より（式 9）が導出でき，回転行列R3 × 3 から各回転角を求めることができる．

付録A-8

cos b = R33

cos a = R13/ sin b

sin a = R23/ sin b (A.9)

sin c = (R32R13 − R31R23)/(R213 + R2

23)

cos c = −(R13R31 + R23R32)/(R213 + R2

23)

そこで，これまでに求めた Tcmを用いて，マーカー４頂点の座標値を（式 4,5）に代

入することで，その理想スクリーン座標値を計算できる．この計算値と実際に画像処

理によって求められた値の誤差の２乗和が少なくなるように a,b,c の値を修正する．具

体的には，山登り法を用いて 10 回の繰り返し処理により新たな回転成分R3 × 3を求め

る．さらに 2.3.2 の処理を再適用し平行移動成分 T3 × 1も更新する．この処理の理論的

な収束性は証明していないが，初期値が適切に与えられること，回転ベクトルの微小

変化が３つの回転角 abc に対しても微小変化しか与えないことから，妥当なものと考

え，実験的に問題がないことを確認した．

A.4 カメラキャリブレーション

カメラキャリブレーションでは 4× 6の格子点を持つ板を使用する。この板をカメラ

で撮影し、図A.4,A.5のようにキーボード操作で各格子点に対してフィッティングを行

う。この作業を数回繰り返し、観測される全ての格子点に対してその 3次元座標値と

観測スクリーン座標系での座標値を式 (A.11)に代入することで、パラメータCij に関

する一次方程式が多数得られ、その値を計算できる。この行列Cは式 (A.11)に示すよ

うに透視変換成分と回転・平行移動成分に分割することができ、Rの回転行列として

の制約を用いることで、透視変換行列Pを計算できる。

付録A-9

hxc

hxy

h

1

=

C11 C12 C13 C14

C21 C22 C23 C24

C31 C32 C33 1

0 0 0 1

Xf

Yf

Zf

1

(A.10)

C11 C12 C13 C14

C21 C22 C23 C24

C31 C32 C33 1

0 0 0 1

= k

P11 P12 P13 0

0 P22 P23 0

0 0 1 0

0 0 0 1

×

R11 R12 R13 Tx

R21 R22 R23 Ty

R31 R32 R33 Tz

0 0 0 1

(A.11)

付録A-10

図 A.4: 格子点のフィッティング 1

付録A-11

図 A.5: 格子点のフィッティング 2

付録A-12

付録 B Harrisオペレータ

本付録では、本研究で開発するシステムの作業員の位置推定機能で使用するHarrisオ

ペレータについて、まずHarrisオペレータの概要について述べ、次いで画像中でHarris

オペレータを使用する方法について述べる。

B.1 Harrisオペレータの概要

Harrisオペレータは、画像中から物体の角やエッジを検出する演算子であり、検出

された物体の角やエッジは、2次元の画像から 3次元形状を求める目的で考案された。

また、検出した物体の角は、画像中の特徴的な部分であるため、目印（マーカ）とし

て利用されることもある。本研究でも、Harrisオペレータを用いて物体の角を検出し、

自然マーカとして利用する。

Harrisオペレータを実際に求めた例を図B.1に示す。図B.1の（a）の元画像に対し

て、Harrisオペレータを用いて物体の角を検出すると（b）の検出画像の黄色の領域に

なる。（b）の検出画像の結果を分かりやすくするため、（a）と（b）を合成した画像が

（c）の合成画像である。

（a）元画像 （b）検出画像 （c）合成画像

図 B.1: Harrisオペレータの実行例

次節では、Harrisオペレータによる画像中の物体の角の検出方法について述べる。

付録B-1

B.2 Harrisオペレータによる物体の角の検出

本節ではについて、まず、物体の角の検出する方法としてMoravecらの方法を説明

する。次いで、Harrisオペレータによる物体の角を検出する方法

B.2.1 Moravecらの方法による物体の角の検出

画像中の物体の角を検出するアルゴリズムに、Moravecらの方法がある。

Moravecらの方法は、以下のようにして物体の角を検出する。

縦Upixel、横V pixelの画像において、その画像中の（u, v）の画素の値を Iu,vと表す。

このとき、画素（u, v）に対する評価値Ex,yを次の式で求める。

Ex,y =∑u,v

wu,v |Ix+u,y+v − Iu,v|2 (B.1)

なお、wu,vは窓関数であり、任意の領域Kに対して、

wu,v =

{1 (u, v) ∈ K

0 (u, v) /∈ K(B.2)

が成り立つ。

評価値Ex,yの (x, y)の値を、(x, y) = {(1, 0), (1, 1), (0, 1), (−1, 1)}と変化させたときの最小値Eminを、画像中の全画素に対して求め、その中で閾値によって物体の角の部

分と、それ以外の部分に分ける。

このようにして求めるMoravecらの方法では、以下の問題がある。

• Ex,yを求めるために累乗の計算を行う必要があり、計算の処理に時間を要する。

• 画像中の四角い領域を窓関数と設定すると、雑音が多く入る。

• Eminを 4つのEx,yから単純に選ぶため、閾値によっては雑音が入りやすく、閾値

の設定が難しい。

以上の問題を解決する方法として、Moravecらの方法を応用したHarrisオペレータ

が提案された。次項で、Harrisオペレータによる物体の角の検出手法について述べる。

付録B-2

B.2.2 Harrisオペレータによる物体の角の検出

Harrisオペレータは、Moravecらの方法で生じる問題点を解決するために、以下の

方法を用いる。

• 画像値を微分した値を用いることで累乗の計算を無くし、処理時間の短縮を図る。

• 窓関数を円形のガウス関数にすることで、雑音の影響を軽減する。

• (x, y)の値をさまざまに変化させた Ex,yを閾値を用いて 2値化することで閾値設

定を容易にする。

以上の方法を用いたHarrisオペレータの手順は、以下のようになる。画像中の、画

素 (u, v)における画素値を Iu,vとする。まず、画像全体に対して、x軸、y軸方向に微

分を行い、∂Iu,v

∂xと ∂Iu,v

∂yを求める。それぞれの求め方は次の式のようになる。

∂Iu,v

∂x= Iu+1,v − Iu−1,v (B.3)

∂Iu,v

∂y= Iu,v+1 − Iu,v−1 (B.4)

このようにして求めた微分値を用いて、3つの実数A、B、Cを次の式で求める。

A = wu,v ×(

∂Iu,v

∂x

)2

(B.5)

B = wu,v ×(

∂Iu,v

∂y

)2

(B.6)

C = wu,v ×(

∂Iu,v

∂x

)·(

∂Iu,v

∂y

)(B.7)

この 3つの定数をもとに、評価値Rを次の式で求める。

R =(AB − C2

) − κ (A + B)2 (B.8)

となる。この評価値Rを、閾値を用いて分類すると、物体の角を検出できる。

付録B-3

付録 C 方向ヒストグラムの自己回帰モデルに基

づく回転不変画像照合

C.1 概要

北海道大学の五十嵐らによって考案された、方向ヒストグラムの自己回帰モデルに

基づく回転不変画像照合は、回転不変でスケーリングに対してある程度の許容性をも

ち、しかも照明変動や陰影などによる局所的な明度変化に頑強でかつ、照合位置及び

姿勢（回転角度）に関する精度を有する画像照合法として、方向ヒストグラム交差法

(Orientation Histogram Intersection: OHI)を自己回帰モデルを用いて表現する方式で

ある。

C.2 方向ヒストグラム

対象とする全ての画素において、明度勾配が最大となる方向を水平からの角度 θ(x, y)

で表す。方向ヒストグラム (Orientation Histogram: OH) は、算出された全ての角度値

の出現頻度を、設定した各階級ごとの累積表としてまとめたものである。図C.1はその

生成法の概要を示す。対象画素としては、適当に定義される明度コントラストの値に

よって選択する場合もあり得るので、必ずしも対象画像内の全ての画素における角度

値を累積する訳ではない。対象画素における角度値は明度 f(x, y)を用いて次式によっ

て与えられる。

θ(s, y) = arctan

(∂f(x, y)

∂y/∂f(x, y)

∂x

)(C.1)

∇f(x, y) =

(∂f(x, y)

∂x,∂f(x, y)

∂y

)T

(C.2)

ここで、∇(x, y) は画素 (x, y) における勾配を示す。N 個の階級をもつ OH, h =

{h(n)|n = 0, 1, · · · , N − 1}における各度数 h(n)を次式で定義する。

付録C-1

図 C.1: 方向ヒストグラムの生成法の概要

h(n) =∑

(x,y)∈H

δ

([θ(x, y)

�θ

]− n

)(C.3)

ここで、Hは対象画像内の選択された画素集合、�θ = 2π/Nは階級幅、δ(x)はクロ

ネッカーのデルタとする。OHは次の特性をもつ。

• 画像の変形や歪みに耐性をもつ

• 画像のスケーリング（大きさの変化）に耐性をもつ

• 画像の回転に対しては階級ごとの度数が巡回的に変更される

これらの特性を考慮しながら、OHに基づく画像照合法の設計を進めることになる

が、本来OHはそのままでは画像の回転に不変ではなく、後の節のOH の照合手順に

おいて触れるように、巡回的にOH を変更して計算する必要があり、計算コストの増

大の原因となっている。ヒストグラムの階級数を減らせば、計算コストを低くはでき

るが、照合精度の低下を招くこととなる。そのため、照合精度を低下させずに計算コ

ストを下げる手法が望まれている。

C.3 自己回帰モデル

2 次元閉輪郭を記述する数理モデルとして，自己回帰モデルが提案されている．本

論文ではこれに基づいて，図 C.2に示すように，輪郭上で等角度置きに与えられた点

付録C-2

列をモデル化するための手法として説明する．自己回帰モデルの次数をmとし，任意

点の座標値をそのm個前 (右回り)までの点の座標値の線形和で近似する．xy座標上

の点列を {(xi, yi)|i = 0, 1, · · · , N − 1}とし，各点から原点までの距離を ri =√

x2i + y2

i

とする．m次の自己回帰モデルは次式によって定義される。

図 C.2: 等角度置き点列の 2次元閉輪郭化

ri =m∑

j=1

ajri−j (C.4)

{ak}は自己回帰係数と呼ばれ、次式の平均 2乗誤差を最小とするように推定される。

ε2(m) =1

N

N−1∑j=0

(rj − rj)2

= aT Ua − 2uT a + u0

(C.5)

ここで、a = (a1, a2, a3, · · · , am)T ,u = (u1, u2, u3, · · · , um)T であり、U 及び uk(k =

0, 1, · · · ,m)は次式で与えられる。

付録C-3

U =

u0 u1 u2 · · · um−1

u1 u0 u1 · · · um−2

u2 u1 u0 · · · um−3

......

.... . .

...

um−1 um−2 um−3 · · · u0

(C.6)

uk =1

N

N−1∑j=0

rjrj−k (C.7)

このとき自己回帰係数及び誤差は次のように与えられる。

a = U`1u (C.8)

ε2(m) = u0 − uT a (C.9)

得られた自己回帰モデル（係数）は次の特性をもつ．

• 図形の回転に対して不変である

• 図形のスケーリングに対して不変である

• 点群の始点の取り方に対して不変である

ただし，変換前後においても図 C.2に示した輪郭上の同一の標本点を識別する必要

がある．このことは輪郭形状を粗く標本化する場合には注意が必要である．この問題

に対処するために，輪郭を等分し，各区間の点をその区間に存在する全輪郭点の平均

で代表させる方式なども提案されている。

C.4 自己回帰モデルを導入した照合法

C.4.1 方向ヒストグラムの自己回帰モデル表現

本論文では，画像から得られたOHを自己回帰モデルによって表現し，その係数値

(ベクトル)を照合特徴として照合判定を行う手法を提案する．OHの各度数 h(n)を原

点からの距離とみなし，x軸とのなす角が 2πn/N である位置へ変換する．すなわち，

次式の自己回帰モデルを与えることとなる．

付録C-4

h(i) =m∑

j=1

ajh(i − j) (C.10)

これはC.4式において ri = h(i)を代入したものである．この設定に従って，自己回

帰モデルの回帰係数を前節と同様に求める．上式の設定に応じて，ukは次式のように

定義される．

uk =1

N

N−1∑j=0

h(j)h(j − k) (C.11)

C.4.2 自己回帰係数間の比較

自己回帰係数を要素とする特徴ベクトル間の相違度を定義する．この相違度に基づ

いて画像どうしの照合判定を行う．相違度は特徴ベクトル間のユークリッド距離を基

本とし，OHの平均度数の差の大きさ (絶対値)を付加することによって構成する．比

較対象である 2つの画像を T1, T2、これらの画像からそれぞれ求められるOHを h1 =

{h1(n)}, h2 = {h2(n)}, (n = 0, 1, · · · , N − 1)、自己回帰係数を a1, a2とすると，相違度

Dを次式によって定義する。

D =

√√√√ m∑j=1

(a1j − a2j)2 + α|h1 − h2| (C.12)

h1 =1

N

N−1∑n=0

h1(n), h2 =1

N

N−1∑n=0

h2(n)

ここで、αは調整定数である。

付録C-5