C-IMAGE: city cognitive mapping through geo-tagged photos

GeoJournal, Springer, 2016. [PDF] [Project Page] Liu Liu, Bolei Zhou, Jinhua Zhao & Brent D. Ryan GeoJournal Spatially Integrated Social Sciences and Humanities DOI 10.1007/s10708-016-9739-6 ECCV2014 ver. [PDF]

Abstract Kevin Lynchが提案する都市認識に対する人々が認識する要素として以下の5つの要素があ

る。 1. ノード 2. 道 3. ノードを繋ぐ辺 4. 区域 5. 建造物

群衆によるデータが急増した現在、この論文ではGeotag写真を使って人々の都市に対する

認識を検出・測定・解析を行う。 C-IMAGEというプロジェクトを我々は導入する。C-IMAGEは都市と人々の認識を大規模な

写真データを用いて26都市を認識する。

Contribution

1. C-IMAGEは部分的にKevin Lynchを提案する都市画像を満たす 2. C-IMAGEを基として26都市に対して、7つの都市認識を行い、主に4つのプロトタイ

プが存在する事を確認 3. C-IMAGEにより、従来の都市指標と比較して主観的な認識と客観的な環境の差を明

らかにする

Introduction 都市はどのように見えるのか？ 何世紀にもわたって、科学者、建築家、計画家、社会学者

がこの質問の答えを考えている。

都市デザイナーのKevin Lynchは、都市画像のマッピングを通じて答えを出した(Lynch 1960)。 社会調査とインタビューを通じて、彼は一般人から多くの都市に関する意見を収集

し、それらのすべてを編集して街の画像をマッピングした。 何十年も経過したが、彼の答えは現在でも洞察に満ちており、現代にも適応している。 この研究(C-IMAGE)は、Webにアップロードされた群集からの写真の普及に影響を受けて、

Lynchの都市認識に沿った、都市の認識に関する問題への新しい方法を提案する。 現代はSNSの普及によってユビキタスな環境が実現されているので、都市に住む人間がど

のような情報を受け取り、都市への認識に対しての問題が明らかにできるのでは無いのだろ

うか? C-IMAGEの’C’はCity(都市), Cognition(認識), Computing techniques(計算技術)の頭文字か

ら。

取り組む問題

1. 現代技術を用いてどうやって人々の都市に関する認識を抽出する方法ととデータを

どう収集するか? 2. 都市の変化、計画戦略、土地利用を検出するために、1.によって抽出された知識を

どのように適用するのか? 3. この手法が確立した後に、これから都市画像の発見や都市計画にどのような影響が

考えられるか?

Literature review この研究は主に2つのアプローチから成り立っている。

1. cognitive mapping approach (心理学的アプローチ) a. 全体的に1960~1980と、古典的な主張を引用(別分野(CV分野と全く関連がな

い)で数十年前から主張されている)

Fig.1 左上: Lynchが描いたボストンのスケッチ、右上 : インタビューから作成したボストン

のスケッチ、左下 : 印象的な建造物、道路はインタビューでも全員が太く描く傾向がある 右下 : 都市を構成する5つの要素のイメージ

2. computation approach (計算器を使ったアプローチ) a. MSRの研究[Link] :

タクシーの移動をGPSを用いて計測、その結果を用いてタクシーの乗り入れ

をどう考えるかを解析 b. MIT Media LABの研究 [Project Page] :

都市画像を以下の指標で定量的に評価する wealthy, modern, safe, lively, active, unique, central, adaptable or family friendly. 3つの論文が出ている [Link]

i. Deep Learning the City : Quantifying Urban Perception At A Global Scale(ECCV2016)

c. CMUによる研究 [Project Page] [Youtube]SIGGRAPH2012 What Makes Paris Look like Paris?(パリはパリらしく見えているのか?) 例えば、パリは窓やバルコニー、通りの標識など特徴的である。それら都市

特有の特徴量に基づいてクラスタリングする手法を提案。

Fig.2 MIT Media Lab Google Street Viewを使って、NYの都市の各箇所の評価をオンラインで投票するシステムを

構築 city cognitive mappingの作成のために2つの画像収集源がある。

1. Google Street View a. 良質な画像が手に入るが、撮影車が侵入可能な場所のみ

2. from social media platforms such as Flickr and Panoramio a. 多くのGeotag Photoが手に入る a.

GeoTagPhotoのデータ形式(JSON) 26都市 230万枚、1都市あたり9万枚を収集した。

Fig3.500m✕500mのグリッドに区切ってGeotagを定義する。(e.g. サンフランシスコ)

収集した都市に関する写真の一覧

Applications 1. Kevin Lynch’s mental maps(ケビンリンチの認識地図) 2. disclosing city image through computationally recognizing images’ content.(画像を計

算機を用いて認識、都市画像を明らかにする)

Kevin Lynch’s maps reproductivity ケビンリンチの認識地図を現代のGeotagPhotoを使って、再現する事は可能だろうか? 最初にPanoramioから16,041枚の写真を獲得したが、更に写真枚数を増やすためにFlickrから写真を会得した。

Fig. 4 Panoramio : 16041個の赤色の点 Flickr : 113693個の青色の点を地図上にプロットし

ている。

Fig.5 リンチが描いた都市地図を再び再描画したもの。

PATH(道) : C-IMAGEのワシントン通りのドットの密度とリンチが描いた地図は相似してい

ることが分かる。

EDGE(境界) : 左:リンチの認識地図、中央: C-IMAGE、左:C-IMAGEの点群が壁の様になって

いることがわかり、リンチの認識地図と相似していることがわかる

Node(点) : 歴史的建造物や道を繋ぐ(black dots(黒点)の明示的な説明がない)

landmark(歴史的建造物) :

Distinct(地域): 左上:リンチが描いた地図、左下:C-IMAGEによる対応する地域 GeoTag Photoが11万枚を超えており、点群形式の地図の可視化では限界がある。

C-IMAGEで定義する、地図の3つの要素 1. 線 2. クラスター 3. 密な地域

Fig11. 左から線、クラスター、密なエリア、疎なエリア

上記で確認したように、C-IMAGEはリンチの認識地図の特徴が反映されていることが分か

る。 しかし、C-IMAGEとリンチの認識地図は同等ではない。

Fig.12 ボストンにおける、問題点を列挙した地図。左がリンチが描いたもの(1960)であり、

右はSNSから取得したC-IMAGEによる可視化。 Table5.はリンチとC-IMAGEのボストンの問題点に関する比較を行っている。

C-IMAGE based on image content 更に情報を探索するためにGeotagged Photoをベースにした手法を提案する。 画像の情報に対して“Scene Understanding”✝を通して写真の情報を解析する。 “Scene Understanding”は画像に関して102の場面の中から関連する1つの状態を推定する手

法である。学習にはSUN attribute databaseを用いた。 ✝Zhou, B., Liu, L., Oliva, A., & Torralba, A. (2014b). Recog- nizing city identity via attribute analysis of geo-tagged images. In European conference on computer vision (pp. 519–534). Springer International Publishing.

Scene Understandingにおいて様々な特徴量を用いた場合と提案手法の適合率を比較したも

の。提案手法は各特徴料を組み合わせてカーネル法を用いて分類を行いstate-of-the-artとなった。 収集した画像に対してScene Understandingを行い102次元のベクトルに各状態の確率が認

識されている。

102 attributes to 7 urban perceptions CV分野から技術を導入による問題点 102の場面を認識をする際に、直面する問題として

1. e.g.「樹木」、「植物」というような類似した場面があるのでマージ 2. カーペットなどの場面は都市認識に関係ない 3. 人工物などの場面認識は都市認識において80%を超える写真をカバーしてしまう

3つの問題点を考慮して、102の場面を7つにして都市認識を行う。

緑地認識(Green Perception)

水場認識(Water Perception)

輸送認識(Transportation Percepton)

ビル認識(High-rises perception)

伝統的な建物認識(Architecture perception)

社交性認識(Socializing perception)

運動場認識(Athletic perception) 社交性認識の部分的な認識にあたる。

Typology from the seven-perception C-IMAGE Rの”ggmap”というパッケージを用いてLondonの7つの都市認識を可視化した。

都市認識を行い、可視化を行った結果21都市は4つのタイプに別れることが分かった。

緑地認識占有都市(Singapore, Prague)

多くの緑の点群が専有しているが、撮影者が写真を撮影しているということは、治安的に安

全であることの証明である。すなわち、完全なジャングルなどではなく、市街地に緑地が多

いということが分かる。 シンガポールは赤道に接した地域になっており、国策として緑化運動が進められたので全体

的に庭園のような環境になっている。

緑地とビルが分断された都市(Toronto, San Francisco) 2つ目の例として、緑地とビル群が分断された都市がある。 このタイプの都市は北米に多く存在する。 ビル群と緑地帯の間には真空部分のように空白が存在している。 このタイプの都市はビル群が職場となっており、緑地帯は疲れを癒やすための公園として利

用されることがおおい。

緑地帯とビルが混在した都市(Paris, Berlin) 歴史的工芸品ののある都市は、それらを中心にしてビル群と緑地帯がバランスよく配置され

る傾向が見られる。また、都市認識によるビルは高さが全く違うが、全て高層ビルとして認

識されてしまうという問題がある。 また全体的にヨーロッパの各都市はこの傾向がある。なぜならば、欧州環境庁は「人々は歩

いて15分以内に緑地帯にアクセスできるようにしなければならない」と定められているか

らである。

ビル群占有都市(Manhattan, Hong Kong) もしニューヨークに中央公園が無ければ、ニューヨークは全ての光景がビル群である。

Tokyo vs Shanghai 東京と上海の比較

Conclusion

key Contribution 1. Geo-tagged写真を用いた新たな公共認知(Public Perception)を提案 2. C-IMAGEはリンチが提案した地図の5つの要素を満たすことを結果で示した 3. 都市の新たな指標を提案(定性的・定量的な評価を都市で行えるようになった。)