11
2014/04/17 先端IT活用推進コンソーシアム 菅井康之 HackForJapan 気象データ勉強会~ 過去の気象庁XML試験的に参照するAPIご紹介

Hack For Japan 気象データ勉強会

Embed Size (px)

DESCRIPTION

Hack For Japan 気象データ勉強会でお話するネタです

Citation preview

Page 1: Hack For Japan 気象データ勉強会

2014/04/17

先端IT活用推進コンソーシアム

菅井康之

~HackForJapan 気象データ勉強会~

過去の気象庁XMLを 試験的に参照するAPIの

ご紹介

Page 2: Hack For Japan 気象データ勉強会

Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2

Windows

コンソーシアム

日本経営協会

XMLフェスタ

Java

コンソーシアム

XML部会

2000/07 設立宣言 2001/06~2010/03実活動 2010/03~2010/09 2010/09/08設立

先端IT活用推進コンソーシアム

Advanced IT Consortium

to Evaluate, Apply and Drive

Page 3: Hack For Japan 気象データ勉強会

Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3

AITCと気象庁XMLの関係①

http://xmlconsortium.org/seminar09/090512-13+19-20/data/090512/Web-Service/WS_2_1.pdf#page=3

Page 4: Hack For Japan 気象データ勉強会

Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4

AITCと気象庁XMLの関係②

• 気象庁XML利活用セミナーの共催

– 第1回気象情報を知る・取る・使うための実践 (2013年3月12日開催) • 公開資料:http://xml.kishou.go.jp/seminar/seminarInfo.html

– 気象情報を知る・取る・使うための実践(大阪開催) (2013年7月11日開催)

– 第2回気象情報を知る・取る・使うための実践 (2014年3月20日開催) • 公開資料:http://xml.kishou.go.jp/seminar.html

• イベント協力

– YahooOpenHackDayJapan2 (2014年2月15日~16日開催)

• イベント用サイトの構築、APIの提供

Page 5: Hack For Japan 気象データ勉強会

Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 5

本日の主題

• 気象庁XMLはFeedの配信後、一定時間経過するとXML本体がサーバから削除される

• これから気象庁XMLを扱おうとした際に、過去のXMLをサンプルとして参照したい

– 季節の特色的な気象情報

– 記録的な○○のあった、○月○日の気象情報

過去の気象庁XMLを参照出来るAPIを公開

Page 6: Hack For Japan 気象データ勉強会

Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 6

気象庁XML API

• 2013年1月1日以降のデータが参照可能

– 2013年は一年を通じたデータ

• URL: http://api.aitc.jp/

Page 7: Hack For Japan 気象データ勉強会

Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 7

気象庁XML API

• APIは3種類 (作成当初は内部での技術検証として利用)

– REST API

• APIの中で一般的に使われているもの

• 様々な条件を指定して気象庁XMLを取得可能

– SPARQL

• 配信されるFeedをRDF化+気象台の緯度経度情報

• SPARQLのクエリによりフィルタリングや集計なども可能

– WebSocket

• WebSocket+Kafka

• リアルタイムに気象庁XMLを取得可能

Page 8: Hack For Japan 気象データ勉強会

Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 8

蓄積状況 (2013年1月1日~2014年4月16日) ================================================= | "府県天気概況" | 102831 | | "府県天気予報" | 92288 | | "気象警報・注意報" | 59095 | | "府県週間天気予報" | 52590 | | "気象特別警報・警報・注意報" | 29105 | | "地方海上警報" | 15383 | | "地方海上予報" | 11345 | | "地方週間天気予報" | 10453 | | "府県気象情報" | 8850 | | "紫外線観測データ" | 7990 | | "震源・震度に関する情報" | 2910 | | "特殊気象報" | 2530 | | "噴火に関する火山観測報" | 2317 | | "地方気象情報" | 2268 | | "生物季節観測" | 2059 | | "全般海上警報(定時)" | 1895 | | "台風解析・予報情報(3日予報)" | 1862 | | "竜巻注意情報" | 1591 | | "府県高温注意情報" | 1412 | | "土砂災害警戒情報" | 1006 | | "指定河川洪水予報" | 846 | | "地方1か月予報" | 759 | | "全般台風情報(定型)" | 600 | | "全般週間天気予報" | 555 | | "府県海氷予報" | 510 | | "異常天候早期警戒情報" | 444 | | "震度速報" | 404 | | "台風解析・予報情報(5日予報)" | 337 | | "全般海上警報(臨時)" | 302 |

| "震源に関する情報" | 286 | | "地方高温注意情報" | 259 | | "火山の状況に関する解説情報" | 253 | | "府県潮位情報" | 236 | | "全般気象情報" | 235 | | "季節観測" | 211 | | "スモッグ気象情報" | 195 | | "府県天候情報" | 186 | | "地方3か月予報" | 154 | | "全般台風情報" | 122 | | "全般台風情報(詳細)" | 98 | | "記録的短時間大雨情報" | 77 | | "地方潮位情報" | 72 | | "地方天候情報" | 71 | | "全般1か月予報" | 69 | | "地方暖・寒候期予報" | 33 | | "全般潮位情報" | 32 | | "津波情報" | 28 | | "津波情報a" | 19 | | "地震の活動状況等に関する情報" | 16 | | "東海地震観測情報" | 15 | | "全般天候情報" | 14 | | "全般3か月予報" | 14 | | "津波警報・注意報・予報" | 11 | | "噴火警報・予報" | 9 | | "津波警報・注意報・予報a" | 9 | | "気象特別警報報知" | 7 | | "顕著な地震の震源要素更新のお知らせ" | 6 | | "全般スモッグ気象情報" | 5 | | "JMAXML publishing feed"@ja | 4 | | "全般暖・寒候期予報" | 3 | | "火山現象に関する海上警報・海上予報" | 3 |

---------------------------------------- SPARQLの画面から参照可能

Page 9: Hack For Japan 気象データ勉強会

Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 9

配信されるデータ量

• 2013年1月1日~2013年12月31日 (1年間)

– feed

• 572,595回(平均1,568回/日)、重複含む

• 2,444MByte/年(平均6.69MByte/日)

– 気象庁防災情報XML

• 323,212件(平均885件/日)

• 6,399MByte/年(平均17.53MByte/日)

Page 10: Hack For Japan 気象データ勉強会

Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 10

注意事項

• サイトは、AITCの会費で運用しています

– そのため、商用利用は遠慮してもらっています

– 2台のサーバで頑張ってます

• RESTとSPARQLのデータは、受信モレがあります

• 時々、高負荷になり、応答に時間がかかります

• 時々、止まるかも知れません

• 何かあれば、 [email protected] まで

Page 11: Hack For Japan 気象データ勉強会

Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 11

終わり