ビッグデータのクラウドデザイン

Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.

ビッグデータのクラウドデザイン

株式会社オルターブース


自己紹介

株式会社オルターブース代表取締役　（金髪おにいさん）小島　淳（Atsushi Kojima）

とりあえずなんでもやるフルスタックエンジニアと思っている方が多いですが本人的には

OSS なミドルウェア職人と思っていてアプリケーション開発をバリバリしている人から見ると物足りないしネットワーク超絶詳しい

人から見ても物足りないという中途半端な存在を打破しようと日々精進しています。

Microsoft MVP （ Microsoft Azure ）だったりします。


「ビッグデータは、高ボリューム、高速度、高バラエティの情報資産のいずれか（あるいは全て）であり、新しい形の処理を必要とし、意思決定の高度化、見識の発見、プロセスの最適化に寄与する」

ビッグデータ


IoT との関係



ストリーミングデータ処理のパターン 1

センサーデバイス Azure API Apps

SQL Database

DocumentDB

Storage Blob

HTTP/HTTPS



センサーデバイス

SQL Database

DocumentDB

Storage Blob

WebSocket

Azure Web Apps



センサーデバイス EventHubs

Stream Analytics

HDInsight

SQL Database

DocumentDB

Storage Blob


Azure Data LakeHDInsight ベースData Lake Store(HDFS) でデータを蓄積U-SQL 、 Hive 、 Storm を利用して、 Data Lake Analytics にデータ分析を行わせる（ YARN 経由）

あらゆるサイズのデータを格納、分析

巨大データの格納


Apache YARN とは「 Yet Another Resource Negotiator 」を略したもので、任意の分散処理フレームワークやアプリケーションの作成を容易にするフレームワークです。

YARN の実行モデルは、従来の MapReduce とは違います。なので、 MapReduce のモデルに従っていないアプリケーションでも実行することが可能です。

Azure Data Lake


Azure Data Lake


•ペタバイトスケールの大量並列処理•コンピューティングおよびストレージの個別スケーリングが数秒で完了•リレーショナルデータと非リレーショナルデータにまたがる Transact-SQL クエリ

（ PolyBase にて実現）•完全なエンタープライズ級の SQL Server 体験• Power BI 、 Machine Learning 、 HDInsight 、および Data Factory とシームレスに利用可能

SQL Data Warehouse


AI との関係


Azure が提供するクラウドベース機械学習プラットフォーム。AzureML 上で、 Python や R を使った予測モデルを作ることが出来、それを Web アプリケーション（ API ）としてクラウド上で公開できる。

Azure Machine Learning



Project Oxford で公開された簡易型機械学習API 。

Cognitive Services


HDInsight

Deploy to Windows and Linux


Apache Spark


Apache Spark を使ったニューラルネットワーク


完全独自ニューラルネットワークを組む


おしまい

Internet

ビッグデータのクラウドデザイン