View
1
Download
0
Category
Preview:
Citation preview
Driving Transformation
Microsoft
Azure
4
米国中部Iowa
米国西部California
北ヨーロッパIreland
米国東部Virginia
米国東部2Virginia米国政府
Virginia
米国中北部Illinois
米国政府Iowa
米国中南部Texas
南ブラジルSao Paulo
西ヨーロッパNetherlands
北中国 *Beijing
南中国 *Shanghai
東日本Saitama
西日本Osaka
南インドChennai
東アジアHong Kong
東南アジアSingapore
東南オーストラリアVictoria
東オーストラリアNew South Wales
中央インドPune
カナダ東部Quebec City
カナダ中部Toronto
西インドMumbai
(2015年 10月現在)
稼働中 構築中 * Operated by 21Vianet
100カ所以上のデータセンター ネットワーク網が全世界でトップスリーの一つ AWS の2倍、Google 6倍の地域サポート G Series – 最大 VM 提供開始 – 32 コア, 448GB RAM, SSD…
22 の地域でサービス中、24の地域まで拡大予定
世界最大のインフラストラクチャー
5
Microsoft Azure アップデート
•仮想マシン• SSD を利用した DS シリーズ
• 32 CPU / 448 GB の G シリーズ
•ネットワーク• Express Route(専用線接続)
•新サービス
• Azure Site Recovery
• Machine Learning(機械学習)
• Stream Analytics (リアルタイム分析)
• DocumentDB(非構造化DB)
• Azure Search(検索)
• Data Factory(ETL)
• Data Lake(Hadoop)
•ストレージ• プレミアムストレージ (SSD-based)
西日本に続き、東日本でも GA
• Azure Files の機能拡張• SMB 3.0対応
• SQL データベース• アクティブジオレプリケーション
• SQL Server DWH on Azure (A9) 開始
• Elastic Scale
•その他
• Azure Remote Apps
• StorSimple 8000 シリーズ
6
• 米国マイクロソフト本社に本部を構え、世界 5 都市にサテライトセンターを有する• マルウェア、ボットネット、知的財産 (IP) の窃取、児童ポルノなどに関連するサイバー犯罪の全般に対応する専門チーム
• 最新データをモニタリングし、マルウェアの情報/状況を解析• 一日に5億件以上のトランザクションをトラックし分析
• IPアドレスレベルで攻撃元を特定する仕組みも有する
• 全世界のサイバーセキュリティの攻撃状況を分析、情報をセキュリティ関連団体および連邦政府と連携し撲滅
• 最新の状況を分析し、すぐに製品に反映し安全を確保• クラウドサービスは即時対応。オンプレミス製品は月に一回のセキュリティアップデートで対応 ※緊急は即時
サイバー クライム センター
世界トップクラスのセキュリティ
7
世界規模のクラウド基盤サーバー/ ネットワーク/ データセンター
高度な自動化
統合リソース管理
柔軟性
従量課金
ネットワーク
仮想ネットワーク
トラフィックマネージャー
コンピューティング
仮想マシン
クラウドサービス
Webサイト
モバイルサービス
開発言語
キャッシュ メディア CDN Visual StudioHPC BizTalkID サービスバス
アプリケー
ション
バックアップ
データサービス
SQL
Database
/ DW Service
Hadoopテーブル BLOB
キューStorSimple
Document
DBExpress
Route
多要素認証
管理API 通知ハブ スケジューラ オートメーション
Data
Factory
Stream
AnalyticsMachine
Learning
Azure Cloud Platform 全体観
Event
HubsSearch
Microsoft Azure IoT 関連サービス8
デバイス コネクティビティ ストレージ 分析 可視化・アクション
Event Hubs SQL DatabaseMachine
LearningApp Service
Service BusTable / Blob
Storage
Stream
Analytics
Notification
Hubs
Windows
10 IoT
IoT Hub
(IoT Suite)DocumentDB HDInsight
Mobile
Services
Data Lake Data FactoryBizTalk
Services
Power BI
{ }
Event Hubs
• Azure 上でスケーラブルなイベントの受信・送信を行うサービス• AMQP / HTTP(S) のサポート(MQTT サポート予定)
• イベントデータの保有期間:1日~7日間
•性能• 毎秒数百万イベントの受信能力
• 超低レイテンシー(10ms 以下, 毎秒 GB)
•共有アクセス署名 (SAS) による認証• デバイス単位にユニークなトークン
パブリッシャー(送信)
• センサー• IoT ゲートウェイ
• Web API
コンシューマ(受信)
• Stream Analytics
• Power BI• カスタムアプリ
HTTPS
AMQP AMQP
Stream Analytics ジョブ
Stream Analytics
• Azure 上でのストリームデータのリアルタイム処理を行うサービス• デバイス、マシーン、アプリケーションと接続した Event Hubs から数百万のリアルタイムイベントを取得して解析
• リアルタイム分析ソリューションを低コストで実装し、保守できるように最適化
• 一連のタスク(入力 → クエリ → 出力)をジョブといい、開始・停止が可能
入力 x N
•イベントハブ• BLOB ストレージ
クエリ
• SELECT
• WHERE
• JOIN / UNION
• GROUP BY
• Windowing,…
出力 x N
• SQL データベース• BLOB ストレージ• TABLE ストレージ•イベントハブ
• Power BI
Power BI Dashboard
• Azure から提供される新たな Business Intelligence SaaS 型サービス
Microsoft IoT ソリューション12
App
Service
Cloud
Gateway
BLOB
CSV ファイル
HDInsight
ビッグデータ基盤Machine
Learning
Web サービスとして公開
Event
Hubs
センサーデータの一時保存
Stream
Analytics
生データ保存
」
SQL
Database
マスターデータ集計済みデータ
Machine
Learning
相関関係の分析予測モデル作成
Power BI Dashboard
Things
HTTPS
HTTPS
AMQP
デプロイ
IoT
Gateway
Field
Gateway
MQTT
Serial
Bluetooth LE
LAN/ Wi-Fi
Event
Hubs
アラート
Stream
Analytics
閾値監視
」
Stream
Analytics
集約データ保存
AMQP
ユニバーサルアプリケーションマスターデータ
リアルタイムデータ
アラート
デバイス制御
デバイス制御
ML API 呼び出し
HTTPS / AMQP
分析スペクトラム14
Descriptive 記述 Diagnostic 診断 Prescriptive 規範Predictive予測
何が起こっている? なぜそうなった? これからどうなる? どうすべきなのか?
Traditional BI : データの可視化 Deployed ML : 将来の予測
IT Professionals
セルフサービス BI
(Power BI, SSAS)
Information Worker
定型レポート(SSRS)
Data Scientists
マシーンラーニング(Azure ML, R)
Azure Machine Learning:概要
•クラウドで機械学習を提供するサービス• 最新の高品質な機械学習アルゴリズムが非常に安価な時間課金で提供• データの抽出からクリーニング、前処理、トレーニングなどすべてブラウザから操作
•予測を行うための Web Service API の作成と配置• トレーニングされたモデルを Module 化し、これを利用して入力値から予測結果を返す Web Service API を作成
• 作成した API はアプリから利用
• OSS(R 言語や Python)も活用可能• R 言語や Python を実行するための Module (R は 350 以上) が提供• 既存の R や Python のパッケージをインポートすることも可能
•費用はベース+利用量課金• ハードウェアやライセンスを購入不要• 固定費を削除して必要な時に必要なだけ利用
15
Azure Machine Learning でのフロー16
1. 目的の定義• 何の目的で何を分析・予測したいのか
2. トレーニングデータの準備• 結果を含むトレーニングデータを用意
• クレンジング、Feature 選択、スプリット
3. モデル開発と学習• 分析フォローの作成
4. モデルの評価• 最適なアルゴリズムの選択
• パラメータの調整(Sweeping)
5. モデルの配置・API の公開• Web サービスのテスト
• 公開・配置
Business
Insights
1
2
34
5
Machine Learning:ML Studio17
キャンパスにフロー部品を配置して接続
部品ごとの設定はプロパティペインで
フロー部品
実行ボタン(課金対象)
モデルを Web サービスへ配置
Machine Learning:モデリングモジュール
•クラス分類(クラス確率推定)• 母集団に属する要素が、ある基準で分けたどの集合に分類されるかを予測する
• どの設備が故障するか?
• 故障予兆が「ある」「ない」に分類
• 既存顧客の中でキャンペーンのオファーに反応するのは誰か?
• 「反応する」「反応しない」に分類
•回帰• 個々のデータに対して、未知の変数(属性)の数値を予測あるいは推定する
• オファーに反応する顧客 A はいくら購入してくれるか?
• クラスタリング• 特定の分類基準を与えず、データを基に類似性を見つけて母集団をグルーピング
• どのターゲット顧客グループにどのような製品を開発・提供するべきか?
• 販売チームをどのように組織するべきか?
• 異常値検出• 定常状態とは異なる状態を発見する
• ネットワーク攻撃を受けているのかどうか
• 詐欺による取引かどうか
18
Azure ML Studio における予測モデルの開発方法19
Train
Model
Score
Model
検証用データ
トレーニングデータ
Evaluate
Model
機械学習アルゴリズム
予測モデルの評価予測モデルの見直し• アルゴリズムの変更
• パラメータの見直し
基本的な予測モデルの作成例20
トレーニングデータの読込み
データクレンジング・メタデータ設定
読み込んだデータを「トレーニングデータ」と「評価用
データ」に分割
予測モデルの作成に使用するアルゴリズム
予測モデルの作成(トレーニング)
左インプット:利用するアルゴリズム右インプット:トレーニングデータ
作成した予測モデルを評価する為に、評価用データで予測を実行
予測結果の評価と可視化
予測モデルの評価指標21
ML Studio : Experiments > Evaluate Model > Evaluation Result
• True Positive
• False Positive
• True Negative
• False Negative
• Accuracy
• Precision
• Recall
• F1 Score
• Threshold
• AUC
AUC 0.9 - 1.0 High accuracy AUC 0.9 - 0.7 Moderate accuracy AUC 0.5 - 0.7 Low accuracy
予測モデルの評価(予測モデルの比較)22
異なる条件で作成した予測モデルを、簡単に比較・評価する事が可能
IoTによる次世代設備統合管理基盤
Confidence
Flexibility
Cost
Insight
高齢化する設備管理者
共有が難しい経験に依存したオペレーション
結果に対する制御の限界(センサーデータ=制御)
人流外部環境内部環境動力(空調など)時間 フィードバック
経験による制御からAI による制御へ
Project Oxford25
画像認識、音声認識、テキスト認識など、ディープラーニング手法による大きなコンピューティングパワーを必要とする処理を Azure の API Service として提供
https://www.projectoxford.ai/
女子高生人工知能「りんな」(LINE アプリ)
• Bing 検索エンジンで培ったディープラーニング技術+機械学習のクラウドサービス「Azure Machine Learning」を組み合わせた人工知能• Bing チームによる開発(技術開発には Microsoft Research も参画)
• 発表以前のテストリリース後、口コミだけで1週間で 35万ユーザーを獲得
26
Cortana Analytics Suite27
Capabilities Products
Preconfigured solutions • Business scenarios • Recommendations, forecasting, churn, etc.
Personal digital assistant • Personal digital assistant • Cortana
Perceptual intelligence • Recognition of human interactions and intent • Face, Vision, Speech and Text Analytics
Dashboards and visualizations • Dashboards and visualizations • Power BI
Machine learning & analytics
• Machine learning
• Hadoop
• Complex event processing
• Azure Machine Learning
• Azure HDInsight (Hadoop)
• Azure Stream Analytics
Big Data stores• Big Data repository
• Elastic data warehouse
• Azure Data Lake
• Azure SQL Data Warehouse
Information management
• Data orchestration
• Data catalog
• Event ingestion
• Azure Data Factory
• Azure Data Catalog
• Azure Event Hubs
Event Hubs:パーティション
• Event Hubs における負荷分散(データ編成の概念)• 各パーティションは構成された保有期間にわたりデータを保持
• イベントデータは明示的に削除することができない
• 各パーティションは独立しており、独自のデータシーケンスを含む
• 事前設定された数のパーティションを持つ( 8 ~ 32, ※申請により上限解除)
• すべてのイベントは、パーティションキーを持ち、パーティションキーはハッシュされて1つのパーティションに格納される
31
Partition 0
Partition 1
Partition N
Event
PartitionKey=ASensorID=24468
Temperature=18.5
Event
PartitionKey=BSensorID=13579
Temperature=23.4
f(A)
f(B)
Event Hubs:スループットユニット
•イベントハブスループットユニット
• Event Hubs の容量の概念
• Service Bus 名前空間に対して最大 20 (申請により無制限)
• 1 スループットユニットあたり(※課金に影響)
• ストレージ:84GB• 許容値を超えた分のサイズには通常の Azure Blob ストレージ料金(LRS)が課金
• 受信:最大で 1 秒あたり 1 MB または 1 秒あたり 1000 イベント
• スロットリングあり
• 送信:1 秒あたり 2 MB
32
34
Stream Analytics:ストリーミングユニット
• Stream Analytics のジョブの処理に使用できるリソース• 1ストリーミングユニットは最大 1 MB/秒のスループットを提供
• クエリのステップ数と各ステップのパーティション数によって異なる
• 管理ポータルを使用してジョブのスループット
(イベント数/秒) を追跡
Query Result 1
Query Result 2
Query Result 3
Event Hub
Stream Analytics:Query Language
•クエリのテスト• JSON 形式のローカルファイルを使ってクエリの検証が可能
35
データ操作(DML)• SELECT
• FROM
• WHERE
• GROUP BY
• HAVING
• CASE WHEN THEN ELSE
• INNER/LEFT OUTER JOIN
• UNION
• CROSS/OUTER APPLY
• CAST
• INTO
• ORDER BY ASC, DSC
Scaling Extensions• WITH
• PARTITION BY
• OVER
日付関数• DateName
• DatePart
• Day
• Month
• Year
• DateTimeFromParts
• DateDiff
• DateAdd
ウィンドウ処理• TumblingWindow
• HoppingWindow
• SlidingWindow
集計関数• Sum
• Count
• Avg
• Min
• Max
• StDev
• StDevP
• Var
• VarP文字列関数• Len
• Concat
• CharIndex
• Substring
• PatIndex
Temporal 関数• Lag, IsFirst
• CollectTop
重要な3つの Windowing36
• Tumbling Window
• Hopping Window
• Sliding Window
37
Stream Analytics:Future
• "Azure Stream Analytics can bind custom function names to such web
endpoints." LIMITED PREVIEW• Stream Analytics で web API のエンドポイントや API Key を定義することでクエリの中でその API
が呼び出せる
• Azure Machine Leering との連携などが可能に
SELECT text, sentiment(text) AS scoreFROM myStream
39
クラスター化列ストアインデックス
•インデックスチューニング不要な列指向型テーブル
• 列単位でのデータ格納と高い圧縮率により IO 量の削減
• これまでの行型のテーブルと比べて 10~100 倍高速な集計処理
• 既存テーブルのインデックスを付け替えるだけで OK
• SQL Server 2014 からデータの更新が可能
列ストア
AAA BBB CCC DDD
22 33 44 55
F M M F
行ストア
AAA 22 F
BBB 33 M
CCC 44 M
DDD 55 F
40
インメモリ OLTP(インメモリ最適化)
•テーブルとストアドプロシージャをメモリに配置させることで高速化
•新規および既存の SQL Server システムにおいて平均 10 倍高速化
•複数ユーザーでの追加・更新・削除操作など同時実行性が極めて高い
•アプリケーションには透過的• インメモリ OLTP 固有のエラーがあるのでエラー処理部分は見直しが必要
•メモリ最適化アドバイザー• 既存のテーブルをメモリ最適化テーブルへ移行させるためのウィザード
41
AlwaysOn 可用性グループ with Azure
• 数秒程度の高速フェールオーバー とページ自動修復機能を提供• 高価な共有ディスクは使わず、安価になった PCIe Flash Disk で構成可能
• 最大9台で構成可能、その内、同期レプリカは最大3台で構成
• データベースのレプリカを Azure VM に容易に展開可能(クラウド DR)
クラウドWindows Azure
VM
プライマリレプリカ
同期セカンダリレプリカ
同期セカンダリレプリカ
非同期セカンダリレプリカ
Read-WriteRead-OnlyRead-Only
Read-Only Routing
圧縮トランザクションログ
Backup
自動フェールオーバー
Power BI Dashboard
•クラウドベースのダッシュボード&レポート分析• プッシュ型のリアルタイム表示が可能
• Stream Analytics からの出力先に対応
43
Power BI Designer
無償のレポート作成ツール
使い方は Excel Power
View と同じで作成したレポートをダッシュボードにピン止めする
構成
• ダッシュボード
• レポート
• データセット
Power BI Dashboardビジュアルコンポーネント44
45
DATAZEN 買収
•今後、レポート系の UI のバリエーションが拡充される
Window 10 IoT for Industry Specific Devices46
Windows 10 IoT for industry devicesDesktop Shell, Win32 apps, Universal Apps and Drivers
1 GB RAM, 16 GB Storage, X86
Windows 10 IoT for mobile devicesModern Shell, Universal Apps and Drivers
512 MB RAM, 4 GB storage, ARM
Windows 10 IoT CoreNo Shell, Universal Apps and Drivers
256MB RAM, 2GB storage, X86 or ARM
Windows 10 IoT Core
•小型デバイスや組み込みデバイスをターゲットにした Windows の新しいエディション• 無償ダウンロード
• Raspberry Pi 2 と MinnowBoard Max 向け
• ユーザーが開発したユニバーサル Windows アプリをこれらデバイスで動作させる事を目的としている
• 開発環境は Windows 10 正式版と Visual Studio 2015 が必要
47
Recommended