Upload
microsoft-tech-summit-2017
View
281
Download
0
Embed Size (px)
Citation preview
KPMGによるHoloLensの多角的活用例~内部統制への応用~
2017年11月8日KPMGコンサルティング株式会社中野唯一郎
企業におけるMR活用の考察
3© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.
デジタルテクノロジーの進化主要なテクノロジーのトレンド予測から、破壊的かつ急速なビジネス環境の変化が生じると想定され、Virtual Realityの次にAugmented Reality(拡張現実)が来ると予想されている
Source: Gartner(2016) “Hype Cycle for Emerging Technologies” 各社Webサイト
2016 2018 … 2021 … 2026 … 2031
Autonomous Vehicle
Augmented Reality
Blockchain
Virtual Reality
Smart Robots
Connected Home
Micro Data Center
4D Printing
Nanotube Electronics
Drones
Brain-Computer Interface
Natural Language Question Answering
Gesture Control Devices
Purpose Machine Intelligence
Machine Learning(AI)
Quantum Computing
Year to mainstream adoption
RPA
4© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.
現実拡張+情報収集で一歩先にHoloLensを利用した拡張現実技術は、ユーザに付加情報を与えると同時に、今まででは取得できないきめ細やかな情報収集が可能となる
付加情報の提供
対象
センサー
カメラ
マイク
GPS
拡張現実 情報収集 機械学習・分析
拡張現実で提供するデータを作成・提供する
HoloLensを利用して、ユーザに拡張現実を提供する
HoloLensを活用している現場のセンサー、カメラ、マイク等から、きめ細やかな情報を収集
機械学習やビッグデータ技術を用いて、価値の高いデータを抜き出す
5© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.
HoloLensで収集できるデータHoloLensにはセンサー、カメラ、マイクが搭載されており、主に動画・音声情報が取得できる
搭載センサー 収集可能データ
その他センサー
映像
音声
環境認識カメラ
depthセンサー
RGBカメラ
複合現実感キャプチャ
マイク
慣性計測ユニット(加速度、ジャイロ、方位)
空間上のオブジェクト位置
ジェスチャ
動画
音声
HoloLensの座標
6© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.
(補足)加速度、角速度の情報についてHoloLens上では慣性計測ユニットから加速度、角速度情報を直接取得することはできないしかし、カメラの位置情報(Transform.Position/Rotation)を取得することができるため、ここから算出することは可能
Position
Rotate
1X 4Y 3Z
0X 0Y 0Z
Position
Rotate
1.2X 2Y 1.5Z
45X 0Y 90Z
・一定間隔で取得されている・Position/Rotate/時間で差分を取れば計算可能
7© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.
攻めの活用事例 ~ 農作物異常診断例えば農作物の異常診断を提供する際に、今まで取得できなかった周辺の農作物情報を取得・解析することによって、新サービス作成のインプット情報となる
農作物の異常診断 周辺情報の取得・解析 新たな知見
異常があった場合に通知 既存情報と組み合わせることによりさらに深く解析
新しい解析情報から新サービス創出
気温
センサー
HoloLens
湿度天気…
発育状況品質(曲がり方等)
…
+
8© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.
守りの活用事例 ~ 内部統制Holographic Boardroomやバーチャルミーティングルーム機能を提供すると同時に、会話の内容にリスク事項が含まれていないか監査・通知を実施する
HolographicBoardroom
音声データの不正識別 通知
3D情報を元に会議進行
会話テキスト
録音した会議音声
リスク識別器
機械学習を用いてリスク識別 発生リスクを通知
!管理者!
リスク事項
AzureとHoloLensを用いた内部統制システムアーキテクチャ案
10© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.
アーキテクチャ案(利用者側)02 AzureとHoloLensを用いた内部統制システムアーキテクチャ案
UWP App
Edge Device(Auditor)Cloud (Azure)Edge Device
(Staff)
StorageAzureBlob
StorageMedia
CaptureUploadFromStream
HolographicDisplayClass
非同期
・MediaCaptureを使うとデバイスを占有するため、動画・音声・写真のいずれかしか取得できない・リアルタイム処理をする場合はIoT Hub/Stream Analytics、ないしEvent Hub/Spark Streaming(HDInsight)等を用いると考えられる・ただし後続に構えるCognitive Service API(LUIS等)はStream対応できないため一定間隔ごとにデータ分割、補正する必要がある
11© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.
アーキテクチャ案(不正検知側)02 AzureとHoloLensを用いた内部統制システムアーキテクチャ案
Edge Device(Auditor)Cloud (Azure)Edge Device
(Staff)
Storage
AzureBlob
Storage
・Azure VM上から直接SMTP送信することは推奨されていないため、外部サービスやOffice365へのリレーを検討(https://blogs.technet.microsoft.com/jpaztech/2016/06/09/smtp-on-azurevm/)
・LUISでは文章単位でのIntent識別をさせるため、読点で区切るなどの前処理が必要
Cognitive Service
Language Understanding
Intelligent ServiceBing Speech
API
App Service
対象ファイル取得 テキスト化
前処理(読点区切りなどデータ整形)
不正識別 通知
(cronによる定期実行)
メール
プッシュ通知
チャットツール
ここに記載されている情報はあくまで一般的なものであり、特定の個人や組織が置かれている状況に対応するものではありません。私たちは、的確な情報をタイムリーに提供するよう努めておりますが、情報を受け取られた時点及びそれ以降においての正確さは保証の限りではありません。何らかの行動を取られる場合は、ここにある情報のみを根拠とせず、プロフェッショナルが特定の状況を綿密に調査した上で提案する適切なアドバイスをもとにご判断ください。
© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.
The KPMG name and logo are registered trademarks or trademarks of KPMG International.
KPMGコンサルティング株式会社マネジャー中野 唯一郎T: 070-4471-5144E: [email protected]
無断転載禁止