HoloLens と Azure で実現するエンタープライズで …...Holographic Manufacturingによる途中効果算出(例) ほぼ100％効率化仕組み導入前の工数 10,000min*

Microsoft de:code2018

HoloLens と Azure で実現するエンタープライズでのヒトとAIとのマリアージュ

2018年5月23日

KPMGコンサルティング株式会社

Advanced Innovative Technology

マネジャー Hyun Baro（ヒョン・バロ）

本情報の内容 (添付文書、リンク先などを含む) は、de:code 2018 開催日 (2018年5月22~23日) 時点のものであり、予告なく変更される場合があります AI13

KPMGコンサルティングのご紹介

3© 2018 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG

International”), a Swiss entity. All rights reserved.

講演者紹介■氏名

Hyun Baro（ヒョン・バロ）

■所属・職位

KPMGコンサルティング（株）

Advanced Innovative Technology, Manager

■経歴

工学博士（航空宇宙工学, University of Michigan）

Autonomous system with human-in-the-loop専門

米国空軍の無人飛行機システム（ドローン）研究者

韓国現代自動車研究開発本部、ADAS開発・研究者

学会・学術論文30編以上、特許10件以上

2017年より現職、先端技術を活用するビジネスコンサルティングに注力している



KPMGのご紹介



私たちがめざしていること

⚫ テクノロジー（データ分析、アルゴリズムを含む）を活用して世の中にまだない新たなビジネスや既存のビジネスの抜本的な変革を推進します。チームメンバーの各専門分野で培ってきた研究開発経験及びビジネス経験と最新のデジタル技術を融合して、各産業の根幹に今までにない深い変革を起こすことをめざしています。

⚫ ヒトの作業の代替ではなく、テクノロジーを活用してヒトの能力を拡張することでビジネスに変革をもたらすことをめざします。

⚫ 実現性、リスク・マネジメントを重視し、動くもの、デモシステムを通じてクライアントと協業しながらコンサルティングを進めます。



Microsoftとのリレーションシップ

HoloLensを用いて実現するエンタープライズでの情報活用変革

HoloLens と Azure で実現する製造業における経営の意思決定変革

KPMGによるHoloLensの多角的活用例～内部統制への応用～

Holographic Manufacturing

de:code Inspire Tech SummitMR Partnership

Program (MRPP)de:code

HoloLens と Azure で実現するエンタープライズでのヒトとAIとのマリアージュ

2017 May 2017 Sep 2017 Nov 2018 Jan 2018 May

▷ KPMGとMicrosoftとのマリアージュでSuccess Storyを増やして行く！

Gold Sponsor Gold Sponsor Gold Sponsor MRPP Certified Platinum Sponsor

Key Message:

HoloLens と Azure で実現するヒトとAIとのマリアージュ



「マリアージュ（Mariage）」とは

最高級でなくても、適切な相性の料理とワインは顧客に幻想的な経験をもたらす



「人とAIとのマリアージュ」とは

ヒト

長所

・問題定義力

・パターン認識

・抽象化

短所

・大量な単純反復作業

・既存の思考体系の踏襲

人工知能

長所

・広範囲なデータ演算

・早い学習能力

短所

・問題定義力

・高難易度の問題解決能力

▶ ビジネスに適切に活用すれば新たなビジネス価値を創出することができる

▶ 企業の業務に活用すれば、組織の潜在的能力を最大に引き出すことが可能になる。

人と人工知能（AI）の能力を相互補完的に活用すること

自動車・ADAS 製造業・Supply Chain



Microsoftのソリューションで実現するマリアージュ

HoloLens

Azure

人 AI

Microsoft ソリューション実現策

Holographic Manufacturing

Holographic Manufacturing~ Go to market ~



製造業における課題

• 大手製造業であっても現場は「紙」資料を扱っている

製造現場はアナログ職人技は暗黙知

知見は全部ここ

• 職人技は感覚と経験で磨かれ、マニュアル化することが困難である

熟練の技術者不足

• 高齢化社会に伴い熟練の技術者が退職して、新人の現場での活躍が求められる



大規模製造業における課題事例

現場の特徴課題

目視による部品の識別が熟練者でないと

困難

発生する無駄なコスト

熟練者ではない現場での部品識別不良により、製造コストが肥大化している



Holographic Manufacturingとは

製造業の現場において、

HoloLensを装着するだけで、

技術力の未熟な新人でも、

熟練の技術者と同等の知識を得ることができるようになる。



Document Classification: KPMG Confidential

ソリューション概要



Document Classification: KPMG Confidential

シナリオ

2 3

4

HoloLensでパーツの画像を取得する

画像認識AIによりパーツを判別

パーツの関連情報をホログラムで表示

5

直接専門家にビデオ通話で相談

新人には使い方の分からないパーツがある

?1

AIの精度判定

高精度

低精度



ソリューションの詳細

Image Analysis

Remote Expert Support

HoloLens captures and analyzes the image to correctly identify the manufacturing part.

What is this?

Expert

This is XXX.

View SharingLearning

AI

AI

Conversation

Share the engineer’s view to share it with the expert in remote location and

gain advice from him regarding the manufacturing parts.

*To be used when the confidence-rate for the image analysis is low

*The experts advice will be used as training date to enhance the image analysis function.



ソリューションの効果

問題解決にかける時間の短縮

熟練者の専門知識の活用を効率化

新人の現場での活用の早期化

専門家の知識をアセット化

コスト削減

業務高度化



Holographic Manufacturingによる途中効果算出(例)

ほぼ100％

効率化

仕組み導入前の工数

10,000min*

仕組み導入時の想定工数

5,000min†

将来想定工数

200min‡

• 経験と勘に基づいて実施していた作業が本仕組みにより代替• 作業工数は大幅に削減

業務精度の向上（高度化）

20%

導入前のデータ活用率導入後のデータ活用率

仕様書

写真

３D

CA

D

熟練

者知

見

その

他デ

ータ仕

様書

写真

３D

CA

D

熟練

者知

見

その

他デ

ータ

*仕様書ベースで確認時間 10min/1本, 全体部品種類(約20,000本)の5%想定

†遠隔支援込最大確認時間 5min/1本想定 ‡最大12sec/1本想定

Image-based Object Recognition(Backend)

HoloLens

Azure



Detection – MS Azure



Object recognition – 通常のアプローチ

Object Recognition!

AI

…

images for class 1

Learning

Problems : Very expensive process!

• Proper labeling, environment setup takes resource

• Taking large number of images takes up more resource

⇒ AI Machine learning becomes unrealistic

…

images for class N

…

Data 1 Data 2 Data 3 Data n

Data 1 Data 2 Data 3 Data n

学習データ

Con

fide

ntia

l ph

oto

of th

e p

art

Co

nfid

en

tial p

ho

to

of th

e p

art

Con

fide

ntia

l ph

oto

of th

e p

art

Con

fide

ntia

l ph

oto

of th

e p

art

Con

fide

ntia

l ph

oto

of th

e p

art

Con

fide

ntia

l ph

oto

of th

e p

art

Con

fide

ntia

l ph

oto

of th

e p

art

Con

fide

ntia

l ph

oto

of th

e p

art

Confidential

photo

of the part



Object recognition – KPMGのアプローチ

3D CAD model

Object Recognition!AI

Learning

学習データ

Data 1 Data 2 Data 3

Improvements: Hours of work becomes instant!

⇒ As long as CAD model available, no additional cost for collecting training data

KPMG独自の識別アルゴリズム（特許出願中）Algorithm generates multi-viewpoint images!

ConfidentialCAD image

Confidentialcontour image of the part



Confidentialphoto

of the part

部品仕様書

• 寸法

• 重さ

HoloLens UX/UI and more(Frontend)

HoloLens

Azure



A .

メニュー

B.

カウントダウン

C.

写真表示

D.

問合せ中

E.

問合せ完了しました

F.

問合せ結果・部品詳細・使い方

G.

専門家の顔写真と専門分野

H.

呼び出し中

I.

通話画面

凡例

作成済

未作成

作成対象画面

初期UX/UI作成対象画面



identifycontactexpert exit

Over

view

初期UX/UI例



End User Feedback (UI/UX)

?

Image

analysis

Analysis

Result

Inquire

Expert

High

Confidence

Low

Confidence

The user comes across

a part that s/he doesn’t

recognize.

User mounts

HoloLens.

User air taps or

presses a button to

take photo.

The image will be

analysed. Result action will be

shown automatically.

- Mount HoloLens.Air tap or Press button

with the part in vision.-

See the result

or

communicate on video

-

The app will already be

running on HoloLens

ready to take photo

image photo will be

taken with the tap or

click

Image analysis will run

automatically as the

photo is taken

The result page will be

shown or video call will

activate depending on

the confidence rate.

Use

rS

yste

m

1 2 3 4 5

Based on the feedback from the client team, we would modify the UI as below to

minimize user action as much as possible.



HoloLens X AIの実機検証結果

精度

Accuracy(44 test img)

90.9% ~80%

精度差の主原因は現場の環境→ 光（Lightening & Contrast）・部品の置き方

・大手製造業様の事例で実機検証を行った結果、80%程度の精度でHoloLens上で画像認識のAIを利用可能でした。

・検証の時点でおおよそ精度が上がるであろうとの判断を行い、今後実際の現場に導入するにあたって、より精緻な検証を行っていく予定です。

今後現場導入に向けてより精緻な実機検証を行っていきます



アーキのOverview

Business Layer

HoloLens

Business Layer

Desktop/Laptop

Demilitarized Zone

CloudSite#1

AI Layer (On Premise)

surroundingdigitalization

visualization

predictionprocess

learningencouragement

AI build

HQ

authenticationrequest

Secure Zone

Security Layer

request relay

Business Layer

pre-process

post-process

request relay

authorization

authenticationrequest

AI Layer (Cognitive Services)

AI Layer (Standalone)

predictionprocess

Data Storage

trained model

operation manual

supervise data

learningencouragement prediction

process

AI buildAI format convert

Data Storage

trainedmodel

Holographic ManufacturingVideo

最後に



マリアージュのポイント

・人の能力を人工知能によって拡張させ、ビジネスと組織内に浸透させれば、以下の効果を期待できる

1. 相互補完的アプローチは問題解決の効果を極大化することができる

2. 「人工知能only」は多大なリソースとリスクを伴う

3. 相互共存型フレームワークで企業の社会的側面を支援

【ダイヤモンド・オンライン】20年前AIに敗れてからチェスはどのように進化してきたのか――人とAIとのマリアージュを考える

http://diamond.jp/articles/-/166663

http://diamond.jp/articles/-/166663



KPMG考案マリアージュユースケース例

Holographic Salesmen for Medical

• 医療機器の顧客がホログラムで機器を見て、機能を学習、購入までワンストップで可能

• 医療機器セールスは機材を持ち歩いたり、顧客を招いて機器を見せる必要がない

プラントの整備・保全業務

•プラントを構成する大型機械、部品の摩耗点検

•大型機械の主要部品の摩耗は、熟練作業者の目視による点検がメインで、それによるミスが多発



KPMG デリバリスタイルDelivery Style

• KPMG’s main function is to assist the planning of MR solution unique to each client’s business, and to plan and conduct a quick POC to provide a detailed road map for full implementation.

• KPMG would not be developing the system for full implementation and would most likely seek for a partner company with sufficient MR design and development skills.

Analyze

current

business

Plan MR

solution use

cases

POCEvaluation

of the effect

Plan road

map for full

implementa-

tion

full

implementa-

tion

Plan for next

step or

improve the

system

External Resources

Will seek partner for

developing full system.

KPMG will act as a PMO.

KPMG Value

① Ability to plan use cases with unique

business situations.

② Able to run quick POC and evaluate

the feasibility and effect.

KPMG as

PMO

ここに記載されている情報はあくまで一般的なものであり、特定の個人や組織が置かれている状況に対応するものではありません。私たちは、的確な情報をタイムリーに提供するよう努めておりますが、情報を受け取られた時点及びそれ以降においての正確さは保証の限りではありません。何らかの行動を取られる場合は、ここにある情報のみを根拠とせず、プロフェッショナルが特定の状況を綿密に調査した上で提案する適切なアドバイスをもとにご判断ください。

© 2018 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG

International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.

The KPMG name and logo are registered trademarks or trademarks of KPMG International.

KPMGコンサルティング株式会社Advanced Innovative Technology (AIT) マネジャーHyun Baro（ヒョン・バロ）T: 080-8488-2815E: [email protected]

禁無断転載

© 2018 KPMGコンサルティング株式会社 All rights reserved.

本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。

本情報の内容 (添付文書、リンク先などを含む) は、de:code 2018 開催日 (2018年5月22~23日) 時点のものであり、予告なく変更される場合があります

Documents

HoloLens と Azure で実現する エンタープライズで …...Holographic Manufacturingによる途中効果算出(例) ほぼ100％ 効率化 仕組み導入前の工数 10,000min*

HoloLens と Azure で実現するエンタープライズで …...Holographic Manufacturingによる途中効果算出(例) ほぼ100％効率化仕組み導入前の工数 10,000min*