AIの取組み事例について

Financial Solutions DeptEXA Corporation7th Nov. 2018

Presenter

Financial Solutions Dept.

EXA Corporation.

Kyoko Tanaka

Shota Suzuki

Today’s Goal

以下について知ることで

AI適用への具体的なイメージを

もっていただく

　・AIにできること・できないこと

　・AI技術の現状・取組み事例

　・AIプロジェクトの勘所

Agenda

1．AIとは？

2．AI技術の現状・適用事例

3．AIプロジェクトの進め方

4．まとめ

AIとは？What’s AI ?

AIって何？

人工知能

推論・探索

エキスパートシステム

機械学習

ニューラルネットワーク

ディープラーニング

人工的に作られた人間のような知能、ないしそれを作る技術2018年現在では機械学習技術そのものをさすことが多い

AIにできること、できないこと

AIにできること、できないこと

AIにできること、できないこと

内挿

AIにできること、できないこと

内挿

AIにできること、できないこと

内挿

外挿

AIにできること、できないこと

犬猫の判断はできても狸の判断はできない

内挿

外挿

AI技術の現状・適用事例Status and Case Studies

国内の技術動向

AI技術に対する世間の理解が深まり本格的な普及の前段階に入りつつある

ガートナージャパン株式会社　「日本におけるテクノロジのハイプ・サイクル：2018年」より抜粋

AIビジネスの市場規模

AIの市場規模は今後も年々増加していく見込み

①Alexaと会話して財務目標を決定 ②銀行口座、クレジットカードと連携し、　目標に合わせた支出計画を算出 ③支出から金融商品の提案

海外での適用事例（FinovateFall 2018 Best of Show）

①親の支払いや年金をAIを使って分析

②Life Scoreとして状況を表示

③節約方法を提示

海外ではAIの特長を活かしたサービスが登場し、AIの普及が加速している

弊社での適用事例（1/2）

案件 概要 適用技術

【銀行】コールセンター高度化 コールセンターオペレーター支援用 QA検索システムの構築

IBM Watson ExplorerIBM Watson STT

【銀行】事務手続き問合せ自動化 社内事務手続き会話型

アプリケーション開発

IBM Watson ExplorerIBM Watson Assistant

【銀行】法人営業支援高度化 PoC 法人営業向けニュース類似検索

システムのプロトタイプ構築

IBM Watson Explorer

【生保】事務手続き問合わせ自動化 PoC 社内事務部門向け会話型

アプリケーション開発

IBM Cloud IBM Watson Assistant

【生保】社内 IT問合わせ自動化 在宅勤務者向け会話型

アプリケーション開発

IBM CloudIBM Watson Assistant

銀行・保険のお客様を中心に、問合せ支援、マルチチャネル、ビッグデータ活用など幅広くノウハウの蓄積を続けています

弊社での適用事例（2/2）

【損保】顧客問合せ自動化 会話型アプリケーションの性能向上支援 IBM Watson Conversation

【生保】顧客問合せ自動化 PoC LineBotサービスのモックアップ作成 Line Messaging API, IBM Watson Conversation

【保険】コールセンター高度化 PoC コールセンターにおけるお問い合わせ

内容の要約ソリューション

IBM Watson NLC

【保険】照会応答システム高度化 PoC 代理店向け事務手続き問い合わせ自動

化

IBM Watson APILINE Messaging APIGoogleHome, WebChat

【保険】支払業務Web化 保険金支払い業務の自動化

ソリューション検討

IBM Watson AssistantWebChatMicroservice architecture

案件 概要 適用技術

研究開発

研究開発を実施し、サービスを構築することでAIのノウハウを蓄積している

障害分類サービス アドバイスサービス

AIプロジェクトの進め方How to drive an AI project

AIプロジェクトのプロセス

経済産業省　「AI・データの利用に関する契約ガイドライン」概要資料（2018.6）より抜粋

各フェーズを通して学習モデルの開発・評価を繰り返し、精度を高める

AIプロジェクトのプロセス

経済産業省　「AI・データの利用に関する契約ガイドライン」概要資料（2018.6）より抜粋

各フェーズを通して学習モデルの開発・評価を繰り返し、精度を高める

学習データがあるか、AIが適用可能かなどを検討する

AIプロジェクトのプロセス

経済産業省　「AI・データの利用に関する契約ガイドライン」概要資料（2018.6）より抜粋

各フェーズを通して学習モデルの開発・評価を繰り返し、精度を高める

学習データがあるか、AIが適用可能かなどを検討する

作成した学習モデルが期待する精度が出せるか検討する

AIプロジェクトのプロセス

経済産業省　「AI・データの利用に関する契約ガイドライン」概要資料（2018.6）より抜粋

各フェーズを通して学習モデルの開発・評価を繰り返し、精度を高める

学習データがあるか、AIが適用可能かなどを検討する

作成した学習モデルが期待する精度が出せるか検討する

PoCで作成した学習モデルを期待する精度まで高める

AIプロジェクトのプロセス

経済産業省　「AI・データの利用に関する契約ガイドライン」概要資料（2018.6）より抜粋

各フェーズを通して学習モデルの開発・評価を繰り返し、精度を高める

学習データがあるか、AIが適用可能かなどを検討する

作成した学習モデルが期待する精度が出せるか検討する

本番リリース後、学習モデルの精度を継続的に改善する

PoCで作成した学習モデルを期待する精度まで高める

課題 勘所

性能が目標値に達しない

性能が体感と合わない

目標値が高すぎる

学習データの質が悪い

評価指標がお客様の体感とあっていない

課題 勘所

性能が目標値に達しない

性能が体感と合わない

目標値が高すぎる

学習データの質が悪い

期待値コントロール

学習データ

チューニング評価指標がお客様の体感とあっていない

学習データTraining Data

学習データ（1/3）

判定したい対象（画像、文章等）と正解ラベルの組を集めたもの

ネコネコ ネコ

イヌ イヌ イヌ

学習データとは？

業務で発生するデータを使用する

学習データ（2/3）

控除証明書って書類、まだ届かないんだけど、どうなってるんですかね

控除証明書という書類がまだ届かないのですが、どうなっているでしょうか

年末調整の書類は、いつ頃来ますか

業務データ 手作り 類似業務データ

実際のデータと同等のデータでないと効果的に学習できない

学習データ（3/3）

業務を知らない人では誤った正解ラベルを付与する可能性がある

データを理解している人が正解ラベルを付与する

課題

お客様データへの正解ラベル付与の作業負荷が高い

チューニングTuning

チューニング（1/4）

チューニングとは？

予め定めた性能評価指標に基づき、AIの精度を改善する活動

チューニング方法

学習データの選別・クレンジング、確信度閾値の最適化などの方法がある

チューニング（2/4）

ユースケースによって、適切な評価指標は異なる

ユースケースに合わせて、適切な性能評価指標を定める

正答率 正解がある発話に対し、正しく回答した割合

誤答率 正解がない発話に対し、誤って回答した割合

正棄却率 正解がない発話を正しく棄却した割合

誤棄却率 正解がある発話を誤って棄却した割合

　例）チャットボットシステムにおける評価指標

チューニング（3/4）

社内システム インターネット上の公開システム

保険料控除証明書はいつ来るの？

保険料控除証明書の発送はいつ？

〇月△日です。

猫を飼いたい。

すみません、わかりません。

保険料控除証明書が届いたけど何に使うの？

年末調整の書類に貼付してください。

正答

正答率を指標とする 正答率と正棄却率を指標とする

例) チャットボットシステムにおける評価指標

郵送でお送りします。

ユーザー AI ユーザー AI

誤答

正答

正棄却

チューニング（4/4）

学習データの特徴と性能の関係に仮説を立て、検証する

闇雲にデータを投入しても性能はあがるとは限らない

継続的な性能改善のため、ノウハウを蓄積する必要がある

学習データの特徴について

着目するのは学習データの数や文字列長など

関係性はヒストグラムなどを使って可視化する

期待値コントロールExpectation Control

期待値のコントロール（1/2）

期待値

時間

性能

期待値

性能

目標値

目標値設定

過大でも過小でもない期待値になるようコントロールする

過度な期待は高すぎる目標値設定につながる

高すぎる目標値とのギャップを埋められない

期待値のコントロール（2/2）

期待値

時間

性能

期待値

性能

目標値

目標値設定

過大でも過小でもない期待値になるようコントロールする

初期段階でAIへの正しい理解を持ってもらうことが肝心

正しい理解 ⇒ 適切な目標値設定

本番リリース

まとめSummary

まとめ

AIにできること・できないこと

学習データの見よう見まねは得意未知なる領域のデータの予測・判断はできない

AI技術の現状・取組み事例

過度な期待のピークを過ぎ、AIの特長を捉えた事例が増えてきている

AIプロジェクトの勘所

AIプロジェクトはデータが全て計画的に集め、定量的・適切に評価する

初期段階でAIへの正しい理解をお客様に持ってもらい、適切に期待値をコントロールする

エクサはFinTechビジネスを中心としたデジタルビジネス領域も

タイムリーな情報提供・イノベーションの支援ができるよう

さらなる技術研鑽を続けて参ります

AIプロジェクトの進め方 番外編How to drive an AI project

キャラクター

お客様の親心を刺激して、データ集めに協力的になってもらう

キャラクターを作り、お客様に愛着を持っていただく