AIスピーカを使用した独居高齢者支援システム...2018/01/25 · HIRO ICT研究所 5 4. 我々のWhat：AIスピーカによる高齢者の自立支援音声による独居高齢者との会話

1 ㈱ HIRO ICT研究所

AIスピーカを使用した独居高齢者支援システム

～AIスピーカを支えるAI技術と実装例～

作成：2018/01/24（V04）

㈱ HIRO ICT研究所


1. IFTTT（イフト）って、ご存知ですか

IFTTT = IF This Then Thatサービス・2011年にLinden Tibbetsが始めた各種Webサービスを連携させるサービス

・IF This（トリガ）：もし、何らかの入力があれば、「Then That」を起動する

・Then That（アクション）：何らかの出力や制御を行う

AIスピーカが、IFTTTのブームを引き起こした・「電気をつけて」とAIスピーカに喋る → 「Nature Remo」が電気をつける


2. IFTTTによるSmart Homeの実現

AIスピーカがキックをする（IF This）：AI機能・利用者は「暑いなあ、温度を下げて」とAIスピーカに向かって喋る

・クラウドは、「エアコンの温度を下げて」とIFFFサーバに通知する

Smart Home機器が家電の制御をする（Then That）：IoT機能・Smart Home機器は、「エアコンの温度を下げて」の通知をIFTTTから受取る

・Smart Home機器は、赤外線リモコン機能を使ってエアコンの温度を下げる

クラウド

Action on

Google

IFTTT

サーバ

空調

照明器具

利用者

暑いなあ、

温度を下げて眠いなあ、

ライトを消して

制御

制御

暑いなあ、

温度を下げて

エアコンの

温度を下げて

エアコンの

温度を下げて

AIスピーカ

スマート

ホーム機器


3. AIスピーカ = AI & IoTの融合技術

AI技術とIoT技術の違い・AI：「What」技術（家庭や自動車の利便性向上にコンピュータ技術を応用）・IoT：「How」技術（主に工場等の生産性向上にコンピュータ技術を応用）

IoT技術の特徴：ロボットで言えば手足・GEのイメルダ会長が、工場の生産性向上を目的に推進したので有名

・しかし、工場で生産するもの（What）がなくなると無意味になる（GEの衰退?）

AI技術の特徴：ロボットで言えば頭脳・AmazonやGoogleが、家庭や自動車用にAIスピーカを開発

・目的は、生産性向上（How）ではなく利便性向上（What）なので売上増大中

AIスピーカ技術の特徴：AI & IoT ・頭脳（AI技術）： →音声認識、自然言語処理

・手足（IoT技術）：

→家電制御、各種センサー利用


4. 我々のWhat：AIスピーカによる高齢者の自立支援

音声による独居高齢者との会話・「音声による会話」は、相手がコンピュータであっても老化防止に効果的

・AIスピーカを導入することにより、「音声による会話」を実現できる

独居高齢者の知識活動を支援する・記憶力が減退しがちの独居高齢者に音声によるメモ機能を提供する

・独居高齢者は音声による支援を受けて、知識活動を向上させる

独居高齢者の安心・安全を支援する・「風呂で転んだ」「トイレで動けなくなった」等の緊急事態を音声で検出する

・緊急事態をメールで介護者に通知する事で、介護者の救助活動を支援する

独居高齢者の介護する側の活動を支援する・介護者は、タブレットから「音声会話のスケジュール」を入力できる

・「音声会話のスケジュール」の結果、メールで介護者に通知される

独居高齢者の癒しやリラクゼーションを支援する・「写真を見る」「音楽を聞く」「リズム感を養う」「歌を歌う」などを支援

・普段は、癒しやリラクゼーションを支援しながら陰で見守りを実現

独居高齢者

介護者


5. AIスピーカの選択： Amazonの場合（1）

Amazonの場合：端末は「Amazon Echo」シリーズ・端末：「Amazon Echo」シリーズ → 現在の世界シェアは70%

・クラウド（音声認識）： Amazon Alexa

・クラウド（自然言語処理）： Amazon Alexa

・クラウド（対話アプリ）： AWS Lambda（Node.js）

AmazonのSmart Home戦略（IoT戦略）・現状：「Amazon Echo Plus」が、Zigbeeを使用して家電制御ができる

・今後：「 Amazon Alexa」に「Smart Home」機能を強化中

AWS

Lambda

クラウド

Amazon Echo Plus

利用者

Amazon

Alexa

各種DB 会話定義

制御

制御

空調

照明器具

スマートホーム

WiFi

ルータ

Amazon Echo Amazon Echo Dot



Alexa対応デバイス（端末側）・Amazon Echoシリーズ： Amazon Echo Dot/ Amazon Echo Plusなど

・Alexa Voice Skill（AVS）：独自の機器にAmazon Echoエミュレータを搭載

Alexaサービス（クラウド側）・Alexa Skill Kit（ASK）：音声⇔テキスト変換処理と自然文法処理を行う

・色々なASKがある：「Custom Skill」、「Smart HomeSkill」など

AWS Lambda ・ Alexa Skill Kit（ASK）から呼び出される音声会話処理アプリケーション

・言語として「Node.js」「Java」「Python」が指定できるが通常は「Node.js」



音声入力の形式・ウェイクワード：音声入力開始を指示する（”アレクサ”固定）

・呼び出し名: AWS Lambdaアプリケーションに対応する

・スロット：音声入力時の変数を指定する（｛City｝の値：東京、横浜など）

Alexa Skill Kit（ASK）とAWS Lambdaとのインタフェース・インテント名: 天気予報を尋ねる場合は「weather_forecast」などとする

・スロット名：「City」など。その値は、「東京」、「横浜」などになる



IFTTTサーバの代替としてWebSocketサーバを開発・IFTTTと同じような機能： Go言語で開発した高性能WebSocketサーバ

・LINEのようなCHAT機能を搭載: 「Amazon Lambda」から呼び出される

ラズパイアプリ（お話AIちゃん）との連動例・東京電機大学建築学科で実証実験を実施中（足立区の高齢者が対象）・「暑いなあ」「扇風機の電源を入れましょうか」 → 扇風機の電源を入れる

AWS

Lambda

クラウド

お話AIちゃん

（ラズパイ）

学習リモコン

独居高齢者

（見守られ側）

Amazon

Alexa

スケジュール会話定義

制御

制御

空調

照明器具

空間知能化

HDMI 液晶TV

WebSocket

サーバ

家電制御指示家電制御指示

WiFi

ルータアンプ＋スピーカ

Amazon

Echo Dot

IFTTTでもよいが

性能が遅い


9. AIスピーカの選択： Googleの場合（1）

Google ：端末は「Google Home」シリーズ・端末：「Google Home」シリーズ

・クラウド（音声認識）： Google Assistant

・クラウド（自然言語処理）： Action on Google（Dialogflow）・クラウド（対話アプリ）： GCP firebase（Node.js）

GoogleのSmart Home戦略（IoT戦略）・現状： IFTTT経由で「Nature Remo」を使用して家電のリモコン制御ができる

・今後：「Action on Google」に「Smart Home」機能を追加

GCP

firebase

クラウド

Nature Remo

利用者

Action on

Google


制御

制御

空調

照明器具

スマートホーム

WiFi

ルータ

Google Home Google Home Mini

IFTTT


10. AIスピーカの選択： Googleの場合（2）

端末側上の音声処理アプリ・Google Home：マイク（2個）とスピーカで構成されるAIスピーカ

・Google Assistant ：タブレット（Android）上で動くGoogle Homeエミュレータ

・Google Assistant SDK ：ラズパイ上で動くGoogle Homeエミュレータ

クラウド上の音声処理アプリ・Google Assistant：Google Homeと連動し音声⇔テキスト変換処理を行う

・Action on Google：自然言語処理を行う（プログラミングなしで設定のみ）・GCP firebase: 「Action on Google」から呼出される対話処理サーバアプリ

ラズパイで動かすには

Google Assistant SDK

を使う


11. AIスピーカの選択： AmazonかGoogleか

我々のWhatには、スケジュール機能が必要：Googleを選択・ラズパイ（Raspberry PI 3B）上で動く「Google Assistant SDK」を使用

・マイクとスピーカは、「Google Voice Kit」を使用

・AIスピーカが苦手な声掛け機能（スケジュール機能）を実現する

→ スケジュールの入力は、タブレット（Android）で行う

・IFTTTの代替としてWebSocketサーバを使用する

GCP

firebase

クラウド

Nature Remo タブレット

（見守り側）

マイク独居高齢者


Action on

Google

USB


制御

制御

スケジュール

設定

空調

照明器具

空間知能化

HDMI 液晶TV

WebSocket

サーバ

家電制御指示家電制御指示

WiFi

ルータ

IFTTTの代替

お話AIちゃん + Google

Assistant SDK

Voice Kit


12. 音声認識を行うGoogle Assistant SDKとは

Google Assistant SDKとは・「Google Assistant SDK」は、ラズパイ等で「Google Home」の機能を実現

・「Google Voice Kit」を使用することで、マイクとスピーカの機能を改善できる

Google Assistant Library ・「OK Google」から始まる「Google Home」のエミュレータ機能を実現

・アプリケーション言語としては、Pythonのみが使用できる

Google Assistant Service ← これを採用・「ボタン押下」から始まる「Google Home」のエミュレータ機能を実現

・クラウドとはgRPCを使用した通信を行う

GCP

firebase

クラウド

お話AIちゃん + Google

Assistant SDK

「匠の技」データ

利用者

Action on

Google


HDMI 液晶TV

WiFi

ルータ

スピーカ Voice Kit

MEMSマイク

端末側


13. Google Assistant Library/Serviceの比較

Google Assistant Library ・「OK Google」から始まる「Google Home」のエミュレータ機能を実現

・アプリケーション言語としては、Pythonのみが使用できる

Google Assistant Service ← これを採用・「ボタン押下」から始まる「Google Home」のエミュレータ機能を実現

・クラウドとはgRPCを使用した通信を行う

Library Service

Supported architectures linux-armv7l and

linux-x86_64

All gRPC platforms

Supported languages Python All gRPC languages

Hands-free activation (Ok Google) Yes No

Audio capture and playback Built in Reference code is

provided

Conversation state management Built in Reference code is

provided

Timers and alarms Yes No


14. クラウドと端末との通信プロトコルのgRPCとは

RPC (Remote Procedure Call) を実現するgRPC ・gRPCは、RPC を実現するためにGoogleが開発したプロトコルの1つ

・HTTP/2を使用したストリーミング通信（音声、動画）ができる

・Protocol Buffers を使ってデータをシリアライズし、高速な通信を実現できる

IDL（インターフェース定義言語）・gRPCは、IDLを使ってあらかじめAPI仕様を「.proto ファイル」として定義する

・IDLからサーバー側＆クライアント側に必要なソースコードの雛形を生成する

・言語に依存しないIDLで先にインタフェースを定義する

→ 様々なプログラミング言語の実装を生成できるというメリットがある


15. Google Assistant用gRPC API（v1α2）の仕様概要

Assist API ・組み込みアシスタントサービスとの会話を開始または継続する

・各コールは1回のラウンドトリップを実行する

・サービスにオーディオ要求を送信し、音声応答を受信する

・双方向ストリーミングを使用して、オーディオを送信する際に

→END_OF_UTTERANCEイベントなどの結果を受信する

Assist APIの要求と応答・会話は1つまたは複数のgRPC接続である： →それぞれ複数のストリーミングされた要求と応答で構成される

・たとえば、ユーザーが「ショッピングリストに追加」と言うと： →アシスタントは「何を追加しますか？」と応答する

・第1のgRPCメッセージ内のストリーミングされた要求と応答のシーケンス： AssistRequest.config,

AssistRequest.audio_in, AssistRequest.audio_in, AssistRequest.audio_in, …

AssistResponse.event_type.END_OF_UTTERANCE,

AssistResponse.speech_results.transcript “add to my shopping list“,

AssistResponse.dialog_state_out.microphone_mode.DIALOG_FOLLOW_ON,

AssistResponse.audio_out, AssistResponse.audio_out, AssistResponse.audio_out, ..


16. Voice Kitの利用（1）

Google Assistant SDK（ソフト）・ラズパイ用の「Google Home」エミュレータ：カスタマイズが可能

Google Voice Kit （ハード）・ラズパイ用のドータボード（HAT）であり、音声処理のDIYに最適

・「Google Assistant SDK」では、LEDボタン・D級アンプ・MEMSマイクを使用

MEMSマイクの

接続コネクタ

LEDボタンの

接続コネクタ

スピーカの

接続コネクタ Google Voice Kit HAT


17. Voice Kitの利用（2）

DAC（MAX98357A）を使用したD級アンプ・出力：3.2 W（4 Ω時） / 1.8 W（8 Ω、5 V電源電圧時）・I²Sサンプルレート：8-96 kHz

MEMS（SPH0645LM4H）搭載のI2Sマイク・50 Hz〜15 kHzでオーディオを録音/検出できる純デジタル仕様のI²Sマイク

MEMS

マイク

D級アンプ

MAX98357A

SHPH0645LM4H


18. 自然言語処理を行うDialogflow（1）

Dialogflowの特徴・ Dialogflowを使うことで自然言語解析を容易に行うことができます。

・ GUIやCUIに比べて音声入力は表現の幅が広い

→予測不可能な言葉で操作されるという特徴がある

ホテル予約の例・例えばホテルを予約したい場合、ユーザーは、以下の言い方をする

1.火曜日の宿を予約して

2.明日の宿を予約

3.部屋を取って

4.ホテルに泊まりたい

・Dialogflowを使うことで、これらの異なる言い回しをまとめることができる

・宿泊日のような予約に必要な情報が抜け落ちていた場合

→自動的に追加で質問をすることができる


19. 自然言語処理を行うDialogflow（2）

Intent

・「ユーザーがやりたい事全体」を指す

・ Context：対話を継続させるために、次のIntentを指定する

・ User says：どういう時にこのIntentが呼び出されるかを指定する

・ Event：ユーザーの呼びかけに寄らないシステム側で発生したEventに

応じてIntentを発動させる → Botが呼び出された時やFulfil Intentの

レスポンスでEventが渡された時など

・ Action Name：対話アプリに伝える「アクション名」・Parameters：ユーザーの会話から抽出したEntityをパラメータとしてサーバーに送ることがでる。→通常はUser saysの内容を元に自動で追加されるが、うまく取得できない場合などに手動で追加・修正することも可能

・Response：ユーザーへの回答を返すことができる。

簡単な答えを返すだけなら、Default Responseで回答が可能

Entity ・ユーザーから抽出したいキーワード（AlexaのSlotに相当）・System Entity：日付や住所と言った標準でDialogflowが抽出・解析できる

・Developer Entity：開発者が独自にEntityを追加することもできる


20. 対話アプリを作るFirebase

実際の例 // Intentのアクション名を指定

const NAME_ACTION = ‘confirm_delay’;

// パラメータのPARAMETER NAMEを指定

const ROUTE_ARGUMENT = ‘train-route’;

exports.dialogflowFirebaseFulfillment =

functions.https.onRequest((request, response) => {

const app = new App({request, response});

function confirmDelay (app) {

let route = app.getArgument(ROUTE_ARGUMENT); // 路線名を取得する

let isDelay = false; // 簡単のため、常に「遅延なし」とする

/* 指定した路線の電車遅延情報を取得する処理をここに書く */

if (isDelay) {

app.tell(‘近未来研究会の皆様、こんにちわ。’ + route + ‘で遅延発生中です。’);

} else {

app.tell(‘近未来研究会の皆様、こんにちわ。現在‘

+ route + ’では遅延は発生していません。’);

}

}

let actionMap = new Map();

actionMap.set(NAME_ACTION, confirmDelay); //アクション「confirm_delay」に対応の関数

app.handleRequest(actionMap);

});


21. 音声会話のスケジュール機能（1）

スケジュール機能とは・時間になったら、音声で以下のようなシーケンスで呼びかけを行う

①会話開始：「○○さん」 ②注意喚起：「おはようございます」 ③先行連鎖：「今日はデーサービスの日です」 ④情報伝達：「12時にお迎えの車が来ます」 ⑤会話終了：「よろしくお願いします」・ネットワーク接続が不安定な場所では、音声認識エンジン（Julius）を使用

・テキスト→音声変換エンジン（Open J-Talk）を使用

◯ ◯ さん

おはようございます

今日はデーサービスの日です

12時にお迎えの車が来ます

よろしくお願いします

返事が不明

返事が不明

空間知能化

ロボット

お話AIちゃん

液晶TV

マイクスケジュール

(JSON)

スケジュール

実行

独居高齢者


Julius/J-Talk



スケジュールの種類・毎日：毎日の指定時間に呼びかけ会話を行う

・毎週：毎週の指定時間に呼びかけ会話を行う

・当日：当日だけの指定時間に呼びかけ会話を行う

・緊急：緊急的に指定時間に呼びかけ会話を行う

見守り会話結果の通知・見守り結果は、見守り側にメールで通知

・見守り結果は、クラウド（AWS）にも保存可能

AWS API

Gateway

AWS

Lambda

クラウド

空間知能化

ロボット

お話AIちゃん

スケジュール

(DynamoDB)

液晶TV

タブレット

（見守り側）

マイクスケジュール

(JSON) コピー（自動/手動）

スケジュール

入力スケジュール

実行スケジュール

閲覧

独居高齢者




決められた時間に独居高齢者との音声会話を開始する・「スケジュール」は、JSON形式でクラウドDB（AWS DynamoDB）側に持つ

・プライマリキー：電話番号（2001など）・レンジキー：スケジュール開始日時（2018-01-13 15:00:00など）

毎日のスケジュール・レンジキー： 2016-12-31 HH:MM:SSとする

・ラズパイ上は、「2001_schedules_2016-12-31_HH:MM:SS.json」ファイル

毎週のスケジュール・レンジキー： 2017-01-01 HH:MM:SSとする（日曜日の場合）・ラズパイ上は、「2001_schedules_2017-01-01_HH:MM:SS.json」ファイル

当日だけのスケジュール・レンジキー： YYYY-MM-DD HH:MM:SSとする（実際の日付）・ラズパイ上は「2001_schedules_YYYY-mm-DD_HH:MM:SS.json」ファイル

緊急のスケジュール・レンジキー： YYYY-MM-DD HH:MM:SSとする（実際の日付）・ラズパイ上は「2001_schedules_YYYY-MM-DD_HH:MM:SS.json」ファイル

に統合される

DynamoDB内では

GMT時間が使用される

WebSocketサーバ経由

でクラウドから通知される



スケジュールをJSON形式で表現する・「スケジュール」は、JSON形式で表現され、音声会話は①会話の開始、

②注意喚起、③先行連鎖、④情報伝達、⑤会話の終了の順に行われる

・「スケジュール」の種類は、①毎日、②毎週、③当日、④緊急の4種類が

あるが、それぞれをJSONオブジェクトの配列としてマージして処理を行う

スケジュール（JSONデータ）の形式 {

“extension”: “2001”,

“start_date”: “2018-01-25 15:00:00”,

“status”: 0,

“title”: “生活情報支援”,

“description”:[ “○○さん、おはようございます。”, // 会話の開始

“今日は、<ai>%Y年%m月%d日 %H時%M分 </ai>です”, // 注意喚起

“今日はデーサービスの日です”, // 先行連鎖

“12時に車が来ます”, // 情報伝達

“よろしくお願いします”] // 会話の終了

}

<ai>タグで現在の年月日

時分秒が取得できる


25. ラズパイ上で深層学習を行う

Chainerの利用・Preferred Networksが開発した深層学習を実装するためのライブラリ

・深層強化学習（DQN）をサポートするChainerRLライブラリもある

・ラズパイ上のPython言語から使用されることを前提としている

・学習時間は遅いが、学習済みのモデルを使った推論は利用できる

・2017年の「インタフェース8月号」で多くのサンプルアプリが紹介された

・これを機に、NF研で「深層学習」に関するメールリストが作られた

TensorFlowの利用・Googleが開発した機械学習を実装するためのライブラリ

・ラズパイ上のPython言語から使用されることを前提としている

・XLAと呼ばれるコンパイル機能があり、学習時間と推論時間の短縮が可能


26. AIスピーカが使用する深層学習（RNN）

RNN（Recurrent Neural Network）とは・RNNはNNで時系列解析を行うためのもので、80年代に提案された

・ある時刻 t におけるモデルの出力は、次の時刻 t+1の入力の予測値になる

・時刻t+1では、その時刻における入力+前回の履歴を時間的文脈として利用

・LSTM（Long Short-Term Memory）を使用して、長期依存を学習できる

RNNLM（Recurrent Neural Network Language Model）とは・RNNを言語モデルとして応用したものがRNNLMである

・従来のN-グラムを使用した方式と比べ、長い文章を統計処理できる


27. AIスピーカの自然言語処理を実現するRNNLM

従来のN-グラムを使用した方式（ネットワーク方式）・単語の出現確率を頻度から計算する（Viterbiアルゴリズムを使用）・適切なN-グラム確率を計算することにフォーカス

→各単語は独立に扱われる

→単語間の関係はない

→アウトドメインに強い

・性能は早い

RNNを使用した方式（RNNLM方式）・単語の出現確率をデータから学習・予測する（LTSMアルゴリズムを使用） →直接、コーパスに対して尤度最大化

→インドメインに強い

→アウトドメイン？何それ

・各単語を連続空間のベクトルとして表現する

→似た言語は、似たベクトルを持つ

→ベクトルの計算ができる

「king」 - 「man」 + 「woman」 = 「queen」・性能は遅い（特に学習時間）


28. センサーデータ統計処理（IoT）にもRNNLMを使用

従来のセンサーデータ統計処理（IoT）の問題・Viterbiアルゴリズムに依存するため、個別に問題を解く必要がある

・例えば、各部屋に設置した人感センサーから人間の行動を予測

→部屋数、センサーの設置場所等を個別に考慮して問題を解く必要がある

RNNを使用したセンサーデータ統計処理・下図のRNNMLの場合と同様に、RNN計算により人間の行動を予測できる


29. オプションとしてロボットを使用できる

PaPeRo-i：各種センサーを搭載している・カメラ☓2： VGAカメラ☓2 （顔認識用）、 SVGAカメラ☓2 （静止画用）・マイク☓2：指向性（音声認識用）、無指向性（ノイズキャンセラー用）・スピーカ：音声合成用、音楽演奏など

・赤外線センサー：人検知用（1m以内、±40°）・温度センサー： 0℃～40℃

・湿度センサー： 20%RH～ 90%RH

・加速度センサー：地震や床音の検知などの応用可能

・ボリューム：ソフトでも音量の変更が可能

独居高齢者


ロボットは特に

女性に人気が高い

Documents

AIスピーカを使用した独居高齢者支援システム...2018/01/25 · HIRO ICT研究所 5 4. 我々のWhat：AIスピーカによる高齢者の自立支援 音声による独居高齢者との会話

AIスピーカを使用した独居高齢者支援システム...2018/01/25 · HIRO ICT研究所 5 4. 我々のWhat：AIスピーカによる高齢者の自立支援音声による独居高齢者との会話