Upload
saltlux-inc
View
1.321
Download
1
Embed Size (px)
DESCRIPTION
Citation preview
Communicating Knowledge 1
ビッグデータとは?
2
3
つまり
4
巨大(Volume)
急激(Velocity)
そのため、理解し、活用しきれない
多様(Variety)
Big Data
Issues
(3V)
5
非構造化ビッグデータ関連のテクノロジー
自然言語処理
機械学習 テキスト
マイニング
クラウド、 NoSQL
情報検索 (Search)
可視化 セマンティクス
クローリング
統計分析 (R)
6
Web 1.0 Web 2.0 Web 3.0 Web of Data ??
検索 ソーシャル
ネットワーク 分析 予測
Information People Big Data Intelligence
収集 理解 最適化
2000 2005 2010 2015 2020
Webの世界で何が起きてきたか?
7
• ソーシャルシグナル分析
• 競合調査
• 評判管理
• 顧客の声(VOC)の理解
• ソーシャルネットワーク分析
• リスク/危機管理
• ビジネスディベロップメント
• eディスカバリ、内部監査
• ナレッジマネジメント
• 製品/技術革新 組織
内部
組
織外
部
ビッグデータインテリジェンスからのビッグバリュー
事業最適化 &
顧客満足
ビッグデータ分析とインテリジェンス
8
Communicating Knowledge 9
ビッグデータ分析の事例
通信事業会社向けのビッグデータ分析
10
11
通話履歴(CDR)を使ったソーシャルネットワーク分析
Pay for
Call
Call
Call Call
Call
Profile • Name: Jerry Obama • Age: 12 • Sex: Woman
Profile • Name: Elizabeth Cox • Age: 12 • Sex: Woman
Profile • Name: Jane Bush • Age: 12 • Sex: Woman
Profile • Name: Edward Adams • Age: 11 • Sex: Woman
Profile • Name: Jessica Bailey • Age: 13 • Sex: Woman
Profile • Name: Tom Obama • Age: 16 • Sex: Man
Profile • Name: Nancy Obama • Age: 42 • Sex: Woman
Call
lives in
lives in
attend
attend
attend attend
attend
lives in
主な居住地域
主な活動地域
家族 友人
モバイルソーシャルネットワーク分析事例
12
ネットワーク情報からのユーザプロファイル分析
Bimodal Normal
μ1 = 38 σ1 = 4.2 w = 0.83 μ2 = 13 σ2 = 2.4
Φ =
各年齢別(SMS/ VOICE)、(性別)、
(年齢) 120 クラスのパターンを用いたPI
の結果
13
オントロジー・ポピュレーション
14
レガシーデータ
レガシーデータからのオントロジーマッピング
50 クラス、58 関係性、15 プロパティ、57 ルール
ハイブリッド推論 DL + ルール
15
ソーシャルリレーションシップの発見
16
嗜好性の分析 ユーザの暗黙的な行動履歴の利用
暗黙的なユーザ 行動履歴の分析
ユーザ行動履歴の分類
ユーザ個人の 嗜好性の発見
明示的なユーザ 行動履歴の分析
個人の嗜好性の グループ化
代表的な嗜好性の グループ発見
社会的な嗜好性発見
CDR 分析
URL 分析
Collect CDR Extract
Company Name
Classify Business
Type
Map Business Types to
Preference Classes
Measure Preference based
on Frequency
Content / Service Domain
Preference
Collect URL Access Log
Classify URL
Domain
Extract Services from URL
Extract URL properties
Analysis property values
Content / Service
Preference
Map values to Preference
Classes
検索ワード 分析
Collect Search Log
Extract Search
Keyword
Classify Search
Keyword
Map Search Keyword to Preference Classes
Content / Service
Preference
Indentify Target
Services
会員カード 利用分析
分析
Collect CDR Extract
Company Name
Classify Business
Type
Map Business Types to
Preference Classes
Measure Preference based
on Frequency
Content / Service Domain
Preference
18
情報モニタリング
情報モニタリング
19
e-ディスカバリソリューション
21
ナレッジネットワーク分析
22
VOC(顧客の声)分析
23
KMS DB
US PAT DB
KMS ATT. FILE
ANALYSIS
- Top N
- 推移分析
- 関係分析
RESULTS
(インデックス)
ANALYSIS INDEX
PAPER DB
TECH. DOC DB
PAT. DB XML
10 T
80 GB
400 GB
100 GB
TECH DOCs
PAPERS
10 GB
RESULTS DB 5 GB
新技術の分析
24
新技術の分析
ハイブリッド推論 (Hybrid Reasoning)
強み + 強み
弱み – 弱み
25
ハイブリッド分析 : 混合手法
論理的推論手法
• 演繹的推論(Deductive Reasoning) 前提1: すべての人間はいずれ死ぬ 前提2: ソクラテスは人間である 結論: ソクラテスはいずれ死ぬ
• 帰納的推論(Inductive Reasoning) 前提: 太陽は今まで毎朝東から昇っている 結論: 太陽は明日も東から昇る
• 外転的推論 • 類推的推論
+
オントロジー及びルール
機械学習
26
ソーシャルネットワーク 情報ネットワーク
テキスト マイニング
(Induction/帰納法)
SNA (Deduction/演繹法)
ソーシャルメディア分析
セマンティックソーシャルメディア分析
Twitterに含まれる ソーシャルセマンティックス
28
位置情報
ユーザ情報
更新履歴
ツイート内容
ツイート頻度
フォロワー数
など
次のブームは?
30
サイズは問題か?
そうです、 しかしサイズ自体が問題ではありません!
ナレッジ・フラグメンテーション (知識の断片化)が問題です
VS.
ナレッジ・フラグメンテーション
31
出展:Wikipedia
32
拡張知能とは?
知能の拡張化(Augmented Brain)がもたらすもの:
• より大きな全体像の理解
• 文脈依存の知識のリアルタイムでの再構成
• 洞察の獲得
• 予測と意思決定
極めて断片的な知識の統合による実現
Apple Siri (iPhone 4S)
拡張知能における注目技術
IBM Watson (Jeopardy)
Google Voice Translator
34
バーチャル・パーソナル・アシスタントとは、下記を実
現するソフトウェアシステムである
• ユーザが何かを探すか、行うことを助ける(情報というよりも、
課題(タスク)に焦点)
• ユーザの意向と文脈・属性(位置、予定、歴史)を理解(言語を
解釈)する
• ユーザの代わりに作業し、複数のサービスと 情報ソースを調整
し、タスク完了を手助けする
言い換えると、アシスタントはユーザが何かすることを理解し、作業
することで支援してくれる (Tom Gruber, 2010)
バーチャル・パーソナル・アシスタンス?
自律的な主体/エンティティであり、センサを通して観察し、環境に応じて行動
目標の達成に向けて、その活動を指示
目標を達成するために蓄積された知識を学習し、使用
- Russell & Norvig
35
インテリジェント・エージェント?
日本では?
36
Siri (Apple)
しゃべってコンシェル(NTTドコモ)
音声アシスタント(Yahoo Japan)
西野ひかり(NTT西日本)
etc
37
インテリジェント・エージェント? 1. Simple reflex agent
2. General learning agent
3. Model based reflex agent
4. Model and goal based agent
38
Siri?
Siri iOS上で、パーソナルアシスタントアプリ
ケーションとして機能する、インテリジ
ェントソフトウェアアシスタントかつ知
識ナビゲータ
Siri 自然言語UIを実装
• 質問への回答
• レコメンデーションの提供
• ウェブサービスを活用した行為
Siri 時間の経過とともにユーザの好みに適応し
結果をパーソナライズ
39
Siriに何を頼めるか?
• リマインド
• チャットの発信.
• 気象情報.
• 会議の設定.
• emailの発信.
• 計算.
• Wolfram|Alpha, or Wikipediaからの情報
1. サービスの代理実行 タスクの完遂に焦点
2. 会話型インタフェイス 会話を通じた意図の理解
3. 人的文脈認識 個人情報を学習し、応用
• アラームの設定.
• 道案内
• 株価情報.
• タイマーの設定.
• Siriについて.
対話と自然言語の理解
機械学習
証拠性及び確率性の推論
オントロジーと知識表現
計画、推論
サービスの委任・代理実行
40
Siriの技術
会話型 インターフェ
イス 人的文脈認識
サービス委任(代理実行)
41
Siriの技術の概要
42
会話ベースのインターフェイス
43
タスクに紐付く自然言語処理
44
オントロジーによるモデル統合
45
セマンティック・オートコンプリート
46
汎用的タスクとドメインによる 対話モジュールの構成
47
タスクモジュール
48
アップルによる特許申請 (230 pages)
なぜSiriは過去の類似サービスと違うのか
タスクに焦点 何かすることを見つけ、 友達と外出し、そして街を歩き回る、というような 人間的な結合したタスクの集合に焦点
データの構造化に焦点 Siriが特に得意とするタスクの種類は半構造化データを伴い、通常は 複数の条件と複数のソースを伴います
アーキテクチャに焦点 Siriは複数の先進技術をバーチャルアシスタントのために設計されたプラットフォームに統合する過程の豊富な経験に基づいて構築。特にCALOプロジェクトにおいて、Siriはバーチャルアシスタントの構築におけるAIの適応可能範囲に関してノウハウを蓄積
49
50
OpenTable (予約サイト)
Yahoo!Local (地域サイト)
Yelp (クチコミサイト)
etc
検索(キーワード、リンク) => 行動(会話、タスク)
『情報の紐づけ』
Siri
タスクに焦点
データの構造化に焦点
アーキテクチャに焦点
Googleも情報の紐づけ
51
【1】2通り以上の解釈ができる 検索ワードを明確化
【2】検索ワードに関する概要を表示
【3】より深く広い知識の提供から、 予期せぬ発見ができる
最新サービス:ナレッジグラフ
週刊アスキーPLUS 2012年5月17日 http://weekly.ascii.jp/elem/000/000/089/89282/
Saltlux新製品:[IN2]Discovery 2 分散した情報を意味的に統合/分析
統合した画面上で、直感的に知識生態系を把握可能
世の中すべての知識の 融合と検索
正しい意思決定のサポート
52
Q&A
Big Data Intelligence
ありがとう ございました