Oracle Autonomous Data Warehouse Cloudに組み込 …...Oracle Autonomous Data Warehouse Cloudに組み込まれている Oracle Machine Learningノートブック Charlie Berger、MSエンジニアリング、MBA

Copyright © 2018, Oracle and/or its affiliates.All rights reserved. |

Oracle Autonomous Data Warehouse Cloudに組み込まれている

Oracle Machine Learningノートブック

Charlie Berger、MSエンジニアリング、MBASr. Director Product Management、Machine Learning、AIおよびCognitive [email protected] www.twitter.com/CharlieDataMine

http://www.twitter.com/CharlieDataMine


免責条項

下記事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。マテリアルやコード、機能の提供をコミットメント（確約）するものではなく、購買を決定する際の判断材料になさらないで下さい。オラクルの製品に関して記載されている機能の開発、リリース、および時期については、弊社の裁量により決定されます。

2

簡単• わずか15秒のデータウェアハウスの

プロビジョニング

• データベースの自動管理

• 自動チューニングによるシンプルなロードおよび実行

• 専用クラウド対応移行ツール

（Redshiftなど）

高速• パフォーマンスが最大でRedshiftの

14倍に向上1

• 高い同時実行性により複数ユーザーアクセスとワークロードに対応

• 基盤は卓越したパフォーマンスを実現するOracle Exadata

柔軟性• ユーザー定義サイジング、オンデマン

ド・スケーリング、待機シャットオフで使用した分量についてのみ支払い

• 計算およびストレージの非依存型スケーリング

• 停止時間ゼロでの瞬時スケーリング

価値提案

Copyright © 2018, Oracle and/or its affiliates.All rights reserved. | 3

Oracle Autonomous Data Warehouse Cloudの概要

Oracle Autonomous Data Warehouse Cloudのおもな機能優れた柔軟性リソースの固定ブロックのために過払いすることなく計算およびストレージ能力を個別にスケーリング

組込みWebベースSQLマシン学習（ML）ツールApache ZeppelinブラウザからML実行可能なOracle Machine Learningノートブック

データベース移行ユーティリティAmazon Redshift、SQL Server、その他

のデータベースからの移行が容易な専用クラウド対応移行ツール

エンタープライズ・クラスのセキュリティデータは、クラウドで、および移動中と格納されているときにデフォルトで暗号化

Oracle SQLAutonomous Data Warehouse Cloudは、Oracle Databaseをサポートするすべてのビジネス分析ツールと互換性があります

セルフ・ドライブシステムの稼働中にシステム自体のセルフチューニング、パッチ適用、アップグレードを行う完全自動化データベース

クラウドベースのデータ・ロードOracle Object Store、AWS S3、またはオンプレミスからの高速でスケーラブルなデータ・ロード

Oracle Machine Learning


高パフォーマンスの問合せおよび同時発生ワークロードさまざまなタイプのユーザーに合わせて事前構成されたリソース・プロファイルにより、問合せのパフォーマンスを最適化

現代のクラウド・データウェアハウス向けのアーキテクチャ

サービス・

コンソールOracle Machine Learning

Autonomous Data Warehouse Cloud

Autonomous Database Cloud

Oracle SQL Developer

開発者向けツール

Oracle Object Storage Cloudフラット・ファイルとステージング

データ統合

サービス

Oracle Data IntegrationPlatform Cloud

Oracle Cloud Compute上のサード・パーティDI

オンプレミスのサード・パーティDI

Oracle Analytics Cloud

高度な分析


サービス管理組込みアクセス・ツール

製品のご紹介：Oracle Machine Learning SQLノートブック


Oracle Machine LearningOracle Autonomous Data Warehouse CloudのMachine Learningノートブック

おもな機能

• データ・サイエンティスト向け共同作業UI– Oracle Autonomous Data

Warehouse Cloud（V1）にパッケージング

–共有ノートブック、テンプレート、権限、スケジューラなどへのアクセスが容易

– SQL MLアルゴリズムAPI（V1）– ML分析のデプロイメントをサポート


Oracle Machine LearningOracle Autonomous Data Warehouse CloudのMachine Learningノートブック

おもな機能

• データ・サイエンティスト向け共同作業UI– Oracle Autonomous Data

Warehouse Cloud（V1）にパッケージング

–共有ノートブック、テンプレート、権限、スケジューラなどへのアクセスが容易

– SQL MLアルゴリズムAPI（V1）– ML分析のデプロイメントをサポート


Oracle Machine Learningクイック・デモ






















Oracle Machine Learning/Oracle Advanced Analyticsのプラットフォーム

データ管理プラットフォームに組み込まれたマシンン学習アルゴリズム

Database Cloud“Oracle Machine Learning” Database Edition

マシン学習アルゴリズム、統計関数とOracle Rの統合によりスケーラブルな並列処理分散インデータベース実行を実現

Big Data Cloud Service“Oracle Machine Learning” Oracle Big Data Cloud

ORAAH - マシン学習アルゴリズム統計関数とOracle Rの統合により

スケーラブルな並列処理分散実行を実現

“分析プロデューサー”データ・サイエンティスト、Oracle Rユーザー、市民データ・サイエンティスト

クラウドにおいて機械学習を共同で行い分析手法を共有するデータ・サイエンティスト向けの新しいZeppelinノートブック・ベースUI

Data ManagementおよびAdvanced AnalyticsのプラットフォームOracle Big Data SQL


Oracle Machine LearningとAdvanced Analytics戦略およびロード・マップ

• 複数のデータ・プラットフォーム、分析エンジン、言語、UIおよびデプロイメント戦略をサポート

ビッグ・データ/Oracle Big Data Cloud リレーショナル

MLアルゴリズム共通コア、並列処理、分散

SQL R、PythonなどGUIOracle Data Miner、RStudio

ノートブック

Oracle Database Cloud DWCS


Oracle Machine Learning/Advanced Analytics機能の詳細


おもな機能

並列処理のスケーラブルなマシン学習

アルゴリズム、およびOracle R統合

インデータベースとHadoopの統合、データの移動なし

データ・アナリスト、データ・サイエンティストおよび

開発者

ドラッグ・アンド・ドロップのワークフロー、RおよびSQL API

データ管理を強力で高度な/予測分析プラットフォームに

拡張

企業規模の予測分析デプロイメントの有効化および

アプリケーション

Oracle Machine Learning/Advanced Analyticsスケーラブルな企業規模の予測分析を最短期間で提供


Oracle Rユーザー、

データ・サイエンティスト

複数のデータ・サイエンティスト・ユーザー・ロールをサポートOracle Machine Learning/Advanced Analytics

データ・アナリスト、

市民データ・サイエンティスト

アプリケーション開発者DBA

追加の関連データと"エンジニアド機能"

センサー・データ、テイスト、非構造化データ、トランザクション・データ、空間データなど

履歴データ履歴データの収集

予測のために"スコアリングされる"履歴または現在のデータ

予測と洞察

Oracle Database 12c


複数のデータ・サイエンティスト・ユーザー・ロールをサポートOracle Machine Learning/Advanced Analytics

アプリケーション開発者DBA

追加の関連データと"エンジニアド機能"

センサー・データ、テキスト、非構造化データ、トランザクション・データ、空間データなど

履歴データ履歴データの収集

予測のために"スコアリングされる"履歴または現在のデータ

予測と洞察

Oracle Database 12c

Oracle Rユーザー、

データ・サイエンティスト


データ・アナリスト、

市民データ・サイエンティスト

Oracle Machine Learning SQLノートブック・ユーザー

ビッグ・データSQL/R

Oracle Object Store

“エンジニアド機能”– ドメインの知識（ベスト・モデルの鍵）を反映する派生属性例：• 数• 合計数• 経時的な変更

SQL/R

データ・レイクの凝集

すべてのデータの管理および分析データ・サイエンティスト、Rユーザー、市民データ・サイエンティスト

アーキテクチャ的に、多くのオプションと柔軟性


種別– Naive Bayes– ロジスティック回帰（GLM）– ディシジョン・ツリー– ランダム・フォレスト– ニューラル・ネットワーク– サポート・ベクター・マシン

– 明示的セマンティック分析（ESA）

クラスタリング– 階層型k-means– 階層型O-Cluster– 期待値最大化（EM）

異常検出

– 1クラスSVM

時系列

– Holt-Winters、規則的と不規則的（トレンドおよび季節的変動のあり/なし）

– 単純、二重指数平滑法

回帰– 線形モデル– 一般化線形モデル– サポート・ベクター・マシン（SVM）– 段階的線形回帰– ニューラル・ネットワーク

– LASSO

属性評価

– 最小記述長

– 主成分分析（PCA）– 非管理型ペアワイズKLダイバージェンス

– 行およびAIのCUR分解

相関ルール

– Apriori/マーケット・バスケット

予測問合せ

– 予測、クラスタ、検出、機能

SQL分析

– SQLウィンドウ、SQLパターン、SQL集計

A1 A2 A3 A4 A5 A6 A7

• Oracle Advanced Analytics（Oracle Data Mining + Oracle R Enterprise）とORAAHの組合せ

• Oracle Advanced Analyticsには、パーティション化モデル、トランザクション、非構造化、地理空間、グラフなどのデータのサポートが含まれています。

Oracle Machine LearningアルゴリズムとAdvanced Analyticsのアルゴリズム

特徴抽出– 主成分分析（PCA）– Non-negative Matrix Factorization– 特異値分解（SVD）– 明示的セマンティック分析（ESA）

テキスト・マイニングのサポート– アルゴリズムでテキスト・タイプをサポート– トークナイゼーションとテーマ抽出– ドキュメント類似度の

明示的セマンティック分析（ESA）

統計関数– 基本統計関数：min、max、median、stdev、

t-test、F-test、Pearson’s、Chi-Sq、ANOVAなど

Oracle Rパッケージ

– 埋め込みRの実行によるCRAN Rアルゴリズム・パッケージ

– Spark MLlibアルゴリズム統合

エクスポート可能なMLモデル– デプロイメントのための

CおよびJavaコード


データはデータベースとHadoopに残される

インデータベースで発生するモデル構築とスコアリング

データ並列呼出しでOracle Rパッケージを使用

Oracle ITへの投資を活用

データ重複の排除

別個の分析サーバーの排除

企業規模アプリケーションの提供

ML/予測分析およびコード生成用GUI Oracle Rインタフェースでデータベースを

HPCエンジンとして活用

おもな利点

Oracle Machine Learning/Advanced Analytics

従来の分析

時、日または週

データ抽出

データの準備と変換

データ・マイニング・モデル構築

データ・マイニング・モデル

“スコアリング”

データの準備と変換

データの

インポート

削減

モデル“スコアリング”埋め込みデータの準備

データの準備

モデル構築

Oracle Advanced Analytics

秒、分または時

企業規模の予測分析を最速で提供


Oracle Advanced Analytics 12.2モデル構築時間（パフォーマンス）

44秒/ 72

GLMの回帰

サポート・ベクター・

640 55秒/512 93秒/ 144

マシン（IPMソルバ） 640 404秒/512 1411秒/144

サポート・ベクター・マシン（SGDソルバ） 640 84秒/256 188秒 /72

非公式

結果の読取り方法として、2つのチップX5（IntelおよびLinux）とT7（SparcおよびSolaris）が比較されます。この2つの方法では、並列度の上昇（ドロップ）に伴ってスケーラビリティ（秒単位の時間）を測定します。The data also has high cardinaCloitpyyrcigahtte©go20r1ic8a, Olcraoclluemannd/sowrithsiacfhfilitartaesn.sAllal triegshtisnre9sKervmedin.i|ng attributes (when algorithms require explosion).12.1との比較はなく、12.1のアルゴリズムは、このサイズのデータでは実行することができなかったと言えます。

Oracle Advanced Analytics 12.2のアルゴリズム

行数（Ms）

T7-4 (SparcおよびSolaris） X5-4（IntelおよびLinux）

モデル構築時間（秒/並列度）

属性の重要性 640 28秒/512

k-meansクラスタリング 640 161秒/256 268秒/144

期待値最大化（EM） 159 455秒/512 588秒/144

Naive Bayesの種別 320 17秒/256 23秒/72

GLMの種別 640 154秒/512 363秒/144

すごいですね。これは速い。

24時間で、米国の全人口の新しい予測モデルを構築できました。

属性が400の場合で4倍です。

詐欺予測デモ自動インデータベース分析手法

自動化月次"アプリケーション" 以下のように追加：CreateView CLAIMS2_30AsSelect * from CLAIMS2Where mydate > SYSDATE – 30

時間測定：set timing on;

drop table CLAIMS_SET;exec dbms_data_mining.drop_model('CLAIMSMODEL');create table CLAIMS_SET (setting_name varchar2(30), setting_value varchar2(4000));insert into CLAIMS_SET values ('ALGO_NAME','ALGO_SUPPORT_VECTOR_MACHINES');insert into CLAIMS_SET values ('PREP_AUTO','ON'); commit;

begindbms_data_mining.create_model('CLAIMSMODEL', 'CLASSIFICATION','CLAIMS', 'POLICYNUMBER', null, 'CLAIMS_SET');

end;/

-- 上位5件のもっとも疑わしい詐欺保険請求 select *from(select POLICYNUMBER, round(prob_fraud*100,2) percent_fraud,

rank() over (order by prob_fraud desc) rnk from(select POLICYNUMBER, prediction_probability(CLAIMSMODEL, '0' using *) prob_fraud from CLAIMSwhere PASTNUMBEROFCLAIMS in ('2to4', 'morethan4'))) where rnk <= 5order by percent_fraud desc;


Oracle Advanced Analyticsリアルタイム・スコアリング、予測、推奨事項

• その場で、シングル・レコードに（コール・センターなどからの）新しいデータが適用されます

コール・センター

Web モバイル

アドバイスの取得ブランチオフィス

ソーシャル・メディア

電子メール

R

Select prediction_probability(CLAS_DT_1_15, 'Yes'USING 7800 as bank_funds, 125 as checking_amount, 20 as credit_balance, 55 as age, 'Married' as marital_status,250 as MONEY_MONTLY_OVERDRAWN, 1 as house_ownership)

from dual;

Likelihood to respond:

Oracle Cloud


属性で予測モデルを構築オラクルのマシン学習により新しい可能性を加速

マシン学習モデル → 関数(X1, X2, ….X) → Y (LTV_BIN);


可能性


属性で予測モデルを構築オラクルのマシン学習により新しい可能性を加速

マシン学習モデル → 関数(X1, X2, ….X) → Y (LTV_BIN); 可能性

属性で予測モデルを構築

→ Y (LTV_BIN); 可能性

オラクルのマシン学習により新しい可能性を加速

マシン学習モデル → 関数(X1, X2, ….X) → Y2 (BankFunds


属性で予測モデルを構築

→ Y (LTV_BIN); 可能性

オラクルのマシン学習により新しい可能性を加速

マシン学習モデル → 関数(X1, X2, ….X) → Y2 (BankFunds


Oracle Data Miner“ワークフロー”UI”市民データ・サイエンティスト"向けの使いやすいUI、SQLおよびPL/SQLスクリプトにより高速デプロイ

• SQL Developer拡張機能

Oracle Cloud

ステップ1：”市民データ・サイエンティスト"が、DS IDE（ODMr、RStudio）を使用して、ML手法を構築、テスト、適用

• 使いやすく、共有可能な分析手法を定義

• ワークフローAPIとデプロイメント用のSQLコードを生成

ステップ2：→OAC/DVユーザーの追加Viz/Analytics向けデータベースでの洞察および予測





マシン学習アルゴリズム洞察、予測

優れたマシン学習のコア要素

A1 A2 A3 A4 A5 A6A7

ドメインの知識とデータ

A1 A2 A3 A4A5 A6 A7

マシン学習アルゴリズム


マシン学習におけるもっとも重要な要素は何ですか。デプロイメントです!!

A1 A2 A3 A4 A5 A6 A7

マシン学習アルゴリズム

“考え中”

データベース


まとめと次のステップ


Oracle Machine LearningとAdvanced Analyticsデータ管理プラットフォーム

55

まとめ

• マシン学習、予測分析、および"AI"は、必須の要件になっています。

• 勝利するのは、予測と洞察を最短時間で抽出するデータ・サイエンス・チームを

持っている企業です。

• データ管理とデータ・サイエンスのアイランドが別々になっていると効果的ではありません。

• データ管理と高度な分析が組み合わされた環境に改良し、

データを分析し、マシン学習を実行し、本質的に"考える"ことができるようにする

必要があります。

• ML手法および組織で発見された洞察と予測を"運用可能"にして、プロセスの自動化と顧客の行動予測を実現してください。


始めるには - Oracle Machine Learning/Advanced Analyticsのリソースおよびリンク

Oracle Advanced Analyticsの概要• Oracle's Machine Learning and Advanced Analytics 12.2cおよびOracle Data Miner 4.2 New Features preso• Oracle Advanced Analytics Public Customer References• OTN上のホワイト・ペーパーオラクルのマシン学習と高度な分析のためのデータ管理プラットフォーム• オラクル社外秘OAA Product Management Wiki and Beehive Workspace

（最新のプレゼンテーション、デモ、製品などの情報を掲載）

YouTubeに録画されたOracle Advanced Analyticsのプレゼンテーションとデモ、ホワイト・ペーパー

• Oracle's Machine Learning & Advanced Analytics 12.2 & Oracle Data Miner 4.2 New Features YouTubeビデオ• Oracle Advanced Analytics、Data Mining、Machine Learning（7件以上の“ライブ”デモ（Oracle Data Miner 4.0 新機能、小売り、

詐欺、ロイヤルティ、概要など））についてのYouTube動画のライブラリ• 概要YouTube動画（Oracle Advanced AnalyticsおよびMachine Learning

スタート・ガイド/トレーニング/チュートリアル

• OTNでのOracle Advanced Analytics/Oracle Data MinerワークフローGUIオンライン（無償）チュートリアル・シリーズへのリンク• OTNでのOracle Advanced Analytics/Oracle R Enterprise（無償）チュートリアル・シリーズへのリンク• Oracle Cloudを今すぐお試しくださいへのリンク• スタート・ガイド（Oracle Data Miningのブログ・エントリあり）へのリンク• 新しいOracle Advanced Analytics/Oracle Data Miningの2日間に及ぶインストラクターによるOracle Universityコースへのリンク• Oracle Data Miningのサンプ・コード例

その他のリソース、ドキュメント、およびOTNディスカッション・フォーラム

• OTNページでのOracle Advanced Analyticsのオプション• OTNページでのOracle Advanced Analytics/Oracle Data Mining、Oracle Data MiningのドキュメントおよびOracle Data Miningのブログ• OTNページのOracle Advanced Analytics/Oracle R Enterpriseのページ、Oracle R Enterpriseのドキュメントおよびブログ• OTNでのOracle SQLベースの基本統計関数• OTNでのOracle R Advanced Analytics for Hadoop（ORAAH）

分析とデータ・サミット、すべての分析、すべてのデータ、実用的な資料。

2019年3月12日～14日、Redwood Shores、CA•


http://www.oracle.com/technetwork/database/options/advanced-analytics/oracleaaml122otn-3703813.pdf

http://www.oracle.com/technetwork/database/options/advanced-analytics/odm/odm-customers-086483.html

http://www.oracle.com/technetwork/database/options/advanced-analytics/oaa122whitepaperv2-3787080.pdf

https://stbeehive.oracle.com/teamcollab/wiki/Oracle+Advanced+Analytics+PM+Workspace

https://youtu.be/WoxXSCf0aeU



https://apexapps.oracle.com/pls/apex/f?p=44785:24:13318499153035::NO::P24_CONTENT_ID,P24_PREV_PAGE:11925,1

https://apexapps.oracle.com/pls/apex/f?p=44785:24:4786379229847:PRODUCT:NO::P24_CONTENT_ID,P24_PREV_PAGE,P24_PROD_SECTION_GRP_ID:8984,141,

https://shop.oracle.com/apex/f?p=cloud:free&intcmp=cloud-tryit

https://blogs.oracle.com/datamining/evaluating-oracle-data-mining-has-never-been-easier-evaluation-kit-available-.-updated-for-oracle-database-122c-sqldev-42

http://education.oracle.com/pls/web_prod-plq-dad/db_pages.getpage?page_id=609&get_params=dc:D91316,clang:EN

http://www.oracle.com/technetwork/database/options/advanced-analytics/odm/odm-samples-194497.html

http://www.oracle.com/technetwork/database/options/advanced-analytics/index.html

https://blogs.oracle.com/datamining/

https://blogs.oracle.com/R/

https://youtu.be/WoxXSCf0aeU

http://www.oracle.com/technetwork/database/database-technologies/bdc/r-advanalytics-for-hadoop/overview/index.html

http://www.biwasummit.org/


www.biwasummit.orgwww.analyticsanddatasummit.org

Documents

Oracle Autonomous Data Warehouse Cloudに組み込 …...Oracle Autonomous Data Warehouse Cloudに組み込まれている Oracle Machine Learningノートブック Charlie Berger、MSエンジニアリング、MBA