Yifeng hadoop-present-public

Hadoopの今とこれから

Yifeng Jiang Solutions Engineer, Hortonworks

2015/10/15

© Hortonworks Inc. 2011 – 2015. All Rights Reserved

Page 2 © Hortonworks Inc. 2011 – 2015. All Rights Reserved

自己紹介

蒋逸峰 (Yifeng Jiang)•  Solutions Engineer, Hortonworks•  Apache HBase本の作者•  ⽇本に来て１０年経ちました…•  趣味は⼭登り•  Twitter: @uprush



Hadoopコミュニティのアクティビティ

コード⾏数の増加http://ajisakaa.blogspot.jp

Hortoworksのオープンリーダーシップ

組織毎のコード貢献（2014年）

Hortonworks


HortonworksのApache コミュニティに対する影響力

コミッターの多くがHortonworks社員 -- Apache® Hadoop™プロジェクトの全コミッターの1/3、および他の重要プロジェクトのコミッターの大多数を占める

Hortonworksコミッターの役割 Open Enterprise Hadoopの革新と拡張

Hadoopロードマップに対する影響力リーダーを通じて、重要な要件をコミュニティに伝達

A PA C H E H A D O O P のコミッター

About Hortonworks

顧客 •  556 のお客様 (2015年8月5日時点) •  2015年2期に119 新規お客様追加 •  NASDAQに上場（HDP）

Hortonworks Data Platform • 完全にオープンなマルチテナントプラットフォーム。あらゆるデータ、あらゆるアプリ。

• 一貫したエンタプライズサービス：セキュリティ、オペレーション、ガバナンス

お客様のためのパートナー • オープンソースコミュニティのリーダー、エンタプライズ要件を満たすための革新に注力

• 比類のないHadoopのサポートサブスクリプション

Founded in 2011

Original 24 architects, developers, operators of Hadoop from Yahoo!

740+ E M P L O Y E E S

1350+ E C O S Y S T E M

P A R T N E R S


お客様は、Hortonworks®のテクノロジーを利用してビジネスの変革を図り、新たな事業目標の達成やコストの削減を目指している。ユースケースの多くで、カスタマージャーニーに両方の目標が組み込まれている。

Social Mapping

Payment Tracking

Factory Yields

Defect Detection

Call Analysis

Machine Data

Product Design M & A

Due Diligence

Next Product

Recs

Store Design

Risk Modeling

Ad Placement

Proactive Repair

Disaster Mitigation

Investment Planning

Inventory Predictions

Customer Support

Sentiment Analysis

Supply Chain

Ad Placement

Basket Analysis Segments

Cross- Sell

Customer Retention

Vendor Scorecards

Optimize Inventories

OPEX Reduction

Mainframe Offloads

Historical Records

Data as a

Service

Public Data

Capture

Fraud Prevention

Device Data

Ingest

Rapid Reporting

Digital Protection

Hortonworks Data Platform (HDP)

Open Enterprise Hadoop


オープン

相互運用性

一元化

万全の対応

Page 10 © Hortonworks Inc. 2011 – 2015. All Rights Reserved Tweet: #hadooproadshow



相互運用性

一元化

万全の対応

オープン


完全にオープンなHortonworks Data Platform

リスクの解消完全なオープンソースであるApache技術を提供することで、ベンダー固定化のリスクを解消

コミュニティイノベーションの最大化数百社の企業の数百人の開発者により、コミュニティイノベーションを最大化

シームレスな統合共同エンジニアリングの取り組みを通して、他の先進技術を統合

コミュニティイノベーションの最大化

イノベーションの優位性

独自の HADOOP

時間

イノ

ベー

ショ

ン

オープンコミュニティ



相互運用性

万全な対応

オープン

一元化

YA R N データオペレーティングシステム

オペレーションセキュリティ

ガバナンス

スト

レー

ジス

トレ

ージ

機械学習バッチ

ストリーミング

インタラクティブ

検索

プラットフォーム一元化オペレーション、ガバナンス、セキュリティ

多様なアプリケーション単一クラスタで同時実行

データ取り込みの最大化ローフォーマットかどうかに関係なく、新旧のソースに対応

ビッグデータ資産の共有すべての事業部門、機能部門、ユーザー間での共有

YARN ベースのアーキテクチャによるプラットフォーム一元化


万全な対応

オープン

相互運用性

一元化

© Hortonworks Inc. 2011 – 2015. All Rights Reserved Tweet: #hadooproadshow

最大限の柔軟性を提供

あらゆるデータ新旧のデータセット

あらゆるアプリケーション複数のデータ分析エンジン

あらゆる場所あらゆる環境に対応

バッチ


検索


機械学習

クリックストリームセンサー

ソーシャルモバイル

ジオロケーション

サーバログ Linux Windows

クラウドオンプレミス

業界標準との同期

エコシステム相互運用性の向上 Hortonworksが立ち上げたOpen Data Platform（ODP）イニシアティブの一環

選択肢の開放 HDPと統合された複数のベンダーのコンポーネントを選択可能

無駄な当て推量の解消システムバージョンの調整を行う必要があるアーキテクトに対するメリット

HDP

Apache Hadoop対応オープン

プラットフォーム

Pivotal HD

IIP Apache Hadoop

Apache Ambari

O D P コア

エコシステムとの統合

パートナー



オープン

一元化

相互運用性

万全な対応

信頼できるガバナンス

データ管理データライフサイクル全般における管理

メタデータによるモデリングハイブリッドアプローチにより総合的なデータリネージが実現

相互運用ソリューション共通のメタデータストアにより、Hadoopエコシステム全体で相互運用が可能

オペレーションセキュリティ

GOVERNANCE ガバナンス


スト

レー

ジス

トレ

ージ




検索

Apache Atlas – データガバナンスのための基盤

Rest API Atlasサービス、 HDPコンポーネント、外部ツールへの柔軟なアクセスが可能

SQLのようなドメイン特化型言語を使った検索キーワード、ファセット、フルテキストによる検索

データリネージとスキーマ

HiveServer2上のすべてのSQLランタイムアクティビティを取得エクスチェンジ既存のメタデータのインポートと、ダウンストリームシステムへのメタデータのエクスポート

Apache Atlas

ナレッジストア

監査ストア

モデル型システム

ポリシールール分類

タグベースのポリシー

データライフサイクル管理

リアルタイムのタグベースアクセス制御

REST API

サービス

検索リネージエクスチェンジ

ヘルスケア

HIPAA HL7

l金融

SOX Dodd-Frank

エネルギー

PPDM

小売業

PCI PII

その他

CWM


OPERATIONS セキュリティ

ガバナンス

スト

レー

ジス

トレ

ージ




検索

安定した運用

一元化 Hadoopクラスタの管理・監視

自動プロビジョニング Cloudbreak APIにより、オンプレミスかクラウドのいずれかの環境に数分でクラスタをプロビジョニング

マネージドサービスダッシュボードとアラート機能により、高可用性と一貫したライフサイクル管理を提供

オペレーション

包括的なセキュリティ

包括的なセキュリティプラットフォームアプローチによるセキュリティ

暗号化保存データと移動中のデータの暗号化

管理の一元化セキュリティポリシーとユーザー認証の管理

きめ細かな承認データアクセスを管理

オペレーション SECURITY

ガバナンス

セキュリティ


スト

レー

ジス

トレ

ージ




検索

安定した運用と包括的なセキュリティ

安定した運用

容易なセットアップと設定

リアルタイムのカスタマイズが可能なダッシュボード

包括的なセキュリティ

すべてのコンポーネントの承認と監査

HDFSの透過的なデータ暗号化

Apache Ambari Apache Ranger

© Hortonworks Inc. 2015. All Rights Reserved

ビッグデータの技術革新 ~ Hadoop Core ~



HDFSとYARN – イノベーションの基盤

Hadoop / YARNを用いたデータオペレーティングシステムあらゆるアプリケーション、データセット、環境に対応する、 100%オープンソースのマルチテナント型データプラットフォーム

共有エンタープライズサービスの集中型アーキテクチャをベースに構築拡張可能な階層型ストレージリソース/ワークロード管理信頼性に優れたデータガバナンスとメタデータ管理安定した運用包括的なセキュリティ開発者向けAPIとツール

YARN

ガバナンスセキュリティ

オペレーション

リソース管理

ストレージ

コモディティアプライアンスクラウド

データアクセス：バッチ、インタラクティブ、リアルタイム


HDFS：拡張性、信頼性、安全性に優れたストレージプラットフォーム

拡張性データの増加にあわせて水平方向に拡張し、1つ以上のノードを1度に追加信頼性高可用性（HA）とフォルトトレラント性により、データの損失と破損を防止

コスト効率階層型ストレージで汎用ハードウェアを採用クロスワークロードアクセス

安全性強力なアクセス制御と認証メカニズムの統合すべてのユーザー/グループのデータセットへのアクセスを細かく制御移動中のデータ/保存データを保護

HDFS

YARN：データオペレーティングシステム

C A B C B B A C

B A B A C A

標準ベースのデータインターフェイス

NFS 発信元/ 発信先

REST

RPC

発信元/ 発信先

発信元/ 発信先

あらゆるフォーマットのあらゆるデータを取り込み、保管

柔軟なリードアクセスにより多様なワークロードに対応


HDFSのエンタプライズ機能エンタプライズ機能

•  Namenode HA（冗⻑化）•  単⼀障害点がない

•  ファイルシステムスナップショット

•  HDFS NFS Gateway•  HDFSをNFSマウント、データを簡単にHadoopに

•  データ暗号化 (HDFS TDE)•  データを置くだけで⾃動暗号化


HDFS -- 大規模向け更に効率アップ⼤規模向け•  ティア・ストレージ

•  HDD, SSD, アーカイブ, RAM Disk•  アーカイブ・ティア:コストが最⼤1/6までダウン

•  Erasure Code•  ⽇本のエンジニアからの貢献が⼤きい•  ３レプリケーションと⽐べ、ストレージ効率が２倍

Cluster Storage and Compute Capacity

Cluster Storage Utilization

Compute Utilization


YARNにおけるマルチテナント／ワークロード


HDP 2.3内のApache Spark 1.4.1

完璧な組み合わせセキュリティ、プラットフォーム統合、 Zepplinによる可視化など

リソース管理 – Spark on YARN

マルチテナントワークロードと予測可能なSLA SparkR* RデータサイエンティストはSpark機械学習を活用可能

アプリケーション

ガバ

ナン

スと

統合

セキ

ュリ

ティ

オペ

レー

ショ

ン

YARN

HDFS

Scala Java

Python API

SparkコアエンジンSparkコアエンジン

Spark SQL

Spark Streaming MLlib GraphX


Apache Zeppelinについてインタラクティブな分析を可能にするWebベースのノートブック

特徴アドホックな実験Spark + Hadoopとの緊密な統合複数の⾔語バックエンドをサポートApacheでのインキュベート

ユースケースデータの探索と発⾒データの視覚化インタラクティブなスニペット⼀括処理「モダンデータサイエンススタジオ」


YARN - エコシステムの拡大

YARN：データオペレーティングシステム

データアクセス

1 ° ° ° ° ° ° ° ° °

° ° ° ° ° ° ° ° ° °

°

N

HDFS Hadoop Distributed File System

データ管理

環境の選択肢Linux Windows オンプレミスクラウド

バッチ

MapReduce

スクリプト

Pig

検索

Solr

SQL

Hive

NoSQL

HBase Accumulo Phoenix

ストリーム

Storm

インメモリ

Spark

その他

ISVエンジン

Tez Tez Slider Slider

SAS統合 SASで、Hadoopからのデータの取り出し、 Hadoopを利用したインメモリ処理、 Hadoop クラスタ内での直接動作が可能に

Slider Hbase、Accumolo、StormなどのSlider経由でYARN上のDocker化アプリケーションを実行 Solr HDP 2.3を利用して Solr検索エンジンをYARN上で実行できるように

YARNとDocker セキュアなクラスタおよびアンセキュアなクラスタでコンテナを実行するための透過的な方法


Data Operating System

Enable all data and applications TO BE

accessible and shared BY

any end-user



Page 37 © Hortonworks Inc. 2011 – 2015. All Rights Reserved Page 37 © Hortonworks Inc. 2011 – 2015. All Rights Reserved Tweet: #hadooproadshow

サンドボックスをダウンロードし、試してみてください： hortonworks.com/sandbox

Page 38 © Hortonworks Inc. 2011 – 2015. All Rights Reserved Page 38 © Hortonworks Inc. 2011 – 2015. All Rights Reserved Tweet: #hadooproadshow

Thank You

Software

Yifeng hadoop-present-public