©2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice

HP VERTICA 行业应用案例介绍将海量数据变成财富

2011 年 8 月上海 深圳 北京

通讯

2 HP Confidential

挑战• 顾客和产品 互动• 竞争激烈的市场中与混合高、低利润的产品• 大数据量省略了基础设施遗产的功能

解决方案• 分析投资组合，洞悉流失和满意度• 区分高价值的基础设施投资、利润基础设施以及通过经验数据的 应用程序• 商店、存取以及货币化经由新的分析范例

收益• 提高客户的满意度、自留额以及利益率• 使高成本低价值的产品和服务有所缓和• 不需要任何客户、交易或产品奉献详细资料就可以得到不断变化的管理和投资比例

· 将自 1999 年以来采集的所有呼叫详细记录 (CDR) 存储在磁带和磁盘上

· SS7 数据仓库包含数据集市支持具体业务流程

· CDR 数据仓库支持的业务流程 ---- 法律、监管、工程、财政

呼叫详细数据

· 推动更优越平台建立的三个业务流程- 需要建立新的内部软件（ Verizon 无线、 CRIS( 现行研究信息系统 ) ）- 需要改进日常后置处理分析（ OCN ）- 需要能够建立按需分析的能力（工程、法律、监管）· 再设计数据仓库，以便抽取、转换、丰富和报告：- 数据输入：任何数据、任何形式- 数据输出：任何用户要求的格式· 解决基于不同数据源业务的新问题- 网络前沿、 IP 流量模式-CRIS 、 BAF 及其他传统主机数据格式- 所有等级的明细、实时分析· 降低数据仓储成本- 数据仓储从主机移至网格集群- 降低数据库授权和支持成本- 使用低成本第三方 ETL 和报告工具在列存储数据库上建立新应用

为什么要进行再设计？

Vertica 数据库使我公司 Traffic Track （流量追踪）团队可以：

- 降低新应用开发的时间和成本（无线应用）- 缩短周期时间、提高特设分析（ ad-hoc analysis ）的宽度（ OCN （东方有线））- 引入比较便宜的硬件（ HP 网格）和软件，降低数据中心建设成本。- 建立一个数据库基础，该基础允许数据迁移到柔性加载、柔性提取、柔性转换和柔性报告的数据环境，该环境能有效处理多格式数据输入成本，而该成本在短周期内可有效地转换为客户端设计的输出报告。

最终的想法

8 周内完成了对 CDR 分析的革新

现状

•可供分析的 CDR 在线时间仅为一周。

•只允许 2位分析员访问 。

•硬件造价高达 50万美元

•4 个 FTE ，分别用于加载、卸载和测

试数据

•运行、监管、营销中另外需要 3 个

CDR 集线器

VERTICA 方案

•将 4 个 CDR 集线器并入“超级 CDR”

数据库。

•CDR 数据不超过 12TB 。

•在 6 个拥有本地磁盘的现成服务器组成的

集群上运行。

•列型架构简化了设计—超级 CDR表格共

有 100 列，无效能损失。

•在 Vertica 自动设计与调整软件协助下在

八周内可从 Oracle 数据库中将数据迁移

出。

> > >收益

•为更多人提供了更多数据。

• CDR 数据在线时间延长到 13 个月。

• 允许收入保障、运营、营销、监管部

门的 100位分析员访问系统。

•每年可储存更多、更优、用于解决给付争议

的、保存了 8位数字的数据。

•硬件和数据中心成本降低了超过 50万美元。

“Vertica 分析数据库”极大地提高了分析性能，为变更Verizon 使用的 CDR 系统提供了长期最佳实例。

8 周内完成了对 SNMP 分析的革新

现状

•使用 CA eHealth 获取和分析

Comcast 公司网络的性能 (SNMP) 数据

•维护费用超过 1百万美元。

•规模小不足以应付 Comcasts 网络的数

据量 (40TB)

•不能轻易整合非 SNMP 数据 (如 xDR 数

据 )

•快速加载与查询需求和大压缩量需求

VERTICA 方案

•用基于 Vertica 系统的内部系统代替商用

网络性能套件

•唯一可满足 SLA （服务水平协议）的数

据库 (对比 Oracle RAC 数据库和

SybaseIQ 数据库 ):

• 不到一分钟通话查询

• 可加载 15万条记录 /秒

• 10:1 压缩比 ( 实际上为 -16:1)

• 自动 HA 、自动冗余及较低硬件成本

> > >收益

•能更快地分析更多网络数据。

•提高了服务质量– 在客户发现问题前发现网

络问题

•更优的网络建设和改善经费优先分级 – 基于

加载和需求分析

•每年节省 1百万美元以上的数据中心建设和

维护费用

“Vertica 系统帮助我们解决了以前非常耗时或不可能完成的分析工作。使更多的业务经理能快速、方便地存取信息。这项技术对竞争激烈的市场，比如电信市场，来说简直是无价之宝。” - Comcast公司网络运营高级主管 --- Brian Harvel

8 HP Confidential

挑战• 了解用户活动来龙去脉的行为举止• 量化增强功能的利益或修改用户体验• 使用户交互的影响以及联合品牌价值达到最大值

解决方案• 通过活动捕获和分析经验数据• 通过控制小组反复分析对结果的测量来及时修改用户体验• 继续对用户满意度，品牌认知，收益，发展以及利益率做出测量

收益• 显著提高运动或活动的性能• 增强用户的满意度，盈利性和忠诚度• 及时”的分析提供了只用传统平台成本 30％的 50倍 - 1000倍的性能

Web 2.0 网络游戏

Zynga 公司对网站分析的利用

规格节点规格 : 2 处理器、 8核 Intel 、 4.0TB 直接连接式存储、

72 GB RAM

总节点数 : 230 个节点 (2套 )

平均查询时间 : 5-10 秒数据大小 : > 2 PB 原始数据、压缩比为 10:1

平均加载量 : 120 GB/ 数据流

“ Vertica 提供给 Zynga 的 200-节点列形数据仓库可不只个简单的分析小工具，它每天能处理 4千万玩家和7TB 新数据。”

Zynga公司主管网络分析工作的副总裁 ---- Ken Rudin

Zynga 是世界最大的社交游戏公司、世界第二大游戏公司。

建立在云系统中的 Vertica 数据库可帮助游戏公司更好地满足用户的需求 “BI stack 的迷人之处在于不需要牺牲功能或性能就能够降低成本。不需要高昂硬件、人员和其他资源投入，使企业在建立伊始就能具备一个一定规模的端对端企业 BI 解决方案，并输出分析结果”

CrowdStar*公司执行总裁及创办人 ----Peter Relan

• Sibblingz虚拟平台由多个社交游戏组成，提供基于Flash 的迷你游戏和优质内容，可以使用户在虚拟世界里尽情遨游。

• CrowdStar 是一家基于 Facebook 的社交游戏公司，是目前最流行的琐事挑战游戏《 Know-It-All》的开发人。

• 在云系统中开发的 BI 平台

Playdom 依赖 Vertica 数据库完成用户行为建模“Tableau 和 Vertica 数据库为我们公司带来的最大商业利益是，使用这两个数据库可以使我们快速了解用户在游戏中的行为，从而掌握用户喜好。在数千万甚至数亿的 Vertica 数据行中查询一个数据，只需等待数十秒或更短时间。”Playdom 公司商业智能副总裁 ----David Botkin

• 每天处理超过 2.40 亿次安装和 8百万玩家

• 每天建立超过十亿的新数据行 – 约 2兆兆字节 /天

• 使我们的产品经理能看到游戏实时统计数据，并监视它们是否运

行良好。

• 各种数据都存储在一个数据仓库中，久而久之，就可以从这些数

据中解读用户的行为模式。

金融服务

12 HP Confidential

挑战• 动态的市场，资产估值的波动，和丰富的未被利用的资源• 阻碍提供卷的数据分析• 数据模型的合规性限制和排列

解决方案• 结构化，半结构化和非结构化数据的综合分析• 根据应用程序和要求提取相关实例信息• 市场模拟，疗效和立法坚持在单一平台收益• 客户和市场发展趋势的预测洞察• 大幅增加的资产的性能和价值• 几乎无限的投资组合模拟和估值模型

Financial Services

• 世界顶级高频交易公司之一

• 选择 Vertica 前，已经对 16家供应商进行了评

估

• 3 年 TAQ 数据、 1.5 PB原始数据、压缩比为

13:1

• 加载延迟 < 5 秒 .

• 平均查询时间为 3 秒 .

• 60 个 Hadoop 连接

• 全球部署

Vertica in 金融服务

Financial Services

• 全球最大银行之一• 欺诈侦测用信用卡数据• 88 HP 节点• 加载速度 9TB/小时，目前已存储 > 1PB原始

数据 .

• POC 300TB 原始数据， 50TB 存于 Vertica 数据库、 450TB 存于 TeraData 数据库。

• 实时处理• 每年节省数百万美元

Vertica in 金融服务

Financial Services

• 全球最大银行之一 • 投资银行的客户资料• Infomatica -> Vertica -> Cognos/BO

• 比 Oracle 数据库的处理速度高 100倍以上。 • 实现了夜间加载，按照分钟而不是天数记录 ELT 。 • 全球用户超过 3000家。数据加载过程可同步进行实

时访问。• 为该公司节省了百万美元的数据中心建设成本，并创造了数百万美元的收益。

Vertica in 金融服务

16

BlueCrest Group领先的欧洲资产管理公司

HP Confidential

“在我们的商业中，意识到贸易机会是依赖于对市场数据的分析， Vertica让我们能分析更多的数据，比以往任何时候都更快的速度 ... ...我们很高兴能将 Vertica 的性能优势遍及我们所有生意以及我们所有分公司。”

-Mark Holt, CTO of the BlueCrest group

17

医疗

HP Confidential

挑战• 确定各项举措，基准日益增长的索赔和会员资料• 装载大量的数据同时分析诊断，医疗和处方索赔数据• 确定关键医疗变量的相关成本，使用率，性能和质量的计划和雇员的驱动程序

解决方案• 发展援助计划和积极确认并计划以改进成本和质量为结果的雇主的预测模型• 检测索赔欺诈和医生，医院和药品福利管理者之间的相互勾结

收益• Analyze disparate medical and pharmaceutical data while creating a

holistic diagnosis• 分析不同的医疗和药品数据，同时创造一个整体诊断• 大幅提高医疗保健计划的有效性，同时降低相关费用• 优化的容量管理和保留原始详细数据强于总结意见

Vertica in Retailing挑战 顾客忠诚度 高度竞争的市场 以往基础设施能力的数据量吞吐能力 解决方案 分析 POS兆位元组的数据更有效地管理库存 理解用户网上行为 收益 高用户忠诚度 极低的数据中心成本 以更低的成本就用户行为模式和竞争对手行

动做出快速反应。

5one – 是一家专门从事用户忠诚度咨询、分析工作、并提供技术解决方案的著名营销服务公司。

“目前，我公司的所有数据环境都是在 Vertica 数据库中运行的，所有的数据查询在一分钟内都会有结果。事实上，我们所有的数据 100% 都能在几秒钟内被查询到，而使用 Oracle 数据库，十个查询里有 1 个会查询失败。简单的说，相对于 Oracle 数据库， Vertica 数据裤的执行时间平均缩短了 30倍，初次授权成本也大大降低了。 通过简单地增加具有本地存储的标准硬件节点，我公司的硬件足迹也已经由 Vertica公司进行了精简。我公司在英国数据中心有 8 个节点，在南非数据中心有 6 个节点。我公司已经使用 Vertica 数据裤超过一年时间，根据我个人的专业经验，我认为列导向数据 存储是唯一适用于零售数据分析的数据库存储模式， Vertica公司的产品是目前市场上价格 / 性能 / 功能的最佳组合。” 5One 公司首席技术官 ----Stefan Tual

Sample Customers

Guess – 美国著名服装零售商

“服装零售市场瞬息万变，所以我们需要一个能够满足我公司的快节奏信息要求的高性能数据分析平台。在评估了其他几家供应商后，我们最终选择了 Vertica公司，原因是 Vertica公司的数据库能在创记录时间内给出我们业务上需要的数据查询结果，而成本却比其他供应商低得多。”

Guess 公司首席信息官 ----Mike Relich

• 我们使用 Vertica 数据库来分析公司全球多个数据中心内的数十 TB 的销售点 (POS) 、制造、库存、客户和商店绩效数据。

• Vertica 数据库查询速度是以前使用的数据库方案查询速度的 200倍。• 可以使用移动设备在店铺和仓库层访问 Vertica 数据库。

Sample Customers

Groupon – 全球领先的“ deal-of-the-day （当日交易）”购物网站。“基于持续快速地占领新市场的需要，我公司把高级分析工作看做实现订阅、收益和用户满意度目标的关键。 Vertica公司为我们提供了一个理想的平台，通过这个平台可以对我们网站订阅用户产生的海量数据进行分析，从而洞察各种营销手段和促销活动的有效性。我们把 Vertica 分析平台看做公司建立各种分析策略的平台，是公司实现下一步发展不可缺少的条件。”

Groupon 公司首席数据官 ----Mark Johnson 博士

• 作为历史上成长最快的公司 –选择 Vertica ，是因为该公司可为我们的成长助力。• Vertica 揭开了公司收益和具体消费者之间的复杂关系• 选择 Vertica是因为 Vertica 数据库的平行数据加载能力、卓越查询性能和操作简易性

Sample Customers: Groupon

更多的数据，更深入的了解，更多的价值，就是现在！

用您的数据…在您的环境中…试试吧！22 HP Confidential

Real-Time Analytics

Agile Environment

FastestTime-to-Value

革命性的实时分析平台 ---

在今天，以明天的需求为目的而设计

简单易用 - 立刻向企业用户， DBA 和程序员体现价值

一种型号不能满足所有 -但系统必须无缝集成

性能，减少数据占用空间以及适用范围是关键。

谢 谢 !