10
上海-北京-深圳-南京-成都-哈尔滨-昆明 -贵阳-长沙-西安-杭州-大连-乌鲁木齐 德拓, 数据创新领导者 南京市雨花台区绿都大道4号绿地之窗C2栋420室 四川省成都市天府大道北段1700号环球中心S1 2025 DANA智能大数据平台 DANA智能大数据平台是德拓从事大数据行业来不断探索和积累的 大数据整体解决方案。工具产品层的DanaStudio数智开发平台和 PandaBI数智决策平台,提供更便捷的数据治理和可视化工具栈。 DDP技 术平台可以给开发者提供全面的底层技术引擎服务。 上海市徐汇区虹漕路448号现代物流大厦1幢9楼 +86-021-61619678 +86-021-61619567 4008-212-852 www.datatom.com

DANA智能大数据平台 - DATATOM · 指标。dana数智大数据平台就是在这种市场环 境中,根据实际需求设计,从众多大数据产品中 脱颖而出。 dana智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

  • Upload
    others

  • View
    19

  • Download
    0

Embed Size (px)

Citation preview

Page 1: DANA智能大数据平台 - DATATOM · 指标。dana数智大数据平台就是在这种市场环 境中,根据实际需求设计,从众多大数据产品中 脱颖而出。 dana智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

上海-北京-深圳-南京-成都-哈尔滨-昆明-贵阳-长沙-西安-杭州-大连-乌鲁木齐

德拓, 数据创新领导者

南京市雨花台区绿都大道4号绿地之窗C2栋420室四川省成都市天府大道北段1700号环球中心S1 2025

DANA智能大数据平台DANA智能大数据平台是德拓从事大数据行业来不断探索和积累的 大数据整体解决方案。工具产品层的DanaStudio数智开发平台和 PandaBI数智决策平台,提供更便捷的数据治理和可视化工具栈。DDP技 术平台可以给开发者提供全面的底层技术引擎服务。

上海市徐汇区虹漕路448号现代物流大厦1幢9楼

+86-021-61619678

+86-021-61619567

4008-212-852

www.datatom.com

Page 2: DANA智能大数据平台 - DATATOM · 指标。dana数智大数据平台就是在这种市场环 境中,根据实际需求设计,从众多大数据产品中 脱颖而出。 dana智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

随着政府不断强调大数据治国的理念,各行各业对大数据

的应用探索不再只限于理论和尝试,在市场对大数据平台

的技术维度和流程关联度需求不断升级的前提下,传统的

大数据平台还是一味的提供单个维度的技术解决方案,已

经逐渐形成新的一种应用壁垒,这也是大部分数据系统始

终无法真正的打破数据壁垒的因素之一。

随着行业客户不断的将自己更多的业务系统数

据汇聚到一起,进行综合治理、统一存储,怎样

提供数据全生命周期的治理、管理、应用一体化

的解决方案,成为衡量新型大数据平台的重要

指标。DANA数智大数据平台就是在这种市场环

境中,根据实际需求设计,从众多大数据产品中

脱颖而出。

DANA智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

DanaStudio数智开发平台和PandaBI数智决策平台,提供更便捷的数据治理和可视化工具栈。

DDP(Dana Data Platform)技术平台可以给开发者提供全面的底层技术引擎服务。

工具产品层和技术平台层松耦合的设计,可使得DanaStudio和PandaBI可部署在其他通用大数据平台之上。

DANA智能大数据平台

BUSINESS BACKGROUND行业背景

0201

数智开发平台DanaStudio01

数智决策平台PandaBI02

大数据基础技术引擎平台DDP03

产品服务

Dana Studio数智开发平台 PandaBI数智决策平台

技术平台

DDP(Dana Data Platform)

合作技术栈

人脸识别

Vernox

数据分析类

机器自学习

Dolphin

工具类

Dodo-X

Zeppelin

数据存储类

Stork

Teryx

Cayman

Eagles

数据处理类

Leopard

Eel

Phoenix(Kafka)

Eagles

Hadoop套件

Mahout

Oozie

Hue

HDFS

Impala

Pig

Hbase

YARN

Hive

治 DanaStudio

质量校验

权限管控

资产视图

分层存储

统一元数据

作业调度

清洗处理

资产标签 用

数据交换

访问监管

授权控制

多平台支持

析 PandaBI

敏捷BI

自定义报表

脚本分析

SQL查询 视

标准Echars

Dcharts

行业模板

大屏&仪表盘

Page 3: DANA智能大数据平台 - DATATOM · 指标。dana数智大数据平台就是在这种市场环 境中,根据实际需求设计,从众多大数据产品中 脱颖而出。 dana智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

DanaStudio数智开发平台是面向开发者、数据管理者、数据应用者提供的一站式大数据协作开发、管理平台,

致力于解决结构化、半结构化和非结构化数据的采集融合、数据治理、元数据管理、分层管理、交换服务等问题。

其中多门户的设计适应不同的角色,可针对不同阶段的数据进行更细分的管理和处理,搭配高度自由的DAG工

作流和强大的作业调度、运维面板,让DanaStudio成为助力大数据项目的快速实施、交付、应用交换的利器。

DanaStudio数智开发平台

03

数据门户层

数据开发层

数据管理层 任务监控

流转状态 实时监测

数据地图

数据分析 数据可视化

PandaBI(工具)数据集市 API管理

增量统计

数据治理地图

抽取

主数据

数据资产中心中间数据

数据治理

微项目管理

实时抽取 离线抽取 批量抽取 文件上传 网数爬取

数据源

质量探查

心跳检测 密钥同步 链接管理 动态负载

标准化 质检报告 管理元数据

技术元数据 代码表

业务元数据

国标、行标

UDF标准处理 自定义加工池 多组件支持 中间数据留存

压缩存储 冷热分离 基础清洗 DIM解码

标准管理

质检审核 元数据同步

元数据管理代码表管理 分层管理

生命周期 统一查询

数据中心质量探查 发布权限专

题层

专题层

治理层

汇聚层

API生命周期 资源管控

数据发布发布形态

元数据

元数据中心

面向场景的技术抽取解决方案,开源加自研算法,对数据一致性和性能更有保障

基于Hive、MPP等场景的数仓架构,成熟对应行业通用方案

NOSQL检索引擎:满足结构化、非结构化数据的毫秒级精确查询与分析

实时计算引擎:面向流数据的分布式内存计算,为低延时和高吞吐场景而生。

分布式计算引擎:利用分布式内存计算优势,轻松解决传统hadoop计算慢的问题

数据挖掘引擎:基于SparkML构建的高性能引擎,内置丰富的算法库与行业应用模块。

强大的调度工具:配合各个模块,形成有向无环DAG工作流调度作业。

成熟且强大的底层技术架构

数据融合:融合业务数据库、大数据分中心、网络数据、非结构化数据以及物联网数据等

数据治理:标准化、质量规范、清洗去噪、模型化汇总等治理流程

数据中心:将数据地图、主数据库、元数据的管理集合到数据中心

专题集市:支持分层专题、资源申请、脱敏处理和丰富的权限管理

数据服务:提供API开发接口、开发者SDK、访问门户、交换共享、可视化多种数据服务

标准规范化的治理流程

一站式开发流程

完善的作业调度

高效的协同作业

安全的权限管理

完善的监控运维

丰富的数据治理

基于数据流转的科学产品设计

04

大产品优势3

Page 4: DANA智能大数据平台 - DATATOM · 指标。dana数智大数据平台就是在这种市场环 境中,根据实际需求设计,从众多大数据产品中 脱颖而出。 dana智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

0605

功能列表FUNCTION LIST

数据地图主要提供全平台级别的的数据链路展示

和运维监控,对采集任务、治理流程、工作流作业、

数据中心、数据应用等各个模块,便于用户进入平

台就马上发现问题,快速运维。

数据地图

DanaStudio支持数据webUI式的无代码采集功能,

支持数据的实时抽取、离线抽取、全量抽取、增量抽

取、日志抽取等多种数据抽取场景,提供数据源的

单独管理功能,提供数据源的定时心跳检测。

数据采集

DanaStudio支持针对结构化数据的元数据管理功

能,支持数据标准的管理、代码表管理,以及自定义

标签管理功能,支持技术元数据的质量监控和数据

标准的导入和自定义编辑功能。

元数据管理

DanaStudio支持丰富的数据治理功能,包含数据

质量探查、深度探查、数据标准化、中间数据留存、

数据加工池等功能,提供UDF函数的管理和自动治

理功能,同时提供开发者自定义脚本的治理视图,

更好的兼容各种复杂治理场景,支持shell、SQL、

Python、php等多种治理开发脚本。

数据治理

管理对底层hadoop大数据技术平台的接入管理,

可对接所有通用协议的hadoop大数据平台,灵活

的对接各种原平台和其他hadoop厂商的大数据平

台中。

技术平台管理

提供全局任务统一管理视图,支持流式任务调度管

理、分布式任务负载、任务优先级配置等任务调度功

能,支持灵活的时间配置策略以适应各种任务场景。

任务运维管理

开发者数据中心视角提供开发者有权限接触的全

维度的数据资产,更便捷的管理自己的数据资产和

内容。

数据中心—数据开发视角

数据管理员的视角提供各层数据管理的视图,包含

主数据、元数据、中间数据、质检报告,主数据更是

分为汇聚层数据、治理层数据、主题层数据、专题层

数据多种数据管理视图。

数据中心—数据管理员视角

提供专题层的发布功能和管理视图,提供单独的数

据门户供第三方数据使用者查看和申请数据资源,

以API的形式提供数据的接入和访问全控。

数据发布与门户管理

Page 5: DANA智能大数据平台 - DATATOM · 指标。dana数智大数据平台就是在这种市场环 境中,根据实际需求设计,从众多大数据产品中 脱颖而出。 dana智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

01

DanaStudio 提供实时抽取、离线抽取、批量抽取等多种面

向场景的抽取工具栈,同时支持非结构化的数据抽取方式,

提供RestAPI、S3/swift、SDK、ftp等多种通用抽取方式,可

快速应对各种数据抽取场景。

海量结构化、非结构化数据融合项目工具栈

03

DanaStudio提供三种数据管理视图,数据开发、数据管理、

数据应用门户,针对不同的角色看到不同的数据管理视角,

针对开发者、数据管理者以及数据使用者都有不同的视角

门户。

企业数据中心管理平台

02

DanaStudio提供标准的数据治理流程,包含数据质量探测、

数据质检报告、数据标准化以及各种复杂的数据加工场景,

针对数据治理类项目可快速上手,应对不同数据治理需求。

复杂数据治理项目工具栈

04

DanaStudio对数据中心的数据提供API网关的数据交换方

式,可对外提供自动生成的API辅助数据应用,专用的API授

权体系保证了数据的安全性和权限管控,便捷的数据门户

可让数据使用者自由的定制自己需求的数据。

数据交换系统

0807

APPLICATIONSCENARIO

SCENARIO

应用场景

Page 6: DANA智能大数据平台 - DATATOM · 指标。dana数智大数据平台就是在这种市场环 境中,根据实际需求设计,从众多大数据产品中 脱颖而出。 dana智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

大产品优势

1009

PandaBI数据决策平台

PandaBI是德拓自主研发的一站式数据分析与决策系统。帮助企业快速搭建自己的大数据可视化分析平台,完

成多数据整合,建立统一数据口径,并提供灵活、易用、高效可视化探索式分析能力,提升企业数据洞察能力,并

将数据决策快速覆盖各层员工及应用场景,使企业成功转型为“数据驱动”的智慧型企业。

强大的数据呈现和表达能力,系统内置柱状图、

线图、饼图、雷达图、散点图等十多种可视化图

表,同一种数据,多元化的呈现,实现不一样的

精彩。

丰富的可视化效果

PandaBI提供了仪表盘和数据大屏双重解决

方案,适配于不同的业务场景。专业视觉设计

师设计的各类行业主题模版,几步操作即可满

足您经营分析、业务监控、风险预警等多种业

务的展示需求。

多场景展示能力

PandaBI根据数据特征自动识别数据的可视

化维度和可视化度量字段,帮助操作用户快速

处理数据上的分类和可用方式,辅助用户快速

可视化决策。

数据特征自动识别,辅助探索

PandaBI可以接入多种数据源,包括自研发的

引擎系统、传统第三方业务数据库、文本数据

等多种数据来源,全方位满足企业多种多样的

业务场景。统一便捷的操作方式,让零基础用

户轻松驾驭多源数据。

一键连接所需的数据

PandaBI提供灵活、易用、高性能的探索分析

能力,让你快速洞察市场规律,及时发现业务

盲点;同时提供多达几十种可视化展示效果,

让数据活起来。

自助式探索分析

高可用的分布式集群部署,支持模块水平扩展,

可视化集群监控,实时掌握集群运行状态。对数

据源进行隔离保护,支持异构数据源集成,强大

的并行计算能力,真正实现亿级数据秒级响应。

亿万数据秒级响应

企业内网部署,绝对安全保障。支持数据行列

级别权限、资源权限、操作权限等全面的权限

管控。支持数据审计,包括用户的访问、编辑、

操作等任何行为都可追溯。

顶级数据安全保障

个人信息

信息资料

资产管理

资产总览

任务管理

权限管理

角色管理

账号管理

数据管理

前台展示 数据导出 分享浏览 代码嵌入 权限查看 社区发布

数据接入 开放数据 互联网API

公共数据源主流数据库 大数据服务离线文件

私有数据源输入模拟

自定义数据

数据加工 条件过滤 字段筛选

轻量筛查数据模型 关联分析 数据字典 计算字段

BI分析

图表绘制 常规图表 交互控件

定制图表 智能推荐

丰富图库纬度度量 聚合筛选

图层处理 样式设置

可视化分析多层钻取 高亮预警

全局筛选 组件跳转

数据探索

大屏编排 通用控件 图表联动

报表任意布局 画布伸缩

数据大屏多策略预览 行业模板

7

Page 7: DANA智能大数据平台 - DATATOM · 指标。dana数智大数据平台就是在这种市场环 境中,根据实际需求设计,从众多大数据产品中 脱颖而出。 dana智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

1211

PandaBI支持多种通用数据的接入,目前支持通

用 M y s q l 、O r a c l e 、t e r y x( G r e e n p l u m )、

postgres以及离线的数据csv文件等上传,另外还

支持数据库的直连,不抽取数据直接分析结果。

数据接入

PandaBI打破与Excel的界限,用户可以在Excel

中完成数据分析后再导入平台。PandaBI丰富了

表的含义,表与表之间可以无限关联、计算、分析。

同时,利用平台提供的模板及可视化组件,Excel

可以将数据背后的含义用图表串联。

Excel同步接入

PandaBI支持多维度的分析手段,跨数据源建模、

生成高级报表,建立数据模型。用户无需代码基础

即可完成数据的处理和简单分析,快速的生成基

础决策数据。另外PandaBI还支持excel插件,可

以实现excel上快速处理数据的直接同步,更好的

支撑数据复杂分析场景。

数据分析

利用PandaBI,业务人员无需编写繁琐代码,通过

简单的拖拽,可轻松实现丰富图标和数据的展现,

借助独有的多维动态及职能钻取技术,可视化方

式快速展示数据,从决策维度快速实现数据可视

化结果。

可视化探索

PandaBI提供轻量级的可视化控制台,可以针对

多种应用场景提供快速和便捷的可视化图表展现,

单图亦可发布,轻便快捷,高效,适用app、pc、页

面单独模块等局部的可视化操作。

仪表盘

大屏是PandaBI提供的专业级复杂可视化控制台,

提供丰富的可视化模板,拥有多行业的业务场景,

内置跑马灯、轮播图等媒体组件和一键化主题,支

持图表的联动、筛选与跳转,轻松搭建专业水准的

可视化效果。

大屏控制台

PandaBI提供多种可视化作品的发布方式,支持

大屏展现、邮件发布、访问链接发布,更支持代码

级别的嵌入发布,可以让其他系统直接嵌入Pand-

aBI的可视化成果,灵活适用多种场景。

数据发布

PandaBI为使用者提供了两种角色:管理员和普通

用户。其中管理员不仅可以更新普通用户的账号和

发布对应的可视化资源模板,而且还可以设置模板

的可见人权限,以此实现模板文件的有效管理。

用户管理

功能列表FUNCTION LIST

Page 8: DANA智能大数据平台 - DATATOM · 指标。dana数智大数据平台就是在这种市场环 境中,根据实际需求设计,从众多大数据产品中 脱颖而出。 dana智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

PandaBI基于公司百余项目的可视化案例,凝练出适合不同行业的可视化模板。无论你是来

自于金融、交通、医疗、教育或其他行业,都可以在大屏制作中找到称心如意的模板。轻松地

拖拽排列图表、点击切换背景,一键主题以及标题、边框、图片、视频等媒体组件的嵌入,让你

轻轻松松做大屏。

企业数据快速大屏可视化

PandaBI提供excel插件,可以让企业使用的excel一键上传数据至PandaBI可视化数据池,

对excel的输出成果快速制作可视化的图表,便于汇报和展示。

Excel办公数据的快速可视化分析

PandaBI支持各种数据对接方式,可直连业务数据系统库,对业务或平台系统本身形成一定

的监控数据可视化,对特定用的业务流程还可以制作更多的可视化模板,赋能其他业务系统

更好的对系统和业务进行可视化展现,提升业务平台综合实力。

赋能其他业务平台系统,内嵌数据分析可视化能力

PandaBI提供数据抽取、简单分析、可视化分析完整数据可视化开发操作,可赋能项目上卡

发者针对客户需求快速出原型甚至可视化成果,针对客户需求快速更改调整,一系列操作均

实现无代码化操作,大大节省项目时间成本和试错可视化过程的技术成本。

赋能开发者,提供快速试错可视化模板能力

1413

APPLICATIONSCENARIO

应用场景

Page 9: DANA智能大数据平台 - DATATOM · 指标。dana数智大数据平台就是在这种市场环 境中,根据实际需求设计,从众多大数据产品中 脱颖而出。 dana智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

DDP大数据基础引擎平台 技术引擎分类

DDP(Dana Data Platform)是基于开源技术成熟的大数据商用平台,整合了德拓在近几年大数据项目实践中

的技术沉淀,也包含了以Hadoop为主的大数据生态基础引擎。平台涵盖了数据的采集、存储计算、分析挖掘、应

用建模、可视化展现以及运维管理等全部能力。各行业应用和最终用户可以通过平台提供的丰富的接口,完成行

业大规模数据的挖掘分析和应用对接管理。

1615

数据接口层

数据分析层

Noah

数据采集层

数据源层

提供JAVA、C++、Python、SQL等API。并对开源代码进行API函数的封装,如Hadoop、Spark等

安全管理

Eagle

统计分析

数据处理层 ETL

离线数据 实时采集 第三方数据(Flume+Kafka) (Crab)

Kettle Mustang 其他

数据存储层

关系型数据库:·Stork·Teryx MPP

NoSQL数据库:·Eagles·Seal·Mongodb

融合数据库:·索为 Vernox

非结构存储:·Cayman

·对象存储·文件存储·块存储

全文检索

ZooKeeper

︵分布式协作服务︶

Hbase

︵实时分布式数据库︶

Hive

Impala Spark Kylin(数据仓库)

MapReduce

Yarn(集群资源管理系统)

HDFS(分布式文件系统)

(分布式离线计算框架)

Pig(数据流

处理)

Mahout(数据

挖掘库)

深度学习

知识图谱

Gis分析

人脸识别(深目)

多维分析(Dolphin)

预测性分析

机器自学习(OML)

语义引擎

数据加密

系统管理

访问权限

账户管理

日志

集群管理离线处理

数据结构化数据FTP RestAPI 挂载盘对象存储 TCP高速通道

数据非结构化数据互联网采集

互联网数据

其他Storm Spark Streaming

实时处理

其他Leopard eel

媒体处理

Zabbix

安装部署

传感器 3S 二维码 摄像头 Web数据流 通信数据 其他

多维监控

统一运维门户

提供sparkstream、MapReduce、queryDSL等多

种数据分析语法和框架,同时提供图并行计算框

架、storm流计算框架。机器学习方面,ddp提供了

s pa r k M L 机 器 学 习 模 型 架 构,同 时 支 持 M L L i b、

tensorflow等机器学习框架。

数据分析类

DDP提供丰富的非结构化数据处理组件,cayman

非结构化混合存储网关、leopard媒体文件处理引

擎、eel流媒体引擎等,为非结构化数据处理提供

丰富技术组件。

非结构化数据处理类

包含多种数据源的实时抽取、离线抽取等技术引

擎。比如:datax、kettle、sqoop、flume。也包含爬

虫、日志抽取等特定数据场景的数据抽取引擎。同

时提供kafka作为消息中间件进行高效的数据传

输交换。

数据抽取类

包含多种数据存储服务。提供业务数据库、分布式

MPP数据库、分布式内存数据库、融合数据库、图

数据库、Nosql等多种场景存储系统,同样支持以

hadoop为主的hive、hbase、kudu等多种存储

系统。

数据存储类

DDP提供了一套服务管理引擎,底层计入zabbix

支持系统的节点资源管理,各服务的资源和安装

部署管理,同时提供统一的监控运维门户和授权

管理控制台。

运维监控类

Page 10: DANA智能大数据平台 - DATATOM · 指标。dana数智大数据平台就是在这种市场环 境中,根据实际需求设计,从众多大数据产品中 脱颖而出。 dana智能大数据平台是德拓从事大数据行业来不断探索和积累的大数据整体解决方案。工具产品层的

1817

4

平台优势

立足自研研发,借助开源优化

专利

10+技术论文

20+API

8000+

诞生于自主研发

所有技术方向源于市场、基于需求、面向最便捷的交付

经历百余实际项目的沉淀、验证、优化、迭代

成长源于实际项目需求

Hadoop全生态解决方案

支持Python、Spark、R等开源分析技术

数据库等核心模块基于开源定向优化

拥抱开源

媒体行业:索为Vernox融合数据库

人脸识别:云天励飞深目系统

所有技术提供行业标准协议和API, 无缝对接项目新旧系统

开放合作