Upload
others
View
16
Download
0
Embed Size (px)
Citation preview
⼤大数据平台的应⽤用化、场景化及服务化实践
迟连义 | ⻘青云QingCloud ⼤大数据平台研发⼯工程师
►⻘青云QingCloud ⼤大数据平台架构
►⼤大数据产品云化瓶颈
►⻘青云QingCloud AppCenter 2.0 简介
►⼤大数据应⽤用 + AppCenter 2.0
Agenda
⻘青云QingCloud 企业级⼤大数据平台
Object Storage
HDFS
VM / Container
ZooKeeper
HBaseMongoDB
Storm Spark Hadoop MR&Hive
Kafka
Memcached Redis
ElasticSearch/ELK
Hue Management UI & Oozie
⼤大数据管理理平台
⼤大数据产品云化瓶颈
云化周期⻓长 产品间组合复杂产品特别多
►⾼高度抽象多种类型的分布式应⽤用,使云上交付与使⽤用应⽤用变
得简单及标准化
►⼀一个全新的云操作系统,贯穿资源与应⽤用的平台
AppCenter 2.0
功能与技术特性
►通过声明式模版定义前端⽤用户配置
► config.json
►应⽤用实例例基础架构、⽣生命周期管理理及⾃自定义监控告警 ► cluster.json.mustache
►多语⾔言翻译
► locale/en.json
► locale/zh-cn.json
模版化开发部署框架
上传配置⽂文件
►应⽤用间⾃自主感知,打破应⽤用间的孤⽴立,⼤大幅提⾼高系统的运维效率
►通过应⽤用的嵌套及组合,⼤大幅简化构建复杂系统的复杂度
►以应⽤用为粒度的可视化编排
应⽤用编排
►⼀一套框架同时⽀支持基于 KVM/Docker/
LXC 三种技术体系构建应⽤用,并提供完
整的应⽤用编排与管理理能⼒力力
►兼容 Kubernetes,Mesos 及 Docker
Swarm
► QingCloud SDN passthrough ⼤大幅提⾼高
容器器平台⽹网络效率
⽀支持虚拟化和容器器应⽤用
管理理、计费、财务、⽇日志、⼯工单等运维及运营功能
运维和运营管理理系统
⼤大数据平台 on AppCenter 2.0 What's Next? Kylin Flink TensorFlow Caffe Cassandra Flume Solr Neo4j Druid ......