Upload
others
View
32
Download
0
Embed Size (px)
Citation preview
© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
吕毅 2016.09
链家网存储架构变迁
自我介绍
吕毅 • 链家网架构师
• 曾供职于新浪平台架构部、百度移动云事业部
• 参与项目新浪SAE,百度移动搜索、手机百度APP
• 2015年9月加入链家网
• 2015.10~2016.8,负责链家网平台服务建设
• 2016.8至今,负责链家网大数据平台建设
目录
• 链家网与存储架构变迁
• 一场持续半年的存储改造工作
• 我们所熟悉的AWS S3
• Q&A
链家网与存储架构变迁
链家网线上业务历程
链家地产成立
链家在线、HERP系统上线运营
“楼盘字典”项目启动
2001年
2007年
2008年
2012年
链家提出“真房源” SE(Sales Effectiveness)系统上线
TE(Transaction Effectiveness)系统上线 “掌上链家”APP发布
“链家在线”更名为“链家网” 域名变更为Lianjia.com
着手重建to C业务 着手自研SE、TE系统
2014年
2016年
SE、TE合并为Link系统 “楼盘字典”项目积累6000万房产信息
链家网存储架构变迁
链家地产成立
链家在线、HERP系统上线运营
“楼盘字典”项目启动
2001年
2007年
2008年
2012年
链家提出“真房源” SE(Sales Effectiveness)系统上线
TE(Transaction Effectiveness)系统上线 “掌上链家”APP发布
2014年
2016年
SE、TE合并为Link系统 “楼盘字典”项目积累6000万房产信息
传统文件系统
FastDFS
Ceph
AWS S3
“链家在线”更名为“链家网” 域名变更为Lianjia.com
着手重建to C业务 着手自研SE、TE系统
链家网存储服务相关数据
总存储文件: 8270万+
总存储容量:
43TB 房源实勘图
66%
其他图片 15%
音视频 13%
文件备份 4%
其他 2%
一场持续半年的存储改造工作
为什么要改造?
使用Ceph遇到了问题:
容量不够
维稳成本
数据备份
使用Ceph遇到了问题:
容量不够
维稳成本
数据备份
使用S3不需要操心的事:
容量规划
存储管理
数据备份
维修硬件
为什么选用AWS S3?
云存储为何选用S3? (1/2)
十年 S3
云存储为何选用S3? (2/2)
11个9的持久性
链家网存储架构 2015年
corporate data center
AWS Direct Connect
ELB (internal)
EC2 (Web Services)
ELB (public)
Ceph
Business group
Business A
Business B
Projects (Web services)
80% 20%
链家网基于AWS S3的存储架构
corporate data center AWS Direct
Connect
Projects (internal)
ELB (internal)
EC2 (auto scaling)
ELB (public)
S3 Redshift
Cache
security group
Availability Zone
存储架构改造中遇到的问题
存量与增量的问题
业务方迁移成本
写入数据双写
数据迁移
我们所熟悉的AWS S3
关于Bucket
Bucket名全球唯一
可以建立Huge Bucket
关于文件检索与统计
使用数据库存储文件Meta信息供检索
关于存储成本
冷数据 使用AWS Glacier存储
代理S3服务
在S3能力之上 封装公司通用逻辑
Q&A
Thank you!