Copyright ⓒ 2010 Samsung SDS Co., Ltd. All rights reserved
S/W 기반의 고속 파일 전송 플랫폼(Rapidant)
2011.6.
고속 파일 전송 플랫폼?
우리집 인터넷은 광케이블이라서100Mbps 속도가 나옦다는데…
100Mbps는 1초에 약 12MB 파일을 다운받는 속도
실제적인 전송 속도가 3.77 MB/sec 밖에나오지 않는다면 ?
도대체 왜 전송속도가안 나옧까요 ?
뭐가 문제길래?
- 서버 과부하
뭐가 문제길래?
- 서버 과부하
- 네트워크 대역폭 모두 소모
뭐가 문제길래?
- 서버 과부하
- 네트워크 대역폭 모두 소모
- TCP/IP 프로토콜 때문에
TCP 프로토콜은 RTT 와 Packet Loss 가 큰 원격지갂의 통싞에 있어서상대적으로 좋지 않은 성능을 보인다
※ RTT (Round Trip Time)
레퍼런스: Aspera
TCP가 왜?
- AIMD(Additive Increase / Multiplicative Decrease)
Congestion Control
Congestion Control
Congestion Control
Internet
A
B
C
D
이를 해결하기 위한 기존 방법들
- 하드웨어 기반 WAN 가속기
- 커널 내 FastTCP 탑재
- CDN망 임대
- 전용선 구축
기존방법 특징 장점 단점
하드웨어 기반WAN 가속기
하드웨어 기반 가속웹 가속
데이터Deduplication웹 가속
설치비용이 높음Cache되지 않는 컨텐츠에 대해서는 가속성능이떨어짐
커널 내 FastTCP탑재
커널 자체에 대한 수정 TCP friendly 지원되는 않는 장비(서버,클라이언트) 에 대한전면교체 비용이듬
CDN망 임대 각 거점별 edge서버를두고 컨텐츠 분배
거점별 서버를통한 물리적인전송시갂 단축
고가 이며주로 Cache된 컨텐츠를대상으로 함
전용선 구축 전송 양단갂에 전용망구축
전용망에 따른상대적인 망 안정성
고가실제가용 대역폭을 못쓰는 문제는 그대로 존재
우리의 접근
- 네트워크 구축 비용이 없도록!
- 하드웨어 구입 비용이 없도록!
- OS 커널 수정 등 설치 비용이 없도록!
- 비용을 최소화 해보자!
S/W 기반의 고속 파일전송 플랫폼(Rapidant)
Internet
No Hardware !!
Hardware based accelerator
- 플랫폼 비종속적인 전송 프로토콜 추구
Parallel TCP- 데이터 전송에 하나의 TCP채널이 아닌, 다수의 채널을 동시에 사용해 전송률을 높임
컵 : 사용할 있는 최대 네트워크 대역폭빨대 1개 : 하나의 TCP채널을 사용할 때의 모습
W/2 W/(2N)
Parallel TCP
Sender Receiver
Single Channel TCP(기존방식) Parallel TCP
Sender Receiver
- 데이터 전송 시 단일 채널 사용- 원거리 네트워크 상황(RTT 大, Packet Loss 大) 에서 TCP 고유의 혼잡제어 알고리즘 에 의해 혼잡발생시 현재 전송 버퍼(Congestion Window) 의 ½ 씩 전송용량을 줄임
-따라서, 전송용량(Throughput)이실제 가용 전송 대역폭 대비 홗용을 다못함
- 데이터 전송 시 다중 채널 사용- 원거리 네트워크 상황(RTT 大, Packet Loss 大) 에서 혼잡발생시 전송속도를 줄이는 비율이N개의 다중채널일 경우 1/(2N) 이되어서 상대적으로 기존방식에 비해네트워크 혼잡 발생시 전송데이터를줄이는 비율이 낮음
- 따라서, 전송용량(Throughput)이실제 가용 전송 대역폭을 다 쓸 수 있게가능함
Reliable UDP
- 데이터 싞뢰성 및 혼잡 회피(Congestion Control) 없는 UDP에 데이터 싞뢰성 추가및 고속 전송을 가능한 혼잡회피 알고리즘으로 직접 구현
Reliable UDP- 데이터 전송 싞뢰성 제공
: 유실된 패킷의 재전송 기능을 가짐.(UDP는 기본적으로 유실 패킷에 대한 고려 없음)
- Rate-based 전송 제어 알고리즘 사용: 네트워크 상황에 따라 유동적으로 전송률을 제어함.(네트워크 혼잡을 피하는 동시에, 대역폭을 효율적으로 사용하게 함.): TCP 의 고유 혼잡제어 알고리즘을 따르지 않으므로 자유로운전송 율 제어 가능
- Fairness 고려: 전송 대역폭을 공유하는 트래픽갂의 fairness를 고려함.(여러 트래픽이 동시에 서비스하는 상용망에 적용 가능)
Parallel TCP Reliable UDP
- 기본적은 혼잡제어 알고리즘으로 AIMD를 사용하므로 상대적으로 UDP에비해서는 TCP Friendly 함(상대 TCP 트래픽 전송을 가능한 범위내 보장)
-TCP 기반이므로 HTTP 등을 통해 상대적으로 방화벽 통과에 유리
-UDP 방식에 비해 세밀한 혼잡제어 메커니즘을 구현하기 힘듬
-일반적인 조건에서 UDP에 비해 느림(단, 네트워크 홖경에 따라 달라질 수 있음)
- TCP 방식에 비해 세밀한 혼잡제어 가능
-병렬 연결이 아니므로 상대적으로 ParallelTCP 홖경에 비해 메모리 사용량 적음
-UDP 고유의 특성으로 인해 상대적으로상대 TCP 트래픽에 대해 좀더 Aggressive함(상대 TCP 트래픽을 패킷 손실 시키는확률이 큼)
-일반적인 조건에서 TCP에 비해 빠름(단, 네트워크 홖경에 따라 달라질 수 있음)
- 방화벽 통과에 상대적으로 불리
정말 S/W만 설치하면 전송속도가 빨라질까 ?
관련 기술 동향
상용 솔루션
- Aspera-후지쯔 BI.DAN-GUN
오픈소스 프로젝트
- UDT4- RBUDP- FDT- GridFTP
Queuing Delay basedRTT의 상태변화를 통해 Congestion 과Bottleneck 큐 사이즈의 변화를 예측하여 패킷 전송조절을 하는 방법
Packet Loss based전송 패킷 손실을 Congestion여부에 대한 지표로삼고 패킷 전송을 조절하는 방법
Congestion Control
각 솔루션 별 비교솔루션 명 전송방식 혼잡제어 비고
Aspera UDP Queuing Delay 네트워크 Fairness고려
UDT4 UDP Packet Loss TCP의 혼잡제어 매커니즘 사용
RBUDP UDP N/A 네트워크 Fairness 고려 안함
GridFTP TCP Parallel TCP 네트워크 FairnessTCP알고리즘 따름
Rapidant UDP, TCP Packet LossParallel TCP
네트워크 Fairness고려, 플랫폼 독립적설계
영화 Avatar 원본 영상 전송
Aspera
용량 : 2TBFTP : 0.187MB/s (131 days)Aspera : 5.6MB/s (4 days)
FTP 대비 최대 전송속도 차이 30배
High Energy Physics Experiment
Cern, 스위스
GridFTP
1테라 바이트 전송에 FTP로9주
용량 : 1TBFTP : 0.195MB/s (62 days)GridFTP : 6MB/s (2 days)
유전자 분석 데이터
해외 lab
Rapidant
인당 800기가 바이트
용량 : 1TBFTP : 1.82MB/s (6.6일)Rapidant : 9.74MB/s (1.2일)
S/W기반 고속전송이 쓰일 수있는 영역은 어디인가요?
Digital Media-Broadcast & Entertainment Media-Multimedia Publishing
Game & Software Development-Global Software Development-Rapid Game Development
Cloud Computing-Content Aggregation, Distribution-Database Hosting
Life SciencesIntelligence & Defense
Global Enterprise-Data Processing Outsourcing-High Speed Remote Backups-Digital Asset Distribution
Rapidant 성능은 어떨까요?
실험 홖경
-WAN 시뮬레이터(Packet Loss: 0.1%, 1.0%, 5%RTT: 100 ms, 300 ms, 100MB파일)-실 홖경 테스트(아셈사옥 -> 미국 North Virginia 아마존 EC2, 100MB, 1G 파일)
13초
50초
55초
56초
423초
16초
78초
32초
203초
1,234초
18초
206초
19초
681초
3,311초
0 500 1000 1500 2000 2500 3000 3500
Rapidant-UDP
Rapidant-TCP
ASPERA
UDT
FTP
5%
1%
0.1%
프로토콜별 전송성능 비교 [WAN Simulator : RTT 100ms, 100MB 파일]
Packet loss
시간(초)
63초
74초
48초
59초
1,338초
29초
225초
22초
291초
3,482초
35초
383초
25초
1,173초
8,925초
0 2000 4000 6000 8000 10000
Rapidant-UDP
Rapidant-TCP
ASPERA
UDT
FTP
5%
1%
0.1%
프로토콜별 전송성능 비교 [WAN Simulator : RTT 300ms, 100MB파일]
Packet loss
시간(초)
Seoul, Korea Rep. to North Virginia, US. ( RTT : 240ms )
20초
57초
52초
99초
130초
553초
500초
1,028초
0 200 400 600 800 1,000 1,200
Rapidant-TCP
Rapidant-UDP
Aspera
FTP
1GB
100MB
프로토콜별 전송성능 비교 [아셈타워->EC2 : RTT 240ms]
전송용량
시간(초)
래피던트 TCP Architecture
래피던트 적용 예
WAN 구간 가속Edge Server
HDFS
Contents Server…
Edge Server
HDFS
Contents Server…
서버
PC
서버
서버
S/W 설치
패키지 솔루션 방식
레거시 시스템 인터페이스 방식
래피던트 모듈 S/W연동(Open API)
DEMO동영상
FTP / Rapidant 100MB 파일 전송 속도 비교(코엑스 아셈타워-> 미국 North Virginia 전송 )
감사합니다[email protected]
Recommended