노래는대한해협을타고

노래는 대한해협을 타고Minyoung Jeong @ BPC AWSKRUG Seminar

2013년 12월 어느날 경기도 성남시 분당구 정자동

S: K. 이제 음원 올려줘.

K: 언제까지요?

S: 음….

S: ASAP?

S: ㅋ

K: ㅋㅋ

S: ㅋㅋㅋ

K: ㅋㅋㅋ….

그렇게 시작된 30TB 대한해협 상륙작전

실제 수치 아님!

첫번째 시도

IDC가 출동하면 어떨까?

100Mb/s로 하루에 전송 가능한 량은?

1.08TB

= 27.7일

S: ㅋㅋㅋㅋ

K: ….

one more problem

대부분의 국내 IDC는 계약 용량의 5%정도만

국제망에 허용

= 5Mb/s = 800,000분 = 555.6일 = 1.5년

S: ㅋㅋㅋㅋ

두번째 시도

AWS Import/Export

AWS Import/Export Calculator

104 hr

olleh!

항공 발송 + 104 = 10일이면 되겠다!

그런데 잠깐

Tokyo ???

AWS Import/Export는 미국 동부(버지니아 북부), 미국 서부(오레곤), 미국 서부(캘리포니아 북부), EU(아일랜드) 및 아시아 태평양(싱가포르) 지역의 Amazon S3 버킷에서 데이터 가져오기 및

내보내기를 지원합니다.

세번째 시도

국제망을 대여해 보자!

하지만 단기로 써야 하는데?

KINX

S3에 Static Path 설정

300Mb/s 확보

300Mb/s = 222.2시간 = 9.2일

K: ㅋㅋㅋㅋㅋㅋㅋㅋ!

작전명: 이쁜 그래프

300Mb/s 모두 소진하려면?

Tsunami UDP

Low latency 유리

그런데 수신부 ec2는?

EBS 30TB

$2611.20/3 = 923,331원

one more problem

EC2 -> S3 EMR

하지만 직접 S3로 전송하면 어떨까?

S3가 300Mb/s 로 보내도 다 받아 줄까?

Q: What happens if traffic from my application suddenly spikes?

Amazon S3 was designed from the ground up to handle traffic for any Internet application. Pay-as-you-go pricing and unlimited capacity ensures that your incremental costs don’t change and that your service is not interrupted. Amazon S3’s massive scale enables us to spread load evenly, so that no individual application is affected by traffic spikes.

A: ㅋ

속도는 latency 양은 bandwidth

개별 전송 속도가 느리다면

한번에 많이 보내면 되지!

Python + boto + gevent

Asynchronous I/O

동시에 한 256개씩 쏴보자

Disk I/O

원본 디스크의 성능을 고려한 N 값

N = 64

S3 End Point RR

nslookup s3-ap-.. = 대략 5개 IP 확인 가능

그냥 쓰기 vs

5개 모두로 요청 분산하기

차이 없음!

Amazon 추천도 그냥 이름으로 쓰세요

one more thing

올려야 하는 파일수는 적은데 용량은 크다면?

하나를 여러개로 나눠서

MultiPart Upload

S3 자체 제공!

BPC는 30MB 이상이면

나눠서 올립니다

하.. 하나만 더

30TB는 매월 얼마?

$2590.72 = 2,749,531원

하지만 날아가도 된다면?

Reduced Redundancy Storage

$2305.75 = 2,455,969 원

11%

사실 말이 날아가도지, 생각보다는 높은 신뢰도

Standard RRS

내구성 99.999999999% 99.99%

가용성 99.99% 99.99%

2개 시설의 손실에도 서비스

1개 시설의 손실에 서비스

끝