Understanding cloud costs with analytics

Preview:

DESCRIPTION

Guest lecture given at Bristol University

Citation preview

Ali Khajeh-Hosseini

@AliKhajeh Nov 2014, Bristol University

®

®

Understanding cloud costs with analytics  

What is a cloud?

Server

Rack

Container

Electricity, Water, Internet

2500 Servers

Taken from one of Dave Cliff ’s talk on Cloud Computing

a cloud

Around 60 Staff

30 Megawatts = Perth (Scotland)!

38,500 m2 = 4 ftbl pitches

Microsoft has >1M servers h#p://web.archive.org/web/20120224062157/h#p://www.microso;.com/Presspass/emea/presscentre/pressreleases/February2012/23-­‐02DublinDataCentre.mspx  h#p://news.microso;.com/speeches/steve-­‐ballmer-­‐worldwide-­‐partner-­‐conference-­‐2013-­‐keynote/    

Scale of operations

Many benefits - Elasticity & pay-per-use-pricing - On-demand computing ...

Why do companies care?

Animoto’s crazy scale-out

h#p://blog.rightscale.com/2008/04/23/animoto-­‐facebook-­‐scale-­‐up/  

Scale-out from 50 to 4,000 servers in 3 days

Capacity planning

Images  taken  from  h#p://aws.amazon.com/economics/    

Zynga’s Z-Cloud

h#p://www.rightscale.com/customers/zynga-­‐grows-­‐to-­‐1-­‐social-­‐gaming-­‐site-­‐with-­‐rightscale.php  h#p://code.zynga.com/2012/02/the-­‐evoluNon-­‐of-­‐zcloud/  

Launch new games on public clouds Move to private cloud when usage patterns are understood

There are different public cloud pricing models

Rackspace IBM SoftLayer HP …

Different purchase options - On-Demand: fixed rate - Reserved: pay upfront, lower rate - Spot: Bid how much you would pay - Discounts and consolidated bills

Amazon Web Services

up-front procurement to pay-per-use

Image  taken  from  h#p://aws.typepad.com/aws/2011/12/reserved-­‐instance-­‐opNons-­‐for-­‐amazon-­‐ec2.html  

AWS Reserved Instances

You have to specify: term (1/3 yr), utilization, availability zone, instance type and OS when buying a RI

AWS Reserved Instances Marketplace

Buy and sell reservations

AWS Spot Prices

Bid for an instance, it’ll get switched on if bid >= spot price. You pay spot price, AWS sets it.

h#p://www.cs.technion.ac.il/~ladypine/spotprice-­‐slides-­‐postmortem.pdf  

Example: a MySQL Database AWS Relation Database Service (RDS) - Up-front reservation fee (optional) - CPU: $X/hour (based on instance type and cloud) - Storage: $X/GB/month - Transactions: $X/Millions of I/O ops - Provisioned IOPS: $X/IOPS/month (has other limitations) - Redundancy: double the CPU hourly rate - Data transfer: $X/GB (tiered across cloud)

What the heck? I just wanted a simple database

Google’s sustained usage model

Images  taken  from  h#ps://cloud.google.com/compute/pricing#sustained_use  

Automatically lower the price of your virtual machines when you use them to run sustained workloads

Let’s play Tetris

Images  taken  from  h#p://googlecloudplaRorm.blogspot.co.uk/2014/04/introducing-­‐sustained-­‐use-­‐discounts.html    

Cloud spending is growing rapidly

Cloud pricing is complicated… we scrape over 12,000 prices.

Need to monitor, allocate, forecast & optimize costs

The challenge

h#p://www.gartner.com/newsroom/id/2352816  

Jan 2009: Started researching cloud cost forecasting in St Andrews

Dec ‘11: With Hassan, we launched PlanForCloud

Jul ‘12: Acquired by RightScale

Nov ‘13: Launched Private-Beta of Cloud Analytics

Mar ‘14: Cloud Analytics goes into Public-Beta

Oct ‘14: Cloud Analytics is Generally Available

The story so far…

Connect to a cloud

We regularly collect data

Slice and dice the data

See historic trends

Forecast costs based on switching clouds or

increased growth

Who buys our products?

Enterprises like Sony, EA Games, PBS,

Pearson Publishing, Zynga…

Some����������� ������������������  things����������� ������������������  to����������� ������������������  look����������� ������������������  for����������� ������������������  when����������� ������������������  looking����������� ������������������  for����������� ������������������  internships����������� ������������������  or����������� ������������������  jobs����������� ������������������  

Do they have fun?

What’s their hiring process?

Do they invest in good tools?

What’s the team setup, and how often do they ship?

Are people given freedom to experiment? Friday afternoon

is our iTime

What’s the level of transparency and trust? Open by Default

What’s����������� ������������������  important?����������� ������������������  

Edinburgh, Santa Barbara and remote…

RightScale����������� ������������������  Employee����������� ������������������  Meetup����������� ������������������  (a����������� ������������������  week����������� ������������������  of����������� ������������������  fun����������� ������������������  in����������� ������������������  California)����������� ������������������  

Dev tools

Invest����������� ������������������  in����������� ������������������  good����������� ������������������  tools����������� ������������������  

Invest����������� ������������������  in����������� ������������������  design����������� ������������������  

eng.rightscale.com

Invest����������� ������������������  in����������� ������������������  open����������� ������������������  source����������� ������������������  

Invest����������� ������������������  in����������� ������������������  automation����������� ������������������  Meet����������� ������������������  Leeroy:����������� ������������������  our����������� ������������������  bot����������� ������������������  

Ruby, Praxis (our own open source API framework), Go,

Erlang, JavaScript, AngularJS, Node.

MySQL, PostgreSQL, MongoDB, Cassandra, DynamoDB,

Redshift, Memcached, Redis, Nginx, HAProxy, Rsyslog.

AWS, Google Compute Engine, MS Azure, VMware…

Use����������� ������������������  a����������� ������������������  variety����������� ������������������  of����������� ������������������  tech����������� ������������������  

RightScale.com/jobs

Recommended