Escalando una PHP App con DB sharding - PHP Conference

Escalando una PHP Appcon DB Sharding & Amazon Web Services

Matias PaterliniTuesday, November 5, 13

Objetivo de la charla

• Contar quien soy y qué hago

• Mostrar orígenes de la arquitectura, infraestructura y escalabilidad de TFM

• Hablar de DB Sharding

• Hablar de Amazon

• Preguntas

• Cof Cof reclutar Ejem!

Tuesday, November 5, 13

• +11 años de experiencia en PHP.

• 6 años desarrollando aplicaciones sobre Redes Sociales

• 25 empleados, + de 250 aplicaciones desarrolladas

• + 10K clientes, + 10M Usuarios

• 2 compañías construidas sobre plataformas sociales

20.6 MAudiencia de nuestros primeros 8 clientes.

Tenemos 250 en simultáneo.

+300.000Fans conseguidos con solo un

concurso

Todos tenemos una historia con PHP

<?php echo 'Hello World';?>

?Tuesday, November 5, 13

Apache HTTP Server

Free Web Hosting

<? class Caja{ var $alto; var $ancho; var $largo; var $contenido; var $color;

function introduce($cosa){ $this->contenido = $cosa; }

function muestra_contenido(){ echo $this->contenido; } } ?>

Auto-completeObject class reference

FRAMEWORKS

The Fan Machine

Esto tiene que escalar!

¿Qué sabíamos de escalar algo en PHP?

¿Qué sabíamos de escalar algo a

MILLONES de usuarios en PHP?

0Tuesday, November 5, 13

CEROTuesday, November 5, 13

Qué onda con el NoSQL?

Qué onda con el Sharding?

Cuales eran nuestros posibles problemas?

Escalar Rápido

Muchos writes

Mucha variación en el Tráfico

MUCHOS cambios en el modelo de datos

Mucho Storage

Todo bajo SSL

Startup = poco $$

Como lo solucionamos???

Possible solutions...

Web Server & Storage

HORIZONTALSCALABILITY

Database 1

Web Server 1 Web Server 2 Web Server 3

Static File Caching

Database 1

(replicated DB)

Data Caching

AmazonAzure

GoGrid

Rackspace

Vurbia - SoftLayerAkamai

AMAZON

•Route 53

•EC2 - Web & Memcache

•CloudWatch

•CloudFront

•ELB - SSL termination

What about the DB?

CassandraMongoDB

Hipertable

NoSQL SimpleDB

CouchDB

Membase

BigData

RaptorDB

CassandraMongoDB

Hipertable

NoSQL SimpleDB

CouchDB

Membase

BigData

RaptorDB

NoSQL = No Trust!

Y MySQL qué onda?

Horizontal Scalability

Master/Slave

MasterDatabase

Web Server 1

Web Server 2

Web Server 3

Static File Caching

SlaveDatabase

Slave Database

(Transaccional, read-write)

(read) (read)

Data Caching

DB scalling issues...

MasterDatabase

Web Server 1

Web Server 2

Web Server 3

Static File Caching

SlaveDatabase

Slave Database

(read) (read)

Data Caching

CPUMemory

MasterDatabase

Web Server 1

Web Server 2

Web Server 3

Static File Caching

SlaveDatabase

Slave Database

(read) (read)

Data Caching

Retraso

• MAAAAANY Records - Storage issues

• Caching not enough

• Alters lock tables for hours!

• Maintenance Issues

• Too much response time

Cluster Computing

Table Partitioning

THE approach

The Friendfeed approach

Sharded MySQL databases

MySQL emulating NoSQL over Sharded

Databases

Documents = Entities

One Table for entities, many tables for

indexes.

The Model

entities

index_user

index_promo

index_participant

index_vote

index_fan_conversion

The Model

entities

index_user

index_promo

index_participant

index_vote

index_fan_conversion

entities tableadded_id

idbodyclass

createdupdateddeleted

Entities Table

CREATE TABLE èntities` ( àdded_id` int(11) NOT NULL AUTO_INCREMENT, ìd` char(32) NOT NULL DEFAULT '', ùpdated` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, `deleted` timestamp NULL DEFAULT NULL COMMENT `body` mediumtext, `class` varchar(50) DEFAULT NULL, `created` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00', PRIMARY KEY (àdded_id`), UNIQUE KEY ìd` (ìd`), KEY ùpdated` (ùpdated`), KEY `class` (`class`), KEY `created` (`created`)) ENGINE=InnoDB AUTO_INCREMENT=1692491 DEFAULT CHARSET=utf8 |

users index table

entity_idfb_uid

user index table

CREATE TABLE ìndex_user` ( èntity_id` char(32) NOT NULL DEFAULT '', ùid` bigint(20) NOT NULL, PRIMARY KEY (èntity_id`,ùid`), UNIQUE KEY ùid` (ùid`)) ENGINE=InnoDB DEFAULT CHARSET=utf8

How do we scale it?

DB Server 1

Web Server 2

Shard 1Shard 2Shard 3

Web Server 1

Web Server 3

File Caching

Database Backups

Data Caching

} Databases

DB Server

Web Server 1

Web Server 2

Web Server 3

DBServer

Static File Caching

Database Backups per Shard

THE Benefits...

• Bases de datos más pequeñas son más fáciles de manejar

• Bases de datos más chicas son más rápidas

• El sharding puede reducir costos

• Server maintenance per db-server

• Data Maintenance Per db-shard

• NO ALTERS on tables

• Easy recovery and replication with MultiAZ

• Easy scaling

• Easy migration to other No-SQL data engines

¿When is DB sharding Appropiate?

High transaction Applications

Write-intensive transactions

Cómo repartimos entre los shards?

Driver

Programmatic DB

DBServer

DB Server

DBServer

memory cache

DB Driver

Driver DB

shard_idemail

DB driver table

Progamatic Driver

Cómo usamos el driver

Fetchear la entidad de un usuario:

Cómo usamos el driver

Crear o actualizar una promo:

otra forma de guardar...

y se utiliza así en un helper:

Amazon Web Services

Como evolucionamos en Amazon...

Un servidor LAMP, S3DNS externo

Amazon Linux AMI

Memcache

Balancer

Route 53

Que aprendimos??

OJO con las public AMIs!!!

Cuando estopeas una instancia.... CHAN

PERDES LA IP ELASTICA

SE TE CAMBIA LA DNS PUBLICA

Clonar es super simple pero no super rápido

Tener stopeada una instancia sale.... casi

nada!!

DNS...

SSL Termination

Límite de certificados de ssl

Questions?Matias Paterlinimatias@thefanmachine.com

Te estamos buscando!!jobs@thefanmachine.com

Escalando una PHP App con DB sharding - PHP Conference

Technology

Mulheres nuas escalando

ESCALANDO INNOVACIONES RURALES

Sharding Overview

ProcessandoBigDatacomJava: Receitaspararesolver ... · deixar%sua%aplicação%mais%lenta% ... Escalando% CLIENTE CLIENTE* CLIENTE* CACHE* CACHE* ... Redis) SHARDING1* SHARDING2

Escalando #23

Escalando Sites com Nginx

Data sharding

Using Oracle ShardingContents 1 Oracle Sharding OverviewWhat is Sharding 1-2 About Oracle Sharding 1-3 Benefits of Oracle Sharding 1-4 Example Applications using Database Sharding

Introduction to Sharding

Sharding using MySQL and PHP

Escalando 36

Using Oracle Sharding...Contents 1 Oracle Sharding OverviewWhat is Sharding 1-2 About Oracle Sharding 1-3 Oracle Sharding as Distributed Partitioning 1-4 Benefits of Oracle Sharding

Mongo sharding

PHP Experience 2016 - CTOTalks: Escalando de 0 a 1 bilhão de requests com uma infra enxuta

Escalando Apps PHP

ESCALANDO INNOVACIONES RURALES.pdf

Escalando php e drupal- performance ao infinito e além! - DrupalCamp SP 2015

Escalando #22

Sharding Using Spockproxy_ A Sharding-only Version of MySQL Proxy Presentation

ESCALANDO LOS ANDES