Puppet Cloud IaaS

Gerência de Configurações em CloudPuppet em ambientes IaaS

José Augusto (Guto) Carvalhogutocarvalho@gmail.com

Wednesday, August 8, 12

Consultor/SysAdmin (LPIC-3) na 4Linux

12 anos de experiência com tecnologias FOSS

Blogueiro FOSS há 6 anos no site gutocarvalho.net

Atuação em vários projetos de Governo no MDA, MINC, EBC/RADIOBRÁS, MPS/DATAPREV, ITI/PR, CEF, MD/SIPAM, DETRAN/DF

Há 2 anos trabalhando com gerência de configurações em ambientes virtualizados e clouds privadas em Brasília

whoami

Puppet em IaaSWednesday, August 8, 12

Plano de Trabalho

40 minutos de apresentação

5 minutos para perguntas

Agenda

Gerência de Configurações

Infraestrutura como Código

Puppet como solução de Gerência de Configurações

Puppet Arquitetura, Funcionamento e Recursos

Perguntas

Cloud Computing - Tendência

Cloud e seus BenefíciosHiper escalável

Rápida e elástica

Abstração de hardware

Infraestrutura dinâmica

Alta disponibilidade

Investimento atraente

ProvisionamentoPodemos criar 500 VM’s em

poucos minutos

Como Administrar 500 VM’s?

Configuração Manual?

Acesso Secure Shell (ssh)?

Host a Host?

Quantos SysAdmins são necessários para administrar 500 servidores?

Qual a velocidade nas mudanças em seu ambiente?

Qual a probabilidade de falhas decorrentes de mudanças manuais?

Você consegue manter todo o seu ambiente padronizado?

Seu custo com manutenção e equipes técnicas está aumentando?

Está difícil colocar suas configurações nos trilhos?

Como resolver isto?Como obtenho controle e

padronização em meu ambiente ?

Gerência de Configurações

Padronização

Automatização

Controle

Integridade

Desempenho

Agilidade nas mudanças

PuppetFerramenta de nova geração que implementa gerência de

configurações para seu ambiente.

Visão Rápida

Infraestrutura como código

Pare de administrar e comece a desenvolver sua infra

Reuse código para gerenciar seu parque com facilidade

Linguagem declarativa para descrever configurações (DSL)

Sobre a ferramentaSuporte a Linux, BSDs, Solaris e Windows

Criado por Luke Kaines (CEO e Fundador)

Empresa PuppetLabs mantém a Ferramenta

Ferramenta OpenSource (Licença Apache)

Recebeu grandes investimentos

Empresa oferece Suporte e Versão Enterprise

Feito por um SysAdmin para SysAdmins

Eficiente para uso DevOps

EspecificaçõesEscrito em Ruby

Extensível usando código Ruby

Funciona em modo Autônomo (serverless)

Funciona em modo Cliente/Servidor

RESTful API

Comunicação segura (SSL Certificate)

Cases Puppet

ArquiteturaComo funciona o Puppet?

Resource Abstraction Layer(RAL)

Puppet: RAL

Resource Abstraction Layer = RAL

Camada de Abstração de Recursos

Fale o que você quer que seja feito

Não se preocupe em como será feito

O Puppet sabe como fazer

Instale Pacote X

Remova usuário Z

(Re)inicie serviço Y

Tratamento de Informações

O grande diferencial do Puppet é a forma como ele trata as informações de seus nodes

Tratamento de informações

No Puppet tudo é modelado e tratado como ‘dados’

O estado atual de um node (servidor) é um dado

Um pacote instalado em um node é um dado

Um usuário em um servidor é um dado

Os dados são inseridos em catálogos pelo master

O catálogo é processado pelo node e as modificações são aplicadas de acordo com o que foi declarado.

Processamento do Catálogo

1) Agente Requisita Catálogo1.1) Agente envia Fatos para Master2) Master Processa Fatos e Compara2.1) Master Produz e envia Catálogo3) Node Recebe, Compara e Aplica4) Node informa estado atual ao Master5) Sistema reflete catálogo

Idempotência

ConfiguraçõesVoláteis e Dados

Puppet MasterMódulos Estáticos

Funcionamento

LDAP DNS MONIT SYSLOG

JBOSS APACHE MYSQL PGSQL

Puppet Agents

Camada de Aplicação

Camada de Serviços Estruturantes

Puppet Visão em Rede

Puppet Master

Puppet Client

8140 TCPClient

puppetd -t

8139 TCPServer

puppetrunSSL

Administração IaaS

Administrar uma cloud IaaS não é algo complicado

Escalabilidade automática é um recurso fantástico

Ter elasticidade é fundamental

Criar novos servidores é muito fácil

Administrar centenas de nodes? Aqui começa a complicar.

Quando seu ambiente IaaS começar a crescer demais você vai perceber administrá-lo não é tão simples.

Adicionando Nodes

ZABBIX

POSTGRESQL

MEMCACHED

Adicionando Nodes

ZABBIX

POSTGRESQL

MEMCACHED

Adicionar um novo node representa N mudanças

Adicionando Nodessysadmin-utilszabbix-agent

ntpconflocaleshostsusers

localmtasmtpdvimrc

backup-agentapt-repos

ZABBIX

POSTGRESQL

MEMCACHED

Como o Puppet pode ajudar?

Automatizando seu ambiente

Gerando maior produtividade com menor esforço

Padronizando seus nodes logo após a instalação

Modificando configurações de forma controlada

Insira o Puppet na imagem de instalação de seus nodes.

Não tenha medo de realizar atualizações, o puppet faz pra você!

Você pode fazer deploy de sua APPVocê pode controlar a versão de sua APP

Como funciona o modo cliente/servidor?

Arquitetura Cliente/Servidor

O agente gera um certificado digital

O master precisa autorizar o certificado

Sem autorização o agente não pode se comunicar

Toda a comunicação entre agente e master é segura

Fluxo Cliente/Servidor

Instalação do node

Inicialização do puppet

Geração de Certificado

Envio de Certificado

Master Assina Certificado

Agente Sincroniza

Modalidades de Assinatura de CertificadoAssinatura pode ser manualAssinatura pode ser automática por domínioAssinatura pode ser automática em qualquer requisição

O agente se comunica com o master a cada N minutos

Quais recursos estão disponíveis?

Recursos do Puppet

Resource Types

Parâmetros e Meta-parâmetros

Templates e Definições

Classes e Módulos

Funções e Condicionais

Puppet Resource Types

Arquivos e Diretórios

Usuários

Pacotes

Serviços

Yum Repos

Augeas

O puppet oferece 38 tipos de recursos nativos, e você pode estendê-lo.

Resource Type: PackagesSuporte a 23 tipos de provedores de pacotes

Faz a abstração do OS

Declare se o pacote deve estar presente ou ausente

Declare se o pacote deve sempre estar em sua última versão

Resource Type: ServicesSuporta 11 tipos de sistemas INIT para inicializar serviços

Declare se um serviço deve estar sempre rodando

Declare se um serviço deve ser carregado no boot

Declare se um serviço depende de um pacote ou arquivo

Resource Type: FileEspecifique permissões e owners

Declare arquivos, diretórios e links

Controle de mudanças usando até 15 tipos de checksums

ExemplosWednesday, August 8, 12

Instala, Configura e Inicia

# aptitude install apache2

# update-rc.d -f apache2 defaults

# cp ~/httpd.conf /etc/apache2/

# invoke-rc.d apache2 start

debian-way

package { 'apache2':ensure => present,}

service { 'apache2':

ensure => running,enable => true,}

file { 'httpd.conf':path => “/etc/apache2/httpd.conf”,source => “/etc/puppet/files/httpd.conf”,}

package { 'apache2':ensure => present,}

service { 'apache2':

ensure => running,enable => true,}

file { 'httpd.conf':path => “/etc/apache2/httpd.conf”,source => “/etc/puppet/files/httpd.conf”,}

resource typeparameter

titlevalue

Base Classclass linux-server { include sysadmin-utils include zabbix-agent include ntpconf include locales include hosts include users include localmta include vimrc include backup-agent include apt-repos}

Declarando um nodenode “servidor.dominio” { include linux-server include module}

node “balancer.dominio” { include linux-server include cyrus::backend include postfix::hub include haproxy::mailproxy}

Variáveis e FatosFatos (facter)

vimpackage => vim-puppet,

apacheservice => apache2,

ntpconfrhel => ntp.conf.rhel,

Variáveisdomainfqdnhostnameinterfacesipaddress_eth0ipaddress_eth1ipaddress_lolsbdistidlsbdistrelease

=> hacklab,=> puppetmaster.hacklab,=> puppetmaster,=> eth0,eth1,lo,=> 10.0.2.15,=> 192.168.56.150,=> 127.0.0.1,=> debian,=> 6.0.5,

Condicionaiscase $operatingsystem { CentOS,RedHat: { $package_name = 'ntp', $service_name = 'ntpd', $conf_file = 'ntp.conf.el', } Debian,Ubuntu: { $package_name = 'ntp', $service_name = 'ntp', $conf_file = 'ntp.conf.debian', }}....

Definiçõesproxy::squid { 'ProxyFilial' : http_port squid_mode squid_hostname cache_mem maximum_object_size_in_memory maximum_object_size memory_replacement_policy cache_replacement_policy cache_dir cache_mgr cache_effective_user cache_effective_group dns_nameservers ips_squid }

=> '3128',=> 'transparent',=> 'proxy.4linux',=> '2 GB',=> '6 MB',=> '128 MB',=> 'heap GDSF',=> 'heap LFUDA',=> 'aufs /var/spool/squid 1024 16 256',=> 'monitora@4linux.com.br',=> 'proxy',=> 'proxy',=> '127.0.0.1 10.61.12.2 172.16.1.1',=> '127.0.0.1 192.168.12.3',

Templates

myorigin = <%= hostname %>mydestination = $myhostname, ..., localhost, <%= fqdn %>

Trecho do template postfix/main.cf

myorigin = servidor.dominiomydestination = $myhostname, ..., localhost, servidor.dominio

Substituição de variáveis por fatos

Como acompanho mudanças?

Puppet Dashboard

Posso fazer mudanças em tempo real?

Marionette Collective

Orquestrador de nodes

Execução de Tarefas Paralelas

Interação com centenas de nodes

Inventário descentralizado

Leitura de meta-dados do Puppet

Similar a Fabric e Capistrano

Qual o resultado concreto?

Documentação Instantânea

Restore e backup de mudanças

Processos bem definidos

Ambiente Padronizado

Tarefas Automatizadas

Benefícios ReaisMaior produtividade em menor tempo

Poucos SysAdmins para muitos nodes

Diminuição de falhas humanas

Maior controle de todo o seu parque

Diminuição do tempo gasto em mudanças

Diminuição do custo de manutenção

Tecnologia trabalhando para você

Puppet e a nuvem

Puppet & Cloud IaaSCloud Tools (FOSS) Cloud Hosts

Ganeti

Boas PráticasWednesday, August 8, 12

Use API do fornecedor

Desenvolva sua Infra

Versione suas configurações

Reaproveite Código

GitHub & PuppetForge

Pesquise!

Puppet em números

727 pessoas online no canal #puppet da irc.freenode.net

8.500 repositórios no GitHub

450 módulos no PuppetForge

4457 usuários ativos na lista puppet-users com 7795 tópicos de discussão

Dados coletados em 2012-08-06 às 10:34 PMWednesday, August 8, 12

4Linux & PuppetLabs1o Parceiro no Brasil

Consultores Especializados

Cases no Governo Federal

Suporte Puppet Enterprise

Treinamentos Puppet Master

Site/Bloghttp://www.puppetlabs.comhttp://www.puppetlabs.com/blog/http://puppet-br.org/

Twitter@puppetlabs

GitHubhttp://www.github.com/puppelabs

Puppet na rede

Google GroupsPuppet-camp,puppet-users,puppet-users-br,puppet-dev

IRCirc.freenode.org#puppet#puppet-br

Perguntas?

Obrigado!

Twitter @gutocarvalhogutocarvalho@gmail.com

Contato

slideshare.net/gutocarvalhogutocarvalho.net

Recursos Puppet Chef CfEnginePull Yes Yes YesPush No No NoIdempotence Yes Yes YesConfig Language Declarative Ruby DeclarativeWeb UI Yes Yes YesOS Support *NIX,Windows *NIX,Windows *NIX,WindowsLicense Apache Apache GPLCompany Puppetlabs OpsCode CfEngineCloud Yes Yes Yes

Comparando Ferramentas

Puppet Cloud IaaS

Technology

Cloud Computing - IaaS - Infraestructura como servicio

Cloud Paas and Iaas Playbook 2993836

Implentation d'une solution Cloud IAAS

HP Enterprise Business Template Angle Dark 4:3 Purple · Software as a Service (SaaS) IaaS PaaS SaaS CLOUD INFRASTRUCTURE IaaS PaaS CLOUD INFRASTRUCTURE IaaS CLOUD INFRASTRUCTURE

Walgreens S/4HANA Transition to Hybrid Cloud Technical ... - The... · • Figures as of 31 August 2017, ... (IAAS, PAAS, SAAS) IAAS Cloud IAAS Region 1 IAAS Cloud IAAS Region 2

27 Tips for Buying Cloud IaaS

IaaS: Implantação e gerenciamento de configurações de ambientes Cloud usando Puppet

IaaS Trends: Migrate Servers to Cloud

Oracle IaaS y Database Cloud Service - Blog UCLMblog.uclm.es/.../01/3-avanttic_day-CLOUD-20161216-IaaS-Database.pdfOracle IaaS y Database Cloud Service Angel Freire Ramírez Oracle

IaaS, SaaS, PasS : Cloud Computing

IBM Cloud : IaaS for developers

Using OpenStack and Puppet to deliver IaaS at CERN

DoC Private IaaS Cloud Thomas Joseph Cloud Manager

Puppet on the AWS Cloud

Managed Private Cloud IaaS: An Rx for Hybrid Cloud

Puppet Camp Dallas 2014: Using Puppet in Hybrid Cloud Deployments

Top vendors in Cloud Computing ( IAAS)

Building Private Iaas Cloud

PICS: A Public IaaS Cloud Simulator

Optimization of IaaS Cloud including Performance