Performance do Sistema_Aula Inaugural_Pós Graduação_UniverCidade_IBM

Centro Universitário da Cidade do Rio de Janeiro

UniverCidade

Escola de Ciências Exatas e Tecnologia

Pós-Graduação Lato Sensu em Suporte Tecnológico para Mainframes

Academic Initiative

Disciplina :

PERFORMANCE DO SISTEMA Professor :

Alfredo Saad Turma :

2010

Academic

Initiative

Agenda

Contra-exemplo: Case Real em Serviços Hospitalares

Ausência de Esforços na Área de Performance Impactos sobre a Organização

Exemplo: Case Real em Serviços de Transporte Aéreo

Esforço Contínuo na Área de Performance Benefícios para a Organização

Análise de Performance e Comprometimento com os

Negócios da Organização: um exemplo e ... um contra-exemplo

Academic

Initiative

Contra-exemplo: Case Real em

Serviços Hospitalares

Ausência de Esforços na Área de Performance Impactos sobre a Organização

Academic

Initiative

Contra-exemplo : Serviços Hospitalares

CareGroup Health Organization – Beth Israel Deaconess Medical Center (Boston)

– Outros hospitais em Cambridge, Needham e Ayer

A Maior Crise da História do Hospital

Entre 13 e 18 de novembro de 2002

Academic

Initiative

Beth Israel Deaconess Medical Center

– Hospital-Escola

– Harvard Medical School

– 450 Pacientes Internados

– 3.000 Exames Laboratoriais por dia


Academic

Initiative

Ambiente de TI

– 250 pessoas na equipe

– 25.000 pontos na rede

– 40 terabytes de tráfego na rede por dia

– 100.000 e-mails por dia


Academic

Initiative

Suporte de TI – Funções de Administração Hospitalar

– Funções Associadas à Atividade Médica disponibilizadas em rede (on-line, real-time) a:

• Médicos (Clínicos, Cirurgiões, Especialistas)

• Laboratoristas

• Nutricionistas

• Psicólogos

• Enfermeiros

• Estudantes


Academic

Initiative

Funções Associadas à Atividade Médica

• Processamento de Prescrições (imediato)

• Laudos e Imagens de Exames (45 minutos)

• Conferência via Web, inclusive em Cirurgias

• Monitoramento Cardíaco e Respiratório (real-time)

• Ficha Médica dos Pacientes (on-line)

– Doenças Prévias

– Alergias

– Medicações Anteriores

– Histórico de Exames


Academic

Initiative

Desempenho de TI Desempenho do Hospital

Rede / Sistema Lento ou Indisponível

Baixa Produtividade

Atividade Médica Afetada

Pacientes Sob Risco


Academic

Initiative

A Crise: Impactos Reais – Laudos de Exames

• 45 minutos 5 horas

– Atendimento de Emergência • Suspenso

– Acesso On-Line à Ficha Médica dos Pacientes • Lento

– Monitoramento Real-Time e Conferência via Web • Indisponível

– Processamento de Prescrições • Manual


Academic

Initiative

A Crise por Dentro: Dia 1 13 nov 2002 - 4a.feira

– 13:45 CIO percebe que o sistema está lento e questiona área de TI

– “Trata-se de um pico repentino e passageiro de CPU num dos switches principais da rede, de origem desconhecida, tendo ocorrências anteriores durado entre 15 min e 2 h”

– “Possivelmente devido à ação de um técnico externo que talvez tenha feito alterações na configuração. Não há razão para preocupação”

– Equipe decide desativar VLAN’s progressivamente

– Com a rede totalmente paralisada, a ação é revertida

– 18:00 comportamento do sistema se normaliza

– 21:00 a equipe deteta um “spanning tree protocol loop” ( ??? )

– Equipe decide desativar links redundantes

– 22:30 Problema parece ter sido resolvido

Academic

Initiative

– 08:00 começa a mostrar-se lento novamente

– A normalização da noite anterior foi devida apenas à baixa atividade

– Ocorrem novos picos de CPU

– Suspeita-se da rede dos outros hospitais do CareGroup

– Equipe decide converter conexão com os outros hospitais de switching para routing, fracassando após 7 horas de esforço

– 15:50 Serviço de emergência do hospital desativado

– Help-desk do hospital congestionado por milhares de chamados

– COO e CIO decidem acionar consultoria externa

– Consultoria decide auditar 25.000 pontos da rede para localizar as ocorrências de “spanning tree protocol loops”, além de substituir alguns switches por routers e dar boot em alguns switches



Academic

Initiative

– 08:00 mostra-se lento novamente

– 10:00 COO e CIO decidem pela operação manual do hospital

– “Onde estão os formulários ? Como preenche-los mesmo ? ”

– “Como distribuir os laudos de 3.000 exames por dia em papel ? ”

– “Como acomodar e alimentar a equipe de 100 pessoas que atacava a

crise em regime 24 x 7 ? ”

– Auditoria nos 25.000 pontos da rede para localizar as ocorrências de

“spanning tree protocol loops” continua, assim como a substituição

de switches por routers no núcleo da rede

– CIO dorme suas primeiras 2 horas nos últimos dois dias


Academic

Initiative

– Identificadas novas localidades com “spanning tree protocol loops”

– Equipe decide construir um núcleo redundante da rede com

infraestrutura de routers

– 09:00 CIO se reúne com CEO e não tem estimativa precisa para a

normalização da rede

– 21:30 Núcleo redundante da rede implantado

– 22:00 Rede reativada após 36 horas de indisponibilidade


– CIO vai para casa

– CIO é acordado a 01:00 com a notícia da ocorrência de outro pico de

CPU

A Crise por Dentro: Dia 4 16 nov 2002 - Sábado

Academic

Initiative

– 06:00 cartão de rede de um dos switches do núcleo da rede é trocado

– Equipe documenta as mudanças realizadas

– Baixa atividade do domingo não encoraja equipe a dar garantia de

solução definitiva do problema

– CIO decide observar o sistema durante 24 horas antes de anunciar o

fim da crise

A Crise por Dentro: Dia 5 17 nov 2002 - Domingo

Academic

Initiative

– 04:00 CIO chega ao hospital e aciona aplicação que mede o consumo de CPU em tempo real

– 07:30 As atividades do hospital começam a se avolumar

– 12:00 Não havia ocorrido qualquer pico de CPU e a rede se comportava normalmente sob carga plena

– CIO declara a crise encerrada

Notas:

- Referência: Berinato, Scott – All Systems Down, CIO Magazine, Feb 15, 2003

- CareGroup CIO – Dr. John Halamka

A Crise por Dentro: Dia 6 18 nov 2002 – 2ª. feira

Academic

Initiative

Lições Aprendidas – Reação meramente corretiva

– Ausência de medições históricas, impossibilitando

qualquer análise sólida de tendências

– Inexistência de monitoramento permanente, inviabilizando

diagnóstico ágil e seguro

– Desconhecimento da real origem do problema, gerando

explicações vagas e ações inócuas

– Inadequação de disciplinas de controle (problemas,

mudanças, performance, capacidade, etc.)

A Crise : Pós-análise

Academic

Initiative

Uma disciplina de Análise de Performance proativa teria evitado a crise pela:

• deteção prematura de:

– desvios de desempenho

– tendências anômalas

– recursos saturados

– comportamentos atípicos

• correção prévia à percepção dos usuários com relação a:

– arquitetura técnica obsoleta

– configurações impróprias de equipamentos e software

– rotinas e processos inadequados

– design não otimizado de aplicativos

A Crise : Pós-análise

Academic

Initiative

Exemplo: Case Real em

Serviços de Transporte Aéreo

Esforço Contínuo na Área de Performance Benefícios para a Organização

Academic

Initiative

Exemplo: Serviços de Transporte Aéreo

Suporte de TI – Funções Administrativas e Financeiras

– Funções Associadas à atividade-fim disponibilizadas em rede (on-line, real-time):

• Reservas de passagens

• Venda e emissão de bilhetes

• Check-in

• Programas de milhagem

• Escala de tripulantes

• Manutenção de aeronaves

• Plano de vôo

• Peso e balanceamento

• Cálculo de combustível

Academic

Initiative

Dados anuais de uma grande empresa aérea

– Receita Bruta US$ 14 bilhões

– Despesas com Combustível US$ 1,7 bilhão

– No. de Passageiros 107 milhões

– No. de Passageiros x Milhas 102 bilhões

– No. de Toneladas Carga x Milhas 1,5 bilhão

– Galões de Combustível 2,5 bilhões

– No. de Aeronaves 830

– No. de Empregados 75 mil

– Horas de Vôo 2,2 milhões

– Ocupação das Aeronaves 72 %


Academic

Initiative

Indisponibilidade de Sistema/Rede: Impactos

– Venda / Emissão de Bilhetes • Suspensa

– Central de Reservas / Programa de Milhagem • Suspensa

– Check-in • Manual

– Peso e Balanceamento / Plano de Vôo • Manual

– Cálculo de Combustível / Serviço de Bordo • Manual


Academic

Initiative

Indisponibilidade de 1 hora: Impactos

Receita Bruta US$ 1,6 milhão

No. de Passageiros 12.200

No. de Passageiros x Milhas 11,6 milhões

No. de Toneladas Carga x Milhas 171 mil


Academic

Initiative

Reserva de

Passagens

Venda e Emissão

de Bilhetes Check-in

Peso e

Balanceamento Serviço

de Bordo

Abastecimento

de Combustível

Plano

de Vôo

Escala de

Tripulantes

Manutenção

de Aeronaves


Academic

Initiative

Performance de TI Performance da Empresa

Rede / Sistema Indisponível

Perda de receita

Vôos em atraso

Aumento de custos

Passageiros insatisfeitos


Academic

Initiative

Perda de receita

Reservas não realizadas

Bilhetes não vendidos/emitidos

Vôos em atraso

Reflexo sobre outros vôos de cada aeronave

Impacto sobre Conexões


Academic

Initiative

Aumento de custos

Plano de Vôo x Combustível

Carga x Distribuição de peso

Tempo de Alocação da Tripulação

Passageiros insatisfeitos

Imagem da Empresa

Impacto sobre Fidelidade

x

x


Academic

Initiative

Uma disciplina de Análise de

Performance proativa garante um

desempenho da organização através da:

– deteção prematura de: • desvios de desempenho

• tendências anômalas

• comportamentos atípicos

– correção prévia ao impacto sobre os usuários com relação a: • configurações impróprias de

software e rede

• design não otimizado de aplicativos

• conflitos no acesso a recursos


Academic

Initiative

Estudo de Caso (1 de 28)

Exploração continuada da capacidade instalada

- Áreas de otimização de performance

- Serviços de produção batch

- Tuning de software básico

- Otimização de aplicações

Academic

Initiative


- Serviços de produção batch

- Identificação dos aplicativos mais consumidores

- Ajustes no horário de processamento

- Otimização da janela batch noturna

- Tuning de software básico

- Definição de classes e número de regiões do IMS

- Prioridade relativa entre transações on-line e jobs batch

- Gráu de concorrência de transações on-line e jobs batch

- Parametrização de performance do sistema operacional


Academic

Initiative

-Otimização de aplicações

- Interação ao longo de todas as fases do projeto de um aplicativo

- Validação e ajuste do modelo de dados sob a ótica da performance

- Validação dos processos on-line x batch

- Medições e recomendações pré-implantação

- Interação quando indicadores de performance alertados

- Medições e recomendações pós-implantação

- Identificação de grandes consumidores

- Análise de tendências

- Identificação de gargalos e conflitos de acesso

- Ações típicas

- Adequação da estrutura de índices

- Recodificação de statements SQL

- Qualificação - Range de seleção

- Order by /Group by - Expressões aritméticas

- Joins

- Alterações de funcionalidade do aplicativo

- Alterações de design do aplicativo


Academic

Initiative


ANTES

Relacionamento Competição

entre as áreas destrutiva


Academic

Initiative


ANTES



Visão da ação da Intromissão

área de performance indevida


Academic

Initiative


ANTES





Pós-Implantação Ambiente

em produção em crise


Academic

Initiative


ANTES







Motivação do time Baixa

de performance


Academic

Initiative


ANTES DEPOIS

Relacionamento Competição Esforço

entre as áreas destrutiva integrado






de performance


Academic

Initiative


ANTES DEPOIS



Visão da ação da Intromissão Apoio

área de performance indevida desejado




de performance


Academic

Initiative


ANTES DEPOIS





Pós-Implantação Ambiente Ambiente

em produção em crise estável


de performance


Academic

Initiative


ANTES DEPOIS







Motivação do time Baixa Alta

de performance


Academic

Initiative


ANTES DEPOIS







Motivação do time Baixa Alta

de performance

“If you don’t have time to do it right, when will you have time to do it again ?”

(Jeffrey Mayer)


Academic

Initiative


Antes

Mês 1

Número de trxs DB2 (x1000) 298

MIPS consumidos no pico 21,7

Tempo execução / trx (s) 4,72

Tempo CPU / trx (s) 0,26

Tempo lock/ trx (s) 1,40

Tempo de I/O / trx (s) 1,86

Tempo fila IMS / trx (s) 3,94


Academic

Initiative


Antes Depois

Mês 1 Mês 13

Número de trxs DB2 (x1000) 298 1.274

MIPS consumidos no pico 21,7 40,9

Tempo execução / trx (s) 4,72 0,76

Tempo CPU / trx (s) 0,26 0,06

Tempo lock/ trx (s) 1,40 0,04

Tempo de I/O / trx (s) 1,86 0,42

Tempo fila IMS / trx (s) 3,94 0,30


Academic

Initiative


Antes Depois Variação

Mês 1 Mês 13 Mês 1 13

Número de trxs DB2 (x1000) 298 1.274 +328%

MIPS consumidos no pico 21,7 40,9 + 88 %

Tempo execução / trx (s) 4,72 0,76 - 84 %

Tempo CPU / trx (s) 0,26 0,06 - 77 %

Tempo lock/ trx (s) 1,40 0,04 - 97 %

Tempo de I/O / trx (s) 1,86 0,42 - 77 %

Tempo fila IMS / trx (s) 3,94 0,30 - 92 %


Academic

Initiative


Antes Depois Variação


Número de trxs DB2 (x1000) 298 1.274 +328%

MIPS consumidos no pico 21,7 40,9 + 88 %

Tempo execução / trx (s) 4,72 0,76 - 84 %

Tempo CPU / trx (s) 0,26 0,06 - 77 %

Tempo lock/ trx (s) 1,40 0,04 - 97 %

Tempo de I/O / trx (s) 1,86 0,42 - 77 %

Tempo fila IMS / trx (s) 3,94 0,30 - 92 %


Academic

Initiative


Antes Depois Depois Variação

Mês 1 Mês 13 Mês 25 Mês 1 25

Número de trxs DB2 (x1000) 298 1.274 4.686 +1.472%

MIPS consumidos no pico 21,7 40,9 61,7 + 184%

Tempo execução / trx (s) 4,72 0,76 0,87 - 82%

Tempo CPU / trx (s) 0,26 0,06 0,06 - 77%

Tempo lock/ trx (s) 1,40 0,04 0,11 - 92%

Tempo de I/O / trx (s) 1,86 0,42 0,50 - 73%

Tempo fila IMS / trx (s) 3,94 0,30 0,26 - 93%


Academic

Initiative







Tempo CPU / trx (s) 0,26 0,06 0,06 - 77%

Tempo lock/ trx (s) 1,40 0,04 0,11 - 92%

Tempo de I/O / trx (s) 1,86 0,42 0,50 - 73%



Academic

Initiative







Tempo CPU / trx (s) 0,26 0,06 0,06 - 77%

Tempo lock/ trx (s) 1,40 0,04 0,11 - 92%

Tempo de I/O / trx (s) 1,86 0,42 0,50 - 73%



Academic

Initiative

Path

len

gth

méd

io d

a t

rx e

m p

rod

ução

(em

mil

hõ

es d

e i

ns

tr.)

8-1

8 h

s d

ias ú

teis

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39

Meses

2

3

4

5

1

Aplicação complexa implantada


Academic

Initiative

MIP

S c

on

su

mid

os

na h

ora

de p

ico

do

s d

ias ú

teis

10

20

30

40

70

60

50

0

100%

90%

1 3 5 7 9 11

Meses

13 15 17 19 21 23 25 27 29 31 33 35 37 39

Ambiente de Desenvolvimento

Ambiente de Produção + Desenvolvimento

Ambiente de Produção

Expansão efetuada apenas no mês 47

80%

mês 23

mês 27 70%

mês 18


Academic

Initiative

- Benefícios obtidos

- Exploração exaustiva da base instalada

- Uso de CPU acima de 90 % durante 20 meses

- Maior poder de negociação na aquisição da expansão do hardware

- Pelo adiamento da decisão de fechar o negócio

- Otimização nas decisões de invesimento

- Queda de 80 % no preço do Mip ao longo do período de 20 meses

- Economia de US$ 4,4 M

- Adequação e estabilidade dos níveis de serviço

- Maior previsibilidade do comportamento do ambiente

- Minimização do impacto de novos serviços sobre o ambiente

- Alta satisfação da comunidade usuária


Academic

Initiative

Comparativo Antes Depois Depois Depois ------------------- Variação -------------------

Mês 1 Mês 13 Mês 25 Mês 47 Mês 1 13 Mês 1 25 Mês 1 47

Número de trxs

DB2 (x1000) 298 1.274 4.686 6.120 + 328 % +1.472% +2.052 %

MIPS consumidos

no pico 21,7 40,9 61,7 102,8 + 88 % + 184% + 373 %

Tempo execução

por trx (s) 4,72 0,76 0,87 0,56 - 84 % - 82% - 88 %

Tempo CPU

por trx (s) 0,26 0,06 0,06 0,06 - 77 % - 77% - 77 %

Tempo de lock

por trx (s) 1,40 0,04 0,11 0,04 - 97 % - 92% - 97 %

Tempo de I/O

por trx (s) 1,86 0,42 0,50 0,24 - 77 % - 73% - 87 %

Tempo fila IMS

por trx (s) 3,94 0,30 0,26 0,42 - 92 % - 93% - 89 %


Academic

Initiative



Número de trxs

DB2 (x1000) 298 1.274 4.686 6.120 + 328 % +1.472% +2.052 %

MIPS consumidos

no pico 21,7 40,9 61,7 102,8 + 88 % + 184% + 373 %

Tempo execução

por trx (s) 4,72 0,76 0,87 0,56 - 84 % - 82% - 88 %

Tempo CPU

por trx (s) 0,26 0,06 0,06 0,06 - 77 % - 77% - 77 %

Tempo de lock

por trx (s) 1,40 0,04 0,11 0,04 - 97 % - 92% - 97 %

Tempo de I/O

por trx (s) 1,86 0,42 0,50 0,24 - 77 % - 73% - 87 %

Tempo fila IMS

por trx (s) 3,94 0,30 0,26 0,42 - 92 % - 93% - 89 %


Academic

Initiative



Número de trxs

DB2 (x1000) 298 1.274 4.686 6.120 + 328 % +1.472% +2.052 %

MIPS consumidos

no pico 21,7 40,9 61,7 102,8 + 88 % + 184% + 373 %

Tempo execução

por trx (s) 4,72 0,76 0,87 0,56 - 84 % - 82% - 88 %

Tempo CPU

por trx (s) 0,26 0,06 0,06 0,06 - 77 % - 77% - 77 %

Tempo de lock

por trx (s) 1,40 0,04 0,11 0,04 - 97 % - 92% - 97 %

Tempo de I/O

por trx (s) 1,86 0,42 0,50 0,24 - 77 % - 73% - 87 %

Tempo fila IMS

por trx (s) 3,94 0,30 0,26 0,42 - 92 % - 93% - 89 %


Academic

Initiative

Comparativo Antes Depois Variação


Tempo de processamento

no IMS por trx 6,15 1,18 - 81 %

Tempo de Resposta no

Host (TRH) por trx (s) 10,09 1,60 - 84 %

Distribuição do TRH

% de trxs com TRH < 1 s 31,3 % 69,9 % + 124 %

% de trxs com TRH < 3 s 71,0 % 95,2 % + 34 %

% de trxs com TRH < 5 s 82,5 % 97,6 % + 18 %

% de trxs com TRH > 10 s 8,8 % 1,2 % - 86 %

% de trxs com TRH > 30 s 3,6 % 0,4 % - 89 %


Academic

Initiative

Qualidade dos Serviços de TI x Eficiência das Operações da Organização

- Criticidade quanto ao tempo de resposta

- Criticidade quanto à disponibilidade

- Áreas operacionais vitais atendidas pela área de TI

- Infra-estrutura

- Aplicações


Academic

Initiative

Qualidade dos Serviços de TI x Eficiência das Operações da Organização

- Passageiros - Aeronaves

- Reserva de passagens - Peso e Balanceamento

- Check-in - Combustível

- Programas de fidelidade - Malha Aérea

- Prepaid Ticket Advice (PTA) - Paradas e Serviços

- Eletronic Ticketing - Aferição de Instrumentos

- Aeroportos / Vôo - Tripulação

- Planejamento de vôo - Escala de tripulação técnica

- Meteorologia - Escala de comissários

- Ocorrências de vôo - Nascer e pôr do sol

- Motores / Turbinas - Finanças

- Confiabilidade da Manutenção - Passenger Revenue Acct

- Qualidade de Componentes - Cargo Revenue Acct

- Materiais / Compras - Yield Management

- Produção de Oficinas - Contas a pagar

- Documentação de Engenharia - Contas a receber


Technology

Performance do Sistema_Aula Inaugural_Pós Graduação_UniverCidade_IBM