Upload
others
View
6
Download
0
Embed Size (px)
Citation preview
Universidade Federal do Rio Grande do Norte
Centro de Ciências Exatas e da Terra
Departamento de Estatística
Bacharelado em Estatística
Grá�cos CUSUM Ajustados ao Risco ParaMonitoramento de Tempos de Sobrevivência:Uma Aplicação em Dados da Área Médica
Jocelânio Wesley de Oliveira
Natal-RN
Dezembro de 2013
Jocelânio Wesley de Oliveira
Grá�cos CUSUM Ajustados ao Risco Para
Monitoramento de Tempos de Sobrevivência: Uma
Aplicação em Dados da Área Médica
Monogra�a de Graduação apresentada aoDepartamento de Estatística do Centro deCiências Exatas e da Terra da UniversidadeFederal do Rio Grande do Norte como re-quisito parcial para a obtenção do grau debacharel em Estatística.
Orientadora:Prof. Dra. Dione Maria Valença
Co-orientador:
Prof. Dr. Pledson Guedes de Medeiros
Universidade Federal do Rio Grande do Norte � UFRN
Departamento de Estatística � DEst
Natal-RN
Dezembro de 2013
Catalogação da Publicação na Fonte. UFRN / SISBI / Biblioteca Setorial
Centro de Ciências Exatas e da Terra – CCET.
Oliveira, Jocelânio Wesley de.
Gráficos CUSUM ajustados ao risco para monitoramento de tempos de
sobrevivência: uma aplicação em dados da área médica / Jocelânio Wesley de
Oliveira. - Natal, 2013.
32 f. : il.
Orientadora: Profª. Drª. Dione Maria Valença.
Co-Orientador: Prof. Dr. Pledson Guedes de Medeiros.
Monografia (Graduação) – Universidade Federal do Rio Grande do Norte.
Centro de Ciências Exatas e da Terra. Departamento de Estatística.
1. Análise de sobrevivência – Monografia. 2. Controle estatístico de processos –
Monografia. 3. Controle de qualidade – Monografia. 4. Gráfico RAST CUSUM –
Monografia. I. Valença, Dione Maria. II. Medeiros, Pledson Guedes de. III. Título.
RN/UF/BSE-CCET CDU: 519.24:61
Agradecimentos
À minha família pela imensa contribuição na minha formação como pessoa, e que me
ofereceu suporte em cada di�culdade com que me deparei.
À cada professor do Departamento de Estatística que participou de algum modo na
minha formação, seja na sala de aula ou fora dela.
Aos professores mais presentes na minha jornada: Carla Vivacqua, André Pinho, Ber-
nardo Borba, Joanlise Andrade, Idemauro Rodrigues e Jeanete Alves.
Aos professores Pledson Guedes de Medeiros e Dione Maria Valença que foram meus
orientadores neste trabalho, mas que conhecem bastante a minha batalha deste o momento
inicial, e me ajudaram a traçar cada passo da melhor forma.
Aos colegas de curso que se tornaram grandes amigos, em especial Cintya, Marilia,
Jessica, Regina, Mariana, Ligia e Samuel, que me acompanham desde às disciplinas básicas
do curso até os momentos de grande pressão e necessidade de estudar até altas horas.
Aos amigos da residência universitária que conheci nesses vários anos e com quem
dividi diversos momentos de alegria, em especial as que estão comigo desde os primeiros
dias: Rosivânia, Raliny, Hortência e Rafaele.
A todos que direta ou indiretamente me ajudaram a trilhar esse caminho.
Resumo
Este trabalho envolve o uso de técnicas de Controle Estatístico de Processos (CEP) para
monitoramento de tempos de sobrevivência. Diferentemente de aplicações na área indus-
trial, em que a população em estudo é considerada homogênea, o CEP na área de saúde
admite a heterogeneidade e deseja levar em consideração características particulares de
pacientes que, antes de se submeterem a um procedimento médico, podem apresentar dife-
rentes riscos de morte. Nessa perspectiva, alguns autores propõem o uso de um grá�co de
controle CUSUM ajustado ao risco (RAST CUSUM) , para monitorar resultados clínicos
em que a resposta é o tempo até a ocorrência de um evento e está sujeita a censura à
direita. Nesta abordagem as diferenças entre as observações são consideradas por meio de
um modelo de regressão de tempo de falha acelerado. Neste estudo simulamos um caso
em que há duas características associadas aos indivíduos em estudo (covariáveis), a saber,
idade e sexo, as quais in�uenciam na resposta, para observar o comportamento deste grá-
�co de controle na detecção de diferentes desvios de qualidade. Além disso, ilustramos o
uso do grá�co em uma aplicação com dados da área médica encontrados na literatura.
Palavras-chave : RAST CUSUM, Análise de Sobrevivência, Controle Estatístico de Pro-
cessos.
Abstract
This work involves the use of techniques of Statistical Process Control (SPC) to mo-
nitoring survival times. Unlike applications in the industrial area, in which the study
population is considered homogeneous, the SPC in healthcare admits heterogeneity and
wants to take into account particular characteristics of patients who, before undergoing a
medical procedure, may present di�erent risks of death. In this perspective, some authors
propose the use of a Risk-Adjusted Survival Time CUSUM Chart (RAST CUSUM) , to
monitor clinical outcomes in which the response is the time until the occurrence of an
event and is subject to right censoring. In this approach, the di�erences between the ob-
servations are considered with an accelerated failure time regression model. In this work
we simulated a case where there are two characteristics associated with individuals in the
study (covariates), age and gender, which a�ect the response, to observe the behavior of
this control chart in detecting di�erent quality deviations. In addition, we illustrate the
use of the RAST CUSUM in an application with medical data found in literature.
Keywords : RAST CUSUM, Survival Analysis, Statistical Process Control.
Lista de �guras
1 Ilustração de um esquema de censura de dados. . . . . . . . . . . . . . p. 13
2 Função de sobrevivência de uma Weibull com parâmetro de forma α = 2
e parâmetro de escala λ = 40. . . . . . . . . . . . . . . . . . . . . . . . p. 15
3 Dados simulados de uma distribuição log-logística com λ = 40, α = 8,
ρ1 = 0.7, γ = (−0.01, 0.5), e censura �xa em 30. . . . . . . . . . . . . . p. 23
4 Grá�co RAST CUSUM monitorando a amostra exibida na �gura 3. . . p. 24
5 Dados simulados de uma distribuição log-logística com λ = 40, α = 8,
ρ1 = 0.9, γ = (−0.01, 0.5), e censura �xa em 30. . . . . . . . . . . . . . p. 24
6 Grá�co RAST CUSUM monitorando a amostra exibida na �gura 5. . . p. 25
7 Tempos observados para os pacientes dos dados Worcester Heart Attack
Study (WHAS) organizados de forma cronológica. . . . . . . . . . . . . p. 27
8 Grá�co RAST CUSUM monitorando os dados com ρ1 = 0.1. . . . . . . p. 28
9 Grá�co RAST CUSUM monitorando os dados com ρ1 = 0.3. . . . . . . p. 29
Lista de tabelas
1 Tabela com os coe�cientes estimados do MTFA, erro padrão e p-valor
associado. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 28
Lista de abreviaturas e siglas
WHAS � Worcester Heart Attack Study
CEP � Controle Estatístico de Processos
CUSUM � Cumulative Sum
IM � Infarto do Miocárdio
WHAS � Worcester Heart Attack Study
AIC � Critério de Informação de Akaike
RAST CUSUM � Risk-adjusted Survival Time CUSUM
Lista de símbolos
δi � Indicador de censura dos dados
α � Parâmetro de forma da distribuição Weibull ou log-logística
λ � Parâmetro de escala da distribuição Weibull ou log-logística
γ � Vetor de coe�cientes de regressão associado ao MTFA
λ0 � Valor do parâmetro de escala das distribuições sob controle
λ1 � Valor do parâmetro de escala das distribuições fora de controle
ρ1 � Valor da intensidade da mudança de qualidade
Sumário
1 Introdução p. 10
1.1 Considerações Iniciais . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 10
1.2 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 11
2 Análise de Sobrevivência p. 12
2.1 Fundamentação Teórica . . . . . . . . . . . . . . . . . . . . . . . . . . p. 12
2.2 Distribuições Utilizadas . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 14
2.3 Modelo de Tempo de Falha Acelerado . . . . . . . . . . . . . . . . . . . p. 16
3 Grá�co de Controle CUSUM p. 18
3.1 O Grá�co CUSUM Usual . . . . . . . . . . . . . . . . . . . . . . . . . . p. 18
3.2 O Grá�co CUSUM Ajustado ao Risco . . . . . . . . . . . . . . . . . . . p. 19
3.3 Grá�co RAST CUSUM Weibull . . . . . . . . . . . . . . . . . . . . . . p. 20
3.4 Grá�co RAST CUSUM log-logístico . . . . . . . . . . . . . . . . . . . . p. 21
4 Exemplos Computacionais p. 22
5 Aplicação p. 26
5.1 Descrição dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 26
5.2 Grá�co RAST CUSUM . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 27
6 Considerações Finais p. 30
Referências p. 32
10
1 Introdução
1.1 Considerações Iniciais
O Controle Estatístico de Processos (CEP) consiste em uma ferramenta estatística
útil na investigação e monitoramento de processos ou fenômenos das mais variadas natu-
rezas, especialmente na área industrial. Por exemplo, é de utilidade manter sob controle
a qualidade de determinada mercadoria em uma linha de produção, o que pode ser feito
observando os resultados de alguma variável de interesse com respeito ao produto. Com
o passar do tempo o CEP, que era mais relacionado com a indústria, passou a ser consi-
derado para variáveis relacionadas à área da saúde. Claramente, é de grande importância
assegurar a qualidade dos procedimentos efetuados por hospitais e/ou da atuação de mé-
dicos individualmente. Com isso, os grá�cos de controle podem desempenhar um papel
notável para constatar uma redução na qualidade dos serviços de um hospital, de forma
geral, ou de alguma técnica especí�ca por este realizada, de modo que se possa intervir o
quanto antes para descobrir as causas da perda de qualidade e assim poder repará-la.
Várias utilizações do CEP na área relacionada à saúde são brevemente exempli�cadas
por Woodall (2006). Ele discorre que o uso do CEP no monitoramento e melhoria do
desempenho de hospitais pode incluir variáveis como taxas de infecção, taxas de quedas
de pacientes, ou tempos de espera de vários tipos, e cita alguns trabalhos que envolvem
estas características. Também atenta para a diferença entre monitorar doenças crônicas e
doenças contagiosas, ressaltando que estas últimas requerem a consideração de modelos
de séries temporais para tratar dos efeitos sazonais. O autor ainda comenta que em muitas
aplicações é necessário ajustar ao risco os resultados obtidos nos dados antes de construir
um grá�co de controle. Por exemplo, tempos de sobrevivência de pacientes após terem
sido submetidos a uma cirurgia devem ser modelados adequadamente de acordo com a
heterogeneidade dos indivíduos que realizam o procedimento cirúrgico. É importante levar
em consideração, por exemplo, o sexo, a idade, as condições de saúde do paciente antes de
se submeter à cirurgia, entre outras características particulares que podem estar ligadas
11
ao tempo de sobrevida.
Faz-se necessária, portanto, a proposição de um modelo para os dados de sobrevi-
vência que inclua as covariáveis de interesse associadas aos indivíduos. Com um modelo
apropriado podemos então determinar métodos para monitorar ao longo do tempo a e�-
ciência da técnica cirúrgica. Nessa perspectiva, Sego et al. (2009) desenvolveram uma
abordagem que utiliza o grá�co de controle CUSUM (Cumulative Sum) ajustado para
que incorpore o risco especí�co de morte por complicações da cirurgia cardíaca que cada
pessoa apresenta, o que é feito por meio de um modelo de regressão de tempo de falha
acelerado. Neste trabalho fazemos uma apresentação dessa metodologia de controle de
qualidade voltada para a área de análise de sobrevivência, ilustrando exemplos com dados
simulados e dados reais.
1.2 Objetivos
O objetivo principal deste trabalho é estudar a abordagem de Sego et al. (2009)
para inspeção de qualidade voltada para a área médica e realizar algumas simulações a
�m de compreender o comportamento deste grá�co. Temos ainda os seguintes objetivos
especí�cos:
• Ilustrar a importância do uso de grá�cos de controle para avaliar a qualidade na
área de saúde.
• Desenvolver o grá�co CUSUM Ajustado ao Risco que trata de cada observação de
modo particular, considerando as características individuais que são importantes na
explicação da resposta, neste caso o tempo de sobrevivência.
• Elaborar no software R rotinas computacionais que executem esta tarefa do moni-
toramento ajustado ao risco.
• Aplicar as técnicas construídas em dados simulados e também em dados reais a �m
de ilustrar o método.
12
2 Análise de Sobrevivência
2.1 Fundamentação Teórica
Dados de sobrevivência são constituídos por tempos até a ocorrência de um evento
(geralmente chamado de falha) ou de sua censura, isto é, quando não obtemos de fato um
valor da variável aleatória que está sendo observada. Por exemplo, em estudos com um
tempo limite em que pode haver indivíduos para os quais o evento em observação não
ocorreu até este tempo. Essas observações representam censuras à direita, já que o evento
poderia ocorrer depois daquele tempo limite, ou seja se observássemos por mais tempo
estes indivíduos, poderíamos alcançar o verdadeiro tempo de ocorrência.
No caso contínuo, a variável T = tempo até falha possui portanto uma função de
densidade f(t) e uma função de distribuição acumulada F (t) = P (T ≤ t). De�ne-se então
as seguintes funções:
• Função de Sobrevivência
A função de sobrevivência da variável aleatória T é de�nida como:
S(t) = P (T > t) =
∫ ∞t
f(x)dx = 1− F (t), para t ≥ 0
Esta função é não crescente e seu limite quando t tende a in�nito é zero.
• Função Risco
A função risco, também chamada de função taxa de falha, da variável T , indicada
por h(t) é de�nida como:
h(t) = lim∆t→0+
P (t < T ≤ t+ ∆t|T > t)
∆t
Esta função representa o risco instantâneo de que um indivíduo venha a falhar em
um determinado tempo t, condicionado ao fato de que já sobreviveu até este tempo.
13
Mostra-se que as funções f , h, e S estão relacionadas da seguinte forma:
h(t) =f(t)
S(t)= −d log(S(t))
dt;
f(t) = −d(S(t))
dt
Em um contexto prático, temos que os tempos observados em uma amostra (que po-
dem ser de falha ou censura) nem sempre representam de fato observações da variável alea-
tória Ti, para cada observação i, mas sim de uma variável de�nida como T ∗i = min(Ti, Ci),
sendo Ci uma variável aleatória que é o tempo de censura do indivíduo, associada à uma
variável indicadora δi de�nida como:
δi =
{1, se Ti ≤ Ci (falha)
0, se Ti > Ci (censura)
A ideia de censura é inerente a dados de sobrevivência e neste trabalho consideramos
nas simulações a censura do tipo I, que é um caso particular da censura aleatória. Esta
censura do tipo I ocorre quando no estudo há um tempo limite, e ao chegar esse momento
o evento não ocorreu para alguns indivíduos. Neste caso o tempo observado é o próprio
tempo da censura, e não verdadeiro valor da variável aleatória de interesse T . Se a dis-
tribuição de C não incorpora parâmetros de interesse do estudo, diz-se então que esta
censura é não informativa. A Figura 1 a seguir ilustra um esquema de censura de dados.
Figura 1: Ilustração de um esquema de censura de dados.
Como podemos ver, a não observação do verdadeiro valor da variável T pode ocorrer
14
por diferentes motivos. As observações 3, 4 e 6, por exemplo, são censuras do tipo I, já
que o tempo observado foi o tempo de duração do estudo, mas se este tivesse durado um
pouco mais, a falha seria observada em algum momento para estes indivíduos (no caso da
observação 6, seria necessário esperar um pouco mais que as outras para ocorrer a falha).
O indivíduo 2 falhou exatamente no �nal do estudo, o que faz desta observação um valor
de fato da variável T e não uma censura. As observações 1 e 5 falharam bem antes do
�m do estudo, �cando livres de censura. Já o indivíduo 7 falharia antes do �m do estudo,
entretanto por algum motivo foi observada uma censura antes do momento da falha, e
neste caso temos um exemplo de censura aleatória.
É comum na prática o interesse em explicar o tempo de sobrevivência de um determi-
nado indivíduo com base em informações especí�cas do mesmo, daí surge a necessidade
de atribuir um modelo de regressão que englobe as covariáveis em questão.
2.2 Distribuições Utilizadas
Duas distribuições de probabilidade comumente empregadas na Análise de Sobre-
vivência, e que serão objeto de estudo neste trabalho, são a distribuição Weibull e a
distribuição log-logística.
Considerando a parametrização usada por Sego et al. (2009), se a variável aleatória
T possui distribuição Weibull, sua função de densidade de probabilidade é dada por:
f(t) =α
λ
(t
λ
)α−1
exp
[−(t
λ
)α], para t ≥ 0 (2.1)
sendo α > 0 e λ > 0 os parâmetros de forma e escala, respectivamente. Para esta variável
aleatória, o valor esperado é λΓ(1 + 1/α), e mostra-se que a função de sobrevivência de
T é S(t) = exp[−(tλ
)α].
Associada à esta distribuição Weibull temos uma distribuição conhecida como Va-
lor Extremo ou Gumbel. Se T ∼ Weibull(α, λ), então Y = log(T ) possui distribuição
Valor Extremo com parâmetros µ = log(λ) e σ = 1/α, e sua função de densidade de
probabilidade é expressa por:
f(y) =1
σexp
[(y − µσ
)− exp
(y − µσ
)](2.2)
com σ > 0 e y e µ assumindo valores reais. Segue uma ilustração do comportamento da
função de sobrevivência de uma variável com distribuição Weibull, na qual podemos notar
15
o seu per�l decrescente.
0 20 40 60 80 100
0.0
0.2
0.4
0.6
0.8
1.0
Tempo
Sob
revi
vênc
ia
Figura 2: Função de sobrevivência de uma Weibull com parâmetro de forma α = 2 eparâmetro de escala λ = 40.
Considerando agora que a variável aleatória T possui distribuição log-logística, sua
função de densidade de probabilidade é dada por:
f(t) =α
λ
(t
λ
)α−1 [1 +
(t
λ
)α]−2
, para t ≥ 0 (2.3)
sendo α > 0 e λ > 0 os parâmetros de forma e escala, respectivamente. Para esta variável
aleatória, o valor esperado é λ πα(π/α)
(se α > 1), e obtém-se que a função de sobrevivência
de T é S(t) =[1 +
(tλ
)α]−1. Se tomarmos a variável Y = log(T ), temos que Y segue uma
distribuição logística com parâmetros µ = log(λ) e σ = 1/α, e sua função de densidade
de probabilidade é expressa por
f(y) =1
σexp
(y − µσ
)[1 + exp
(y − µσ
)]−2
. (2.4)
A �m de estimar parâmetros com base em uma amostra, é utilizado o método da
máxima verossimilhança, que consiste basicamente em um problema de otimização de uma
função objetivo. Seja D um conjunto de dados de sobrevivência constituído de tempos
(ti), indicadores de falha/censura (δi) e covariáveis (xi), com os tempos referentes a uma
16
variável aleatória T , cuja distribuição depende de um vetor de parâmetros θ. Temos que
a função de verossimilhança é dada por:
L(θ) =n∏i=1
f(ti; θ, xi)δiS(ti; θ, xi)
1−δi (2.5)
Assim, basta obter o valor (vetor de valores) θ̂ que maximiza esta função para termos
estimativas de máxima verossimilhança para o verdadeiro θ. Por motivos computacio-
nais, é preferível otimizar o logaritmo desta função, o que igualmente retorna o mesmo
resultado. Segue que a função log-verossimilhança é calculada como:
L∗(θ) = log(L(θ)) =∑i∈F
log f(ti; θ,xi) +∑i∈C
logS(ti; θ,xi) (2.6)
em que F é o conjunto de índices relativos a indivíduos que falharam (δi = 1), e C refere-se
a indivíduos que tiveram os tempos censurados (δi = 0).
2.3 Modelo de Tempo de Falha Acelerado
Para entender a construção deste modelo, primeiro de�nimos uma variável aleatória
Y = log(T ). Esta nova variável que depende da variável de interesse T pertence à família
de posição e escala, e então vale a seguinte relação:
Y = µ+ σW
sendo µ o parâmetro de posição, σ > 0 o parâmetro de escala, e W uma variável com uma
determinada distribuição referida como distribuição padrão.
Se consideramos σ constante, mas que o parâmetro de posição pode ser visto como
uma função de covariáveis associadas aos indivíduos, é possível então determinar um
modelo de regressão para este parâmetro do tipo µ(x) = xβ, em que x é um vetor de
covariáveis e β é um vetor de parâmetros de regressão correspondente, o que resulta em
um modelo log-linear para T com resíduo W .
Para o caso em que T segue uma distribuição Weibull com parâmetros λ(x) = exp(xβ)
e α = 1/σ, o modelo é da forma:
Y = xβ + σW
com W seguindo uma distribuição valor extremo padrão, que possui densidade baseada
17
em (2.2), tomando µ = 0 e σ = 1.
No caso em que T segue uma distribuição log-logística com parâmetros λ(x) =
exp(xβ) e α = 1/σ, o modelo segue de forma análoga, com W seguindo uma distribuição
logística padrão, que possui densidade baseada em (2.4), tomando µ = 0 e σ = 1.
No software R (R Development Core Team (2012)) está disponibilizado o pacote
intitulado survival que realiza procedimentos de estimação pelo método da máxima ve-
rossimilhança em modelo de tempo de falha acelerado para as distribuições Weibull e
log-logística (e também para outras possibilidades), e mostra como resultado os parâme-
tros da distribuição referente a Y = log(T ), o que pode ser facilmente retornado para os
parâmetros originais da variável T , tendo em vista a relação log-linear estabelecida.
18
3 Grá�co de Controle CUSUM
Grá�cos de controle têm sido amplamente empregados como uma ferramenta para
checar a estabilidade de processos industriais, e também de outras naturezas. O grá�co
CUSUM é uma alternativa interessante devido a sua característica de avaliar o processo
como um todo, acumulando informações de todos os indivíduos, e não cada observação
como algo isolado da amostra. A seguir temos esclarecimentos acerca desta técnica de
controle de qualidade.
3.1 O Grá�co CUSUM Usual
A ideia central do grá�co CUSUM para detecção de irregularidade no processo baseia-
se no escore calculado que representa a diferença entre a variável observada e o que se
espera desta em condições de estacionariedade. Quanto mais vezes este escore for superior
a zero, mais acumula erros na estatística CUSUM (estatística de teste), que pode então
ultrapassar um limite superior, o que indicará um alerta de que o processo observado está
retornando valores mais altos do que o normal. Analogamente, se os escores ocorrem mais
vezes com valores negativos trazendo a estatística CUSUM abaixo de um limite inferior,
temos um indício de que o processo está resultando em valores menores do que o normal.
Em condições de controle, espera-se que esta estatística �utue aleatoriamente em torno
de zero. Em geral se utiliza a construção do CUSUM tabular para detectar mudanças em
um parâmetro µ0 referente a uma variável aleatória X, da seguinte forma:
C+i = max{0, xi − (µ0 +K) + C+
i−1} (3.1)
C−i = max{0, (µ0 +K)− xi + C−i−1} (3.2)
e os valores iniciais são C+0 = C−0 = 0. A constante K é referida como um valor de
tolerância ou folga, e �ca visível que o grá�co pode sinalizar um desvio do parâmetro
verdadeiro tanto para um valor maior quanto um menor. Mais detalhes sobre este grá�co,
sua utilização e melhoramentos podem ser encontrados em Montgomery (2004).
19
3.2 O Grá�co CUSUM Ajustado ao Risco
Diferentemente da forma usual de se calcular o escore para o grá�co CUSUM sim-
plesmente com base na diferença entre o valor observado e um valor médio da variável
observada, Sego et al. (2009) utilizam-se da estipulação de um modelo para os tempos de
sobrevivência que leva em conta as covariáveis associadas aos indivíduos, o que resulta em
uma verossimilhança para cada observação, e desta forma é possível então utilizar a razão
entre a verossimilhança para o estado fora de controle e a verossimilhança sob controle
como forma de ponderar o afastamento do parâmetro com relação ao valor esperado sob
controle para cada indivíduo. Como a razão de verossimilhanças assume apenas valores
positivos, é utilizado como escore CUSUM o logaritmo natural desta razão, que compre-
ende tanto negativos como positivos. Igualmente ao CUSUM usual, quanto mais vezes
ocorrerem razões maiores do que 1 (que ao aplicar o logaritmo retornam um valor posi-
tivo), mais acumulamos a estatística de teste a ponto de ultrapassar um limite superior
de aceitação, o que nos dá indícios de que o processo avaliado esteja acima do normal, e
a mesma ideia ocorre para razões inferiores a 1 (resultados negativos do logaritmo) que
acumulam valores negativos podendo tornar a estatística de teste menor que um limite
inferior, o que aponta um processo com resultados abaixo do normal.
A seguir temos um detalhamento da proposta de Sego et al. (2009) que descreve
inicialmente uma forma geral de representar um grá�co CUSUM Ajustado ao Risco (RA
CUSUM):
Considerando i = 1, 2, . . . os índices dos pacientes (em ordem de execução da operação)
que serão monitorados pelo RA CUSUM, de�nimos L(θi|ri) como a verossimilhança para opaciente i, sendo θi um vetor de parâmetros e ri a medida de resposta (mortalidade, tempo
de sobrevivência, etc.). Um modelo ajustado ao risco para dados históricos sob controle
(training) é usado para predizer θi0 para cada novo paciente que chega. No estado de
controle, espera-se que θi seja igual a θi0. O modelo ajustado ao risco é escrito abaixo:
θi0 = g(Ψ, Ui) (3.3)
sendo Ui um vetor de covariáveis que re�ete os fatores de risco para o paciente i e Ψ um
vetor de parâmetros de regressão correspondentes. A forma básica do grá�co CUSUM é
dada por:
Z0 = 0
Zi = max(0, Zi−1 +Wi), i = 1, 2, . . . (3.4)
20
sendo Zi a estatística CUSUM, que é a estatística de teste usada para avaliar se o processo
sai de controle, que acumula a cada nova observação na amostra uma contribuição do
indivíduo que é contemplada pelo escore CUSUM descrito como Wi, o qual engobla suas
informações particulares. Um alarme é sinalizado se Zi > h, sendo h > 0 o limite de
controle. A log-verossimilhança do escore RA CUSUM, baseada na fórmula original de
Page (1954), quem primeiramente elaborou métodos de CUSUM, é dada por:
Wi = log
[L(θi1|ri)L(θi0|ri)
](3.5)
sendo θi1 o valor fora de controle nominal do parâmetro para o paciente i. O RA CUSUM
é projetado para detectar uma mudança de θi = θi0 para θi = θi1. A mudança de θi0
para θi1 deve ser um desvio signi�cativo (e interpretável) na qualidade do processo que
pretendemos detectar rapidamente.
Sego et al. (2009) citam os estudos de Steiner et al. (2000, 2001) nos quais o grá�co
CUSUM é considerado para uma variável aleatória com distribuição Bernoulli, que indica
se o indivíduo sobrevive mais que 30 dias após a operação ou não. Os autores propõem a
utilização de um modelo de regressão logística para estimar as chances de cada indivíduo
de sobreviver mais que 30 dias (o que caracteriza o sucesso da cirurgia), e tomam como
base a razão da chance de sobreviver até 30 dias e a chance de sobreviver mais de 30
dias para determinar uma log-verossimilhança para o escore do grá�co CUSUM. Final-
mente, Sego et al. (2009) veri�caram que o grá�co CUSUM ajustado com um modelo
de sobrevivência é mais e�ciente pelo fato de sinalizar um alarme mais rápido do que a
proposta Bernoulli para diversos níveis de censura e principalmente quando o aumento na
chance de mortalidade era pequeno. De fato, o grá�co CUSUM é uma boa alternativa na
detecção de pequenos desvios do parâmetro, com relação aos grá�cos de controle usuais,
sendo portanto recomendado para este tipo de aplicação, em que se tem interesse em
detectar desvios sutis na qualidade. Grigg e Farewell (2004) descrevem uma visão geral
sobre grá�cos de controle ajustados ao risco.
3.3 Grá�co RAST CUSUM Weibull
Com base na notação usada por Sego (2006), para o caso em que T ∼ Weibull(α, λ)
o modelo de tempo de falha acelerado é da forma:
log(T ) = µ+ γ′x + σV (3.6)
21
em que α = 1/σ e λ = eµ são os parâmetros de forma e escala de T ignorando a in�uência
de covariáveis (x = 0), γ é um vetor de coe�cientes de regressão e V segue uma distribui-
ção valor extremo padrão. Dessa maneira, tomando β = −γ, a função de sobrevivência
condicionada às covariáveis do indivíduo i é dada por:
S(ti|xi) = exp
{−[ti exp(β
′xi)
λ
]α}(3.7)
Com o processo sob controle, consideramos que o parâmetro de forma α é constante, e
o parâmetro de escala assume um valor λ0 , ambos estimados a partir de dados históricos,
e temos interesse em detectar uma mudança de λ0 para λ1 = p1λ0 à medida que novos
indivíduos são observados. Sego (2006) calculou, então, o escore CUSUM, espelhado em
(3.5) que recai na seguinte fórmula:
Wi = (1− ρ−α1 )
[ti exp(β
′xi)
λ0
]α− δiα log ρ1 (3.8)
Finalmente podemos monitorar o parâmetro λ a partir da estatística CUSUM descrita
em (3.4) com auxílio de Wi.
3.4 Grá�co RAST CUSUM log-logístico
Prosseguindo com notação similar à empregada por Sego (2006), para o caso em que
T ∼ log-logística(α, λ) o modelo de tempo de falha acelerado aparece de forma quase
idêntica ao caso Weibull, com a diferença que a distribuição da variável V é logística
padrão. A função de sobrevivência condicionada às covariáveis é dada por:
S(ti|xi) =
[1 +
(ti exp(β
′xi)
λ
)α]−1
(3.9)
e o escore CUSUM obtido é �nalmente descrito por:
Wi = −αδi log ρ1 + 2δi{
log
[1 +
(ti exp(β
′xi)
λ0
)α]− log
[1 +
(ti exp(β
′xi)
ρ1λ0
)α]}(3.10)
De posse desta expressão, podemos então fazer o monitoramento do parâmetro λ a
partir da estatística CUSUM descrita em (3.4).
22
4 Exemplos Computacionais
Com o propósito de compreender o método apresentando por Sego (2006), foram rea-
lizadas simulações de dados no software R para testar o uso do grá�co RAST CUSUM. Os
dados são gerados para atender ao modelo especi�cado em (3.6). Para o modelo Weibull,
�xamos valores sob controle para os parâmetros µ e σ, e consideramos duas covariáveis
(sexo e idade) às quais está associado o vetor de parâmetros de regressão γ′também
�xado previamente (Sego (2006) considera em seu trabalho apenas uma covariável, o es-
core Parsonnet ). Tomando um tamanho de amostra n0, são gerados n0 valores de uma
distribuição Bernoulli com parâmetro 0.5 para representar a variável sexo, de modo a ter
aproximadamente a mesma quantidade de pessoas para cada sexo, e n0 valores de idade
são gerados a partir de uma distribuição Normal(40, 102), tomando apenas a parte inteira
do resultado. Em seguida, n0 valores da variável V são obtidos de uma distribuição valor
extremo padrão, e �nalmente, utilizamos a relação log-linear para retornar os valores da
variável T .
Neste exemplo a censura é considerada �xa no tempo 30, a �m de re�etir a aplicação
considerada pelo autor, em que os pacientes são acompanhados por 30 dias após a rea-
lização de uma cirurgia. Assim, obtemos o conjunto de dados �nal sob controle, com os
tempos observados T ∗i = min{Ti, 30}, o indicador δi e o vetor de covariáveis para sexo e
para idade. Feito isso, obtemos dados fora de controle para anexar com estes sob controle,
e para tanto consideramos alguns valores de ρ1 para representar a mudança na qualidade
que queremos detectar (neste caso ρ1 é um número menor que 1, já que uma redução
no parâmetro de escala (tanto no caso da distribuição log-logística quanto da Weibull)
acarreta um tempo médio de sobrevivência menor, e com isso, o processo passa a ter uma
qualidade inferior), e então geramos um conjunto de dados com n1 indivíduos, com base
nesse mesmo procedimento, mas tomando µ1 = log(λ1) = log(ρ1λ0), em que λ0 é o valor
sob controle para o parâmetro de escala.
Utilizando o método de estimação implementado no pacote survival com os dados sob
controle, obtemos as estimativas de cada parâmetro, que são tidas como valores verdadei-
23
ros para aplicar posteriormente no grá�co CUSUM. Para gerar dados de uma log-logística
o procedimento é semelhante, diferindo apenas na variável V , que é tomada de uma distri-
buição logística padrão. Seguem abaixo ilustrações de alguns comportamentos do RAST
CUSUM para o modelo log-logístico, nos quais foi considerado um tamanho de amostra
n0 = n1 = 100, sendo assim, o ponto de mudança de qualidade é no índice 101. Ao
observar o grá�co apenas dos tempos de sobrevivência não �ca evidente que houve uma
mudança de qualidade, principalmente porque isso não se deve apenas ao valor observado
para o tempo, mas também a uma série de fatores associados aos indivíduos que explicam
o tempo de sobrevida. Com isso, �ca clara a importância de se usar métodos que detec-
tem de forma numérica uma mudança de qualidade com base em informações obtidas nos
dados, de modo a eliminar subjetividades no julgamento de que ocorreu uma mudança
no desempenho do processo que está sob avaliação.
0 50 100 150 200
1015
2025
30
Paciente
Tem
po
Figura 3: Dados simulados de uma distribuição log-logística com λ = 40, α = 8, ρ1 = 0.7,γ = (−0.01, 0.5), e censura �xa em 30.
A seguir temos o grá�co RAST CUSUM monitorando essa amostra, o qual pretende
detectar uma redução de 30% no parâmetro λ (o que corresponde ao valor de ρ1 = 0.7) e
se mostra e�ciente já que não demorou a ultrapassar o limite de controle, e a estatística
de teste continuou crescendo inde�nidamente após o ponto de alerta. A linha vermelha
horizontal marca o valor 5 no eixo y, que é um limite de controle geralmente considerado
como alerta (mas é importante estudar cada caso a �m de obter um limite ideal que torne
o grá�co mais e�ciente em seu propósito), e a linha vertical marca o ponto 100, onde a
última observação sob controle foi registrada.
24
0 50 100 150 200
050
100
150
Paciente
Esc
ore
Z
Figura 4: Grá�co RAST CUSUM monitorando a amostra exibida na �gura 3.
Espera-se que para mudanças mais intensas (ρ1 = 0.3 ou ρ1 = 0.5, por exemplo), o
grá�co consiga rapidamente identi�car o desvio da qualidade, podendo ocorrer um alarme
já na primeira observação. Mudanças mais sutis (ρ1 ≥ 0.9, por exemplo) são mais difíceis
de detectar, levando mais tempo, mas ainda assim o método se mostra capaz nestes casos,
como se pode ver nas ilustrações seguintes.
0 50 100 150 200
1015
2025
30
Paciente
Tem
po
Figura 5: Dados simulados de uma distribuição log-logística com λ = 40, α = 8, ρ1 = 0.9,γ = (−0.01, 0.5), e censura �xa em 30.
25
Novamente, vemos que é difícil perceber a mudança de qualidade com base apenas
nos tempos, mas o grá�co RAST CUSUM consegue detectar com �rmeza a ocorrência
dessa mudança que representa uma redução de apenas 10% no parâmetro de escala da
distribuição, o qual é diretamente ligado ao tempo médio de sobrevivência da variável em
estudo. O grá�co demora em torno de 10 observações para sinalizar um alarme de que
houve uma mudança no processo, o que é satisfatório.
0 50 100 150 200
05
1015
Paciente
Esc
ore
Z
Figura 6: Grá�co RAST CUSUM monitorando a amostra exibida na �gura 5.
De modo geral, vemos que o método proposto é de fato capaz de constatar diferentes
desvios de qualidade ρ1, e embora demore mais para os casos em que este valor é próximo
de 1 (o que representa mudanças de qualidade sutis), ele consegue sinalizar um alerta de
mudança. Deve-se atentar também para o fato de que o valor estipulado para o limite de
controle h = 5 é apenas um exemplo da utilização do grá�co, e que é possível determinar
um valor ideal para cada situação estudada, de forma a se obter um desempenho ótimo
do método de detecção.
26
5 Aplicação
5.1 Descrição dos Dados
Os dados aqui utilizados são descritos em Hosmer et al. (2008), e referem-se a um
estudo realizado pelo Departamento de Cardiologia da Escola de Medicina da Universidade
de Massachusetts, o qual foi conduzido pelo Dr. Robert J. Goldberg. Eles observaram o
tempo de sobrevida de pacientes internados em hospitais de Worcester que apresentaram
infarto do miocárdio (IM) e foram submetidos a um procedimento médico. Os dados
contém os tempos de sobrevivência observados de 500 pacientes e também características
particulares dos indivíduos as quais podem ter in�uência nestes tempos. Neste trabalho
�zemos uma análise destas variáveis que sugere o modelo Weibull como representativo e
consideramos as variáveis mais signi�cativas, de acordo com o procedimendo de seleção
de variáveis stepwise, algumas do tipo numérico, como idade (age, em anos), frequência
cardíaca inicial (hr, medida em batidas por minuto), índice de massa corporal (bmi). Há
também variáveis binárias que indicam algumas condições de saúde do paciente: histórico
de doença cardiovascular (cvd, 0 = Não; 1 = Sim), �brilação atrial (afb, 0 = Não; 1 =
Sim), choque cardiogênico (sho, 0 = Não; 1 = Sim), complicações cardíacas congestivas
(chf, 0 = Não; 1 = Sim), e bloqueio cardíaco completo (av3, 0 = Não; 1 = Sim).
Inicialmente podemos observar um comportamento decrescente ao longo do tempo
que pode ser indício de que houve em algum momento uma redução na qualidade do
atendimento, acarretando tempos de sobrevivência menores do que o esperado para os
pacientes, como pode ser visualizado na Figura 7 exibida na página seguinte. Até em
torno da observação 150 o comportamento dos tempos parece ser similar e superior às
observações seguintes na amostra, o que nos faz considerar esses dados como a amostra
sob controle usada no propósito de monitoramento da qualidade.
Como vimos nos exemplos com dados simulados, o comportamento da série de tem-
pos de sobrevivência observados não necessariamente denuncia a ocorrência de um desvio
de qualidade. O grá�co dos tempos para esses dados parece sugerir que com o passar
27
0 100 200 300 400 500
050
010
0015
0020
00
Paciente
Tem
po
Figura 7: Tempos observados para os pacientes dos dados Worcester Heart Attack Study(WHAS) organizados de forma cronológica.
do tempo os tempos observados estão sendo menores, e é de interesse então investigar
se isso está ocorrendo devido à redução na qualidade do atendimento, ou se pode ser
explicado por características particulares dos indivíduos em questão que justi�cam a ob-
servação de tempos inferiores. Sendo assim, o grá�co RAST CUSUM, que é baseado na
verossimilhança do MTFA pode ser útil e ideal no julgamento destes dados.
5.2 Grá�co RAST CUSUM
Utilizamos o grá�co para detectar diferentes desvios de qualidade ρ1, tomando as pri-
meiras 150 observações como a amostra sob controle, como �cou sugerido ao se observar o
comportamento da série de tempos de sobrevivência observados na amostra. Para tanto, os
coe�cientes do MTFA ajustado com a distribuição Weibull são dados na tabela mostrada
na página seguinte. Foi utilizado o procedimento de seleção de variáveis stepwise (combi-
nação de forward com backward ) iniciando com o modelo completo, com auxílio de uma
rotina disponibilizada no software R, que leva em conta o AIC (Critério de Informação
de Akaike), e ao �nal retorna o modelo que apresenta o menor AIC.
28
Tabela 1: Tabela com os coe�cientes estimados do MTFA, erro padrão e p-valor associado.
Coe�ciente Valor estimado Erro padrão p-valor(Intercepto) 15.2166 2.39233 2.01e-10age -0.1085 0.02250 1.43e-06hr -0.0248 0.00944 8.73e-03bmi 0.1013 0.04696 3.10e-02cvd 1.3704 0.52855 9.52e-03afb 1.1242 0.59668 5.95e-02sho -1.8062 0.87731 3.95e-02chf -1.3151 0.47458 5.59e-03av3 -2.4742 1.05360 1.89e-02Log(scale) 0.5655 0.09976 1.44e-08
Testamos 5 valores para ρ1 (0.1, 0.3, 0.5, 0.7 e 0.9), e nestes casos o mais chamativo é
o primeiro, que representa uma mudança de qualidade muito forte, uma redução de 90%
no parâmetro de escala da distribuição. O grá�co RAST CUSUM é exibido a seguir:
0 100 200 300 400 500
01
23
45
67
Paciente
Esc
ore
Z
Figura 8: Grá�co RAST CUSUM monitorando os dados com ρ1 = 0.1.
O primeiro sinal é detectado na observação 430 (na amostra completa), e corresponde
a um indivíduo do sexo masculino com 62 anos de idade, o qual foi internado em 22
de setembro de 2001, permaneceu internado por 6 dias, e sobreviveu 12 dias além disso.
Entende-se que esse tempo de sobrevivência é de fato pequeno, podendo já representar
29
uma de�ciência na qualidade de atendimento à este paciente (embora a idade já avan-
çada presuma um tempo esperado de sobrevida baixo), mas vale salientar que o grá�co
acumulou anteriormente informações de diversos indivíduos até sinalizar um alarme nesse
ponto. O grá�co permanece por algumas observações indicando que o processo está fora
de controle, mas volta ao estado sob controle na observação 433, o que indica que esta
provável falha de qualidade possa ter sido percebida pela equipe dos hospitais e foi então
reparada. Tendo em vista que o grá�co apresenta também uma pequena probabilidade de
sinalizar um alarme falso, é necessário de fato investigar com cautela a situação a �m de
descobrir causas que podem ter levado à redução de qualidade dos serviços.
0 100 200 300 400 500
01
23
45
Paciente
Esc
ore
Z
Figura 9: Grá�co RAST CUSUM monitorando os dados com ρ1 = 0.3.
Para o RAST CUSUM considerando ρ1 = 0.3, o sinal é detectado somente na ob-
servação 493, e corresponde a um indivíduo do sexo feminino com 55 anos de idade, o
qual foi internado em 13 de dezembro de 2001, tendo sobrevivido apenas 2 dias ainda
no hospital. Assim como o grá�co anterior, este acaba voltando a indicar que o processo
está sob controle em algum momento. Contudo, tais constatações sugerem a atenção dos
responsáveis pela qualidade dos serviços quanto à investigação de possíveis problemas que
podem explicar o que foi observado com o grá�co. Vemos que em ambos os grá�cos não
há detecção de mudança até a observação 400, algo que parecia muito sugestivo na Fi-
gura 7 com a queda gradativa nos tempos registrados, isto é, uma análise subjetiva que
desconsidera as informações especí�cas dos pacientes pode levar à conclusões errôneas.
30
6 Considerações Finais
Com as aplicações em dados simulados podemos ver que esta técnica de controle ba-
seada em verossimilhança de modelos é competente. Entendemos ainda que o limite de
controle 5 comumente utilizado em grá�cos CUSUM não é sempre ideal para o monitora-
mento em dados de sobrevivência, por retardar a detecção de mudança em certos casos, o
que sugere a realização de simulações a �m de compreender que limites devem ser usados
em situações diversas.
Na análise nos dados reais de pacientes internados por problema cardíaco o grá�co
RAST CUSUM detectou em algum momento uma mudança ρ1 = 0.1, que representa uma
redução de 90% no valor do parâmetro de escala λ0, o que compremete drasticamente
o tempo médio de sobrevivência. Claramente isso chama a atenção para investigação
de problemas de ordem técnica que possam ter ocasionado o fenômeno, e evidencia a
capacidade do grá�co de apontar uma mudança de qualidade com base em informações
especí�cas dos pacientes, e não só o tempo de sobrevida registrado. Vale ressaltar que
embora o limite de controle adotado h = 5 pode não ser um valor ótimo para a situação,
mas é uma exempli�cação da capacidade do grá�co de constatar desvios no parâmetro
de interesse. Outro ponto a ser considerado é a característica retrospectiva do estudo, e
que os indivíduos que entraram mais cedo são contemplados com um maior tempo de
observação, sendo assim é natural que os tempos de sobrevivência observados para os
últimos pacientes fossem um pouco menores. Ainda assim, o grá�co é construído para
levar em conta as covariáveis associadas à esses tempos, e isso ajuda a eliminar uma
interpretação indevida na avaliação da qualidade com base apenas no valor observado da
variável tempo desconsiderando características particulares dos indivíduos.
Outra discussão relevante diz respeito à organização dos dados. Nesse exemplo leva-
mos em conta a data de internação de cada paciente, tendo em vista que é esse o momento
em que o hospital realizou o procedimento de emergência, e é essa qualidade que queremos
avaliar. Contudo, é necessário acompanhar o indivíduo até observar sua falha ou censura
em algum momento, e é só nesse ponto que suas informações podem ser incluídas no
31
grá�co de controle. Essa aplicação re�ete portanto uma visão retrospectiva de controle de
processos, mas obviamente é possível utilizar essa ferramenta para um propósito de moni-
toramento da qualidade prospectivamente, e tal ideia traz diversos questionamentos sobre
de que maneira esta tarefa deve ser executada de modo a retornar resultados con�áveis.
Sego et al. (2009) evidenciam diversos aspectos que podem comprometer a habilidade do
grá�co RAST CUSUM, tais como o tamanho da amostra de treinamento usada para obter
estimativas dos parâmetros sob controle, que deve ser grande o su�ciente para fornecer
estimativas con�áveis, e que de preferência deve ser constituída por indivíduos com tem-
pos de sobrevivência não muito longos, pois isso pode confundir o modelo com a ideia de
riscos competitivos. Com isso, surge a ideia de considerar modelos mais apropriados para
levar em conta indivíduos com longos tempos de sobrevivência, o que pode ser feito com
modelos de sobrevivência com fração de cura. Tendo em vista que a principal utilidade
de um grá�co de controle é no aspecto prospectivo, os autores também comentam sobre
a atualização do modelo a cada nova observação, ressaltando que é preferível manter um
modelo bem ajustado com uma amostra �xa a �m de evitar mistura de indivíduos sob
controle e fora de controle na construção do modelo, o que seria inadequado. Portanto, é
importante avaliar se o modelo obtido é bem adequado à situação a �m de obter conclusões
úteis com o grá�co de controle.
Como sugestão para trabalhos futuros, pode ser feita uma análise de desempenho
para obtenção de limites de controle ótimos em diferentes ocasiões, no intuito de melhorar
o poder de detecção do grá�co. Também é interessante estudar qual a melhor forma de
inserir uma nova observação no grá�co, no propósito de monitoramento prospectivo. Além
disso, surge também o interesse em considerar outros modelos de sobrevivência em vez do
MTFA, como por exemplo, modelos que levam em conta a possibilidade de uma fração
de cura nos dados, algo que ocorre na prática em algumas situações. Também podem
ser considerados outros grá�cos de controle capazes de sinalizar pequenos desvios, como
exemplo, o grá�co EWMA.
32
Referências
GRIGG, O.; FAREWELL, V. An overview of risk-adjusted charts. Journal of the RoyalStatistical Society: Series A (Statistics in Society), v. 167, n. 3, p. 523-539, 2004.
HOSMER, David W. et al. Applied Survival Analysis: Regression Modeling of Time toEvent Data. Second Edition, John Wiley and Sons Inc., New York, NY. 2008.
MONTGOMERY, D. C. Introdução ao Controle Estatístico da Qualidade. LTC, 2004.
PAGE, E. S. Continuous inspection schemes. Biometrika, p. 100-115, 1954.
R Core Team. R: A Language and Environment for Statistical Computing . Vienna,Austria, 2012. ISBN 3-900051-07-0. Disponível em: <http://www.R-project.org/>.
SEGO, Landon H. Applications of control charts in medicine and epidemiology . 2006.Tese de Doutorado. Virginia Polytechnic Institute and State University.
SEGO, Landon H.; REYNOLDS JR, Marion R.; WOODALL, William H. Risk adjustedmonitoring of survival times. Statistics in medicine, v. 28, n. 9, p. 1386-1401, 2009.
STEINER, Stefan H. et al. Monitoring surgical performance using risk-adjustedcumulative sum charts. Biostatistics, v. 1, n. 4, p. 441-452, 2000.
STEINER, Stefan H.; COOK, Richard J.; FAREWELL, Vern T. Risk-adjustedmonitoring of binary surgical outcomes. Medical Decision Making, v. 21, n. 3, p. 163-169,2001.
WOODALL, William H. The use of control charts in health-care and public-healthsurveillance. Journal of Quality Technology, v. 38, n. 2, p. 89-104, 2006.