Upload
vudieu
View
216
Download
0
Embed Size (px)
Citation preview
METÓDOS EXPERIMENTAISPARTE 1
Seminário de Avaliação de ImpactoLuanda, Angola
Novembro 19 – 20, 2015
Referência
Versão em Espanhol & Versãoem Francês
e também disponível emPortuguese.
Download gratuito: www.worldbank.org/ieinpractice
http://runningres.com
Avaliação de Impacto – Roteiro
Estrutura Lógica
Medindo Impacto
Plano Operacional
Recursos
Como o programafunciona na teoria
Metódos para identificarimpacto
Nosso Objetivo
Estimar o efeito causal (impacto) do programa (P) sobre um resultado (Y).
P = Programa ou Tratamento
Y = Indicador, Medida de Sucesso
YT = Resultado com o programa
YC = Resultado sem o programa (controlo)
Impacto= YT- YC
Exemplo: CCT Progresa
Programa nacional de combate a pobreza no México
Transferência de renda condicionada aocomparecimento a escola e sistema de saúde
Público-alvo
•Eligibilidade baseada no índice de pobreza
Tempo:
• Iniciado em 1997
• Extendido ate 5 milhões
de beneficiarios em 2004
Qual é o Impacto da….
…transferência de rendacondicionada…
… no consumo da família
(P)
(Y)
Pergunta do Estudo
Desafio – Não contrafactual
Impacto= YT- YC
Nós não observamos o que poderia teracontecido aos alunos se eles não tivessemrecebido nenhuma renda (o contrafactual)?
CONTRAFACTUAL PERFEITO
CLONE
Experimento Perfeito
Primeiro, identifique os beneficiários-alvo…
Experimento Perfeito - Clones
… e então clone os beneficiários-alvo
Experimento Perfeito - Clones
Distribua renda condicionada a um grupo de clones
Experimento Perfeito - Clones
… e compare o consumo medio dos dois grupos algum tempo depois
• Porque as pessoas que receberam renda são exatamente as mesmas que não a receberam, podemos atribuir aoprograma a diferença do consumo entre os dois grupos
CONTRAFACTUAIS RUINS
Antes & Depois
Comparando inscritos e não inscritos
Caso 1: Antes & Depois
Y
Tempot=1997 t=1998
$35
ESTIMATIVA DO IMPACTO =A-B= $35
B
A
233
268
(1) Observe somente osbeneficiários
(2) Duasobservações de tempo: Consumo em 1997Consumo em1998.
Caso 1: Antes & Depois
Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).
Consumo (Y)
Consumo depois do início do programa(tratamento) 268.7
Consumo antes do início do programa(grupo de controlo (contrafactual)) 233.4
Estimativa do Impacto 35.3***
Estimativa do Impacto no Consumo (Y)
Regressão Linear 35.27**
Regressão Linear Multivariada 34.28**
Y
TempoT=0 T=1
α = $35
B
A
233
268
CrescimentoEconomico:o Impacto Real=A-Co A-B Impacto
superestimadoC ?
D ?
Impacto?
Impacto?Recessão Economica:o Impacto Real=A-Do A-B Impacto
subestimado
Caso 1: Problema: não sabemos o quepoderia ter acontecido sem o programa
Caso 2: Algumas pessoas se inscrevem, outras não
Inelegíveis(Não-Pobre)
Elegíveis(Pobre = Populalação-alvo)
Não Inscritos
Inscritos
Caso 2: Algumas pessoas se inscrevem, outras não
GRUPO DE TRATAMENTO GRUPO DE CONTROLO
Caso 2: Inscricao selectiva
E se aqueles que escolheram não se inscrever são diferentes?
Caso 2: Inscricao selectiva
E, se não podemos observar (controlar) estas diferenças…
Caso 2: Inscricao selectiva
E, se estas diferenças influenciarem os resultados?
Os fatores que determinam a inscrição são correlacionadoscom o consumo?
Caso 2: Algumas pessoas se inscrevem, outrasnão
Consumo (Y)
Consumo com o programa(inscritos - tratamento)
268
Consumo sem o programa(não inscritos - controle)
290
Estimativa do Impacto -22**
Estimativa do Impacto no Consumo(Y)
Regressão Linear -22**
Regressão Linear Multivariada
-4.15
Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).
Recomendação de Política do Progresa?
Impacto no Consumo (Y)
Caso 1: Antes & Depois
Regressão Linear 35.27**
Regressão Linear Multivariada 34.28**
Caso 2: Inscritos & Não Inscritos
Regressão Linear -22**
Regressão Linear Multivariada -4.15
Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).
Lembre-se…
ComparaçãoAntes-e-Depois
Problema: outros fatores importantestambém mudam aolongo do tempo.
Compare os que se inscreveram com os que não
Problema: Inscricaoselectiva. O inscritopode ser diferente, e não observamos estasdiferenças.
Ambos os grupos de comparação podem levar a estimativas enviesadas no impacto do programa.
CONTRAFACTUAL BOM
ALOCAÇÃO ALEATÓRIA
Alocação aleatória: criando grupossimilares
Com uma grande amostra, dois grupos tem característicasmuito similares EM MÉDIA
Validade Externa e Interna
Amostra Aleatória
AlocaçãoAleatória
População-alvo
Validade Externa Validade Interna
Amostra Aleatória NÃO é o mesmo queAlocação Aleatória!
Não ParticipantesParticipantes
A extração de uma amostra aleatória de dois grupos não os tornacomparáveis.
Caso 3: Alocação Aleatória na Progresa
Como sabemos se temos bons“clones” do grupo de tratamento?
Na ausência da Progresa, tratamentoe comparação devem ser idênticos
Vamos comparar suas caracteristicasna origem da intervencao (t=0)
Caso 3: Características balanceadas na origem
Alocação Aleatória
Tratamento Comparação teste T
Consumo($ mensal per capita)
233.4 233.47 -0.39
Idade do chefe da família(anos)
41.6 42.3 -1.2
Idade do Cônjuge(anos)
36.8 36.8 -0.38
Educação do chefe da família(anos)
2.9 2.8 2.16**
Educação do Cônjuge(anos)
2.7 2.6 0.006
Observação: Se o efeito é estatísticamente significativo a 1% do nívelde significância, rotulamos a estimativa do impacto com 2 estrelas(**).
Alocação Aleatória
Tratamento Comparação teste T
Chefe da família é do sexo feminino=1
0.07 0.07 -0.66
Indígena=1 0.42 0.42 -0.21
Número de membros do domicílio
5.7 5.7 1.21
Banheiro=1 0.57 0.56 1.04
Hectares de Terra 1.67 1.71 -1.35
Distância do Hospital (km)
109 106 1.02
Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).
Case 3: Características balanceadas na origem
… criar o contrafactual correto
Y
t=1997 t=1998
B
A
233
268
239
ImpactoVerdadeiro
Medida do Impacto=A-B= $29
Caso 3: Alocação Aleatória
Grupo de Tratamento
(aleatoriamenteescolhido)
Contrafactual(aleatoriamenteescolhido para Comparação)
Impacto
Origem (t=0) Consumo(Y) 233.47 233.40 0.07
Fase posterior (t=1) Consumo (Y) 268.75 239.5 29.25**
Estimativa do Impacto no Consumo(Y)
Regressão Linear 29.25**
Regressão Linear Multivariada
29.75**
Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).
Recomendação de Política do Progresa?
Observação: Se o efeito é estatísticamente significativo a 1% do nível de significância, rotulamos a estimativa do impacto com 2 estrelas (**).
Impacto do Progresa no Consumo (Y)
Caso 1: Antes & Depois
Regressão Linear Multivariada 34.28**
Caso 2: Inscrito & NãoInscrito
Regressão Linear -22**
Regressão Linear Multivariada -4.15
Case 3: AlocaçãoAleatória
Regressão Linear Multivariada 29.75**
RANDOMIZAÇÃO NA PRÁTICA
EXEMPLO DO PROGRESA
Programa Opera na Comunidade
Randomização na Comunidade
506 comunidades
320 tratamento
186 controlo
Assignação aleatória de comunidades para receber o programa
Programa foi aleatóriamente introduzido
TempoDurantee
Antes
período de avaliação
Depois
Lembre-se
Alocação Aleatória
Na Alocação Aleatória, amostrassuficientemente grandes, produzemdois grupos estatísticamenteequivalentes.
Nós identificamos o perfeito clone!
Teste Surpresa!
Qual é o problema quando comparamosaqueles que se increveram com aqueles que
escolheram não se inscrever? A. Aqueles que não se inscreveram
podem ser muito diferentesdaqueles que se inscreveram, e as diferencas podem estarcorrelacionadas com osresultados do programa.
B. Aqueles que não se increveramtambém irão querer receber o programa.
C. Aqueles que não se inscreverampodem ser muito diferentes dos que se inscreveram, mas as diferencas NÃO estãocorrelacionadas com osresultados do programa.
Those n
ot enro
lled co
uld...
Those n
ot enro
lled w
ill al..
Those n
ot enro
lled co
uld...
0% 0%0%
Aqueles não inscritos podem…Aqueles não inscritos irão…Aqueles não inscritos podem…
Qual é o maior problema em fazer umacomparação antes-e-depois?
A. Tamanho da amostra pode nãoser grande o suficiente
B. Qualquer diferença do resultadoque observamos no antes-e-depois pode ser devido a outros fatores que mudaram com o tempo.
C. Você pode não encontrar as pessoas pesquisadas no começo.
Sample
size
mig
ht not b
e...
Any diff
erence
we o
bser..
You mig
ht not f
ind th
e ...
0% 0%0%
Tamanho da amostra pode…Qualquer diferença observada…Você pode não encontrar…
O que é contrafactual?
A. Um argumento
B. É o que teria acontecido se o programa não tivesse ocorrido.
C. Um tipo de vacina.
D. Contrário aos fatos.
An arg
ument
It is
what w
ould h
ave h
...
A type o
f vac
cinatio
n.
Contrary
to th
e fact
s
0% 0%0%0%
Um argumentoÉ o que teria acontecido…Um tipo de vacina.Contrário aos fatos
Por que a randomização pode criar um contrafactual correto?
A. É justo porque todos tem uma change igual de receber o programa.
B. Clona cada pessoa.
C. Aqueles que receberam o programa são, em média, os mesmos que nãoreceberam o programa.
It is
fair
because
everyon...
It clo
nes each
pers
on.
Those w
ho rece
ive th
e p...
0% 0%0%
É justo porque todos…Clona cada pessoa.Aqueles que receberam…
Obrigado!