Upload
internet
View
110
Download
1
Embed Size (px)
Citation preview
Aula 5
24 de setembro de 2013Análise de decisão de políticas com
agrupamentos de cortes transversais
Avaliação Econômica
Avaliação de Impacto
• Determinar se o projeto teve efeitos sobre indivíduos/ famílias/regiões
• Se os efeitos foram intencionais ou não-intencionais
• Se os efeitos foram realmente resultado do projeto ou ocorreriam de qualquer forma
Avaliação de Impacto• Isto é feito com o uso de um indicador
que se relacione diretamente com o objetivo do programa.
• Dois aspectos: mensuração e causalidade– Mensuração: não apenas saber se houve
mudança, mas também medir essa mudança.
– Causalidade: garantir que a mudança observada foi causada pelo programa.
Mensuração
• Para isso, o cuidado com a escolha do indicador de impacto é fundamental.
• Preferência por indicadores objetivos e de fácil observação.
Causalidade
• É uma das etapas mais difíceis da avaliação, mas é fundamental!
Exemplo: ‘programa de melhoria da qualidade do ensino médio, com foco na evasão escolar’. Ação: oferecer oficinas (de arte, de
música, de leitura, etc) após o horário das aulas, buscando motivar esses jovens a permanecer na escola.
Indicador de resultado: índice de freqüência escolar (IFr).
estamos buscando o contrafactual
O contrafactual• IDEAL: comparar o índice de
freqüência escolar dos jovens que participaram das oficinas com o índice de freqüência observado para esses mesmos jovens, caso eles não tivessem participado das oficinas. – Essa seria a única maneira de ter
certeza de que o aumento na freqüência escolar foi resultado exclusivo da participação nas oficinas.
Infelizmente, tal contrafactual não existe...
Grupos de controle• Como não temos os contrafactuais, o
problema é resolvido com a construção dos chamados grupos de controle. – Idéia: formar grupos de não-participantes
(na linguagem de avaliação de não-tratados), que tenham as mesmas características dos participantes (tratados).
• No caso das oficinas: encontrar jovens que não tenham participado das oficinas que se pareçam (tenham a mesma idade, o mesmo nível sócio-econômico, etc) com aqueles que participaram.
Mas nem sempre é fácil encontrar bons ‘grupos de controle’...
• Existência de auto-seleção as pessoas que participam dos programas muitas vezes escolhem participar.– Nosso exemplo: jovens que se inscrevem
em oficinas oferecidas após o período de aulas devem diferir dos que não se inscrevem.
– Essas características podem ser observáveis (número de irmãos, nível de renda familiar) ou não-observáveis (motivação, determinação ou pré-disposição).
Caso:• IFralunos que participaram das oficinas IFrcolegas que não
participaram
Não saberemos se é:efeito da participação nas oficinas (do
tratamento);do maior tempo disponível para a escola
(relativamente aos colegas que, muitas vezes, precisam faltar à escola para cuidar dos irmãos);
ou ainda da maior motivação/determinação que tem um efeito positivo sobre a freqüência escolar.
A diferença entre os grupos antes do programa dificulta a determinação da
causalidade.
• ... o grupo de participantes pode diferir do restante da sociedade, justamente pelo fato de o programa ter um público-alvo específico.– Exemplo: diversos programas sociais utilizam a
renda per capita como critério de elegibilidade, ou seja, só podem participar do programa indivíduos que tenham ‘renda familiar per capita’ menor ou igual a um determinado valor de corte.
– Portanto, os beneficiários serão, em média, mais pobres do que os não-beneficiários.
Mesmo que o programa não seja de inscrição voluntária...
Tratados antes x tratados depois• Da mesma forma que não podemos
comparar o grupo de tratados com um grupo de controle qualquer (os não-tratados) também não podemos olhar para a evolução no tempo apenas dos indicadores dos tratados.
Voltando ao exemplo dos jovens nas oficinas, caso IFralunos tratados depois do programa IFralunos tratados antes do
programa
podemos dizer que isso é devido ao programa?
Tratados antes x tratados depois• A resposta é “Não!”• Não há como garantir que a melhora no
indicador de freqüência escolar foi causada pelo programa.
• Diversos acontecimentos podem estar explicando tal evidência.
• Por exemplo, este aumento na freqüência pode ter sido resultado de uma melhora no ambiente escolar como um todo (melhor merenda, novos computadores, nova professora etc.).
Outra possibilidade:• E se mostrarmos que a freqüência
dos jovens que participaram das oficinas aumentou mais que a freqüência dos jovens que não participaram?
Y
YYYY
alunosdosnotasYtratadosnão
ttratadosnão
ttratadost
tratadost
11
tratadosnãotratados
tratadosnãot
tratadosnãot
tratadost
tratadost
IFrIFr
IFrIFrIFrIFr
escolarfreqüênciadeíndiceIFr
11Método
das diferenças
em diferenças
Diferenças em diferenças• Como a freqüência escolar inicial
é considerada, o problema da diferença inicial entre os jovens que participam e os que não participam está resolvido.
• Falta termos certeza de que nada de diferente aconteceu com os grupos a não ser a freqüência na oficina.
Diferenças em diferençasQuando:
a separação entre os grupos de tratamento e controle não foi aleatória; e
quando temos grupos de tratamento e controle muito diferentes, principalmente com relação a características que não são observáveis.
Ideal para a análise de impacto: avaliador ter as informações sobre os grupos de tratamento e de controle em dois períodos de tempo, ou seja, no período anterior ao programa social e no período posterior ao programa social.
“Diferenças em diferenças”• Precisamos conhecer as informações
dos indivíduos de ‘antes’ e de ‘depois’ do tratamento.
• Suponha que estamos avaliando o impacto de um programa de qualificação profissional e que a renda seja o indicador de interesse.
• Idéia básica: comparar ‘a diferença entre a renda depois e a renda antes’ do grupo de tratamento com a do grupo de controle.
Idéia BásicaY = renda = indicador de interesset = depois do programat-1 = antes do programa
!0
1
1
positivoimpactoYY
YeYcomparar
YYY
YYY
tratadosnãotratados
tratadosnãotratados
tratadosnãot
tratadosnãot
tratadosnão
tratadost
tratadost
tratados
“Diferenças em Diferenças”• Como a renda inicial é
considerada, é como se as condições iniciais tivessem sido controladas e, então, resolve-se o problema das diferenças existentes antes do tratamento, entre os indivíduos que participaram e os que não participaram do programa.
• Seleção aleatória: indivíduos são iguais antes do tratamento.
Pessoas
participou do treinamento
renda antes
renda depois
1 1 60 200
2 1 80 150
3 1 50 90
4 1 60 100
5 1 50 90
6 1 40 70
7 1 50 80
8 1 50 90
9 1 70 110
10 1 50 90
Pessoas
participou do treinamento
renda antes
renda depois
11 0 500 500
12 0 300 400
13 0 400 400
14 0 50 60
15 0 20 30
16 0 30 40
17 0 150 170
18 0 100 120
19 0 90 120
20 0 40 50
Calcule a medida de impacto do programa
Indicador de impacto = renda
Grupo de Tratamento
Grupo de Controle
Média Antes 56 168
Média Depois 107 189Diferença 51 21
Impacto (51 - 21) = 30 impacto positivo!Pessoas do grupo de tratamento tiveram um aumento de renda R$30 superior às pessoas do grupo de controle.
Será que o ‘R$30’ é estatisticamente diferente de zero?
• Em razão de estarmos trabalhando com amostras, novamente estas diferenças serão variáveis aleatórias e, para compará-las, precisaremos construir algum intervalo de confiança.
• Felizmente, o instrumental discutido na seção anterior fornece uma forma rápida e simples de realizar esta análise.
Utilizando a regressão linear• Precisamos ter num único banco de
dados todas as informações de antes e de depois, de todos os indivíduos.
• Para separarmos as informações de antes e depois, criamos uma variável que será igual a ‘1’ se os dados forem de depois e será igual a ‘0’ se os dados forem de antes do programa.
Utilizando a regressão linear• Criamos também uma outra variável
= “programa” vezes “depois” – chamamos esta variável de interação
entre duas variáveis: ela só será igual a ‘1’ quando o indivíduo participa do programa e os dados são de depois do tratamento.
• A estimativa do coeficiente associado a essa variável será a diferença das diferenças e terá o mesmo valor calculado na diferença das médias.
Utilizando a regressão linear• Renda = + 1 ‘programa’ + 2
‘depois’ + 3 ‘programa*depois’ + erro
• 3 = a diferença das diferenças, ou seja, é o coeficiente que mede o impacto do programa.
Como analisar?• Se 3 for positivo e o valor ‘0’ não estiver
contido no intervalo de confiança associado a 3, dizemos que há impacto positivo em Y gerado pelo programa.
• Se 3 for negativo e o valor ‘0’ não
estiver contido no intervalo de confiança associado a 3, dizemos que há impacto negativo em Y gerado pelo programa.
• Se o valor ‘0’ estiver contido no intervalo de confiança associado a 3, dizemos que não há impacto do programa em Y.
Demais coeficientes Renda = + 1 ‘programa’ + 2 ‘depois’ +
3 ‘programa*depois’ + erro
• 1 captura se os grupos são diferentes, independentemente do programa.
• 2 captura se o indicador muda no tempo, independentemente do programa.
• Para saber se os coeficientes são estatisticamente diferentes de zero, a análise é similar à apresentada para 3 (slide anterior).
Termos das diferenças
Médias por grupo
Antes Depois Variação
Tratamento TA TD TD - TA
Controle CA CD CD - CA
Variação das variações
(TD – TA) – (CD – CA)
Rendaest = + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’
• TA = + 1 x ‘1’ + 2 x ‘0’ + 3 x 0
• TA = + 1
• TD = + 1 x ‘1’ + 2 x ‘1’ + 3 x 1
• TD = + 1 + 2 + 3
• TD – TA = 2 + 3
Rendaest = + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’
• CA = + 1 x ‘0’ + 2 x ‘0’ + 3 x 0 • CA =
• CD = + 1 x ‘0’ + 2 x ‘1’ + 3 x 0
• CD = + 2
• CD – CA = 2
Rendaest = + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’
• (TD – TA) = 2 + 3
• (CD – CA) = 2
• (TD – TA) – (CD – CA) = dif em dif = (2 + 3 - 2 )
= 3
RESUMO DOS RESULTADOS
Estatística de regressãoR múltiplo 0,404745531R-Quadrado 0,163818945R-quadrado ajustado 0,09413719Erro padrão 124,4878397
Observações 40
ANOVA
gl SQ MQ FF de
significaçãoRegressão 3 109300 36433,33333 2,350958953 0,08857Resíduo 36 557900 15497,22222
Total 39 667200
Coeficientes Erro padrão Stat t valor-P IC - 95%Interseção 168 39,367 4,268 0,000 88,161 247,839programa -112 55,673 -2,012 0,052 -224,909 0,909depois 21 55,673 0,377 0,708 -91,909 133,909
programa*depois 30 78,733 0,381 0,705 -129,678 189,678
Causalidade
• Questão: como isolar o impacto do programa das outras mudanças das quais não temos controle?
• Construir bons grupos de controle. .
Limites da Avaliação• Para termos mais confiança nos efeitos do
programa, precisamos de um tamanho amostral mínimo
• Este tamanho depende da população alvo do programa, do número de variáveis explicativas, da proporção entre tratada dos e controles e do poder explicativo da regressão
Limites da Avaliação• Por exemplo, se o programa aumentou a
empregabilidade do jovem em 15%• A amostra é bem balanceada entre tratados
e controles• O poder explicativo da regressão é alto: 50%• Precisamos de uma amostra de cerca de 100
jovens para termos confiança de que este efeito é diferente de zero
• 50 no grupo de tratamento e 50 no grupo de controle
Exemplos de avaliação de programas
• Progresa – México
• Progressão Continuada no Brasil
1) PROGRESA
• Transferências em $ para mães, condicional à freqüência escolar e exames de saúde
• Usando escolas e postos já existentes • Avaliação nos estágios iniciais do programa• 2.6 milhões de famílias em 72,000
localidades • Orçamento: 20% do orçamento nacional
para diminuição da pobreza
PROGRESA
Educação • Requerimento-> matrícula e freqüência à
escola (80% das aulas)
Saúde:• Planejamento Familiar , Pré-natal,
Vacinações, Prevenção e tratamento de diarréia, etc...
PROGRESA• Programa experimental: aleatorizado ao nível da
comunidade-> resultados confiáveis!• Grupo de controle aderiu ao programa 2 anos
depois• Amostra: 506 localidades
– 186 controle– 320 tratamento
• 24.077 Domicílios• Domicílios no grupo de tratamento e controle foram
entrevistados antes e depois do começo do PROGRESA
0,2
0,3
0,4
0,5
0,6
0,7
nov/97 nov/98 jun/99 nov/99
Survey Round
Per
cent
Att
endi
ng S
choo
l L
ast W
eek
Treatment Control
FREQUÊNCIA ESCOLAR - MENINOS
FREQUÊNCIA ESCOLAR- MENINAS
0,2
0,3
0,4
0,5
0,6
0,7
nov/97 nov/98 jun/99 nov/99
Survey Round
Per
cent
Att
endi
ng S
choo
l Las
t W
eek
Treatment Control
TRABALHO INFANTIL - MENINOS
0,20
0,25
0,30
0,35
0,40
nov/97 nov/98 jun/99 nov/99
Survey Round
Per
cen
t w
ork
ing
Las
t W
eek
Treatment Control
INCIDÊNCIA DE DOENÇAS-0/2 ANOS
0,15
0,20
0,25
0,30
0,35
0,40
0,45
Baseline 7 Months PostBaseline
14 Months PostBaseline
20 Months PostBaseline
Pro
b. I
ll in
Las
t F
our
Wee
ks
PROGRESA Controls
INCIDÊNCIA DE DOENÇAS 3/5 ANOS
0,05
0,10
0,15
0,20
0,25
0,30
Baseline 7 Months PostBaseline
14 MonthsPost Baseline
20 MonthsPost Baseline
Prob
. Ill
in L
ast F
our
Wee
ks
PROGRESA Controls
PROGRESA• Efeitos significativos no crescimento das
crianças (1cm)
• Consumo Domiciliar Total Aumenta
• Domicílios do PROGRESA “comem melhor”:– Aumento nos gastos com frutas, vegetais,
carnes, e produtos animais
PROGRESA-CUSTOS
• Para cada 100 pesos alocados no programa, apenas 8.2 pesos são custos administrativos
• 56% dos custos administrativos são relacionados com focalização e condicionantes
• Taxa Interna de Retorno: 8%
47
Avaliação de impacto• Exemplo: efeito da localização de um
incinerador de lixo sobre o preço dos imóveis.
• Notícia de que um novo incinerador seria construído apareceu em 1978. Em
1981, a sua construção iniciou. Entrou em operação em 1985.
• Banco de dados com preço dos imóveis para 1978 e 1981.
• A hipótese é que preço dos imóveis próximos ao incinerador tenha caído em
relação ao preço de imóveis mais distantes.
Avaliação de impacto• Exemplo: efeito da localização de um incinerador de lixo
sobre o preço dos imóveis.
• Uma casa está próxima do incinerador se estiver localizada a menos de 3 milhas
deste (nearinc =1).
• Todos preços dos imóveis estão cotados ao valor de 1978
• Poderia usar dados apenas de 1981 e apenas de 1978 e testar esta relação:
unearincrpreço .10