Upload
internet
View
118
Download
3
Embed Size (px)
Citation preview
Aula 5 – Diferenças em
Diferenças
Material Elaborado por
Betânia Peixoto
Diferenças em Diferenças
Método de avaliação de impacto não experimental quando as informações de ANTES e de DEPOIS do projeto são disponíveis.
Plano de Aula
Revisão das metodologias de estimação de impacto;
Método não experimental: diferenças em diferenças;
Resumo das metodologias de avaliação de impacto;
Validade interna e externa da avaliação.
Revisão das metodologias de estimação de impacto
Na aula anterior Método experimental: aleatorização/sorteio Obtém um grupo controle que é o contrafactual
perfeito dos tratados, pois a forma de seleção garante, estatisticamente, grupos semelhantes em variáveis que se observa e que não se observa.
Método não experimental: regressão linear múltipla
Quando não se realizou o sorteio dos tratados, o grupo controle não é estatisticamente semelhante ao tratado. Para corrigir as implicações das diferenças do indicador de impacto antes do projeto entre os grupos, estima-se o impacto controlando pelas variáveis que se observa.
Note que esse método controla/corrige o impacto ao
considerar variáveis que se observa, mas ainda resta os problemas
causados por variáveis não observadas.
Nessa aula
Método não experimental: diferenças em diferenças
Quando não se realizou o sorteio dos tratados e existem informações do indicador de impacto antes e após o projeto, para o tratado e o controle, é possível controlar/corrigir o impacto dos problemas advindos das variáveis que se observa e que não se observa.
Esse método também utiliza a regressão linear múltipla para estimar o impacto, porém com a base de dados organizados de maneira diversa ao visto na aula anterior.
Método não experimental: diferenças em diferenças
Diferenças em diferenças
Quando existem informações sobre os grupos tratado e controle em dois momentos no tempo – no período anterior ao projeto social e no período após ao projeto social;
Corrige o impacto estimado pelas variáveis observadas e não observadas. Como os dados de antes do projeto estão disponíveis, sabe-se quais são as diferenças existentes entre os grupos tratado e controle antes do projeto.
Como considera-se a o indicador de impacto inicial
(antes do projeto), controla-se pelas condições iniciais observadas e não observadas. Assim, resolve-se o problema das diferenças
existentes entre os grupos antes do tratamento.
Problema
Se o método de diferenças em diferenças controla o impacto estimado pelas diferenças iniciais observadas e não observadas, então ele é um método que substitui perfeitamente o sorteio?
A resposta é Não. Como os grupos não são similares e as diferenças
são controladas, pode ocorrer algum fato exógeno ao projeto que afete somente o indicador de impacto de um dos grupos (tratado ou controle). Se isso ocorrer, o método não consegue estimar o impacto perfeito. Ou seja, controlar as diferenças iniciais não é a mesma coisa de selecionar pessoas similares, pois algo pode afetar o indicador de impacto de apenas um grupo.
.
Exemplo:
Projeto: “Melhoria”.Objetivo: aumentar a renda dos participantes.Ações: curso de formação para jovens.Indicador de impacto: renda.Seleção dos participantes: primeiros inscritos.Controle: demais inscritos.Banco de dados: informações coletadas antes e um ano
após o projeto.
ID Projetorenda antes
renda após
ID Projetorenda antes
renda após
1 1 60 200 11 0 500 5002 1 80 150 12 0 300 4003 1 50 90 13 0 400 4004 1 60 100 14 0 50 605 1 50 90 15 0 20 306 1 40 70 16 0 30 407 1 50 80 17 0 150 1708 1 50 90 18 0 100 1209 1 70 110 19 0 90 120
10 1 50 90 20 0 40 50
Intuitivamente:
Variáveis Grupo tratado Grupo Controle
Renda Média Antes 56 168
Renda Média Depois 107 189
Diferença de renda 51 21
Impacto
(51 - 21) = 30 impacto positivo!Os tratados, em média, tiveram um aumento na renda 30 reais superior ao aumento dos controles.
Cuidado!!!Assim como no teste de diferença de média a interpretação do resultado não pode ser direta. Aqui também obtêm-se médias. A variância dos dados interfere no resultado.
Intuitivamente:
Como fazer?O Excel faz todos os cálculos desde que se forneça os dados corretamente organizados.
Passos:1) Monte o banco de dados com as variáveis dos
tratados e os controles;2) Crie uma variável “projeto”, com valores “1” para
os tratados e “0” para os controles;3) Crie uma variável “data”, com valores “1” para
tratados e controles após o projeto e “0” para tratados e controles antes do projeto;
4) Crie uma variável “projeto*data”, por meio da multiplicação da variável “projeto” pela variável “data”;
5) Obtenha o valor do indicador de impacto para os tratados e controles antes e após o projeto;
Passos (continuação):
6) Obtenha valores das variáveis que afetam o indicador de impacto e que podem variar de forma diferente entre os entre os tratados e controles;
7) Estime a regressão linear múltipla: “dados > análise de dados > regressão”;
8) Interprete o resultado: a coluna "coeficiente" fornece o coeficiente que indica qual a variação no indicador de impacto resultante da variação de uma unidade na variável analisada. Antes de interpretá-lo, verifica-se as colunas do intervalo de confiança. Se o zero estiver no intervalo de confiança não se rejeita a hipótese de que ele seja nulo.
O coeficiente que interessa para ver o impacto é o relacionado à variável “projeto*data”.
RESUMO DOS RESULTADOS
Estatística de regressãoR múltiplo 0,404745531R-Quadrado 0,163818945R-quadrado ajustado 0,09413719Erro padrão 124,4878397Observações 40
ANOVA
gl SQ MQ FF de
significação
Regressão 3 109300 36433,33333 2,350958953 0,08857
Resíduo 36 557900 15497,22222Total 39 667200
Coeficiente
s Erro padrão Stat t valor-P IC - 95%Interseção 168 39,367 4,268 0,000 88,161 247,839projeto -112 55,673 -2,012 0,052 -224,909 0,909depois 21 55,673 0,377 0,708 -91,909 133,909projeto*depois 30 78,733 0,381 0,705 -129,678 189,678
Exemplo: projeto “Melhoria”.
Resumo dos métodos de avaliação de impacto
Os grupos tratado e controle são escolhidos por sorteio. Propriedades estatísticas garantem que os dois grupos, na média, serão muito semelhantes.
Vantagem: É o método mais simples de operacionalizar.
É o método de resultado mais confiável.
Limitações: Tem que ser pensado no início do projeto.
1. Metodologia experimental ou de Seleção Aleatória
Indicador de impacto após a implementação da política
Importante: para concluir acerca do impacto faz-se o teste de diferença de médias!!!!
2. Método não experimental: regressão.
Observa-se os tratados e os controles depois do programa. A seleção não foi por sorteio. Portanto, os grupos devem ser estatisticamente diferentes.
É usado quando temos dados depois do projeto e a
seleção não foi aleatória.
Vantagem: resolve o problema de diferenças observadas entre os participantes.
Limitações: o resultado não é confiável se algo ocorreu de forma isolada em apenas um grupo.
Grupo Indicador Sexo Estado Civil1024 1 3865 0 2726 1 2550 0 1630 0 1880 1 2
Tratado
Controle
Base de dados após a implementação da política
Importante: para concluir acerca do impacto faz-se a regressão!!!!
3. Método não experimental: diferenças em diferenças Os tratados e os controles são observados e
comparados antes e depois do programa. Quando fazemos isso o que estamos comparando é a variação do crescimento do indicador de impacto.
É usado quando temos dados antes e depois do projeto.
Vantagem: resolve o problema de diferenças observadas e não observadas antes do programa.
Limitações: o resultado não é confiável se algo ocorrer entre antes e depois do programa de forma isolada em apenas um grupo.
Temos que ter os dados em dois momentos no tempo.
Importante: para concluir acerca do impacto faz-se a regressão de diferenças em diferenças !!!!!
Validade Interna e Externa da Avaliação
Validade Interna
Garante que o desenho da avaliação identifica corretamente o efeito causal do projeto. A avaliação conseguem isolar o verdadeiro impacto do projeto.
Se a avaliação possui validade interna significa que os resultados valem para aquele contexto de avaliação – aqueles tratados, naquele momento do tempo.
Ou seja, apenas para os beneficiários que participaram daquela edição do programa, com seu formato específico, etc.
Nada garante que a repetição do programa com o mesmo formato em outro momento no tempo e para outras pessoas terá o mesmo impacto do que o encontrado com a avaliação.
Como assegurar a validade interna
O experimento aleatório bem sucedido!!!!
Porque?
O sorteio dos tratados entre os indivíduos elegíveis garante a semelhança entre os grupos tratado e controle nas características observáveis e não observáveis. Isso decorre do fato de todos os elegíveis terem a mesma probabilidade de serem sorteados para participar do projeto.
O grupo controle é totalmente similar ao contrafactual.
E se não é possível o sorteio?
Garante-se a validade interna dos métodos não experimentais por meio de três fatores:
1. Tamanho da amostra2. Variáveis não observadas3. Grupos muito diferentes – Suporte comum
1. Validade Interna: Tamanho da amostra Como o método de regressão é uma análise
estatística, quanto maior o número de indivíduos analisados (tratados e controles) maior a confiança nos resultados. Lembrem-se a validade da estatística se relaciona diretamente com o tamanho da amostra.
Quanto maior for a amostra em relação ao tamanho da população, mais precisas serão as estimativas.
Quanto menor a amostra, maior é a probabilidade de se calcular um resultado estatisticamente não significativo, mesmo que o projeto tenha impacto.
2. Validade Interna: variáveis não observadas
Quando acredita-se na existência de muitas variáveis não observadas relacionadas ao indicador de impacto, deve-se empregar o método de diferenças em diferenças. O método de regressão linear múltipla apenas com dados de depois não tem validade interna, nesse caso específico.
2. Validade Interna: variáveis não observadas
Exemplo: projeto Melhoria Objetivo: aumentar a renda dos participantes. Indicador de impacto: renda do indivíduo
Os jovens se diferem em diversos atributos: anos de estudo, motivação, interesse etc.
Anos de estudo: avaliador observa.Motivação, interesse: avaliador não observa
3. Validade Interna: suporte comum
O método de diferenças em diferenças controla a estimação do indicador de impacto por variáveis não observadas. Entretanto, não é capaz de controlar para alterações exógenas que afetem o indicador de impacto de apenas um grupo. Portanto, quanto mais diferentes forem tratados dos controles maior a probabilidade de algo ocorrer em apenas um grupo.
Para manter a validade interna de uma avaliação é importante que tratados e controles sejam o mais parecidos possível.
Suporte Comum: os grupos tratado e controle diferem, mas dentro de um limite.
Se forem muito diferentes estarão fora do suporte comum e a avaliação não terá validade interna.
Validade Externa
Garante a generalização do resultado da avaliação para outros beneficiários do público alvo e em outros momentos do tempo.
Se a avaliação tem validade externa significa que se pode replicar o projeto com outros grupos do público alvo e obter impactos semelhantes.
Como assegurar a validade externa
A amostra de tratados e controles é representativa do público alvo!!!!
Porque?
Como a amostra de indivíduos que participaram da avaliação é representativa da população de elegíveis, pode-se considerar que qualquer resultado obtidos com base nela seria o mesmo para toda a população.
Validade Interna e Externa - Conclusão
Para que a avaliação tenha:
validade interna o grupo controle deve representar os tratados.
validade externa os indivíduos da avaliação (tratados e controles) devem representar a população.
Quando não há garantia da validade interna e da validade externa, deve-se questionar os resultados da avaliação de impacto.
Comentários Finais
Nessa aula: discutiu-se como fazer a avaliação quando está disponível os dados antes e após o projeto. Além disso, analisou-se a validade interna e externa da avaliação de impacto.
Próxima aula: introdução à avaliação de retorno
econômico.