CONSELHO FEDERAL DE ESTATÍSTICA · 2015. 3. 10. · Porém, existem aspectos técnicos subjacentes nos resultados das pesquisas eleitorais, que induzem conclusões falsas que não

CONSELHO FEDERAL DE ESTATÍSTICA

______________________________________________________________________ Av. Rio Branco, n.º 277, grupo 909 - Centro - Rio de Janeiro / RJ - CEP 20.040-009

- Telefax (21) 2220-1058 – Tel. (21) 2262-1709 http://www.confe.org.br/ [email protected]

1

Rio de Janeiro, 2 de março de 2009

Orientações para Entender os Resultados da Pesquisa Eleitoral. Problemas na Divulgação.

LUIZ CARLOS DA ROCHA

Presidente do CONFE Conselho Federal de Estatística

O objetivo do documento é esclarecer questões técnicas relevantes divulgadas

nas pesquisas eleitorais, principalmente para leitores não familiarizados com a teoria

estatística, o que impõe cuidado redobrado com uma linguagem menos especializada.

Porém, existem aspectos técnicos subjacentes nos resultados das pesquisas eleitorais,

que induzem conclusões falsas que não podem deixar de ser esclarecidos a todos que

a divulgam e que se interessam em compreendê-las, em analisá-las e interpretá-las.

PARTE I - INTRODUÇÃO.

Discuti-se na PARTE II conceitos de Amostragem (A) com base no método A

Aleatória Simples, em seguida na PARTE III aproveitam-se os conceitos dados e

analisá-se a Amostragem por Cota (A por Cota) que é o procedimento mais usado

pelos Institutos de Pesquisa. A por Cota apesar de dominar a prática da pesquisa de

opinião não é considerado um método de amostragem no sentido estritamente teórico,

não é da mesma natureza que os consagrados métodos A Aleatória Simples; A.

Estratificada; e A. Conglomerado, entre outros não destacados nesta resenha.

A por Cota se refere a um procedimento que usa bom senso junto com técnicas

estatísticas, e foi concebido para contornar a limitação imposta pela impossibilidade da

seleção aleatória dos entrevistados, seja pela inexistência ou deficiência do cadastro,

seja por questão de custo ou prazo de execução. A por Cota é um método cujos

resultados não estão rigorosamente sob controle do profissional Estatístico. Todavia,

ele vem sendo usado internacionalmente desde a década de 50. Mas também, vem

sofrendo desde então críticas e sendo motivo de intermináveis discussões, enquanto




2

isso é usado continuadamente por Institutos de Pesquisa. Portanto, torna-se preciso

buscar consenso, ou talvez, buscar maior compreensão dos aspectos especiais que

justificam sua reconhecida adequação prática a Pesquisa Eleitoral.

Como primeira aproximação à pesquisa eleitoral, o leitor deve levar em conta a

dificuldade crônica de se avaliar o nível de precisão das suas estimativas;

A pesquisa eleitoral reflete a Intenção de Voto num determinado momento e de

acordo com certo cenário político. É uma fotografia mal focada da subjetividade dos

entrevistados num certo instante. A grande questão que envolve a pesquisa eleitoral é:

“Opinião” não se mede; não se pesa; não se toca; não tem cheiro e não se vê. É intangível, é invisível. Pergunta-se e acredita-se! A seguir relacionaremos algumas fontes de erros comuns no levantamento da

informação em pesquisa eleitoral ou na pesquisa de opinião em geral, qualquer que

seja a metodologia amostral usada para avaliar atributos subjetivos.

I - Erros quanto à veracidade da informação do entrevistado:

a) o informante pode mentir em relação a seus dados demo-sócio-econômicos.

b) o informante pode mentir em relação a sua Intenção de Voto.

c) o informante pode mudar de opinião com ou sem novo cenário sócio-econômico- político.

II - Erros quanto à qualidade do levantamento de campo.

Com qualquer método de amostragem, consagrado ou não, o procedimento do

levantamento da informação é fundamental, isto é, a seriedade, a forma criteriosa, e a

competência da equipe que faz o levantamento da informação é ponto crítico da

pesquisa. Logo, o trabalho de campo é o calcanhar de Aquiles do projeto que pode ser

tecnicamente perfeito, mas se os executores não forem competentes, não funciona.

III - Erros inerentes à metodologia estatística.

A estatística não tem pretensão de fazer estimativas exatas, ela admite o erro

como sendo fato inerente e inevitável nos seus procedimentos de estimação. O erro é

um parceiro constante na atividade profissional do Estatístico, mesmo na estimação de

aspectos concretos da população onde se podem usar instrumentos de medida, como

por exemplo, nas avaliações da altura, do peso ou da pressão arterial. Ainda assim, a




3

estimativa por amostragem nestas situações estaria sujeita a erros. Aliás, mesmo que

se fizesse um censo, não há como eliminar erros. Não há medida sem erro. A pesquisa

é a técnica de conseguir uma prévia rápida com erro previsto e com baixo custo.

Numa pesquisa de opinião onde os atributos avaliados têm natureza intangível

e invisível, todas as fontes de erros se aglutinam em volta da sua estimativa: a inépcia

do entrevistador, a mentira do entrevistado, a alteração do cenário sócio-econômico-

político, a mudança de opinião e o erro amostral. Como conseqüências de todas essas

ações, têm-se inevitavelmente avaliações esfumaçadas da realidade. Então podemos

afirmar que no caso da pesquisa de opinião em geral os cálculos dos parâmetros: erro

e confiabilidade podem ser considerados ordem de grandeza dos verdadeiros valores.

Portanto, pesquisa de opinião é uma área da estatística sujeita à resultados “não

precisos”, inclusive do ponto de vista do erro e da confiabilidade estatística.

Mas, para se ter uma avaliação da opinião eleitoral de uma população num certo

momento, com rapidez, baixo custo e com alguma confiabilidade, então a pesquisa por

amostragem é o melhor procedimento técnico que se pode lançar mão.

Outra questão crucial que envolve a pesquisa de opinião e gera intermináveis

debates e discussões acaloradas, resulta da dificuldade, ou melhor, impossibilidade de

avaliar a qualidade dos resultados no momento da publicação. Faltam referências que

sirvam para aferir os resultados. No caso da pesquisa eleitoral, a única referência

confiável é o resultado final das urnas. Mas este só deve ser confrontado com resultado

da pesquisa de “boca de urna”, que cada vez mais, perde importância dada à rapidez

da apuração. Quando as previsões das pesquisas realizadas são confirmadas no dia

da eleição com alguma antecedência ou próximo ao pleito, então tudo vai bem, as

empresas fizeram “seu dever de casa”. Quando não, é sempre possível argumentar

que o projeto estatístico estava correto, mas as previsões não se verificaram devido a

mudanças de última hora no cenário (decretação de feriado na véspera do pleito,

boatos em cima do evento, declarações de última hora de caciques políticos e etc).

Quase sempre estas discussões são inconclusas e terminam no “deixa pra lá”, por falta

absoluta de critério que consiga separar a realidade do erro de pesquisa.




4

PARTE II - Amostragem Aleatória Simples (A Aleatória Simples)

Por razões didáticas usaremos A Aleatória Simples, que é o mais simples dos

métodos para passar ao leitor os conceitos fundamentais do tema. E aproveitaremos

sua leve estrutura para simular os conceitos da margem de erro, quase sempre fixada

em 3% pelas empresas. Parece obrigatório, mas não é. Também será explicada a

medida da confiabilidade da estimativa, Nível de Confiança, que nunca é mencionado

pelos Institutos de Pesquisa e revelaremos o porquê desse segredo.

Para ilustrar o que acontece numericamente na pesquisa eleitoral simularemos

uma situação usando A Aleatória Simples no qual somente o erro amostral (inevitável)

é admitido. Isto é, consideraremos condições ideais sem os erros do tipo I e do tipo II.

E, para isolar e discutir só o erro tipo III far-se-á uso de uma população de 100.000

eleitores, que no caso corresponderá a um arquivo de dados com cem mil linhas. Onde

cada linha é um eleitor com seus dados demo-sócio-econômicos e seu Voto, tudo isso

inventado por nós. Além disso, nossos eleitores possuem a grande virtude de não

mentir e tampouco mudam de opinião em quem votar dentre os quatro hipotéticos

candidatos (A, B, C e D). Se o leitor preferir, pode imaginar que D não é candidato, é

representante da agregação daqueles que disseram que: vão anular o Voto; estão

indecisos; vão deixar em branco, etc. O leitor pode fazer analogia da situação descrita

como sendo um grande globo do tipo sorteio da mega-sena contendo 100.000 bolas

(população) onde cada bolinha representa um eleitor com características demo-sócio-

econômicas próprias e registradas na superfície, juntamente com a sua Intenção de

Voto. A amostra será constituída por sorteio de 1.000 bolas sem reposição. O sistema

de simulação concebido corresponde na prática à amostra aleatória simples de 1.000

(mil) eleitores, sem reposição. Cujo aspecto marcante é: “cada eleitor tem igual chance

(1/100.000) de ser entrevistado”. Iniciaremos dando as estatísticas do globo, ou seja, o

censo das Características da população dos cem mil eleitores.

Portanto, os resultados que apresentaremos a seguir são provenientes das

estatísticas registradas nas cem mil bolas. Na prática das pesquisas eleitorais por cota,

a estatística das Características é da mesma natureza dos dados Censitários do IBGE,




5

com a diferença que estes já trazem embutido os três tipos de erros mencionados.

Nossas bolinhas não mentem, vale o que está registrado, é de fato uma situação

ideal não encontrada na prática da pesquisa de opinião.

Quadro 1: Estatística das Características da População de 100.000 Eleitores QUANTO AO SEXO QUANTO A IDADE

SEXO FREQ PROPOR

ÇÃO %

IDADE FREQ

PROPOR

ÇÃO

ÇÃO

%

FEMININO 53136 ,5314 53,14 JOVEM 36288 ,3629 36,29

MASCULINO 46864 ,4686 46,86 ADULTA 56611 ,5661 56,61

TOTAL 100.000 1,0000 100,00 MADURA 7101 ,0710 7,10

TOTAL 100.000 1,0000 100,00

QUANTO A INSTRUÇÃO QUANTO A RENDA

INSTRUÇÃO FREQ

PROPOR

ÇÃO %

RENDA FREQ

PROPOR

ÇÃO %

FUNDA MENTAL 81720 ,8172 81,72 CLASSE

D/E 76545 ,7655 76,55

MÉDIO 11712 ,1171 11,71 CLASSE C 13633 ,1363 13,63

SUPERIOR 6568 ,0657 6,57 CLASSE A/B 9822 ,0982 9,82

Total 100.000 1,0000 100,00 Total 100.000 1,0000 100,00

As Características são consideradas variáveis explicativas da preferência do

Voto, ou melhor, admite-se existência de correlação não nula entre a Intenção de Voto

e as Características. Claro que as citadas aqui são as mais usadas, mas elas não são

as únicas de interesse, vai depender do perfil dos candidatos, por exemplo, se existir

candidatos de diversas correntes religiosas, então crença religiosa seria característica

relevante ou se os candidatos tivessem etnias diferentes, então raça seria importante.




6

Na A Aleatória Simples as características não são usadas na estimação da

variável de interesse, Intenção de Voto, elas são importantes nos seguintes métodos:

Estratificado, Conglomerado e Cota. Mas, foram introduzidas aqui para construir uma

“ponte” com A por Cota e servirá para justificar a origem desse procedimento. Também

será útil para explicar a terminologia “amostra representativa” usada pelas empresas de

pesquisa e tão incompreendida por estudiosos da área.

Quanto à Intenção de Voto, que é nossa variável de interesse, ou seja, aquela

que será estimada com amostra de tamanho 1.000 pode-se observar a distribuição da

Intenção de Voto inventada para a população de 100.000 eleitores no quadro abaixo.

Quadro 2: Estatística da Intenção de Voto na População dos 100.000 Eleitores

CANDITADOS FREQUÊNCIA PROPORÇÃO COMPOSIÇÃO(%)

CAND_A 49.975 ,4998 50,0

CAND_B 27.016 ,2702 27,0

CAND_C 16.994 ,1699 17,0

CAND_D 6.015 ,0602 6,0

TOTAL 100.000 1,0000 100, 0

A seguir daremos em forma de gráfico de barra a composição dos Votos por tipo

de característica para a população de 100.000 eleitores. Não seria necessário destacar

que na prática, tanto a informação do Quadro 2 quanto os gráficos dados a seguir são

obviamente informações desconhecidas. Só estamos informando aqui para mostrar ao

leitor a situação que foi engendrada na simulação. Portanto estamos fazendo um jogo,

fingimos desconhecer a real situação e aplicamos a técnica de pesquisa de A Aleatória

Simples para estimar e confrontar os resultados obtidos com os da população. Desta

forma o leitor terá oportunidade de ganhar confiança com os procedimentos estatísticos

no caso de uma situação ideal.




7

Gráfico 1:Gráfico de barras (%) dos 100.000 Votos por Característica do Eleitor.

SEXOMASCULINOFEMININO

%

60,0%

40,0%

20,0%

0,0%

CAND_DCAND_CCAND_BCAND_A

VOTO

VOTOS POR SEXO

VOTOS POR IDADE

VOTOS POR INSTRUÇÃO

%

100,0%

80,0%

60,0%

40,0%

20,0%

0,0%

INSTRUÇÃO

SUPERIORMÉDIO

FUNDAMENTAL


VOTO

VOTOS POR RENDA

RENDA

CLASSE B/A

CLASSE C

CLASSE E/D

%

100,0%

80,0%

60,0%

40,0%

20,0%

0,0%


VOTO

Na A Aleatória Simples o Estatístico joga com três parâmetros relacionados

entre si através de uma fórmula: o tamanho da amostra, a margem de erro e o nível de

confiança; fixado dois deles o terceiro é determinado pela fórmula. Então, quando o

tamanho da amostra é fixado e a margem de erro também, que corresponde ao caso

das informações prestadas pelos Institutos de Pesquisa, então o nível de confiança é

variável para cada candidato e seu valor conseqüência direta do resultado da fórmula.


_____________________________________________________________________________

Av. Rio Branco, n.º 277, grupo 909 - Centro - Rio de Janeiro / RJ - CEP 20.040-009 - Telefax (21) 2220-1058 – Tel (21) 2262-1709

http://www.confe.org.br/ [email protected]

8

Faremos 500 estimativas das proporções de Votos para cada uma das 500

amostras simuladas de tamanho 1.000, retirada do globo e devolvida em seguida antes

de retirar a próxima amostra. Na prática a pesquisa usa só uma amostra de 1.000

eleitores de cada vez, e numa situação real as opiniões vão se modificando à medida

que a eleição se aproxima. Quando a empresa realiza sucessivas pesquisas ao longo

do tempo tem-se a curva de evolução das estimativas da proporção de cada candidato.

Na simulação, as 500 amostras são retiradas de uma população fictícia e imutável; com

convicção férrea quanto ao Voto. Adotar-se-á a notação PV_A para a proporção de

Voto do Candidato A e a notação PV_s para designar a proporção de qualquer um.

Apresentamos a seguir algumas estatísticas das estimativas das 500 amostras,

cada uma com 1.000 eleitores. A simulação do tipo mega-sena foi gerada por processo

computacional montado pelo autor do texto e pode ser reproduzida por especialistas.

Quadro 3: Estatísticas das 500 Estimativas das Proporções de Votos.

PV_A PV_B PV_C PV_D

Nº de Amostras 500 500 500 500

Média ,4977 ,2700 ,1708 ,0614

Mediana ,4980 ,2700 ,1710 ,0610

Moda ,50 ,27 ,16 ,06

Desvio Padrão ,0166 ,01372 ,0127 ,0074

Mínimo ,43 ,23 ,14 ,04

Máximo ,55 ,32 ,21 ,09

Impressionante! Vejam que para cada Candidato a média, a moda e a mediana

que são medidas de posição das 500 estimativas estão praticamente em cima dos

verdadeiros valores da população original (Quadro 2). As demais são medidas de

dispersão, óbvio que o Intervalo {Min, Max} sempre inclui 100% das estimativas. O

Desvio Padrão (DP) define uma gama de intervalos. Na hipótese da Normal (Sino): o

valor da média com “1 x D. P para mais e para menos” inclui 68%, com 2 x DP inclui

96% e com 3 x DP praticamente 100%. Mas, seria Normal o comportamento dos 500

valores das estimativas PV_s? A resposta a essa questão pode ser dada pelo gráfico

denominado histograma apresentado a seguir para os quatro candidatos.


_____________________________________________________________________________



9

Gráfico 2:Histogramas das 500 Estimativas de PV_A à PV_D

PV_A0,540,520,500,480,460,440,42

Fre

qu

en

cia

60

40

20

0

PV_A

Mean =0,50�Std. Dev.

=0,017�N =500

PV_C0,220,200,180,160,140,12

Fre

qu

en

cia

80

60

40

20

0

PV_C


=0,013�N =500

PV_B0,320,300,280,260,240,22

Fre

qu

en

cia

60

50

40

30

20

10

0

PV_B


=0,014�N =500

PV_D0,100,090,080,070,060,050,04

Fre

qu

en

cia

100

80

60

40

20

0

PV_D


=0,007�N =500

Surpreendente! Os gráficos não deixam dúvidas da distribuição Normal (Sino)

das estimativas dos PV_s das 500 amostras. A Normal surge espontaneamente.

Mas, antes de passar aos próximos resultados obtidos é importante alertar que

para cada estimativa quando se fixa a margem de erro (3% só pra não contrariar) se


_____________________________________________________________________________



10

obtém pela fórmula o nível de confiança, que é diferente para cada candidato, pois ela

é função do valor PV_s das estimativas. As empresas omitem os níveis de confiança e

deixam transparecer 100% de certeza de inclusão nos 3% “pra mais e pra menos” para

todas estimativas. Esse é o segredo, induzir a certeza que o real valor está incluído no

intervalo, e pior, ao mesmo tempo para todos os casos. Veremos que tudo isso é falso.

Esta é a forma mais comum de transmitir os resultados para o público, mesmo que

ocorra o absurdo de ter candidato com estimativa de 1% ou 2% de proporção de Votos

com margem de 3% “para mais ou para menos”. Tal tolice é expressa na divulgação

das pesquisas, mas a mídia e os Institutos preferem se fazer de desentendidos.

Como já dito, sendo fixados o tamanho da amostra e a margem de erro, o nível

de confiança das estimativas é conseqüência. No quadro a seguir temos estatísticas do

nível de confiança dos 500 Intervalos calculados para as amostras simuladas.

Quadro 4: Nível de Confiança dos 500 Intervalos com Margem de Erro de 3%.

ESTATÍSTICAS DA CONFIABILIDADE (NÍVEL DE CONFIANÇA)

500 500 500 500

94,24 96,74 98,82 99,99

94,23 96,74 98,83 99,99

94,22 96,46 98,81 99,99

,02 ,28 ,25 ,01

94,22 95,89 98,12 99,90

94,46 97,50 99,44 100,00

N

Média

Mediana

Moda

Desvio Padão

Minimo

Maximo

CONF_A CONF_B CONF_C CONF_D

A confiabilidade (Probabilidade) calculada pela aproximação Normal para os

intervalos com margem de erro de 3% é praticamente constante para cada candidato,

as variações são devidas às sutilezas de cálculo. Por exemplo, a estimativa PV_A tem

confiabilidade 94,23% (mediana), que significa que com a amostra de tamanho 1.000, o

verdadeiro valor PV_A=0,50 do candidato A estará contido em 94,23% dos intervalos

construídos (valor estimado mais ou menos 3%). Analogamente, PV_D = 6% estaria

contido em 99,99% dos intervalos com margem 3% e assim seriam interpretados os

demais valores 96,74% e 98,82% respectivamente para os candidatos B e C.


_____________________________________________________________________________



11

Os quadros abaixo mostram a freqüência observada de inclusão dos verdadeiros

valores (real) nos 500 intervalos calculados com margem de erro de 3%, construídos

para cada estimativa da proporção de Votos, notação INTER_s.

Quadro 5: Freqüência da Inclusão do valor real PV_s nos 500 Intervalos de 3% de Erro. PV_A=50%

INTER_A de PV_A

30 6,0

470 94,0

500 100,0

FORA DO INTER_A

DENTRO DO INTER_A

Total

Frequencia %

PV_B=27%

INTER_B de PV_B

15 3,0

485 97,0

500 100,0

FORA DO INTER_B

DENTRO DO INTER_B

Total

Frequencia %

PV_C=17%

INTERVALO_C de PV_C

9 1,8

491 98,2

500 100,0

FORA DO INTER_C

DENTRO DO INTER_C

Total

Frequencia %

PV_D= 6%

INTERVALO_D de PV_D

1 ,2

499 99,8

500 100,0

FORA DO INTER_D

DENTRO DO INTER_D

Total

Frequencia %


_____________________________________________________________________________



12

A comparação dos valores do Quadro 4 com os do Quadro 5 é fantástica. Os

valores do Quadro 4 foram obtidos pelo uso exclusivo da teoria estatística aplicando-se

aproximação da distribuição Normal para determinar a Confiabilidade (Probabilidade),

enquanto que os valores obtidos no Quadro 5 são as freqüências observadas pela

simulação da inclusão do valor verdadeiro (real) nos 500 intervalos construídos. Não

fossem os estorvos causados pelos erros tipos I e II, os resultados da pesquisa com A

Aleatória Simples teriam alta probabilidade de estarem muito próximo da realidade, no

momento do levantamento dos dados. Mas, é importante chamar atenção do leitor para

um fato pouco comentado que diz respeito à interpretação da confiabilidade da margem

de erro. Como vimos antes, ela assume valor diferente para cada estimativa de PV_s e

depende do valor da proporção, estão todos a cima dos 94%, sendo que no caso de D

é quase certeza. Todavia estes valores valem para cada PV_s isoladamente, em outras

palavras, se o leitor avaliar a confiabilidade de inclusão concomitantemente de duas ou

mais estimativas dentro das suas respectivas margens, então a confiabilidade conjunta

será reduzida. O fato é previsível pela teoria estatística. Mas, para que o leitor menos

familiarizado com a teoria possa compreender este aspecto tão importante e tão

esquecido; infelizmente; apresentaremos os resultados gerados pela simulação.

Seja “INTER_A/B” variável que expressa as combinações concomitantes de

inclusão de PV_A=50% no intervalo INTER_A, e PV_B=27% no intervalo INTER_B. Da

mesma forma para mais de dois, exemplo, “INTER_A/B/C” e “INTER_A/B/C/D” para

três e quatro intervalos ao mesmo tempo.

Quadro 6:Freqüência da Inclusão Concomitante dos valores reais das PV_s.

PV_A=50% e PV_B=27%

INTER_A/B

2 ,4

41 8,2

457 91,4

500 100,0

FORA DOS DOIS (A/B)

DENTRO DE PELO MENOS UM

DENTRO DOS DOIS (A/B)

Total

Frequencia %


_____________________________________________________________________________



13

Segundo as estatísticas da tabela INTER_A/B a probabilidade numa mesma

amostra os verdadeiros valores PV_A e PV_B estarem ao mesmo tempo dentro das

suas respectivas margens de erro é 91,4%, notar (ver Quadro 4 e Quadro 5) que

isoladamente cada um tem aproximadamente e respectivamente 94% e 97%.

PV_A=50%, PV_B=27% e PV_C=17%.

INTER_A/B/C

3 ,6

48 9,6

449 89,8

500 100,0

DENTRO DE PELO MENOS UM

DENTRO DE PELO MENOS DOIS

DENTRO DOS TRÊS (A/B/C)

Total

Frequencia %

Da tabela INTER_A/B/C conclui-se que numa mesma amostra a probabilidade

dos valores reais de PV_A, PV_B e PV_C estarem ao mesmo tempo fora dos três

intervalos é zero e dentro das suas respectivas margens de erro corresponde a 89,8%.

PV_A=50%, PV_B=27%, PV_C=17% e PV_D= 6%

INTER_A/B/C/D

3 ,6

49 9,8

448 89,6

500 100,0

DENTRO DE PELO MENOS DOIS

DENTRO DE PELO MENOS TRÊS

DENTRO DOS QUATRO (A/B/C/D)

Total

Frequencia %

Na tabela INTER_A/B/C/D tem-se que a probabilidade numa mesma amostra os

valores reais de PV_A, PV_B, PV_C e PV_D estarem ao mesmo tempo fora dos quatro

ou dentro de somente um intervalo é zero. Dentro dos quatro intervalos ao mesmo

tempo a chance é 89,6%, quase não há redução em relação a estar dentro dos três

A/B/C da tabela anterior, isto devido à alta confiabilidade de 99,99% do PV_D.

Nada pode ser mais ilustrativo que o Gráfico2 para visualizar a configuração da

pertinência dos reais valores nos seus respectivos intervalos de confiança cruzando

PV_A e PV_B (2 dimensões) e o Gráfico3 com PV_A, PV_B e PV_C (3 dimensões).


_____________________________________________________________________________



14

Gráfico 2: 500 Estimativas de PV_A e PV_B e as pertinências nas suas respectivas margens com 3% de erro

PV_A0,540,520,500,480,460,440,42

PV

_B

0,32

0,30

0,28

0,26

0,24

0,22

DENTRO DOS DOIS(A/B)DENTRO DE UM DELESFORA DOS DOIS (A/B)

INTER_A/B

__


_____________________________________________________________________________



15

Gráfico 3: 500 Estimativas de PV_A, PV_B e PV_C e as pertinências nas suas respectivas margens com 3% de erro.

PV_C0,20

0,180,16

0,14

PV

_B

0,32

0,30

0,28

0,26

0,24

0,22

PV_A0,540,520,500,480,460,440,42

DENTRO DOS TRÊSDENTRO DE DOIS DELESDENTRO DE UM DELES

INTER_A/B/C

__ A impossibilidade gráfica de inclusão PV_D (4 dimensões) quase não faz falta,

pois sua participação é desprezível devido a alta confiabilidade de PV_D.

Observar que estimativas tão afastadas quanto às representadas pelos valores

mínimo e máximo do Quadro 3, exemplo PV_A=0,43 quando deveria ser 0,50 ocorreu


_____________________________________________________________________________



16

em pelo menos uma das 500 amostras, e isto desanda as demais estimativas desta

amostra, pois devemos lembrar que a soma das estimativas é igual a 1 (um) em cada

uma das 500 amostra. Se uma amostra apresentar estimativa muito abaixo do valor

real para um candidato os outros valores desta amostra se expandem para compensar,

o que nos leva concluir que o erro é propagado (vale o raciocínio para valores altos).

Poder-se-ia fixar o tamanho da amostra e a confiabilidade para cada PV_s,

deixando variar a margem de erro. Isto evitaria o fato inaceitável de ter estimativa PV_s

de 1% ou 2% com margem de 3%. Mas, não daria ao público o impacto psicológico

obtido pela informação quando se fixa a margem de erro e deixa transparecer que

todas as estimativas estão, ao mesmo tempo, dentro das margens de erro.

Para que o leitor tenha idéia da importância da confiabilidade, destacamos que é

fácil planejar uma pesquisa com 1% de margem de erro, o que daria uma fortíssima

sensação de precisão. Mas, se a confiabilidade fosse igual a 10%, então significaria

que 90% das estimativas estariam fora das suas respectivas margens, e a situação

seria trágica na inclusão concomitante. A forma de divulgação usada pelos Institutos:

“três pra mais e três pra menos” é um recado simples e direto, mas enganoso que

induz a uma interpretação falsa e compromete a credibilidade da informação.

Outra questão importante na divulgação dos resultados das pesquisas diz

respeito ao esdrúxulo termo “Empate Técnico” usado pelos Institutos. É um termo não

existente em Estatística, e significa uma tentativa de transmitir desconhecimento com

disfarce técnico. Em nenhum momento os Institutos admitem a sábia e famosa frase

filosófica ”Só sei que nada sei” declarada por Sócrates (470ac-399ac). E neste caso,

não seria nenhum demérito, inclusive porque os resultados da pesquisa não oferecem

evidências. Basta lembrar outra frase muito usada pelos Estatísticos dentro da sua

seriedade na atividade de bem informar a Sociedade “O resultado da pesquisa não

oferece evidência que permita afirmar quem está na frente”. No trabalho do Estatístico

é comum ocorrer indecisões, isto se dá quando não há “diferença significativa” entre as

estimativas, essa informação é obtida pela técnica “Teste de Hipótese Estatística”.


_____________________________________________________________________________



17

Infelizmente, o problema não se resume só a questão semântica, o conceito “Empate

Técnico” não traduz a realidade dos fatos. Para discutir o erro grasso cometido pelos

Institutos vamos formular uma nova hipótese para a composição (%) de Votos para a

população de 100.000 eleitores, vamos considerar A= 47% ; B=47% ; C=5% e D=1%,

na qual geramos propositadamente o empate entre os candidatos A e B. O empate não

é “técnico” é real, apesar de improvável na prática. Em seguida realizamos uma

simulação com A Aleatória Simples com 1.000 eleitores para estimar 200 resultados,

isto é, obtemos 200 estimativas da variável PV_A e PV_B na população com ambos

iguais a 47%. Então, considerando margem de erro 3% e o critério “Empate Técnico”

dos Institutos, obtivemos a seguinte estatística;

EMPATE TÉCNICO

132 66,0

68 34,0

200 100,0

NÀO EMPATADO

EMPATADO

Total

Frequencia %

Logo, pelo critério do “Empate Técnico” temos 68 empates. Por outro lado, pela

técnica estatística Teste de Hipótese não se encontrou nenhuma diferença significativa

nos resultados apurados, então as 200 estimativas de PV_A e PV_B indicariam 100%

de empates, que corresponde fielmente à realidade. Então, se de fato existir empate o

critério “Empate Técnico” só acertaria 34% e erraria 66% das vezes. Lamentável!

Vamos finalmente retomar a conversa sobre as características demo-sócio-

econômicas dos eleitores, não usadas até agora no método A Aleatória Simples.

Todavia, ela é fundamental para a aplicação do método A por Cota, pois são elas que

determinam o procedimento de seleção dos eleitores da amostra e, por isso, dão nome

ao método. Ao mesmo tempo em que fazíamos seleção aleatória dos eleitores, sem

nenhuma preocupação com seus dados, registrávamos a título de informação as

características demo-sócio-econômicas dos entrevistados para ajudar o leitor captar a

idéia do procedimento A por Cota. Insistimos que, em nenhum estágio da simulação

com A Aleatória Simples as características foram usadas na seleção do eleitor ou na


_____________________________________________________________________________



18

estimação de qualquer parâmetro da amostra. Daremos a seguir estatísticas das

características demo-sócio-econômicas das 500 amostras de 1.000 eleitores.

Quadro 7: Estatísticas das Características observadas nas 500 amostras.

QUANTO AO SEXO

500 500

,5316 ,4684

,5321 ,4679

,54 ,46

,01595 ,01595

,49 ,42

,58 ,51

N

Média

Mediana

Moda

Desvio

Mínimo

Máximo

FEMENINO MASCULINO

QUANTO A IDADE

500 500 500

,3630 ,5651 ,0719

,3634 ,5646 ,0711

,36 ,56 ,07

,01473 ,01553 ,00900

,31 ,52 ,04

,40 ,61 ,10

N

Média

Mediana

Moda

Desvio

Mínimo

Máximo

JOVEM ADULTA MADURA

QUANDO A INSTRUÇÃO

500 500 500

,8157 ,1181 ,0662

,8163 ,1181 ,0661

,81 ,12 ,07

,01195 ,01036 ,00772

,78 ,09 ,05

,85 ,15 ,10

N Média Mediana Moda Desvio

Mínimo Máximo

FUNDAMENTAL MÉDIO SUPERIOR


_____________________________________________________________________________



19

QUANTO A RENDA

500 500 500

,0990 ,1367 ,7643

,0991 ,1361 ,7648

,10 ,13 ,77

,00981 ,01081 ,01363

,07 ,11 ,72

,13 ,17 ,81

N

Média

Mediana

Moda

Desvio

Mínimo

Máximo

CLASSE A/B CLASSE C CLASSE D/E

Apesar da apresentação das estatísticas do Quadro 7 ter aspecto diferente das

estatísticas mostradas no Quadro1, elas guardam grande similaridade. No Quadro 1

temos as freqüência (censo) das características da população dos 100.000 eleitores, já

as tabelas do Quadro 7 apresentam medidas de posição e dispersão dos valores da

composição das características das 500 amostras de 1.000 eleitores.

É gritante a superposição dos valores, em todos os casos há aderência entre

medidas de posição das 500 amostras com os reais valores da população. Veja por

exemplo, a mediana da composição do Sexo F/M nas 500 amostras 0,53/0,47; e a

mediana no caso da Idade da composição J/A/M é 0,36/0,57/0,07. As superposições

também ocorrem nas outras características. É simplesmente fenomenal.

Foi desta simples e conhecida propriedade: “Aplicando-se A Aleatória Simples

para estimar Intenção de Voto, em média também são reproduzidas com fidelidade a

composição das características demo-sócio-econômicas dos eleitores da população”

que brotou a semente de A por Cota.

É intuitivo que as Características dos eleitores são escolhidas porque elas

apresentam níveis de correlação diferentes de zero com as intenções de Voto: o nível

de renda, por exemplo, os pobres têm preferência por uns candidatos e os ricos por

outros; também o grau de instrução do eleitor deve apresentar correlação não nula com

diferentes candidatos, os eleitores com ensino fundamental têm preferências por uns

candidatos e aqueles com curso superior por outros. E assim deve ocorrer com as

demais Características, daí a afirmação que elas explicam o Voto.


_____________________________________________________________________________



20

PARTE III. AMOSTRAGEM POR COTA (A por Cota).

Então por que não partir de uma amostra que reproduza a composição definida

pelas características da população? Ou seja, poder-se-ia gerar uma amostra de 1.000

eleitores com características iguais à composição (%) das tabelas do Quadro1 da

página 4. Daí o nome Amostragem por Cota.

Para confirmar o bom senso da proposta, vamos supor que se tenha uma

amostra só de eleitores jovens, ou ainda, se tivéssemos uma amostra somente de

eleitores com instrução superior, nestes casos os resultados das intenções de Votos

perderia credibilidade. Por outro lado, se o Instituto de Pesquisa informa que a amostra

montada reproduz a composição das Características da população que explicam a

Intenção de Voto do eleitor, qualquer pessoa ficaria predisposta a admitir confiabilidade

dos resultados. Por facilidade de execução, pelo baixo custo e rapidez e por reproduzir

igual composição das Características da população, A por Cota ganhou adeptos. E foi

desta mesma semente que certamente germinou o termo “amostra representativa”

usada na terminologia da pesquisa por cota. O termo não existe na teoria estatística,

mas se “amostra representativa” fosse usada somente no sentido de reproduzir as

Características da população que explicassem a variável de interesse, julgo que seria

aceitável e poderia ser incorporado ao jargão estatístico no caso da A por Cota.

Entretanto a representatividade das Características não garante precisão dos

resultados da Intenção de Voto, o que definitivamente não foi declarado em nenhum

momento pelo autor dessa resenha. Esta conclusão ardilosa é na verdade, o grande

mal-entendido que pode acompanhar o uso do termo, e por ser muito sofismável é

provável que este raciocínio venha prevalecer. Aliás, julgo que pela forma como vem

sendo usado; essa subjacente falácia já deve estar acontecendo e infelizmente acho

difícil conseguir reverter esta situação.

Mas qual é o grave problema gerado pela aplicação com A por Cota que tanto

incomoda os Estatísticos? É o critério não aleatório de seleção dos eleitores que

farão parte das cotas, portanto, da amostra. Ou seja, dado um eleitor definido


_____________________________________________________________________________



21

por suas características, não se conhece a chance dele participar da A por Cota.

Isto é pecado mortal em amostragem, como também na grande maioria dos

métodos estatísticos. Sem esta preciosa informação, não se pode conhecer a

qualidade da estimativa e perde-se o controle do erro e da confiabilidade, que já

não era dominado pelo Estatístico, dado a subjetividade da opinião e devido aos

erros do tipo I e II. Evitamos esta heresia na Parte I idealizando uma população

conhecida onde pelo método A Aleatório Simples cada eleitor tinha igual chance

de pertencer à amostra, situação fictícia que só serviu para o leitor entender as

dificuldades. Na A por Cota, se o pessoal de campo é orientado para entrevistar

tantos e quantos eleitores, com tais e quais características, sem informar onde

estão e quantos são. Como selecioná-los? Torna-se inviável o conhecimento da

lei da seleção. Este é o grande problema com A por Cota. Na prática quando se

torna impossível fazer a seleção aleatória, quase sempre por razões de custo e

de prazo, então se recorre a A por Cota como última alternativa.

Como é conduzido o trabalho de campo com A por Cota? A entrevista pode

ser feita na rua e neste caso o entrevistado não precisa se identificar e muito menos

dar endereço. Óbvio que o anonimato é uma relevante vantagem para que o eleitor se

sinta a vontade para dar opinião. Mas a abordagem de rua começa por identificar as

Características “no olho”, que não é tão simples mesmo para aquelas relativamente

aparentes (sexo, idade) e outras nem tanto (classe social, renda e instrução). Para

piorar, a abordagem acaba sendo dirigida para aquelas pessoas: simpáticas, menos

agitadas, com aspecto receptivo, transmitindo disponibilidade de tempo, os que gostam

de dar opinião, aqueles curiosos, pessoas solidárias ou solitárias e até aqueles que

sentiram simpatia pelo entrevistador(a); por outro lado são evitadas aquelas pessoas

de “cara amarrada”, de “nariz em pé”, com pressa, ou em situações particulares tais

como: acompanhadas por crianças, carregando pacotes, namorando, esperando

condução, comendo e etc. Além disso, por falha do “critério do olho” ocorre com


_____________________________________________________________________________



22

freqüência a abordagem de pessoas com cotas já completadas e então vem o

agradecimento pela atenção e não realização da entrevista. Este é outro aspecto que

explica a extensão do uso da A por Cota, a inexistência de uma estrutura rígida de

seleção do entrevistado. Dentro da área pesquisada designada ao entrevistador, se

uma pessoa está indisponível ou é arredia a dar opinião, então ela é simplesmente

substituída pela próxima alternativa, o objetivo maior é preencher as cotas designadas.

Pode ser feita por visita a domicílios, numa combinação de metodologias de

amostragem com seleção aleatória seguida de seleção sistemática e finalmente

combinada com cota. É considerado um grande aperfeiçoamento teórico, embora não

resolva totalmente o problema, além do mais encarece muito a pesquisa e o aumento

do custo/benefício não é do agrado das empresas de pesquisa.

Por telefone; obviamente somente para aqueles que o possuem, buscando nas

residências uma pessoa disposta a responder com características pré-estabelecidas,

num horário quase sempre de descanso ou lazer. Perde-se muito na qualidade, um

entrevistador “ao vivo” sempre possui melhores condições de obter dados confiáveis

que o entrevistador por telefone. Mais uma vez, não há controle da seleção do eleitor.

O Estatístico sem domínio da lei aleatória que rege a seleção da amostra fica

impedido de conhecer as propriedades das suas estimativas. Ademais compromete o

cálculo do erro e do intervalo de confiança das estimativas. O desconhecimento da lei

de seleção (métodos não probabilísticos) determina não existência de embasamento

teórico do método de estimação. O cálculo do erro e da confiabilidade é realizado por

fórmulas gerais e aproximadas, baseadas em propriedades de grandes amostras.

Mesmo sem respaldo teórico rigoroso, a amostragem por cota é largamente

usada na prática, principalmente por razões de custo e de rapidez na execução. É o

método mais rápido e mais barato quando comparado com qualquer outro método de

amostragem probabilística. Ademais, seu uso ao longo destes 50 anos demonstra que

os resultados obtidos com A por Cota são satisfatórios, basta considerar que se não

fosse assim, não estaria sendo usado há pelo menos 50 anos em vários Países. Pela


_____________________________________________________________________________



23

dificuldade de criar um modelo de simulação para o procedimento A por Cota, talvez

impossibilidade, sua discussão e análise têm se realizado no campo teórico de

forma muito superficial ou também tem se restringido a comparações empíricas

particulares. Ainda pode-se contar com abundantes opiniões de “especialistas”.

Faz-se necessário aprofundamento teórico de suas propriedades e estudos mais

detalhados das limitações para dominar as condições de uso de A por Cota.

A por Cota continuará sendo, provavelmente, a metodologia preferencial das

empresas de pesquisa de opinião. As pesquisas eleitorais tiveram um forte impulso

com a abertura democrática no País com a primeira eleição para o cargo de Presidente

da Republica em 1989. O uso sistemático de A por Cota durante estes 20 anos de

Pesquisa Política, já deve ter ocorrido na prática aperfeiçoamentos da metodologia.

Descrevemos aqui as idéias básicas que circulam nos meios técnicos, mas óbvio que

os avanços já obtidos provavelmente pelos grandes Institutos não fazem parte da

metodologia divulgada e registrada nos TRE`s. Estes constituem o seu acervo técnico

“não patenteado“ melhor entendido como “o pulo do gato” e obviamente mantido em

sigilo. Durante todo esse tempo nosso meio acadêmico vem batendo com insistência

na metodologia “supostamente” aplicada e divulgada, mas contribuído pouco com

idéias alternativas ou de aprimoramento da A por Cota, temos notícias de duas ou

três propostas, mas nenhuma informação de resultados de aplicação.

Uma proposta que poderia ser tentada, se já não foi, é fazer A por Cota se

aproximar da A Estratificada cruzando as Características e construindo composição

cruzada para refinar a malhas das cotas. Também é importante que o tamanho da

amostra seja ampliado para garantir propriedades assintóticas (melhora a qualidade da

estimação à medida que a amostra cresce). Tudo isso acarreta aumento de custo da

pesquisa e há de se avaliar o custo/benefício das sugestões.

Finalmente encerramos esta resenha, corroborando e aplaudindo a decisão do

Tribunal Superior Eleitoral-TSE obrigando o registro da Metodologia e do Estatístico


_____________________________________________________________________________



24

responsável pela pesquisa eleitoral no TRE-Tribunal Regional Eleitoral. Reforçada por

imposição de Lei que determina que o Estatístico e a Empresa executora devam estar

registrados nos CONRE’s, Conselho Regional de Estatística. O controle das pesquisas

eleitorais no Brasil protege a Sociedade em geral contra resultados espúrios gerados

por incompetência técnica, manipulação dos resultados ou manobras estratégicas.

Mas, ainda há espaço para se avançar muito mais no monitoramento das pesquisas

políticas, a ação do sistema CONFE/CONRE deverá ser dirigida no sentido de estreitar

a troca de informação com a estrutura institucional TSE/TRE, divulgando e orientando

como analisar as metodologias e programando procedimentos no controle da qualidade

das pesquisas políticas no País.

Agradeço o estímulo e sugestões dos prezados Conselheiros do CONFE: André

Gustavo Guimarães Cunha; Arnaldo S. de Araújo Filho; Calmon Gold; Geraldo Magela

Morcerf; Joil Texeira Operti e do nosso Coordenador William Cardozo; e em especial a

contribuição do Conselheiro Ronald Gueraldi. Contei também com a colaboração dos

seguintes Conselheiros do CONRE 2ª Região: José Ronald Noronha de Lemos e

Regina Lanzillotti. Os acertos são nossos e os erros são meus.

Para terminar uma grande manifestação de apreço e saudades do nosso querido

Conselheiro do CONFE e ex Presidente da entidade no período 2004 a 2006 que

recentemente nos deixou para sempre, o Estatístico Nelson Reis Raso.

Documents

CONSELHO FEDERAL DE ESTATÍSTICA · 2015. 3. 10. · Porém, existem aspectos técnicos subjacentes nos resultados das pesquisas eleitorais, que induzem conclusões falsas que não