sábado, 31 de outubro de 2009

Estatístico entende de amostra

Artigo no Alerta Total – www.alertatotal.net

Por Alberto Carlos de Almeida

Estatístico sabe fazer amostra, mas não necessariamente sabe fazer pesquisa. Aliás, além de amostra, os estatísticos sabem fazer com maestria a modelagem estatística da análise de dados. Assim, eles entram no início e no fim de uma pesquisa, mas não foram treinados para fazer o que está no meio da pesquisa: a elaboração do questionário, a condução e o controle do trabalho de campo, a metodologia da coleta de dados e outras coisas tão relevantes, ou mais, como a amostra.

Digo isso porque acabo de lançar novo livro, "Erros nas Pesquisas Eleitorais e de Opinião" (Record). Alto lá para aqueles que esperam encontrar nas suas 190 páginas denúncias acerca de pesquisas erradas. Nada disso. O livro trata do erro "não amostral". Esse tipo de erro está longe de ser estudado e debatido no Brasil. O mundo das pesquisas do Brasil de hoje, em particular das pesquisas eleitorais, está sob o primado dos estatísticos.

Curioso o nosso querido Brasil. Trata-se, ainda e infelizmente, do país dos cartórios. Anos atrás, foi criada uma legislação que passou a obrigar os institutos e as empresas que fazem pesquisas em ano eleitoral a registrá-las nos Tribunais Eleitorais pertinentes. No início, o registro era extremamente simples. Era preciso informar a amostra, o questionário, a data de realização da pesquisa e mais algumas informações básicas e relevantes. Ademais, esse registro era obrigatório a partir de uma determinada época do ano que, se não me falha a memória, coincidia com o início oficial da campanha eleitoral.

A mentalidade do cartório é acima de tudo a mentalidade da desconfiança combinada com a incapacidade de punir aqueles que burlam a lei. Reconhece-se firma porque se desconfia que a firma não é de quem assina. Eis a desconfiança. Se não houvesse o reconhecimento de firma, qualquer um poderia falsificar uma assinatura. Se isso fosse feito, não haveria punição. O resultado é que precisamos de cartório. Dizem alguns que só existe cartório em dois países, Brasil e Portugal. O registro da pesquisa, que era obrigatório a partir de aproximadamente o meio do ano, tornou-se obrigatório a partir de 1º de janeiro do ano eleitoral. Estendido o período de desconfiança.

Mais recentemente, qualquer um que deseje registrar uma pesquisa eleitoral precisa de um estatístico com registro no Conre, que é o órgão que regula a profissão. Ops, profissão regulada, eis mais uma instituição de espírito francamente cartorial. Ainda bem que acabou a obrigatoriedade de diploma para jornalista. Quem dera isso servisse de exemplo para todas as profissões. Quem regula as profissões em um mundo livre, aberto e competitivo não são as leis, mas o mercado. Quem regula as pesquisas não são os legisladores, mas o mercado de institutos.

É curioso que a nossa regulação tenha admitido recentemente que o estatístico (devidamente regulado) exerce o primado sobre as pesquisas. Essa decisão de nossos legisladores está baseada em um conhecimento muito parcial e uma ignorância muito geral: a de que as pesquisas sofrem apenas de um tipo de erro, o erro "amostral".

O erro "amostral" é aquele com o qual todos estamos familiarizados. Toda pesquisa eleitoral divulgada apresenta os tais pontos porcentuais para cima e para baixo. Diz-se, por exemplo, que o erro da pesquisa é de mais ou menos três pontos porcentuais. Isso significa que ao porcentual de cada candidato deve ser acrescido mais três e menos três. É nessa faixa que o candidato realmente está.

O livro "Erros nas Pesquisas Eleitorais e de Opinião" trata apenas de erros que não são "amostrais". Erro "não amostral" é um termo técnico que significa erros de medição que não dependem dos tais três, quatro ou cinco pontos porcentuais para cima e para baixo. Um exemplo concreto extraído do livro (capítulo 4) diz respeito a uma medição que frequentemente é realizada no Brasil, baseada na seguinte pergunta: você se considera uma pessoa de esquerda ou de direita? Há inúmeras teses de mestrado e doutorado que utilizam a escala esquerda-direita para explicar o voto em Luiz Inácio Lula da Silva e em seus opositores. Eu mesmo já participei da banca de algumas de tais teses. Essa medição é problemática. Sem dúvida que sim.

Trata-se de uma medição problemática não por causa do chavão contemporâneo, aquele que diz que esquerda e direita não importam mais, que esquerda e direita acabaram. Nada disso. A medição e a utilização desse conceito no Brasil são equivocadas porque aqueles que o fizeram não se perguntaram, em nenhum momento, o que o nosso eleitorado acha que é ser de esquerda ou ser de direita. Eu mostro no livro que isso depende da escolaridade do eleitor.

Aqueles mais escolarizados acham que ser de esquerda é querer uma presença maior do Estado na economia e ser de direita é o inverso disso. Porém, o eleitorado menos escolarizado considera que ser de direita é ser do governo e ser de esquerda é ser de oposição. Pergunto: é possível misturar essas duas concepções em uma medição só? O livro mostra que não. Justamente por causa deste erro "não amostral" é que a medição de esquerda e direita não funciona corretamente no Brasil. Trata-se de um assunto extremamente relevante em uma pesquisa eleitoral que foge completamente da alçada dos estatísticos.

Um dos erros de pesquisa mais conhecidos mundialmente ocorreu nas eleições britânicas de 1992. Em 1º de abril daquele ano a bolsa de valores se esvaiu em 6 bilhões de libras em valores da época. Isso aconteceu porque todos os institutos de pesquisa previram a vitória dos trabalhistas. Para a felicidade do mercado, os conservadores acabaram vencendo, com John Major. Eles foram para seu quarto mandato consecutivo, depois de três mandatos de Mrs. Thatcher.

A Market Research Society realizou um estudo sobre aquele fenômeno e concluiu que todas as fontes de erro foram "não amostrais": desenho da amostra (apesar do nome é um erro "não amostral"), recusa dos entrevistados em responder às pesquisas, comparecimento eleitoral diferenciado por região do país, etc.

Um fator de grande peso foi a recusa em responder às pesquisas. Aqueles que mais fizeram isso foram as pessoas mais velhas com perfil conservador. Os mais jovens e trabalhistas tendiam a responder com entusiasmo. Além disso, o comparecimento eleitoral, que as pesquisas também têm que estimar, foi maior entre os conservadores do que entre os trabalhistas. O resultado final desse somatório de erros foi que as pesquisas erraram feio. Se fosse no Brasil, nem mesmo os registros de pesquisas devidamente assinados por estatísticos regulamentados teriam levado ao acerto.

Não há profissão ou atividade isenta de erro. No caso das pesquisas, isso é inerente à sua realização. Pesquisa erra e ponto final. Aliás, falo aqui somente das pesquisas bem feitas (não discuto má-fé, pois isso não é um assunto científico, mas jurídico). Não por acaso existe uma enorme literatura em língua inglesa que trata dos mais diversos tipos de erros "não amostrais". A primeira medida para diminuir e controlar os erros é reconhecendo-os. É justamente por isso que existe essa enorme literatura especializada.

O mais interessante é que o nosso subdesenvolvimento, do qual lentamente estamos saindo, é um fenômeno sistêmico. Ele está em praticamente todas as áreas de nossa sociedade, inclusive de sua mentalidade. A importância que é dada ao erro das pesquisas no Brasil assume proporções inimagináveis se comparado com os Estados Unidos ou a Europa. Excetuando-se o caso mencionado da Grã-Bretanha de 1992, não chegam notícias ao Brasil de erros de pesquisas nos Estados Unidos ou na Europa. Por que será?

Certamente não é porque as pesquisas não errem. Só aqui no Brasil alguns ainda acreditam que isso ocorra. É porque lá ninguém realmente acredita que a pesquisa induza o voto. Portanto, elas podem errar à vontade. No Brasil há uma guerra ferrenha por cada ponto porcentual que um candidato sobe ou desce, como se isso fosse definir seu destino, ganhar ou perder. Esse fenômeno tem, do outro lado da moeda, estatísticos especializados não só na margem de erro, mas também em afirmar que as pesquisas não erram jamais, que quem erra é o eleitor que sempre muda de voto na última hora. Com sempre, coitado do eleitor.

Alberto Carlos Almeida, sociólogo e professor universitário, é autor de "A Cabeça do Brasileiro" (Record). E-mail: Alberto.almeida@institutoanalise.com - www.twitter.com/albertocalmeida Artigo originalmente publicado no caderno Eu & Fim de Semana do jornal Valor Econômico, edição de 30 de outubro de 2009.

3 comentários:

Anônimo disse...

Parabéns ao prof. Alberto Carlos pelo artigo, excelente o tema. Acredito que o livro deva ser tão proveitoso quanto. Faço apenas uma ressalva no que diz respeito ao trecho: "quem regula as profissões em um mundo livre, aberto e competitivo não são as leis, mas o mercado". Seria extremamente desagradável se médicos ou pilotos de grandes aviões de transportes por exemplo, fossem profissões reguladas exclusivamente pelo mercado. Obrigado

Anônimo disse...

Fiquei impressionada com a quantidade de mal informação passada pelo Prof. Alberto Carlos, por ser um doutor acho qeue não deveria ter colocado a profissão tão abaixo. É uma pena o prof. criticar tanto uma profissão que vira e mexe aparece como a profissão do futuro. Parabéns a ignorância!

Anônimo disse...

O prof. Alberto Carlos tem um ponto de vista muito forte, mas tem algumas falhas, ao meu ver. Não deixo de parabenizá-lo, contudo, pelo ponto em que aborda a importância que se dão às pesquisas. Ele deveria ser instrumento interno dos candidados e partidos, só isso. Também deveria ser divulgado, além das margens de erros, o grau de confiança (poucos canais de comunicação fazem isso). Com isso se teria a noção de que à pesquisa é associada incerteza.