Qual é o papel da evidência na formulação de políticas?

Pesquisadora responsável: Viviane Pires Ribeiro

Título do Paper: When evidence is not taken for granted: the use and perception of “evidence” in the Czech Republic ministries

Autores: Arnošt Veselý, František Ochrana, Martin Nekola

Localização da Intervenção: República Tcheca

Tamanho da Amostra: 1351 questionários

Grande tema: Política Econômica e Governança

Variável de Interesse principal: Evidências

Tipo de Intervenção: Análise do papel da evidência na formulação de políticas

Metodologia: Pesquisa com N grande e entrevistas detalhadas

O papel da evidência na formulação de políticas é um dos tópicos mais pesquisados em políticas públicas e administração pública. No entanto, surpreendentemente, pouca pesquisa foi feita sobre como os funcionários públicos realmente usam evidências na prática da vida cotidiana. Veselý, Ochrana, Nekola (2018) aborda essa lacuna. Usando uma pesquisa com N grande (large-N survey) sobre os funcionários ministeriais tchecos e entrevistas detalhadas com eles, os autores exploram o que é entendido sob o termo "evidência", que tipo de evidência é usada e preferida pelos funcionários públicos e por quê.

Contexto da Avaliação

A ascensão do discurso da “política baseada em evidências” (PBE) é uma das tendências mais visíveis na administração pública e nas políticas públicas na última década. Apesar de a PBE ser um movimento bem reconhecido, suas definições variam de uma visão bastante restrita (uma metodologia particular para produzir uma forma específica de evidência), a uma visão mais ampla e abrangente sobre o que ela representa. Embora muitos governos e profissionais tenham se mostrado muito entusiasmados, a PBE também foi criticada e contestada por várias razões, por exemplo, por supor que as evidências de pesquisa podem fornecer respostas objetivas – e, em última análise, resolver questões inerentemente políticas.

Mesmo com todas essas críticas, muitas iniciativas e projetos sobre “preencher a lacuna entre política e pesquisa” foram realizados especialmente em países anglo-saxões. Nesses países, o discurso da PBE está profundamente enraizado nas práticas da administração pública. Consequentemente, em países que foram fortemente influenciados por esse discurso, parece difícil desafiar a afirmação básica de que as evidências devem ser usadas na formulação de políticas. O uso de evidência – qualquer que seja o significado deste termo – é dado como certo.

A língua checa tem a palavra “evidência”, mas com um significado diferente do inglês. Em tcheco, a evidência é derivada do verbo "evidovat", que significa "registrar". Desse modo, a palavra tcheca “Evidence” é geralmente associada a outros tipos de atividades, como Evidence obyvatel (registro de população) ou elektronická Evidence tržeb (registro eletrônico de vendas). Assim, a palavra evidência é geralmente entendida como um “registro”, ou seja, informações centralmente coletadas e armazenadas.

Poucas pessoas na administração pública e mesmo na academia estão familiarizadas com o conceito de PBE. Ocasionalmente, no entanto, o conceito é mencionado. Dado o fato de que a evidência no idioma tcheco está associada a “registrar” (que é bem diferente de seu significado original em inglês), PBE tem sido frequentemente traduzido como politika založená na důkazech. Isso significa, literalmente, “política baseada em provas”. Esta é, naturalmente, uma interpretação bastante restrita de evidências, pois a “prova” inclui apenas evidências inquestionáveis ​​e que dão respostas definitivas. Para evitar essa confusão terminológica, alguns autores usam o termo “poznatky”, em vez de “evidência”, como é o caso de Veselý, Ochrana, Nekola (2018). Este conceito é mais amplo e o mais neutro de todos os conceitos relacionados. Pode ser traduzido como “conhecimento”, ou mais precisamente como conhecimento criado através do processo de cognição. O conceito de poznatky tem uma leve conotação com pesquisa (conhecimento de pesquisa), mas não está necessariamente associado à pesquisa.

Detalhes da Intervenção

O estudo realizado por Veselý, Ochrana, Nekola (2018) explora a compreensão e o uso de evidências nos ministérios da República Tcheca como instituições centrais da administração pública. Esse país representa um caso interessante no estudo do uso de evidências na formulação de políticas. A produção e o uso de informações relevantes para as políticas têm uma longa tradição na República Tcheca, e a ciência social tcheca sempre teve uma forte orientação prática. Além disso, a demanda por conhecimento relacionado a políticas com base científica levou ao estabelecimento de diferentes tipos de instituições de pesquisa que atendem diretamente aos ministérios. Embora tanto seu número quanto seu impacto tenham diminuído após 1989, a ênfase na ciência social relevante e prática prevaleceu. Ao mesmo tempo, porém, a ideia e o discurso da EBP nunca entraram seriamente no debate da administração pública e da formulação de políticas. Poucas pessoas na administração pública estão familiarizadas com o conceito de EBP. Não houve iniciativas ou projetos para incorporar mais evidências na formulação de políticas e na tomada de decisões na administração pública, e o uso de evidências de pesquisa na formulação de políticas parece ser bastante limitado. Além disso, o conceito básico de “prova” dificilmente é traduzível para o idioma tcheco.

Assim, Veselý, Ochrana, Nekola (2018) fazem alguns questionamentos tradicionais sobre o uso de evidências na política no contexto dos ministérios da República Tcheca. Especificamente, fizemos as seguintes perguntas: O que é considerado evidência por funcionários públicos? Que tipo de evidência é usada? Que tipo de evidência é considerada importante? Quando e como as evidências são usadas no processo de formulação de políticas? Ao fazê-los, os autores se baseiam em quatro correntes de teorias que se concentram em diferentes aspectos do uso de evidências. Discutindo até que ponto essas teorias, em sua maioria desenvolvidas em contexto com forte discurso de PBE, podem ser aplicadas em um contexto onde a PBE é quase desconhecida.

Detalhes da Metodologia

Para responder as perguntas de estudo, Veselý, Ochrana, Nekola (2018) utilizaram dados quantitativos e qualitativos. Quanto aos dados quantitativos, a equipe realizou uma pesquisa do tipo large-N sobre burocratas de políticas nos ministérios da República Tcheca entre abril e julho de 2013. Passo a passo, 11 ministérios concordaram em participar da pesquisa. Em sete ministérios, os dados foram coletados por meio de entrevistas presenciais: os entrevistadores se reuniram com os entrevistados, fizeram uma série de perguntas padrão pré-definidas e registraram suas respostas em um formulário de papel (CAPI) ou em um aplicativo de computador (PAPI). Para dois ministérios que preferiram participar sem o envolvimento de entrevistadores, os dados foram coletados pela administração na forma de questionários online (CAWI). Em um ministério, foi implementada uma combinação de CAPI e CAWI. Os entrevistados foram selecionados aleatoriamente de cada quadro de amostra ministerial. Após várias ondas de amostragem aleatória, todos os indivíduos de cada quadro amostral foram convidados a participar. Assim, o que era para ser uma amostragem aleatória acabou sendo um censo. Obteve-se um total de 1351 questionários completos e a taxa de resposta foi de 29,4%.

Os dados qualitativos são provenientes de entrevistas detalhadas realizadas pelos autores que focaram especificamente no uso de evidências. Essas entrevistas foram realizadas em abril de 2016 a maio de 2017. Ao todo, foram 23 entrevistados de diferentes ministérios Tchecos. Quatro pesquisadores, membros da equipe de pesquisa, conduziram as entrevistas seguindo o roteiro de entrevista comum. Os tópicos das entrevistas diziam respeito à descrição do trabalho estratégico do entrevistado, descrição de seu uso do conhecimento científico ou outro, sua experiência com o uso e o status da evidência no contexto mais amplo de seu ministério e a administração estadual. As entrevistas semiestruturadas com especialistas duraram cerca de uma hora e meia ou duas horas, foram gravadas e as notas de campo foram elaboradas. Os registros foram transcritos na íntegra, e as entrevistas foram codificadas e analisadas por meio de análise temática com foco nos padrões identificados sobre o uso do conhecimento em vários contextos e fases do processo político.

Resultados

O uso de evidências na República Tcheca difere em muitos aspectos do que é relatado em países com um forte discurso de PBE. Funcionários públicos não relatam compromisso com o uso de evidências no sentido de “o que funciona” (embora não se oponham a isso). Mais precisamente: não demonstram compromisso com as evidências científicas, mas com as evidências dos “dados administrativos”. De um modo geral, eles não estão interessados em “provas”, mas em “evidências” que possam ser usadas para legitimar os objetivos políticos e que suportem o consentimento negociado sobre a política.

Veselý, Ochrana, Nekola (2018) argumentam que é impossível determinar com exatidão em que medida essas diferenças são causadas por diferentes governanças na República Tcheca e em que medida são causadas pelo baixo impacto do movimento EBP no país. É provável que estes dois estejam ligados um ao outro. Todos os entrevistados referem-se à relativa instabilidade política e às frequentes mudanças no cenário geral das políticas públicas, o que traz duas consequências para o seu trabalho. Primeiro, eles percebem a pressão do tempo, ou seja, é necessário agir muito rapidamente. Em segundo lugar, eles relatam a experiência (repetida) de políticas e estratégias não realizadas por causa de mudanças pessoais na liderança do ministério. A pressão do tempo leva os funcionários públicos a encontrar e preparar documentos de fácil compreensão. Os entrevistados que trabalharam em algum documento de política que ficou inacabado, abandonado ou mesmo retirado do processo de decisão do Governo por causa da mudança de cargo do ministro ou seu vice relatam menor motivação para qualquer trabalho complexo e análises de dados. É então combinado com uma baixa pressão interna (em um determinado ministério) para usar evidências no processo de políticas mantidas apenas mudando lentamente a cultura geral dos ministérios.

Encontrou-se muitos pontos em comum com os resultados de outros países. Mais notavelmente, os funcionários públicos usam diferentes tipos de evidências e aplicam seus próprios critérios sobre o que conta como evidência e o que é “evidência útil”. Ou seja, os funcionários públicos usam fontes de evidência muito diversas, mas as evidências produzidas por outros funcionários (ou para funcionários) são usadas com mais intensidade. Em geral, todas as quatro correntes de teorias parecem ser úteis na geração de hipóteses sobre o uso de evidências também no contexto sem PBE.

Lições de Política Pública

Embora funcionários públicos e acadêmicos não difiram tão profundamente em sua formação, eles diferem em seu discurso e vocabulário, e também em termos de padrões pelos quais julgam o mérito da evidência. Desse modo, o estudo realizado por Veselý, Ochrana, Nekola (2018) sugere um importante papel de especialistas ou “intermediários de conhecimento” que traduzem o mundo da ciência para o mundo da prática. No entanto, é necessária uma pesquisa mais detalhada para explorar exatamente quem são os intermediários de conhecimento e como eles funcionam.

Além disso, a análise também sugere que o movimento recente no sentido de adicionar o contexto na análise do uso de evidências é bastante promissor. O uso e a compreensão das evidências são fortemente influenciados pelas práticas cotidianas dos funcionários públicos, bem como pelo seu meio social imediato. O uso de evidências não pode ser separado de todo o processo político no qual está inserido. Os funcionários públicos querem pesquisas que “os ajudem em seu trabalho”. E o que deveria ajudá-los é influenciado pelo estágio da política e pelas expectativas deles. Combinado com a ênfase recente no tipo de conhecimento e evidência, este pode ser um caminho muito promissor para pesquisas futuras.

Referências

VESELÝ, Arnošt; OCHRANA, František; NEKOLA, Martin. When evidence is not taken for granted: the use and perception of “evidence” in the Czech Republic ministries. Network of Institutes and Schools of Public Administration in Central and Eastern Europe. The NISPAcee Journal of Public Administration and Policy, v. 11, n. 2, p. 219-234, 2018.