¿Cuál es el papel de la evidencia en la formulación de políticas?

Investigadora responsable: Viviane Pires Ribeiro

Título del artículo: Cuando la evidencia no se da por sentada: el uso y la percepción de la “evidencia” en los ministerios de la República Checa

Autores: Arnošt Veselý, František Ochrana, Martin Nekola

Lugar de intervención: República Checa

Tamaño de la muestra: 1351 cuestionarios

Tema principal: Política económica y gobernanza

Variable de interés principal: evidencia

Tipo de intervención : Análisis del papel de la evidencia en la formulación de políticas.

Metodología: encuesta N grande y entrevistas en profundidad

El papel de la evidencia en la formulación de políticas es uno de los temas más investigados en las políticas públicas y la administración pública. Sin embargo, sorprendentemente se han realizado pocas investigaciones sobre cómo los funcionarios públicos utilizan realmente la evidencia en la práctica de la vida cotidiana. Veselý, Ochrana, Nekola (2018) aborda esta brecha. Utilizando una amplia encuesta N de funcionarios ministeriales checos y entrevistas en profundidad con ellos, los autores exploran lo que se entiende por "pruebas", qué tipo de pruebas utilizan y prefieren los funcionarios públicos y qué.

Contexto de evaluación

El auge del discurso de las “políticas basadas en evidencia” (PBE) es una de las tendencias más visibles en la administración y las políticas públicas de la última década. Aunque la PBE es un movimiento bien reconocido, sus definiciones varían desde una visión muy estrecha (una metodología particular para producir una forma específica de evidencia) hasta una visión más amplia y completa de lo que representa. Aunque muchos gobiernos y profesionales se han mostrado muy entusiastas, la PBE también ha sido criticada y cuestionada por una serie de razones, por ejemplo, por suponer que la evidencia de la investigación puede proporcionar respuestas objetivas y, en última instancia, resolver cuestiones inherentemente políticas.

Incluso con todas estas críticas, se han llevado a cabo muchas iniciativas y proyectos para “cerrar la brecha entre política e investigación”, especialmente en los países anglosajones. En estos países, el discurso de la PBE está profundamente arraigado en las prácticas de la administración pública. En consecuencia, en los países que han sido fuertemente influenciados por este discurso, parece difícil cuestionar la afirmación básica de que se debe utilizar evidencia en la formulación de políticas. El uso de pruebas –cualquiera que sea el significado del término– se da por sentado.

El idioma checo tiene la palabra “evidencia”, pero con un significado diferente al inglés. En checo, la evidencia se deriva del verbo "evidovat", que significa "registrar". Así, la palabra checa “Evidence” se asocia generalmente con otros tipos de actividades, como Evidence obyvatel (registro de población) o elektronická Evidence tržeb (registro electrónico de ventas). Por lo tanto, la palabra evidencia se entiende generalmente como un “registro”, es decir, información recopilada y almacenada centralmente.

Pocas personas en la administración pública e incluso en el mundo académico están familiarizadas con el concepto de PBE. Sin embargo, de vez en cuando se menciona el concepto. Dado que en checo la evidencia se asocia con “registrar” (que es bastante diferente de su significado original en inglés), PBE a menudo se ha traducido como politika založená na důkazech. Esto significa literalmente "política basada en evidencia". Esta es, por supuesto, una interpretación bastante estrecha de la evidencia, ya que “prueba” sólo incluye evidencia que es incuestionable y da respuestas definitivas. Para evitar esta confusión terminológica, algunos autores utilizan el término “poznatky” en lugar de “evidencia”, como es el caso de Veselý, Ochrana, Nekola (2018). Este concepto es el más amplio y neutral de todos los conceptos relacionados. Puede traducirse como “conocimiento”, o más precisamente como conocimiento creado a través del proceso de cognición. El concepto de poznatky tiene una ligera connotación con la investigación (conocimiento de investigación), pero no necesariamente está asociado con la investigación.

Detalles de la intervención

El estudio realizado por Veselý, Ochrana, Nekola (2018) explora la comprensión y el uso de la evidencia en los ministerios de la República Checa como instituciones centrales de la administración pública. Este país representa un caso interesante en el estudio del uso de evidencia en la formulación de políticas. La producción y el uso de información relevante para las políticas tiene una larga tradición en la República Checa, y las ciencias sociales checas siempre han tenido una fuerte orientación práctica. Además, la demanda de conocimientos científicos relacionados con las políticas ha llevado al establecimiento de diferentes tipos de instituciones de investigación que prestan servicios directamente a los ministerios. Aunque tanto su número como su impacto disminuyeron después de 1989, prevaleció el énfasis en las ciencias sociales relevantes y prácticas. Al mismo tiempo, sin embargo, la idea y el discurso de la PBE nunca entraron seriamente en el debate sobre la administración pública y la formulación de políticas. Pocas personas en la administración pública están familiarizadas con el concepto de PBE. No ha habido iniciativas o proyectos para incorporar más evidencia en la formulación de políticas y la toma de decisiones en la administración pública, y el uso de evidencia de investigación en la formulación de políticas parece ser bastante limitado. Además, el concepto básico de “prueba” difícilmente se puede traducir al idioma checo.

Así, Veselý, Ochrana, Nekola (2018) plantean algunas preguntas tradicionales sobre el uso de evidencia en política en el contexto de los ministerios en la República Checa. Específicamente, planteamos las siguientes preguntas: ¿Qué se considera prueba por parte de los funcionarios públicos? ¿Qué tipo de evidencia se utiliza? ¿Qué tipo de evidencia se considera importante? ¿Cuándo y cómo se utiliza la evidencia en el proceso de formulación de políticas? Al hacerlo, los autores se basan en cuatro corrientes de teorías que se centran en diferentes aspectos del uso de la evidencia. Discutir hasta qué punto estas teorías, la mayoría de las cuales fueron desarrolladas en un contexto con un fuerte discurso de PBE, pueden aplicarse en un contexto donde la PBE es casi desconocida.

Detalles de la metodología

Para responder a las preguntas del estudio, Veselý, Ochrana, Nekola (2018) utilizaron datos cuantitativos y cualitativos. En cuanto a los datos cuantitativos, el equipo llevó a cabo una gran encuesta entre burócratas políticos de los ministerios de la República Checa entre abril y julio de 2013. Paso a paso, 11 ministerios aceptaron participar en la encuesta. En siete ministerios, los datos se recopilaron mediante entrevistas cara a cara: los entrevistadores se reunieron con los entrevistados, les formularon una serie de preguntas estándar predefinidas y registraron sus respuestas en un formulario impreso (CAPI) o en una aplicación informática (PAPI). Para dos ministerios que prefirieron participar sin la participación de entrevistadores, la administración recopiló los datos en forma de cuestionarios en línea (CAWI). En un ministerio se implementó una combinación de CAPI y CAWI. Los encuestados fueron seleccionados aleatoriamente de cada marco de muestra ministerial. Después de varias oleadas de muestreo aleatorio, se invitó a participar a todos los individuos de cada marco de muestreo. Así, lo que iba a ser un muestreo aleatorio acabó siendo un censo. Se obtuvieron un total de 1.351 cuestionarios cumplimentados y la tasa de respuesta fue del 29,4%.

Los datos cualitativos provienen de entrevistas en profundidad realizadas por los autores que se centraron específicamente en el uso de evidencia. Estas entrevistas se llevaron a cabo entre abril de 2016 y mayo de 2017. En total, hubo 23 entrevistados de diferentes ministerios checos. Cuatro investigadores, miembros del equipo de investigación, realizaron las entrevistas siguiendo la guía de entrevista común. Los temas de la entrevista se referían a una descripción del trabajo estratégico del entrevistado, una descripción de su uso del conocimiento científico o de otro tipo, su experiencia con el uso y el estado de la evidencia en el contexto más amplio de su ministerio y la administración estatal. Las entrevistas semiestructuradas con expertos duraron alrededor de una hora y media o dos horas, fueron grabadas y se prepararon notas de campo. Los registros fueron transcritos en su totalidad y las entrevistas fueron codificadas y analizadas mediante análisis temáticos centrándose en los patrones identificados con respecto al uso del conocimiento en diversos contextos y fases del proceso político.

Resultados

El uso de evidencia en la República Checa difiere en muchos aspectos de lo que se informa en países con un fuerte discurso de PBE. Los funcionarios públicos no reportan ningún compromiso con el uso de evidencia en el sentido de “lo que funciona” (aunque no se oponen a ello). Más precisamente: no demuestran compromiso con la evidencia científica, sino con la evidencia de los “datos administrativos”. En términos generales, no están interesados ​​en la “evidencia” sino en la “evidencia” que pueda usarse para legitimar objetivos políticos y que respalde el consentimiento negociado sobre políticas.

Veselý, Ochrana, Nekola (2018) sostienen que es imposible determinar exactamente en qué medida estas diferencias son causadas por una gobernanza diferente en la República Checa y en qué medida son causadas por el bajo impacto del movimiento EBP en el país. Es probable que estos dos estén relacionados entre sí. Todos los entrevistados refieren la relativa inestabilidad política y los frecuentes cambios en el escenario general de las políticas públicas, lo que tiene dos consecuencias para su trabajo. En primer lugar, perciben la presión del tiempo, lo que significa que necesitan actuar muy rápidamente. En segundo lugar, informan de la experiencia (repetida) de políticas y estrategias que no se implementaron debido a cambios personales en el liderazgo ministerial. La presión del tiempo lleva a los servidores públicos a buscar y preparar documentos que sean fáciles de entender. Los encuestados que trabajaron en un documento de política que quedó inconcluso, abandonado o incluso eliminado del proceso de toma de decisiones del Gobierno debido al cambio de posición del ministro o su adjunto reportan menor motivación para cualquier trabajo complejo y análisis de datos. Luego se combina con una baja presión interna (en un ministerio determinado) para utilizar evidencia en el proceso de políticas y se mantiene cambiando solo lentamente la cultura general de los ministerios.

Se encontraron muchos puntos en común con los resultados de otros países. En particular, los funcionarios públicos utilizan diferentes tipos de evidencia y aplican sus propios criterios sobre lo que cuenta como evidencia y lo que es “evidencia útil”. Es decir, los funcionarios públicos utilizan fuentes de evidencia muy diversas, pero la evidencia producida por otros funcionarios (o para funcionarios) se utiliza de manera más intensiva. En general, las cuatro corrientes de teorías parecen ser útiles para generar hipótesis sobre el uso de la evidencia también en un contexto sin PBE.

Lecciones de políticas públicas

Aunque los funcionarios públicos y los académicos no difieren tan profundamente en su formación, sí difieren en su habla y vocabulario, y también en términos de los estándares mediante los cuales juzgan el mérito de la evidencia. Así, el estudio realizado por Veselý, Ochrana, Nekola (2018) sugiere un papel importante de los expertos o “intermediarios del conocimiento” que traducen el mundo de la ciencia en el mundo de la práctica. Sin embargo, se necesita una investigación más detallada para explorar exactamente quiénes son los intermediarios del conocimiento y cómo funcionan.

Además, el análisis también sugiere que el reciente movimiento hacia la adición de contexto al análisis del uso de la evidencia es muy prometedor. El uso y la comprensión de la evidencia están fuertemente influenciados por las prácticas cotidianas de los servidores públicos, así como por su entorno social inmediato. El uso de la evidencia no puede separarse de todo el proceso político en el que se inserta. Los servidores públicos quieren investigaciones que “les ayuden en su trabajo”. Y lo que debería ayudarlos está influenciado por la etapa de la política y sus expectativas. Combinado con el reciente énfasis en el tipo de conocimiento y evidencia, esto podría ser una vía muy prometedora para futuras investigaciones.

Referencias

VESELÝ, Arnošt; OCHRANA, František; NEKOLA, Martín. Cuando las pruebas no se dan por sentado: el uso y la percepción de las “pruebas” en los ministerios de la República Checa. Red de Institutos y Escuelas de Administración Pública de Europa Central y del Este. Revista NISPAcee de políticas y administración pública , vol. 11, núm. 2, pág. 219-234, 2018.