Quel est le rôle des données probantes dans l’élaboration des politiques ?

Chercheuse responsable : Viviane Pires Ribeiro

Titre de l'article : Quand les preuves ne sont pas prises pour acquises : l'utilisation et la perception des « preuves » dans les ministères de la République tchèque

Auteurs : Arnošt Veselý, František Ochrana, Martin Nekola

Lieu d'intervention : République tchèque

Taille de l'échantillon : 1 351 questionnaires

Thème majeur : Politique économique et gouvernance

Variable d'intérêt principal : données probantes

Type d'intervention : Analyse du rôle des données probantes dans la formulation des politiques

Méthodologie : Enquête Large-N et entretiens approfondis

Le rôle des données probantes dans l’élaboration des politiques est l’un des sujets les plus étudiés en matière de politique publique et d’administration publique. Pourtant, étonnamment, peu de recherches ont été menées sur la manière dont les agents publics utilisent réellement les preuves dans leur vie quotidienne. Veselý, Ochrana et Nekola (2018) comblent cette lacune. À l'aide d'une enquête à grand N menée auprès de fonctionnaires ministériels tchèques et d'entretiens approfondis avec eux, les auteurs explorent ce que l'on entend par le terme « preuve », quel type de preuve est utilisé et préféré par les fonctionnaires et quoi.

Contexte d'évaluation

La montée du discours sur les « politiques fondées sur des données probantes » (EBP) est l’une des tendances les plus visibles de l’administration publique et des politiques publiques de la dernière décennie. Bien que l’EBP soit un mouvement bien reconnu, ses définitions varient d’une vision très étroite (une méthodologie particulière pour produire une forme spécifique de preuve) à une vision plus large et plus complète de ce qu’elle représente. Bien que de nombreux gouvernements et professionnels se soient montrés très enthousiastes, l’EBP a également été critiquée et contestée pour un certain nombre de raisons, par exemple parce qu’elle suppose que les résultats de la recherche peuvent fournir des réponses objectives – et, en fin de compte, résoudre des questions intrinsèquement politiques.

Malgré toutes ces critiques, de nombreuses initiatives et projets visant à « combler le fossé entre politique et recherche » ont été menés, notamment dans les pays anglo-saxons. Dans ces pays, le discours de l’EBP est profondément ancré dans les pratiques de l’administration publique. Par conséquent, dans les pays qui ont été fortement influencés par ce discours, il semble difficile de remettre en question l’affirmation fondamentale selon laquelle les données probantes devraient être utilisées dans l’élaboration des politiques. L’utilisation de preuves – quelle que soit la signification de ce terme – est considérée comme allant de soi.

La langue tchèque a le mot « preuve », mais avec un sens différent de celui de l’anglais. En tchèque, la preuve vient du verbe « evidovat », qui signifie « enregistrer ». Ainsi, le mot tchèque « Evidence » est généralement associé à d’autres types d’activités, comme Evidence obyvatel (registre de la population) ou elektronická Evidence tržeb (registre électronique des ventes). Ainsi, le mot preuve est généralement compris comme un « enregistrement », c’est-à-dire des informations collectées et stockées de manière centralisée.

Peu de personnes dans l’administration publique et même dans le monde universitaire connaissent le concept d’EBP. Parfois, cependant, le concept est évoqué. Étant donné que la preuve en langue tchèque est associée à « to record » (ce qui est assez différent de son sens original en anglais), PBE a souvent été traduit par politika založená na důkazech. Cela signifie littéralement « politique fondée sur des données probantes ». Il s’agit bien entendu d’une interprétation plutôt étroite de la preuve, dans la mesure où la « preuve » inclut uniquement les preuves incontestables et donnant des réponses définitives. Pour éviter cette confusion terminologique, certains auteurs utilisent le terme « poznatky » au lieu de « preuve », comme c'est le cas de Veselý, Ochrana, Nekola (2018). Ce concept est le plus large et le plus neutre de tous les concepts apparentés. Cela peut être traduit par « connaissance », ou plus précisément par connaissance créée à travers le processus de cognition. Le concept de poznatky a une légère connotation avec la recherche (connaissances de recherche), mais n'est pas nécessairement associé à la recherche.

Détails de l'intervention

L'étude réalisée par Veselý, Ochrana, Nekola (2018) explore la compréhension et l'utilisation des preuves dans les ministères de la République tchèque en tant qu'institutions centrales de l'administration publique. Ce pays représente un cas intéressant dans l’étude de l’utilisation des données probantes dans la formulation des politiques. La production et l’utilisation d’informations pertinentes pour les politiques ont une longue tradition en République tchèque, et les sciences sociales tchèques ont toujours eu une forte orientation pratique. En outre, la demande de connaissances scientifiques liées aux politiques a conduit à la création de différents types d’institutions de recherche qui servent directement les ministères. Même si leur nombre et leur impact ont diminué après 1989, l'accent a été mis sur les sciences sociales pertinentes et pratiques. Cependant, dans le même temps, l’idée et le discours de l’EBP n’ont jamais été sérieusement intégrés dans le débat sur l’administration publique et l’élaboration des politiques. Peu de personnes dans l’administration publique connaissent le concept d’EBP. Il n’y a eu aucune initiative ou projet visant à intégrer davantage de données probantes dans l’élaboration des politiques et dans la prise de décision de l’administration publique, et l’utilisation des données probantes de la recherche dans l’élaboration des politiques semble être assez limitée. De plus, le concept fondamental de « preuve » est difficilement traduisible en langue tchèque.

Ainsi, Veselý, Ochrana, Nekola (2018) posent quelques questions traditionnelles sur l'utilisation des preuves en politique dans le contexte des ministères en République tchèque. Plus précisément, nous avons posé les questions suivantes : Qu’est-ce qui est considéré comme une preuve par les agents publics ? Quel type de preuve est utilisé ? Quel type de preuve est considéré comme important ? Quand et comment les données probantes sont-elles utilisées dans le processus d’élaboration des politiques ? Ce faisant, les auteurs s’appuient sur quatre courants théoriques qui se concentrent sur différents aspects de l’utilisation des preuves. Discuter dans quelle mesure ces théories, dont la plupart ont été développées dans un contexte avec un fort discours sur l'EBP, peuvent être appliquées dans un contexte où l'EBP est presque inconnu.

Détails de la méthodologie

Pour répondre aux questions de l'étude, Veselý, Ochrana, Nekola (2018) ont utilisé des données quantitatives et qualitatives. En ce qui concerne les données quantitatives, l'équipe a mené une enquête à grand N auprès des bureaucrates politiques des ministères de la République tchèque entre avril et juillet 2013. Étape par étape, 11 ministères ont accepté de participer à l'enquête. Dans sept ministères, les données ont été collectées au moyen d'entretiens en face-à-face : les enquêteurs rencontraient les personnes interrogées, leur posaient une série de questions standards prédéfinies et enregistraient leurs réponses sur un formulaire papier (CAPI) ou dans une application informatique (PAPI). Pour deux ministères qui ont préféré participer sans l'intervention d'enquêteurs, les données ont été collectées par l'administration sous forme de questionnaires en ligne (CAWI). Dans un ministère, une combinaison de CAPI et CAWI a été mise en œuvre. Les répondants ont été sélectionnés au hasard dans chaque base de sondage ministérielle. Après plusieurs vagues d'échantillonnage aléatoire, tous les individus de chaque base d'échantillonnage ont été invités à participer. Ainsi, ce qui était censé être un échantillonnage aléatoire a fini par être un recensement. Au total, 1 351 questionnaires remplis ont été obtenus et le taux de réponse était de 29,4 %.

Les données qualitatives proviennent d'entretiens approfondis menés par les auteurs qui se sont spécifiquement concentrés sur l'utilisation des preuves. Ces entretiens ont été réalisés d'avril 2016 à mai 2017. Au total, 23 personnes provenant de différents ministères tchèques ont été interrogées. Quatre chercheurs, membres de l'équipe de recherche, ont mené les entretiens en suivant le guide d'entretien commun. Les sujets d'entretien concernaient une description du travail stratégique de la personne interrogée, une description de son utilisation des connaissances scientifiques ou autres, son expérience de l'utilisation et du statut des preuves dans le contexte plus large de son ministère et de l'administration de l'État. Les entretiens semi-directifs avec les experts ont duré environ une heure et demie à deux heures, ont été enregistrés et des notes de terrain ont été préparées. Les enregistrements ont été transcrits dans leur intégralité et les entretiens ont été codés et analysés à l'aide d'une analyse thématique axée sur les modèles identifiés concernant l'utilisation des connaissances dans divers contextes et phases du processus politique.

Résultats

L’utilisation des données probantes en République tchèque diffère à bien des égards de ce qui est rapporté dans les pays où le discours sur l’EBP est fort. Les responsables publics ne signalent aucun engagement à utiliser les preuves dans le sens de « ce qui fonctionne » (bien qu’ils n’y soient pas opposés). Plus précisément : ils ne démontrent pas un attachement aux preuves scientifiques, mais aux preuves des « données administratives ». D’une manière générale, ils ne s’intéressent pas aux « preuves » mais aux « preuves » qui peuvent être utilisées pour légitimer des objectifs politiques et qui soutiennent un consensus négocié sur une politique.

Veselý, Ochrana et Nekola (2018) soutiennent qu'il est impossible de déterminer exactement dans quelle mesure ces différences sont causées par une gouvernance différente en République tchèque et dans quelle mesure elles sont causées par le faible impact du mouvement EBP dans le pays. Il est probable que ces deux éléments soient liés l’un à l’autre. Toutes les personnes interrogées évoquent la relative instabilité politique et les changements fréquents dans le scénario général des politiques publiques, ce qui a deux conséquences pour leur travail. Premièrement, ils perçoivent une pression temporelle, ce qui signifie qu’ils doivent agir très rapidement. Deuxièmement, ils rapportent l’expérience (répétée) de politiques et de stratégies qui n’ont pas été mises en œuvre en raison de changements personnels dans la direction du ministère. La pression du temps amène les fonctionnaires à rechercher et à préparer des documents faciles à comprendre. Les personnes interrogées qui ont travaillé sur un document politique qui a été laissé inachevé, abandonné ou même retiré du processus décisionnel du gouvernement en raison du changement de poste du ministre ou de son adjoint rapportent une motivation moindre pour tout travail complexe et analyse de données. Cette situation est ensuite combinée à une faible pression interne (dans un ministère donné) pour utiliser les données probantes dans le processus politique, ce qui ne modifie que lentement la culture globale des ministères.

De nombreux points communs ont été trouvés avec les résultats d’autres pays. Plus particulièrement, les agents publics utilisent différents types de preuves et appliquent leurs propres critères quant à ce qui compte comme preuve et ce qui constitue une « preuve utile ». Autrement dit, les agents publics utilisent des sources de preuves très diverses, mais les preuves produites par d’autres agents (ou pour des agents) sont utilisées de manière plus intensive. En général, les quatre courants de théories semblent être utiles pour générer des hypothèses sur l’utilisation des preuves également dans le contexte sans EBP.

Leçons de politique publique

Même si les fonctionnaires et les universitaires ne diffèrent pas si profondément dans leur formation, ils diffèrent dans leur discours et leur vocabulaire, ainsi que dans les normes selon lesquelles ils jugent le mérite des preuves. Ainsi, l’étude réalisée par Veselý, Ochrana, Nekola (2018) suggère un rôle important des experts ou « intermédiaires de connaissances » qui traduisent le monde de la science dans le monde de la pratique. Toutefois, des recherches plus détaillées sont nécessaires pour déterminer exactement qui sont les courtiers de connaissances et comment ils fonctionnent.

En outre, l’analyse suggère également que la récente tendance à ajouter du contexte à l’analyse de l’utilisation des preuves est très prometteuse. L’utilisation et la compréhension des données probantes sont fortement influencées par les pratiques quotidiennes des fonctionnaires, ainsi que par leur environnement social immédiat. L’utilisation des preuves ne peut être séparée de l’ensemble du processus politique dans lequel elles s’insèrent. Les fonctionnaires veulent des recherches qui « les aident dans leur travail ». Et ce qui devrait les aider est influencé par le stade de la politique et par leurs attentes. Combiné avec l’accent récemment mis sur le type de connaissances et de preuves, cela pourrait constituer une voie très prometteuse pour de futures recherches.

Références

VESELÝ, Arnošt; OCHRANA, František; NEKOLA, Martin. Quand les preuves ne sont pas considérées comme acquises : l’utilisation et la perception des « preuves » dans les ministères de la République tchèque. Réseau d'instituts et d'écoles d'administration publique en Europe centrale et orientale. Le Journal NISPacee d'administration et de politique publiques , vol. 11, non. 2, p. 219-234, 2018.