Une bonne évaluation intègre les perceptions qualitatives et l’analyse quantitative afin que ses recommandations reposent sur des bases solides. Elle doit prendre en considération la valeur utilitaire des recommandations et faire en sorte que celles-ci puissent être acceptées et mises en œuvre.
Il y a plusieurs façons d’atteindre ces objectifs et certaines décisions devront être prises au sujet :
- des personnes devant prendre part à l’évaluation;
- de l’approche à retenir;
- de l’objet de l’évaluation.
Il faudra se pencher sur les outils et les méthodes de collecte de données (voir Les options pour la collecte des données) et préciser les choix à cet égard.
Choisir entre des experts indépendants de l’extérieur ou des gens informés à l’interne
Quel rapport y aura-t-il entre les évaluateurs externes et le personnel du programme, si rapport il doit y avoir? Ces questions sont abordées dans la section Les évaluateurs.
Les approches types en évaluation
Plusieurs évaluations constituent au mieux des opinions professionnelles. Ceci dit, une première approche pourra s’appuyer sur une personne, ou une petite équipe, qui aura carte blanche pour parler aux parties prenantes par le truchement d’entrevues individuelles ou de groupe se déroulant selon un canevas plus ou moins précis. Les évaluateurs auront aussi accès à la documentation du programme.
Les évaluateurs rédigeront ensuite un rapport qui pourrait être soumis tel quel ou, si le temps le permet, faire l’objet de nouvelles discussions avec un groupe représentatif de parties prenantes.
Le sort d’une telle évaluation, qui peut se faire rapidement et à peu de frais, reposera entièrement sur la réputation de l’évaluateur; et en raison de celle-ci, on pourra se contenter de préparer un document sur les paramètres du mandat qui soit assez général. Les évaluateurs seront choisis parce qu’ils connaissent bien le domaine et le contexte du programme et parce qu’ils sont capables d’accéder facilement aux parties prenantes.
La vérification
Une manière connexe de faire les choses sera de remettre à l’équipe d’évaluation toute la documentation du programme et cette dernière fera son travail à partir d’une analyse documentaire. Aucune entrevue ne sera faite, sauf avec le client, et l’équipe d’évaluation aura accès à tous les renseignements nécessaires.
De plus, dans le cadre d’une telle évaluation, on pourra effectuer quelques sondages sur certains sujets d’intérêt définis de façon préliminaire de manière à intégrer d’autres données. Cependant, la principale source de renseignements demeurera la documentation.
Bien qu’une telle évaluation, par exemple des documents de formation électorale, puisse être utile, elle ne pourra jamais être aussi valable que l’évaluation d’un programme au moment de sa mise en œuvre.
La conversation structurée
L’évaluation la plus complexe, et qui fait le plus appel à la participation des gens, est celle qu’on pourrait décrire comme étant une discussion ininterrompue.
Ici, la discussion s’amorcera dès la préparation des paramètres du mandat. Elle pourrait comprendre la création d’un ou de plusieurs comités permanents, composés de représentants des parties prenantes, afin d’évaluer l’état d’avancement de l’évaluation, discuter des données et des conclusions, et déterminer si d’autres travaux de recherche sont nécessaires.
En général, les évaluateurs y joueront le rôle de facilitateurs de groupes et d’adjoints techniques. De même, on pourrait leur confier la responsabilité de gérer la collecte des données, mais chacune des parties prenantes pourrait aussi faire de même.
Avec ce type d’évaluation, le rapport final fera l’objet de négociations au cours de diverses rencontres où les recommandations ne seront pas seulement évaluées, mais où les responsables décideront de leur mise en œuvre.
Les liens de proximité entre l’évaluateur et le programme
Il existe plusieurs nuances entre ces trois concepts et l’équipe d’évaluation devra réaliser son travail en optant pour l’approche qui est la plus apte à lui procurer des résultats fiables. Par exemple, de par sa nature même, l’évaluation participative se greffera à la mise en œuvre du programme, ce qui peut faire d’elle une activité de suivi davantage qu’une activité d’évaluation sommative.
Avec l’approche participative, le rôle des évaluateurs pourrait être pris à partie, particulièrement si ce sont des gens de l’extérieur qui se retrouvent à détenir une influence qui s’apparente à celle des initiés. Aussi, une confusion pourrait naître, à savoir si l’on procède véritablement à une évaluation ou si l’on vise à faire un retour sur l’expérience vécue.
Dans un programme de formation continue destiné aux adultes, ceci pourrait être approprié. Mais dans un programme national de formation, cela pourrait devenir gênant et miner le programme.
L’objet de l’évaluation
En général, une évaluation débute avec une série de questions auxquelles il faut trouver des réponses. On pourra y ajouter des questions ou en éliminer au fur et à mesure que l’évaluation progressera, selon les besoins.
Les questions devront être choisies en consultation avec le client. Puisque diverses parties prenantes pourraient vouloir formuler des questions à leur manière ou poser des questions différentes, une liste définitive devra être établie qui fixera les paramètres de l’évaluation.
Le choix des questions constitue la première étape d’un processus qui permettra en bout de ligne que les résultats de l’évaluation soient utiles. Il faut s’assurer de leur pertinence et que tous les approuvent. De plus, les évaluateurs devront prendre soin de voir à ce que des parties prenantes – que ce soit par ignorance ou à dessein afin de brouiller les pistes, n’aient pas omis de soulever une question essentielle, qu’ils devront ensuite ajouter à leur liste [1].
Or, s’ils le font, cela pourrait être dangereux car les évaluateurs devraient alors expliquer les raisons qui les ont amenés à inclure ces questions et pourraient risquer d’être accusés d’avoir outrepassé leur mandat. C’est pourquoi les évaluateurs devront déterminer l’importance de ces questions pour les résultats de l’évaluation.
Note :
[1] Parmi ces questions, on pourrait retrouver celles concernant la poursuite éventuelle du programme, le rôle du dirigeant ou de l’instance dirigeante, ou les résultats d’un projet de prédilection du personnel.
