Il y a deux questions que redoutent les évaluateurs. La première est « Qui êtes-vous? » et la seconde est « Ce n’est pas que je ne sois pas d’accord avec vous, mais avez-vous parlé aux bonnes personnes ou avez-vous posé la bonne question? »
La première renvoie à la légitimité des évaluateurs, et donc de leurs conclusions. La seconde traite de la fiabilité des conclusions et en général, elle est présentée non comme pas une remise en question des résultats de l’évaluation, mais plutôt de sa méthodologie.
Devant de tels propos, il peut être facile d’adopter une attitude défensive. Mais l’équipe d’évaluation et le formateur peuvent prendre des mesures proactives pour établir leur légitimité et la fiabilité des résultats.
Établir la légitimité
Les évaluateurs peuvent être choisis à la suite de discussions entre toutes les parties prenantes. Celles-ci commenceront par s’entendre sur les paramètres du mandat et sur un ensemble de critères pour le choix de l’évaluateur, puis choisiront la personne à partir d’une liste de candidats retenus.
Par ailleurs, les bailleurs de fonds du programme, l’instance dirigeante du programme ou même son directeur pourraient faire ce choix.
Peu importe la solution retenue, certaines personnes seront surprises de constater que le programme fait l’objet d’une évaluation, qu’elles en font partie, tout autant que de constater le choix de l’évaluateur lui-même.
Les premières rencontres
Dès le départ, il est essentiel que les évaluateurs sachent quelles sont les principales parties prenantes. Forts de leur mandat, ils pourront les rencontrer pour discuter de l’évaluation et s’enquérir de leurs attentes concernant les résultats. Ces rencontres ou entrevues pourront même faire partie de l’étape de conception de l’évaluation. À cet égard, les premières rencontres devraient se tenir avec les parties prenantes les plus réfractaires au processus.
Une fois que tous auront convenu de l’évaluation, que le manque de collaboration ne servira pas la cause et que la participation de tous permettra d’obtenir des résultats plus fiables, les évaluateurs devront entretenir des relations suivies avec les parties prenantes tout au long de l’évaluation.
Des rapports périodiques
Une communication adéquate, par l’entremise de réunions ou la présentation de rapports provisoires, permettra d’entretenir les rapports.
On pourra également y parvenir en passant en revue toute modification aux paramètres du mandat ou en examinant toute recommandation susceptible d’être une surprise ou d’avoir des retombées politiques pour les parties prenantes ou ceux qui se portent garants de l’évaluation.
Les personnes répondant de l’évaluation
Les personnes répondant de l’évaluation proviendront de parties prenantes qui présentent un profond engagement envers l’évaluation et qui bénéficient d’un pouvoir organisationnel suffisant et d’une réputation qui favorisent l’engagement continu d’autres parties. Ces personnes, auxquelles il serait avisé de soumettre des rapports périodiques, devront s’engager à accepter les résultats de l’évaluation même si cela a une incidence sur le rôle de leur organisation.
Les évaluateurs doivent s’assurer que les résultats de l’évaluation reflètent la vérité concernant le programme de façon désintéressée. Mais ils doivent également trouver des façons de faire qui permettront que la vérité soit entendue.
Assurer un résultat fiable
Les évaluateurs présenteront des recommandations à un groupe de personnes responsables de la conception du programme. Ces recommandations pourraient avoir un impact sur le personnel, les finances, la structure de fonctionnement et les aspirations personnelles des gens œuvrant au sein du programme ou faisant partie de ses instances dirigeantes. Une évaluation de haut niveau pourrait même avoir une incidence sur les résultats de l’élection ou les chances de certains membres de l’organisme électoral d’obtenir un nouveau mandat.
Pour ceux qui utiliseront les résultats, il est essentiel qu’ils puissent s’y fier. Pour ce faire, les personnes chargées de préparer les rapports d’évaluation doivent donc prendre en considération ce qui suit.
- Assurer la transparence du processus. Les gens auxquels est destiné le rapport d’évaluation doivent comprendre le processus qui a mené aux recommandations qui y sont formulées. Ceci comprend la méthodologie pour la collecte des données, l’approche analytique et le raisonnement qui a conduit les évaluateurs aux conclusions, y compris les ébauches et les vérifications préalables. Même si les communications ont été bonnes jusqu’à la présentation du rapport, et à moins que le processus ait revêtu un caractère très participatif, les évaluateurs auront procédé à une réflexion plus approfondie sur les recommandations que ceux qui les reçoivent. Les évaluations effectuées à huis clos risquent de susciter davantage l’incompréhension, à moins qu’on ne fournisse des explications à ceux qui les reçoivent sur le raisonnement des évaluateurs.
- Faire le lien entre les recommandations et le mandat. Le mandat énonce l’objectif général de l’évaluation et précise les suites qui seront données aux recommandations. Il s’ensuit que les recommandations seront acceptées dans la mesure où elles satisfont aux attentes. Si on s’éloigne du mandat, il faudra pouvoir s’en expliquer.
- Obtenir des appuis avant la présentation du rapport final. Avant de soumettre le rapport final, les évaluateurs devraient mener un certain nombre d’activités pour s’assurer de la fiabilité des recommandations. Parmi les possibilités qui s’offrent et en fonction des liens de proximité qui unissent l’équipe d’évaluation au programme, on compte :
- la vérification externe de l’ébauche du rapport par un expert en la matière;
- des rencontres de consultation avec les parties prenantes sur l’ensemble ou certains aspects de l’ébauche du rapport;
- des discussions sur la faisabilité et la validité d’une recommandation avec les personnes qui auront probablement la responsabilité de la mise en œuvre;
- la collecte de données additionnelles pour valider les recommandations de manière plus approfondie.
Ainsi, quand le rapport final sera déposé, il devrait obtenir essentiellement l’appui de tout un chacun.
- Formuler les recommandations. Il est probable qu’une évaluation débouchera sur un ensemble de recommandations; certaines seront essentielles, d’autres seront évidentes, d’autres seront sans conséquence et d’autres encore seront controversées. Les rapports seront acceptés plus facilement si les recommandations sont regroupées de sorte que les gens puissent concentrer leur attention sur les éléments litigieux ou difficiles et accepter tous les autres qui ne posent pas problème. L’acceptation des recommandations qui ne sont pas problématiques viendra valider le rapport et fera passer les discussions des questions de fiabilité et de méthodologie aux questions de faisabilité et de mise en œuvre.
