Il y a deux remarques que les évaluateurs appréhendent. La première est « Qui êtes-vous? » et la seconde est « Ce n'est pas que je ne sois pas d'accord, mais avez-vous parlé aux bonnes personnes et posé les bonnes questions? ».
La première vise la légitimité des évaluateurs, et donc de leurs conclusions. La seconde vise la fiabilité des conclusions et elle est normalement présentée comme une attaque contre la méthodologie plutôt que contre les résultats de l'évaluation.
Il est difficile de ne pas répéter l'erreur en se mettant sur la défensive, mais l'équipe d'évaluation et l'éducateur peuvent prendre des mesures pour établir la légitimité de l'évaluateur et s'assurer que les résultats sont fiables.
Établir la légitimité
Les évaluateurs peuvent être choisis à la suite d'une discussion entre tous les intervenants qui, s'étant entendus sur les termes du mandat et les critères de sélection, choisissent la personne à partir d'une liste de postulants.
Ils peuvent tout aussi bien être embauchés par ceux qui financent le programme, le corps gouvernant du programme ou même le directeur du programme.
Même dans le premier cas, certains seront surpris, pour quelque raison que ce soit, que l'évaluation ait lieu, qu'ils soient évalués et même par la personne choisie pour l'évaluation.
Rencontres préliminaires
Il est essentiel que très tôt dans le processus, les évaluateurs sachent qui sont les principaux intervenants, et avec les termes du mandat en main, les rencontrent pour discuter de l'évaluation et s'enquérir de leurs attentes concernant les résultats. Ces rencontres ou entrevues peuvent être insérées dans le concept même de l'évaluation. Dans de tels cas, les intervenants qui pourraient résister à l'évaluation devraient être les premiers rencontrés.
Une fois que tous ont convenu que l'évaluation aura lieu, que le manque de coopération lui sera préjudiciable et que la participation de tous assurera une meilleure fiabilité aux résultats, les évaluateurs devraient demeurer en contact avec les intervenants tout au long de l'évaluation.
Rapports périodiques
Des rapports préliminaires et des rencontres périodiques permettront de maintenir la communication. On peut également discuter, avec les intervenants ou ceux qui se portent garants de l'évaluation, de changements aux termes du mandat ou de recommandations qui pourraient en surprendre.
Garanties de l'évaluation
Il s'agit d'un groupe d'intervenants qui sont sérieusement engagés envers l'évaluation et qui ont suffisamment de réputation et de pouvoir pour assurer l'engagement des autres. Il faut soumettre des rapports périodiques à ce genre de personnes et obtenir d'elles qu'elles s'engagent à accepter les résultats de l'évaluation même si leur rôle est touché.
Les évaluateurs doivent s'assurer que les résultats de l'évaluation reflètent la vérité concernant le programme de façon désintéressée, mais ils doivent également s'assurer que la vérité est entendue.
Assurer des résultats fiables
Les évaluateurs présentent des recommandations à un ensemble d'individus qui sont responsables du développement du programme. Les recommandations peuvent avoir un impact sur le personnel, les finances, la structure organisationnelle et les aspirations des individus qui oeuvrent au sein du programme ou de sa direction. Elles peuvent même avoir un impact sur les résultats de l'élection ou les chances de certains membres de l'organisme électoral d'être nommés à nouveau.
Il est essentiel que ceux qui utilisent les résultats puissent y croire et leur accorder leur confiance. Pour ceci, les rapports d'évaluation doivent prendre ce qui suit en considération.
Assurer un processus transparent. Ceux qui reçoivent les recommandations doivent pouvoir comprendre le processus qui les a produites. Ceci inclut la méthodologie de collecte des données, la méthodologie analytique et le raisonnement qui a conduit les évaluateurs aux conclusions, y compris les ébauches et tests préliminaires.
Même si les communications ont été bonnes jusqu'à la présentation du rapport, les évaluateurs auront accordé plus de réflexion aux recommandations que n'aient pu le faire ceux qui les reçoivent à moins que l'évaluation ait revêtu un caractère très participatif. Les évaluations effectuées à huis clos seront moins bien comprises à moins que ceux qui les reçoivent soient exposés au raisonnement des évaluateurs.
Mesurer les recommandations au terme du mandat qui contiennent les raisons de l'évaluation. On y stipule la suite qui sera donnée aux recommandations. Il s'ensuit que les recommandations seront acceptées dans la mesure où elles satisfont ces attentes. Les différences devront être expliquées.
S'assurer un appui avant le dépôt du rapport final. Avant de livrer le rapport final, les évaluateurs devraient prendre certaines mesures pour s'assurer que les recommandations sont fiables. Parmi les possibilités qui dépendent du degré d'indépendance des évaluateurs envers le programme, on retrouve :
- la vérification externe du rapport préliminaire par un expert en la matière;
- des rencontres consultatives avec les intervenants pour discuter de l'ensemble ou de certains aspects du rapport préliminaire;
- des discussions, avec les responsables sur la mise en oeuvre, la faisabilité et la validité des recommandations;
- la collecte de données additionnelles pour valider les recommandations plus à fond.
Quand le rapport final est prêt, l'appui devrait être presque universel.
Présentation des recommandations par tranches. Il est probable qu'une évaluation débouchera sur des recommandations dont certaines seront essentielles, évidentes, inoffensives ou controversées.
Les rapports seront mieux acceptés si les recommandations sont présentées en tranches de sorte que les gens puissent concentrer leur attention sur les points contentieux et difficiles et accepter les autres. L'acceptation des recommandations simples assure la validation du rapport et permet de déplacer l'axe des discussions des questions de fiabilité et de méthodologie aux questions de faisabilité et de mise en oeuvre.
