Une bonne évaluation est un mélange de perceptions qualitatives et d'analyse quantitative qui servent à appuyer les recommandations qui en ressortent. Elle doit prendre en considération la valeur utilitaire des recommandations et être effectuée de façon à ce que ces dernières soient acceptées et mises en oeuvre.
Il y a plusieurs façons d'atteindre ces objectifs. Concevoir une évaluation exige certaines décisions concernant les participants, le concept à adopter et les motifs de ladite évaluation.
Il faut ensuite raffiner les choix qu'on a faits concernant les outils et les méthodes de collecte de données (voir Collecte des données). Il faut également établir les relations qui devront exister entre les évaluateurs externes et le personnel du programme (voir Les évaluateurs).
Concept typique d'évaluation
Plusieurs évaluations ne sont vraiment que des opinions professionnelles. Une seule personne, ou une petite équipe, obtient carte blanche pour parler aux intervenants, par le truchement d'entrevues très peu structurées, avec des individus ou des groupes. Les évaluateurs ont aussi accès à la documentation du programme.
À partir de ce qui en ressort, et même en utilisant ces entrevues pour raffermir leurs opinions, les évaluateurs rédigent un rapport. Ce rapport peut être soumis tel quel ou, si le temps le permet, testé avec un groupe représentatif d'intervenants avant d'être soumis.
Le sort d'une telle évaluation dépendra entièrement de la réputation de l'évaluateur. Elle peut se faire rapidement et à peu de frais. À cause de la réputation de l'évaluateur, elle peut être effectuée à partir de termes de mandat très généraux. Les évaluateurs sont choisis parce qu'ils connaissent le domaine et les antécédents du programme et parce qu'ils sont capables de se mélanger facilement aux intervenants.
Vérification
Un autre concept offre à l'équipe d'évaluation l'accès à toute la documentation du programme et toute l'évaluation est effectuée sur papier. Aucune entrevue n'est faite sauf avec leurs clients et on considère qu'ils ont tous les renseignements nécessaires.
On peut ajouter à une telle évaluation quelques sondages basés sur les indications préliminaires ou les points d'intérêt, ce qui demande une plus importante collecte de données. Cependant, la principale source de renseignements est la documentation.
Bien qu'une telle évaluation (du matériel d'éducation de l'électorat par exemple) puisse être utile, elle ne peut prendre la place d'une évaluation du programme en marche.
Conversation structurée
L'évaluation la plus complexe et la plus participative est celle qu'on pourrait décrire comme étant une discussion ininterrompue.
Dans un tel concept, la discussion commence avec la préparation des termes du mandat. Elle peut inclure la création d'un ou de plusieurs comités permanents des intervenants pour évaluer le progrès des évaluations, discuter des données et décider des recherches à venir.
Typiquement, les évaluateurs jouent alors le rôle de facilitateurs de groupes et d'adjoints techniques. Ils peuvent aussi gérer la collecte des données, mais les intervenants peuvent également collecter ces données.
Dans de telles évaluations, le rapport final est négocié et peut se faire par une série de rencontres où les recommandations ne sont pas seulement évaluées, mais aussi mises en oeuvre par les responsables.
Évaluer de près ou de loin
Il existe plusieurs nuances entre ces trois concepts et l'équipe d'évaluation doit entreprendre chaque évaluation de la façon qui est la plus apte à obtenir des résultats fiables. Il est de la nature même de l'évaluation participative de s'insérer dans la mise en oeuvre du programme, ce qui en fait un suivi plutôt qu'une évaluation de l'impact.
Avec l'approche participative, le rôle des évaluateurs peut être contesté. Ce sont des étrangers qui ont de l'influence à l'intérieur. La confusion peut naître entre la mise en oeuvre du programme et l'évaluation, d'où l'expérience en évaluation devient cruciale.
Dans un programme continu d'éducation des adultes, ceci peut être approprié, mais dans un programme d'éducation national, ça peut devenir embarrassant et saper le concept même du programme.
Les motifs de l'évaluation
Une évaluation débute typiquement avec une série de questions auxquelles il faut trouver des réponses. On peut ajouter des questions ou en éliminer au fur et à mesure que l'évaluation avance, et selon les besoins.
Les questions doivent être choisies en consultation avec le programme client. Les différents intervenants peuvent présenter leurs questions différemment ou avoir des questions différentes, mais la liste définitive établit les paramètres de l'évaluation et ses motifs.
Le choix des questions fournit la première étape de l'utilisation des résultats de l'évaluation. La pertinence est reconnue et l'appartenance est à peu près assurée. Les évaluateurs peuvent se rendre compte que, par ignorance ou pour donner une mauvaise orientation, des intervenants n'ont pas soulevé une question essentielle, et l'ajouter à la liste 44.
C'est une approche dangereuse car ils devront fournir leurs raisons pour inclure ces questions et risquent d'être accusés d'avoir dépassé leur mandat. Il relèvera des évaluateurs d'établir l'importance des questions pour les résultats de l'évaluation.
