L'évaluation de l'impact ne concerne pas uniquement le résultat final. Une évaluation effectuée à la fin du programme pourrait être axée sur plusieurs éléments comme la rentabilité, le matériel didactique et les stratégies efficaces de mise en oeuvre.
En général, cependant, on veut savoir si le programme a changé quelque chose pour l'organisme, l'étudiant, l'auditoire visé ou les bénéficiaires du programme. Même l'analyse coûts-bénéfices présuppose une certaine compréhension de l'équilibre entre l'impact du programme et ses coûts.
Cependant, mesurer l'impact social n'est pas chose facile car :
- l'auditoire visé change;
- les indicateurs sont difficiles à saisir;
- le contrôle des intrants et du processus est difficile;
- l'interruption éventuelle du programme est possible.
L'auditoire visé change
Pour commencer, on ne peut parler de l'impact sans présumer certaines données concernant l'auditoire visé. On présume que ce dernier est connu, que le programme le vise en particulier et qu'il n'est pas l'objet d'autres programmes ou processus d'apprentissage.
Cependant, les personnes se déplacent et changent constamment à cause d'activités sociales et d'occasions de vie. Il est peu probable que, pour un programme d'éducation comme l'éducation de l'électorat, on connaisse tout sur les groupes pour lesquels le programme a été conçu. De plus, étant donné que les programmes sont livrés à différents moments et dans des endroits différents, ils atteindront probablement des groupes qui n'avaient pas été prévus alors que les groupes visés auront changé à mesure que le programme se fait connaître durant sa mise en oeuvre.
Malgré ces difficultés, plus on connaît l'auditoire visé, y compris la création d'un programme d'études de base (voir Études de base) et plus l'auditoire n'est soumis qu'à un seul programme, plus l'évaluation pourra étudier avec justesse les programmes auxquels cet auditoire a été exposé. L'évaluation de l'impact sera d'autant plus fiable qu'elle est ouverte aux changements.
Les indicateurs de l'impact
Il y a une relation étroite entre les objectifs du programme (décrits parfois comme des énoncés de résultats) et les indicateurs de ce programme. Si un programme doit être évalué de façon globale, il faut établir des indicateurs en même temps que les objectifs.
Lors de la planification, il faut se demander comment on peut savoir si nos objectifs ont été atteints et comment on prévoit évaluer le degré de succès dans l'atteinte de ces objectifs.
Il peut y avoir plusieurs indicateurs pour chaque objectif ou un seul indicateur qui nous renseigne sur tous les objectifs. Cet indicateur universel est souvent recherché, mais rarement trouvé.
Les bulletins rejetés et la participation comme indicateurs
Des éducateurs électoraux ont tenté d'utiliser le nombre de bulletins annulés comme indicateur unique. Si l'objectif d'un programme d'éducation de l'électorat est de s'assurer que tous les électeurs peuvent voter, il semble alors logique qu'un petit nombre de bulletins annulés indique que le programme d'éducation est un succès.
Néanmoins, le pourcentage de bulletins annulés peut être affecté par d'autres facteurs :
- le bulletin est particulièrement bien conçu;
- les électeurs ont droit d'être aidés au moment du vote;
- la définition d'un bulletin valide est très large et les préposés au dépouillement sont généreux dans leurs décisions concernant la validité des bulletins;
- le vote truqué qui consiste à déposer dans les urnes des bulletins déjà marqués à la place de personnes peu instruites ou mal préparées.
Il se peut également que le programme d'éducation de l'électorat ait eu comme objectif d'encourager les gens à voter. Un bon indicateur serait alors le pourcentage de participation.
Comme dans le cas des bulletins annulés, il peut y avoir plusieurs autres explications :
- le vote a eu lieu par une belle journée ensoleillée;
- les candidats ont réussi à susciter l'intérêt de l'électorat pour les questions ou pour le résultat;
- l'élection peut revêtir une importance sociale considérable.
Les évaluateurs devraient étudier les indicateurs attentivement pour s'assurer qu'ils ne sont pertinents que pour l'évaluation de l'impact du programme. Autrement, ils devront peut-être, au prix de beaucoup de temps et d'argent, trouver si des explications secondaires sont valides, et par un processus d'élimination, tenter de démontrer l'impact du programme lui-même.
Les indicateurs qui ne sont axés que sur les individus ne reflètent pas l'impact du programme de la société. Mesurer l'impact du programme sur la société exige des hypothèses concernant les causes et effets qui ne peuvent être décrits et encore moins mesurés.
Les intrants et le processus
Il est difficile de bien choisir des indicateurs. Le contrôle des intrants et du processus qui pourrait créer un impact l'est encore plus. Certains sont invisibles ou n'avaient pas été prévus. Le plan peut préciser certains intrants et décrire comment le programme sera mis en oeuvre (le processus). Toutefois, la réussite peut être due à des variations inattendues. Les évaluateurs qui participent aux programmes dès le départ ou dont les méthodes encouragent l'observation et la collecte de données par les autres participants pourront peut-être les noter. Un investigateur astucieux pourra découvrir des anomalies qui ne peuvent être expliquées par les données connues.
Cependant, plus le programme a d'envergure, plus il sera difficile de faire le suivi de tous les intrants et de tous les processus, et de savoir ce qui a effectivement produit l'impact identifié, sauf en termes très généraux.
Certains événements de formation peuvent avoir beaucoup de succès à former des formateurs très efficaces pour différentes raisons :
- le choix du programme de formation;
- la personnalité et les talents de l'entraîneur;
- les participants sont déjà des formateurs;
- les participants sont issus d'organismes qui leur ont accordé un appui constant et l'évaluation de leurs progrès.
Interruptions possibles
Il y a plusieurs raisons qui font qu'un programme n'atteint pas ses objectifs même si tout est fait selon les procédures établies. Il n'est pas toujours possible de comprendre ces raisons ou même de les identifier.
On ne peut blâmer le programme d'éducation si une élection est volée. L'apathie des électeurs, malgré un programme de formation de l'électorat, peut découler d'un mauvais système politique plutôt que d'un programme mal conçu ou mal livré.
En résumé
L'identification de l'impact d'un programme exige la connaissance de l'auditoire visé, des indicateurs choisis attentivement, la capacité de rendre visibles et de bien étudier des raisons moins évidentes du succès ou de l'échec du programme, et une connaissance approfondie non seulement du plan, mais aussi du processus de mise en oeuvre.
On éprouve toutes ces difficultés même pour un très petit programme et il va sans dire que pour un programme d'envergure nationale, il est très difficile de mesurer l'impact avec précision.
Les évaluateurs devraient donc adopter l'approche de l'évaluation de l'impact avec beaucoup de précautions et trouver d'autres façons d'évaluer la valeur du programme plutôt que de faire de grands énoncés selon lesquels on a changé le monde.
