L’évaluation sommative ne concerne pas que la mesure de l’impact car une évaluation menée à la fin du programme peut tourner autour de plusieurs éléments comme l’efficience, la pertinence des documents de formation et des stratégies efficaces de mise en œuvre.
En général, cependant, les gens désirent connaître les changements que le programme a entraînés, et l’impact qu’il a eu sur une institution, les participants, le public cible ou les bénéficiaires du programme. Même l’analyse coûts-bénéfices présuppose une certaine compréhension de l’impact du programme et dont il faudra tenir compte.
Sur le plan social, la mesure de l’impact n’est pas chose facile car :
- le public cible évolue;
- les indicateurs sont difficiles à déterminer;
- le contrôle des intrants et du processus est ardu;
- il se pourrait que la bonne marche du programme soit interrompue.
L’analogie avec une fête foraine sera utile ici. Dans un jeu visant une démonstration de force (et visant aussi à ce que les gens dépensent l’argent qu’ils ont gagné à la sueur de leur front dans l’espoir d’impressionner des amis), la personne doit faire sonner une cloche pour gagner un prix. Le jeu se compose donc d’une cible à frapper, d’un marteau, et d’une longue colonne avec une cloche tout en haut qui se fait entendre si l’impact du marteau sur la cible est assez fort pour y faire monter le petit morceau de métal.
Dans cet exercice, il y a une gamme d’indicateurs sur la colonne (utilisant en général des mots qui vont du plus désobligeant envers la personne s’élançant avec le marteau, aux mots l’encourageant à essayer de nouveau, et puis ceux qui indiquent que la personne a fait sonner la cloche et gagne un prix); il y a une cible claire (la cloche); il y a des intrants très simples (une personne et un marteau); une gamme de processus possible (les différents manières dont une personne peut s’élancer avec le marteau); et un impact mesurable (en supposant que le jeu n’est pas truqué).
Toutefois, les processus sociaux, dont la formation fait partie, ne sont pas si simples.
Le public cible évolue
En premier lieu, les débats sur l’impact présupposent certaines choses au sujet du public cible. On présume qu’on le connaît, que le contenu du programme est conçu sur mesure à son intention et qu’il n’est pas dans la mire d’autres programmes de formation.
Or, les gens bougent et évoluent constamment en raison d’activités et d’occasions que leur offre la vie. Pour un programme de formation comme l’éducation à la citoyenneté ou la formation électorale, il est peu probable que l’on puisse tout connaître sur un groupe donné. De plus, puisque les programmes sont dispensés à différents moments et à différents endroits, il se peut bien qu’ils rejoignent à la fois les groupes cibles et d’autres qui n’avaient pas été prévus au départ, tout comme il se peut que la taille ou la portée des groupes ciblés évolue parallèlement à la mise en œuvre du programme.
Malgré ces difficultés, si on connaît bien le public cible, y compris en prévoyant la création d’un programme de base (voir L’étude des conditions au début du programme), l’évaluation pourra se pencher avec grande justesse sur le ou les programmes auxquels il a été exposé, et son impact sera d’autant plus fiable si le processus est ouvert aux changements.
Les indicateurs de l’impact
Dans l’exemple de la fête foraine, sonner la cloche est à la fois un indicateur de succès et l’objectif de l’exercice. Dans le cas d’un programme de formation, cette relation étroite doit exister aussi entre les objectifs (décrits parfois comme des énoncés de résultats) et les indicateurs de rendement. Si un programme doit faire l’objet d’une évaluation sommative, il faudra établir ces indicateurs au même moment que l’on fixera les objectifs.
Les questions que poseront les planificateurs sont entre autres :
- Comment pourra-t-on savoir si nos objectifs ont été atteints?
- Comment évaluera-t-on le niveau d’atteinte de ces objectifs?
Il pourrait y avoir plusieurs indicateurs pour chaque objectif ou, au contraire, un seul indicateur pourrait servir à valider l’ensemble des objectifs. Les planificateurs essaient souvent de trouver un indicateur universel, mais c’est rêver en couleurs.
Les bulletins annulés et la participation électorale comme indicateurs
Des formateurs électoraux ont été tentés d’utiliser le nombre de bulletins annulés comme indicateur universel. En effet, si l’objectif d’un programme de formation électorale est de s’assurer que tous les électeurs soient à même de voter, un petit nombre de bulletins annulés indiquerait que le programme a été un succès.
Or, d’autres facteurs peuvent concourir au faible nombre de bulletins de vote annulés :
- le bulletin peut être particulièrement bien conçu;
- les électeurs peuvent avoir eu le droit d’obtenir de l’aide au moment du vote;
- le critère de détermination d’un bulletin valide peut être très vague et les préposés au dépouillement peuvent être peu sévères au moment de prendre une décision sur la validité d’un bulletin;
- certains personnes pourraient se prêter au remplissage de boîtes de scrutin ou autre forme de fraude consistant à déposer dans les urnes des bulletins déjà marqués à la place de personnes peu instruites ou mal préparées.
Par ailleurs, l’objectif d’un programme de formation électorale pourrait être d’inciter la population à voter. Un indicateur évident serait alors le taux de participation.
Comme dans le cas des bulletins annulés, le taux de participation pourrait découler d’autres facteurs :
- le vote a eu lieu par une belle journée ensoleillée;
- les candidats ont réussi à intéresser l’électorat aux enjeux ou au résultat;
- l’élection peut revêtir une grande importance sur le plan social;
- de réelles mesures incitatives ou des menaces de représailles peuvent avoir contribué à hausser le taux de participation;
- les statistiques relatives au taux de participation peuvent avoir été manipulées par les responsables électoraux.
Les évaluateurs devraient étudier les indicateurs attentivement pour s’assurer qu’ils sont pertinents pour l’évaluation de l’impact du programme. Autrement, au prix de bien des efforts et de beaucoup d’argent, ils devront peut-être déterminer si d’autres éléments peuvent fournir des explications valables et tenter alors de démontrer l’impact du programme.
Les indicateurs qui ne sont axés que sur les personnes ne reflètent pas l’impact du programme sur la société. Mesurer l’impact du programme sur la société exige des hypothèses sur les causes et les effets qui peuvent être très difficiles à préciser et encore moins à mesurer.
Les intrants et les processus
Le choix des indicateurs est un exercice difficile. Le contrôle des intrants et des processus qui pourraient créer un impact l’est encore davantage car certains d’entre eux ne se voient pas ou sont impossibles à prévoir. Ainsi, le programme pourrait fort bien préciser certains intrants et décrire la mise en œuvre (le processus), mais sa réussite pourrait tout autant découler d’éléments inattendus.
Les évaluateurs qui collaborent aux programmes dès les premiers moments ou qui font usage de méthodes qui favorisent l’observation des participants et la collecte de données pourraient relever ce fait. Ainsi, un chercheur astucieux pourrait découvrir des anomalies qui ne peuvent être expliquées par les données disponibles et décider de se mettre à la recherche des raisons.
Cependant, avec un programme d’envergure, il pourrait être plus difficile de faire le suivi de tous les intrants et de tous les processus, et de savoir ce qui a effectivement produit un impact, sauf de manière très générale.
D’autre part, certaines activités de formation pourraient avoir beaucoup de succès à former des formateurs très efficaces, et ce, pour diverses raisons :
- ce pourrait être le résultat d’un programme de formation bien conçu et mis en œuvre;
- cela pourrait découler de la personnalité et des compétences du formateur;
- il pourrait s’agir du fait qu’à la base, les participants avaient en eux le potentiel pour devenir de bons formateurs;
- les participants pourraient avoir été issus d’organismes qui leur accordent un soutien et qui mesurent leurs progrès de manière continue.
Les interruptions possibles
Dans le jeu consistant à faire sonner la cloche, celle-ci pourrait ne pas sonner, non pas en raison de l’impact du marteau, mais en raison des entourloupettes techniques de l’organisateur pour que la personne échoue à chaque essai.
Il y a ainsi plusieurs raisons qui font qu’un programme n’atteint pas ses objectifs, même si tout est fait selon les procédures établies. Il n’est pas toujours possible de comprendre ces raisons ni même de mettre le doigt dessus.
Par exemple, on ne peut blâmer le programme de formation en cas de fraude électorale. De même, l’apathie des électeurs, en dépit d’un programme de formation électorale, peut provenir d’un système politique qui déresponsabilise les gens plutôt que d’un programme mal conçu ou mal dispensé.
En résumé
Mesurer l’impact d’un programme exige une connaissance de base de l’auditoire visé, des indicateurs choisis avec soin et qui ne soient pas trop pompeux, une capacité de faire voir les raisons moins évidentes du succès ou de l’échec d’un programme et de les expliquer, et une connaissance approfondie non seulement du programme mais aussi du processus de mise en œuvre.
Tous ces éléments nécessaires à la mesure de l’impact peuvent présenter des difficultés, et ce, même pour un très petit programme. Il va sans dire que pour un programme d’envergure nationale, il sera très ardu de mesurer l’impact avec précision.
Les évaluateurs devraient donc aborder l’évaluation sommative avec beaucoup de précaution et trouver diverses façons de faire valoir la valeur du programme plutôt que de procéder à de grands énoncés selon lesquels on a fait évoluer le monde.
