Un programme de formation vise à atteindre des résultats et il élabore des plans pour y parvenir. Ces plans se composent de divers éléments qui, ensemble, contribuent à assurer sa mise en œuvre.
Cette section se penche sur différentes approches au regard du suivi et de l’évaluation et certains défis que doivent relever les évaluateurs. Elle touche aux questions méthodologiques et organisationnelles ainsi qu’à l’enjeu principal auquel font face tous les experts en évaluation, soit jusqu’à point les personnes chargées de la mise œuvre du programme sauront tirer profit des recommandations de l’évaluation. La prochaine section brosse un portrait d’ensemble de l’évaluation et ses liens avec la formation dispensée.
En ayant recours à des plans de suivi et en évaluant les résultats, les évaluateurs visent à démontrer aux parties prenantes que les programmes sont responsables, respectent leurs objectifs et qu’ils tireront des leçons d’une réflexion structurée sur l’expérience vécue, et ce, aux fins de travaux éventuels.
La terminologie et le sens des mots
Bien qu’il soit commun d’utiliser les expressions suivi et évaluation, cette section intègre les deux termes pour ne parler que d’évaluation, notamment l’évaluation formative (qui est effectuée dans le but d’ajuster un programme en cours) et l’évaluation sommative (qui touche à l’ensemble du programme et qui est menée à la fin de celui-ci). Ceci étant, les deux types d’évaluation ne sont pas totalement indépendant l’un de l’autre.
Le sens du mot évaluation est difficile à saisir. Ceux qui demandent une évaluation pourraient vouloir chercher à déterminer la valeur d’un programme en mesurant son impact. De même, ils pourraient déjà avoir une opinion sur le programme et ne chercher qu’à obtenir un avis externe destiné à valider celle-ci. Enfin, ils pourraient être à la recherche d’appuis pour une autre façon de faire, par exemple afin de partager la responsabilité du programme ou pour obtenir une autre opinion avant de passer à l’action.
Que peut-on évaluer?
Tous les éléments d’un programme méritent d’être évalués et il n’y a aucune restriction sur l’objet d’une évaluation, sinon que sa faisabilité. On peut faire une évaluation de l’analyse contextuelle, de la pertinence des objectifs et de la rentabilité du programme, de l’atteinte des objectifs et du processus pour y parvenir, de la compétence du personnel, des liens entre les documents de formation et les objectifs, etc. À terme, les gens s’attendent à ce que l’évaluation les renseigne sur l’incidence du programme sur les participants ou les publics ciblés.
Or, qu’elle soit planifiée ou non, cette évaluation aura bel et bien lieu. Par exemple, les gens se forgent une opinion concernant certains aspects du programme ou sa réussite, laquelle opinion peut être bien fondée ou être le fruit d’un préjugé, d’une expérience particulière et limitée ou d’une perception étroite du programme. Les bonnes évaluations sont conçues pour que l’on obtienne le portrait le plus juste possible d’un programme. Ainsi, dans le cas des programmes complexes – de par le nombre de composantes, les coûts, la durée et l’incidence à long terme – les formateurs devraient donc voir à effectuer une évaluation professionnelle plutôt qu’intuitive.
L’évaluation de la formation et du programme
L’évaluation de la formation consiste souvent à évaluer les participants et leurs réalisations ou leurs progrès au terme du programme. En fonction du type d’activité, ceci peut se faire de différentes manières. En premier lieu, on pourrait vérifiant les compétences ou les connaissances acquises au moyen d’examens écrits ou oraux. En second lieu, on pourrait chercher à obtenir ces renseignements en rassemblant des données de référence et en menant des enquêtes de suivi pendant la durée du programme afin de cerner les changements sur la plan de la sensibilisation, des attitudes et des façons d’agir. À ces données qualitatives pourraient s’en ajouter d’autres, par exemple les commentaires recueillis auprès de participants d’un groupe de discussion. Certaines statistiques électorales ou des données issues de sondage pourraient également être des sources d’information utile; mais dans ces cas, les formateurs devront garder à l’esprit qu’il ne sera peut-être pas possible d’isoler leur action et de l’établir comme la raison unique d’un résultat particulier.
L’évaluation d’un programme de formation va au-delà de l’évaluation des acquis d’une personne, un aspect au fait qu’il ne faut jamais négliger. Dans le cas des programmes de formation informels, les examens ne seront pas nécessairement le meilleur outil d’évaluation; en ce qui concerne la formation des formateurs, les tests de compétences seront essentiels.
Les indicateurs
Les évaluateurs définissent toute une série d’indicateurs leur permettant de savoir si la formation a produit les résultats escomptés.
Des indicateurs similaires sont définis pour d’autres composantes du programme et dans un cas comme dans l’autre, le fait de les atteindre est considéré (à moins d’avoir l’évidence du contraire) comme une indication que le programme a été une réussite. Les indicateurs peuvent comprendre une hausse importante du nombre d’électeurs inscrits, du nombre d’électeurs qui voteront pour la première fois ou des électeurs utilisant un service de vote spécial; chacun d’eux pourrait démontrer que le programme de formation a eu une incidence sur le niveau d’information et sur les comportements. De même, une réduction du nombre de bulletins de vote non valides pourrait être utilisée comme un indicateur d’une compréhension du processus de vote parmi les électeurs.
La détermination de ces indicateurs n’est pas une tâche facile et elle doit être entreprise au moment de fixer les objectifs du programme. À défaut, on pourrait se retrouver avec un programme conçu sans que ses objectifs puissent être évalués ou encore des indicateurs non pertinents et déterminés après coup.
La controverse entourant l’évaluation
L’évaluation est considérée comme l’élément le plus important pour valider un programme auprès des gens de l’extérieur. Elle comprend des activités qui sont difficiles à réaliser d’un point de vue technique (voir Mesurer l’impact et L’importance de la planification préalable) et elles suscitent diverses craintes et attentes parmi les parties prenantes. En conséquence, elle peut devenir une activité pouvant créer des tensions et être sujette à la politisation, surtout si le programme bénéficie d’un soutien très marqué des parties prenantes. Ceci est d’autant plus vrai si le programme est très onéreux ou s’il revêt une grande importance sur le plan social (par exemple une première élection ou la mise à l’essai d’une nouvelle technologique).
Les formateurs devraient assumer le contrôle du processus d’évaluation, de sa planification, de sa mise en œuvre et de ses coûts. Le meilleur moyen pour ce faire est de s’assurer que l’évaluation fasse partie intégrante du programme dès le début et qu’elle ne soit pas une activité que l’on imposera ultérieurement au programme. Quand elle fait partie du fonctionnement normal, l’évaluation devient un outil utile. Quand on n’y pense qu’après coup, ou lorsqu’elle constitue un outil de gestion de crise, l’évaluation peut s’avérer un fardeau et une activité difficile à réaliser et sujette à controverse.
