Lorsque les évaluateurs parlent d’évaluation formative, il réfère à quelque chose qui ressemble au suivi. Cette activité, qui se déroule parallèlement à la mise en œuvre du programme, permet de le raffiner et de l’améliorer à cette étape même du projet.
Les agences de publicité parlent souvent du travail de suivi, par exemple s’assurer que le programme se déroule normalement et assurer un suivi.
Les outils qu’exige ce type d’évaluation sont essentiellement les mêmes que ceux auxquels on a recours à la fin d’un projet ou lors de l’évaluation sommative (voir Mesurer l’impact). Ils comprennent également des outils usuels en gestion et d’autres que l’on utilise lors des activités de formation.
Les difficultés auxquelles fait face l’évaluation normative ne sont pas celles relatives à la collecte de données. Elles sont liées plutôt à la création de mécanismes permettant de transformer les résultats de l’évaluation en éléments de changement et d’innovation dans le but d’améliorer le programme. Cette section traite des conflits qui peuvent surgir, de l’importance de la planification du programme (voir Obtenir et maintenir l’engagement des gens au programme), ainsi que de certains outils d’évaluation.
L’évaluation doit suivre le rythme des activités
Les programmes de formation se déroulent suivant un calendrier de réalisation très serré. Les activités sont planifiées à l’avance et il n’est pas facile de changer les décisions prises au sujet de la production des documents, de la préparation des formateurs et de la diffusion de l’information. Les rencontres en personne requièrent particulièrement une grande préparation.
Les évaluateurs doivent travailler de près avec les gestionnaires du programme et être capables d’analyser rapidement les données reçues pour en assurer la pertinence. De plus, ils doivent avoir une bonne connaissance des buts et des objectifs du programme de manière à ne pas formuler de recommandations qui pourraient l’en éloigner. Tous les changements proposés doivent contribuer à l’atteinte des objectifs énoncés, à une exception près.
Les programmes de longue durée peuvent exiger des évaluations à mi-parcours qui sont plus approfondies et qui peuvent comprendre d’évaluer la stratégie et les objectifs. Tout changement proposé et découlant des commentaires reçus devra être examiné avec attention, en particulier s’il existe des obligations contractuelles fondées sur la conception et les objectifs de départ du programme. Car bien qu’il soit assez facile d’apporter des changements à la mise en œuvre du programme, il est beaucoup plus délicat de modifier les objectifs visés.
Cependant, il arrive parfois que cela soit nécessaire, par exemple lorsque l’information reçue démontre des problèmes importants au niveau de la conception du programme. L’évaluation formative se préoccupe habituellement de ce type de raffinement.
Les conflits entre les évaluateurs et les gestionnaires du programme
Même s’il y a une distinction nette entre les équipes d’évaluation et de gestion et que les rôles des uns et des autres sont clairement définis, il peut surgir des conflits entre ceux qui obtiennent et analysent les données d’évaluation et ceux qui sont responsables de la mise en œuvre du programme.
C’est pourquoi il sera d’utile de tenir des rencontres périodiques et de se doter d’une entente formelle sur la résolution des conflits. Une telle situation pourrait se produire, par exemple si les évaluateurs sont obligés d’inclure dans le rapport sommatif les recommandations qui n’ont pas été suivies. Ceci étant, si l’acceptation des recommandations ne produisait pas de résultats concluants, cela pourrait aussi être une source de conflit. Du coup, les évaluateurs pourraient devoir évaluer des changements qu’ils ont proposés mais qui ne fonctionnent pas.
Le rôle des évaluateurs peut donc devenir très problématique. Une façon de faire moins risquée serait qu’ils agissent à titre d’assistants techniques en fournissant des données brutes aux gestionnaires et en procédant à une analyse conjointe de telles données.
Le travail initial sur le programme
Le travail initial que l’on fait en vue d’élaborer un programme de formation est le principal outil de l’évaluation formative ou permettant d’effectuer un suivi. Aussi importe-t-il de surveiller régulièrement la mise en œuvre et déterminer si des changements dans le contexte ou au sein des groupes cibles requièrent d’adapter le programme.
Un programme bien documenté permettra aussi que les changements puissent être intégrés à l’évaluation ultérieure qui sera réalisé sur l’ensemble dudit programme.
Les outils de suivi
En plus des outils de collecte de données mentionnés précédemment, la réaction des clients au terme de l’activité (que l’on peut recueillir à l’aide d’un formulaire conçu à cet effet) est probablement l’outil le plus important.
Les entreprises ont perfectionné ce type de formulaire, qui peut servir de modèle au chapitre de la mise en page et de la concision. Ainsi, lorsque l’on se trouve en présence d’un auditoire éduqué, il pourrait être possible d’obtenir des commentaires écrits sur une activité ou un service précis, de les analyser et d’utiliser le résultat de l’analyse pour améliorer le programme. Si l’auditoire est peu ou pas instruit, la tenue de petits groupes de discussion et la consignation des commentaires pourront donner les mêmes résultats.
Parmi les autres outils, on retrouve des numéros de téléphone pour porter plainte, des évaluations des formateurs par leurs pairs, de courts sondages et des rencontres occasionnelles avec les parties prenantes qui peuvent prendre la forme de groupes de discussion.
Le rôle du personnel
Ceci dit, la meilleure source de renseignements demeure un personnel averti qui fait part de son expérience. La sensibilisation à l’évaluation et au suivi devrait faire partie de toute action de formation et les rencontres du programme devraient être l’occasion pour le personnel de communiquer ce qu’il a vu et appris sur le terrain.
Le but de l’évaluation formative n’est pas dire : « Je vous l’avais bien dit », mais de s’assurer que le programme soit pertinent et efficace. Tout devrait graviter autour de cet objectif et les formateurs devront donc créer un contexte favorable à la formation, tant à l’interne qu’à l’externe.
