Les évaluateurs parlent d'évaluation formative, ce qui est semblable au suivi. C'est une activité parallèle à la mise en oeuvre du programme et qui permet de le raffiner durant sa mise en oeuvre.
Les outils utilisés pour une telle évaluation sont les mêmes que pour les évaluations d'impact du résultat final (voir Évaluation de l'impact (résultat final)). Ils utilisent également des outils de gestion plus ordinaires et ceux qui servent pour des événements pédagogiques.
Pour ce genre d'évaluation, la collecte de données n'est pas un problème. Le problème est de créer les mécanismes qui permettront de convertir des découvertes en changements pour améliorer le programme. Nous traiterons ici des conflits qui pourraient surgir, de l'importance de la planification du programme (voir Obtenir et maintenir l'adhésion au plan) et de certains outils d'évaluation.
L'évaluation doit être continuelle
Les programmes d'éducation ont un calendrier très serré. Les événements et les activités sont planifiés à l'avance et des décisions difficiles à changer sont prises concernant la production de matériel, la préparation des éducateurs et la diffusion de renseignements. Les rencontres, surtout, demandent beaucoup de temps de préparation.
Les évaluateurs doivent travailler de près avec les gestionnaires du programme et être capables d'analyser rapidement les données reçues pour en assurer la pertinence. De plus, ils doivent avoir une bonne connaissance des objectifs du programme afin d'éviter de suggérer une ligne de conduite qui éloigne le programme de ses objectifs. Tous les changements suggérés doivent augmenter les chances de succès, à une exception près.
Les programmes de longue durée peuvent comprendre des évaluations à mi-chemin qui sont plus approfondies et peuvent inclure l'évaluation de la stratégie et des objectifs. Tous les changements suggérés doivent être attentivement étudiés surtout s'il existe des obligations contractuelles basées sur les objectifs originaux. Bien qu'il soit relativement facile d'apporter des changements à la mise en oeuvre du programme, il est beaucoup plus difficile de changer les objectifs visés.
Dans certains cas, ce sera nécessaire si les renseignements reçus dénotent des problèmes majeurs dans la conception du programme. L'évaluation formative vise habituellement le raffinement.
Conflits entre les évaluateurs et les gestionnaires
Même s'il y a distinction nette entre les équipes d'évaluation et de gestion et que les rôles sont attentivement précisés, il peut y avoir des conflits entre ceux qui obtiennent et analysent les données d'évaluation et ceux qui sont responsables de la mise en oeuvre du programme.
Des rencontres périodiques et une entente formelle concernant la résolution des conflits seront très utiles. Les évaluateurs devront peut-être inclure dans le rapport final les recommandations qui n'ont pas été acceptées. Par contre, il peut y avoir des conflits causés par des recommandations acceptées qui n'ont pas fonctionné. Les évaluateurs peuvent soudainement devoir évaluer des changements qu'ils ont suggérés mais qui ne réussissent pas.
Le rôle des évaluateurs devient donc très problématique à moins qu'ils n'agissent qu'à titre d'adjoints techniques et fournissent des données fraîches aux gestionnaires avec qui ils les analysent. On aura alors moins de conflits.
Suivre le plan
Le travail préliminaire afférent au plan pédagogique est l'outil le plus essentiel de l'évaluation formative. Il permet de vérifier régulièrement le niveau de mise en oeuvre du plan et de juger à quel moment des changements dans le contexte ou les groupes visés exigent des changements au programme.
Un plan bien documenté permet également de noter ces changements pour usage ultérieur.
Outils d'évaluation
En plus des outils de collecte de données dont on a parlé, la réaction des clients après l'événement (à l'aide d'un formulaire conçu à cet effet), est sûrement l'outil le plus important.
De tels formulaires ont été perfectionnés par certains commerces et il est possible de les utiliser comme modèles de formulaires courts et bien conçus. Si l'auditoire est instruit, il est possible de collecter les réponses concernant un événement, ou un service, de les analyser et d'en utiliser le résultat pour améliorer le programme. Si l'auditoire n'est pas instruit, de petits groupes de discussion peuvent rendre le même service.
Parmi les autres outils, on retrouve des lignes téléphoniques pour porter plainte, des évaluations des éducateurs par leurs pairs, des petits sondages, et des rencontres avec des intervenants.
Le rôle du personnel
Cependant, la meilleure source de renseignements est un personnel aux aguets. L'évaluation et le suivi devraient faire partie de toutes les séances de formation et les rencontres du programme devraient être l'occasion pour le personnel de communiquer ce qu'ils ont appris et découvert.
Le but de l'évaluation formative est de s'assurer que le programme est approprié et efficace. Tout devrait être axé sur cet objectif et les éducateurs devraient créer un environnement favorable à l'apprentissage.
