Una
buena evaluación combina las perspectivas cualitativas con el análisis
cuantitativo para poder dar soporte a las recomendaciones hechas. Esta
considerará el grado de utilidad de las recomendaciones hechas y será conducida
de tal forma que puedan ser adoptadas e instrumentadas.
Existen
diversas formas para poder lograr estos objetivos. Diseñar una evaluación
requiere de tomar algunas decisiones acerca de:
- Quién debe estar involucrado
- El diseño que se va a elegir
- Los objetivos de la evaluación
A
continuación, se deben tomar algunas decisiones acerca de la relación entre los
instrumentos para recoger información y los métodos (ver Opciones para
la recolección de información).
¿Personal externo independiente o personal interno con cierto conocimiento?
¿Qué
relación debe existir entre los evaluadores externos y el personal a cargo del
programa? Estas preguntas son respondidas en ¿Quién debe evaluar?
Diseños típicos de evaluación
La
mayoría de las evaluaciones pueden fácilmente ser consideradas como opiniones
profesionales. Una persona, o quizás un grupo reducido, recibe autorización
para hablar con el personal involucrado siguiendo el formato de una entrevista
semi-estructurada, para ser conducida de manera, igualmente personal o en un
grupo. Los evaluadores tendrán acceso a los documentos del programa.
Con
base en lo anterior, utilizando incluso las series de entrevistas para
verificar el desarrollo de su opinión, los evaluadores preparan su reporte. El
reporte puede entregarse tal cual o, si aún hay tiempo, ser sometido a
comprobación con un grupo representativo antes.
Dicha
evaluación adquiere importancia según la reputación del evaluador. Ésta puede
hacerse rápidamente y a un costo limitado. Dada la reputación del evaluador,
puede hacerse con base en unos términos de referencia muy generales. Los
evaluadores son elegidos porque conocen el tema y el contexto del programa, y
porque son capaces de penetrar en el mundo de las partes interesadas sin ningún
problema.
Una auditoría
Un
diseño relacionado permite al equipo de evaluación acceder a todos los
documentos que conforman el programa, así como realizar la evaluación completa
mediante la inspección de tales documentos. No se lleva a cabo ninguna
entrevista aparte de las aquellas con quienes encomendaron el reporte. Toda la
información que necesita el evaluador estará siempre disponible.
Dicha
evaluación puede ser ampliada mediante encuestas basadas en las indicaciones
preliminares de las áreas de interés, de tal manera que se recolectarán datos
adicionales. Sin embargo, la fuente principal es documental.
A
pesar de que una investigación así (por ejemplo, sobre los materiales de
educación al votante) puede ser útil, ésta nunca podrá reemplazar a la
evaluación un programa en acción.
Una conversación disciplinada
La
evaluación más compleja y más participativa, es aquella que puede ser descrita
como un diálogo continuo.
En
este tipo de diseño, la discusión empieza con el desarrollo de los términos de
referencia, que pueden incluir el establecimiento de uno o más comités
conformados por las partes interesadas para determinar al avance de la evaluación,
para discutir los datos y los descubrimientos, y para dictaminar la necesidad
de una investigación posterior.
Por
lo general, los evaluadores desempeñan la función de facilitadores y de
asistentes técnicos dentro del grupo. Ellos también hacerse cargo de la
recolección de información, aunque también puede haberla por parte de cada
parte interesada de manera independiente.
En
dicha evaluación, el reporte final se negocia y puede consistir en un conjunto
de reuniones en las cuales, no sólo se evalúan las recomendaciones y las
propuestas, sino que también son puestas en marcha por los organismos
responsables o los individuos.
¿Qué tanto deben involucrarse los evaluadores?
En
estos tres tipos de diseños existen muchas sutilezas, y cada evaluación es
enfrentada por el equipo de evaluadores de la mejor forma para poder producir
los mejores resultados. Debido a la naturaleza de la evaluación participativa,
es muy fácil que ésta se entrecruce con la instrumentación del programa general
y que se convierta en una auto-evaluación y no en algo acumulativo.
En
dichos ejercicios participativos, la función de los evaluadores puede llegar a
ser refutada. Existe personal externo que tiene influencia comparable con la
del personal interno, lo cual puede resultar en una confusión entre la
evaluación y la instrumentación del programa. La evaluación o la reflexión
sobre la experiencia resulta ser primordial.
Dentro
de un grupo de adultos en educación continua, esto puede ser apropiado, sin
embargo, en un programa de educación nacional esto puede tornarse engorroso,
debilitando el diseño del programa general.
Objetivos de la evaluación
Por
lo general, una evaluación comienza con un conjunto de preguntas para las
cuales se deben buscar respuestas. Dicha lista puede volverse más extensa a
medida que la evaluación prosigue, o bien, puede resultar que es suficiente con
una lista más pequeña y más concisa.
Esta
lista debe generarse en consulta con la organización que respaldó la
evaluación. Las distintas partes interesadas pueden formular sus preguntas de
forma diferente o hacer distintas preguntas; sin embargo, la lista final es la
que establece los parámetros para la evaluación y sus objetivos.
Al
fijar un conjunto de preguntas, la evaluación debe servir como un paso en torno
a la utilización de los resultados. La relevancia es predeterminada, y la pertenencia
está parcialmente garantizada. Los evaluadores pueden descubrir que, como
resultado de la ignorancia o de la falta de dirección, las partes interesadas
aún no han hecho una pregunta crucial que luego agregan a la lista.1
Los
evaluadores hacen esto asumiendo el riesgo. Ellos deben justificar su motivación
para incluir dichas preguntas, pudiendo ser acusados de sobrepasar su propio
límite. La decisión de establecer la importancia que tiene la pregunta sobre
los resultados de la evaluación depende únicamente de los evaluadores.
Notas:
1 Ejemplos típicos de tales preguntas pueden ser las que se refieren a la
continuación del programa, el papel del director o de la estructura de
gobernación del programa, o el resultado de un proyecto del personal.
