Una buena evaluación combina las perspectivas cualitativas con el análisis cuantitativo para poder dar soporte las recomendaciones hechas. ...sta considerará el valor de la utilidad de las recomendaciones hechas y será conducida de tal forma que puedan ser adoptadas e instrumentadas.
Existen diversas formas para poder lograr estos objetivos. El diseño y la evaluación requieren algunas decisiones acerca de la aproximación:
- Quién debe estar involucrado
- El diseño que se va a elegir
- Los objetivos de la evaluación
Por consiguiente se deben tomar algunas decisiones acerca de la relación entre los instrumentos para recoger información y los métodos (ver Opciones para la Recolección de Información).
¿Personal Externo independiente o Personal interno con cierto conocimiento?
¿Qué relación debe existir entre los evaluadores externos y el personal a cargo del programa? Estas preguntas son respondidas en ¿Quién debe Evaluar?.
Diseños Típicos de Evaluación
En mayor medida, la mayoría de las evaluaciones son consideradas como opiniones profesionales. Una persona o posiblemente un grupo reducido recibe autorización para hablar con el personal involucrado siguiendo el formato de una entrevista semi estructurada, para ser conducida por una sola persona o por un grupo. Los evaluadores tendrán acceso a los documentos del programa.
Con base en lo anterior, utilizando incluso las series de entrevistas para verificar el desarrollo de su opinión, los evaluadores preparan su reporte. El reporte puede entregarse, si aún hay tiempo, después de haber sido ensayado por un grupo representativo.
Dicha evaluación adquiere importancia según la reputación del evaluador. Ésta puede hacerse rápidamente y con un costo limitado. Dada la reputación del evaluador, puede hacerse con base en unos términos de referencia muy generales. Los evaluadores son elegidos porque conocen el tema y el contexto del programa y porque son capaces de penetrar en el mundo de los involucrados sin ningún problema.
Una auditoria
Un diseño específico le permite al equipo de evaluación acceder a todos los documentos que conforman el programa, así como a la valoración completa del papel de la evaluación. No se debe llevar a cabo ninguna entrevista distinta a las que se llevan a cabo con los miembros de la comisión de reporte. Por otra parte, toda la información que necesita el evaluador estará siempre disponible.
Dicha evaluación puede ser extendida haciendo unas encuestas basadas en las indicaciones preliminares con relación a las áreas de interés específicas que servirán como una recolección de datos adicional. Sin embargo las fuentes principales son documentales.
A pesar de que una investigación (por ejemplo, sobre los materiales de educación al votante) puede ser útil, ésta nunca podrá reemplazar a un programa de evaluación en acción.
Una conversación disciplinada
La evaluación más compleja y más participativa es aquella que puede ser descrita como una discusión continua.
En este tipo de diseño, la discusión empieza con el desarrollo de los términos de referencia, que pueden incluir el establecimiento de uno o más comités conformados por los involucrados para calificar el programa de evaluación, para discutir los datos y los descubrimientos y para dictaminar la necesidad de una investigación posterior.
Por lo general, los evaluadores desempeñan la función de facilitadores y de asistentes técnicos dentro del grupo. Ellos también pueden manejar la recolección de información, aunque también puede haber recolección de datos por parte de quienes participan independientemente.
En dicha evaluación, el reporte final se negocia. Éste puede consistir en un conjunto de reuniones en las cuales no sólo se evalúan las recomendaciones y las propuestas sino que también son puestas en marcha por los cuerpos responsables o los individuos.
¿Qué tan cerca deben estar los evaluadores?
En estos tres tipos de diseños existen muchos problemas, y cada evaluación es enfrentada por el equipo de evaluadores de la mejor forma para poder producir los mejores resultados. Debido a la naturaleza de la evaluación participativa, es muy fácil que ésta se entrecruce con la instrumentación del programa general y que se convierta en una auto evaluación y no en algo acumulativo.
En dichos ejercicios participativos, la función de los evaluadores puede ser muy competitiva. Existe personal externo influenciado por el interno, lo cual puede resultar en una confusión entre la evaluación y la instrumentación del programa. La evaluación o la reflexión de la apariencia puede convertirse en un factor prioritario.
Dentro de un grupo de adultos en educación continua, esto puede ser apropiado, sin embargo, en un programa de educación nacional esto puede tornarse engorroso, debilitando el diseño del programa general.
Objetivos de la evaluación
Por lo general, una evaluación comienza con un conjunto de preguntas para las cuales se deben buscar respuestas. Dicha lista puede volverse más extensa a medida que la evaluación procede, o bien, puede resultar más eficiente una lista más pequeña y más concisa.
Esta lista debe generarse en consulta con el programa que respaldó la evaluación. Los distintos involucrados pueden enmarcar sus preguntas de forma diferente o hacer distintas preguntas; sin embargo, la lista final es la que establece los parámetros para la evaluación y sus objetivos.
Al fijar un conjunto de preguntas, la evaluación debe servir como un paso en torno a la utilización de los resultados. La relevancia es predeterminada, y la propiedad está parcialmente garantizada. Los evaluadores pueden descubrir que, como resultado de la ignorancia o de la falta de dirección, los involucrados aún no han hecho una pregunta crucial que deben agregar a la lista.44
Los evaluadores hacen esto asumiendo el riesgo. Ellos deben generar una motivación para incluir dichas preguntas, pudiendo ser acusados de sobrepasar su propio límite. La decisión de establecer la importancia que tiene la pregunta sobre los resultados de la evaluación depende únicamente de los evaluadores.
