Existen dos tipos de preguntas que espantan a los evaluadores. La primera es: ¿Quién es usted? La segunda: No es que esté en desacuerdo con usted, pero ¿de verdad habló con la gente adecuada, le hizo las preguntas pertinentes?
La primera pregunta tiene que ver con la legitimidad de los evaluadores y, en consecuencia, de sus descubrimientos. La segunda, está relacionada con la confiabilidad de los descubrimientos, y por lo general se utiliza no para atacar los resultados ni el éxito de la evaluación, sino la metodología como tal.
Es difícil evitar cometer el mismo error de la persona que hace este tipo de preguntas y no adoptar una posición defensiva; sin embargo hay muchas cosas que el equipo de evaluadores y el educador pueden hacer para establecer marcos de legitimidad y asegurar la confiabilidad de los resultados.
Establecer la legitimidad
Los evaluadores pueden ser seleccionados a partir de una discusión de todos los involucrados quienes, habiendo desarrollado los términos de referencia acordados, y luego de haber establecido un conjunto de criterios para el evaluador, seleccionan a la persona entre una lista de candidatos.
Sin embargo, también pueden ser fácilmente asignados por el patrocinador del programa o por el cuerpo directivo del mismo, o aún por el mismo director del programa.
Aún en el primer caso, habrá muchas sorpresas respecto a la realización de la evaluación, las razones de la misma, y a la identidad de los evaluadores.
Las primera reuniones
Es muy importante que los evaluadores establezcan quienes son los involucrados claves. Deben estar preparados con los términos de referencia para entrevistarlos y discutir la evaluación para conocer sus expectativas con relación a los resultados de la misma. En muchas ocasiones, estas entrevistas forman parte del diseño de evaluación. En este caso, el personal que parezca estar en contra de la evaluación deben ser los primeros entrevistados.
De hecho, después de llegar a un acuerdo que asegure que la evaluación se va a llevar a cabo, que la falta de cooperación tendrá como consecuencia muchos prejuicios con respecto a los resultados, y que la cooperación y la participación de todos incrementa la posibilidad de que los resultados sean confiables, los evaluadores deben mantener una relación con los involucrados en el transcurso de la evaluación.
Reportes regulares
Para mantener un contacto hay que tener una comunicación adecuada a través de mensajes o reportes internos.
Sin embargo, esto también puede lograrse solicitando cambios en los términos de referencia o haciendo recomendaciones que pueden sorprender o tener impactos políticos sobre los interesados o por lo menos a través de un conjunto de garantes de la evaluación.
Los garantes de la evaluación
Estos garantes serán representados por un grupo de personas altamente comprometido con la evaluación, con el poder organizacional suficiente o una buena reputación para que su participación garantice un alto grado de compromiso por parte de los otros. Este tipo de personas deben recibir un reporte regular. Sin embargo, deben comprometerse a aceptar los resultados de la evaluación, así ésta incluya comentarios acerca de su función.
Los evaluadores deben garantizar que los resultados de la evaluación expresen verdades acerca del programa sin ningún temor y sin hacer favores a nadie; esto lo deben hacer de tal forma que la verdades puedan ser oídas.
Garantizar unos resultados confiables
Los evaluadores tendrán que presentar un conjunto de recomendaciones a las personas responsables del desarrollo del programa. Dichas recomendaciones pueden afectar el personal, la base financiera, el diseño operativo, y las aspiraciones personales de los individuos involucrados en el programa o a cargo de las estructuras. Un alto nivel de educación puede tener un impacto sobre los resultados de una elección o las iniciativas de recomendaciones vertidas por uno de los participantes en el programa o por la autoridad electoral.
Es muy importante creer y confiar en los resultados obtenidos. Para estos efectos, los reportes de las evaluaciones deben incluir lo siguiente:
- Una garantía de la transparencia del proceso. Los que reciben las recomendaciones deben entender el proceso que les dio origen. Esto incluye la metodología para la recolección de información, la forma en que fue analizada la información y la forma en que el evaluador llegó a determinar dicha recomendación, incluyendo todas las versiones anteriormente preparadas.
Aún cuando haya habido una buena comunicación hasta la etapa en que se presenta el reporte, los evaluadores tienen que trabajar muy duro para estar en condiciones de hacer recomendaciones, a menos que la evaluación haya sido completamente participativa. Las evaluaciones que se llevan a cabo a puerta cerrada corren el riesgo de no ser entendidas, a no ser que las personas hayan atravesado el mismo proceso por el que atravesaron los evaluadores.
- Comparar las recomendaciones con los términos de referencia. Los términos de referencia contienen el objetivo general de la evaluación. Describen la forma en que las recomendaciones serán utilizadas y, en consecuencia, el grado en que el reporte cumpla con estas expectativas explícitas, es el grado en que los destinatarios aceptarán los resultados. En los casos en que haya divergencias con relación a los términos de referencia, éstas tendrán que ser explicadas.
- Crear un apoyo anticipado para el reporte final. Antes de distribuir el reporte final, los evaluadores deben conducir una serie de actividades que garanticen la confiabilidad de las recomendaciones señaladas en el reporte. Entre las posibilidades abiertas para los evaluadores, y dependiendo del grado de independencia del equipo de evaluadores con relación al programa, están las siguientes:
- Una auditoria externa del reporte por parte de un experto reconocido en el tema.
- Reuniones para consultar la versión del reporte o los aspectos de dicha versión con los involucrados.
- Discusiones con el posible responsable de instrumentar las recomendaciones, contemplando las posibilidades y su validez.
- La recolección de información adicional para examinar las recomendaciones con mayor profundidad.l
En el momento en que sea distribuido el reporte ya debe existir un apoyo general.
- Nivelar las recomendaciones. Es muy probable que la evaluación tenga como resultado una amplia gama de recomendaciones, las esenciales, las obvias, las inocuas y las controversiales.
Asimismo, también es posible que los reportes sean mejor recibidos cuando las recomendaciones son equilibradas, para que las personas puedan concentrarse en las más contenciosas o difíciles y puedan aceptar las más claras. La aceptación de éstas valida el reporte y garantiza que la discusión no se limite a las cuestiones de confiabilidad y metodología y que ésta prosiga a responder las inquietudes relacionadas con la posibilidad y la instrumentación.
