Existen
dos tipos de comentarios que alteran a los evaluadores. La primera es: "¿Quién
es usted?". La segunda: "No es que esté en desacuerdo con usted, pero
¿de verdad habló con la gente adecuada, le hizo las preguntas pertinentes?".
El
primero tiene que ver con la legitimidad de los evaluadores y, en consecuencia,
de sus descubrimientos. El segundo, está relacionado con la confiabilidad de
los descubrimientos, y por lo general se utiliza no para atacar los resultados
ni el éxito de la evaluación, sino la metodología como tal.
Es
difícil evitar cometer el mismo error de la persona que hace este tipo de
preguntas y no adoptar una posición defensiva. Hay muchas cosas que el equipo
de evaluadores y el educador pueden hacer para establecer marcos de legitimidad
y asegurar la confiabilidad de los resultados.
Establecer la legitimidad
Los
evaluadores pueden ser seleccionados a partir de una discusión entre todas las
partes interesadas quienes, habiendo desarrollado un documento de los términos
de referencia acordados, y luego de haber establecido un conjunto de criterios
para el evaluador, seleccionan a la persona de entre una lista de candidatos.
Sin
embargo, también pueden ser fácilmente asignados por el patrocinador del
programa o por el cuerpo directivo del mismo, o aún por el mismo director del
programa.
Aún
en el primer caso, habrá muchas sorpresas respecto de la realización de la
evaluación, las razones de la misma, y sobre la identidad de los evaluadores.
Las primeras reuniones
Es
muy importante que los evaluadores establezcan quiénes son las partes
interesadas claves, y provistos con un documento de los términos de referencia,
se entrevisten con ellos para dialogar acerca de la evaluación para conocer sus
expectativas con relación a los resultados de la misma. En muchas ocasiones,
estas entrevistas forman parte del diseño de evaluación. En este caso, quienes
parecieran estar en contra de la evaluación deben ser los primeros en ser
entrevistados.
De
hecho, después de llegar a un acuerdo que asegure que la evaluación se va a
llevar a cabo, que ninguna cooperación específica tendrá como consecuencia
prejuicios con respecto a los resultados, y que la cooperación y la
participación de todos incrementa la posibilidad de que los resultados sean
confiables, los evaluadores deben mantener una relación con las partes
interesadas en el transcurso de la evaluación.
Reportes regulares
Para
mantener un contacto hay que tener una comunicación adecuada a través de
mensajes o reportes internos.
Sin
embargo, esto también puede lograrse sondeando cualquier posible cambio en los
términos de referencia o respecto de cualquier recomendación que pudieran sorprender
o tener impacto político sobre los interesados, o por lo menos a través de un
conjunto de garantes de la evaluación.
Los garantes de la evaluación
Estos
garantes serán representados por un grupo de personas altamente comprometido
con la evaluación, con el poder organizacional suficiente o una buena
reputación para que su participación garantice un alto grado de compromiso por
parte de los otros. Este tipo de personas deben recibir un reporte regular. Sin
embargo, deben comprometerse a aceptar los resultados de la evaluación, así
ésta incluya comentarios acerca de su función.
Los
evaluadores deben garantizar que los resultados de la evaluación expresen
verdades acerca del programa sin ningún temor y sin hacer favores a nadie. Sin
embargo, deben hacerlo de tal forma que las verdades puedan ser escuchadas.
Garantizar unos resultados confiables
Los
evaluadores tendrán que presentar un conjunto de recomendaciones a las personas
responsables del desarrollo del programa. Dichas recomendaciones pueden afectar
el personal, la base financiera, el diseño operativo, y las aspiraciones
personales de los individuos involucrados en el programa o a cargo de las
estructuras. Una evaluación de alto nivel puede tener un impacto sobre los
resultados de una elección o en las perspectivas de la permanencia de un
miembro de la autoridad electoral.
Es
muy importante creer y confiar en los resultados obtenidos. Para estos efectos,
los reportes de las evaluaciones deben considerar lo siguiente:
- Asegurar
un proceso transparente. Quienes reciban las recomendaciones deben
entender el proceso que les dio origen. Esto incluye la metodología para
la recolección de información, la forma en que ésta fue analizada y la
forma en que el evaluador llegó a determinar sus recomendaciones, lo cual
implica hacer disponibles versiones de trabajo del reporte de evaluación.
Aún cuando haya habido una buena comunicación hasta la presentación del
reporte, los evaluadores tienen que haber pensado mucho más en las
recomendaciones que quienes lo van a recibir, incluso si la evaluación fue
realizada en conjunto con ellos. Las evaluaciones que se llevan a cabo a
puerta cerrada corren el riesgo de no ser entendidas, a no ser que quienes
lo reciban obtengan una explicación de los procesos cognitivos de los evaluadores.
- Comparar
las recomendaciones con los términos de referencia. El documento de los
términos de referencia contiene el objetivo general de la evaluación.
Describe la forma en que las recomendaciones serán utilizadas, y en
consecuencia, el grado en que el reporte cumpla con estas expectativas
explícitas, es el grado en que los destinatarios aceptarán los resultados.
En los casos en que haya divergencias con relación a los términos de
referencia, éstas tendrán que ser explicadas.
- Crear
un apoyo anticipado para el reporte final. Antes de distribuir el
reporte final, los evaluadores deben conducir una serie de actividades que
garanticen la confiabilidad de las recomendaciones señaladas en el
reporte. Entre las posibilidades abiertas para los evaluadores, y
dependiendo del grado de independencia del equipo de evaluadores con
relación al programa, están las siguientes:
- Una auditoría externa del borrador del reporte
por parte de un experto reconocido en el tema.
- Reuniones informativas sobre el borrador del reporte
en general, o algunos aspectos de dicha versión, con los involucrados.
- Discusiones con el posible responsable de
instrumentar las recomendaciones, donde se aborden su viabilidad y validez.
- La recolección de información adicional para
examinar las recomendaciones con mayor profundidad.
En
el momento en que sea distribuido el reporte ya debe existir un apoyo general.
- Clasificar
las recomendaciones. Es muy probable que la evaluación tenga como
resultado una amplia gama de recomendaciones: las esenciales, las obvias,
las inocuas y las controversiales. Asimismo, también es posible que los
reportes sean mejor recibidos si las recomendaciones son categorizadas,
para que las personas puedan concentrarse en las más controversiales o
difíciles y puedan aceptar las más directas. La aceptación de éstas últimas
valida el reporte y garantiza que la discusión no se limite a las
cuestiones de confiabilidad y metodología, y que prosiga a responder las
inquietudes relacionadas con la viabilidad e instrumentación.
