La
evaluación agregada no sólo tiene que ver con la medición del impacto. La
evaluación efectuada a la conclusión de un programa puede concentrarse en muy
diversos intereses, tales como el costo del programa en comparación con su
efectividad, los materiales educativos apropiados, y en las estrategias de
instrumentación efectivas.
De
todas formas, en general, las personas quieren saber qué diferencia ha marcado
un programa. Qué impacto ha tenido sobre la institución, el educando, el grupo
de enfoque, y el beneficiario del programa. Aún el análisis de los costos contra
los beneficios, presupone algún entendimiento del impacto que el programa ha
tenido, teniendo en cuenta las erogaciones.
Pero
la medición del impacto de una intervención social no es fácil por las
siguientes razones:
- Los grupos de enfoque se mueven.
- Los indicadores son difíciles de
determinar.
- Controlar los insumos y los procesos es
difícil.
- Es posible que el programa se vea
interrumpido.
Una metáfora de un recinto ferial es útil. En
una prueba de fuerza (y como medio de obtener el dinero de los lugareños que
esperan impresionar a sus amigos), las ferias suelen tener un juego donde el
fin es "tocar la campana y ganar". Se trata de dar en un blanco, con un
martillo, para que la campana en lo alto de una larga columna suene si el impacto
del martillo sobre el blanco es lo suficientemente fuerte.
En
este ejercicio, hay un rango de indicadores (normalmente usando palabras
que empiezan con calificativos despectivos hacia la persona que balancea el
martillo, se le estimula a intentar de nuevo, y por fin hacer sonar la campana
para ganar un premio); hay un claro objetivo; hay un insumo muy
sencillo (la persona con el martillo); un rango de procesos potenciales
(cómo la persona debe utilizar el martillo); y un impacto que puede ser
medido (asumiendo que el juego no tiene trampas).
Ojalá
los procesos sociales, de los que la educación forma parte, fueran algo tan
sencillo.
Los grupos de enfoque se mueven
En
primer lugar, las discusiones sobre impacto hacen suposiciones sobre los grupos
de enfoque. Se asume que éstos se conocen, que el programa está dirigido a un
grupo de enfoque particular, y que éste no es objeto de ningún otro programa
alternativo o proceso de aprendizaje significativo.
Pero
las personas se están moviendo y cambiando constantemente como resultado de una
variedad de diferentes actividades sociales y oportunidades. Es poco probable,
en los programas educativos tales como los de educación cívica o electoral, que
se llegue a conocer todo lo necesario sobre el público para quien el programa
ha sido preparado. Y, puesto que los programas son realizados en el tiempo y el
espacio, es probable que no sólo sean recibidos por un grupo de enfoque
específico y particular, sino también por otros. El grupo de enfoque también puede
cambiar de tamaño o potencial, conforme se tiene más información, a lo largo de
la instrumentación del programa.
A
pesar de estas dificultades, cuanto más se conozca sobre los educandos del
electorado, incluyendo la determinación de una línea base del programa (ver Estudios de base), habrá más posibilidades que los
educandos tengan mayor exposición a un único programa o que la evaluación tenga
más en cuenta a todos los programas con los cuales los educandos han entrado en
contacto. En la medida que la evaluación sea sensible a los cambios en el
conjunto propuesto de educandos, más confiable será la estimación del impacto
del programa.
Los indicadores de impacto
En
una feria, el que la campana suene es un indicador de éxito y al mismo tiempo
el objetivo del ejercicio. Hay una correlación muy cercana entre los objetivos
(descritos por algunos como declaraciones de resultados) y los indicadores del
programa. Si a un programa se le debe hacer una evaluación agregada, entonces
es necesario establecer un juego de indicadores mientras los objetivos son
determinados.
Las
preguntas que podrían formular los encargados del planeamiento son:
- ¿Cómo podemos saber que nuestro objetivo
ha sido alcanzado?
- ¿Cómo mediremos que se alcanzó el
objetivo?
Pueden
haber diferentes indicadores para cada objetivo, o alternativamente un
indicador central que valida todos los objetivos dispuestos. Los encargados del
planeamiento suelen buscar esto último como una solución, pero es una quimera.
Uso de las papeletas invalidadas y de la participación electoral como indicadores
Los
educadores electorales han estado tentados a utilizar el número de papeletas
nulas o invalidadas como indicador central. Si el objetivo de un programa de
educación electoral es asegurar que los votantes sean capaces de votar,
entonces parece lógico que un bajo porcentaje de papeletas nulas signifique que
el programa educativo fue exitoso.
Pero
el porcentaje de papeletas invalidadas puede verse afectado por muchas otras
cosas:
- El diseño de las papeletas puede ser muy
bueno.
- La asistencia a los votantes en los
sitios de votación puede estar autorizada.
- La definición de una papeleta válida
puede ser muy amplia y los escrutadores pueden ser generosos al determinar
los votos válidos.
- Rellenar la urna, u otros métodos de
fraude electoral, pueden resultar en la existencia de papeletas preparadas
en lugar de los votos de electores mal capacitados.
O
puede ser que el programa de educación electoral haya tenido como uno de los
objetivos el motivar a que las personas voten. En este caso, un indicador obvio
sería el porcentaje de participación de los electores.
Al
igual que con las papeletas invalidadas, pueden haber explicaciones alternativas:
- El día puede ser soleado.
- Los contendientes políticos pueden haber tenido
éxito en provocar gran interés en las problemáticas y los resultados.
- El significado de las elecciones a nivel
social puede ser considerable.
- Incentivos materiales o amenazas de
represalias pueden haber impulsado la participación.
- Las estadísticas de la participación
pueden haber sido manipuladas por los funcionarios electorales.
Quien
evalúa, debe cuestionar los indicadores para asegurarse que en realidad son
significativos, únicamente, para la medición de impacto del programa. O puede
que, a un costo y tiempo significativos, tengan que investigar si estas
explicaciones alternativas tienen validez y someterlas a un proceso de
eliminación, para buscar mostrar el impacto del programa.
Los
indicadores que se concentran solamente en lo personal no generan resultados
sobre el impacto total de un programa sobre la sociedad. La medición del
impacto del programa sobre una sociedad más grande requiere suposiciones sobre
la relación causa-efecto que difícilmente pueden describirse, ya no digamos
medirse.
Insumos y procesos
Es
difícil establecer los indicadores. Controlar los insumos y los procesos que
pueden conducir a un impacto es aún más engañoso. Algunos de éstos pueden ser
invisibles, o involuntarios. El plan puede especificar ciertos insumos y
describir ciertas formas en que será instrumentado el programa (el proceso). La
terminación exitosa puede verse interrumpida por algunas variaciones no
anticipadas y no reportadas.
Los
evaluadores involucrados con los programas desde el principio o que han usado
métodos que alientan la observación participativa y la recolección de
información pueden darse cuenta de esto. Un investigador astuto puede notar
anomalías que se pueden explicar con la simple búsqueda de lo que no se ha
registrado y después puede ser posible que lo encuentre.
No
obstante, entre más grande sea el programa, resultará más difícil seguirle el
rastro a todos los insumos y los procesos. Asimismo, mediante una evaluación se
dificultará atribuir el impacto o la falta del mismo a uno u otro, excepto si
se hace a groso modo.
Un
conjunto particular de eventos de entrenamiento puede ser muy exitoso en formar
entrenadores efectivos:
- Esto puede ser el resultado del programa
de entrenamiento desarrollado y utilizado.
- Igualmente puede depender de la
personalidad y las habilidades del capacitador.
- Cabe la posibilidad que los
participantes hubieran sido capacitadores efectivos de antemano.
- Los participantes pueden haber sido
reclutados de una organización que les dio apoyo continuo y asesoramiento
permanente.
Posibles interrupciones
En
el juego de "hacer sonar la campana", puede que la campana no suene,
no porque el martillo no impacte, sino porque el dueño del juego introdujo un
mecanismo que evita el éxito.
Hay
muchas razones posibles por las cuales un programa puede no alcanzar su
objetivo, inclusive siguiendo todas las directrices establecidas. No siempre es
posible entender estas razones o identificarlas en su totalidad.
No
es culpa del programa de educación al votante si hay fraude en una elección. La
apatía de los ciudadanos, a pesar de que se desarrolle un programa extensivo de
educación cívica, puede ser motivada por un inadecuado sistema político.
En resumen
Establecer
el impacto de un programa requiere conocimientos básicos sobre el grupo de
enfoque, indicadores cuidadosamente considerados y modestamente establecidos,
la habilidad de visualizar explicaciones alternativas del aparente éxito, o
fracaso, del programa, y poder reflexionar sobre ellas, así como un
conocimiento profundo no solamente sobre el plan sino también sobre el proceso
real de instrumentación.
Todo
lo anterior es difícil de conseguir incluso en un programa de intervención
pequeño y limitado. En un gran programa nacional, se hace extremadamente
difícil medir el impacto con algún grado de certeza.
Los
evaluadores deben, entonces, considerar las evaluaciones agregadas con cierta
precaución y desarrollar varias modalidades para comunicar la importancia del
programa, en lugar de hacer afirmaciones poco convincentes sobre la magnitud
del cambio en el mundo.
