La evaluación agregada no solo tiene que ver con la medición del impacto. La evaluación conducida a la conclusión de un programa puede concentrarse en un rango de diferentes intereses tales como la efectividad de los costos, los materiales educativos apropiados, y las estrategias de instrumentación efectivas.
De todas formas, en general, las personas quieren saber que diferencia a marcado un programa. Que impacto a tenido sobre la institución, el aprendiz, el grupo de enfoque, y el beneficiario del programa. Aun el análisis de los costos presupone algún entendimiento del impacto que el programa ha tenido, sopesándolo contra los costos.
Pero la medición del impacto de una intervención social no es fácil:
- Los grupos de enfoque se mueven.
- Los indicadores son difíciles de determinar.
- Controlar los insumos y los procesos es difícil.
- Es posible que el programa se vea interrumpido .
Una metáfora de feria es útil. En una prueba de esfuerzo, las ferias por lo general tienen un juego que se llama "haga sonar la campana y gane". Consiste en un blanco al que hay que pegarle, un martillo, y un larga columna con una campana en el tope, que suena si el impacto del martillo en el blanco es lo suficientemente fuerte.
En este ejercicio, hay un rango de indicadores (normalmente usando palabras que empiezan con calificativos despectivos con respecto a la forma de balancear el martillo, esto empuja a las personas a intentarlo de nuevo, hasta hacer sonar la campana y ganar un premio); hay un claro objetivo; hay un insumo muy sencillo (persona); un rango de potenciales procesos (cómo debe utilizar el martillo la persona); y un impacto que debe ser medido (asumiendo que el juego no esta arreglado.)
¿Sería este proceso social, del cual la educación forma parte, una cosa tan sencilla?
Los grupos de enfoque se mueven
En primer lugar, las discusiones sobre impacto hacen suposiciones sobre los grupos de enfoque. Se asume que estos se conocen, que el programa esta dirigido a un grupo de enfoque particular, y que éste no es materia para ningún otro programa alternativo o proceso de aprendizaje significativo.
Pero las personas se están moviendo y cambiando constantemente como resultado de un rango de diferentes actividades sociales y oportunidades. Es poco probable, en los programas educativos tales como la educación cívica o al votante, que todo sea conocido sobre el publico para el cual el programa ha sido preparado. Y puesto que los programas son conducidos sobre un tiempo y espacio, es probable que no solo sean recibidos por un grupo de enfoque especifico y particular sino también por otros, y que el grupo de enfoque pueda cambiar de tamaño o potencial mientras se hace mas conocido, durante la instrumentación del programa.
A pesar de estas dificultades, cada vez que se conoce más sobre el electorado de los principiantes, incluyendo el desarrollo de la línea base del programa (ver Estudios de Base), se conoce más sobre los principiantes que se convierten en materia para un solo programa y la evaluación toma en cuenta todos los programas con los cuales los aprendices entran en contacto. Mientras que la evaluación está más abierta a cambios en el electorado propuesto por los aprendices, es más confiable la estimación del impacto del programa.
Los indicadores de impacto
En una feria, la campana es un indicador de éxito y al mismo tiempo el objetivo del ejercicio. Hay una correlación muy cercana entre los objetivos (descritos por algunos como declaración de resultados) y los indicadores del programa. Si a un programa se le debe hacer una evaluación agregada, entonces es necesario establecer un juego de indicadores mientras los objetivos son enmarcados.
Las preguntas que formularán los encargados del planeamiento son:
- ¿Cómo podemos saber que nuestro objetivo ha sido alcanzado?
- ¿Cómo mediremos el alcance del objetivo?
Puede haber un rango de indicadores para cada objetivo, o alternativamente un indicador central que valida todo el juego de objetivos. Los encargados del planeamiento buscarán esta bala de plata, que finalmente será una quimera.
Papeletas dañadas y resultados electorales como indicadores
Los educadores electorales han estado tentados a utilizar indicadores de papeletas dañadas como la bala de plata. Si el objetivo de un programa de educación al votante es asegurar que los votantes sean capaces de votar, entonces parece tener sentido que un bajo porcentaje de papeletas dañadas signifique que el programa fue exitoso.
Pero el porcentaje de papeletas dañadas puede verse afectado por muchas otras cosas:
- Puede haber un muy buen diseño de las papeletas.
- Los votantes pueden estar autorizados para asistir al punto de votación.
- La definición de una papeleta válida puede ser muy amplia y los escrutadores pueden ser generosos al determinar los votos validos.
- Rellenar la urna u otros métodos para hacer trampa pueden resultar en la existencia de papeletas preparadas en la urna en vez de los votos de los electores mal capacitados.
O puede ser que el programa de educación al votante haya tenido un objetivo de motivación para que las personas voten. Un indicador obvio seria el porcentaje del resultado electoral.
Al igual que con las papeletas dañadas, puede haber un rango de explicaciones alternativas:
- El sol puede estar brillando.
- Los participantes políticos pueden haber alcanzado el éxito en el desarrollo de un alto interés en las problemáticas y los resultados.
- El significdo de las elecciones a nivel social puede ser considerable.
Quién evalúa debe inspeccionar cuidadosamente los indicadores para asegurarse que en realidad son significativos únicamente para la medición de impacto del programa. O puede que a un costo y tiempo significativo, tengan que investigar si éstas explicaciones alternativas tienen validez y por la ruta de exclusión, buscar mostrar el impacto del programa.
Los indicadores que se concentran solamente en el personal no generan resultados sobre el impacto total de un programa sobre la sociedad. La medición del impacto del programa sobre una sociedad más grande requiere suposiciones sobre la relación causa - efecto que difícilmente pueden describirse y medirse.
Insumos y procesos
Es difícil establecer los indicadores. Controlar los insumos y los procesos que pueden conducir a un impacto es aun más engañoso. Algunos de éstos pueden ser invisibles, o involuntarios. El plan puede especificar ciertos insumos y describir ciertas formas bajo las cuales será instrumentado el programa (el proceso). La terminación exitosa puede verse interrumpida por algunas variaciones no anticipadas y no reportadas.
Los evaluadores involucrados con los programas desde el principio o que han usado métodos que alientan la observación participativa y la recolección de información pueden darse cuenta de esto. Un investigador astuto puede notar anomalías que se pueden explicar con la simple búsqueda de lo que no se ha registrado y después puede ser posible que lo encuentre.
No obstante, entre más grande sea el programa, resultará más difícil seguirle el rastro a todos los insumos y los procesos. Asimismo, mediante una evaluación se dificultará atribuir el impacto o la falta del mismo a uno u otro, excepto si se hace a groso modo. Un juego particular de eventos de entrenamiento puede ser muy exitoso en el resultado de entrenadores efectivos:
- Esto puede ser el resultado de un programa de entrenamiento desarrollado y utilizado.
- Igualmente puede depender de la personalidad y las habilidades del entrenador.
- Los participantes fueron entrenadores efectivos en su propio derecho.
- Los participantes fueron reclutados de una organización que les dio apoyo continuo y asesoramiento permanente.
Posibles interrupciones
En el juego "haga sonar la campana y gane", puede que ésta no suene, no por el impacto del martillo sino porque el dueño del juego envió un mensaje en contra del éxito.
Hay muchas razones posibles por las cuales un programa no puede que alcanzar su objetivo, aun siguiendo las directrices establecidas en el libro. No siempre es posible entender estas razones o identificarlas en su totalidad.
No es culpa del programa de educación al votante si hay fraude en una elección. La apatía de los ciudadanos, a pesar de que se desarrolle un programa extensivo de educación cívica, puede ser motivada por un inadecuado sistema político.
En resumen
Establecer el impacto de un programa requiere conocimientos básicos sobre el grupo de enfoque, considerar cuidadosa y humildemente los indicadores estatales, la habilidad para hacer visibles y reflexivas las razones alternativas para el éxito del programa, así como un conocimiento extensivo no solamente sobre el plan sino también sobre la instrumentación actual de proceso.
Es preciso enfrentar estas dificultades aún un pequeño y limitado programa de intervención. En un programa nacional grande, se hace extremadamente difícil medir el impacto con algún grado de certeza.
Los evaluadores deben, entonces, considerar las evaluaciones agregadas con cierta precaución y desarrollar varias modalidades para comunicar la importancia del programa en lugar de hacer afirmaciones poco convincentes sobre la magnitud del cambio en el mundo.
