En general, las preguntas deben medir exactamente lo que se está tratando de responder. Deben ser tan claras como posibles, especialmente en lugares con niveles de educación y alfabetización bajos. Por esta razón los términos y las formas de expresión son cruciales.
Una guía útil es mirar el trabajo que han realizado los analistas con respecto al área, tales como resultados electorales, y examinar el tipo de preguntas que se formulan. ¿Qué preguntan internacionalmente otras personas para medir la eficacia, o los resultados electorales?
Hacer preguntas que ya han sido formuladas en algún otro lugar también nos facilita comparar sus resultados con los que han sido encontrados en otros lugares, en otros tiempos. Esto es crucial. Cualquier resultado de una encuesta -como por ejemplo que el 34% de los Sudafricanos no están interesados en la política- puede por sí solo significar algo importante. Por otro lado, puede significar algo mas, si supiéramos que el porcentaje es mucho mas alto, mucho mas bajo o igual para las personas de otros países.
Al mismo tiempo, su propio contexto puede demandar una pregunta especial. De esta manera existe una fina línea entre el desarrollo de preguntas que tengan sentido en un contexto especifico, y la producción de resultados donde la posibilidad de comparar facilita el entendimiento de la dinámica local.
Mas allá de estos comentarios generales, hay un gran número de escollos potenciales que los diseñadores de las preguntas deben entender.
Preguntas abiertas
Estas preguntas permiten que quien las responda pueda hacerlo espontáneamente, en sus propios términos. En lugar de preguntarle a las personas que califiquen la importancia de algunas posibles razones para votar en una escala de "muy importante" a " no importante del todo" por ejemplo, usted les puede preguntar, "¿Cuales son las razones mas importantes para votar?" Así, las personas verán que no se está induciendo la respuesta.
Las preguntas abiertas, de todas formas, son muy costosas. La mayoría de las compañías de encuestas solo permitirán realizar tres o cuatro. Una pregunta típica, tal como "¿Cuales son los problemas más importantes que enfrenta su país?", Puede obtener docenas de respuestas iguales. Cada una de ellas debe ser examinada y categorizada o "codificada" en categorías más amplias que son consideradas útiles. Esto es un proceso que toma mucho tiempo y que eleva considerablemente los costos del trabajo.
Las preguntas cerradas, aquellas que tienen opciones cerradas para que las personas escojan, también presentan una gama de problemas potenciales.
Formulación
La formulación se refiere a la forma como se presentan o enmarcan, problemáticas importantes en una pregunta de encuesta. ¿Qué aspectos de una gran problemática extraería usted? , ¿Que grupo de alternativas políticas debe usted ofrecer a los encuestados?, ¿Deben hacerse preguntas sobre la ubicación y los costos del parlamento?, ¿Debería tener Sudáfrica una capital administrativa en Pretoria, por ejemplo y una legislativa en Ciudad del Cabo? O ¿Deben estar juntas en una misma ciudad? O,¿deberá preguntarse sobre el status quo cambiante? De nuevo, como un ejemplo, ¿Debe el parlamento permanecer en Ciudad del Cabo, donde actualmente está, o debe ser trasladado a Pretoria o a algún otro lugar? Esta pregunta puede producir diferentes resultados, con implicaciones políticas muy diferentes.
Mientras diferentes formulaciones pueden producir resultados significativamente distintos, las decisiones sobre que tipo de formulación utilizar son casi imposibles de resolver y casi siempre generan críticas por parte de algún espectro político.
Orden de las preguntas
El orden de las preguntas puede moldear las respuestas, alterando el contexto que tienen en cuenta quienes analizan la problemática. Dado que las respuestas a una pregunta pueden moldearse por las respuestas a preguntas anteriores, preguntas que por si solas son imparciales, pueden crear un efecto bastante diferente cuando se formulan en combinación. Las preguntas sobre posibles resultados electorales, por ejemplo, pueden inclinarse a favor de una mayor participación potencial si éstas están precedidas por preguntas sobre el deber de las personas al votar y de esta manera recordarles de su deber.
Orden de respuesta
El orden en que se enumeran las posibles respuestas también puede tener efectos importantes sobre los resultados. Cuando se plantean artículos extremos antes de una respuesta moderada --efecto de "contraste"-- las respuestas extremas precedentes, incrementan la probabilidad de escoger la más moderada.
El orden de los efectos también difiere de acuerdo con el método que se utilice para entrevistar. En las encuestas por teléfono o las entrevistas personales que son publicadas, siempre se presente un "efecto reciente" donde quienes responden tienden a escoger las últimas opciones, puesto que tienen más tiempo para pensar en ellas. En contraste, las presentaciones visuales como los showcards o cuestionarios por correo pueden tener un "efecto primario" donde las primeras alternativas tienden a ser escogidas por las personas, porque es más probable razonar sobre la misma.
Preguntas unilaterales vs. preguntas de selección forzada
Las preguntas "unilaterales" le piden a la persona estar o no de acuerdo con una afirmación, a favor o en oposición de cierta posición, o expresar determinado grado de opinión. Con las preguntas de "selección forzada" el investigador pretende proveer alternativas balanceadas tales como, "¿Esta usted a favor de que el gobierno haga (X) política, o debería buscar alcanzar (Y) política?" .
Los juegos de respuestas "estar de acuerdo" o "no estar de acuerdo" tienden a resultar a favor de "estar de acuerdo", especialmente cuando el conocimiento es bajo. Las personas que responden y que han tenido menos educación, además de poca experiencia política, pueden ser especialmente susceptibles a estos efectos. Cuando un persona ha pensado poco sobre un tema, es menos probable que desarrolle un argumento opuesto contra las declaraciones de un solo lado y es más probable que asienta.
La solución típica es ofrecer a quien responde una segunda o tercera alternativa sustantiva --una alternativa forzada. Esto proporciona a quien responde un argumento contrario. Lo anterior generalmente disminuye el numero de personas que están de acuerdo con la primera alternativa en los formatos de un solo lado y también cambia la distribución de la opinión. La fuerza de los argumentos y las alternativas presentadas son importantes --no todas son igualmente efectivas. Crear una segunda alternativa sustantiva pone a los investigadores en la posición extraña de darle forma a la opinión publica, decidiendo qué alternativas incluir al igual que la sustancia de esas alternativas.
Preguntas de doble filo
Un escollo típico que debe ser evitado son las preguntas que ponen "entre la espada y la pared". Aquí una alternativa que se propone es hacer pareja con una solución, un ejemplo seria, ¿Aprueba usted el incremento en los impuestos para reducir el déficit del presupuesto? Quienes responden muchas veces no están claros de lo que su respuesta quiere decir. Acaso un "si" aprueba el incremento de los impuestos, por ejemplo, o quiere decir que hay que deshacerse del déficit, o las dos cosas?
Una pregunta "que pone mas o menos entre la espada y la pared" contiene cualificaciones que llevan a los encuestados hacia la elección de una alternativa especifica.
Palabras claves
Otra área de dificultades potenciales es el uso de las palabras para describir el objeto o referente de una proposición dada. ¿Están los fondos del gobierno diseñados para tratar la "drogadicción", o la "rehabilitación de la drogadicción" , "asistencia a los pobres", o "bienestar social": o "mejorar las condiciones de los pobres"? se les está preguntando a los encuestados que aprueben la "política presidencial" o su "manejo de la política"?
¿Qué palabras describen las alternativas que tienen los entrevistados a la hora de responder? ¿Se les está preguntando que "aprueben", "apoyen", o "favorezcan" algo, o que lo califiquen en una escala de "excelente", "bueno", "regular" o "pobre"?
Otra forma particular como se presenta este problema es asociar las "palabras de moda", o palabras usadas para evocar respuestas emocionales por parte de los encuestados, con respuestas alternativas. Estas palabras pueden inyectar cálculos partidarios o ideológicos a las respuestas, al igual que respuestas menos educadas. En los Estados Unidos, la palabra "comunista" era bien conocida por sus efectos en las respuestas de las preguntas sobre las políticas extranjeras. La mención del presidente casi siempre tiene un gran impacto en los resultados, usualmente a favor de lo que sea que la Casa Blanca hace. En Sudáfrica, uno puede obtener diferencias significativas en los resultados si se les pregunta a las personas que comparen su vida ahora, y su vida hace diez años, eso es, si se les pregunta su vida comparada con "la vida bajo el apartheid".
"No saben"
Los formatos de las preguntas también afectan el numero de personas que expresan su opinión. Altos niveles de "No se" (NS) se obtienen al formular preguntas que requieran respuestas sobre si se está o no de acuerdo con problemáticas remotas y abstractas, y en aquellas de gran dificultad (Ej.: aquellas que requieren explicaciones largas para hacer proyecciones de orientación al futuro).
El nivel de NS también puede ser afectado por el uso de un "filtro" como " ("¿o no a tenido usted la oportunidad para pensar esta?") Los filtros usualmente incrementan el numero absoluto de respuestas de NS legitimando ninguna respuesta. Pero los filtros pueden también afectar la substantiva distribución de la opinión. Aquellos que posiblemente expresen su opinión cuando realmente no la tienen, no escogen las opciones de respuestas variadas en forma aleatoria. El problema se torna más complejo puesto que los llamados "flotantes" (aquellos que presentan respuestas diferentes dependiendo de los diferentes tipos de pregunta) son difíciles de predecir y no parecen tener una característica común.
Todas las potenciales dificultades revisadas en esta sección surgen por la forma en que los seres humanos piensan. La manera en que los humanos procesan la información es afectada en gran parte por la forma en que la información es presenta. Esto no es menos real en el ambiente de las encuestas. Las personas no desarrollan investigaciones exhaustivas para instantes representativos de una opinión o una actitud en memorias de largo plazo. Por el contrario, prefieren observar la información más accesible ya sea de su ambiente o de contextos inmediatos al cuestionario o entrevista.
No existen respuestas fáciles. El significado de una pregunta siempre depende parcialmente de donde se sitúe el cuestionario. La manera como consideramos nuestras respuestas siempre depende parcialmente de las alternativas y de cómo estas son presentadas.
Aparte de algunas buenas reglas no parecen existir soluciones obvias al problema de las palabras. Mientras tratemos de evitar "contaminar" las preguntas, puede que aquellas preguntas "limpias", extraídas del contexto político, resulten irreales e irrelevantes. Las palabras de moda y las asociaciones que sitúan entre la espada y la pared son por lo general las que le dan realismo político a las preguntas de las encuestas.
