Antes de realizar un trabajo de campo con los entrevistadores, cada cuestionario debe ser probado en encuestados similares a los que van a ser entrevistados en la encuesta real. Con base en este experimento, podremos identificar las fallas del cuestionario y hacer los ajustes necesarios.
Aunque pueda sonar extremista, la mayoría de los estudios pilotos son hechos en cuartos pequeños con un espejo para que pueda ver como va a ser la entrevista real, mientras que observa y oye exactamente lo que va a suceder en relación con las preguntas, las respuestas y el lenguaje corporal.
Esto proporciona una excelente oportunidad para revisar sí:
- Las instrucciones están claras para el entrevistador;
- Las preguntas están claras tanto para quien entrevista como para quien responde;
- Las preguntas se leen bien;
- Las preguntas incomodan o ponen ansiosa a la persona;
- Quien responde se cansa y piensa menos sus respuestas, y en que punto ocurre esto;
- Las preguntas reúnen los diferentes tipos de respuestas que pretendemos obtener.
Cuándo se prueban preguntas sobre identidad social, por ejemplo, encontramos que el planteamiento, "¿Cómo se denomina a usted mismo?", estaba generando marcas personales, tales como, "buena persona" y "de mente abierta", lo cual no era lo que queríamos extraer. Tuvimos que crear una especie de contexto bajo el cual la persona tuviera que responder la pregunta. Así que cambiamos la pregunta a "Pensando en todos los grupos en Sudáfrica...", y después escuchamos una gama de varios tipos de grupos y preguntamos "¿En cuál de esos grupos considera usted que se encuentra?".
Las pruebas piloto usualmente lo devuelven a la tabla de dibujo para volver a escribir por lo menos algunas preguntas, y borrar otras. Si en la prueba piloto el cuestionario es muy extenso, usted se debe devolver a su marco de trabajo conceptual. Cuando son muchas áreas conceptuales, usted debe eliminar un tema completo que pueda ser interesante pero no vital, o deshacerse de una o dos preguntas de cada área de conceptos.
Traducción
En una sociedad multilingüe, es imperativo que todos los encuestados puedan responder las preguntas en el lenguaje que se sientan más cómodos.
Aunque esto consume mucho tiempo, la mejor manera para asegurarse que los cuestionarios significan lo que realmente se propuso, es usar el método de "ciego doble" al traducir. Un juego de lingüistas toma el cuestionario original y lo traduce a los lenguajes deseados. Después un grupo separado de lingüistas toman esas versiones y lo traducen de nuevo al ingles ( o al idioma original). En ese punto, la versión re-traducida necesita ser comparada con la versión del idioma original. Cualquier diferencia debe ser ajustada encontrando otra palabra que exprese mejor el concepto clave, ya sea en el idioma original o en la traducción. En cualquier caso nótese que si el lenguaje original es cambiado, todas las demás traducciones necesitan ser revisadas de acuerdo a esto.
Los buenos traductores no traducen simplemente cada palabra. Deben ser capaces de decirle cuándo están preparados los entrevistados para oír palabras clave en otros lenguajes, tales como "parliament" (parlamento), con el fin de utilizar en el cuestionario, la palabra en ingles.
Métodos para entrevistar
El método para entrevistar es esencial. Las respuestas a las preguntas del cuestionario no son necesariamente independientes de la manera como se obtienen.
Teléfono
Un método crecientemente popular es contactar a los entrevistados por teléfono. Las encuestas por teléfono por lo general son menos costosas, dado que no requieren que los entrevistadores viajen por todo el país o la región hasta la casa de las personas, además de que pueden ser mas rápidas.
Un problema mayor se presenta por los porcentajes de posesión de teléfono. Aunque en los Estados Unidos, se ha estimado que hacia finales de los 90's, un 5% de la población nacional (y el 10% en algunos estados) no tenían teléfono.
El gran problema es que la posesión de teléfono no es aleatoria. Es altamente asociada con los ingresos familiares. Aquellos que no poseen teléfono son generalmente quienes tienen puntos de vista extremadamente diferentes en cuanto a lo social y lo político, con respecto a quienes tienen teléfono. En países en vía de desarrollo, la diferencia entre los que tienen y los que no tienen teléfono impiden que las encuestas nacionales sean representativas, puesto que no se pueden representar especialmente las opiniones de las familias de bajos ingresos.
En los Estados Unidos, la organización Gallup una vez estimo que las encuestas pre-electorales por teléfono era cinco o seis puntos mas favorables para los republicanos que para los demócratas. Un ejemplo impresionante ocurrió en 1992 en Sudáfrica cuando el Human Sciences Research Council (HSRC) (el Consejo de Investigación de Ciencias Humanas) (CICH) utilizó una encuesta por teléfono para proyectar que F.W. de Klerk tenia mas apoyo que Nelson Mándela en una carrera hipotética para la presidencia. El HSRC observo que en las respuestas finales, habían pesado las proporciones raciales del país. Lo que ellos olvidaron, es que aquellos Africanos con teléfono no eran Africanos muy típicos en general.
Las encuestas por teléfono también hacen más fácil que las personas opten por una opción de la encuesta, y por esta razón, que opten por algo de la muestra. Como nos daremos cuenta mas abajo, es importante no dejar que la gente se auto-seleccione fuera de la muestra. Aun mas, las encuestas por teléfono raramente establecen la relación de confianza mutua posible que se presenta en las entrevistas personales, necesarias para que los entrevistadores puedan llevar a los entrevistados a temas controvertidas. Las personas simplemente están más renuentes a expresar actitudes negativas a extraños que no ven. Puesto que las encuestas por teléfono tienen mayor probabilidad de incluir personas alienadas, éstas generalmente se sesgan hacia una recopilación de datos menos negativa. En algunas situaciones, sin embargo, la ausencia de contacto personal que se presenta con las encuestas telefónicas, es preferible.
Correo
En las encuestas por correo, usted simplemente envía por correo el cuestionario a quien le va a responder. El cuestionario entonces es auto-administrado. Dado que estas revisten un labor y costos de envío relativamente menores, estas tienden a ser más rentables.
De otro lado, las encuestas por correo tienden a recibir menores grados de respuesta. Recibir una tercera o cuarta parte de respuestas frente a las encuestas enviadas, se considera un gran éxito, aun cuando estas tazas necesitan de un gran esfuerzo para persuadir a las personas para que respondan la encuesta. Se pueden sin embargo, ofrecer otros incentivos, tales como premios u oportunidades para ganar premios.
En algunos lugares, la efectividad de los servicios postales es un impedimento tanto por la calidad del servicio como por los altos grados de analfabetismo. Por estas y otras razones personales, las encuestas por correo solo se llevan acabo en grupos de enfoque específicos, usualmente audiencias muy educadas, empresarios de alto nivel o de "élite".
Personal
Las entrevistas personales pueden establecer una relación de confianza con quien responde, permitiendo la realización de preguntas más sensibles y respuestas con mayor profundidad. Dado que el entrevistado puede ver al entrevistador en entrevistas cara a cara, las características del entrevistador, tales como género y raza pueden influir en las respuestas de los entrevistados. No obstante, en lugares como Sudáfrica, las compañías encuestadoras usualmente tratan de asegurarse de que el entrevistador sea del mismo sexo que el entrevistado. Si la encuesta se relaciona con cuestiones de sexo o género, es importante que los entrevistadores sean del mismo sexo.
Las entrevistas personales tienden a ser costosas, dados los costos del viaje y del trabajo. Sumado a lo anterior, las entrevistas personales presentan muchos problemas logísticos que no tienen otros métodos. Es tan simple como que usted se enfrenta a pasar por la puerta principal de otra persona, absolutamente solo. Especialmente en Sudáfrica, los "malos" vecindarios, los sistemas de seguridad en los edificios y otros problemas menores, como los Rottweiller o los Doberman y los Pincher no permiten a los encuestadores contactar a todas las personas de la muestra.
De nuevo, aquellos que se niegan a responder y no pueden ser contactados en su casa, pueden llegar a causar estragos sobre la muestra pues generalmente esta población tiene atributos y actitudes muy diferentes.
