Antes de realizar un trabajo de campo con los
entrevistadores, cada cuestionario debe ser probado en encuestados similares a
los que van a ser entrevistados en la encuesta real. Con base en este
experimento, podremos identificar las fallas del cuestionario y hacer los
ajustes necesarios.
Aunque pueda sonar extremista, la mayoría de los estudios
pilotos son hechos en cuartos pequeños con un espejo falso, para que se pueda
ver cómo va a ser la entrevista real, mientras que se observa y oye exactamente
lo que va a suceder en relación con las preguntas, las respuestas y el lenguaje
corporal.
Esto proporciona una excelente oportunidad para revisar
si:
- las instrucciones están claras para el
entrevistador;
- las preguntas están claras tanto para
quien entrevista como para quien responde;
- las preguntas suenan bien;
- las preguntas incomodan o ponen ansiosa
a la persona;
- quien responde se cansa y piensa menos
sus respuestas, y en qué punto ocurre esto;
- las preguntas reúnen los diferentes
tipos de respuestas que pretendemos obtener.
Cuando se probaron preguntas sobre identidad social, por
ejemplo, IDASA encontró que el planteamiento, "¿Cómo se denomina a
usted mismo?", estaba generando calificativos personales, tales como, "buena
persona" y "de mente abierta", lo cual no era lo que pretendían
averiguar. Fue entonces necesario crear una especie de contexto en el que la
persona respondiera la pregunta. Así, se reformuló a "Pensando en todos
los grupos en Sudáfrica...", y entonces se listaban varios tipos de grupos
y se preguntaba "… ¿En cuál considera usted que se encuentra?".
Las pruebas piloto usualmente llevan a que se vuelvan a
escribir, por lo menos, algunas preguntas, e incluso a borrar otras. Si en la
prueba piloto el cuestionario es muy extenso, se debe devolver al marco de
trabajo conceptual. Cuando son muchas áreas conceptuales, se debe eliminar un
tema completo que pueda ser interesante pero no vital, o deshacerse de una o
dos preguntas de cada área de conceptos.
Traducción
En una sociedad multilingüe, es imperativo que todos los
encuestados puedan responder las preguntas en el lenguaje que se sientan más
cómodos.
Aunque esto consume mucho tiempo, la mejor manera para
asegurarse que los cuestionarios significan lo que realmente se propuso, es
usar el método de "ciego doble" al traducir. Un grupo de lingüistas
toma el cuestionario original y lo traduce a los lenguajes deseados. Después otro
grupo de lingüistas toman esas versiones y lo traducen de nuevo al inglés (o al
idioma original).
En ese punto, la versión re-traducida necesita ser
comparada con la versión del idioma original. Cualquier diferencia debe ser
ajustada encontrando otra palabra que exprese mejor el concepto clave, ya sea
en el idioma original o en la traducción. En cualquier caso, nótese que si el
lenguaje original es cambiado, todas las demás traducciones necesitan ser
revisadas de acuerdo a esto.
Los buenos traductores no traducen simplemente cada
palabra. Deben ser capaces de decirle cuándo los entrevistados están habituados
a ciertas palabras clave en otros lenguajes, tales como "parliament"
(parlamento), con el fin de utilizar los términos apropiados en el cuestionario.
Métodos
para entrevistar
El método para entrevistar es esencial. Las respuestas a
las preguntas del cuestionario no son necesariamente independientes de la
manera como se obtienen.
Teléfono
Un método crecientemente popular es contactar a los
entrevistados por teléfono. Las encuestas por teléfono por lo general son menos
costosas, dado que no requieren que los entrevistadores viajen por todo el país
o la región hasta la casa de las personas, además de que pueden ser más
rápidas.
Un problema mayor se presenta debido a los porcentajes de
propiedad de línea telefónica. Incluso en los Estados Unidos, se ha estimado
que hacia principios de la década de los 90, un 5% de la población nacional (y
el 10% en algunos estados) no tenían teléfono.
El gran problema es que el tener teléfono no es aleatorio.
Es altamente asociado con los ingresos familiares. Aquellos que no poseen
teléfono generalmente tienen puntos de vista extremadamente diferentes en
cuanto a lo social y lo político, con respecto a quienes tienen teléfono. En
países en vía de desarrollo, la diferencia entre los que tienen y los que no
tienen teléfono impiden que las encuestas nacionales sean representativas,
puesto que no se pueden representar adecuadamente las opiniones de las familias
de bajos ingresos.
En los Estados Unidos, la organización Gallup una vez
estimó que las encuestas pre-electorales por teléfono eran cinco o seis puntos
más favorables para los republicanos que para los demócratas. Un ejemplo
impresionante ocurrió en 1992 en Sudáfrica, cuando el Human Sciences Research
Council (HSRC, Consejo de Investigación de Ciencias Humanas) utilizó una
encuesta por teléfono para proyectar que F.W. de Klerk tenía más apoyo que
Nelson Mandela en una carrera hipotética para la presidencia. El HSRC observó
que en las respuestas finales, habían pesado las proporciones raciales del
país. Lo que ellos olvidaron, es que aquellos africanos con teléfono no eran africanos
muy típicos en general.
Las encuestas por teléfono también hacen más fácil que
las personas decidan no participar en la encuesta, y por esta razón, que salgan
de la muestra. Como nos daremos cuenta más abajo, es importante no dejar que la
gente se autoexcluya de la muestra. Aún más, las encuestas por teléfono
raramente establecen la relación de confianza mutua posible que se presenta en
las entrevistas personales, necesarias para que los entrevistadores puedan
llevar a los entrevistados a temas controvertidos.
Las personas simplemente son más renuentes a expresar
actitudes negativas a extraños que no ven. Puesto que las encuestas por
teléfono tienen mayor probabilidad de incluir personas aisladas, éstas
generalmente se sesgan hacia una recopilación de datos menos negativos. En
algunas situaciones, sin embargo, la ausencia de contacto personal que se
presenta con las encuestas telefónicas, es preferible.
Correo
En las encuestas por correo, simplemente se envía por
correo el cuestionario a quien lo va a responder. El cuestionario entonces es
autoadministrado. Dado que revisten una labor y costos de envío relativamente
menores, tienden a ser más rentables.
Ahora bien, las encuestas por
correo tienden a recibir menores grados de respuesta. Recibir una tercera o
cuarta parte de respuestas frente a las encuestas enviadas, se considera un
gran éxito, aun cuando estas tazas necesitan de un gran esfuerzo para persuadir
a las personas para que respondan la encuesta. Se pueden sin embargo, ofrecer
otros incentivos, tales como premios u oportunidades para ganar premios.
En algunos lugares, la efectividad de los servicios
postales es un impedimento tanto por la calidad del servicio como por los altos
grados de analfabetismo. Por estas y otras razones personales, las encuestas
por correo sólo se llevan a cabo en grupos de enfoque específicos, usualmente
audiencias muy educadas, empresarios de alto nivel o de "élite".
Entrevistas
personales
Las entrevistas personales pueden establecer una relación
de confianza con quien responde, permitiendo la realización de preguntas más
sensibles y respuestas con mayor profundidad. Dado que el entrevistado puede ver
al entrevistador en entrevistas cara a cara, las características del
entrevistador, tales como género y raza pueden influir en las respuestas de los
entrevistados. Por consiguiente, en lugares como Sudáfrica, las compañías
encuestadoras usualmente tratan de asegurarse de que el entrevistador sea del
mismo sexo que el entrevistado. Si la encuesta se relaciona con cuestiones de
sexo o género, es importante que los entrevistadores sean del mismo sexo.
Las entrevistas personales tienden a ser costosas, dados
los costos del viaje y del trabajo. Sumado a lo anterior, las entrevistas
personales presentan muchos problemas logísticos que no tienen otros métodos.
Es tan simple como que usted se enfrenta a pasar por la puerta principal de
otra persona, absolutamente solo. Especialmente en Sudáfrica, los
"malos" vecindarios, los sistemas de seguridad en los edificios y
otros problemas menores, como los Rottweiller o los Doberman y los Pincher no
permiten a los encuestadores contactar a todas las personas de la muestra.
De nuevo, aquellos que se niegan a responder y no pueden
ser contactados en su casa, pueden llegar a causar estragos sobre la muestra
pues generalmente esta población tiene atributos y actitudes muy diferentes.
