Avant d'être confiés aux chercheurs sur le terrain, chaque questionnaire doit être éprouvé en le soumettant à des personnes similaires à celles qui devront y répondre dans le cadre du véritable sondage. En se basant sur cet essai, on peut identifier les faiblesses du questionnaire et faire les ajustements nécessaires.
Bien que cela puisse sembler extrême, la plupart des projets pilotes sont effectués dans une petite salle avec un miroir à un sens, qui permet d'observer et d'entendre l'entrevue et de noter le langage corporel des gens lorsqu'ils répondent aux questions.
Ceci fournit une excellente occasion de vérifier les points suivants :
- si les instructions sont claires pour l'intervieweur;
- si les questions sont claires pour l'intervieweur et pour la personne qui y répond;
- si les questions se lisent bien;
- si les questions rendent la personne mal à l'aise ou anxieuse;
- si les personnes qui répondent aux questions se fatiguent et pensent moins avant de
répondre, et à quel moment ceci a lieu;
- si les questions fournissent les types de réponse qui nous intéressent vraiment.
Lorsqu'on évalue les questions sur l'identité sociale, par exemple, il peut arriver que la tournure de phrase « Comment vous décririez-vous? » suscite des étiquettes très personnelles telles que « personne gentille » et « à l'esprit ouvert », ce qui n'est pas du tout ce que l'on cherche à obtenir. Il faut donc fournir un contexte quelconque dans lequel la personne doit répondre à la question, et reformuler la question ainsi : « En tenant compte de tous les groupes en Afrique du Sud...? », et énumérer une variété de groupes différents pour poursuivre avec « À quel groupe pensez-vous appartenir le plus? »
Des tests pilotes ramènent habituellement au point de départ où on doit reformuler certaines questions ou en éliminer complètement. Si le questionnaire semble trop long d'après le test pilote, on doit reconsidérer la charpente conceptuelle. Au pire, on doit décider si on abandonne des concepts entiers du sondage, qui sont peut-être intéressants mais pas essentiels. Ou encore, on peut abandonner une ou deux questions de chaque concept.
Traduction
Dans une société multilingue, il est primordial que chacun soit en mesure de répondre aux questions dans la langue avec laquelle il est le plus à l'aise.
Bien que cela exige beaucoup de temps, la meilleure façon de s'assurer que les questionnaires expriment ce qu'ils doivent exprimer après la traduction, est d'utiliser la méthode de la « double traduction ». Un groupe de linguistes traduit le questionnaire original vers la langue désirée. Ensuite, un autre groupe de linguistes traduit cette version vers la langue originale. À ce moment, la version retraduite est comparée à la version originale. Toutes les différences doivent être éliminées en trouvant soit un mot dans la langue originale ou dans la langue traduite, qui exprimera mieux le concept clé. Toutefois, si la langue originale est modifiée, toutes les autres traductions doivent être révisées en conséquence.
Les meilleurs traducteurs ne font pas que traduire chaque mot. Ils doivent être en mesure d'indiquer quels mots clés sont familiers dans une autre langue aux personnes qui répondront au questionnaire, afin que ces mots se retrouvent dans les questions.
Méthode de l'entrevue
La méthode utilisée pour l'entrevue est un élément clé. Les réponses aux questions de sondage ne sont pas nécessairement indépendantes de la façon dont elles sont obtenues.
Sondages par téléphone
Les sondages faits au téléphone sont de plus en plus populaires. Ils sont peu coûteux car les intervieweurs n'ont pas besoin de se déplacer et ils sont souvent plus rapides.
Un des grands problèmes que représentent les sondages par téléphone est le taux de gens qui possèdent un appareil téléphonique. Même aux États-Unis, on a estimé, au début des années 1990, que 5 % de la population nationale (et 10 % dans certains États) ne possédaient pas un téléphone. Le problème est que le fait de posséder un téléphone n'est pas aléatoire. Il est directement proportionnel au revenu domestique. Ceux qui n'ont pas de téléphone risquent d'avoir des opinions politiques et sociales très différentes de ceux qui ont des téléphones. Dans les pays en développement, le taux peu élevé et irrégulier de gens qui possèdent un téléphone rend les sondages téléphoniques peu représentatifs au niveau national, étant donné qu'ils ne représentent pas les ménages à faible revenu.
Aux États-Unis, l'organisme Gallup a déjà estimé que les sondages préélectoraux effectués par téléphone étaient plus favorables aux candidats républicains qu'ils ne l'étaient aux démocrates, et ce, par cinq ou six points. Un bon exemple de ce phénomène a eu lieu en Afrique du Sud en 1992, lorsque le Conseil des recherches en sciences humaines (CRSH) a utilisé un sondage par téléphone qui a prévu que F.W. de Klerk avait plus d'appui que ne l'avait Nelson Mandela, dans l'hypothèse d'une course à la présidence. Les membres du CRSH avaient conclu qu'ils avaient évalué les réponses en proportion des groupes ethniques du pays. Toutefois, ils avaient oublié que les Africains qui possédaient un téléphone n'étaient pas des Africains typiques.
Les sondages par téléphone rendent plus facile le retrait d'une personne de l'échantillon. Tel que mentionné ci-dessous, il est important de ne pas donner l'occasion aux gens de se retirer de l'échantillon. De plus, les entrevues par téléphone ne permettent pas d'établir la relation privilégiée que des entrevues personnelles, qui permettent à l'intervieweur de diriger les participants vers des sujets controversés. Les gens sont peu enclins à exprimer des attitudes négatives avec des étrangers qu'ils ne peuvent pas voir. Vu que les sondages par téléphone ont tendance à inclure des personnes qui se sentent isolées, ils sont généralement plus biaisés envers des données moins négatives. Toutefois, dans certaines situations, l'absence de contact direct peut rendre les sondages par téléphone préférables.
Sondages par la poste
Dans un sondage par la poste, on ne fait que poster le sondage aux gens. Le questionnaire est donc auto-administré. Vu qu'ils n'impliquent que des frais de poste et de main-d'oeuvre mineurs, ils sont généralement économiques.
D'un autre côté, les sondages par la poste ont un taux de réponse peu élevé. On considère le fait d'obtenir un quart à un tiers du taux de retour des questionnaires un grand succès et même ces taux très peu élevés requièrent un grand effort et beaucoup de travail. Il faut deux à trois rappels pour persuader les gens de répondre au questionnaire et de le retourner. D'autres formes de motivation, telles qu'offrir des prix ou des chances de gagner des prix, sont parfois utilisées.
À certains endroits, le succès des sondages par la poste est proportionnel à la qualité du service postal de la région et au niveau d'alphabétisation. C'est pour ces raisons et tant d'autres que les sondages par la poste sont utilisés seulement avec certains publics tels que les gens très éduqués, des gestionnaires haut-placés ou des « décideurs de l'élite ».
Sondages en personne
Les entrevues personnelles permettent d'établir une relation de confiance avec la personne qui répond au sondage, ce qui permet des questions plus délicates et qui vont plus en profondeur. Vu que les personnes peuvent voir leur intervieweur, les caractéristiques de ce dernier, telles que son ethnicité et son sexe, risquent d'influencer la volonté des gens à offrir des réponses non désirables socialement à des questions de race et de sexe. Ainsi, dans un pays comme l'Afrique du Sud, les firmes de sondage essaient habituellement de s'assurer que l'intervieweur soit de la même race que la personne qui répond aux questions. Si le sondage portait sur le sexe ou sur des questions de sexe, on tenterait de s'assurer que les intervieweurs soient du même sexe.
Les entrevues personnelles sont très coûteuses, étant donné les frais de déplacement et de main-d'oeuvre nécessaires. De plus, les entrevues personnelles donnent lieu à plusieurs obstacles logistiques. En d'autres mots, on fait face à la nécessité de traverser une cour clôturée, sans compter la porte de la résidence. En Afrique du Sud, surtout dans les « mauvais » quartiers, les systèmes de sécurité des édifices à appartements et d'autres problèmes mineurs tels que les chiens Rottweiller ou Doberman, empêchent souvent les intervieweurs de contacter qui que ce soit dans l'échantillon voulu.
Encore une fois, les gens qu'on ne peut pas rejoindre ou qui refusent de participer au sondage peuvent ruiner un échantillon, car ce sont eux dont les attitudes et attributs diffèrent de ceux de la population en général.
