Avant d’aller sur le terrain pour réaliser les entrevues, chaque questionnaire doit être mis à l’essai auprès de répondants ressemblant aux personnes qui seront interrogées lors du sondage à proprement parler. Grâce à cette mise à l’essai, il sera possible de mettre en lumière des lacunes que pourrait comporter le questionnaire et d’apporter les ajustements nécessaires.
Même si cela peut sembler des plus orwellien, la plupart des études pilotes se font dans une petite salle comprenant un mur fait d’un miroir, derrière lequel une personne pourra observer l’entrevue, entendre ce qui se dit au sujet des questions et des réponses et voir le langage corporel des gens.
Ceci offre une excellente occasion de vérifier si :
- les instructions sont claires pour l’intervieweur;
- les questions sont claires pour l’intervieweur et le répondant;
- les questions se lisent bien;
- les questions mettent les répondants mal à l’aise ou créent de l’anxiété chez ceux-ci;
- les répondants se fatiguent et réfléchissent moins à leurs réponses, et à quel moment cela se produit;
- les questions permettent d’obtenir les réponses qui nous intéressent réellement.
Par exemple, lorsque la firme Idasa a mis à l’essai les questions sur l’identité sociale, elle a trouvé que la formulation « comment vous décrivez-vous? » donnaient des réponses très personnelles, telles que « une personne gentille » ou « une personne à l’esprit ouvert »; or, ceci n’était pas ce que la firme cherchait à savoir. Ainsi, il a fallu fournir un élément de contexte en quelque sorte afin que la personne interrogée puisse répondre comme il se devait. La question a été modifiée pour se lire comme suit : « Lorsque vous pensez à tous les groupes qui existent en Afrique du Sud… » (une liste de divers groupes était fournie) « …à quel groupe diriez-vous que vous appartenez avant tout? »
D’habitude, l’essai pilote ramène les gens à la planche à dessin où ils pourront réécrire ou supprimer certaines questions. Si cet essai pilote révèle que le questionnaire est trop long, le cadre conceptuel devra être révisé. En dernière analyse, il faudra prendre une décision pour déterminer si, oui ou non, il faut retirer du sondage des éléments conceptuels au grand complet, qui pourraient être intéressants mais non essentiels, ou encore abandonner une ou deux questions de chaque élément conceptuel.
La traduction
Dans une société multilingue, il est essentiel que chaque répondant puisse répondre aux questions dans la langue où il se sent le plus à l’aise.
Même si cela est long, la meilleure façon de s’assurer que les questionnaires disent ce qu’ils doivent réellement dire après la traduction, c’est d’utiliser la méthode « en double aveugle ». Ainsi, des linguistes prennent le questionnaire original et le traduisent dans les langues désirées. Puis, d’autres linguistes prennent ces versions et les traduisent en anglais (ou dans la langue d’origine).
À ce moment, la version retraduite doit être vérifiée par rapport à la langue originale. Toute différence devra être corrigée en trouvant un mot, dans la langue originale ou dans la langue de destination, qui exprime le mieux le concept principal. Si tel est le cas, il faudra prendre note que les changements apportés à la langue d’origine nécessiteront de revoir toutes les autres traductions en conséquence.
Ceci dit, les bons traducteurs ne traduisent pas simplement des mots. Ils doivent connaître les mots que les personnes interrogées utilisent habituellement lorsqu’elles s’expriment dans leur langue, p. ex. parlement, afin que le bon terme soit utilisé.
La méthode d’entrevue
Un élément clé réside dans la méthode d’entrevue. En effet, il peut y avoir un lien entre les réponses aux questions du sondage et la façon dont lesdites réponses sont obtenues.
Le téléphone
Une méthode de plus en plus populaire consiste à contacter les répondants par téléphone. Les sondages téléphoniques sont souvent moins coûteux car les intervieweurs n’ont pas à parcourir tout le pays ou toute une région ou aller chez les gens. Les sondages peuvent donc se faire plus rapidement.
Cependant, un problème important réside dans le taux réel de personnes possédant un téléphone. Au début des années 1990, aux États-Unis, on estimait tout de même que 5% de la population (et 10 % dans certains États) ne disposait toujours pas de téléphone.
Le grand problème est que posséder un téléphone ne découle pas du hasard : c’est étroitement lié au revenu familial. Or, il se peut fort bien que les personnes n’ayant pas de téléphone aient des opinions politiques et sociales extrêmement différentes de celles qui en ont un. Dans les pays en développement, peu de gens possèdent un téléphone, ou alors c’est très inégal d’un endroit à un autre; pour cette raison, il est impossible de mener des sondages téléphoniques à l’échelle nationale, car ceux-ci souffriraient d’une importante sous-représentation des ménages à faible revenu.
Aux États-Unis, l’organisation Gallup a estimé un jour que les sondages téléphoniques préélectoraux donnaient un avantage de cinq à six points aux candidats républicains par rapport aux candidats démocrates. En Afrique du Sud, un exemple frappant a eu lieu en 1992 : le Conseil de recherche sur les sciences humaines (CRSH) a procédé à un sondage téléphonique et projeté que, dans une hypothétique course à la présidence, F.W. de Klerk obtiendrait plus d’appuis que Nelson Mandela. Le CRSH a indiqué que les réponses finales tenaient compte correctement des proportions raciales du pays. Mais il avait oublié une chose : les Sud-Africains disposant de téléphones n’étaient pas très typiques des Sud-Africains en général.
Lors d’un sondage téléphonique, les gens peuvent plus facilement s’en retirer et, en conséquence, ne pas faire partie de l’échantillon. Comme il est indiqué ci-dessous, il importe de ne pas laisser les gens s’exclure eux-mêmes de l’échantillon. Par ailleurs, les sondages téléphoniques permettent rarement d’établir le rapport qu’il est possible d’avoir lors d’une entrevue en personne, lequel rapport est nécessaire pour permettre aux intervieweurs d’amener les répondants à s’exprimer sur des sujets à controverse.
Les gens hésitent simplement davantage à exprimer des attitudes négatives auprès d’étrangers qu’ils ne voient pas. Puisque les échantillons téléphoniques comprendront probablement aussi des personnes marginalisées, ces sondages auront tendance à accorder plus d’importance aux données qui sont moins négatives. Ceci dit, dans certaines situations, l’absence d’un contact direct peut rendre les sondages téléphoniques préférables.
La poste
Dans un sondage par la poste, un questionnaire est simplement envoyé au répondant par la poste. Ce dernier répond lui-même au questionnaire. Puisque ce genre de sondage implique passablement peu d’effort et de frais postaux, il a tendance à être assez rentable.
Ceci dit, les sondages par la poste ont tendance aussi à obtenir un faible taux de réponse. Lorsque l’on obtient un taux de retour d’un tiers ou d’un quart, cela est considéré comme un grand succès – et même ces taux demandent passablement de travail, p. ex. contacter les récipiendaires une deuxième ou une troisième fois pour les inciter à remplir le questionnaire et à le retourner. D’autres éléments de motivation peuvent être offerts, tels que des prix ou la possibilité de gagner des prix.
À certains endroits, la qualité du service postal et le niveau élevé d’analphabétisme font obstacle à l’efficacité des sondages par la poste. Pour ces raisons et d’autres, en général les sondages par la poste sont effectués auprès de publics cibles bien précis, plus souvent des gens très instruits, des gestionnaires ou des décideurs de haut niveau.
Les entrevues en personne
Les entrevues en personne peuvent contribuer à établir une relation de confiance avec le répondant, permettant ainsi de poser des questions plus délicates et d’obtenir des réponses plus approfondies. En revanche, puisque les répondants sont face à face avec l’intervieweur, les caractéristiques de l’intervieweur telles que la race et le genre peuvent influencer la volonté des répondants de donner des réponses qui ne sont pas acceptables socialement sur les questions relatives à la race et au genre. Ainsi, en Afrique du Sud par exemple, souvent les firmes de sondage chercheront à s’assurer que les intervieweurs sont de la même race que la personne interrogée. Si le sondage porte sur des questions relatives au sexe ou au genre, on s’efforcera d’avoir des intervieweurs qui sont du même sexe que les répondants.
Les entrevues en personne ont tendance à être onéreuses en raison des coûts associés à la main-d’œuvre et aux déplacements. De plus, les entrevues en personne doivent surmonter plusieurs obstacles logistiques auxquels ne sont pas confrontées les autres méthodes. Ainsi, il faut franchir la barrière de la résidence d’une personne, sans parler du seuil de la porte. En Afrique du Sud, en particulier, les « mauvais » quartiers, les systèmes de sécurité d’immeubles et d’autres problèmes mineurs, tels que les chiens rottweiler ou doberman-pinscher, empêchent souvent les sondeurs de rencontrer tous les gens faisant partie de l’échantillon.
Une fois de plus, si elles ne sont pas vérifiées, les non réponses (soit les personnes ne pouvant être rejointes chez elles ou refusant d’être interrogées) peuvent être problématiques pour un échantillon, car les attitudes et les caractéristiques de ces personnes diffèrent presque toujours de celles du reste de la population.
