De manière générale, les questions devraient mesurer exactement ce qu’elles visent à mesurer. Elles devraient être aussi claires et simples que possible, en particulièrement lorsque les niveaux d’instruction et d’alphabétisation sont faibles. En conséquence, le choix des mots et la formulation sont cruciaux.
Pour se guider, il peut s’avérer utile de jeter un coup d’œil au travail d’analystes respectés dans le domaine, par exemple la participation au scrutin, et d’examiner le genre de questions qu’ils posent. Au niveau international, quelles sont les questions que posent d’autres personnes en vue de mesurer l’efficacité ou la participation probable au scrutin?
Poser des questions que d’autres ont posées permet également de comparer ses propres résultats avec ce qui a été trouvé ailleurs et à d’autres moments. C’est crucial. Un quelconque résultat provenant d’un sondage – p. ex. 34 % des Sud-Africains ne s’intéressent pas à la politique – peut, en soi, signifier quelque chose. Mais cette donnée nous en dirait davantage si nous savions qu’elle est beaucoup plus élevée, beaucoup plus basse ou si elle est semblable au résultat que l’on obtient dans d’autres pays.
Ceci dit, un contexte particulier peut exiger qu’une question soit formulée de manière tout à fait unique. La ligne est effectivement bien mince entre la préparation de questions qui sont significatives dans un contexte prévis, et la production de résultats dont la valeur comparable contribue à accroître notre compréhension du contexte local.
Au-delà de ces commentaires généraux, la personne qui prépare les questions devra faire attention à certains pièges qui pourraient se poser.
Les questions ouvertes
Ces questions permettent à la personne interrogée de répondre spontanément, avec ses propres mots. Par exemple, plutôt que de demander aux gens d’évaluer l’importance de plusieurs raisons qui peuvent les amener à voter, sur une échelle allant de « très important » à « pas du tout important », on pourrait leur demander : « quelles sont les raisons les plus importantes de voter? » Dans un tel cas, ils n’ont pas à présumer ce qui doit être prouvé.
Cependant, les questions ouvertes sont très coûteuses. La plupart des firmes de sondages ne permettent habituellement que de trois à quatre questions dans leurs soumissions. Une question typique, tel que « quels sont les problèmes les plus importants auxquels le pays fait face?», peut obtenir des dizaines de réponses différentes. Or, chacune de ces réponses doit être examinée et classée dans une catégorie ou « codifiée » dans une grande catégorie qui est considérée comme étant utile. Ce processus est long et augmente considérablement les coûts du travail.
La question dirigée est celle qui comprend un ensemble fermé de réponses à partir duquel les gens peuvent choisir. Elle présente aussi un éventail de problèmes possibles qui sont abordés de manière plus détaillée ci-dessous.
La formulation
La formulation renvoie à la façon dont les enjeux importants sont présentés ou aux mots utilisés pour une question de sondage. Quels aspects d’un enjeu, de manière générale, devrait-on chercher à connaître? En matière de politiques, quelles sont les options que l’on devrait soumettre aux répondants? Une question sur la localisation d’un parlement devrait-elle viser à examiner les questions de coûts et d’efficacité? Par exemple, l’Afrique du Sud devrait-elle avoir une capitale administrative à Pretoria et une capitale législative à Cape Town? Ou devraient-elles être regroupées dans une seule ville? Ou encore, la question posée devrait-elle porter sur l’idée de mettre fin au statu quo? Autre exemple : le parlement devrait-il demeurer à Cape Town, où il est présentement, ou devrait-il être déplacé à Pretoria ou ailleurs? Ces questions peuvent produire des résultats fort différents, avec des incidences politiques très distinctes.
Différents cadres peuvent produire des résultats extrêmement différents. Or, il est quasi impossible de déterminer les types de cadres auxquels recourir et ces décisions susciteront presque toujours des critiques d’un côté ou de l’autre de l’échiquier politique.
L’ordre des questions
L’ordre des questions peut orienter les réponses et ainsi modifier le contexte général dans lequel les répondants réfléchissent à un enjeu. Comme les réponses à une question peuvent être influencées par les réponses aux précédentes, les questions qui sont en elles-mêmes plutôt impartiales peuvent créer un effet très différent lorsqu’elles sont posées les unes à la suite des autres. Par exemple, on pourrait observer une tendance à donner des réponses aux questions sur la participation probable au scrutin qui laisseront croire à une participation possible plus élevée si les questions précédentes interrogeaient les gens sur le devoir de voter, leur rappelant ainsi cette obligation.
L’ordre des réponses
De même, l’ordre de présentation des réponses que l’on peut donner peut avoir un effet important sur les résultats. Lorsque les réponses dites extrêmes sont placées avant une réponse plus modérée – l’effet de « contraste » – les réponses extrêmes augmentent la probabilité de choisir la réponse suivante, qui sera plus modérée.
L’incidence de l’ordre diffère également selon la méthode de l’entrevue. Avec les sondages téléphoniques ou les entrevues en personne, où les questions sont lues, il y a un « effet de nouveauté » qui amènent les répondants à choisir les dernières options qui leur sont présentées parce qu’elles sont plus récentes. À l’inverse, les présentations visuelles comme les cartons visuels ou les questionnaires envoyés par le poste peuvent avoir « un effet d’amorce » : les gens auront tendance à opter pour les premières options parce qu’ils seront plus susceptibles de réfléchir à celles-ci.
Les questions unilatérales ou les questions à choix forcé
Les questions unilatérales demandent aux gens d’être d’accord ou en désaccord avec une affirmation, de soutenir une position ou de s’y opposer, ou jusqu’à un certain point de formuler une opinion. Avec les questions à choix forcé, le sondeur soumet des options équilibrées, telles que : « voulez-vous que le gouvernement mette en place X politique ou devrait-il opter pour la politique Y? »
L’ensemble des réponses « être d’accord » ou « être en désaccord » a tendance à influencer les résultats en faveur des réponses « être d’accord », surtout quand le niveau des connaissances est faible. En particulier, cela peut être le cas des répondants les moins instruits s’y connaissant peu en matière de politique. Lorsque les gens ont peu réfléchi à un sujet, il est très peu probable qu’ils élaboreront des arguments en opposition à des affirmations unilatérales et ils seront plus disposés à acquiescer.
La solution usuelle est d’offrir aux personnes interrogées une deuxième ou même une troisième option qui ait du tonus – un choix forcé. Ceci donnera un argument contraire aux répondants et, en général, cela permettra de réduire le nombre de personnes optant pour la première option proposée dans un format unilatéral, sans compter que cela fera évoluer la répartition des opinions. Ceci dit, le poids des arguments et des options que l’on présente aux gens est crucial, car tous ne sont pas aussi efficaces. Soumettre une deuxième option qui soit solide place également les chercheurs dans une position inconfortable, soit de façonner l’opinion publique en déterminant les options à inclure tout autant que leur substance.
Les questions à deux niveaux
S’il y a un piège usuel à éviter, c’est la question à deux niveaux. Dans ce cas, on propose une option et une solution. Une illustration serait : « approuvez-vous une augmentation des taxes pour en finir avec le déficit budgétaire? » Il pourrait s’avérer difficile de comprendre ce que les réponses des gens veulent vraiment dire.
Par exemple, un « oui » signifierait-t-il qu’ils approuvent une augmentation des taxes, qu’ils veulent se débarrasser du déficit ou les deux?
Une « question à un niveau et demi » contient les qualités qui amèneront les personnes interrogées à opter pour une solution précise.
Les mots clés
Un autre élément pourrait présenter des difficultés, soit la terminologie utilisée pour décrire l’objet ou le référent d’une proposition donnée. Le financement du gouvernement doit-il viser à s’occuper de la dépendance aux drogues ou de la réhabilitation dans le cas des personnes aux prises avec de tels problèmes, de l’assistance aux pauvres ou de bien être, de l’aide aux pauvres ou de l’amélioration de leurs conditions? Demande-t-on aux personnes interrogées d’approuver la politique du président ou la façon dont il s’occupe de sa politique?
Quels mots décrivent le véritable choix que l’on demande aux répondants de faire? Leur demande-t-on d’approuver, d’appuyer ou d’être en faveur de quelque chose, ou de l’évaluer sur une échelle comportant les éléments excellent, passablement bon, juste bien ou mauvais?
Ce problème prend une dimension particulière lorsque l’on associe des mots à la mode, soit des mots visant à amener les gens à répondre de manière émotive, avec des réponses qui se veulent des solutions de rechange. Ces mots pourraient tout aussi bien inciter les gens à faire des calculs partisans et idéologiques en ce qui a trait aux réponses qu’ils fourniront, que favoriser des réponses moins recherchées. Aux États-Unis, le mot communiste était bien connu pour son incidence sur les réponses aux questions concernant la politique étrangère.
La mention du président a presque toujours une grande incidence sur les résultats, généralement en faveur de ce que la Maison-Blanche a pu faire. En Afrique du Sud, un sondeur pourrait bien obtenir des résultats fort différents s’il demandait aux gens de comparer leur vie actuelle à celle d’il y a 20 ans, plutôt que de demander d’établir une comparaison avec la vie sous le régime de l’apartheid.
Les « je ne sais pas »
Le format des questions influence également le nombre de personnes qui expriment une opinion. On obtient un plus grande nombre de « (je) ne sais pas » avec des questions de type d’accord/en désaccord, les questions portant sur des sujets abstraits ou éloignés des gens, et celles qui sont complexes (p. ex. les questions qui exigent de longues explications ou qui demandent aux personnes interrogées de se projeter dans l’avenir).
Le nombre de « je ne sais pas » peut aussi être affecté par le recours à un filtre, tel que « n’avez-vous pas eu l’occasion de réfléchir à ceci? » En général, les filtres accroissent le nombre absolu des réponses « je ne sais pas » en donnant une légitimité aux non réponses. Mais les filtres peuvent également influencer la répartition détaillée de l’opinion. Il est probable que les personnes exprimant une opinion alors qu’elles n’en n’ont pas vraiment le feront à partir des différentes options de réponses soumises et qu’elles l’auront fait au hasard. Le problème devient encore plus aigu parce que les indécis (ceux qui donnent des réponses différentes selon les types et le format des questions) sont difficiles à prévoir et il ne semble pas y avoir un trait unique qui les caractérise.
Toutes les difficultés qui pourraient survenir et qui sont passées en revue dans cette section existent en raison de la façon dont les être humains réfléchissent. La manière dont les humains traitent l’information est grandement influencée par la façon dont cette information leur est présentée. Ceci est tout aussi vrai dans le cas d’un sondage. Les gens ne font pas une recherche exhaustive dans leur mémoire à long terme pour trouver des exemples représentatifs d’une opinion ou d’une attitude. Plutôt, ils recherchent l’information la plus accessible issue soit de l’histoire récente, soit du contexte afférent au questionnaire et à l’entrevue.
Il n’y a pas de réponse simple. Le sens d’une question est toujours tributaire en partie de sa position dans le questionnaire. La réflexion que nous faisons au sujet de nos réponses est toujours tributaire en partie des options qui nous sont offertes et de la façon dont elles nous sont présentées.
Outre quelques règles pratiques bien établies, il ne semble pas y avoir de solutions évidentes à plusieurs problèmes associés à la formulation. Certes, il faut chercher à éviter les questions « polluantes »; mais les questions « propres », dépouillées de tout contexte, peuvent s’avérer irréalistes et non pertinentes. Souvent, les mots à la mode et les associations à deux niveaux permettront de donner aux questions d’un sondage un certain réalisme d’un point de vue politique.
