En général, les questions doivent permettre de mesurer précisement ce que l'on veut mesurer. Elles doivent être aussi claires et accessibles que possible, surtout dans les endroits où les niveaux d'éducation et d'alphabétisation sont moins élevés. La formulation est donc cruciale.
Il est utile d'examiner le travail d'analystes reconnus dans un domaine, tel que le taux de participation à l'élection, et le type de questions qu'ils posent. Quelles sont les questions que les experts, à l'échelle internationale, posent dans le but de mesurer l'efficacité ou le taux de participation probable à une élection?
Le fait de poser des questions qui ont déjà été posées ailleurs nous permet de comparer nos résultats à ce que l'on a trouvé et conclu dans d'autres endroits, à différents moments. Ceci est crucial. N'importe quel résultat d'un sondage -- par exemple, 34 % des Sud-Africains ne s'intéressent pas à la politique -- peut être significatif en soi. D'un autre côté, il peut l'être davantage si le niveau d'intérêt est beaucoup plus élevé, beaucoup plus bas ou équivalent à celui d'autres pays.
Votre contexte risque cependant d'exiger une question structurée de façon unique. Ainsi, il y a une différence entre le développement de questions significatives au contexte local et les résultats dont la comparaison aide à accroître la compréhension de la dynamique locale.
Au-delà de ces observations générales, il y a bon nombre de pièges potentiels que le concepteur de questions devra comprendre.
Questions ouvertes
Ces questions permettent aux personnes interrogées de répondre spontanément. Au lieu de demander aux gens d'évaluer l'importance de plusieurs raisons possibles de voter, sur une échelle de « très important » à « peu important » par exemple, on leur demanderait,
« Quelles sont les raisons les plus importantes de voter? » De cette façon, les personnes ne présumeront pas ce qui doit être prouvé.
Les questions ouvertes sont coûteuses. La plupart des firmes de sondages ne posent que trois ou quatre questions de ce genre par sondage. Une question typique telle que « Quels sont les problèmes les plus importants auxquels le pays fait face? » peut susciter une vingtaine de réponses différentes. Toutes ces réponses doivent être examinées et catégorisées ou « codées » dans des catégories plus générales, qui sont considérées pratiques et utiles. Il s'agit là d'un processus très long et très dispendieux en main-d'oeuvre.
Les questions fermées, qui offrent un choix de réponses très restreint, présentent aussi des problèmes potentiels.
Encadrement
L'encadrement réfère à la façon dont on présente, ou « encadre », les questions importantes dans un sondage. Quels aspects doit-on inclure? Quel choix de politiques doit-on couvrir? Est-ce qu'une question sur le lieu d'un parlement devrait toucher aux coûts et à l'efficacité? Par exemple, faut-il demander si l'Afrique du Sud devrait avoir une capitale administrative à Pretoria, et une capitale législative à Le Cap? Ou si elles devraient être fusionnées dans la même ville? Ou est-ce que la question devrait toucher plutôt le changement au statu quo? Le parlement devrait-il demeurer au Cap ou être relocalisé à Pretoria ou ailleurs? Ces questions risquent de recevoir des réponses différentes, avec de très différentes implications politiques.
Tandis que différents encadrements peuvent mener à autant de différents résultats, le choix des encadrements est presque impossible à résoudre et va presque toujours susciter la critique dans le milieu politique.
L'ordre des questions
L'ordre des questions peut influencer les réponses en élargissant le contexte auquel les personnes se réfèrent lorsqu'elles répondent aux questions. Étant donné que les réponses à une question peuvent être influencées par les réponses aux questions précédentes, les questions non biaisées produiront un effet différent lorsqu'elles sont posées dans une combinaison de questions. Par exemple, des questions portant sur le taux de participation à l'élection risquent d'être biaisées en faveur d'un taux plus élevé si celles-ci sont précédées par des questions portant sur le devoir de voter, ce qui rappelle aux gens ce devoir.
L'ordre des réponses
L'ordre dans lequel les réponses sont classées risque d'avoir un effet important sur les résultats. Lorsque des questions qui suscitent des réponses extrêmes précèdent des questions qui suscitent des réponses modérées -- l'effet « contraste » -- les réponses extrêmes précédentes augmentent la probabilité de choisir une réponse plus modérée à la question suivante.
L'effet qu'a l'ordre diffère selon la méthode d'entrevue utilisée. Avec les sondages par téléphone ou les entrevues personnelles où les réponses sont lues à voix haute, il y a un
« effet de récence », où les participants ont tendance à opter pour les derniers choix de réponse, car ils ont plus de temps pour y penser qu'aux choix qui les ont précédés. Au contraire, les représentations visuelles telles des pancartes ou des questionnaires reçus par la poste risquent d'avoir un « effet d'imprégnation », où les personnes ont tendance à opter pour les premiers choix de réponse, car elles sont portées à y penser davantage.
Questions unilatérales et questions à choix multiples
Les questions « unilatérales » veulent que les gens soient en accord ou en désaccord avec la déclaration proposée, qu'ils soient en faveur ou non de la prise de position, ou qu'ils déclarent un certain degré d'opinion. Les questions à « choix multiples » sont utilisées pour proposer des options équilibrées : « Êtes-vous en faveur de la politique X ou de la politique Y? »
Les choix de réponses limités à « d'accord » ou « en désaccord » ont tendance à biaiser les résultats en faveur du « d'accord », surtout quand le niveau de connaissances est moins élevé. Les personnes moins éduquées qui ont peu d'expérience de la politique sont susceptibles à ces effets. Lorsque les gens ont consacré peu de temps à penser à un sujet, ils ont moins tendance à développer des arguments contre des déclarations unilatérales et ont plus tendance à aquiescer.
La solution typique est d'offrir un deuxième ou même un troisième choix indépendant -- un choix forcé, qui fournit aux personnes un argument contraire. Cette méthode diminue généralement le nombre de gens en faveur du premier choix dans un format unilatéral et change aussi la distribution des opinions. Toutefois, la force des arguments et choix présentés est importante -- ils ne sont pas tous aussi efficaces les uns que les autres. La création d'un deuxième choix indépendant fait en sorte que les chercheurs influencent et façonnent l'opinion publique par le fait même de décider quels choix seront inclus dans le sondage et quel poids auront ces choix.
Questions superposées
Un piège à éviter est celui des questions superposées, où un choix est jumelé à une solution. Par exemple, « Approuvez-vous d'une augmentation des taxes afin d'éliminer le déficit budgétaire? » Les personnes pourraient ne pas bien saisir ce que signifiera leur réponse. Est-ce qu'un « oui » signifie qu'ils approuvent de l'augmentation des taxes, ou de la réduction du déficit ou des deux?
Un moyen terme serait une question qui contient des qualifications qui pourraient mener les personnes à opter pour un choix plus spécifique.
Mots clés
Un autre domaine qui peut présenter des difficultés est la formulation utilisée dans une proposition ou pour décrire un objet. Les subventions gouvernementales sont-elles conçues pour traiter la « toxicomanie » ou la « désintoxication », pour « aider les pauvres » ou pour le « bien-être social » ou encore, pour « améliorer les conditions de vie des pauvres »? Demande-t-on aux gens s'ils approuvent des « politiques du président » ou s'ils approuvent de « la façon dont il met en oeuvre ces politiques »?
Quels mots décrivent le choix que doivent faire les personnes qui répondent au sondage? Leur demande-t-on « d'approuver », « d'appuyer » ou de « favoriser » une déclaration, ou encore de lui donner une cote selon une échelle qui va de « excellent » à « très bien », « acceptable » et « pauvre »?
Un cas particulier de ce problème est celui du « mot à la mode », ou de mots qui évoquent des sentiments chez les gens, dans le choix de réponse. Ces mots donnent prise aux idéologies, à la partialité et aux réponses moins éduquées. Aux États-Unis, le mot
« communiste » était connu pour ses effets sur les réponses aux questions sur la politique étrangère. La simple mention du président a presque toujours un impact marqué sur les résultats, habituellement en faveur de tout ce que la Maison blanche veut faire. En Afrique du Sud, on pourrait obtenir des résultats très différents si on demandait aux citoyens de comparer leur style de vie à celui qu'ils avaient dix ans auparavant, ou, si on leur demandait de le comparer à la « vie dans l'apartheid ».
Les « je-ne-sais-pas »
La façon dont on pose la question peut influencer le nombre de personnes qui offriront une opinion. Le niveau des réponses du genre « je-ne-sais-pas » augmente avec les questions d'accord/en désaccord, avec les questions portant sur des sujets vagues ou abstraits et avec celles qui impliquent une tâche plus compliquée (par exemple, des questions qui requièrent de longues explications ou qui exigent de faire des projections dans le futur).
Le niveau des « je-ne-sais-pas » peut aussi être influencé par l'utilisation d'un « filtre » tel que « Vous n'avez pas eu la chance de penser à ceci? » Les filtres augmentent habituellement le nombre des « je-ne-sais-pas » en légitimant l'absence de réponse. Les filtres peuvent aussi affecter la distribution substantive d'opinions. Ceux qui ont tendance à donner une opinion, même lorsqu'ils n'en ont pas vraiment, n'arrivent pas aux options diverses de réponses de manière aléatoire. Cela devient davantage problématique car les « indécis » (ceux qui donnent des réponses différentes à différents types de questions) sont difficiles à prédire et ne semblent pas être faciles à caractériser.
Toutes les difficultés potentielles discutées dans ce fichier découlent de la façon de penser des êtres humains. La méthode dont ils filtrent l'information est grandement influencée par la façon dont cette information leur est présentée. Ceci s'applique aussi au monde des sondages. Les personnes n'effectuent pas des recherches exhaustives pour représenter des opinions ou des attitudes à long terme, qui durent dans le temps. Elles recherchent plutôt des associations accessibles dans le contexte environnemental de l'histoire ou de l'expérience récente, ou dans le contexte immédiat du questionnaire et de l'entrevue.
Il n'y a pas de réponses faciles. La signification d'une question dépend toujours, en partie, d'où elle est placée dans le questionnaire. La façon dont on considère une réponse dépend toujours, en partie, des autres choix de réponse et de la façon dont ils nous sont présentés.
Mis à part quelques conventions, il ne semble pas y avoir de solutions évidentes aux problèmes de formulation des questions. Bien qu'on puisse tenter d'éviter les questions contaminantes, les questions « pures » et libres de tout contexte politique ne sont pas réalistes ni pertinentes. Les mots à la mode et les associations superposées sont souvent ce qui donne un réalisme politique aux questions d'un sondage.
