La surveillance quantitative des médias est souvent décrite comme de l’analyse de contenu. Dans le milieu des études médiatiques, cette approche est très influente depuis plus d’un demi-siècle, bien qu’elle ne fasse pas l’unanimité.
Ce que certains reprochent à l’analyse de contenu, essentiellement, c’est d’imposer des catégories arbitraires et inflexibles à des textes qui en réalité peuvent se prêter à des interprétations beaucoup plus subtiles. Ainsi, par exemple, l’analyse de contenu ne prend pas en compte la manière dont le public comprend un message diffusé par les médias. Elle se borne à effectuer une analyse quantitative de ce message. L’analyse quantitative implique la sélection d’éléments de contenu qui peuvent être comptabilisés. Dans plusieurs exemples d’analyses universitaires du contenu, les indicateurs choisis peuvent être certains termes. Dans bien des cas, les universitaires spécialisés dans l’analyse de contenu mesurent la fréquence à laquelle certains mots, ou certaines combinaisons de mots, apparaissent.
Quelle que soit la validité des critiques à l’endroit de l’analyse de contenu, il reste que cette méthode est souvent utilisée dans la surveillance des médias en contexte électoral. Mais en réalité, l’analyse porte rarement sur une sélection de mots. Les surveillants s’emploient plutôt à identifier et à compter quelques-unes des variables suivantes :
- la fréquence à laquelle les partis et les candidats sont mentionnés;
- le temps alloué aux partis et aux candidats;
- la fréquence à laquelle d’autres acteurs politiques ou sociaux sont mentionnés;
- la fréquence de mention ou le temps de couverture de différents sujets.
Diverses autres variables peuvent être examinées par les surveillants, notamment le sexe des sources citées, l’origine géographique de la nouvelle, l’heure où une nouvelle est radiodiffusée, sa position dans le bulletin de nouvelles, etc.
Différentes méthodologies utilisent différents indicateurs. Cependant, tous les indicateurs bien choisis ont deux caractéristiques en commun : la fiabilité et la validité.
La fiabilité fait en sorte que l’analyse donnera les mêmes résultats, peu importe celui qui se charge de la surveillance. En d’autres termes, l’analyse sera basée sur un système de classification scientifique qui peut s’appliquer à la plupart des cas. Par exemple, le fait de mesurer le temps de parole dont bénéficie directement un candidat constitue un indicateur fiable. Il en est de même pour le fait de classifier les sujets selon une série de codes prédéterminés, dans la mesure où les surveillants sont formés à appliquer ce système de classification, et cette méthode donne le même résultat la plupart du temps, c’est-à-dire dans environ 95 % des cas.
La validité fait en sorte que les données recueillies montrent effectivement ce qu’elles sont censées montrer. Par exemple, le simple fait de compter les déclarations de femmes et d’hommes citées par les médias ne peut guère constituer un indicateur valable de parti pris sexiste. Il faudrait prendre en compte beaucoup d’autres facteurs, comme les attitudes sociales générales envers les femmes, la distribution des candidatures entre hommes et femmes dans les différents partis politiques, etc. De même, le temps alloué à un candidat particulier ne saurait être un indicateur valable de partialité de la part d’un média (d’autres considérations auraient à entrer en ligne de compte, comme le contenu de la couverture).
Surveillance quantitative – quelques approches possibles
La surveillance quantitative de la couverture électorale prend toujours en compte le temps alloué aux différents partis et candidats. La manière exacte dont cela est calculé est une question de choix, avec différents avantages et inconvénients selon l’approche retenue.
Beaucoup d’organismes européens de surveillance – dont le European Institute of the Média, l’Osservatoria di Pavia et MMEMO98 – utilisent une approche fondée sur la fréquence de mention de certains « sujets politiques » prédéterminés. Chaque mention de ces sujets durant la période de surveillance est notée séparément et le temps de discours direct alloué est noté. De plus, chaque mention est habituellement classée comme positive, négative ou neutre envers le « sujet ».
Une approche un peu différente consiste à ne pas compter la fréquence, mais de diviser les bulletins de nouvelles et les publications en « éléments ». Un élément correspond normalement à une nouvelle dans un média électronique ou un journal, ou à une publicité politique. Toutes les sources ouvertement identifiées pour l’élément sont notées, par nom et par catégorie (p. ex. le parti politique). Le temps discours direct est aussi compté. L’élément entier est évalué de façon à déterminer s’il est favorable ou hostile à un candidat ou un parti. L’avantage de cette méthode est que le fait de compter le nombre de sources pour chaque élément et évaluer leur diversité donne une image objective du professionnalisme de la couverture médiatique. L’inconvénient est que cela ne fournit pas un décompte exact des mentions d’un parti ou d’un candidat. Les méthodologies de ce type sont utilisées par des organismes comme les Media Monitoring Projects d’Afrique du Sud et du Zimbabwe ainsi que par ARTICLE 19, qui effectue de la surveillance médiatique en Afrique et en Europe de l’Est.
Chacune de ces méthodes fait face au même problème, qui est de savoir comment déterminer si la mention d’un sujet politique ou un reportage entier (selon la méthodologie utilisée) favorise ou non un candidat ou un parti. Certaines méthodologies utilisent une échelle d’évaluation, à l’aide de laquelle les surveillants classent l’article quelque part entre +2 (très positif) et -2 (très négatif) sur une échelle qui passe donc du positif au neutre, puis au négatif.
En somme, la question de la fiabilité est toujours présente. Comment peut-on s’assurer que les surveillants appliquent la même méthode d’évaluation? Cela peut se faire uniquement avec la formation et l’expérience. Ces facteurs détermineront la marge d’erreur dans l’évaluation des éléments analysés.
Déterminer si une couverture est positive ou négative
Le problème le plus fondamental est de savoir comment appliquer des critères objectifs. Il est d’abord important de comprendre que le fait de déterminer si un élément ou un discours est positif ou négatif envers un parti ou un candidat ne signifie pas la même chose que déterminer si cet élément ou ce discours fait preuve de partialité. La partialité peut se mesurer seulement lorsqu’il est possible d’évaluer l’ensemble des mesures d’une couverture positive ou négative.
Une approche efficace consiste à utiliser deux séries de critères pour déterminer si un élément est positif ou négatif: le contexte et le contenu.
Le premier, le contexte, concerne le cadrage du reportage. Par exemple, si un reportage porte sur un politicien qui apparaît au tribunal parce qu’il est accusé de fraude, le cadrage est clairement négatif. (À noter que cela n’a rien à voir avec la question de savoir si le reportage est exact ou équilibré). Par contre, si le politicien reçoit le prix Nobel de la paix, le cadrage est positif. Si le politicien prend la parole lors d’un rassemblement politique, le cadrage est alors plutôt neutre.
Le deuxième critère se réfère aux faits et au ton évidents du reportage. Si le politicien qui est accusé de fraude fait un discours très convaincant du banc des accusés, cela peut avoir un impact positif (malgré le cadrage négatif du reportage). Si le journaliste dit du politicien qu’il ne mérite pas le prix Nobel, l’impact est négatif, malgré le cadrage positif du reportage. Le plus souvent, bien entendu, le cadrage et le contenu coïncident.
Si le contexte et le contenu coïncident, la manière dont l’élément sera classé est claire. Si le contexte et le contenu conduisent à des conclusions opposées (une positive, l’autre négative), ils s’annulent mutuellement et l’élément est classé comme neutre. Si soit le contenu, soit le contexte est neutre, alors que l’autre est positif ou négatif, c’est ce dernier qui détermine la manière dont l’article est classé.
Autres méthodes quantitatives pour évaluer la couverture
Dans la seconde famille des méthodes déjà décrites, de nombreux autres indicateurs quantitatifs peuvent être utilisés :
- La quantité de sources est un indicateur de professionnalisme journalistique. La distribution et l’équilibre des sources peuvent être un reflet de partialité politique.
- Le sexe de la source peut être un indicateur utile lorsqu’il est interprété prudemment.
- La distribution géographique des nouvelles peut être significative dans certains cas.
- Le choix des sujets est généralement important.
Le dernier élément – le choix des sujets – peut souvent être un indicateur quantitatif sensible des inclinations politiques des médias. Les partis politiques font habituellement campagne sur des thèmes différents de ceux de leurs adversaires. La sélection des nouvelles couvertes par les médias indique souvent à quel point ils souscrivent au programme d’un parti ou d’un autre.
Les statistiques concernant les sources peuvent être un indicateur de déséquilibre, mais pas nécessairement de partialité. Une nouvelle à source unique est déséquilibrée, mais n’est pas nécessairement partiale. Si le gouverneur de la banque centrale annonce une hausse des taux d’intérêt, aucune autre voix n’est requise car il s’agit d’une simple information. (Un bon journaliste pourrait chercher à obtenir des commentaires des partis politiques et d’experts indépendants.) En revanche, la couverture de violences politiques qui ne citerait qu’un des partis serait sans doute partiale.
