Sondages, études, enquêtes : “De l’importance de mettre les chiffres en perspective”

La presse se fait régulièrement le relai d’enquêtes ou de sondages sur les sujets les plus divers : opinions politique bien sûr, mais aussi bien-être animal, consommation, ou encore mobilité. S’ils donnent des informations intéressantes, les résultats doivent néanmoins être analysés avec prudence.

Une enquête récente réalisée par l’institut IPSOS pour le compte de Partena Professional a suscité la réaction courroucée de Mauto Défense, association de défense des droits des automobilistes et des motards. L’étude révélait que 4 travailleurs belges sur 10 faisaient le choix des transports durables pour se rendre sur leur lieu de travail. Le groupe pro-voitures, connu notamment pour ses publications peu amènes à l’égard des cyclistes sur les réseaux sociaux, dénonce la méthodologie utilisée, l’échantillon retenu, et des résultats biaisés. Il critique dans la foulée les études de Bruxelles Mobilité, jugées elles aussi trompeuses. Mais au fond, qu’est-ce qu’un bon sondage ? A quoi faut-il être attentif ?

Un échantillon vraiment représentatif ?

Les instituts de sondage ont souvent recours à un échantillonnage par quotas, explique Catherine Vermandele, statisticienne et professseure à l’ULB. « Il s’agit de retrouver parmi les répondants la diversité de la population générale en termes de catégorie d’âge, de genre, de catégorie socio-professionnelle, d’origine géographique, de manière à ce que l’ensemble des répondants constitue un modèle réduit de la population de référence. » Cela, afin d’éviter la surreprésentation de telle ou telle catégorie de la population, qui aurait pour conséquence d’induire des biais dans les résultats. Ils ne permettent pas la réalisation de sondages aléatoires au sens strict, il n’y pas de sélection au hasard d’un échantillon dans une base de données reprenant la totalité d’une population, car les instituts de sondage n’ont pas accès à ces listes. Conséquence ? « D’un point de vue statistique, on ne peut pas contrôler complètement et parfaitement les biais. »

Les instituts de sondage procèdent souvent par appel téléphonique ou par internet ou encore par la constitution de panels larges de personnes qui ont donné leur accord pour répondre à des enquêtes, de manière plus ou moins régulière, et dont on connaît certaines des caractéristiques socio-démographiques ou socio-économiques. « Ces participants ne sont pas sélectionnés au hasard, donc rien ne dit qu’ils vont avoir pour la problématique étudiée un comportement tout à fait comparable à celui du commun des mortels dans la population. » Même si la composition du panel résulte d’une sélection aléatoire dans la population de référence, il n’empêche que les personnes ont à un certain moment accepté d’y participer. Cela doit être pris en compte dans l’analyse des résultats.

Certains panels sont construits sur base d’un appel à volontaires. Des appels à participer à des sondages en ligne apparaissent d’ailleurs en première page de sites web de certains instituts d’études de marché bien connus. Il arrive également que les participants aient droit à une compensation financière, ce qui peut là aussi induire un biais. Tout dépend de la manière dont l’enquête a été réalisée. Et de l’identité de l’institut qui l’a opérée. Car il n’y a pas que des sociétés de marketing d’opinion, comme Ipsos, Kantar ou Dedicated Research.

Question de méthode

A l’IBSA par exemple, les méthodes de recherche sont très différentes de celles des instituts de sondage susmentionnés. L’institut bruxellois de statistique et d’analyse mène peu d’enquêtes directes car il a accès à des banques de données administratives, comme le registre national ou la statistique fiscale, qui regorgent d’informations, indique Xavier Dehaibe, expert à l’IBSA (perspective.brussels) et fournissent quantité d’éléments utiles à la réalisation d’études.

De son côté, Bruxelles Mobilité travaille régulièrement avec des équipes universitaires spécialisées ou des instituts de recherches. « Mais tout dépend de quels sondages on parle », précise Camille Thiry, la porte-parole de l’administration. « Nous avons différentes manières de produire des chiffres : on travaille notamment par comptage ou à l’aide d’outil caméra. Il s’agit dans ces cas de données absolument objectives. »

Des enquêtes d’opinion, on en voit beaucoup, souvent relayées dans la presse. Autre exemple récent, une étude réalisée par le cabinet du ministre de l’Emploi, de la Formation professionnelle et du bien-être animal, Bernard Clerfayt (DéFI). L’objectif était de sonder les Bruxellois en vue de la modernisation des lois sur le bien-être animal. Titrée « 84% des répondants veulent améliorer le bien-être animal » (LIEN), l’enquête a été réalisée, entre juin et septembre, essentiellement en ligne, avec la possibilité pour ceux qui le souhaitaient de répondre via formulaire papier. 2135 personnes ont participé, indique le site du ministre. Un seul critère de sélection : avoir plus de 18 ans. Les questions posées portaient notamment sur le commerce, le transport des animaux, les expérimentations, ainsi que sur l’abattage avec ou sans étourdissement, un sujet sur lequel Bernard Clerfayt est engagé. « On tenait à associer les Bruxellois, on voulait prendre la température et permettre aux citoyens de faire des propositions. Nous ne prétendons pas que l’échantillon est scientifiquement exploitable mais il donne une bonne indication de ce vers quoi devrait évoluer la future ordonnance. »

Sérieuses, les enquêtes en ligne ? Ce n’est pas parce que l’enquête est réalisée qu’elle est mauvaise, répond Xavier Dehaibe. Il y a des précautions particulières à prendre, c’est une méthodologie spécifique, il faut s’assurer qu’un nombre suffisant de personnes sera touché. «Mais toute méthode a ses limites. Que ce soit en ligne, par téléphone, ou en porte à porte, il y a toujours des personnes qu’on ne va pas toucher, dans la stratégie de sondage, pour s’assurer qu’il corresponde à l’objectif. »

Prudence

Difficile, pourtant, dans certains cas d’analyser et de mesurer la rigueur de l’enquête. Comme Catherine Vermandele, Xavier Dehaibe convient que « globalement les instituts de sondage connaissent leur métier, ils savent ce qu’ils font. On peut supposer que les méthodes utilisées sont bonnes. ». Pour autant que les rapports liés à l’étude soient accessibles. C’est trop rarement le cas, regrette Catherine Vermandele. « Pour s’assurer du sérieux avec lequel le sondage a été réalisé, il faudrait pouvoir consulter la fiche technique, qui reprend les grands éléments de la procédure du sondage. »

Et puis il y a cette fameuse marge d’erreur, dont la mention est essentielle, et qui est pourtant trop rarement spécifiée, sauf dans les grandes études d’opinion. « On a tendance à oublier que le sondage n’est qu’une estimation, sur base d’un échantillon qui peut lui-même poser problème, et qu’il y a une marge d’erreur qui doit être associée à cette estimation. Cette marge d’erreur est elle-même sujette à caution, si le sondage n’est pas réalisé sur base d’un échantillon aléatoire au sens strict. », recadre Catherine Vermandele. En outre, « souvent cette marge d’erreur n’apparaît pas dans les articles, ça c’est impardonnable. »

Enfin la qualité du questionnaire d’enquête est elle aussi déterminante. Le questionnaire était-il bien construit ? Les questions n’induisaient-elles pas certaines réponses ? « Rédiger un bon questionnaire prend du temps. Car il faut des questions claires, sans ambigüités, que chacun puisse comprendre de la même manière. », souligne encore Xavier Dehaibe.

Brefs, les résultats doivent toujours être analysés avec prudence. « A chaque fois que je lis une enquête, je me pose des questions : comment est-ce que les choses ont été faites ? Comment les chiffres ont été colletés ? Quelle est la représentativité de l’échantillon ? Il faut toujours prendre les résultats avec beaucoup de prudence. Il faudrait pour bien faire pouvoir s’assurer davantage de la fiabilité du sondage. », juge Catherine Vermandele. « Ce que le lecteur lambda aura du mal à faire. D’autant que la fiche technique des sondages est trop souvent inaccessible. Dans la presse on se contente souvent de dire ‘échantillon représentatif’. »

De toute façon quel que soit les systèmes, « il ne faut pas se laisser écraser par les chiffres », conclut Xavier Dehaibe. Souvent ceux-ci correspondent à une réalité à un moment précis, en fonction de nombreux critères. Il faut pouvoir les mettre en perspective. « Les chiffres donnés sont toujours quelques pourcents au-dessus ou en-dessous de la réalité et ne correspondent qu’à une photographie à un moment donné. »

S.R.