Des ombres planent sur les sondages en vue de la présidentielle - AOC media - Analyse Opinion Critique

#politique #sondages #manipulation

Les échecs récents des sondeurs concernant les intentions de vote des élections régionales ont mis en évidence les problèmes structurels de leurs pratiques et laissent augurer de grandes incertitudes pour la prochaine présidentielle.

Tous les sondages effectués au mois de juin pour le premier tour des élections régionales 2021 ont surestimé le vote en faveur du Rassemblement National, de l’ordre de 4 à 10 points selon les régions (sauf pour la Corse où le RN est très faible). En Occitanie, en Auvergne-Rhône-Alpes et en Normandie, les 10 points ont été atteints, ce qui est une situation inédite. Mécaniquement, ces écarts ont été préjudiciables à d’autres listes. Ainsi en Occitanie, la liste PS/PCF/PRG a pu perdre près de 11 points. Pris de court par ce fiasco généralisé les sondeurs ont donné, de concert, une explication improvisée : les écarts auraient été dus à leur sous-estimation de l’abstention. En fait il n’en est rien car, dans leurs approches, leurs estimations de l’abstention n’ont pas de lien avéré avec l’amélioration des estimations d’intention de vote.

En réalité les causes de la déroute sont structurelles et donc moins avouables. Elles concernent essentiellement le mode de sélection des échantillons et l’introduction de correctifs par des redressements inappropriés.
Un mode d’échantillonnage impropre

Depuis une décennie, l’accroissement de la concurrence, due à l’émergence de nouveaux prestataires opérant à bas coûts et dans de brefs délais par l’entremise d’Internet, a tiré vers le bas la qualité des échantillons. Pratiquement tous les échantillons sont aujourd’hui extraits de réservoirs de personnes – les panels – qui s’inscrivent d’elles-mêmes sur des sites Internet ad-hoc. Pour chaque sondage, des questionnaires sont envoyés à une sélection de panélistes, simplement calibrée sur les quotas sociodémographiques usuels (âge, genre, catégorie socio-professionnelle, zone géographique), et répond alors qui veut. Ce mode d’auto-sélection des répondants transgresse les principes fondamentaux de l’échantillonnage. Les études fondées sur des volontaires spontanés ont été sources d’échecs retentissants dans l’histoire des sondages car elles recèlent de biais importants. Faute de recrutement avec des tirages aléatoires, elles n’ont plus été considérées comme des sondages à proprement parler.

Dans les sondages d’intentions de vote actuels, des biais sont avérés. Les répondants ont un intérêt plus prononcé pour la politique, donc sont moins abstentionnistes, et ils sont de toute évidence plus gros utilisateurs d’Internet. On a pu également observer à travers les enquêtes récentes une présence plus importante de sympathisants du RN qui peut s’expliquer, entre autres, par le fait que les plus gros utilisateurs d’Internet sont plus adeptes des réseaux sociaux et plus exposés aux thèses antisystèmes.

Se souvient-on encore que Marine Le Pen a été surestimée de 4 points en moyenne dans les sept derniers sondages qui ont suivi le débat avec Emmanuel Macron au deuxième tour de la présidentielle de 2017 ? Autrement dit, ces échantillons ne sont pas franchement représentatifs de l’électorat en dépit de l’usage des quotas, ce qui montre au passage que le terme « représentatif » attribué à la méthode des quotas est totalement abusif.

Pour mettre en évidence le biais RN lors des dernières élections régionales, nous disposons de très peu de données brutes car les sondeurs ne livrent que des résultats « redressés ». Seule la société OpinionWay joue la carte de la transparence dans ses notices déposées à la Commission des Sondages en indiquant ses résultats bruts. On y constate une prédominance modérée de surestimations du RN. Sur les sept sondages effectués en juin avant le premier tour, les écarts par rapport aux scores réels fluctuent de 0 à + 7 points avec une exception de – 4 points.

On est donc sorti de la situation traditionnelle où le vote Le Pen était très minoré. Les sondeurs ayant des pratiques identiques et publiant des résultats très proches ce que l’on peut observer chez OpinionWay, cela vaut indéniablement pour tous les instituts.
Des redressements à contre-sens

Les sondeurs sont conscients des biais qui affectent leurs résultats d’enquêtes et les reconnaissent occasionnellement. De façon générale, ils ne se sont jamais satisfaits de leurs résultats « bruts », ce pourquoi ils opèrent des procédures de « redressement » en réajustant certaines variables clés ayant un lien escompté avec les variables à estimer, tout comme on ajuste l’échantillon sur des quotas lors de la sélection.

Dans les sondages d’intentions de vote, les résultats d’élections antérieures sont choisis comme critères de redressement. Cela signifie qu’on interroge les répondants sur leur vote au premier tour de la présidentielle 2017, en calant les déclarations obtenues, qu’on appelle souvent « souvenir » ou « reconstitution du vote », sur les résultats réels de l’élection (en utilisant des coefficients ou « pondérations »).

En bref, postulant que les choix politiques présents sont bien corrélés aux choix passés, un déficit par rapport au scrutin passé entrainera automatiquement une hausse de la même tendance politique aujourd’hui. Si 17 % des répondants déclarent avoir voté Le Pen en 2017 alors que son score a été de 21 %, ces répondants se verront attribuer un poids supérieur à 1, précisément égal au rapport 21 sur 17. À l’inverse, un excès entrainera un abaissement.

Dans un ouvrage récent[1], j’ai mis en évidence la fragilité et l’instabilité de ce type de redressements. Cela tient, pour l’essentiel, au fait que le « souvenir » est étonnamment peu fidèle à la réalité, y compris à court terme. Par ailleurs, de nombreux sondés ne répondent pas à la question et les corps électoraux ne coïncident pas à plusieurs années d’intervalle.

La faible correspondance entre le souvenir déclaré et la réalité induit alors de forts coefficients et donc, de fortes modifications des résultats bruts. Ces effets sont d’autant plus importants que l’on s’éloigne dans le temps ou que l’on s’intéresse à des élections de natures différentes. De plus, alors que la technique est simple sur le principe, l’issue des pondérations est incontrôlable étant donné la complexité des arbitrages en jeu. On est loin de pouvoir choisir directement le coefficient à donner au score Le Pen comme on a pu l’entendre dire par les directeurs d’instituts.

Il y a une ou deux décennies, lorsqu’on sondait par téléphone ou en face à face, la sous-estimation du vote Le Pen père (ou d’une liste FN) était très importante en raison d’une dissimulation prononcée de l’intention de vote correspondante, pour les souvenirs comme pour l’élection à venir évidemment. Pour réajuster les déclarations de souvenirs on devait surpondérer les individus ayant alors voté pour le candidat FN qui, pour beaucoup (mais pas tous), déclaraient encore vouloir voter pour lui « aujourd’hui », ce qui réhaussait mécaniquement son score présent. La correction allait dans le bon sens mais de façon imprécise, ce qui explique les mauvaises estimations comme ce fut le cas en 2002.

Il faut reconnaitre que le mode auto-administré par Internet réduit nettement la dissimulation, jusqu’à aboutir aujourd’hui à la surestimation des intentions de vote RN en résultats bruts. Toutefois, et c’est un point crucial, il se trouve que les « souvenirs » de votes pour le RN restent toujours en-dessous des résultats réels. Par conséquent les redressements viennent donc encore accroitre le score FN, agissant ainsi à l’inverse de ce qui est souhaitable.

En 2021, comme indiqué dans les notices publiées sur le site de la Commission des sondages, les cinq prestataires du mois de juin, BVA, Elabe, IFOP, Ipsos et OpinionWay ont tous redressé leurs résultats concernant la présidentielle 2017 ; de même pour les européennes 2019 (à l’exception de BVA) et les régionales 2015 premier tour (à l’exception d’OpinionWay).

Il est à noter qu’Elabe coche toutes les cases y compris les deuxièmes tours 2015 et 2017. Les sociétés les plus transparentes, IFOP et OpinionWay, fournissent les reconstitutions des votes anciens obtenues.

Concernant l’élection de 2017, emblématique et encore ancrée dans les mémoires, le déficit de souvenir Le Pen est très fréquent mais ne dépasse pas quelques pourcents. En revanche, pour les élections régionales 2015 et européennes 2019, le déficit est systématiquement très élevé.

OpinionWay qui se fait l’avocat d’une transparence totale (au grand dam de la plupart de ses concurrents) compare l’effet de huit combinaisons de redressements, ce qui livre des informations précieuses. Cela permet de constater très clairement que la surestimation des listes FN s’est aggravée avec les redressements, et cela nettement plus avec les élections 2015 et 2019. Finalement, il aurait été plus judicieux de publier simplement les résultats bruts.

Nous nous sommes concentrés sur les listes FN mais, par ricochet, cela vaut également pour les autres listes fortement impactées par les redressements. Il reste à savoir pourquoi les sondeurs n’ont pas vu venir l’inversion des effets de ces redressements et, en outre, pourquoi ont-ils préférer à leurs résultats bruts des résultats si différents.

Cela témoigne d’une part de leurs doutes sur la qualité de leurs échantillons, et d’autre part d’une croyance aveugle (et pérenne) dans la capacité des redressements à améliorer leurs résultats. On devrait savoir que les redressements ont des effets délétères lorsque les corrections apportées sont trop fortes et, ce qui va de pair, lorsque les données intervenant dans ces procédures, notamment les « souvenirs », sont peu fiables.

Une autre question se pose. Comment les sondeurs peuvent-ils converger vers les mêmes résultats, à peu de choses près, vers la fin de la campagne alors qu’ils gèrent des petits échantillons (les intentions de vote sont majoritairement calculées sur 400 à 500 répondants, en se restreignant à ceux qui se déclarent certains d’aller voter) et qu’ils n’utilisent pas toujours exactement les mêmes redressements ? On peut présumer que parfois, le choix des résultats publiés est orienté pour se rapprocher de la tendance majoritaire.
A-t-on redressé la barre pour la présidentielle ?

Dorénavant, pour les élections présidentielles, les sondeurs se trouvent dans une situation délicate. Tous ont conservé l’usage de leur panel « d’auto-recrutés » faute d’alternatives disponibles à court terme. Certains ont des atouts pour trouver des solutions mais les coûts et les délais de réalisation augmenteraient, ce qui serait en fait bénéfique en termes de qualité mais trop handicapant sur le plan de la concurrence.

On peut encore espérer que ce sera toutefois l’occasion pour la profession de rompre avec le désir d’uniformisation des pratiques et de convergence des résultats publiés vers la fin de la campagne. Cette dernière donne au public l’illusion d’une solidité des estimations alors que leur dispersion devrait être la règle car elle témoignerait de la composante aléatoire inhérente à tout sondage, particulièrement forte en présence de petits échantillons. Mais jusqu’à présent, les sondeurs ont toujours préféré se tromper tous ensemble plutôt que de prendre le risque d’avoir raison seuls.

Quant à leurs attitudes face aux redressements, aucune société n’a renoncé au recours aux élections antérieures, tout juste constate-t-on une certaine sobriété chez Harris et OpinionWay qui ne redressent que sur le premier tour de la présidentielle de 2017.

Bien que l’on dispose encore de peu de données, car seuls trois des six prestataires présents fournissent des informations signifiantes (Harris, Ifop et OpinionWay), on peut déjà entrevoir, globalement, au vu des données d’août à début octobre, des causes de surestimation pour Marine Le Pen sur « les photos au temps t » et simultanément, d’une sous-estimation assez prononcée pour Emmanuel Macron.

Au fond on pourrait se dire que toutes ces considérations sont sans intérêt étant donné la vanité de ces sondages à jeux multiples à plusieurs mois de l’élection si ce n’est que, par l’importance même qu’on leur confère dans les médias, ils pèsent déjà sur l’élaboration des candidatures.

Ces réflexions mettent néanmoins en évidence la nécessité d’aboutir à une transparence du travail des sondeurs, a minima pour la publication des résultats bruts.

Il n’est pas acceptable de livrer des informations aussi cruciales sans que l’on puisse savoir comment elles ont été élaborées, en particulier pour ce qui concerne les corrections apportées aux résultats bruts, et sans que des experts puissent évaluer les pratiques. L’argument récurrent du secret professionnel n’a aucun sens dans un contexte où tous les sondeurs suivent le même chemin.

Il faut reconnaître à la société OpinionWay le mérite d’avoir ouvert la voie. Sans OpinionWay, les tenants et les aboutissants de la production des résultats seraient restés foncièrement opaques. Une minorité de sondeurs ne seraient pas opposés à la publication des résultats bruts… le courant s’inversera-t-il donc bientôt ?

Michel Lejeune

Statisticien, Professeur honoraire de l'Université Grenoble-Alpes

https://aoc.media/analyse/2021/10/11/des-ombres-planent-sur-les-sondages-en-vue-de-la-presidentielle/