Des ombres planent sur les sondages en vue de la présidentielle - AOC media - Analyse Opinion Critique
#politique #sondages #manipulation
Les échecs récents des sondeurs concernant les intentions de vote des élections régionales ont mis en évidence les problÚmes structurels de leurs pratiques et laissent augurer de grandes incertitudes pour la prochaine présidentielle.
Tous les sondages effectuĂ©s au mois de juin pour le premier tour des Ă©lections rĂ©gionales 2021 ont surestimĂ© le vote en faveur du Rassemblement National, de lâordre de 4 Ă 10 points selon les rĂ©gions (sauf pour la Corse oĂč le RN est trĂšs faible). En Occitanie, en Auvergne-RhĂŽne-Alpes et en Normandie, les 10 points ont Ă©tĂ© atteints, ce qui est une situation inĂ©dite. MĂ©caniquement, ces Ă©carts ont Ă©tĂ© prĂ©judiciables Ă dâautres listes. Ainsi en Occitanie, la liste PS/PCF/PRG a pu perdre prĂšs de 11 points. Pris de court par ce fiasco gĂ©nĂ©ralisĂ© les sondeurs ont donnĂ©, de concert, une explication improvisĂ©e : les Ă©carts auraient Ă©tĂ© dus Ă leur sous-estimation de lâabstention. En fait il nâen est rien car, dans leurs approches, leurs estimations de lâabstention nâont pas de lien avĂ©rĂ© avec lâamĂ©lioration des estimations dâintention de vote.
En rĂ©alitĂ© les causes de la dĂ©route sont structurelles et donc moins avouables. Elles concernent essentiellement le mode de sĂ©lection des Ă©chantillons et lâintroduction de correctifs par des redressements inappropriĂ©s.
Un mode dâĂ©chantillonnage impropre
Depuis une dĂ©cennie, lâaccroissement de la concurrence, due Ă lâĂ©mergence de nouveaux prestataires opĂ©rant Ă bas coĂ»ts et dans de brefs dĂ©lais par lâentremise dâInternet, a tirĂ© vers le bas la qualitĂ© des Ă©chantillons. Pratiquement tous les Ă©chantillons sont aujourdâhui extraits de rĂ©servoirs de personnes â les panels â qui sâinscrivent dâelles-mĂȘmes sur des sites Internet ad-hoc. Pour chaque sondage, des questionnaires sont envoyĂ©s Ă une sĂ©lection de panĂ©listes, simplement calibrĂ©e sur les quotas sociodĂ©mographiques usuels (Ăąge, genre, catĂ©gorie socio-professionnelle, zone gĂ©ographique), et rĂ©pond alors qui veut. Ce mode dâauto-sĂ©lection des rĂ©pondants transgresse les principes fondamentaux de lâĂ©chantillonnage. Les Ă©tudes fondĂ©es sur des volontaires spontanĂ©s ont Ă©tĂ© sources dâĂ©checs retentissants dans lâhistoire des sondages car elles recĂšlent de biais importants. Faute de recrutement avec des tirages alĂ©atoires, elles nâont plus Ă©tĂ© considĂ©rĂ©es comme des sondages Ă proprement parler.
Dans les sondages dâintentions de vote actuels, des biais sont avĂ©rĂ©s. Les rĂ©pondants ont un intĂ©rĂȘt plus prononcĂ© pour la politique, donc sont moins abstentionnistes, et ils sont de toute Ă©vidence plus gros utilisateurs dâInternet. On a pu Ă©galement observer Ă travers les enquĂȘtes rĂ©centes une prĂ©sence plus importante de sympathisants du RN qui peut sâexpliquer, entre autres, par le fait que les plus gros utilisateurs dâInternet sont plus adeptes des rĂ©seaux sociaux et plus exposĂ©s aux thĂšses antisystĂšmes.
Se souvient-on encore que Marine Le Pen a Ă©tĂ© surestimĂ©e de 4 points en moyenne dans les sept derniers sondages qui ont suivi le dĂ©bat avec Emmanuel Macron au deuxiĂšme tour de la prĂ©sidentielle de 2017 ? Autrement dit, ces Ă©chantillons ne sont pas franchement reprĂ©sentatifs de lâĂ©lectorat en dĂ©pit de lâusage des quotas, ce qui montre au passage que le terme « reprĂ©sentatif » attribuĂ© Ă la mĂ©thode des quotas est totalement abusif.
Pour mettre en Ă©vidence le biais RN lors des derniĂšres Ă©lections rĂ©gionales, nous disposons de trĂšs peu de donnĂ©es brutes car les sondeurs ne livrent que des rĂ©sultats « redressĂ©s ». Seule la sociĂ©tĂ© OpinionWay joue la carte de la transparence dans ses notices dĂ©posĂ©es Ă la Commission des Sondages en indiquant ses rĂ©sultats bruts. On y constate une prĂ©dominance modĂ©rĂ©e de surestimations du RN. Sur les sept sondages effectuĂ©s en juin avant le premier tour, les Ă©carts par rapport aux scores rĂ©els fluctuent de 0 Ă + 7 points avec une exception de â 4 points.
On est donc sorti de la situation traditionnelle oĂč le vote Le Pen Ă©tait trĂšs minorĂ©. Les sondeurs ayant des pratiques identiques et publiant des rĂ©sultats trĂšs proches ce que lâon peut observer chez OpinionWay, cela vaut indĂ©niablement pour tous les instituts.
Des redressements Ă contre-sens
Les sondeurs sont conscients des biais qui affectent leurs rĂ©sultats dâenquĂȘtes et les reconnaissent occasionnellement. De façon gĂ©nĂ©rale, ils ne se sont jamais satisfaits de leurs rĂ©sultats « bruts », ce pourquoi ils opĂšrent des procĂ©dures de « redressement » en rĂ©ajustant certaines variables clĂ©s ayant un lien escomptĂ© avec les variables Ă estimer, tout comme on ajuste lâĂ©chantillon sur des quotas lors de la sĂ©lection.
Dans les sondages dâintentions de vote, les rĂ©sultats dâĂ©lections antĂ©rieures sont choisis comme critĂšres de redressement. Cela signifie quâon interroge les rĂ©pondants sur leur vote au premier tour de la prĂ©sidentielle 2017, en calant les dĂ©clarations obtenues, quâon appelle souvent « souvenir » ou « reconstitution du vote », sur les rĂ©sultats rĂ©els de lâĂ©lection (en utilisant des coefficients ou « pondĂ©rations »).
En bref, postulant que les choix politiques prĂ©sents sont bien corrĂ©lĂ©s aux choix passĂ©s, un dĂ©ficit par rapport au scrutin passĂ© entrainera automatiquement une hausse de la mĂȘme tendance politique aujourdâhui. Si 17 % des rĂ©pondants dĂ©clarent avoir votĂ© Le Pen en 2017 alors que son score a Ă©tĂ© de 21 %, ces rĂ©pondants se verront attribuer un poids supĂ©rieur Ă 1, prĂ©cisĂ©ment Ă©gal au rapport 21 sur 17. Ă lâinverse, un excĂšs entrainera un abaissement.
Dans un ouvrage rĂ©cent[1], jâai mis en Ă©vidence la fragilitĂ© et lâinstabilitĂ© de ce type de redressements. Cela tient, pour lâessentiel, au fait que le « souvenir » est Ă©tonnamment peu fidĂšle Ă la rĂ©alitĂ©, y compris Ă court terme. Par ailleurs, de nombreux sondĂ©s ne rĂ©pondent pas Ă la question et les corps Ă©lectoraux ne coĂŻncident pas Ă plusieurs annĂ©es dâintervalle.
La faible correspondance entre le souvenir dĂ©clarĂ© et la rĂ©alitĂ© induit alors de forts coefficients et donc, de fortes modifications des rĂ©sultats bruts. Ces effets sont dâautant plus importants que lâon sâĂ©loigne dans le temps ou que lâon sâintĂ©resse Ă des Ă©lections de natures diffĂ©rentes. De plus, alors que la technique est simple sur le principe, lâissue des pondĂ©rations est incontrĂŽlable Ă©tant donnĂ© la complexitĂ© des arbitrages en jeu. On est loin de pouvoir choisir directement le coefficient Ă donner au score Le Pen comme on a pu lâentendre dire par les directeurs dâinstituts.
Il y a une ou deux dĂ©cennies, lorsquâon sondait par tĂ©lĂ©phone ou en face Ă face, la sous-estimation du vote Le Pen pĂšre (ou dâune liste FN) Ă©tait trĂšs importante en raison dâune dissimulation prononcĂ©e de lâintention de vote correspondante, pour les souvenirs comme pour lâĂ©lection Ă venir Ă©videmment. Pour rĂ©ajuster les dĂ©clarations de souvenirs on devait surpondĂ©rer les individus ayant alors votĂ© pour le candidat FN qui, pour beaucoup (mais pas tous), dĂ©claraient encore vouloir voter pour lui « aujourdâhui », ce qui rĂ©haussait mĂ©caniquement son score prĂ©sent. La correction allait dans le bon sens mais de façon imprĂ©cise, ce qui explique les mauvaises estimations comme ce fut le cas en 2002.
Il faut reconnaitre que le mode auto-administrĂ© par Internet rĂ©duit nettement la dissimulation, jusquâĂ aboutir aujourdâhui Ă la surestimation des intentions de vote RN en rĂ©sultats bruts. Toutefois, et câest un point crucial, il se trouve que les « souvenirs » de votes pour le RN restent toujours en-dessous des rĂ©sultats rĂ©els. Par consĂ©quent les redressements viennent donc encore accroitre le score FN, agissant ainsi Ă lâinverse de ce qui est souhaitable.
En 2021, comme indiquĂ© dans les notices publiĂ©es sur le site de la Commission des sondages, les cinq prestataires du mois de juin, BVA, Elabe, IFOP, Ipsos et OpinionWay ont tous redressĂ© leurs rĂ©sultats concernant la prĂ©sidentielle 2017 ; de mĂȘme pour les europĂ©ennes 2019 (Ă lâexception de BVA) et les rĂ©gionales 2015 premier tour (Ă lâexception dâOpinionWay).
Il est Ă noter quâElabe coche toutes les cases y compris les deuxiĂšmes tours 2015 et 2017. Les sociĂ©tĂ©s les plus transparentes, IFOP et OpinionWay, fournissent les reconstitutions des votes anciens obtenues.
Concernant lâĂ©lection de 2017, emblĂ©matique et encore ancrĂ©e dans les mĂ©moires, le dĂ©ficit de souvenir Le Pen est trĂšs frĂ©quent mais ne dĂ©passe pas quelques pourcents. En revanche, pour les Ă©lections rĂ©gionales 2015 et europĂ©ennes 2019, le dĂ©ficit est systĂ©matiquement trĂšs Ă©levĂ©.
OpinionWay qui se fait lâavocat dâune transparence totale (au grand dam de la plupart de ses concurrents) compare lâeffet de huit combinaisons de redressements, ce qui livre des informations prĂ©cieuses. Cela permet de constater trĂšs clairement que la surestimation des listes FN sâest aggravĂ©e avec les redressements, et cela nettement plus avec les Ă©lections 2015 et 2019. Finalement, il aurait Ă©tĂ© plus judicieux de publier simplement les rĂ©sultats bruts.
Nous nous sommes concentrĂ©s sur les listes FN mais, par ricochet, cela vaut Ă©galement pour les autres listes fortement impactĂ©es par les redressements. Il reste Ă savoir pourquoi les sondeurs nâont pas vu venir lâinversion des effets de ces redressements et, en outre, pourquoi ont-ils prĂ©fĂ©rer Ă leurs rĂ©sultats bruts des rĂ©sultats si diffĂ©rents.
Cela tĂ©moigne dâune part de leurs doutes sur la qualitĂ© de leurs Ă©chantillons, et dâautre part dâune croyance aveugle (et pĂ©renne) dans la capacitĂ© des redressements Ă amĂ©liorer leurs rĂ©sultats. On devrait savoir que les redressements ont des effets dĂ©lĂ©tĂšres lorsque les corrections apportĂ©es sont trop fortes et, ce qui va de pair, lorsque les donnĂ©es intervenant dans ces procĂ©dures, notamment les « souvenirs », sont peu fiables.
Une autre question se pose. Comment les sondeurs peuvent-ils converger vers les mĂȘmes rĂ©sultats, Ă peu de choses prĂšs, vers la fin de la campagne alors quâils gĂšrent des petits Ă©chantillons (les intentions de vote sont majoritairement calculĂ©es sur 400 Ă 500 rĂ©pondants, en se restreignant Ă ceux qui se dĂ©clarent certains dâaller voter) et quâils nâutilisent pas toujours exactement les mĂȘmes redressements ? On peut prĂ©sumer que parfois, le choix des rĂ©sultats publiĂ©s est orientĂ© pour se rapprocher de la tendance majoritaire.
A-t-on redressé la barre pour la présidentielle ?
DorĂ©navant, pour les Ă©lections prĂ©sidentielles, les sondeurs se trouvent dans une situation dĂ©licate. Tous ont conservĂ© lâusage de leur panel « dâauto-recrutĂ©s » faute dâalternatives disponibles Ă court terme. Certains ont des atouts pour trouver des solutions mais les coĂ»ts et les dĂ©lais de rĂ©alisation augmenteraient, ce qui serait en fait bĂ©nĂ©fique en termes de qualitĂ© mais trop handicapant sur le plan de la concurrence.
On peut encore espĂ©rer que ce sera toutefois lâoccasion pour la profession de rompre avec le dĂ©sir dâuniformisation des pratiques et de convergence des rĂ©sultats publiĂ©s vers la fin de la campagne. Cette derniĂšre donne au public lâillusion dâune soliditĂ© des estimations alors que leur dispersion devrait ĂȘtre la rĂšgle car elle tĂ©moignerait de la composante alĂ©atoire inhĂ©rente Ă tout sondage, particuliĂšrement forte en prĂ©sence de petits Ă©chantillons. Mais jusquâĂ prĂ©sent, les sondeurs ont toujours prĂ©fĂ©rĂ© se tromper tous ensemble plutĂŽt que de prendre le risque dâavoir raison seuls.
Quant Ă leurs attitudes face aux redressements, aucune sociĂ©tĂ© nâa renoncĂ© au recours aux Ă©lections antĂ©rieures, tout juste constate-t-on une certaine sobriĂ©tĂ© chez Harris et OpinionWay qui ne redressent que sur le premier tour de la prĂ©sidentielle de 2017.
Bien que lâon dispose encore de peu de donnĂ©es, car seuls trois des six prestataires prĂ©sents fournissent des informations signifiantes (Harris, Ifop et OpinionWay), on peut dĂ©jĂ entrevoir, globalement, au vu des donnĂ©es dâaoĂ»t Ă dĂ©but octobre, des causes de surestimation pour Marine Le Pen sur « les photos au temps t » et simultanĂ©ment, dâune sous-estimation assez prononcĂ©e pour Emmanuel Macron.
Au fond on pourrait se dire que toutes ces considĂ©rations sont sans intĂ©rĂȘt Ă©tant donnĂ© la vanitĂ© de ces sondages Ă jeux multiples Ă plusieurs mois de lâĂ©lection si ce nâest que, par lâimportance mĂȘme quâon leur confĂšre dans les mĂ©dias, ils pĂšsent dĂ©jĂ sur lâĂ©laboration des candidatures.
Ces rĂ©flexions mettent nĂ©anmoins en Ă©vidence la nĂ©cessitĂ© dâaboutir Ă une transparence du travail des sondeurs, a minima pour la publication des rĂ©sultats bruts.
Il nâest pas acceptable de livrer des informations aussi cruciales sans que lâon puisse savoir comment elles ont Ă©tĂ© Ă©laborĂ©es, en particulier pour ce qui concerne les corrections apportĂ©es aux rĂ©sultats bruts, et sans que des experts puissent Ă©valuer les pratiques. Lâargument rĂ©current du secret professionnel nâa aucun sens dans un contexte oĂč tous les sondeurs suivent le mĂȘme chemin.
Il faut reconnaĂźtre Ă la sociĂ©tĂ© OpinionWay le mĂ©rite dâavoir ouvert la voie. Sans OpinionWay, les tenants et les aboutissants de la production des rĂ©sultats seraient restĂ©s fonciĂšrement opaques. Une minoritĂ© de sondeurs ne seraient pas opposĂ©s Ă la publication des rĂ©sultats bruts⊠le courant sâinversera-t-il donc bientĂŽt ?
Michel Lejeune
Statisticien, Professeur honoraire de l'Université Grenoble-Alpes
https://aoc.media/analyse/2021/10/11/des-ombres-planent-sur-les-sondages-en-vue-de-la-presidentielle/