dd759490-ecec-49c0-8aaf-5b124c483a8b_500

La crédibilité plombée des sondeurs…

« Mais comment les sondeurs ont-ils pu se planter à ce point entre Clinton et Trump? »

C’était la une du USA Today le 9 novembre dernier. La poussière retombait encore sur cette élection américaine surréaliste et les analystes politiques des États-Unis et du monde se questionnaient en coeur. Le New-York Times s’est excusé auprès de ses lecteurs par rapport à l’inexactitude de son baromètre électoral qui pointait pourtant à plus de 90% vers l’élection de Clinton la veille du scrutin.

Chez nous, les analystes ont été soufflé eux aussi. À la radio de Radio-Canada, j’ai encore en mémoire l’intervention d’un professeur américain que l’on entend beaucoup au Québec quand il est question de comprendre la politique américaine, Daniel Marien de la University of Central Florida. Alors que tout pointait vers le revirement spectaculaire de l’élection de Donald Trump, Marien avait débuté son intervention à la radio de façon surprenante… « J’aurais le gout d’étouffer le premier des pollsters que je vais croiser dans la rue! »

À la veille de l’élection, le plus conservateur des sondeurs américains quant aux prévisions de victoire de Hillary Clinton était Nate Silver du site fivethirtyeight.com (notre Éric Grenier à nous et son 308.com) qui voyait Clinton l’emporter avec 71% des chances. Le réputé Princeton Election Consortium avait établi les chances de victoire de Clinton à… 99%!

« Polls that consistently gave Clinton a comfortable lead in recent weeks included Bloomberg Politics, CBS News, Fox News, Reuters/Ipsos, USA TODAY/Suffolk, Quinnipiac, Monmouth, Economist/YouGov and NBC News/SM, according to RealClearPolitics. Of 67 national polls tracking a 4-way race since the start of October, only four gave Trump the lead, according to RealClearPolitics. Of 61 national polls tracking a 2-way race during that period, six gave Trump the lead. And all six were the L.A. Times/USC poll. »

Parmi les sondeurs qui questionnaient en fonction d’une course à deux (sans l’ajout des tiers candidats), seul le LA. Times/USC poll a prédit la victoire de Trump. Toutes les grosses boites de sondages se sont trompées. Toutes.

Des ténors de cette industrie en appellent à l’organisation d’un grand postmortem afin de faire l’analyse des failles et des erreurs commises, de la méthodologie employée, de l’évaluation des segments de l’électorat (Nate Cohn dans le New York Times avait annoncé en juin 2016 que les sondeurs sous-évaluaient le poids démographique de l’électorat blanc, mâle, de plus de 10 millions! Aujourd’hui, les sondeurs admettent avoir raté leurs prévisions dans ce segment de l’électorat), les sondages régionaux (en moyenne, ceux qui ont sondé au Wisconsin se sont plantés par plus de 8 points, l’État a basculé vers Trump).

capture-decran-2016-11-23-a-09-01-20

Le même état de choc prévalait en 2015 suite à l’élection en Grande-Bretagne. Les sondeurs ont failli à 91% dans leurs prévisions électorales. La BBC avait alors titré « Comment les sondeurs ont-il pu se planté autant! » Même réaction de la part des ténors de l’industrie du sondage. Les promesses de revoir de fond en comble les méthodes, le lien qui lie les firmes à ceux qui les publient. Tout pour essayer de redorer la crédibilité de l’industrie…

Voilà à quoi je pense, et ce qui me revient en tête ce matin quand je lis l’article de Denis Lessard dans La Presse. Un sondage qui arrive juste à point alors que des partielles auront lieu dans une dizaine de jours, un coup de sonde qui avantage tout le monde, mais vraiment tout le monde sauf le PQ. On aurait voulu écrire un scénario qui plombe les troupes de Jean-François Lisée à quelques jours des partielles qu’on aurait écrit texto ce scénario là. Au pouce près.

« Ah bin gaddon! »

Dans son texte « Can media be trusted to accurately report polls? » (Peut-on se fier aux médias pour informer correctement sur les sondages?) Oleh Iwanyshyn (fondateur de ViewStats et spécialiste de l’industrie depuis les mi-70) y allait d’affirmations toujours pertinentes aujourd’hui :

« Traditionally, the press makes a big deal about independently verifying the accuracy of information in its investigative stories. The same standard of verification is curiously absent in its poll stories.

Why is that?  A poll, simply put, is an aggregated conversation on a common topic involving hundreds of individuals. Like any conversation, it’s easy to misinterpret its meaning. »

 

« Généralement, la presse insiste beaucoup sur la vérification indépendante de l’exactitude de l’information dans ses texte d’investigation, ses articles. Les mêmes normes de vérification sont curieusement absentes quand il est question des sondages.

Pourquoi donc? Un sondage,  n’est en fait qu’une conversation agrégée sur un sujet commun qui implique des centaines d’individus. Comme toute conversation, il est facile de mal interpréter sa signification. » Oleh Iwanyshyn

Au final, Iwanyshyn questionne la relation incestueuse qui existe entre certains sondeurs et ceux qui les publient. Selon lui, il n’est pas normal, par exemple, qu’un sondeur soit lié toujours, de façon inaliénable, au même média.

« Reassurances from pollsters on the accuracy of results are suspect due to an obvious conflict of interest.  They’re marketing their product. The press also has a conflict of interest.  Media organizations often commission these polls.  Can you remember the last time a media organization has questioned the results of a poll it paid for? Even if a news organization has no financial stake in a poll, it usually doesn’t have the technical expertise to independently assess the poll’s accuracy. »

« Quand les sondeurs sont ceux qui s’occupent des réassurer quant à l’exactitude de leurs résultats, cela demeure très suspect en raison d’un conflit d’intérêt évident. Ce sont eux aussi qui commercialisent leur produit. Les médias qui les publient sont aussi en position de conflit d’intérêts car ce sont eux qui commandent souvent ces sondages. Pouvez-vous vous rappeler la dernière fois qu’une organisation médiatique a remis en question les résultats d’un sondage pour lequel il a payé? Même si une organisation de presse n’a aucun intérêt financier dans un sondage, elle n’a généralement pas l’expertise technique nécessaire pour évaluer de façon indépendante l’exactitude du sondage. » Oleh Iwanyshyn

Je me permettrai ici de rappeler le travail d’analyse très détaillé qu’a fait Claude Caron de tous les sondages qui ont mené à la victoire du PLQ en 2003. On peut questionner la conclusion de Claude Caron mais ce qui est stupéfiant c’est que la courbe des sondages qu’il produite en 2003 est quasi identique à ce qui a été observé en 2014. Aussi, on peut voir la même tendance aujourd’hui dans la tendance qu’a CROP à surestimer l’appui au tiers parti au détriment du vote qui est dévolu au PQ. Cette courbe était présente en 2003, en 2012, en 2014 et encore aujourd’hui. D’autant plus que, on ne peut le nier, ceux qui possèdent le média qui publie CROP,  média qui est lié à cette firme de sondages, n’a jamais caché sa volonté de nuire aux indépendantistes, de les combattre. Voilà un outil efficace, puissant, pour le faire.

capture-decran-2016-11-23-a-08-47-27

Je demeure toujours très prudent quand la firme de sondage CROP sonde la politique québécoise alors que la province est en période d’élections, comme c’est le cas présentement. Il y a quatre élections partielles dont les résultats sont attendus. On aurait voulu plomber, attaquer le PQ de Jean-François Lisée à ce moment crucial qu’on aurait pas procédé autrement.

A-t-on déjà oublié la controverse autour d’un sondage CROP payé par le NPD lors de la dernière élection fédérale? Sondage coulé par un employé politique de la formation de Mulcair et repris par certains médias ensuite pour avancer que Justin Trudeau était en danger dans son propre comté? Le problème c’est que de nombreux médias ont repris les conclusions de ce sondage sans vérifier au préalable qui l’avait commandé et ont spinné sur les résultats étonnants. Ça nourrissait la bête. Le NPD l’avait compris et espérait ainsi profiter de ce spin afin d’attaquer le chef Libéral.

CROP a été vertement critiqué dans cette affaire et, étonnamment, La Presse s’est tournée vers une firme externe en fin de campagne (EKOS) afin de sonder les électeurs…

 

Scridb filter