La com­mis­sion des son­dages vient tout juste d’épingler un son­dage de l’institut BVA pour ses erreurs de métho­do­lo­gie, qu’un autre, tout aus­si contes­table, vient d’être publié. Jusqu’à quand serons-nous obli­gés de subir des son­dages réa­li­sés à la hâte et dif­fu­sés sans dis­cer­ne­ment par cer­tains organes de presse ?

Selon la mise au point du 3 novembre publiée par la com­mis­sion des son­dages [http://www.commission-des-sondages.fr/hist/communiques/mise-au-point-sondages-elections-regionales-2015–11-03.htm], le son­dage publié par l’Alsace et les DNA sur les inten­tions de votes des élec­teurs de la région Alsace-Cham­pagne-Ardenne-Lor­raine appa­rait « enta­chés d’un défaut de méthode qui ôte à leurs résul­tats leur carac­tère significatif ».

Cette com­mis­sion n’a pas détaillé en quoi consti­tuait ces « défauts de méthode ». On connait depuis long­temps la fra­gi­li­té de ces son­dages en début de cam­pagne, alors que les élec­teurs inter­ro­gés n’ont pas vrai­ment encore réflé­chi au scru­tin. On peut plus encore dou­ter de la per­ti­nence de la pré­sen­ta­tion du deuxième tour sous forme de tri­an­gu­laire alors qu’il suf­fit de 10 % des suf­frages au pre­mier tour pour qu’une liste puisse se main­te­nir au second tour (et 5 % pour fusion­ner avec une autre liste).

Mais d’un point de vue plus tech­nique, on peut poin­ter trois défauts de méthode majeurs pour ce sondage :

  • Le recueil des inten­tions de vote s’est faite par Inter­net, ce qui est la plus mau­vaise des méthodes : elle pro­duit des biais dans la consti­tu­tion de l’échantillon (seules les per­son­nels qui se déclarent inté­res­sées par la poli­tique font par­tie du panel, ce qui explique les 32 % de per­sonnes « qui ne se pro­noncent pas » alors que le taux d’abstention est annon­cé à 50 %) ; l’absence d’enquêteur durant la pas­sa­tion du ques­tion­naire rend les résul­tats moins rigoureux.
  • Les listes ont été mal pré­sen­tées : « la liste sou­te­nue par le par­ti Europe Eco­lo­gie Les Verts et conduite par San­drine Bélier » est en fait aus­si sou­te­nue par d’autres par­tis éco­lo­gistes et repré­sente bien plus que le seul par­ti EELV ; « la liste sou­te­nue par Unser Land et conduite par Jean-Georges Trouillet » ras­semble aus­si des par­tis régio­na­listes lor­rains et l’Alliance Eco­lo­gique Indé­pen­dante pour la Cham­pagne-Ardenne, ce qui lui donne une vraie dimen­sion inter­ré­gio­nale, au-delà de la seule Alsace.
  • la taille de l’échantillon est en fait réduite pour chaque région prise indé­pen­dam­ment, d’où l’accroissement de la « marge d’erreur ». Si l’on consi­dère que chaque popu­la­tion élec­to­rale régio­nale a une sen­si­bi­li­té par­ti­cu­lière pour répondre à cette ques­tion (ne serait-ce qu’au sujet de l’évaluation pas­sée de l’action de leur Conseil Régio­nal), le résul­tat de ce son­dage est plu­tôt une addi­tion de fortes « marges d’erreur », plus proche des 6 points que des 3 points habi­tuel­le­ment acceptés.

Sta­tis­ti­que­ment, pour avoir une approxi­ma­tion (fiable à 95 %) des inten­tions de vote d’un groupe de plu­sieurs mil­lions de per­sonnes, il est pos­sible de limi­ter l’enquête auprès d’un échan­tillon de 1000 per­sonnes repré­sen­ta­tives et tirées au sort de ce groupe. Selon cette tech­nique, il sub­siste néan­moins une marge d’erreur qui est au mini­mum de 1,4 % et au maxi­mum de 3,1 %, en plus ou en moins selon les scores obte­nus (soit un écart glo­bal de 3 à 6 points).

Le pro­blème de ce son­dage est que l’échantillon n’est pas com­po­sé de 1189 indi­vi­dus d’un même ensemble (la popu­la­tion d’une même région qui n’existe pas encore, puisque l’Acal, d’ailleurs encore incon­nue de la majo­ri­té des élec­teurs, ne naî­tra que le pre­mier jan­vier 2016) mais de l’addition de 3 échan­tillons beau­coup plus réduits : 444 indi­vi­dus pour l’Alsace, 611 pour la Lor­raine, 304 pour la Champagne-Ardenne.

Le tableau ci-après per­met de se faire une idée de l’addition des marges d’erreur réa­li­sée : si on prend un résul­tat autour de 10 %, les écarts pro­bables sont de 5,8 points pour l’Alsace, 4,8 points pour la Lor­raine et 6,8 points pour la Cham­pagne-Ardenne. Cela com­mence à faire beaucoup !

Le tableau ci-des­sous indique les marges d’er­reur par pro­por­tion de réponses au seuil de confiance de 95%, pour une taille d’é­chan­tillon com­prise entre 100 et 2.000 personnes.

marge_derreur_picture4

 

Par exemple, si l’on a consta­té un pour­cen­tage de 40% auprès d’un échan­tillon de 800 per­sonnes; l’in­ter­valle dans lequel se trouve le vrai pour­cen­tage P est 40% + ou – 3,4%, c’est-à-dire entre 36,6% et 43,3%

Tableau tiré d’une page web de l’institut TNS qui explique très clai­re­ment la tech­nique des son­dages :www.tns-ilres.com/cms/Home/WikiStat/Marge-d-erreur

En toute rigueur, sur ces ques­tions régio­nales, pour obte­nir une marge d’erreur stan­dard pour ce type de son­dage, il aurait fal­lu réa­li­ser le son­dage auprès de 1000 Alsa­ciens, 1000 Lor­rains et 1000 Cham­par­den­nais. Grâce à la méga-région, BVA a fait des éco­no­mies… et un sur­croît d’approximation !

Le son­dage Odoxa, qui vient d’être publié le 8 novembre par le Pari­sien, pré­sente exac­te­ment les mêmes erreurs de méthodes : son­dage par inter­net, échan­tillons régio­naux mal com­po­sés, mau­vaise pré­sen­ta­tion des listes. Il s’agit d’un clone du son­dage BVA, tout aus­si mal fait, avec des fluc­tua­tions des résul­tats qui res­tent à l’intérieur même de la marge d’erreur (le FN comme la droite étant situés dans ces deux son­dages entre 30 et 32 % chacun).

Le son­dage dif­fu­sé par le Pari­sien et BFM TV est donc une non-infor­ma­tion qui ne prouve qu’une chose : entre le 15 octobre et le 5 novembre, dates de réa­li­sa­tion de ces deux son­dages, la cam­pagne n’a tou­jours pas démarré…

Vincent Gou­let