Si le texte publié par Le Monde avait été un travail d’étudiant·es en première année de sociologie à l’université, on aurait pu comprendre les erreurs manifestes des auteur·es. Mais quand il s’agit d’universitaires chevronné·es, difficile d’expliquer le manque total de rigueur. Ce qui conduit à formuler l’hypothèse suivante : l’objet de cette étude n’est en rien d’analyser scientifiquement la composition du mouvement des gilets jaunes mais d’avaliser par un argument d’autorité une position politique.

Une méthode tout sauf scientifique

L’étude, un temps accessible en ligne sur le site web de Sciences Po Bordeaux, n’est plus disponible. Les conditions de celle-ci sont donc à ce jour vagues. Les seules informations que nous avons sont celles parues dans le texte publié dans Le Monde.

« Les résultats, encore très provisoires, présentés ici s’appuient sur l’analyse de 166 questionnaires distribués auprès des participants aux actions sur les ronds-points et aux péages, ou lors des manifestations ayant eu lieu les 24 et 1^er décembre, par une équipe d’une dizaine de chercheurs et d’étudiants. Le questionnaire a été élaboré de manière à recueillir des informations détaillées et précises sur les participants. »

Premier problème : nombre de questionnaires et marge d’erreur

Nous savons donc que seules 166 personnes ont répondu au questionnaire des chercheur·es — sans précisions supplémentaires, ne serait-ce que géographiques. En terme statistique, cela signifie que l’échantillon est de 166. Or, la taille de l’échantillon, si elle ne détermine pas son caractère représentatif, compte lorsque l’on prétend proposer une analyse quantitative : de cette taille dépend la marge d’erreur, c’est-à-dire la fiabilité du sondage.

Cette fiabilité se comprend comme une estimation des différences possibles de résultats d’un même sondage s’il devait être reproduit à l’identique. Pour un échantillon de 166 personnes, la marge d’erreur est de de près de 8%, 7,6% pour être précis. Autrement dit, si le résultat du sondage est 100, l’enquête permet de dire que la réalité se trouve probablement entre 92 et 108. On dit alors que [ 92 ; 108 ] est l’intervalle de confiance du premier sondage.

Pour illustrer très concrètement ce que cela signifie, on peut considérer le dernier sondage d’intentions de vote d’avant le premier le tour de l’élection présidentielle de 2017 : avec une incertitude de 3 points pour un niveau de confiance de 95 %, Marine Le Pen était annoncée à 24, soit entre 21 et 27 % ; avec une marge d’erreur de 8% elle aurait été annoncée entre 16 et 32 %, soit du simple au double.

Quand nos « 70 scientifiques » expliquent que 14,9 % des personnes interrogées se positionnent à l’extrême gauche, on peut conclure de façon fiable à partir de leurs « résultats » que cet engagement concerne entre 6,9 et 22,9 % d’une population qui ressemblerait à ce panel. C’est peu précis.

Dans la communauté scientifique, une marge d’erreur acceptable est de l’ordre de quelques pourcents, et aucune enquête avec une marge d’erreur de 8 % ne passerait jamais les mailles de la sélection des revues scientifiques de premier plan. On comprend ici que pour la seule raison de la taille ridicule de l’échantillon, il faut a minima prendre de grosses pincettes avec les « résultats » présentés. Et qu’avec une telle marge, les « 70 scientifiques », s’ils et elles prétendent faire des statistiques, devraient faire preuve d’une grande humilité.

Second problème : le choix des personnes

Le principal écueil de cette enquête n’est pourtant pas la taille de l’échantillon, mais sa constitution. En effet, la marge d’erreur à 8 % pourrait être acceptable si l’échantillon était « non déformé », c’est-à-dire représentatif des gilets jaunes. Or, dans le cadre de cette « enquête », ce n’est clairement pas le cas [...]