Vous le savez si vous me lisez régulièrement, et je sais que vous êtes nombreux :-), tout ce qui touche à la méthodologie me concerne plus particulièrement. Je ne puis accepter ainsi les résultats d’un sondage, d’une analyse de presse, sans connaître les détails de la méthodologie employée pour arriver aux résultats de l’étude. Car sans une méthodologie solide, les résultats ne valent rien. La méthodologie, c’est comme les fondations d’une maison. Sans de bonnes fondations, une maison s’écroule. Il en est de même pour pour toute étude, quelques soient ses résultats. A ce sujet, il est dommage de voir comment les médias peuvent se précipiter sur des études aux résultats percutants sans s’assurer de leurs sérieux.
La semaine dernière je commentais les résultats dévoilés par Reporters sans frontières (RSF) quant à l’état de la liberté de la presse dans le monde. J’ai abordé à peine la question de la méthodologie, me contentant d’indiquer que « l’auto-censure » était l’un des critères employé servant au classement des pays. En fait, il y en a bien d’autres, comme le fait que des journalistes aient été emprisonnés, torturés voire assassinés. Tous les détails sont consultables ici.
On reste cependant sur notre fin. Beaucoup de détails sont omis. Par exemple,un barème est établi pour pondérer les questions. Certains valent 1, 2, 3, 5 points. Il arrive même que l’on puisse monter jusqu’à 20 points. Tout cela est sans doute justifier. Mais il serait bon toutefois de donner quelques détails supplémentaires. Je ne pense pas que cela nuise à la qualité de l’étude et à la pertinence de ses résultats. On a d’ailleurs beaucoup plus de détails que dans la plupart des cas.
Inversement, il arrive que les notes méthodologiques fassent des dizaines de pages, notamment dans les études universitaires, ce qui conduit le lecteur à les ignorer. Ne serait-il pas possible de trouver un juste milieu? On m’objectera que souvent les détails méthodologiques sont des « secrets industriels ». Mais je pense qu’il s’agit là d’un faux prétexte lorsque l’on parle de sondages ou d’analyse de contenu. La plupart des détails peuvent être révélés. Je dirai même qu’ils DOIVENT être révélés, sans quoi, comme je le disais plus haut, le risque est que l’étude n’ait plus aucune valeur.
L’exemple qui me vient en tête à trait aux scores donnés à Jean-Marie Lepen lors de l’élection présidentielle de 2007. Le leader de l’extrême droite française avait déjoué les sondeurs 5 ans plus tôt en accédant au deuxième tour de l’élection présidentielle. Ceux-ci, ne voulant pas se faire « avoir » une deuxième fois, l’ont alors « réévalué ». Constatant que de nombreux sondés hésitaient à avouer qu’ils allaient voter pour lui, les sondeurs ont alors décidé de « redresser » son score. Le patron d’un institut de sondage demandait ainsi systématiquement à son personnel de lui rajouter 10 points! Ce qui assurait, on s’en doute bien, la scientificité de l’étude. Résultat, M. Lepen a fait score bien moindre que ce qu’anticipaient les sondeurs et c’est la réputation de toute une profession qui en pâtit aujourd’hui.
Bref, comme je le disais dans mon livre L’analyse de contenu : De la théorie à la pratique, si la méthode ne doit pas être une fin, il n’en reste pas moins qu’elle est indispensable.
