L’évaluation est aujourd’hui devenue incontournable dans les organisations et celles-ci développent un nombre sans cesse croissant d’indices permettant de mesurer l’efficacité de leurs interventions. Avec plus ou moins de succès, comme le note Maya Beauvallet dans son livre Les stratégies absurdes. La mesure en relations publiques est une véritable gageure : comment faire pour mesurer l’efficacité des relationnistes et sur quels critères?

C’est sur ces questions que se sont penchés professionnels et chercheurs à Barcelone en 2010 à l’occasion du deuxième Sommet européen sur la mesure. La « Déclaration de Barcelone » propose des standards en ce qui a trait à l’évaluation des résultats des relationnistes.

« (…) se lancer sans préparation dans la réalisation d’une analyse de contenu n’a pas de sens car les résultats doivent être exacts. »

Comme l’affirme Grunig, l’analyse de presse n’est pas LA solution, mais, utilisée avec précaution, il s’agit de l’un des meilleurs outils à la disposition des communicateurs.

Validité de la méthode

De nombreux critères doivent être respectés afin que l’analyse du contenu des médias permette de livrer des résultats à la fois scientifiques et exploitables. En effet, se lancer sans préparation dans la réalisation d’une analyse de contenu n’a pas de sens car les résultats doivent être exacts. A quoi bon réaliser une étude si celle-ci ne permet pas d’obtenir l’heure juste et risque au contraire d’induire les décideurs en erreur? Il est donc essentiel de s’assurer de la validité de la méthode qui sera utilisée.

La première étape est de s’interroger sur les indices[1] employés. On ne peut se permettre de réaliser les calculs que l’on veut en les saupoudrant de variables qui semblent faire l’affaire. Par exemple, accorder une valeur à la réputation des journalistes est-il possible? Si c’est le cas, comment s’assurer que la valeur appliquée est juste? Seules des études portant sur la réputation des journalistes permettraient de répondre à cette question. Mais ce genre d’études existe-t-il?

La quantité est-elle suffisante?

On retrouve régulièrement des variables de ce genre ajoutées dans les formules des indices. Par exemple, on attribuera, selon les cas, un poids supérieur à un article paru en première page par rapport à un article paru en pages centrales. De même, un article placé en haut de la page ou avec une photo obtiendra plus de points que les autres. Si tout le monde s’accorde pour dire que tout cela relève du bon sens, il n’en reste pas moins que l’on ne peut attribuer arbitrairement des points ou des coefficients à des articles en fonction de leur place. Seules des études (complexes et donc onéreuses) permettraient de les déterminer.

La seule variable connue à l’heure actuelle est le tirage des journaux (ou leur portée) et l’audience. Il s’agit donc là de la seule qui devrait entrer en compte dans l’élaboration des indices. Cela ne signifie pas qu’il faille abandonner la recherche des titres, photos et articles parus en première page. Mais leur « poids » ne peut être intégré dans le calcul des formules mathématiques en fonction de variables dont personne ne connait les valeurs.

Quantité vs qualité?

Toutes les questions que nous venons d’aborder ont trait à l’analyse quantitative, c’est-à-dire des études qui permettent de recenser les thèmes les plus traités par les médias en indiquant leurs fréquences d’apparition. Par exemple, grâce à une analyse quantitative, on peut savoir que certains médias traitent surtout de sport et peu d’actualités internationales.

Si ces résultats paraissent intéressants de premier abord, on se rend vite compte que l’analyse quantitative est limitée car elle ne permet pas de rendre compte du ton. Grunig affirme que les études doivent être qualitatives, notamment lorsqu’il s’agit d’analyser le contenu des médias sociaux[2]. Ainsi, à quoi sert-il de savoir que l’on a plus parlé de François Legault que de Jean Charest ou de Pauline Marois si l’on n’a aucune idée de la qualité du traitement dont ils font l’objet?

On arrive donc à un deuxième point central : il est essentiel, pour réaliser une analyse de presse pointue qui permettra de mesurer l’efficacité des relations publiques des organisations, de réaliser une étude qualitative. C’est-à-dire une méthode qui permet de déterminer si le ton de la couverture est positif ou négatif.

 « (…) nombre de fournisseurs d’analyse de presse ne dévoilent pas leurs méthodes en invoquant le secret professionnel. »

Cependant, le sérieux de la méthode employée joue un rôle encore plus déterminant. En effet, les méthodes qualitatives font face à certaines critiques justifiées. L’évaluation du contenu est complexe à réaliser, car il est délicat de déterminer si une nouvelle est négative, positive ou neutre. Là encore, le choix de la méthode est crucial. Certaines laissent une large place à l’interprétation, ce qui conduit à des marges d’erreur trop élevées. Il est donc indispensable de s’assurer de la validité d’une méthode afin d’être certain que les résultats ne seront pas biaisés.

L’importance de la méthode et le secret professionnel

On se rend compte que la méthode d’analyse est essentielle et que les décideurs qui commandent de telles études (à l’interne ou à l’externe) doivent impérativement se renseigner sur les façons de faire. Cependant, nombre de fournisseurs d’analyse de presse ne dévoilent pas leurs méthodes en invoquant le secret professionnel. Si la formule mathématique précise du calcul de l’indice peut effectivement représenter une donnée confidentielle, il n’en reste pas moins que le client doit être conscient de divers détails, comme la façon dont sont analysés les articles (évaluation globale du contenu d’une nouvelle ou décorticage en unités de sens?) et quelles sont les variables employées. A ce sujet, les critères menant à la détermination de la valeur des variables doivent être connus et justifiés. Seule la connaissance de ces données permet de juger du sérieux et de la validité du service.

« (…) si toutes les entreprises sont prêtes à payer très cher pour réaliser des sondages, bien peu sont disposées à consacrer un budget conséquent pour l’analyse de presse »

Les informations stratégiques obtenues sont trop importantes pour laisser place à l’approximation et aux erreurs. En effet, grâce à l’obtention de données fiables, les organisations obtiennent des chiffres précis qui leur permettent alors d’évaluer la teneur des propos émis par les journalistes, de mesurer l’efficacité de leur porte-parole et de leurs relations de presse, d’identifier la ferveur avec laquelle les médias traitent des sujets ou des dossiers majeurs et au final de bâtir leurs stratégies de communication puis de les valider. Car c’est bien là l’essence de l’analyse de presse : permettre aux communicateurs de se doter d’outils efficaces leur permettant de cerner avec précision le discours des médias afin de pouvoir mettre en œuvre les décisions qui s’imposent.

Sans une analyse de presse menée de façon rigoureuse, les communicateurs restent dans le flou. Pensez-y bien, car si toutes les entreprises sont prêtes à payer très cher pour réaliser des sondages, bien peu sont disposées à consacrer un budget conséquent pour l’analyse de presse. Pourtant celle-ci ne coûte quasiment rien comparativement aux enquêtes d’opinion. Mieux : elle permet souvent d’expliquer les résultats qui en sont issus.