À la fin de la semaine dernière, Facebook a de nouveau été contraint d’émettre une clarification concernant les inexactitudes dans les métriques qu’ils ont fournies aux annonceurs, leur troisième mise à jour de ce type au cours des quatre derniers mois. Et tandis que certains ont sauté sur l’actualité comme confirmation que les données de Facebook ne sont pas fiables – et même que la plate-forme n’est peut-être pas aussi influente que beaucoup le croient – il est important d’examiner les détails de chacune pour comprendre quelles sont les inexactitudes et comment la fausse déclaration s’est réellement produite.
Voici une liste complète de toutes les erreurs de signalement que Facebook a identifiées au cours des derniers mois, y compris une explication de ce que chaque mesure est censée représenter, ce qu’elle montrait et comment ils s’efforcent de la corriger.
(REMARQUE : ce message a été mis à jour le 16/12/2016 pour inclure la dernière erreur d’Instant Articles)
1. J’aime, boutons de partage et écart de recherche mobile
La semaine dernière, Facebook a signalé qu’ils avaient identifié un écart entre le nombre de boutons J’aime et Partager via leur API graphique et le nombre lorsque vous entrez une URL dans la barre de recherche de l’application mobile Facebook.
Le problème a en fait été identifié par Tim Peterson de Marketing Land – comme l’a expliqué Peterson, dans le cadre de son enquête sur le rapport de BuzzFeed qui montrait que les fausses nouvelles avaient surpassé les vraies nouvelles au cours des trois derniers mois de la campagne électorale présidentielle américaine, il était parti à la recherche d’un moyen d’isoler le décompte des actions, spécifiquement, pour chaque article, car le rapport de BuzzFeed avait examiné le nombre de partages, de likes et de commentaires combinés. Facebook a mis à jour son algorithme en juin pour donner plus de poids aux mises à jour des amis et de la famille, alors Peterson a voulu décomposer le nombre de partages spécifiquement pour voir si les partages entraînaient une portée plus élevée – ainsi, l’algorithme pourrait également faire partie du problème dans le diffusion de faux rapports.
Pour analyser spécifiquement les partages, Peterson a comparé les données de l’API Graph de Facebook pour chaque publication identifiée par BuzzFeed (qui affiche le nombre total de partages), puis les a recoupées dans l’application mobile Facebook (qui affiche une mesure des partages isolément, selon l’image ci-dessus ).
Comme expliqué par Peterson :
« Pour 20 faux liens d’actualités et 20 vrais liens d’actualités issus de l’enquête de BuzzFeed – les groupes d’août au jour des élections – j’ai tiré le nombre total d’engagements de l’API Graph de Facebook et le nombre total de personnes qui ont partagé le lien à partir des résultats de recherche mobile de Facebook. Et C’est à ce moment-là que j’ai vu quelque chose de bizarre. Pour trois de ces 40 liens – vers NBC News, Breitbart et Liberty News – Facebook a déclaré que plus de personnes les avaient partagés ou commentés qu’ils ne les avaient partagés ou aimés ou commentés. Et les écarts n’étaient pas minimes. . Au moment où j’ai vérifié, le lien NBC News a reçu 407 708 partages et commentaires, selon les résultats de la recherche mobile, mais 237 881 partages et commentaires et likes, selon les résultats de l’API Graph.
Facebook dit qu’ils ne savent pas comment cette erreur s’est produite, mais qu’ils travaillent pour la corriger.
Dans ce cas, l’impact de l’erreur semble relativement faible – peu d’entreprises, voire aucune, chercheraient à faire des comparaisons de cette manière, de sorte que les données affichées sur l’application mobile n’auront probablement pas un impact majeur sur les mesures. . Mais l’élément préoccupant est que Facebook ne sait pas pourquoi cela s’est produit, que ce soit un problème avec la façon dont l’API Graph compte les partages ou avec l’application mobile elle-même. S’il s’agit de l’API, il pourrait y avoir d’autres impacts, bien que rien ne suggère que ce soit le cas pour le moment.
Sur la base des informations disponibles, ce problème signifie que les données affichées dans l’application mobile sur le nombre de personnes qui ont partagé un lien sont erronées et ne doivent pas être utilisées tant que Facebook n’a pas publié une mise à jour.
2. Comptage erroné des réactions en direct sur Facebook
En plus de cela, Facebook a également signalé la semaine dernière qu’ils avaient mal compté les réactions sur les vidéos Facebook Live.
Comme indiqué ici, Facebook a fourni aux créateurs de Facebook Live le nombre total de réactions sur leur contenu, mais les données qu’ils ont fournies étaient inexactes car ils ne comptaient qu’une réaction par spectateur en direct, comme indiqué dans les données « On Post » (au milieu colonne). Les utilisateurs, bien sûr, peuvent – et le font souvent – enregistrer plusieurs réactions au cours d’une vidéo. Ces réactions ultérieures étaient incorrectement répertoriées dans le décompte « sur les actions » (troisième colonne). Cela signifie que vos décomptes de réactions auraient donné l’impression qu’il y avait plus de personnes qui réagissaient aux rediffusions de la diffusion qu’il n’y en avait en réalité – les décomptes totaux étaient et sont exacts, mais Facebook attribuait mal exactement quand ces réponses se sont réellement produites.
Comme indiqué par Facebook :
« Le correctif de ce problème s’appliquera aux vidéos en direct nouvellement créées à partir de la mi-décembre. Il augmentera les « réactions à la publication » de 500 % en moyenne et les réduira de 25 % en moyenne aux « réactions des partages de la publication » ( l’impact réel sur des vidéos spécifiques peut varier). »
Ainsi, plus de personnes répondent plus souvent à la diffusion en direct qu’à la rediffusion, et les données de Facebook le refléteront désormais avec précision. Important pour les créateurs Live.
3. Durée moyenne de la vidéo visionnée
En septembre, Facebook a précisé qu’ils signalaient mal leur métrique de durée moyenne de la vidéo visionnée.
Cela durait depuis un certain temps, des années en fait. Facebook avait utilisé ce calcul pour fournir cette statistique :
Temps total passé à regarder / Nombre total de personnes qui ont lu la vidéo pendant trois secondes ou plus
Cela signifie que toutes les personnes qui regardaient pendant moins de trois secondes n’étaient pas comptabilisées dans les résultats, ce qui signifie que la durée moyenne réelle du contenu visionné était inférieure à ce qui était signalé.
L’impact de ceci est difficile à définir car il s’agit d’une proposition au cas par cas, mais certains ont suggéré que l’erreur augmentait la durée totale du nombre de vidéos visionnées d’environ 60 %.
.png)
Lors de la découverte de l’erreur, Facebook a publié une déclaration disant qu’ils l’avaient corrigée et avaient revu leurs pratiques pour s’assurer que cela ne se reproduise plus.
« Nous avons informé nos partenaires et nous nous sommes assurés de mettre un avis dans le produit lui-même afin que toute personne entrant dans son tableau de bord puisse comprendre notre erreur. Nous avons également examiné nos autres métriques vidéo sur le tableau de bord et avons constaté que cela n’avait aucun impact sur la vidéo chiffres que nous avons partagés dans le passé, tels que le temps passé à regarder des vidéos ou le nombre de vues de vidéos. Nous voulons que nos clients sachent que cette erreur de calcul n’a pas et n’aura pas à l’avenir d’impact sur la facturation ou sur la façon dont les modèles de mix média valorisent leur Facebook investissements vidéo. »
4. Aperçu de la page – Portée organique
Facebook a signalé en novembre qu’il avait découvert un bogue qui signifiait que l’un des tableaux de bord de l’onglet Page Insights affichait des données incorrectes.
L’élément en question est celui-ci :
C’était le seul chiffre affecté – Facebook dit que la portée sur cet onglet a été mal calculée, montrant une somme de portée quotidienne mais ne supprimant pas les visiteurs récurrents du décompte.
Selon Facebook :
« Le résumé de 7 jours dédupliqué dans le tableau de bord d’aperçu sera en moyenne de 33 % inférieur et celui de 28 jours sera inférieur de 55 %. Ce bogue existe depuis mai ; nous allons le corriger dans les prochaines semaines. Il n’affecte pas la portée payée. »
5. Articles instantanés – Temps passé
Toujours en novembre, Facebook a trouvé une erreur dans sa déclaration du temps moyen passé par article sur les articles instantanés, avec une erreur de calcul conduisant à une sur-déclaration de cette statistique d’environ 7% à 8%.
Facebook a déclaré qu’ils comptaient à tort « l’histogramme du temps passé », au lieu de refléter le temps total passé à lire un article divisé par le nombre total de vues.
6. Analyse pour les applications
Facebook a également trouvé une erreur dans leur signalement des références provenant d’applications.
Dans le tableau de bord Analytics for Apps, l’onglet « Parrainages » affiche tous les messages produits par des personnes via une application ou un site Web.
Ces données sont censées refléter les clics qui sont allés directement vers une application ou un site Web, mais Facebook a constaté qu’ils comptaient également d’autres clics sur ces publications, y compris les clics pour afficher des photos ou des vidéos.
« Pour les utilisateurs expérimentés de cette métrique (les meilleures applications qui consultent ces données dans le tableau de bord le plus souvent), nous avons constaté que les références ont été surestimées d’environ 6% en moyenne. D’autres mesures de références, telles que celles apparaissant dans les outils de création de rapports sur les publicités de Facebook , ne sont pas affectés. »
7. Sous-compter les articles instantanés sur iOS
Le 16 décembre, Facebook a confirmé que comScore avait identifié une erreur avec les données d’Instant Articles qui a causé une sous-déclaration du trafic iPhone pour le contenu IA entre le 20 septembre et le 30 novembre 2016. Selon le Wall Street Journal, l’erreur a touché moins de 1% de le trafic des éditeurs concernés, bien que comScore estime que le trafic de certains éditeurs a été sous-estimé de 10 à 20 % au cours de la période.
Facebook a maintenant corrigé l’erreur et travaille avec comScore pour produire des estimations mises à jour pour les périodes pertinentes pour les partenaires concernés. Facebook a également contacté les éditeurs concernés.
Le trafic iPad et Android n’a pas été affecté.
Résoudre les problèmes
En annonçant tous ces changements, à l’exception de l’écart de recherche mobile noté, Facebook a également détaillé comment ils travaillent pour les corriger. Mais évidemment, le plus gros problème et préoccupation pour Facebook, c’est que ces erreurs remettent maintenant en question toutes leurs autres mesures – comment pouvons-nous nous fier aux données de Facebook étant donné qu’ils se sont tellement trompés ? Combien de temps faudra-t-il avant qu’un autre rapport ne sorte, révélant que leurs chiffres étaient erronés ?
Vraiment, le meilleur moyen de contrer les erreurs de données est de tout vérifier avec vos propres métriques sur la page et les statistiques de Google Analytics. La plupart des mesures incorrectes auront peu d’impact sur les objectifs commerciaux les plus courants, à savoir les clics et les conversions ultérieures. Et surtout, vous pouvez suivre toutes les références Facebook pour ces statistiques d’une autre manière, indépendamment de Facebook lui-même, et il est important de le faire pour vous assurer que ce que vous voyez correspond au reste de vos statistiques.
Du côté de Facebook, ils s’efforcent de faciliter davantage la vérification par des tiers de leurs données afin de donner plus de tranquillité d’esprit aux spécialistes du marketing, tout en améliorant également la précision de leurs structures de nommage (par exemple, « afficher le contenu » → « vue du contenu du site Web , » et « vues vidéo » → « vues vidéo de 3 secondes ») et mettre à jour leurs glossaires pour garantir des explications plus cohérentes de leurs métriques sur les différentes plates-formes.
Mais en réalité, l’impact de ces erreurs et la confiance que vous accordez aux données de Facebook dépendent de vous.
Comme indiqué, les erreurs soulignent à quel point il est important de vérifier par recoupement lorsque cela est possible et de s’assurer que les données présentées reflètent vraiment les résultats finaux que vous obtenez.
MISE À JOUR (1/31) : Facebook a annoncé de nouvelles mesures pour renforcer la précision de ses métriques, notamment de nouveaux partenariats avec Nielsen et comScore et l’introduction de la modélisation du mix marketing.
