Au cours des dernières années, Facebook a fait progresser ses capacités de reconnaissance d’images, ce qui pourrait bientôt offrir une toute nouvelle considération aux spécialistes du marketing. Aujourd’hui, Facebook a publié un nouveau document de recherche décrivant ses derniers développements en matière de reconnaissance d’images, y compris des capacités de recherche avancées basées sur des objets.
Voici comment évolue la recherche d’images sur Facebook et les opportunités potentielles qui en découleront.
Vision par ordinateur
En avril dernier, Facebook a annoncé la sortie d’un texte alternatif automatique – ou texte alternatif automatique – pour les images publiées sur Facebook. Le texte alternatif automatique utilise la technologie de reconnaissance d’objets pour générer une description d’une photo, en traitant chacune via le moteur d’intelligence artificielle de Facebook pour établir le contenu de l’image.
Ce système est l’aboutissement d’années de travail – en novembre 2015, Facebook a présenté les progrès qu’ils avaient réalisés avec leur IA de reconnaissance d’images, avec leur système capable de distinguer les objets d’une photo 30% plus rapidement et en utilisant 10 fois moins de données d’entraînement. , que les précédents repères de l’industrie.
.png)
Le niveau de détail que le système traduit maintenant peut ne pas sembler être un retour pour des années d’efforts, mais la quantité de travail nécessaire pour apprendre à un ordinateur à « voir » ce qu’il y a dans une image est énorme. Le système doit être entraîné sur d’énormes ensembles de données avec des descriptions pertinentes de chaque image afin de déterminer les éléments clés et de déterminer ce qu’est chaque objet.
Pourtant, même avec toute cette formation, il y a encore des limites à ce que la reconnaissance d’image peut faire – par exemple, dans l’image ci-dessous, vous pouvez voir comment le système trébuche toujours lorsque les objets sont « sur » les uns sur les autres, reconnaissant deux personnes comme une seule .
Ces types de capacités de reconnaissance plus finies sont beaucoup plus difficiles à former, ce qui vous donne une idée des défis auxquels les chercheurs de Facebook sont confrontés lorsqu’ils travaillent à la construction d’un système de reconnaissance d’images. Les choses qu’un humain peut faire facilement ne sont pas simples pour un système basé sur du code et des entrées.
Mais ils s’améliorent beaucoup, et les applications pour de telles avancées vont probablement au-delà de ce que vous pourriez penser.
Vue et perspicacité
Dans son dernier document de recherche, Facebook a décrit ses avancées en matière de reconnaissance d’images.
Tout d’abord, ils ont ajouté de nouvelles descriptions d’actions dans les images, par opposition aux objets uniquement :
« Jusqu’à récemment, ces légendes ne décrivaient que les objets de la photo. Aujourd’hui, nous annonçons que nous avons ajouté un ensemble de 12 actions, donc les descriptions d’images incluront désormais des choses comme « les gens qui marchent », « les gens qui dansent », « les gens qui montent à cheval », « les gens qui jouent des instruments », et plus encore ».
Encore une fois, cela peut ne pas sembler révolutionnaire et cela peut ne pas avoir un impact énorme sur les utilisateurs non malvoyants, mais le développement est important. Le fait que le système de Facebook passe maintenant aux actions souligne à quel point leurs systèmes deviennent intelligents, et encore une fois, la quantité de travail nécessaire pour arriver à ce stade est stupéfiante – bien que Facebook ait un énorme modèle de formation avec lequel travailler, avec quelque part dans près de deux milliards de photos téléchargées sur Facebook, Instagram, Messenger et WhatsApp chaque jour.
En plus de cela, Facebook a également annoncé une nouvelle capacité de recherche basée sur la reconnaissance d’images.
« … nous avons construit un système de recherche qui tire parti de la compréhension de l’image pour trier cette vaste quantité d’informations et faire apparaître rapidement et facilement les photos les plus pertinentes. En d’autres termes, dans une recherche de « photo de chemise noire », le système peut « voir » s’il y a une chemise noire sur la photo et rechercher en fonction de cela, même si la photo n’a pas été étiquetée avec cette information. »
.gif)
La fonctionnalité, similaire à celle disponible dans Google Photos, pourrait faciliter le classement et la localisation de vos images.
Reconnaître l’opportunité
Mais même si ces applications individuelles sont intéressantes et apporteront sans aucun doute des avantages, c’est l’application étendue de l’IA de reconnaissance d’image de Facebook qui est beaucoup plus convaincante.
À l’heure actuelle, Facebook utilise déjà son IA de reconnaissance d’images à deux fins :
1. Pour identifier et supprimer le contenu répréhensible. Comme indiqué dans cet article d’Ars Technica :
« Dans le passé, les utilisateurs étiquetaient ces images comme étant répréhensibles, et ces informations étaient transmises à l’équipe Protect and Care. Les images confirmées répréhensibles ont été supprimées par un membre de l’équipe. Ensuite, des modèles d’apprentissage automatique ont été créés pour identifier et supprimer ces images. En 2015, les modèles ML ont examiné et éliminé plus de ces images que les gens. Désormais, le groupe Protect and Care crée de manière indépendante de nouveaux classificateurs pour identifier de nouveaux types de matériel répréhensible et recycler les modèles pour y répondre automatiquement. »
2. Pour créer les montages « Mémoires » que vous voyez régulièrement dans votre fil d’actualité – ces packages d’images sont rassemblés par l’IA de Facebook en fonction du contenu avec lequel vous êtes le plus susceptible de vous engager et d’interagir.
Et encore une fois, ceux-ci sont intéressants, mais au-delà de cela, il n’est pas difficile d’imaginer que l’IA de reconnaissance d’image avancée de Facebook offrira bientôt des opportunités supplémentaires aux spécialistes du marketing, avec un tout nouvel ensemble de données avec lequel travailler.
Par exemple, en utilisant cette extension Google Chrome, vous pouvez voir ce que l’IA de Facebook peut reconnaître dans n’importe quelle photo publiée sur le réseau.
Imaginez maintenant ceci – disons que vous êtes un café cherchant à atteindre de nouveaux publics dans une certaine région. Un nouveau paramètre de recherche pratique pourrait être la possibilité de localiser les utilisateurs de Facebook qui publient régulièrement des images comme celle-ci.
Comme vous pouvez le voir, l’IA de Facebook a correctement identifié à la fois « café » et « tasse à café ». Une telle capacité vous permettrait non seulement d’identifier les utilisateurs qui s’intéressent au café (sur la base des images qu’ils publient, pas seulement de ce qu’ils écrivent), mais cela signifierait également que vous pourriez cibler les personnes qui publient régulièrement des photos de leur café, ce qui augmentez vos chances d’une exposition accrue via le contenu généré par les utilisateurs.
Contactez ces personnes avec des coupons ou des offres pertinentes, et il y a de fortes chances qu’elles vous acceptent non seulement l’offre, mais qu’elles en informent également leurs amis en publiant des images de votre entreprise.
Dans cet article (ci-dessous), l’IA de Facebook a identifié une image échographique. Et bien que vous vous attendiez à ce que la plupart des annonces comme celle-ci contiennent également des mots tels que « bébé » ou « attend » dans le texte, le qualificatif supplémentaire peut également faciliter la localisation des publics potentiels pour les produits pour bébés ou maternité.
Facebook a également souligné les avantages potentiels de ces données dans ses propres recherches. En août dernier, Facebook a mené une étude auprès de plus de 160 000 personnes aux États-Unis qui ont partagé des photos de chats ou de chiens (ou les deux) pour mieux comprendre les différences entre chaque groupe.
.png)
C’est une recherche légère, bien sûr, mais encore une fois, cela souligne le potentiel de leur technologie de reconnaissance d’image pour ajouter un qualificatif supplémentaire, une autre façon de clarifier et d’affiner davantage votre public pour cibler les bonnes personnes avec le bon message.
Le prochain niveau de reconnaissance d’images, bien sûr, est la vidéo, que Facebook développe également.
.gif)
Cette capacité pourrait également améliorer davantage les offres de Facebook – comme l’a noté Ars Technica :
« L’inférence de l’IA pourrait classer les flux vidéo en direct, en personnalisant les flux pour les fils d’actualité des utilisateurs individuels et en supprimant la latence de la publication et de la distribution vidéo. La personnalisation de la vidéo de réalité en temps réel pourrait être très convaincante, augmentant à nouveau le temps que les utilisateurs passent sur Facebook application. »
Cela peut sembler peu – la recherche d’images spécifiques que vous avez prises n’est pas un ajout qui change la donne à votre expérience Facebook. Mais ne limitez pas votre perspective à ce que vous pouvez voir maintenant.
La technologie de reconnaissance d’image de Facebook est bien plus que ce que vous voyez actuellement à la surface.
