Hier, Facebook a annoncé la sortie d’un texte alternatif automatique – ou texte alternatif automatique – pour les images publiées sur Facebook. Le texte alternatif automatique utilise la technologie de reconnaissance d’objets pour générer une description d’une photo, en traitant chacune via le moteur d’intelligence artificielle de Facebook pour établir le contenu de l’image.
Il s’agit de la dernière avancée de la technologie de reconnaissance d’image de Facebook, un système sur lequel ils travaillent depuis quelques années, avec à sa tête le gourou de l’intelligence artificielle et professeur de l’Université de New York Yann LeCun. En novembre dernier, Facebook a présenté les progrès réalisés avec son IA de reconnaissance d’images, avec son système capable de distinguer les objets d’une photo 30% plus rapidement et en utilisant 10 fois moins de données de formation que les précédents benchmarks de l’industrie.
Le lancement en direct des sous-titres automatisés montre à quel point leur système a avancé, et bien qu’il ne soit toujours pas en mesure de fournir des descriptions complètes et détaillées de tout dans chaque image, le fait qu’il puisse être utilisé de manière fiable dans un environnement en direct est relativement impressionnant. . Dans les notes de version qui l’accompagnent, Facebook indique que le système est capable d’identifier un large éventail d’objets et de scènes, que l’équipe de recherche transforme en « concepts » pour le maintenir sur la bonne voie, plutôt que de se perdre sur les détails. Au moment du lancement, l’équipe a concentré le système sur la reconnaissance d’environ 100 concepts différents en fonction de leur importance dans les photos Facebook ainsi que de la précision du moteur de reconnaissance visuelle.
« Les concepts actuels, par exemple, couvrent l’apparence des personnes (par exemple, bébé, lunettes, barbe, sourire, bijoux), la nature (extérieur, montagne, neige, ciel), le transport (voiture, bateau, avion, vélo), les sports (tennis , natation, stade, base-ball) et nourriture (crème glacée, pizza, dessert, café). Et les paramètres fournissaient différents ensembles d’informations sur l’image, y compris les personnes (par exemple, les personnes comptent, souriant, enfant, bébé), les objets (voiture , bâtiment, arbre, nuage, nourriture), paramètres (à l’intérieur du restaurant, à l’extérieur, dans la nature) et autres propriétés de l’image (texte, selfie, gros plan). »
Sur la base de ces paramètres, le système est capable de fournir des résultats d’image très précis.
« Nous nous assurons que notre algorithme de détection d’objets peut détecter n’importe lequel de ces concepts avec une précision minimale de 0,8 (certains sont aussi élevés que 0,99). Même avec une barre d’une telle qualité, nous pouvons toujours récupérer au moins un concept pour plus de 50 pour cent des photos sur Facebook. »
Et c’est beaucoup – chaque jour, les gens partagent plus de 2 milliards de photos sur Facebook, Instagram, Messenger et WhatsApp. Sur l’ensemble de ces images, le nouveau système de Facebook est capable de décrire au moins un élément clé dans la majorité des cas avec un degré de précision très élevé (si le seuil de précision du système tombe en dessous de 80%, aucune légende n’est générée). Cela laisse encore de la place à l’amélioration, mais c’est un exploit technique au-delà de ce que beaucoup pensent être possible – et ce n’est possible qu’en raison de l’échelle massive et des capacités de Facebook à tester et à améliorer leur moteur de reconnaissance d’images.
Au fil du temps, l’équipe de recherche prévoit de « continuer à augmenter le vocabulaire du texte alternatif automatique pour fournir des descriptions encore plus riches ».
Une nouvelle perspective
L’évolution de la technologie de reconnaissance d’image de Facebook a des applications de grande envergure, au-delà de l’objectif principal d’aider les malvoyants à partager l’expérience Facebook plus large. Comme pour Twitter, qui a récemment annoncé l’ajout d’un texte alternatif manuel pour les images sur leur plate-forme, l’ajout de descriptions de photos fournit un tout nouveau flux de données avec lequel travailler et une nouvelle façon de recueillir des informations et des informations au sein des réseaux sociaux.
Imaginez si vous pouviez effectuer une recherche sur les réseaux sociaux en fonction du contenu inclus dans les images et obtenir des informations sur les types d’images les plus populaires et où ? À l’heure actuelle, nous pouvons accéder à toute une gamme de données personnalisées sur ce que les gens aiment, ce qui les intéresse, et ces points de données peuvent fournir des corrélations profondément perspicaces qui nous en disent plus sur qui sont les gens et à quoi notre public est susceptible de répondre. L’ajout d’un contexte visuel ne fera qu’ajouter à cela – un jour bientôt, vous pourrez configurer des alertes non seulement pour les mots-clés, mais également pour le contenu des images dans les publications.
Imaginons, par exemple, que vous soyez une entreprise de pizza et que vous vouliez savoir quelles pizzas sont les plus populaires dans votre région. une image comprenant la nourriture. Peut-être que vous vendez de la nourriture pour chiens de qualité supérieure – cibler les personnes qui publient beaucoup de photos de leurs chiens signifierait probablement que vous atteignez le type de public qui est prêt à dépenser un peu plus pour leurs animaux de compagnie. Vous pouvez configurer une alerte pour vos produits ou représentants de marque, ce qui vous permet de répondre plus rapidement aux publications et de capitaliser sur le buzz « en instantané ». votre logo apparaît.
Il existe toute une gamme de façons dont la reconnaissance d’image peut être utilisée pour suivre et corréler les comportements des utilisateurs et créer un aperçu plus précis et plus perspicace des mentions pertinentes. Vraiment, vous n’êtes lié que par votre propre imagination quant à la façon dont ces données supplémentaires pourraient être utilisées au profit de la marque.
Visualisation de données
L’ajout de la reconnaissance d’image est une étape importante pour le marketing des médias sociaux et plus généralement le marketing. Il existe de nombreuses façons d’utiliser ces données – les agents de voyages, par exemple, pourraient avoir une meilleure idée des endroits que les gens sont plus susceptibles de vouloir visiter en fonction des photos qu’ils publient, puis les cibler avec des publicités pertinentes en conséquence. Alors que l’objectif principal est d’aider les malvoyants – et cela, en soi, est une initiative qui change la donne – les applications étendues de la technologie de reconnaissance d’images ne peuvent pas être sous-estimées.
Bien qu’il y ait encore du chemin à parcourir avec l’IA de reconnaissance d’image de Facebook – et sans aucun doute les gens sont impatients de voir à quel point les résultats du monde réel sont précis avant d’aller trop loin – la sortie de ce nouvel outil montre à quel point la technologie a avancé venez, combien Facebook et leur équipe AI Research ont pu développer leurs outils de reconnaissance d’images dans un laps de temps relativement court. De tels outils ont la capacité de mieux connecter le monde – grâce à une plus grande inclusion, le plus directement, mais grâce à une meilleure compréhension et un contexte plus large. En fait, Facebook eux-mêmes trouvent déjà de nouvelles utilisations pour cette technologie – ils ont construit un système qui peut analyser automatiquement les images satellite de la surface de la Terre et déterminer où les gens vivent réellement afin de déterminer où ils devraient concentrer leurs efforts de connectivité via leur initiative internet.org.
Il y a aussi l’IA controversée de reconnaissance faciale de Facebook, qui est interdite dans certains pays pour être trop intrusive. Cette technologie a ses propres implications de grande envergure, de la sécurité au suivi personnel – et, bien sûr, au harcèlement criminel, c’est pourquoi elle s’accompagne de diverses préoccupations. Mais de tels outils ont la capacité de changer notre façon de penser, de faire progresser la façon dont nous pouvons collecter et rassembler des données.
L’ajout du texte alternatif automatique est le dernier développement de ce mouvement, et bien qu’il n’ait pas été présenté comme une avancée majeure, ses implications sont importantes, peu importe comment vous le regardez.
Le texte alternatif automatique est désormais disponible sur les lecteurs d’écran iOS réglés sur l’anglais, avec des plans pour étendre bientôt la fonctionnalité à d’autres langues et plates-formes.
