Meta cherche à aider les chercheurs en IA à rendre leurs outils et processus plus universels, avec la publication d’un nouvel ensemble de données massif de clips vidéo en face à face, qui incluent un large éventail d’individus divers, et aidera les développeurs évaluent dans quelle mesure leurs modèles fonctionnent pour différents groupes démographiques.
Aujourd’hui, nous proposons en open source Casual Conversations v2 – un ensemble de données de monologues enregistrés basé sur le consentement qui comprend dix catégories auto-fournies et annotées qui permettront aux chercheurs d’évaluer l’équité et la robustesse des modèles d’IA.
Plus de détails sur ce nouveau jeu de données ⬇️
— Méta IA (@MetaAI) 9 mars 2023
Comme vous pouvez le voir dans cet exemple, la base de données Casual Conversations v2 de Meta comprend 26 467 monologues vidéo, enregistrés dans sept pays et mettant en vedette 5 567 participants payants, accompagnés de données d’attributs vocaux, visuels et démographiques pour mesurer l’efficacité systématique.
Selon Meta :
« L’ensemble de données basé sur le consentement a été informé et façonné par un revue de littérature complète autour de catégories démographiques pertinentes, et a été créé en consultation avec des experts internes dans des domaines tels que les droits civils. Cet ensemble de données propose une liste granulaire de 11 catégories auto-fournies et annotées pour mesurer davantage l’équité et la robustesse algorithmique de ces systèmes d’IA. À notre connaissance, il s’agit du premier ensemble de données open source avec des vidéos collectées dans plusieurs pays à l’aide d’informations démographiques très précises et détaillées pour aider à tester l’équité et la robustesse des modèles d’IA.”
Notez ‘axé sur le consentement’. Meta est très clair que ces données ont été obtenues avec la permission directe des participants et n’ont pas été obtenues secrètement. Il ne s’agit donc pas de prendre vos informations Facebook ou de fournir des images d’IG – le contenu inclus dans cet ensemble de données est conçu pour maximiser l’inclusion en donnant aux chercheurs en IA plus d’échantillons de personnes provenant d’un large éventail d’horizons à utiliser dans leurs modèles.
Fait intéressant, la majorité des participants viennent d’Inde et du Brésil, deux économies numériques émergentes, qui joueront un rôle majeur dans la prochaine étape du développement technologique.
Le nouvel ensemble de données aidera les développeurs d’IA à répondre aux préoccupations concernant les barrières linguistiques, ainsi que la diversité physique, qui a été problématique dans certains contextes d’IA.
Par exemple, certains outils de superposition numérique n’ont pas réussi à reconnaître certains attributs des utilisateurs en raison des limitations de leurs modèles de formation, tandis que certains ont été qualifiés de racistes, au moins en partie en raison de restrictions similaires.
C’est un élément clé dans la documentation de Meta sur le nouvel ensemble de données :
« Avec des inquiétudes croissantes concernant les performances des systèmes d’IA sur différentes échelles de teint, nous avons décidé d’utiliser deux échelles différentes pour l’annotation des tons de peau. La première est l’échelle de Fitzpatrick à six tons, le schéma de classification numérique le plus couramment utilisé pour le teint de la peau en raison de sa simplicité et de son utilisation répandue. La seconde est l’échelle de 10 tons de peau, qui a été introduite par Google et est utilisée dans ses services de recherche et de photo. L’inclusion des deux échelles dans Casual Conversations v2 fournit une comparaison plus claire avec les travaux précédents qui utilisent l’échelle de Fitzpatrick tout en permettant également une mesure basée sur l’échelle plus inclusive de Monk.”
C’est une considération importante, d’autant plus que les outils d’IA générative continuent de prendre de l’ampleur et voient leur utilisation augmenter sur de nombreuses autres applications et plates-formes. Afin de maximiser l’inclusion, ces outils doivent être formés sur des ensembles de données étendus, ce qui garantira que tout le monde est pris en compte dans une telle mise en œuvre et que toute faille ou omission est détectée avant la publication.
L’ensemble de données Casual Conversations de Meta aidera à cela et pourrait constituer un ensemble de formation extrêmement précieux pour les projets futurs.
Vous pouvez en savoir plus sur la base de données Casual Conversations v2 de Meta ici.
