Snapchat a fourni une mise à jour sur le développement de son outil de chatbot « My AI », qui intègre la technologie GPT d’OpenAI, permettant aux abonnés Snapchat+ de poser des questions au bot dans l’application et d’obtenir des réponses sur tout ce qu’ils aiment.
Ce qui, pour la plupart, est une application simple et amusante de la technologie – mais Snap a trouvé des utilisations abusives inquiétantes de l’outil, c’est pourquoi il cherche maintenant à ajouter plus de garanties et de protections dans le processus.
Selon Snap :
« L’examen des premières interactions avec My AI nous a aidés à identifier les garde-fous qui fonctionnent bien et ceux qui doivent être renforcés. Pour aider à évaluer cela, nous avons effectué des examens des requêtes et des réponses My AI qui contiennent un langage « non conforme », que nous définissons comme tout texte qui inclut des références à la violence, des termes sexuellement explicites, la consommation de drogues illicites, l’abus sexuel d’enfants, l’intimidation, le discours de haine, les déclarations désobligeantes ou biaisées, le racisme, la misogynie ou la marginalisation des groupes sous-représentés. Toutes ces catégories de contenus sont explicitement interdites sur Snapchat.
Tous les utilisateurs de l’outil My AI de Snap doivent accepter les conditions d’utilisation, ce qui signifie que toute requête que vous entrez dans le système peut être analysée par l’équipe de Snap à cette fin.
Snap dit que jusqu’à présent, seule une petite fraction des réponses de My AI sont tombées sous la bannière » non conforme » (0,01 %), mais néanmoins, ce travail de recherche et développement supplémentaire aidera à protéger les utilisateurs de Snap des expériences négatives dans My AI. processus.
« Nous continuerons à utiliser ces apprentissages pour améliorer My AI. Ces données nous aideront également à déployer un nouveau système pour limiter les abus de My AI. Nous ajoutons la technologie de modération d’Open AI à notre ensemble d’outils existant, ce qui nous permettra d’évaluer la gravité du contenu potentiellement dangereux et de restreindre temporairement l’accès des Snapchatters à My AI s’ils abusent du service.
Snap dit qu’il s’efforce également d’améliorer les réponses aux demandes inappropriées de Snapchatter, tout en implémentant un nouveau signal d’âge pour My AI en utilisant la date de naissance d’un Snapchatter.
« Ainsi, même si un Snapchatter ne dit jamais à My AI son âge dans une conversation, le chatbot prendra systématiquement son âge en considération lors de la conversation. »
Snap ajoutera également bientôt des données sur l’historique des interactions My AI dans son suivi Family Center, ce qui permettra aux parents de voir si leurs enfants communiquent avec My AI et à quelle fréquence.
Bien qu’il soit également intéressant de noter que, selon Snap, les questions les plus courantes postées sur My AI ont été assez anodines.
« Les sujets les plus courants sur lesquels notre communauté a posé des questions à My AI incluent les films, les sports, les jeux, les animaux de compagnie et les mathématiques.”
Pourtant, il est nécessaire de mettre en œuvre des garanties, et Snap dit qu’il prend sa responsabilité au sérieux, car il cherche à développer ses outils conformément aux principes des meilleures pratiques en constante évolution.
Alors que les outils d’IA générative deviennent de plus en plus courants, on ne sait toujours pas à 100 % quels peuvent être les risques associés à leur utilisation et comment nous pouvons mieux nous protéger contre leur utilisation abusive, en particulier par les jeunes utilisateurs.
Il y a eu divers rapports de désinformation distribuée via des « hallucinations » au sein de ces outils, qui sont basés sur des systèmes d’IA interprétant mal leurs entrées de données, tandis que certains utilisateurs ont également essayé de tromper ces nouveaux robots pour qu’ils cassent leurs propres paramètres, pour voir ce qui pourrait être possible.
Et il y a certainement des risques à cela – c’est pourquoi de nombreux experts conseillent la prudence dans l’application des éléments d’IA.
En effet, la semaine dernière, une lettre ouverte, signée par plus d’un millier d’identités de l’industrie, a appelé les développeurs à suspendre les explorations de puissants systèmes d’IA, afin d’évaluer leur utilisation potentielle et de s’assurer qu’ils restent à la fois bénéfiques et gérables.
En d’autres termes, nous ne voulons pas que ces outils deviennent trop intelligents et deviennent un scénario de type Terminator, où les machines se déplacent pour asservir ou éradiquer la race humaine.
Ce genre de scénario apocalyptique est depuis longtemps une préoccupation majeure, avec une lettre ouverte similaire publiée en 2015 avertissant du même risque.
Et il y a une certaine validité à l’inquiétude que nous avons affaire à de nouveaux systèmes, que nous ne comprenons pas entièrement – qui ne risquent pas de devenir « incontrôlables » en tant que tels, mais qui peuvent finir par contribuer à la propagation de fausses informations, ou la création de contenu trompeur, etc.
Il existe clairement des risques, c’est pourquoi Snap prend ces nouvelles mesures pour répondre aux problèmes potentiels de ses propres outils d’IA.
Et compte tenu de la jeune base d’utilisateurs de l’application, cela devrait être un objectif clé.
