X publie le code back-end et les données de pondération pour son LLM « Grok »

Oui, je ne comprends pas vraiment la valeur de la plupart des outils d'IA générative déployés dans les applications sociales, d'autant plus qu'ils érodent progressivement les éléments « sociaux » humains via les réponses et l'engagement des robots. Mais ils sont là et ils peuvent faire des choses. C'est donc quelque chose, je suppose.

Aujourd'hui, X (anciennement Twitter) a publié la base de code interne de son chatbot AI « Grok », qui permet aux utilisateurs de X Premium+ d'obtenir des réponses sarcastiques et audacieuses aux questions, basées sur le corpus toujours croissant de mises à jour en temps réel de X.

Comme expliqué par xAI :

«Nous publions les pondérations du modèle de base et l'architecture réseau de Grok-1, notre grand modèle de langage. Grok-1 est un modèle de mélange d'experts de 314 milliards de paramètres formé à partir de zéro par xAI. Il s’agit du point de contrôle brut du modèle de base de la phase de pré-formation Grok-1, qui s’est terminée en octobre 2023. Cela signifie que le modèle n’est pas affiné pour une application spécifique, telle que le dialogue.

Cette version s'inscrit dans le cadre de l'engagement de X à être plus ouvert sur la manière dont ses systèmes fonctionnent, à contribuer à éliminer les préjugés et à permettre l'exploration de ses systèmes par des tiers.

Le développement de l'IA, en particulier, est devenu une priorité pour le propriétaire de X, Elon Musk, qui a pris l'habitude de critiquer tous les autres chatbots, de ChatGPT d'OpenAI à Gemini de Google, en passant par la base de code Llama de Meta, pour être apparemment « trop réveillés » pour produire des réponses précises.

Ce qui, du moins selon Musk, pourrait constituer un risque pour l’humanité :

Ce qui est probablement un peu en avance sur la réalité, étant donné que nous sommes encore loin de la véritable « intelligence » des machines en tant que telle. Mais son explication ici donne un aperçu du principe sur lequel Musk s’appuie, alors qu’il cherche à promouvoir son propre robot IA impartial.

Ce qui, étant donné qu'il est formé sur des postes X, serait probablement très loin d'être « réveillé », ou quelque chose du genre.

Dans le cadre de l'approche politique de « liberté d'expression, pas de portée », X laisse désormais de nombreux messages offensants et préjudiciables dans l'application, mais réduit leur portée s'ils sont considérés comme en violation de ses politiques. S'ils enfreignent la loi, X les supprimera, mais sinon, ils seront toujours visibles, mais plus difficiles à trouver dans l'application.

Donc, si Grok est formé sur l'ensemble du corpus de messages X, ces commentaires hautement offensants, mais non illégaux, seraient inclus, ce qui signifierait probablement que Grok produit des réponses trompeuses, offensantes et incorrectes basées sur des théories du complot farfelues et des réponses de longue date. racistes, sexistes et autres tropes nuisibles.

Mais au moins, il n'est pas « réveillé », n'est-ce pas ?

En réalité, Grok est le reflet de l'approche erronée d'Elon en matière de modération de contenu de manière plus générale, X s'appuyant désormais davantage sur ses utilisateurs, via les notes de la communauté, pour contrôler ce qui est acceptable et ce qui ne l'est pas, tout en supprimant moins de contenu, sous la bannière de la « liberté ». de la parole ». Mais le résultat final sera davantage de désinformation, davantage de théories du complot, davantage de peur et d’angoisse malavisées.

Mais cela évite également à Musk and Co. de devoir faire des appels de modération sévères, ce pour quoi il continue de critiquer les autres plateformes.

Donc, sur cette base, Grok produit-il déjà des réponses plus trompeuses et incorrectes ? Eh bien, nous n’avons probablement pas suffisamment de données, car très peu de personnes peuvent réellement les utiliser.

Moins de 1 % des utilisateurs X se sont inscrits à X Premium, et Grok n'est disponible que dans sa version la plus chère. Forfait « Premium+ », soit le double du prix de l'abonnement de base. Ainsi, seule une infime fraction des utilisateurs de X y a réellement accès, ce qui limite la quantité d’informations dont nous disposons sur ses résultats réels.

Mais je risquerais de supposer que Grok est à la fois aussi sensible aux réponses « réveillées » que les autres outils d'IA, en fonction des questions qui lui sont posées, tout en étant également beaucoup plus susceptible de produire des réponses trompeuses, basées sur X publications comme entrée.

Vous pouvez fouiller dans le code de Grok pour savoir exactement comment tous ces éléments s'appliquent, qui est disponible ici, mais vous devrez supposer, sur la base de ses entrées, que Grok est le reflet de l'éventail croissant de théories alternatives traditionnelles de X.

Et comme indiqué, je ne vois pas vraiment ce que des robots comme celui-ci apportent de toute façon, compte tenu de l'accent mis sur les applications de médias « sociaux ».

À l'heure actuelle, vous pouvez demander à des robots IA intégrés de créer des publications pour vous sur Facebook, LinkedIn et Snapchat, tandis que d'autres plates-formes expérimentent également des outils de sous-titres, de réponses et de post-génération. Grâce à ces outils, vous pouvez créer une toute autre personnalité, entièrement alimentée par des outils de robots, qui ressemble davantage à ce que vous voulez être, mais pas à ce que vous êtes réellement.

Ce qui signifiera inévitablement qu'au fil du temps, de plus en plus de contenus seront constitués de robots parlant à des robots sur des applications sociales, éliminant ainsi l'élément humain et éloignant ces plateformes de leur objectif social principal.

Ce qui, je suppose, s’est déjà produit de toute façon. Au cours des dernières années, le nombre de personnes postant sur les réseaux sociaux a considérablement diminué, les conversations se déplaçant désormais vers les chats de messagerie privés. Cette tendance a été déclenchée par TikTok, qui a mis l'accent sur qui vous suivez et s'est davantage appuyé sur les recommandations de l'IA, basées sur votre activité, ce qui a ensuite fait évoluer les applications sociales vers une réforme en tant que plates-formes de divertissement à part entière, par opposition à TikTok. aux outils de connexion.

Chaque application a emboîté le pas, et maintenant, il s'agit moins d'être social, et les robots IA sont prêts à faire passer cela au niveau supérieur, où personne ne prendra même la peine de s'engager, en raison du scepticisme quant à qui ou à quoi ils interagissent réellement. avec.

Est-ce une bonne chose?

Je veux dire, l’engagement est en hausse, donc les plateformes elles-mêmes sont satisfaites. Mais voulons-nous vraiment évoluer vers un scénario où les éléments sociaux ne sont que des notes secondaires ?

Quoi qu’il en soit, cela semble être la direction vers laquelle nous nous dirigeons, même si, dans ce cadre, je ne vois toujours pas comment les robots IA ajoutent de la valeur à l’expérience. Elles dégradent simplement plus rapidement l’objectif initial des applications sociales.