Meta a annoncé une nouvelle initiative visant à établir des paramètres convenus autour des considérations de cybersécurité dans le développement de grands modèles de langage (LLM) et d’outils d’IA générative, qui, espère-t-elle, seront adoptées par l’industrie dans son ensemble, comme une étape clé vers une plus grande sécurité de l’IA.
Baptisé « Purple Llama », basé sur son propre Llama LLM, le projet vise à «rassembler des outils et des évaluations pour aider la communauté à construire de manière responsable avec des modèles d’IA génératifs ouverts »
Selon Meta, le projet Purple Llama vise à établir le premier ensemble d’évaluations de la sécurité de la cybersécurité à l’échelle de l’industrie pour les LLM.
Selon Meta :
« Ces références sont basées sur les directives et les normes de l’industrie (par exemple, CWE et MITRE ATT&CK) et construites en collaboration avec nos experts en matière de sécurité. Avec cette première version, nous visons à fournir des outils qui aideront à faire face à une série de risques décrits dans les engagements de la Maison Blanche sur le développement d’une IA responsable. »
La récente directive de la Maison Blanche sur la sécurité de l’IA exhorte les développeurs à établir des normes et des tests pour garantir que les systèmes d’IA sont sécurisés, pour protéger les utilisateurs contre les manipulations basées sur l’IA et d’autres considérations qui peuvent idéalement empêcher les systèmes d’IA de conquérir le monde.
Quels sont les paramètres moteurs du projet Purple Llama de Meta, qui comprendra dans un premier temps deux éléments clés :
- CyberSec Eval – Références d’évaluation de la sécurité de la cybersécurité convenues par l’industrie pour les LLM
- Llama Guard – Un cadre de protection contre les sorties d’IA potentiellement risquées.
« Nous pensons que ces outils réduiront la fréquence des LLM suggérant un code généré par l’IA non sécurisé et réduiront leur utilité pour les cyber-adversaires. Nos premiers résultats montrent qu’il existe des risques de cybersécurité importants pour les LLM, à la fois en recommandant du code non sécurisé et en se conformant à des demandes malveillantes.
Le Purple Llama s’associera aux membres de la nouvelle AI Alliance que Meta aide à diriger, et comprend également Microsoft, AWS, Nvidia et Google Cloud en tant que partenaires fondateurs.
Alors, qu’est-ce que le « violet » a à voir avec ça ? Je pourrais expliquer, mais c’est assez ringard, et dès que vous le lirez, vous regretterez que ces connaissances prennent de la place dans votre tête.
La sécurité de l’IA devient rapidement une considération cruciale, à mesure que les modèles d’IA générative évoluent à un rythme rapide et que les experts mettent en garde contre les dangers liés à la construction de systèmes qui pourraient potentiellement « penser » par eux-mêmes.
C’est depuis longtemps une crainte des tragédies de la science-fiction et des catastrophes de l’IA : qu’un jour, nous créons des machines capables de surpasser notre simple cerveau humain, rendant ainsi les humains obsolètes et établissant une nouvelle espèce dominante sur la planète.
Nous sommes loin d’être une réalité, mais à mesure que les outils d’IA progressent, ces craintes grandissent également, et si nous ne comprenons pas pleinement l’étendue des résultats possibles de tels processus, le développement de l’IA pourrait en effet poser des problèmes importants. .
En revanche, même si les développeurs américains ralentissent leurs progrès, cela ne signifie pas que les chercheurs des autres marchés suivront les mêmes règles. Et si les gouvernements occidentaux entravent les progrès, cela pourrait également devenir une menace existentielle, à mesure que leurs rivaux militaires potentiels construisent des systèmes d’IA plus avancés.
La réponse semble donc résider dans une plus grande collaboration de l’industrie sur les mesures et les règles de sécurité, qui garantira alors que tous les risques pertinents sont évalués et pris en compte.
Le projet Purple Llama de Meta est une autre étape sur cette voie.
Vous pouvez en savoir plus sur l’initiative Purple Llama ici.
