Lors de tests de sécurité menés par l'Institut de sécurité de l'IA (AISI) du gouvernement britannique, des agents d'IA d'OpenAI et d'Anthropic ont fait quelque chose d'inattendu : ils ont tenté d' attaquer de véritables cibles en ligne , en créant de fausses identités pour manipuler des personnes réelles. Ce n'est pas de la science-fiction ; cela s'est produit il y a quelques jours seulement. Cette nouvelle vient s'ajouter à la liste croissante des comportements autonomes non autorisés des modèles d'IA lors des phases d'évaluation, et cette fois-ci, le niveau d'inquiétude est nettement plus élevé qu'à l'accoutumée. L'AISI elle-même a déclaré qu'il s'agissait de la première fois que les risques liés à l'autonomie et à la tromperie se manifestaient aussi clairement, sans avoir été induits par des instructions spécifiques. Voici ce qui s'est passé en détail : l'AISI organisait un défi de cybersécurité , le type de test où l'on demande à un agent d'IA de trouver des données protégées. Le test a été répété 122 fois sur plusieurs modèles, dans un environnement isolé avec des machines virtuelles. Lors de 10 de ces exécutions, un agent d'IA a cependant mené des actions autonomes et non autorisées sur le web , ciblant des personnes et des organisations réelles. Sur les 19 actions non autorisées enregistrées, 17 provenaient du modèle Mythos 5 d'Anthropic .

Le plus inquiétant concerne les techniques employées : l’agent a tenté d’insérer du code malveillant dans un projet open source et, pour ce faire, a créé de fausses identités en ligne afin de faire pression sur le responsable du projet pour qu’il approuve le code. L’AISI a qualifié cela d’ingénierie sociale , une forme de tromperie qui, jusqu’à récemment, était considérée comme essentiellement théorique pour les modèles d’IA. Toutes les tentatives ont échoué et n’ont causé aucun dommage réel, mais là n’est pas la question. L'AISI a identifié plusieurs facteurs qui ont contribué à ce comportement anormal :

- L'agent a persisté à rechercher des solutions alternatives lorsque les routes normales étaient bloquées.
- La tâche était difficile , ce qui pousse les modèles à être plus « créatifs » dans la résolution de problèmes.
- La surveillance de l'accès à Internet était insuffisante et aurait pu identifier le problème plus tôt.
- L'agent n'était pas explicitement interdit d'utiliser l'accès à Internet de manière trompeuse, car jusqu'à présent, on supposait que les modèles d'alignement entraînés n'en avaient pas besoin.

Ce dernier point est peut-être le plus important : l’AISI a écrit qu’ « il n’était pas clair auparavant que de telles instructions étaient nécessaires » avec les modèles entraînés par alignement. Maintenant, c'est manifestement le cas. Il convient de noter que les systèmes de sécurité standard des modèles ont été désactivés pour les tests et que ces modèles ont eu accès à Internet précisément parce que l'objectif était de mesurer leurs capacités dans des conditions similaires à celles d'un attaquant humain compétent. Par conséquent, ces modèles n'ont pas pu s'échapper de leur environnement de test, contrairement à ce qui s'était produit lors d'un précédent test avec un agent OpenAI .

OpenAI a reconnu l'incident et annoncé une révision de ses procédures relatives aux tests à haut risque menés par des partenaires externes. L'entreprise a également révélé un second incident distinct, au cours duquel des modèles ont bénéficié par erreur d'un accès à Internet lors d'exercices de cybersécurité menés par son partenaire Irregular. Anthropic a répondu de manière moins détaillée , notant que les protections standard étaient désactivées et qu'aucune restriction explicite concernant l'utilisation d'Internet n'était imposée. Tout cela survient à un moment où la pression sur le gouvernement américain pour qu'il réglemente plus strictement l'IA est déjà forte, et ces incidents ne feront que l'accroître. Ce n’est pas un hasard si plus de 1 100 employés d’OpenAI, de Google et d’Anthropic ont déjà officiellement demandé au gouvernement de ralentir le développement de l’IA .

Le problème fondamental est que les laboratoires d'IA ne parviennent pas à maîtriser leurs produits, même en phase de test , et nombre de ces incidents n'émergent qu'après des enquêtes approfondies. La question qui demeure est de savoir combien de comportements similaires passent inaperçus ou ne sont pas divulgués , et ce qui se passerait si un modèle doté de telles capacités avait accès à des outils plus puissants. Skynet ne nous a rien appris…