​Pouvez-vous nous expliquer ce qui s'est passé ?

​​Un mot d'abord sur le contexte. Dans le monde de la cybersécurité, il existe un rituel qu'on appelle 'Capture The Flag'. Il s'agit d'une chasse au trésor pour hackers : on vous donne un programme volontairement défectueux avec pour objectif d'en exploiter les failles pour arriver là où vous ne devriez pas, et y récupérer un code secret caché - le fameux 'drapeau'.

C'est précisément ce qu'a fait OpenAI en juillet dernier : demander à son modèle de fondation de résoudre 898 épreuves de hacking pour tester ses capacités offensives en cybersécurité, le tout dans un 'bac à sable', un environnement fermé, coupé d'internet.

Or, sans que personne ne le lui demande, donc en toute autonomie, cette IA va identifier une faille préalablement inconnue dans son bac à sable, gagner Internet et finalement pirater l'infrastructure d'une autre entreprise, Hugging Face, le refuge mondial de l'IA open source, afin d'y récupérer certaines des réponses aux épreuves qu'elle devait résoudre. Pour y parvenir, elle aura effectué plus de 17 000 actions en un peu plus de quatre jours ! Ce n'est donc pas une attaque à proprement parler mais l'optimisation d'un objectif précis, dans un environnement où l'agent IA pouvait agir.

Précisons qu'on ne parle pas du ChatGPT ou du Claude que vous avez dans la poche et qui sont des assistants sécurisés. Ici, on parle d'une version d'essai, configurée et testée en laboratoire pour mener des attaques, avec des sécurités volontairement débranchées. Comme un crash-test dans un garage fermé.

L'analyse de l'intrusion par Hugging face : (1) L'agent IA identifie une faille de sécurité dans son bac à sable (2) Il obtient un passage vers l'extérieur et s'installe sur un serveur à partir duquel il va mener ses investigations (3) Il explore différents chemins possibles (4) avant de cibler le système d'information de Hugging Face qu'il va fouiller à la recherche des informations dont il a besoin. (extrait de https://huggingface-anatomy-of-frontier-lab-model-intrusion.static.hf.space/index.html​)​​​

L'évasion de cette IA en est-elle réellement une ?

C'est de l'optimisation. L'IA cherche systématiquement les actions qui maximisent le résultat qu'on attend d'elle. Ici, elle a trouvé un raccourci : plutôt que résoudre certaines épreuves réputées impossibles, elle a cherché à récupérer les éléments lui permettant d'obtenir le meilleur score. Comme cette IA, nous sommes nous aussi doués pour tricher, surtout quand on nous en laisse l'occasion ! Prenez le défi Titanic sur la plateforme Kaggle qui consiste à prédire, sur la base de données démographiques et sociales, qui a survécu au naufrage du paquebot. La liste des survivants étant notamment accessible sur Wikipédia, certains se sont dit : pourquoi construire un modèle… quand on peut recopier les vraies réponses ?

C'est ce qu'on appelle le 'reward hacking'. Une IA n'optimise pas ce que vous vouliez mais ce que vous avez dit. Vous lui dites 'maximise ton score' et elle entend 'par tous les moyens'. Pas par malice mais parce que tricher est le chemin le plus court vers la récompense. Comme les joueurs du défi Titanic. Sauf qu'ici, les réponses n'étaient pas sur Wikipédia : elles étaient stockées dans le système d'information d'une entreprise. Alors elle l'a piraté pour les trouver.

Quels enseignements peut-on tirer de cet incident ?

Je dirais à la fois qu'on a franchi un cap mais que ce n'est pas un cas isolé. Selon l'étude réalisée par l'AI Security Institute en Grande-Bretagne sur cinq modèles d'IA parmi les plus avancés, tous trichent s'ils en besoin pour obtenir le résultat attendu. Le plus déroutant ? La triche n'augmente pas avec l'intelligence du modèle. Ce n'est donc pas une question de puissance mais d'entraînement : elles n'ont pas encore appris à ne pas tricher.

Autre enseignement important : comme un pirate humain, l'IA ne bute pas sur la porte fermée, elle trouve celle qui est restée entrouverte. Mais elle va beaucoup vite que lui, en testant bien plus d'hypothèses pour parvenir à ses fins : dans le cas qui nous occupe, elle a réalisé plus de 17 000 actions en quatre jours seulement, là où notre pirate aurait mis des mois. L'IA n'a pas inventé ni révolutionné les techniques d'attaque, elle a industrialisé nos négligences en menant des actions plus rapides, plus automatisées et plus massives.

Cet épisode a-t-il un impact sur les recherches en IA et en cybersécurité ?

Il ne fait que renforcer notre conviction qu'il faut continuer à travailler sur plusieurs axes, comme c'est d'ailleurs le cas au CEA.

Côté IA, il y en trois : évaluer, c'est-à-dire concevoir des tests qu'on ne peut pas contourner et qui permettent de mesurer la mission entière ; encadrer - ne jamais tout débrancher en croyant qu'un bac à sable suffit ; et gouverner - surveiller ce que fait l'IA en chemin, parce qu'elle ne raconte pas toujours ce qu'elle fait.

Du point de vue de la cybersécurité, c'est autant une menace qu'une opportunité. La même IA qui attaque peut a contrario servir à renforcer chaque maillon de la chaîne de défense. Là aussi, il y a trois lignes directrices : la prévention - écrire, dès le départ, du code beaucoup plus sûr ; la réactivité - détecter les attaques quand elles surviennent et orchestrer la riposte, à la vitesse de l'assaillant ; enfin, la résilience, en bâtissant des systèmes robustes, capables de préserver les fonctions vitales d'un système en cas d'intrusion.

Pour aller plus loin, voir le décryptage de Cédric Gouy-Pailler, expert en intelligence artificielle au CEA en vidéo​

​

​

​

​

​