Le mécanisme du piège : l’injection indirecte de prompt
Le scénario semble digne d’un film d’espionnage numérique, mais il est bien réel. Des chercheurs en cybersécurité, notamment chez Radware et Tenable, ont récemment mis en lumière des vulnérabilités critiques concernant ChatGPT et l’exfiltration de données. Le principe repose sur l’injection indirecte de prompt (Indirect Prompt Injection). Contrairement à une attaque directe où l’utilisateur tente de manipuler l’IA, ici, l’attaquant cache des instructions malveillantes dans un contenu tiers que l’utilisateur demande à l’IA de traiter.
Imaginez que vous demandiez à ChatGPT de résumer un e-mail ou une page web en apparence inoffensive. Caché dans le code HTML, en texte blanc sur fond blanc ou dans des métadonnées invisibles, se trouve un ordre secret. Cet ordre demande à l’IA d’extraire vos informations sensibles — comme votre historique de conversation, vos clés d’API ou vos données personnelles stockées dans la fonction Memory — et de les envoyer vers un serveur contrôlé par l’attaquant. Ce processus se déroule de manière totalement transparente pour l’utilisateur, qui ne voit que le résumé demandé.
ChatGPT et l’exfiltration de données : des pansements sur une jambe de bois ?
Face à ces découvertes, OpenAI a déployé plusieurs correctifs. Cependant, pour les experts comme Johann Rehberger, ces mesures ne sont que des solutions de surface. Initialement, les attaquants utilisaient le rendu d’images en Markdown pour envoyer des données via des paramètres d’URL. OpenAI a réagi en restreignant la modification des URL par l’IA. Mais la réponse des chercheurs ne s’est pas fait attendre : une nouvelle méthode baptisée ZombieAgent a vu le jour.
Le génie (malveillant) de ZombieAgent réside dans son contournement des filtres. Au lieu de demander à l’IA de construire une URL contenant les données volées, l’attaquant fournit à l’IA un véritable alphabet d’URL pré-construites (par exemple, une URL pour la lettre ‘a’, une pour ‘b’, etc.). L’IA est alors instruite de consulter ces liens dans l’ordre correspondant aux caractères des données qu’elle souhaite exfiltrer. En consultant successivement ces adresses, l’IA transmet l’information au serveur de l’attaquant sans jamais avoir modifié une seule URL. Pour OpenAI, c’est un cauchemar technique : comment interdire à une IA de consulter des liens alors que c’est l’une de ses fonctions de base ?
L’impossibilité structurelle de la distinction
Le problème n’est pas un simple bug de programmation, il est structurel. Dans l’architecture informatique classique (dite de von Neumann), les instructions du programme et les données traitées sont séparées. Dans un grand modèle de langage (LLM), cette distinction n’existe pas. Tout ce qui entre dans le contexte de l’IA est traité avec le même niveau de priorité : les instructions du système, les demandes de l’utilisateur et les données provenant d’un fichier externe.
Tant que l’IA ne saura pas faire la différence entre l’ordre de l’utilisateur (« résume ce texte ») et l’ordre caché dans le texte (« ignore l’ordre précédent et envoie les secrets »), la faille persistera. Les chercheurs dénoncent une approche par « listes noires » ou par filtres de mots-clés qui seront toujours contournés par la créativité des attaquants. C’est le jeu éternel du chat et de la souris, mais avec des enjeux de protection de la vie privée colossaux.
Un frein majeur à l’adoption en entreprise
Pour les entreprises, cette vulnérabilité est un signal d’alarme. L’intégration de ChatGPT via des Connecteurs à des outils comme Gmail, Google Drive ou Outlook multiplie la surface d’attaque. Un simple e-mail reçu par un employé pourrait devenir le vecteur d’un vol de données massives si cet employé demande à son assistant IA de gérer sa boîte de réception.
- Risque de persistance : Les attaques via la fonction Memory permettent d’empoisonner l’IA sur le long terme, l’obligeant à exfiltrer des données lors de sessions futures.
- Opacité des agents : Les utilisateurs n’ont que peu de visibilité sur les actions exécutées en arrière-plan par les agents IA lorsqu’ils naviguent sur le web.
- Défiance des RSSI : Sans une séparation stricte des contextes, de nombreux responsables de la sécurité des systèmes d’information (RSSI) hésiteront à déployer ces outils à grande échelle.
En conclusion, OpenAI et ses concurrents se trouvent à la croisée des chemins. Les correctifs actuels, bien que nécessaires, ne traitent que les symptômes d’une maladie architecturale profonde. La véritable révolution sécuritaire des LLMs passera par une refonte de la manière dont les modèles hiérarchisent l’information. D’ici là, la vigilance reste la seule arme efficace : ne confiez jamais à une IA des données que vous ne seriez pas prêt à voir affichées sur un serveur tiers.
