Cette thèse vise à étudier et détecter les attaques par porte dérobée au sein des écosystèmes de modèles d’IA générative (modèles autonomes, systèmes de génération augmentée par récupération (RAG) et agents autonomes basés sur des LLM).

Contexte : De nombreux utilisateurs (particuliers, institutions, ONG et même entreprises) ne sont actuellement pas en mesure de développer leurs propres systèmes d'IA générative. Ils s’orientent donc vers le téléchargement d’agents ou de modèles d’IA générative open source, généralement conçus pour être très accessibles et faciles à utiliser, ne nécessitant que peu d’expertise technique. Cette pratique est largement répandue en raison du grand nombre de modèles open source et d’implémentations d’agents LLM disponibles en ligne (par exemple, Hugging Face héberge plus de deux millions de modèles publics). Malheureusement, l’intégrité comportementale du modèle téléchargé n’est jamais vérifiée, et celui-ci peut avoir été préalablement compromis par une porte dérobée. Il existe donc un besoin urgent de mettre en place des mécanismes de défense capables d’analyser les composants d’un système d’IA générative (modèles et bases de connaissances) et d’identifier ceux qui ont été empoisonnés.

Objectifs : La recherche se concentrera sur le développement de mécanismes innovants de détection et de défense contre les attaques furtives basées sur des triggers, en mettant l’accent sur les scénarios de déploiement réels et sur des benchmarks d’évaluation robustes. En plus de développer des mécanismes de défense et de mettre le code à disposition en open source, la thèse vise également à fournir à la communauté scientifique un framework d’évaluation complet.