Systèmes visuels de questions-réponses combinant un encodeur binarisé et des modèles de langage

Une des tendances majeures des imageurs intelligents est d’aller au-delà de fonctions d’inférence simple telle que la classification ou la détection d’objet. Cela peut notamment se traduire par le souhait d’ajouter des applications plus complexes permettant une compréhension sémantique de la scène. Parmi ces applications, le VQA (Visual Question Answering) permet aux systèmes d'IA de répondre à des questions, formulées avec du texte, en analysant les images. Dans ce contexte, ce sujet vise à développer un système efficace et embarqué de VQA intégrant un encodeur visuel basé sur des réseaux de neurones binaires (BNN) combiné avec un modèle de langage compact (tiny LLM). Même s’il existent encore de nombreuses étapes pour un portage matériel d’un système intégrant un LLM, ce projet représente une étape significative dans cette direction en s’appuyant sur des BNN. Cet encodeur traite des images en limitant le besoin en ressource de calcul, permettant un déploiement en temps réel sur des dispositifs embarqués. Des mécanismes d'attention seront intégrés pour extraire les informations sémantiques nécessaires à la compréhension de la scène. Le modèle de langage utilisé pourra être stocké localement et ajusté conjointement avec le BNN pour générer des réponses précises et contextuellement pertinentes.
Ce sujet de thèse offre une opportunité pour un candidat intéressé par le Tiny Deep Learning et les LLMs. Il propose un vaste champ de recherche pour des contributions significatives et des résultats intéressants pour des applications concrètes. Le travail consistera à développer une topologie de BNN robuste pour l'analyse sémantique d’une scène visuelle, en prenant en compte des contraintes matérielles (mémoire et calcul), à intégrer et à optimiser l'encodeur BNN avec le LLM, tout en assurant un système VQA cohérent et performant à travers différents types de requêtes et de cas d’usage.

Estimation de l'état de santé et prédiction de la durée de vie restante de batterie lithium-ion par Physics-Informed Deep Learning

Contexte :
Les batteries lithium-ion et sodium-ion de génération futures sont essentielles pour la transition énergétique et l'électrification des transports. Garantir en premier lieu la longévité, les performances mais aussi la sécurité des batteries nécessite une compréhension approfondie des mécanismes de dégradation à différentes échelles.
Objectif de Recherche :
Développer des méthodologies innovantes de diagnostic et de pronostic des batteries en exploitant la fusion de données multi-capteurs et des approches de type Physics-Informed Machine Learning (PIML), combinant des modèles théoriques physiques de batteries avec des algorithmes d'apprentissage profond.
Approche Scientifique :

Établir les corrélations entre les mesures multi-physiques et les mécanismes de dégradation des batteries
Explorer des approches hybrides PIML pour la fusion de données multi-physiques
Développer des architectures d'apprentissage intégrant les contraintes physiques tout en traitant des données hétérogènes
Étendre les méthodologies aux technologies émergentes de batteries sodium-ion

Méthodologie :
La recherche utilisera une base de données de cellules multi-instrumentées (capteurs acoustiques, électriques, thermiques, mécaniques, optiques) , analysant les signatures et modalités de chaque de mesures et développant des algorithmes PIML innovants qui optimisent la fusion de données multi-capteurs.

Résultats Attendus :
La thèse vise à fournir des recommandations précieuses pour l'instrumentation des systèmes de batteries, à développer des algorithmes de diagnostic et pronostic de trajectoires de vieillissement avancés et à contribuer significativement à l'amélioration de la fiabilité et de la durabilité des systèmes de stockage électrochimique, avec des impacts potentiels académiques et industriels.

Défense des modèles d'analyse de scène contre les attaques adversaires

Dans de nombreuses applications, des briques d'analyse de scène comme la segmentation sémantique, la détection et la reconnaissance d'objets, ou la reconnaissance de pose, sont nécessaires. Les réseaux de neurones profonds sont aujourd'hui parmi les modèles les plus efficaces pour effectuer un grand nombre de tâches de vision, parfois de façon simultanée lorsque l'apprentissage profond est multitâches. Cependant, il a été montré que ceux-ci étaient vulnérables face aux attaques adversaires (adversarial attacks): En effet, il est possible d'ajouter aux données d'entrée certaines perturbations imperceptibles par l'oeil humain qui mettent à mal les résultats lors de l'inférence faite par le réseau de neurones. Or, une garantie de résultats fiables est capitale pour les systèmes de décision où les failles de sécurité sont critiques (ex : applications comme le véhicule autonome, la reconnaissance d’objets en surveillance aérienne, ou la recherche de personnes/véhicules en vidéosurveillance). Différents types d'attaques adversaires et de défense ont été proposés, le plus souvent pour le problème de classification (d'images notamment). Quelques travaux ont abordé l'attaque des plongements qui sont optimisés par apprentissage de métrique pour les tâches de type ensemble-ouvert comme la réidentification d'objets, la reconnaissance faciale ou la recherche d'images par le contenu. Les types d'attaques se sont multipliés, qu'il s'agisse d'attaques universelles ou optimisées sur une instance particulière. Les défenses proposées doivent faire face à de nouvelles menaces sans trop sacrifier les performances initiales du modèle. La protection des données d'entrée face aux attaques adversaires est capitale pour les systèmes de décision où les failles de sécurité sont critiques. Un moyen de protéger ces données est de développer des défenses contre ces attaques. L'objectif sera donc d'étudier et de proposer différentes attaques et défenses applicables aux briques d'analyse de scène, notamment celles de détection d'objets et de recherche d'instance d'objet dans les images.

Apprentissage des modèles du monde pour les agents autonomes avancés

Les modèles du monde sont des représentations internes de l'environnement externe qu'un agent peut utiliser pour interagir avec le monde réel. Ils sont essentiels pour comprendre les lois physiques qui régissent les dynamiques du monde réel, faire des prédictions et planifier des actions à long terme. Les modèles du monde peuvent être utilisés pour simuler des interactions réelles et améliorer l'interprétabilité et l'explicabilité du comportement d'un agent dans cet environnement, ce qui en fait des composants clés pour les modèles avancés d'agents autonomes.

Néanmoins, la construction d'un modèle du monde précis reste un défi. L'objectif de cette thèse de doctorat est de développer une méthodologie pour apprendre les modèles du monde et étudier leur utilisation dans le contexte de la conduite autonome, en particulier pour la prévision des mouvements et le développement d'agents autonomes pour la navigation.

Architectures de calcul thermodynamique scalables

Les problèmes d'optimisation à grande échelle sont de plus en plus fréquents dans des secteurs tels que la finance, le développement de matériaux, la logistique et l'intelligence artificielle. Ces algorithmes sont généralement réalisés sur des solutions matérielles comprenant des CPU et de GPU. Cependant, à grande échelle, cela peut rapidement se traduire par des temps de latence, de l'énergie et des coûts financiers qui ne sont pas viables. Le calcul thermodynamique est un nouveau paradigme de calcul dans lequel des composants analogiques sont couplés dans un réseau physique. Il promet des implémentations extrêmement efficaces d'algorithmes tels que le recuit simulé, la descente de gradient stochastique et la chaîne de Markov Monte Carlo en utilisant la physique intrinsèque du système. Cependant, il n'existe pas de vision réaliste d'un calculateur thermodynamique programmable et scalable. C'est ce défi ambitieux qui sera abordé dans ce sujet de thèse. Des aspects allant du développement de macroblocs de calcul, de leur partitionnement et de leur interfaçage avec un système numérique à l'adaptation et à la compilation d'algorithmes pour le matériel thermodynamique peuvent être considérés. Un accent particulier sera mis sur la compréhension des compromis nécessaires pour maximiser la scalabilité et la programmabilité des calculateurs thermodynamiques sur des benchmarks d'optimisation à grande échelle et leur comparaison avec des implémentations sur du matériel numérique conventionnel.

Localisation et Cartographie Coopératives via des Méthodes d’Apprentissage Exploitant les Multi-trajets Radio

Dans le cadre de cette thèse, on se propose d'explorer le potentiel des méthodes d'apprentissage machine (ML) pour assurer des fonctions simultanées de localisation et de cartographie (SLAM), en s’appuyant sur des signaux multi-trajets transmis entre plusieurs dispositifs radio coopératifs. L'idée consiste à identifier certaines caractéristiques des canaux de propagation observés conjointement sur plusieurs liens radio, afin de déterminer les positions relatives des dispositifs radio mobiles, ainsi que celles d’objets passifs présents dans leur voisinage. Ces caractéristiques radio reposent typiquement sur les temps d'arrivée d‘échos multiples des signaux transmis. L'approche envisagée doit alors bénéficier de la corrélation de ces trajets multiples au gré du déplacement des dispositifs radio, ainsi que de la diversité spatiale et de la redondance d’information autorisées par la coopération entre ces mêmes dispositifs. Les solutions développées seront évaluées sur la base de mesures indoor collectées à partir des dispositifs ultra large bande intégrés, ainsi que de données synthétiques générées à l'aide d'un simulateur de type « tracer de rayons ». Des applications possibles concernent la navigation de groupe au sein d’environnements complexes et/ou inconnus (ex. flottes de drones ou de robots, pompiers...).

Nouvelles méthodes d’apprentissage appliquées aux attaques par canaux auxiliaires

Les produits sécurisés grâce à des mécanismes cryptographiques embarqués peuvent être vulnérables aux attaques par canaux auxiliaires. Ces attaques se basent sur l’observation de certaines quantités physiques mesurées pendant l’activité du dispositif dont la variation provoque une fuite d’information qui peut mettre en défaut la sécurité du dispositif. Aujourd’hui ces attaques sont rendues efficaces, même en présence de contremesures spécifiques, par l’utilisation de méthodes d'apprentissage profond (deep learning). L’objectif de cette thèse est de s’approprier des techniques de l’état de l’art des méthodes d’apprentissage automatique semi-supervisé et auto-supervisé, et de les adapter au contexte des attaques par canaux auxiliaires, afin d’améliorer les performances des attaques pour lesquelles le scénario d’attaque est particulièrement défavorable. Une attention particulière pourra être donnée aux attaques contre les implémentations sécurisées d’algorithmes de cryptographie post-quantique.

Vers une meilleure compréhension des protéines membranaires grâce à l’IA

Malgré les avancées spectaculaires de l'intelligence artificielle (IA), notamment avec des outils tels qu’AlphaFold, la prédiction des structures des protéines membranaires demeure un défi majeur en biologie structurale. Ces protéines, qui représentent 30% du protéome et 60% des cibles thérapeutiques, sont encore largement sous-représentées dans la Protein Data Bank (PDB), avec seulement 3% de structures résolues. Cette rareté s’explique par la difficulté à maintenir leur état natif dans un environnement amphiphile, ce qui complique leur étude, notamment avec les techniques structurales classiques.

Ce projet de thèse a pour objectif de lever ces obstacles en combinant les capacités prédictives d'AlphaFold avec des données expérimentales de diffusion aux petits angles (SAXS/SANS), obtenues en condition physiologique. L’étude se concentrera sur la protéine translocatrice TSPO, un marqueur clé en neuro-imagerie de plusieurs pathologies graves (cancers, maladies neurodégénératives) en raison de sa forte affinité pour divers ligands pharmacologiques.

Ce travail s’articulera autour de la prédiction de la structure de TSPO en présence et en absence de ligands, de l’acquisition de données SAXS/SANS du complexe TSPO/amphiphiles et de l’affinement des modèles grâce à des outils de modélisation avancée (MolPlay, Chai-1) et des simulations de dynamique moléculaire. En approfondissant la compréhension de la structure et de la fonction de TSPO, ce projet pourrait conduire à la conception de nouveaux ligands pour le diagnostic et la thérapie.

Analyse en ligne de simulants d'actinides en solution par LIBS et IA pour les procédés de retraitement du combustible

La construction de nouveaux réacteurs nucléaires dans les années à venir implique une augmentation des capacités de retraitement du combustible. Cette évolution requiert des développements scientifiques et technologiques pour mettre à jour notamment les équipements de surveillance du procédé. L’un des paramètres à suivre en continu est la teneur en actinides en solution, donnée essentielle au pilotage du procédé, actuellement mesurée par des technologies obsolètes. On se propose donc de développer la LIBS (laser-induced breakdown spectroscopy) pour cette application, une technique bien adaptée à l’analyse élémentaire quantitative en ligne. Les spectres des actinides étant particulièrement complexes, on souhaite recourir à des approches multivariées de traitement des données, comme certaines techniques d’intelligence artificielle (IA), pour extraire l’information quantitative des données LIBS et caractériser l’incertitude de mesure.
L’objectif de la thèse est donc d’évaluer les performances de l’analyse en ligne d’actinides en solution par LIBS et IA. On visera en particulier à améliorer la caractérisation des incertitudes à travers des méthodes de machine learning, et à les minimiser fortement pour répondre aux besoins de surveillance de l’usine de retraitement du futur.
Le travail expérimental sera réalisé sur des simulants non radioactifs des actinides, et au moyen d’un équipement LIBS commercial. Les données spectroscopiques alimenteront le volet de la thèse sur le traitement des données, et sur la détermination de l’incertitude obtenue par différents modèles de quantification.
Les résultats obtenus permettront de publier au moins 2 à 3 articles dans des revues à comité de lecture, voire de déposer des brevets. Les perspectives de la thèse sont la montée en maturité de la méthode et de l’instrumentation, pour aller progressivement vers une mise en œuvre sur une installation représentative d’un procédé de retraitement.

IA générative pour la quantification robuste des incertitudes dans les problèmes inverses en astrophysiques

Contexte
Les problèmes inverses, c'est-à-dire l'estimation des signaux sous-jacents à partir d'observations corrompues, sont omniprésents en astrophysique, et notre capacité à les résoudre avec précision est essentielle à l'interprétation scientifique des données. Parmi les exemples de ces problèmes, on peut citer l'inférence de la distribution de la matière noire dans l'Univers à partir des effets de lentille gravitationnelle [1], ou la séparation des composantes dans l'imagerie radio-interférométrique [2].

Grâce aux récents progrès de l'apprentissage profond, et en particulier aux techniques de modélisation générative profonde (par exemple les modèles de diffusion), il est désormais possible non seulement d'obtenir une estimation de la solution de ces problèmes inverses, mais aussi d'effectuer une quantification de l'incertitude en estimant la distribution de probabilité a posteriori Bayésienne du problème, c'est-à-dire en ayant accès à toutes les solutions possibles qui seraient permises par les données, mais aussi plausibles en fonction des connaissances antérieures.

Notre équipe a notamment été pionnière dans l'élaboration de méthodes bayésiennes combinant notre connaissance de la physique du problème, sous la forme d'un terme de vraisemblance explicite, avec des à prioris basées sur les données et mises en œuvre sous la forme de modèles génératifs. Cette approche contrainte par la physique garantit que les solutions restent compatibles avec les données et évite les « hallucinations » qui affectent généralement la plupart des applications génératives de l'IA.

Cependant, malgré les progrès remarquables réalisés au cours des dernières années, plusieurs défis subsistent dans le cadre évoqué ci-dessus, et plus particulièrement :

[Données à priori imparfaites ou avec une distribution décalée] La construction de données à priori nécessite généralement l'accès à des exemples de données non corrompues qui, dans de nombreux cas, n'existent pas (par exemple, toutes les images astronomiques sont observées avec du bruit et une certaine quantité de flou), ou qui peuvent exister mais dont la distribution peut être décalée par rapport aux problèmes auxquels nous voudrions appliquer ce distribution à priori.
Ce décalage peut fausser les estimations et conduire à des conclusions scientifiques erronées. Par conséquent, l'adaptation, ou l'étalonnage, des antécédents basés sur les données à partir d'observations incomplètes et bruyantes devient cruciale pour travailler avec des données réelles dans les applications astrophysiques.

[Échantillonnage efficace de distributions a posteriori à haute dimension] Même si la vraisemblance et l'à priori basé par les données sont disponibles, l'échantillonnage correct et efficace de distributions de probabilités multimodales non convexes dans des dimensions si élevées reste un problème difficile. Les méthodes les plus efficaces à ce jour reposent sur des modèles de diffusion, mais elles s'appuient sur des approximations et peuvent être coûteuses au moment de l'inférence pour obtenir des estimations précises des distributions a posteriori souhaités.

Les exigences strictes des applications scientifiques sont un moteur puissant pour l'amélioration des méthodologies, mais au-delà du contexte scientifique astrophysique qui motive cette recherche, ces outils trouvent également une large application dans de nombreux autres domaines, y compris les images médicales [3].

Projet de doctorat
Le candidat visera à répondre à ces limitations des méthodologies actuelles, avec l'objectif global de rendre la quantification de l'incertitude pour les problèmes inverses à grande échelle plus rapide et plus précise.
Comme première direction de recherche, nous étendrons une méthodologie récente développée simultanément par notre équipe et nos collaborateurs de Ciela [4,5], basée sur l'algorithme d'espérance-maximisation, afin d'apprendre itérativement (ou d'adapter) des distributions à priori basés sur des méthodes de diffusion à des données observées sous un certain degré de corruption. Cette stratégie s'est avérée efficace pour corriger les décalages de la distribution á priori (et donc pour obtenir des distributions à posteriori bien calibrés). Cependant, cette approche reste coûteuse car elle nécessite la résolution itérative de problèmes inverses et le réentraînement des modèles de diffusion, et dépend fortement de la qualité du solveur de problèmes inverses. Nous explorerons plusieurs stratégies, notamment l'inférence variationnelle et les stratégies améliorées d'échantillonnage pour des problèmes inverses, afin de résoudre ces difficultés.
Dans une deuxième direction (mais connexe), nous nous concentrerons sur le développement de méthodologies générales pour l'échantillonnage de postérieurs complexes (géométries multimodales/complexes) de problèmes inverses non linéaires. En particulier, nous étudierons des stratégies basées sur le recuit (annealing) de la distribution à posteriori, inspirées de l'échantillonnage de modèles de diffusion, applicables dans des situations avec des vraisemblances et des distributions à priori explicites.
Finalement, nous appliquerons ces méthodologies à des problèmes inverses difficiles et à fort impact en astrophysique, en particulier en collaboration avec nos collègues de l'institut Ciela, nous viserons à améliorer la reconstruction des sources et des lentilles des systèmes de lentilles gravitationnelles fortes.
Des publications dans les meilleures conférences sur l'apprentissage automatique sont attendues (NeurIPS, ICML), ainsi que des publications sur les applications de ces méthodologies dans des revues d'astrophysique.

Références
[1] Benjamin Remy, Francois Lanusse, Niall Jeffrey, Jia Liu, Jean-Luc Starck, Ken Osato, Tim Schrabback, Probabilistic Mass Mapping with Neural Score Estimation, https://www.aanda.org/articles/aa/abs/2023/04/aa43054-22/aa43054-22.html

[2] Tobías I Liaudat, Matthijs Mars, Matthew A Price, Marcelo Pereyra, Marta M Betcke, Jason D McEwen, Scalable Bayesian uncertainty quantification with data-driven priors for radio interferometric imaging, RAS Techniques and Instruments, Volume 3, Issue 1, January 2024, Pages 505–534, https://doi.org/10.1093/rasti/rzae030

[3] Zaccharie Ramzi, Benjamin Remy, Francois Lanusse, Jean-Luc Starck, Philippe Ciuciu, Denoising Score-Matching for Uncertainty Quantification in Inverse Problems, https://arxiv.org/abs/2011.08698

[4] François Rozet, Gérôme Andry, François Lanusse, Gilles Louppe, Learning Diffusion Priors from Observations by Expectation Maximization, NeurIPS 2024, https://arxiv.org/abs/2405.13712

[5] Gabriel Missael Barco, Alexandre Adam, Connor Stone, Yashar Hezaveh, Laurence Perreault-Levasseur, Tackling the Problem of Distributional Shifts: Correcting Misspecified, High-Dimensional Data-Driven Priors for Inverse Problems, https://arxiv.org/abs/2407.17667

Top