Modélisation de la réponse instrumentale des télescopes spatiaux avec un modèle optique différentiable
Contexte
L'effet de lentille gravitationnelle faible [1] est une sonde puissante de la structure à grande échelle de notre univers. Les cosmologistes utilisent l'effet de lentille faible pour étudier la nature de la matière noire et sa distribution spatiale. Les missions d'observation de l'effet de lentille faible nécessitent des mesures très précises de la forme des images de galaxies. La réponse instrumentale du télescope, appelée fonction d'étalement du point (PSF), produit une déformation des images observées. Cette déformation peut être confondue avec les effets d'un faible effet de lentille sur les images de galaxies, ce qui constitue l'une des principales sources d'erreur systématique lors de la recherche sur les faibles effets de lentille. Par conséquent, l'estimation d'un modèle de PSF fiable et précis est cruciale pour le succès de toute mission de faible lentille [2]. Le champ de la PSF peut être interprété comme un noyau convolutionnel qui affecte chacune de nos observations d'intérêt, qui varie spatialement, spectralement et temporellement. Le modèle de la PSF doit être capable de gérer chacune de ces variations. Nous utilisons des étoiles spécifiques considérées comme des sources ponctuelles dans le champ de vision pour contraindre notre modèle PSF. Ces étoiles, qui sont des objets non résolus, nous fournissent des échantillons dégradés du champ de la PSF. Les observations subissent différentes dégradations en fonction des propriétés du télescope. Ces dégradations comprennent le sous-échantillonnage, l'intégration sur la bande passante de l'instrument et le bruit additif. Nous construisons finalement le modèle de la PSF en utilisant ces observations dégradées et utilisons ensuite le modèle pour déduire la PSF à la position des galaxies. Cette procédure constitue le problème inverse mal posé de la modélisation de la PSF. Voir [3] pour un article récent sur la modélisation de la PSF.
La mission Euclid récemment lancée représente l'un des défis les plus complexes pour la modélisation de la PSF. En raison de la très large bande passante de l'imageur visible (VIS) d'Euclid, allant de 550 nm à 900 nm, les modèles de PSF doivent capturer non seulement les variations spatiales du champ de PSF, mais aussi ses variations chromatiques. Chaque observation d'étoile est intégrée avec la distribution d'énergie spectrale (SED) de l'objet sur l'ensemble de la bande passante du VIS. Comme les observations sont sous-échantillonnées, une étape de super-résolution est également nécessaire. Un modèle récent appelé WaveDiff [4] a été proposé pour résoudre le problème de modélisation de la PSF pour Euclid et est basé sur un modèle optique différentiable. WaveDiff a atteint des performances de pointe et est en train d'être testé avec des observations récentes de la mission Euclid.
Le télescope spatial James Webb (JWST) a été lancé récemment et produit des observations exceptionnelles. La collaboration COSMOS-Web [5] est un programme à grand champ du JWST qui cartographie un champ contigu de 0,6 deg2. Les observations de COSMOS-Web sont disponibles et offrent une occasion unique de tester et de développer un modèle précis de PSF pour le JWST. Dans ce contexte, plusieurs cas scientifiques, en plus des études de lentille gravitationnelle faible, peuvent grandement bénéficier d'un modèle PSF précis. Par exemple, l'effet de lentille gravitationnel fort [6], où la PSF joue un rôle crucial dans la reconstruction, et l'imagerie des exoplanètes [7], où les speckles de la PSF peuvent imiter l'apparence des exoplanètes, donc la soustraction d'un modèle de PSF exact et précis est essentielle pour améliorer l'imagerie et la détection des exoplanètes.
Projet de doctorat
Le candidat visera à développer des modèles PSF plus précis et plus performants pour les télescopes spatiaux en exploitant un cadre optique différentiable et concentrera ses efforts sur Euclid et le JWST.
Le modèle WaveDiff est basé sur l'espace du front d'onde et ne prend pas en compte les effets au niveau du pixel ou du détecteur. Ces erreurs au niveau des pixels ne peuvent pas être modélisées avec précision dans le front d'onde car elles se produisent naturellement directement sur les détecteurs et ne sont pas liées aux aberrations optiques du télescope. Par conséquent, dans un premier temps, nous étendrons l'approche de modélisation de la PSF en tenant compte de l'effet au niveau du détecteur en combinant une approche paramétrique et une approche basée sur les données (apprises). Nous exploiterons les capacités de différenciation automatique des cadres d'apprentissage automatique (par exemple TensorFlow, Pytorch, JAX) du modèle WaveDiff PSF pour atteindre l'objectif.
Dans une deuxième direction, nous envisagerons l'estimation conjointe du champ de la PSF et des densités d'énergie spectrale (SED) stellaires en exploitant des expositions répétées ou des dithers. L'objectif est d'améliorer et de calibrer l'estimation originale de la SED en exploitant les informations de modélisation de la PSF. Nous nous appuierons sur notre modèle PSF, et les observations répétées du même objet changeront l'image de l'étoile (puisqu'elle est imagée sur différentes positions du plan focal) mais partageront les mêmes SED.
Une autre direction sera d'étendre WaveDiff à des observatoires astronomiques plus généraux comme le JWST avec des champs de vision plus petits. Nous devrons contraindre le modèle de PSF avec des observations de plusieurs bandes pour construire un modèle de PSF unique contraint par plus d'informations. L'objectif est de développer le prochain modèle de PSF pour le JWST qui soit disponible pour une utilisation généralisée, que nous validerons avec les données réelles disponibles du programme COSMOS-Web JWST.
La direction suivante sera d'étendre les performances de WaveDiff en incluant un champ continu sous la forme d'une représentation neuronale implicite [8], ou de champs neuronaux (NeRF) [9], pour traiter les variations spatiales de la PSF dans l'espace du front d'onde avec un modèle plus puissant et plus flexible.
Enfin, tout au long de son doctorat, le candidat collaborera à l'effort de modélisation de la PSF par les données d'Euclid, qui consiste à appliquer WaveDiff aux données réelles d'Euclid, et à la collaboration COSMOS-Web pour exploiter les observations du JWST.
Références
[1] R. Mandelbaum. “Weak Lensing for Precision Cosmology”. In: Annual Review of Astronomy and Astro- physics 56 (2018), pp. 393–433. doi: 10.1146/annurev-astro-081817-051928. arXiv: 1710.03235.
[2] T. I. Liaudat et al. “Multi-CCD modelling of the point spread function”. In: A&A 646 (2021), A27. doi:10.1051/0004-6361/202039584.
[3] T. I. Liaudat, J.-L. Starck, and M. Kilbinger. “Point spread function modelling for astronomical telescopes: a review focused on weak gravitational lensing studies”. In: Frontiers in Astronomy and Space Sciences 10 (2023). doi: 10.3389/fspas.2023.1158213.
[4] T. I. Liaudat, J.-L. Starck, M. Kilbinger, and P.-A. Frugier. “Rethinking data-driven point spread function modeling with a differentiable optical model”. In: Inverse Problems 39.3 (Feb. 2023), p. 035008. doi:10.1088/1361-6420/acb664.
[5] C. M. Casey et al. “COSMOS-Web: An Overview of the JWST Cosmic Origins Survey”. In: The Astrophysical Journal 954.1 (Aug. 2023), p. 31. doi: 10.3847/1538-4357/acc2bc.
[6] A. Acebron et al. “The Next Step in Galaxy Cluster Strong Lensing: Modeling the Surface Brightness of Multiply Imaged Sources”. In: ApJ 976.1, 110 (Nov. 2024), p. 110. doi: 10.3847/1538-4357/ad8343. arXiv: 2410.01883 [astro-ph.GA].
[7] B. Y. Feng et al. “Exoplanet Imaging via Differentiable Rendering”. In: IEEE Transactions on Computational Imaging 11 (2025), pp. 36–51. doi: 10.1109/TCI.2025.3525971.
[8] Y. Xie et al. “Neural Fields in Visual Computing and Beyond”. In: arXiv e-prints, arXiv:2111.11426 (Nov.2021), arXiv:2111.11426. doi: 10.48550/arXiv.2111.11426. arXiv: 2111.11426 [cs.CV].
[9] B. Mildenhall et al. “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”. In: arXiv e-prints, arXiv:2003.08934 (Mar. 2020), arXiv:2003.08934. doi: 10.48550/arXiv.2003.08934. arXiv:2003.08934 [cs.CV].
Génération assistée par l'IA de simulateurs d’architectures numériques
Les outils de simulation d'architectures numériques reposent sur divers types de modèles, de niveaux d’abstraction différents, afin de répondre aux exigences de la co-conception et de la co-validation matériel/logiciel. Parmi ces modèles, ceux de plus haut niveau permettent la validation fonctionnelle rapide de logiciels sur les architectures cibles.
Ces modèles fonctionnels sont souvent élaborés de manière manuelle, une tâche à la fois fastidieuse et sujette aux erreurs. Lorsque des descriptions de bas niveau en RTL (Register Transfer Level) sont disponibles, elles deviennent une source à partir de laquelle des modèles de plus haut niveau, tels que les modèles fonctionnels, ou simulateurs rapides, peuvent être déduits. Des travaux préliminaires au CEA ont permis d'obtenir un prototype initial basé sur MLIR (Multi-Level Intermediate Representation), démontrant des résultats prometteurs dans la génération de fonctions d'exécution d'instructions à partir de descriptions RTL.
L'objectif de cette thèse est d'approfondir ces travaux, puis d'automatiser l'extraction des états architecturaux en s'inspirant des dernières avancées en matière d'apprentissage automatique pour l'EDA. Le résultat attendu est un flot complet de génération automatique de simulateurs fonctionnels à partir de RTL, garantissant ainsi, par construction, une consistance sémantique entre les deux niveaux d'abstraction.
Systèmes visuels de questions-réponses combinant un encodeur binarisé et des modèles de langage
Une des tendances majeures des imageurs intelligents est d’aller au-delà de fonctions d’inférence simple telle que la classification ou la détection d’objet. Cela peut notamment se traduire par le souhait d’ajouter des applications plus complexes permettant une compréhension sémantique de la scène. Parmi ces applications, le VQA (Visual Question Answering) permet aux systèmes d'IA de répondre à des questions, formulées avec du texte, en analysant les images. Dans ce contexte, ce sujet vise à développer un système efficace et embarqué de VQA intégrant un encodeur visuel basé sur des réseaux de neurones binaires (BNN) combiné avec un modèle de langage compact (tiny LLM). Même s’il existent encore de nombreuses étapes pour un portage matériel d’un système intégrant un LLM, ce projet représente une étape significative dans cette direction en s’appuyant sur des BNN. Cet encodeur traite des images en limitant le besoin en ressource de calcul, permettant un déploiement en temps réel sur des dispositifs embarqués. Des mécanismes d'attention seront intégrés pour extraire les informations sémantiques nécessaires à la compréhension de la scène. Le modèle de langage utilisé pourra être stocké localement et ajusté conjointement avec le BNN pour générer des réponses précises et contextuellement pertinentes.
Ce sujet de thèse offre une opportunité pour un candidat intéressé par le Tiny Deep Learning et les LLMs. Il propose un vaste champ de recherche pour des contributions significatives et des résultats intéressants pour des applications concrètes. Le travail consistera à développer une topologie de BNN robuste pour l'analyse sémantique d’une scène visuelle, en prenant en compte des contraintes matérielles (mémoire et calcul), à intégrer et à optimiser l'encodeur BNN avec le LLM, tout en assurant un système VQA cohérent et performant à travers différents types de requêtes et de cas d’usage.
Estimation de l'état de santé et prédiction de la durée de vie restante de batterie lithium-ion par Physics-Informed Deep Learning
Contexte :
Les batteries lithium-ion et sodium-ion de génération futures sont essentielles pour la transition énergétique et l'électrification des transports. Garantir en premier lieu la longévité, les performances mais aussi la sécurité des batteries nécessite une compréhension approfondie des mécanismes de dégradation à différentes échelles.
Objectif de Recherche :
Développer des méthodologies innovantes de diagnostic et de pronostic des batteries en exploitant la fusion de données multi-capteurs et des approches de type Physics-Informed Machine Learning (PIML), combinant des modèles théoriques physiques de batteries avec des algorithmes d'apprentissage profond.
Approche Scientifique :
Établir les corrélations entre les mesures multi-physiques et les mécanismes de dégradation des batteries
Explorer des approches hybrides PIML pour la fusion de données multi-physiques
Développer des architectures d'apprentissage intégrant les contraintes physiques tout en traitant des données hétérogènes
Étendre les méthodologies aux technologies émergentes de batteries sodium-ion
Méthodologie :
La recherche utilisera une base de données de cellules multi-instrumentées (capteurs acoustiques, électriques, thermiques, mécaniques, optiques) , analysant les signatures et modalités de chaque de mesures et développant des algorithmes PIML innovants qui optimisent la fusion de données multi-capteurs.
Résultats Attendus :
La thèse vise à fournir des recommandations précieuses pour l'instrumentation des systèmes de batteries, à développer des algorithmes de diagnostic et pronostic de trajectoires de vieillissement avancés et à contribuer significativement à l'amélioration de la fiabilité et de la durabilité des systèmes de stockage électrochimique, avec des impacts potentiels académiques et industriels.
Défense des modèles d'analyse de scène contre les attaques adversaires
Dans de nombreuses applications, des briques d'analyse de scène comme la segmentation sémantique, la détection et la reconnaissance d'objets, ou la reconnaissance de pose, sont nécessaires. Les réseaux de neurones profonds sont aujourd'hui parmi les modèles les plus efficaces pour effectuer un grand nombre de tâches de vision, parfois de façon simultanée lorsque l'apprentissage profond est multitâches. Cependant, il a été montré que ceux-ci étaient vulnérables face aux attaques adversaires (adversarial attacks): En effet, il est possible d'ajouter aux données d'entrée certaines perturbations imperceptibles par l'oeil humain qui mettent à mal les résultats lors de l'inférence faite par le réseau de neurones. Or, une garantie de résultats fiables est capitale pour les systèmes de décision où les failles de sécurité sont critiques (ex : applications comme le véhicule autonome, la reconnaissance d’objets en surveillance aérienne, ou la recherche de personnes/véhicules en vidéosurveillance). Différents types d'attaques adversaires et de défense ont été proposés, le plus souvent pour le problème de classification (d'images notamment). Quelques travaux ont abordé l'attaque des plongements qui sont optimisés par apprentissage de métrique pour les tâches de type ensemble-ouvert comme la réidentification d'objets, la reconnaissance faciale ou la recherche d'images par le contenu. Les types d'attaques se sont multipliés, qu'il s'agisse d'attaques universelles ou optimisées sur une instance particulière. Les défenses proposées doivent faire face à de nouvelles menaces sans trop sacrifier les performances initiales du modèle. La protection des données d'entrée face aux attaques adversaires est capitale pour les systèmes de décision où les failles de sécurité sont critiques. Un moyen de protéger ces données est de développer des défenses contre ces attaques. L'objectif sera donc d'étudier et de proposer différentes attaques et défenses applicables aux briques d'analyse de scène, notamment celles de détection d'objets et de recherche d'instance d'objet dans les images.
Apprentissage des modèles du monde pour les agents autonomes avancés
Les modèles du monde sont des représentations internes de l'environnement externe qu'un agent peut utiliser pour interagir avec le monde réel. Ils sont essentiels pour comprendre les lois physiques qui régissent les dynamiques du monde réel, faire des prédictions et planifier des actions à long terme. Les modèles du monde peuvent être utilisés pour simuler des interactions réelles et améliorer l'interprétabilité et l'explicabilité du comportement d'un agent dans cet environnement, ce qui en fait des composants clés pour les modèles avancés d'agents autonomes.
Néanmoins, la construction d'un modèle du monde précis reste un défi. L'objectif de cette thèse de doctorat est de développer une méthodologie pour apprendre les modèles du monde et étudier leur utilisation dans le contexte de la conduite autonome, en particulier pour la prévision des mouvements et le développement d'agents autonomes pour la navigation.
Architectures de calcul thermodynamique scalables
Les problèmes d'optimisation à grande échelle sont de plus en plus fréquents dans des secteurs tels que la finance, le développement de matériaux, la logistique et l'intelligence artificielle. Ces algorithmes sont généralement réalisés sur des solutions matérielles comprenant des CPU et de GPU. Cependant, à grande échelle, cela peut rapidement se traduire par des temps de latence, de l'énergie et des coûts financiers qui ne sont pas viables. Le calcul thermodynamique est un nouveau paradigme de calcul dans lequel des composants analogiques sont couplés dans un réseau physique. Il promet des implémentations extrêmement efficaces d'algorithmes tels que le recuit simulé, la descente de gradient stochastique et la chaîne de Markov Monte Carlo en utilisant la physique intrinsèque du système. Cependant, il n'existe pas de vision réaliste d'un calculateur thermodynamique programmable et scalable. C'est ce défi ambitieux qui sera abordé dans ce sujet de thèse. Des aspects allant du développement de macroblocs de calcul, de leur partitionnement et de leur interfaçage avec un système numérique à l'adaptation et à la compilation d'algorithmes pour le matériel thermodynamique peuvent être considérés. Un accent particulier sera mis sur la compréhension des compromis nécessaires pour maximiser la scalabilité et la programmabilité des calculateurs thermodynamiques sur des benchmarks d'optimisation à grande échelle et leur comparaison avec des implémentations sur du matériel numérique conventionnel.
Localisation et Cartographie Coopératives via des Méthodes d’Apprentissage Exploitant les Multi-trajets Radio
Dans le cadre de cette thèse, on se propose d'explorer le potentiel des méthodes d'apprentissage machine (ML) pour assurer des fonctions simultanées de localisation et de cartographie (SLAM), en s’appuyant sur des signaux multi-trajets transmis entre plusieurs dispositifs radio coopératifs. L'idée consiste à identifier certaines caractéristiques des canaux de propagation observés conjointement sur plusieurs liens radio, afin de déterminer les positions relatives des dispositifs radio mobiles, ainsi que celles d’objets passifs présents dans leur voisinage. Ces caractéristiques radio reposent typiquement sur les temps d'arrivée d‘échos multiples des signaux transmis. L'approche envisagée doit alors bénéficier de la corrélation de ces trajets multiples au gré du déplacement des dispositifs radio, ainsi que de la diversité spatiale et de la redondance d’information autorisées par la coopération entre ces mêmes dispositifs. Les solutions développées seront évaluées sur la base de mesures indoor collectées à partir des dispositifs ultra large bande intégrés, ainsi que de données synthétiques générées à l'aide d'un simulateur de type « tracer de rayons ». Des applications possibles concernent la navigation de groupe au sein d’environnements complexes et/ou inconnus (ex. flottes de drones ou de robots, pompiers...).
Nouvelles méthodes d’apprentissage appliquées aux attaques par canaux auxiliaires
Les produits sécurisés grâce à des mécanismes cryptographiques embarqués peuvent être vulnérables aux attaques par canaux auxiliaires. Ces attaques se basent sur l’observation de certaines quantités physiques mesurées pendant l’activité du dispositif dont la variation provoque une fuite d’information qui peut mettre en défaut la sécurité du dispositif. Aujourd’hui ces attaques sont rendues efficaces, même en présence de contremesures spécifiques, par l’utilisation de méthodes d'apprentissage profond (deep learning). L’objectif de cette thèse est de s’approprier des techniques de l’état de l’art des méthodes d’apprentissage automatique semi-supervisé et auto-supervisé, et de les adapter au contexte des attaques par canaux auxiliaires, afin d’améliorer les performances des attaques pour lesquelles le scénario d’attaque est particulièrement défavorable. Une attention particulière pourra être donnée aux attaques contre les implémentations sécurisées d’algorithmes de cryptographie post-quantique.
Vers une meilleure compréhension des protéines membranaires grâce à l’IA
Malgré les avancées spectaculaires de l'intelligence artificielle (IA), notamment avec des outils tels qu’AlphaFold, la prédiction des structures des protéines membranaires demeure un défi majeur en biologie structurale. Ces protéines, qui représentent 30% du protéome et 60% des cibles thérapeutiques, sont encore largement sous-représentées dans la Protein Data Bank (PDB), avec seulement 3% de structures résolues. Cette rareté s’explique par la difficulté à maintenir leur état natif dans un environnement amphiphile, ce qui complique leur étude, notamment avec les techniques structurales classiques.
Ce projet de thèse a pour objectif de lever ces obstacles en combinant les capacités prédictives d'AlphaFold avec des données expérimentales de diffusion aux petits angles (SAXS/SANS), obtenues en condition physiologique. L’étude se concentrera sur la protéine translocatrice TSPO, un marqueur clé en neuro-imagerie de plusieurs pathologies graves (cancers, maladies neurodégénératives) en raison de sa forte affinité pour divers ligands pharmacologiques.
Ce travail s’articulera autour de la prédiction de la structure de TSPO en présence et en absence de ligands, de l’acquisition de données SAXS/SANS du complexe TSPO/amphiphiles et de l’affinement des modèles grâce à des outils de modélisation avancée (MolPlay, Chai-1) et des simulations de dynamique moléculaire. En approfondissant la compréhension de la structure et de la fonction de TSPO, ce projet pourrait conduire à la conception de nouveaux ligands pour le diagnostic et la thérapie.