Modélisation de la réponse instrumentale des télescopes spatiaux avec un modèle optique différentiable

Contexte

L'effet de lentille gravitationnelle faible [1] est une sonde puissante de la structure à grande échelle de notre univers. Les cosmologistes utilisent l'effet de lentille faible pour étudier la nature de la matière noire et sa distribution spatiale. Les missions d'observation de l'effet de lentille faible nécessitent des mesures très précises de la forme des images de galaxies. La réponse instrumentale du télescope, appelée fonction d'étalement du point (PSF), produit une déformation des images observées. Cette déformation peut être confondue avec les effets d'un faible effet de lentille sur les images de galaxies, ce qui constitue l'une des principales sources d'erreur systématique lors de la recherche sur les faibles effets de lentille. Par conséquent, l'estimation d'un modèle de PSF fiable et précis est cruciale pour le succès de toute mission de faible lentille [2]. Le champ de la PSF peut être interprété comme un noyau convolutionnel qui affecte chacune de nos observations d'intérêt, qui varie spatialement, spectralement et temporellement. Le modèle de la PSF doit être capable de gérer chacune de ces variations. Nous utilisons des étoiles spécifiques considérées comme des sources ponctuelles dans le champ de vision pour contraindre notre modèle PSF. Ces étoiles, qui sont des objets non résolus, nous fournissent des échantillons dégradés du champ de la PSF. Les observations subissent différentes dégradations en fonction des propriétés du télescope. Ces dégradations comprennent le sous-échantillonnage, l'intégration sur la bande passante de l'instrument et le bruit additif. Nous construisons finalement le modèle de la PSF en utilisant ces observations dégradées et utilisons ensuite le modèle pour déduire la PSF à la position des galaxies. Cette procédure constitue le problème inverse mal posé de la modélisation de la PSF. Voir [3] pour un article récent sur la modélisation de la PSF.

La mission Euclid récemment lancée représente l'un des défis les plus complexes pour la modélisation de la PSF. En raison de la très large bande passante de l'imageur visible (VIS) d'Euclid, allant de 550 nm à 900 nm, les modèles de PSF doivent capturer non seulement les variations spatiales du champ de PSF, mais aussi ses variations chromatiques. Chaque observation d'étoile est intégrée avec la distribution d'énergie spectrale (SED) de l'objet sur l'ensemble de la bande passante du VIS. Comme les observations sont sous-échantillonnées, une étape de super-résolution est également nécessaire. Un modèle récent appelé WaveDiff [4] a été proposé pour résoudre le problème de modélisation de la PSF pour Euclid et est basé sur un modèle optique différentiable. WaveDiff a atteint des performances de pointe et est en train d'être testé avec des observations récentes de la mission Euclid.

Le télescope spatial James Webb (JWST) a été lancé récemment et produit des observations exceptionnelles. La collaboration COSMOS-Web [5] est un programme à grand champ du JWST qui cartographie un champ contigu de 0,6 deg2. Les observations de COSMOS-Web sont disponibles et offrent une occasion unique de tester et de développer un modèle précis de PSF pour le JWST. Dans ce contexte, plusieurs cas scientifiques, en plus des études de lentille gravitationnelle faible, peuvent grandement bénéficier d'un modèle PSF précis. Par exemple, l'effet de lentille gravitationnel fort [6], où la PSF joue un rôle crucial dans la reconstruction, et l'imagerie des exoplanètes [7], où les speckles de la PSF peuvent imiter l'apparence des exoplanètes, donc la soustraction d'un modèle de PSF exact et précis est essentielle pour améliorer l'imagerie et la détection des exoplanètes.

Projet de doctorat

Le candidat visera à développer des modèles PSF plus précis et plus performants pour les télescopes spatiaux en exploitant un cadre optique différentiable et concentrera ses efforts sur Euclid et le JWST.

Le modèle WaveDiff est basé sur l'espace du front d'onde et ne prend pas en compte les effets au niveau du pixel ou du détecteur. Ces erreurs au niveau des pixels ne peuvent pas être modélisées avec précision dans le front d'onde car elles se produisent naturellement directement sur les détecteurs et ne sont pas liées aux aberrations optiques du télescope. Par conséquent, dans un premier temps, nous étendrons l'approche de modélisation de la PSF en tenant compte de l'effet au niveau du détecteur en combinant une approche paramétrique et une approche basée sur les données (apprises). Nous exploiterons les capacités de différenciation automatique des cadres d'apprentissage automatique (par exemple TensorFlow, Pytorch, JAX) du modèle WaveDiff PSF pour atteindre l'objectif.

Dans une deuxième direction, nous envisagerons l'estimation conjointe du champ de la PSF et des densités d'énergie spectrale (SED) stellaires en exploitant des expositions répétées ou des dithers. L'objectif est d'améliorer et de calibrer l'estimation originale de la SED en exploitant les informations de modélisation de la PSF. Nous nous appuierons sur notre modèle PSF, et les observations répétées du même objet changeront l'image de l'étoile (puisqu'elle est imagée sur différentes positions du plan focal) mais partageront les mêmes SED.

Une autre direction sera d'étendre WaveDiff à des observatoires astronomiques plus généraux comme le JWST avec des champs de vision plus petits. Nous devrons contraindre le modèle de PSF avec des observations de plusieurs bandes pour construire un modèle de PSF unique contraint par plus d'informations. L'objectif est de développer le prochain modèle de PSF pour le JWST qui soit disponible pour une utilisation généralisée, que nous validerons avec les données réelles disponibles du programme COSMOS-Web JWST.

La direction suivante sera d'étendre les performances de WaveDiff en incluant un champ continu sous la forme d'une représentation neuronale implicite [8], ou de champs neuronaux (NeRF) [9], pour traiter les variations spatiales de la PSF dans l'espace du front d'onde avec un modèle plus puissant et plus flexible.

Enfin, tout au long de son doctorat, le candidat collaborera à l'effort de modélisation de la PSF par les données d'Euclid, qui consiste à appliquer WaveDiff aux données réelles d'Euclid, et à la collaboration COSMOS-Web pour exploiter les observations du JWST.

Références

[1] R. Mandelbaum. “Weak Lensing for Precision Cosmology”. In: Annual Review of Astronomy and Astro- physics 56 (2018), pp. 393–433. doi: 10.1146/annurev-astro-081817-051928. arXiv: 1710.03235.
[2] T. I. Liaudat et al. “Multi-CCD modelling of the point spread function”. In: A&A 646 (2021), A27. doi:10.1051/0004-6361/202039584.
[3] T. I. Liaudat, J.-L. Starck, and M. Kilbinger. “Point spread function modelling for astronomical telescopes: a review focused on weak gravitational lensing studies”. In: Frontiers in Astronomy and Space Sciences 10 (2023). doi: 10.3389/fspas.2023.1158213.
[4] T. I. Liaudat, J.-L. Starck, M. Kilbinger, and P.-A. Frugier. “Rethinking data-driven point spread function modeling with a differentiable optical model”. In: Inverse Problems 39.3 (Feb. 2023), p. 035008. doi:10.1088/1361-6420/acb664.
[5] C. M. Casey et al. “COSMOS-Web: An Overview of the JWST Cosmic Origins Survey”. In: The Astrophysical Journal 954.1 (Aug. 2023), p. 31. doi: 10.3847/1538-4357/acc2bc.
[6] A. Acebron et al. “The Next Step in Galaxy Cluster Strong Lensing: Modeling the Surface Brightness of Multiply Imaged Sources”. In: ApJ 976.1, 110 (Nov. 2024), p. 110. doi: 10.3847/1538-4357/ad8343. arXiv: 2410.01883 [astro-ph.GA].
[7] B. Y. Feng et al. “Exoplanet Imaging via Differentiable Rendering”. In: IEEE Transactions on Computational Imaging 11 (2025), pp. 36–51. doi: 10.1109/TCI.2025.3525971.
[8] Y. Xie et al. “Neural Fields in Visual Computing and Beyond”. In: arXiv e-prints, arXiv:2111.11426 (Nov.2021), arXiv:2111.11426. doi: 10.48550/arXiv.2111.11426. arXiv: 2111.11426 [cs.CV].
[9] B. Mildenhall et al. “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”. In: arXiv e-prints, arXiv:2003.08934 (Mar. 2020), arXiv:2003.08934. doi: 10.48550/arXiv.2003.08934. arXiv:2003.08934 [cs.CV].

Développement et validation d’algorithmes d’intelligence artificielle, appliqués à l’haptique surfacique, pour l’évaluation des troubles neurodéveloppementaux à travers le toucher et la dextérité

L'objectif de cette thèse est de développer de nouvelles méthodes d'évaluation clinique utilisant des technologies haptique surfaciques, développées au CEA List, et des algorithmes de machine learning pour tester et mesurer l'intégration tactile-motrice. En particulier, la thèse investiguera et validera le développement d'un pipeline d'analyse multimodale qui convertit les signaux haptique et les données des exercices de dextérité (c'est-à-dire les événements de stimulation tactile, la cinématique des doigts, les forces de contact et le timing en millisecondes) en biomarqueurs fiables et interprétables de la perception tactile et du couplage sensorimoteur, puis classera les schémas d'intégration normatifs par rapport aux schémas atypiques avec une fidélité clinique pour l'évaluation.
Résultats attendus : une nouvelle technologie et des modèles pour la mesure rapide et réalisable des déficits tactuo-moteurs en milieu clinique, avec une validation initiale pour différents troubles du neurodéveloppement (c'est-à-dire la psychose, le trouble du spectre autistique et la dyspraxie). Les méthodes développées et les données collectées fourniront :
(1) une bibliothèque de caractéristiques ouverte et versionnée pour l'évaluation tactuo-motrice ;
(2) des classifieurs avec des points de fonctionnement prédéfinis (sensibilité/spécificité) ;
(3) et une pipeline « edge-ready » sur le dispositif, c'est-à-dire capable de fonctionner localement sur une tablette tout en respectant les contraintes de latence, de calcul et de confidentialité des données. Le succès sera mesuré par la reproductibilité des caractéristiques, des tailles d'effet cliniquement significatives et une logique de décision interprétable qui se rapporte à la neurophysiologie connue plutôt qu'à des artefacts.

Détection d'anomalies dans les vidéos adaptative et explicable

La détection d'anomalies dans les vidéos (VAD) vise à identifier automatiquement les événements inhabituels dans des séquences vidéo qui s’écartent des comportements normaux. Les méthodes existantes reposent souvent sur l'apprentissage One-Class ou faiblement supervisé : le premier n'utilise que des données normales pour l'entraînement, tandis que le second s'appuie sur des labels au niveau de la vidéo. Les récents progrès des modèles Vision-Langage (VLM) et des grands modèles de langage (LLM) ont permis d’améliorer à la fois les performances et l’explicabilité des systèmes VAD. Malgré des résultats prometteurs sur des jeux de données publics, plusieurs défis subsistent. La plupart des méthodes sont limitées à un seul domaine, ce qui entraîne une baisse de performance lorsqu'elles sont appliquées à de nouveaux jeux de données avec des définitions d’anomalies différentes. De plus, elles supposent que toutes les données d'entraînement sont disponibles dès le départ, ce qui est peu réaliste dans des contextes d’utilisation réels où les modèles doivent s’adapter continuellement à de nouvelles données. Peu d’approches explorent l’adaptation multimodale en utilisant des règles en langage naturel pour définir les événements normaux ou anormaux. Or, cela permettrait une mise à jour plus intuitive et flexible des systèmes VAD sans nécessiter de nouvelles vidéos.

Ce sujet de thèse a pour objectif de développer des méthodes de détection d’anomalies vidéo adaptables, capables de traiter de nouveaux domaines ou types d’anomalies en s’appuyant sur peu d’exemples vidéo et/ou des règles textuelles.

Les axes de recherche principaux seront les suivants :
• Adaptation interdomaines en VAD : améliorer la robustesse face aux écarts de domaine via une adaptation Few-Shot ;
• Apprentissage continu en VAD : enrichir le modèle en continu pour traiter de nouveaux types d’anomalies ;
• Apprentissage multimodal en Few-Shot : faciliter l’adaptation du modèle à l’aide de règles en langage naturel.