Réseaux de neurones sur graphes pour la prédiction de la consommation de puissance d’architectures électroniques numériques

L’analyse de consommation de puissance est une étape importante du développement d'une architecture numérique. Cette analyse de puissance est nécessaire dès le début du codage RTL (Register Transfer Level), lorsque les modifications les plus avantageuses peuvent être apportées. Lorsque les conceptions deviennent plus grandes, l'analyse de puissance repose sur des traces de simulation plus longues et devient presque impossible, car le processus génère d'énormes fichiers de simulation (> gigaoctets ou téraoctets de données) entrainant ainsi de longs délais d'exécution de l'analyse de puissance (semaines, voire mois). Pour pallier à ce problème, les modèles de puissance peuvent être utilisés permettant ainsi d’accélérer cette étape d’analyse. Il existe un large éventail de recherches sur la modélisation de la puissance au niveau du RTL, principalement basées sur des approches analytiques ou d'apprentissage. La modélisation analytique de la puissance tente de corréler les profils d'application tels que le comportement de la mémoire, le comportement des branches, etc. avec les paramètres de la micro-architecture pour créer un modèle de puissance. Alors que la modélisation de la puissance basée sur l'apprentissage génère un modèle basé sur la trace de simulation de la conception et une puissance de référence proche de la consommation réelle. La modélisation de la puissance basée sur l'apprentissage gagne en popularité car elle est plus facile à mettre en œuvre que l'approche analytique et ne nécessite pas de connaissances approfondies en matière de conception. Ces méthodes basées sur les ML ont montré une amélioration impressionnante par rapport aux méthodes analytiques. Cependant, les méthodes de ML classiques (régression linéaire, réseau de neurones, ...) sont plus adaptées à la génération d'un modèle pour une architecture donnée, ce qui les rend difficiles à utiliser pour générer un modèle généralisable. Ainsi, au cours de ces deux dernières années, quelques études ont commencé à utiliser les réseaux de neurones sur graphes (GNN) pour aborder la généralisation des modèles dans le domaine de l'automatisation de la conception électronique (EDA). L'avantage d'un GNN par rapport aux approches de ML classiques est sa capacité à apprendre directement des graphes, ce qui le rend plus adapté aux problèmes EDA.
L’objectif de cette thèse est de concevoir un modèle de consommation généralisable d’une architecture électronique numérique, basé sur du GNN. Le modèle généralisable développé devrait être capable d’estimer, en plus de la consommation moyenne, la consommation cycle à cycle de n’importe quelle architecture électronique numérique. Très peu de travaux [1,2] existent dans l’état de l’art sur l’utilisation des GNNs pour l’estimation de consommation et les modèles conçus dans ses travaux sont uniquement capables d’estimer la consommation moyenne d’une architecture. De plus, plusieurs questions de recherche importantes ne sont pas abordées dans ces travaux tels que le nombre de données (architectures) nécessaire pour la généralisation du modèle, l’impact de la structure du graphe durant l’apprentissage, la sélection des architectures utilisées pour l’apprentissage et pour le test, le choix des features, etc.
Ainsi, durant cette thèse, ces questions seront étudiées afin de connaître leur impact durant la génération du modèle.
Les travaux seront valorisés à travers la rédaction de publications scientifiques dans des conférences et des journaux, ainsi que potentiellement des brevets.

Application du calcul quantique à l’heure du NISQ au Machine Learning

L'informatique quantique est censée offrir à l'avenir un avantage dans divers algorithmes, y compris certains qui sont considérés comme difficiles pour les ordinateurs traditionnels (par exemple, la factorisation des nombres premiers). Cependant, à une époque où les ordinateurs quantiques bruités (NISQ QC) sont la norme, l'utilisation concrète des ordinateurs NISQ semble prometteuse sur des approches d'optimisation et de l'efficacité énergétique plutôt que sur les performances algorithmiques pures.

Dans ce contexte, cette thèse de doctorat vise à aborder l'utilisation des NISQ pour améliorer le processus d'apprentissage des réseaux neuronaux (NN). En effet, la phase d'apprentissage des NN est probablement le moment le plus gourmand en énergie dans les approches traditionnelles. L'utilisation de techniques d'optimisation quantique ou de résolution de systèmes linéaires quantiques pourrait potentiellement offrir un avantage énergétique, en plus du fait que la phase d'apprentissage pourrait être réalisée avec un ensemble moins étendu d'exemples d'entraînement.

Intelligence artificielle en physique à base de nanodispositifs émergents

Les récentes percées dans l'IA sont corrélées à la charge énergétique nécessaire à la définition et à l'exécution de ces modèles. Les GPUs sont le matériel préféré pour ces implémentations, car ils peuvent effectuer des multiplications matricielles configurables et hautement parallélisées à base de circuits digitales. Toutefois, pour surmonter les limites énergétiques des GPUs, il peut être nécessaire d'abandonner complètement le paradigme digital.

Une solution élégante pourrait consister à exploiter la physique intrinsèque des dispositifs électroniques de manière analogique. Par exemple, des travaux préliminaires ont déjà proposé comment l'entropie physique des dispositifs silicium peut exécuter des algorithmes d'apprentissage probabilistes, comment la relaxation de la tension dans les réseaux résistifs peut approximer les gradients, et comment l'activité des oscillateurs interconnectés peut converger vers des minimas sur les surfaces d'énergie.

L'objectif de cette thèse sera d'étudier les primitives de calcul existantes et d'en proposer de nouvelles. De plus, comme les GPU biaisent les méthodes d'IA actuelles en les basant sur la multiplication matricielle, le candidat devra également étudier l'impact de ces nouvelles primitives sur les futurs algorithmes d'IA. Une attention particulière sera portée aux technologies émergentes de nanodispositifs développées au CEA Grenoble. En fonction des intérêts du doctorant, il sera possible de concevoir, tape-out et de tester des concepts de circuits en s'appuyant sur ces technologies innovantes.

Formalisation et analyse de contre-mesures contre les attaques par injection de fautes dans des processeurs open-source

Rejoignez le CEA-List au sein de la division DSCIN pour une opportunité de doctorat dans le domaine de la sécurité matérielle et de l'analyse formelle des microarchitectures de processeurs. Cette recherche se concentre sur la formalisation et l'analyse des contre-mesures contre les attaques par injection de fautes sur des processeurs open-source. Nous visons à établir des garanties formelles pour la robustesse des processeurs face aux attaques par injection de fautes.

Le défi scientifique de la thèse réside dans la création de méthodes et d'outils pouvant analyser efficacement la robustesse des systèmes embarqués sous injection de fautes. Vous travaillerez à la prise en compte conjointe du modèle RTL du processeur cible et du programme exécuté. Les techniques d'analyse actuelles, que ce soit par simulation ou par méthodes formelles, n'ont pas la capacité d'adresser la complexité des systèmes actuels. L'objectif est d'explorer des approches novatrices pour étendre l'analyse à des programmes plus vastes et à des microarchitectures de processeurs complexes. Le travail de thèse pourra s'appuyer sur les outils de simulation RTL comme Verilator ou QuestaSim, l'outil d'analyse formelle µARCHIFI développé au CEA-List, et des implémentations open-source de processeurs sécurisés comme le processeur RISC-V CV32E40S.

Votre travail ouvrira la voie à la conception de techniques et d'outils efficaces ayant le potentiel de rationaliser l'évaluation des systèmes sécurisés, impactant des domaines tels que la certification (e.g., Critères Communs), et réduisant le temps de mise sur le marché lors de la phase de conception de systèmes sécurisés en permettant par exemple la conception de systèmes sûrs à partir de l'assemblage de composants open source.

Partitionnement de circuits intégrés pour le contrôle de Qubits semi-conducteurs passant à l’échelle : co-conception des fonctions cryoCMOS et à température ambiante

Les algorithmes quantiques capable de démontrer un avantage quantique nécessiteront l’utilisation de processeurs quantiques (QPU) dotés de plusieurs milliers de Qubits. La conception d’un tel calculateur quantique est un défi pluridisciplinaire au cœur de l’ingénierie quantique. L’électronique de contrôle y fait face à des contraintes particulières liées à la température cryogénique à laquelle opèrent les Qubits. S’appuyant sur son expertise relative à la conception de technologies à base de silicium, le CEA vise à l’intégration de milliers de Qubits semiconducteurs au sein d’une même QPU.

L’objectif premier de cette thèse consiste à proposer une architecture de contrôle de Qubits numérique et analogique innovante passant à l’échelle en distribuant de l’électronique entre les différents étages du cryostat et l’extérieur à température ambiante. Le second objectif sera de réaliser des prototypes de cette chaîne de contrôle pour démontrer la faisabilité et les performances d’une telle architecture.

Les travaux s’appuieront sur une architecture existante à température ambiante et des blocs micro-électroniques à température cryogénique développés au sein du CEA. De nouveaux blocs et circuits seront développés pour permettre le passage à l'échelle de l'architecture quantique proposée. Les circuits correspondants seront fabriqués, testés et mesurés, et donneront lieu à des publications scientifiques.

Approche par clip pour améliorer l'efficacité énergétique des combinaisons d'intégration de matériel

Dans un contexte global d’automatisation de tâches, les réseaux de neurones artificiels sont actuellement utilisés dans de nombreux domaines nécessitant le traitement de données issu de capteurs : visions, sonores, vibrations.
Suivant différentes contraintes, le traitement de l’information peut être réalisé sur le Cloud (SIRI, AWS, TPU) ou de manière embarquée (plateforme Jetson de NVidia, Movidius, PNeuro/DNeuro du CEA-LIST). Dans ce second cas, de nombreuses contraintes matérielles doivent être prises en compte lors du dimensionnement de l’algorithme. Pour améliorer le portage sur plateforme matérielle, le LIST a développé des méthodes innovantes de l’état de l’art mondial permettant d’améliorer l’efficacité énergétique de ces plateformes.
L’efficacité énergétique des architectures Neuromorphique à technologie équivalente est contrainte par paradigme classique de la flexibilité vs l’efficacité. Autrement dit plus une architecture est capable d’effectuer des tâches (des réseaux) différentes, moins elles sont énergétiquement efficaces. Si cette relation ne peut être contournée pour une grande variété d’algorithmes, les réseaux de neurones sont des fonctions paramétriques, apprises pour une et donc potentiellement adaptables à d’autres tâches par une modification partielle de la topologie et/ou des paramètres.
Une technique,CLIP semble apporter une réponse, avec une forte capacité d'adaptation à des tâches variées et une possibilité d’utilisation de la multimodalité. Dans sa forme originelle cette méthode est présentée comme une méthode de mise en relation un texte et une image pour créer une tâche de classification.
L’objectif de la thèse est d’étudier le portage matériel de CLIP en proposant une architecture dédiée. La thèse s’organise en 3 temps forts, avec dans un premier temps une étude sur les mécanismes de CLIP, les opérations à effectuer, les conséquences sur les réseaux d’embedding. Dans le deuxième temps, les optimisations matérielles applicables à CLIP, telles que la quantification (ou autres) et une estimation de la flexibilité vs la généralité applicative. Pour finir une proposition architecturale et réalisation permettant une mesure de l’efficacité énergétique.

Méthodes de passage transparent entre différents schémas de chiffrement homomorphe

Aujourd'hui, nous disposons de quatre cryptosystèmes FHE, à savoir TFHE, BFV/BGV et CKKS, qui sont en train de devenir une sorte de norme pour l'utilisation du FHE dans la pratique. Cependant, chacun de ces systèmes souffre de limitations qui lui sont propres. Certains permettent des calculs sur des textes clairs de grande taille, tandis que d'autres autorisent un nombre illimité d'opérations. Dans certains schémas, le bootstrapping n'est toujours pas pratique, alors que le bootstrapping TFHE est assez efficace.
Dans cette thèse, nous souhaitons étudier un mécanisme de commutation efficace entre les différents systèmes cryptographiques FHE. Cela ouvrirait un large éventail d'applications dans l'évaluation des réseaux neuronaux profonds sur des données cryptées en utilisant le changement de schéma.

Orchestration intelligente et scalable pour garantir les performances et la fiabilité des systèmes Cloud Native

Le paradigme de Cloud Computing a apporté une nouvelle manière de concevoir les systèmes applicatifs en découplant fortement les applications et les plateformes sur lesquelles elles opèrent. C’est en particulier grâce aux techniques de virtualisation (machines virtuelles, conteneurs et bientôt WASM) et aux technologies d’orchestration qui leur sont respectivement associées (OpenStack, Kubernetes et CloudWASM), qu’il devient possible de porter, déployer et gérer des applications sur des ressources hétérogènes et à large échelle.
L’objectif de cette thèse consiste à apporter des stratégies et des mécanismes permettant de garantir la fiabilité des systèmes virtualisés. En particulier, l'orchestration de ces systèmes implique la gestion de plusieurs tâches telles que le déploiement de conteneurs, la mise à l'échelle des ressources, la gestion des mises à jour, la gestion des erreurs et la répartition de la charge entre les différents nœuds. Le ou les orchestrateurs jouent donc un rôle critique dans cette bonne mise en œuvre des traitements virtualisés.
Dans ce contexte, nous souhaitons bâtir une modélisation et un moteur d'analyse/remédiation permettant la garantie de SLOs dans une orchestration de conteneurs aussi bien au design time qu'à runtime. L'objectif final étant l’enrichissement du processus d'orchestration avec un système permettant de garantir et d'optimiser la gestion des ressources virtualisées.

Conception de circuits numériques approximatifs sur des technologies à semi-conducteurs avancées

À l'ère de la digitalisation, notre dépendance envers les systèmes numériques, voraces en énergie, ne cesse de croître. Ce développement insatiable, conjugué à la menace du réchauffement climatique, exige des solutions innovantes. Le calcul approximatif (AxC) est une technique de conception offrant un compromis attrayant entre la précision de calcul et une réduction substantielle de la consommation d'énergie. Cette proposition de thèse vise à pousser l'AxC vers de nouveaux horizons en faisant appel à des technologies à semi-conducteurs avancées, dont les mémoires résistives, pour concevoir des circuits approximatifs probabilistes destinés à des applications cryptographiques.
Le projet de thèse comprendra des expérimentations pratiques avec des circuits intégrés, fabriqués au CEA, afin de caractériser et modéliser leur comportement probabiliste. Ensuite, le candidat proposera de nouvelles techniques d'AxC et réalisera une puce pour la validation expérimentale des solutions proposées. L'objectif ultime du projet est d'intégrer ces solutions de circuits approximatifs dans des applications cryptographiques.
Au-delà des passionnants défis scientifiques, cette thèse se déroulera à Grenoble, une ville pittoresque au milieu des Alpes françaises. La recherche se déroulera sur le site du CEA LIST, en collaboration avec le laboratoire TIMA, entourée d'une communauté dynamique d'experts en logiciel embarqué, cybersécurité, IoT, conception numérique et apprentissage automatique. Ensemble, nous aspirons à redéfinir le paysage de la conception numérique, contribuant à un avenir durable tout en profitant des splendides environs et de l'esprit collaboratif de Grenoble. Rejoignez-nous pour être pionniers dans la prochaine frontière de la cryptographie économe en énergie !

Quantification basse précision de réseau de neurones attentionnel pour l’embarqué

Embarquer l'intelligence artificielle (IA) représente un défi de taille. L'IA s'est en effet développée ces dernières années à grands coups de réseaux de neurones géants et de traitements de données massives. Aujourd’hui l’enjeu est d’adapter ces méthodes dans de petits composants embarqués au plus près des solutions industrielles. La question de recherche du sujet est celle de la frugalité des réseaux de neurones afin de pouvoir les porter sur l’embarqué. Cela implique de repenser les modèles afin qu’ils soient nettement plus compacts et efficaces, avec l’utilisation de topologies adaptées, de méthodes de compressions mais également de coder l’information de manière adapté pour l’inférence sur cibles embarquées.
Plus précisément, le candidat s'intéressera aux réseaux de neurones basé sur le mécanisme d’attention comme les réseaux Transformer. Il sera amené à proposer de nouvelles méthodes de compression adaptés à ces modèles de réseaux de neurones, basés par exemple sur de la quantification ou de la distillation. Le candidat portera l'attention sur la compatibilité des méthodes qu'il propose pour rendre les réseaux embarquable sur une cible matérielle. Dans cette idée, il proposera des codages de l'information adaptés aux cibles matérielles.

Top