Qui sommes-nous ?
Espace utilisateur
Formation continue
Credit : L. Godart/CEA
D’un jour à plusieurs semaines, nos formations permettent une montée en compétence dans votre emploi ou accompagnent vers le retour à l’emploi. 
Conseil et accompagnement
Crédit : vgajic
Fort de plus de 60 ans d’expériences, l’INSTN accompagne les entreprises et organismes à différents stades de leurs projets de développement du capital humain.
Thèses
Accueil   /   Thèses   /   Optimisations matérielles pour une IA générative efficace avec les réseaux Mamba

Optimisations matérielles pour une IA générative efficace avec les réseaux Mamba

Data intelligence dont Intelligence Artificielle Défis technologiques Informatique et logiciels Sciences pour l’ingénieur

Résumé du sujet

L'IA générative a le potentiel de transformer diverses industries. Cependant, les modèles actuels de pointe comme les transformers rencontrent des défis significatifs en termes d'efficacité computationnelle et de mémoire, notamment lorsqu'ils sont déployés sur des matériels à ressources limitées. Cette recherche de doctorat vise à résoudre ces problèmes en optimisant les réseaux Mamba pour des applications matérielles. Les réseaux Mamba offrent une alternative prometteuse en réduisant la complexité quadratique des mécanismes d'attention par des choix architecturaux innovants. En utilisant des techniques comme les motifs d'attention éparses et le partage efficace des paramètres, les réseaux Mamba peuvent générer des données de haute qualité avec des besoins en ressources beaucoup plus faibles. La recherche se concentrera sur la mise en œuvre d'optimisations matérielles pour améliorer l'efficacité des réseaux Mamba, les rendant adaptés aux applications en temps réel et aux dispositifs embarqués. Cela inclut l'optimisation des temps de formation et d'inférence, ainsi que l'exploration des accélérations matérielles potentielles. L'objectif est d'avancer le déploiement pratique de l'IA générative dans des domaines à ressources limitées, contribuant ainsi à son adoption plus large et à son impact.

Laboratoire

Département Systèmes et Circuits Intégrés Numériques (LIST)
DSCIN
Laboratoire Systèmes-sur-puce et Technologies Avancées
Top envelopegraduation-hatlicensebookuserusersmap-markercalendar-fullbubblecrossmenuarrow-down