Qui sommes-nous ?
Espace utilisateur
Formation continue
Credit : L. Godart/CEA
D’un jour à plusieurs semaines, nos formations permettent une montée en compétence dans votre emploi ou accompagnent vers le retour à l’emploi. 
Conseil et accompagnement
Crédit : vgajic
Fort de plus de 60 ans d’expériences, l’INSTN accompagne les entreprises et organismes à différents stades de leurs projets de développement du capital humain.
Thèses
Accueil   /   Thèses   /   Quantification basse précision de réseau de neurones attentionnel pour l’embarqué

Quantification basse précision de réseau de neurones attentionnel pour l’embarqué

Data intelligence dont Intelligence Artificielle Défis technologiques Informatique et logiciels Sciences pour l’ingénieur

Résumé du sujet

Embarquer l'intelligence artificielle (IA) représente un défi de taille. L'IA s'est en effet développée ces dernières années à grands coups de réseaux de neurones géants et de traitements de données massives. Aujourd’hui l’enjeu est d’adapter ces méthodes dans de petits composants embarqués au plus près des solutions industrielles. La question de recherche du sujet est celle de la frugalité des réseaux de neurones afin de pouvoir les porter sur l’embarqué. Cela implique de repenser les modèles afin qu’ils soient nettement plus compacts et efficaces, avec l’utilisation de topologies adaptées, de méthodes de compressions mais également de coder l’information de manière adapté pour l’inférence sur cibles embarquées.
Plus précisément, le candidat s'intéressera aux réseaux de neurones basé sur le mécanisme d’attention comme les réseaux Transformer. Il sera amené à proposer de nouvelles méthodes de compression adaptés à ces modèles de réseaux de neurones, basés par exemple sur de la quantification ou de la distillation. Le candidat portera l'attention sur la compatibilité des méthodes qu'il propose pour rendre les réseaux embarquable sur une cible matérielle. Dans cette idée, il proposera des codages de l'information adaptés aux cibles matérielles.

Laboratoire

Département Systèmes et Circuits Intégrés Numériques (LIST)
DSCIN
Laboratoire Intelligence Artificielle Embarquée
Top envelopegraduation-hatlicensebookuserusersmap-markercalendar-fullbubblecrossmenuarrow-down