STAGE : Calibration de Modèles de Moteurs par l'Apprentissage par Renforcement F-H

Descripción del puesto:

Parlons de votre future mission

Au sein de Safran Tech (le centre de R&T du groupe), l'Unité de Recherche Safran AI Research développe de nouveaux outils pour répondre aux grands enjeux en aéronautique.

La surveillance de l'état de santé des systèmes est une tâche essentielle dans l'exploitation des moteurs d'avion. Une approche courante consiste à construire un modèle de moteur (par exemple, un simulateur thermodynamique ou son modèle de substitution) permettant de suivre le comportement d'un système moteur réel. Un des défis est de calibrer le modèle de manière à ce qu'il corresponde le plus fidèlement possible au système réel.
Récemment, la calibration de modèles par l'apprentissage par renforcement (ModCal-RL) [1] suscite un intérêt de la littérature en raison de ses avantages notables : une grande flexibilité pour s'adapter en temps réel aux opérations du système et l'absence de nécessité de règles heuristiques spécifiques au domaine (souvent utilisées dans les méthodes traditionnelles). Malgré des succès remarquables dans plusieurs cas, les implémentations actuelles de ModCal-RL font face toujours à de multiples défis. Premièrement, si le système de moteur change radicalement (par exemple, en présence de capteurs défectueux), un algorithme RL classique ne parvient pas à s'adapter. Deuxièmement, il ne passe pas à l'échelle lorsque le nombre de paramètres à calibrer devient important (par exemple, centaines de paramètres si le modèle à calibrer est un modèle de substitution). Troisièmement, le suivi de l'état de santé des moteurs peut nécessiter l'imposition de certaines contraintes (par exemple, défauts dans un seul module), et un agent RL entraîné avec un certain ensemble de contraintes ne fonctionne pas nécessairement bien avec un autre.
Dans ce stage, nous étudierons une application de RL avec le mélange d'experts (en anglais, RL with Mixture of Experts) à apprendre une politique optimale de calibrage des modèles du moteur ([2]). En particulier, le mélange d'experts (MOE) permet d'assigner différentes parties (appelées « experts ») de l'architecture d'un réseau de neurones à la spécialisation sur différents types d'informations des entrées, tout en évitant une explosion de la taille du réseau.
Le stage se décomposera en quatre parties :
* Etudier la bibliographie de la calibration de modèles du moteur d'avion, de RL (policy gradients, PPO, actor-critic) et de RL avec MOE.
* Définir un cadre de RL & RL-MOE pour calibrer le modèle de type modèle de substitution de moteur.
* Mener des expériences numériques dans différents scénarios de fonctionnement des moteurs et tester RL avec MOE (plusieurs stratégies de routing avec plusieurs architectures).
* Étendre l'utilisation de RL avec MOE
- Tien et al. 2022. Real-time model calibration with deep reinforcement learning. Mech Systems and Signal Processing.
- Mu, Siyuan et al. A comprehensive survey of mixture-of-experts: Algorithms, theory, and applications
- Schulman et al Proximal policy optimization algorithms

Parlons de vous

Programmation : Python (librairies scientifiques)
Disciplines: health monitoring, neural networks, reinforcement learning, probability, mixture of experts
Langues : Anglais pour lecture scientifique + communiquer sur les résultats

Mais encore ? (avantages, spécificités, …)

une appétence pour la recherche est un plus

Information de la société

Safran est un groupe international de haute technologie opérant dans les domaines de l'aéronautique (propulsion, équipements et intérieurs), de l'espace et de la défense. Sa mission : contribuer durablement à un monde plus sûr, où le transport aérien devient toujours plus respectueux de l'environnement, plus confortable et plus accessible. Implanté sur tous les continents, le Groupe emploie 100 000 collaborateurs pour un chiffre d'affaires de 27,3 milliards d'euros en 2024, et occupe, seul ou en partenariat, des positions de premier plan mondial ou européen sur ses marchés.

Safran est la 2ème entreprise du secteur aéronautique et défense du classement « World's Best Companies 2024 » du magazine TIME.

Parce que nous sommes persuadés que chaque talent compte, nous valorisons et encourageons les candidatures de personnes en situation de handicap pour nos opportunités d'emploi