Stage - IA multimodale : création d'un jeu de données audio-visuel pour la calibration multi-capteur H/F

Descrizione del lavoro:

Description du poste

Domaine

Sciences pour l'ingénieur

Contrat

Stage

Intitulé de l'offre

Stage - IA multimodale : création d'un jeu de données audio-visuel pour la calibration multi-capteur H/F

Sujet de stage

Dans un contexte de développement de systèmes de perception multimodale, vous travaillerez sur la conception et la mise en place d'un jeu de données audio-visuel dédié à l'apprentissage et à l'évaluation de modèles d'intelligence artificielle. L'objectif du stage est de constituer un ensemble de données synchronisées entre caméra et microphone, à partir de données simulés, permettant l'estimation précise des paramètres extrinsèques entre ces capteurs. Le travail inclura également l'analyse et le test d'algorithmes existants de localisation 3D de sources sonores, dans le but de mieux comprendre la fusion entre les modalités visuelle et acoustique pour des applications de perception embarquée.

Durée du contrat (en mois)

6 mois

Description de l'offre

Rejoignez-nous en Stage !

CEA Tech Corporate from CEA Tech on Vimeo.
En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions.
Description du poste :
L'équipe du LIIDE est impliquée dans des projets visant à exécuter des algorithmes d'intelligence artificielle (apprentissage et inférence) sur des nœuds de calcul à ressources limitées. Dans ce cadre, notre objectif est de développer des outils et jeux de données permettant d'améliorer la compréhension et la calibration des systèmes de perception audio-visuels. Ces travaux s'inscrivent dans la perspective de renforcer les capacités de localisation de sources sonores.
Dans ce contexte, vous intégrerez une équipe travaillant sur des projets innovants à l'intersection de l'intelligence artificielle, de systèmes embarqués et du traitement du signal audio. Vos missions incluront :
* Réalisation d'un état de l'art sur les approches de calibration et d'estimation des paramètres extrinsèques entre caméras et microphones
* Conception et acquisition d'un jeu de données audio-visuel
* Prétraitement, organisation et documentation du jeu de données pour l'apprentissage de modèles d'IA
* Évaluation d'algorithmes existants de localisation 3D de sources sonores à partir des données acquises
* Analyse des résultats et propositions d'améliorations pour de futurs développements
En fonction des attendus de votre école, les objectifs et livrables pourront être ajustés.

Bibliographie:
* Chen, Changan, et al. "Soundspaces 2.0: A simulation platform for visual-acoustic learning." Advances in Neural Information Processing Systems 35 (2022): 8896-8911.
* Chen, Changan, et al. "Soundspaces: Audio-visual navigation in 3d environments." European conference on computer vision. Cham: Springer International Publishing, 2020.
* He, Yuhang, et al. "Sound3DVDet: 3D Sound Source Detection Using Multiview Microphone Array and RGB Images." Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2024.
* Michaud, Simon, et al. "3D localization of a sound source using mobile microphone arrays referenced by SLAM." 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2020.
* Chen, Changan, et al. "Sim2real transfer for audio-visual navigation with frequency-adaptive acoustic field prediction." 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2024.

Profil du candidat

Qu'attendons-nous de vous ?
Vous préparez un diplôme d'école d'ingénieur ou un M2 dans le domaine de traitement du signal, du traitement d'images, de la robotique ou de l'intelligence artificielle.
Vous êtes passionné par la recherche scientifique et technologique et êtes reconnu pour votre curiosité, proactivité et prise d'initiative.
Vous possédez des connaissances en traitement d'images et/ou de signaux audio, ainsi qu'en apprentissage automatique. Des notions en acquisition de données multimodales, en Python ou en C++ constituent un atout.
Une familiarité avec les environnements Linux et les systèmes multi-capteurs sera également appréciée.

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !

Vous avez encore un doute ? Nous vous proposons :
* L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
* Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
* Une expérience à la pointe de l'innovation, comportant un fort potentiel de développement industriel,
* Des moyens expérimentaux exceptionnels et un encadrement de qualité,
* De réelles opportunités de carrière à l'issue de votre stage
* Un poste au cœur du plateau de Saclay, facilement accessible via la mobilité douce favorisée par le CEA,
* Une participation aux transports en commun à hauteur de 85%,
* Un équilibre vie privée - vie professionnelle reconnu,
* Un restaurant d'entreprise,
* Une politique diversité et inclusion,
Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.

Localisation du poste

Site

Saclay

Localisation du poste

France, Ile-de-France, Essonne (91)

Ville

Saclay

Critères candidat

Langues

* Anglais (Courant)
* Français (Courant)

Diplôme préparé

Bac+5 - Diplôme École d'ingénieurs

Possibilité de poursuite en thèse

Non