Stage - Exploration de l’utilisation des modèles de langage pour le pilotage d’un drone
A propos
Envie de rejoindre un groupe qui permet à chacun de se réaliser et d'entreprendre ? Êtes vous GCC compatible?
Un monde où l’entretien des façades et des toitures peut se faire efficacement, sans nuisance, sans danger, tout en faisant des économies.
Vous y croyez ? C'est la mission de FLY RENOV, venez faire partie de l'aventure !
L’objectif pour 2025 est d’explorer de nouvelles pistes pour améliorer les fonctionnalités existantes et apporter de nouvelles solutions innovantes. Parmi ces solutions nous aimerions commencer à explorer les nouvelles techniques d’intelligence artificielle développées ces dernières années.
Les modèles de langage (large langage models – LLM) constituent actuellement une fondation solide pour les systèmes de chatbot grand public. Néanmoins, certaines entreprises et laboratoires ont déjà réalisé des démonstrateurs de l’usage de ces technologies dans le cadre de la robotique.
A partir d’une instruction humaine et d’un ensemble d’actions atomiques disponibles, un LLM pourrait énumérer une suite d’action pour mener à bien une mission. L’environnement de travail de FlyRénov est un contexte idéal pour pouvoir imaginer et tester les possibles solutions d’automatisation de demain.
N'attendez plus pour faire de GCC votre ETI de pRÉFÉRENCE! Un Groupe de BTP indépendant à taille humaine!
Votre mission
Au sein de l’équipe R&D, votre mission sera de développer une base logicielle robuste pour qu’un modèle génératif multimodal puisse prendre en compte une instruction humaine, un ensemble de données hétérogènes (nuages de points, images, capteurs) et générer un ensemble d’actions afin de répondre aux besoins métiers. Lors de ce stage très orienté recherche, nous attendrons de vous de réaliser les tâches suivantes :
1. Rédiger un état
• Identifier les différentes utilisations des LLM dans le monde de la robotique.
• Lister l’ensemble des projets open source mettant à disposition des LLM pour le monde du drone ou les robots programmés en ROS.
• Etudier les performances des LLM propriétaires ou open source selon les besoins métiers.
• Trouver des jeux de données dans l’optique de renforcer l’apprentissage de modèles.
2. Programmation d’un POC
• Lister un ensemble d’action atomiques d’intérêt.
• Programmer un LLM pour la génération d’une suite d’actions atomiques.
• Ajouter au simulateur de Gazebo différents obstacles et objets pour tester les décisions du LLM.
• Tester ces ensembles d’actions en simulation.
• Tester ces ensembles d’actions sur des drones de tests.
3. Intégration de données multimodales dans le LLM
• Prise en compte de l’environnement du système de visualisation du drone dans les consignes données au modèle de langage.
• Traitement des données hétérogènes (séries temporelles, images, nuages de point) afin de les intégrer dans le LLM.
• Extraction d’informations sémantiques et reconnaissances d’informations complexes.
Le profil idéal
Vous êtes étudiant(e) ingénieur ou suivez un Master en quatrième ou cinquième année
Vous avez une spécialisation en électronique embarquée, informatique, traitement du signal ou robotique
Vous avez des connaissances générales en robotique, en machine learning et dans les modèles de langages
Vous connaissez la programmation en Python / C++ et dans l’intergiciel ROS
Vous avez la maîtrise d'un framework de deep learning (PyTorch, Tensorflow, etc...) et d'outils d'analyse de données
Vous avez un esprit d'analyse et de bonnes capacités rédactionnelles et de reporting