POSTE : Ingénieur Logiciel - Runtime d'Inférence IA & Plateforme de Serving H/F DESCRIPTION : Nous recherchons un Ingénieur Logiciel pour permettre le serving d'inférence IA à grande échelle sur la plateforme accélératrice Vsora Jotunn8. Le rôle porte sur l'évaluation, le portage, l'optimisation et le déploiement de runtimes d'inférence et frameworks de serving de pointe tels que vLLM et SGLang, afin de délivrer des solutions de serving IA performantes et scalables. Responsabilités principales - Piloter la conception, le développement et l'intégration de la stack logicielle chargée d'orchestrer et de gérer les charges de travail d'inférence IA hautes performances sur l'accélérateur Vsora Jotunn8. - Évaluer et conduire une analyse technique approfondie des runtimes d'inférence IA modernes et des frameworks de serving, notamment vLLM, SGLang et d'autres solutions émergentes pour LLMs et charges de travail IA. - Piloter le portage et l'optimisation des runtimes d'inférence et frameworks de serving sélectionnés vers la plateforme matérielle Vsora, en exploitant pleinement les capacités de l'accélérateur. - Concevoir et implémenter des architectures de déploiement scalables pour le serving IA, couvrant les environnements mono-noeud et distribués, la planification des modèles, la gestion des ressources et les opérations en production. - Définir l'architecture logicielle et la roadmap pour le serving IA sur les plateformes Vsora, en équilibrant performance, couverture fonctionnelle, maintenabilité et compatibilité écosystème. - Collaborer avec les communautés open-source et les partenaires de l'écosystème IA pour assurer la compatibilité avec les principaux frameworks, environnements de déploiement et écosystèmes de modèles. - Accompagner les clients et équipes internes via des implémentations de référence, des guides de déploiement, des caractérisations de performance et des bonnes pratiques pour l'inférence IA sur les plateformes Vsora. PROFIL : - Solides compétences en programmation Python et/ou C++. - Solide expérience avec les frameworks ML : PyTorch, TensorFlow, JAX, ONNX ou écosystèmes équivalents. - Expérience dans le déploiement, l'optimisation ou le portage de modèles IA sur des plateformes matérielles spécialisées (GPU, NPU, accélérateurs IA). - Compréhension des architectures de réseaux de neurones : transformers, modèles de diffusion, CNN, modèles multimodaux et grands modèles de langage. - Familiarité avec les compilateurs ML, frameworks d'optimisation de graphes et toolchains de déploiement (ONNX Runtime). - La connaissance de la quantification, précision mixte, compression de modèles et techniques d'optimisation d'inférence est un plus. Ref: g7kng0r2ch