DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA. Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc. Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants. https://www.dgtl-performance.com Le poste : Un grand groupe du secteur de la distribution nous confie la conception, l'industrialisation et l'évolution d'une plateforme d'analyse conversationnelle alimentée par des modèles de langage (LLM). Cette solution, déployée en production, sert à accompagner les équipes métier dans leur accès aux données et la prise de décision via un agent analytique intelligent. Vous rejoignez une équipe responsable de trois volets stratégiques : l'évaluation et le monitoring de la qualité des réponses (LLM-as-a-Judge), la maintenance et la fiabilité de la plateforme en production, ainsi que les analyses approfondies du comportement de l'agent pour identifier les axes d'amélioration. L'environnement technique repose sur Google Cloud Platform (Agent Platform, Cloud Run), des frameworks d'orchestration multi-agents (LangChain, LangGraph) et des outils de développement Python modernes (FastAPI, Pandas, NumPy). Vous travaillerez en méthodologie Agile, en étroite collaboration avec les équipes métier et les data scientists, dans une démarche d'amélioration continue et de rigueur qualité. Responsabilités : - Concevoir, maintenir et documenter le framework d'évaluation LLM-as-a-Judge, incluant la définition des métriques, la construction de jeux de test et l'établissement des seuils de qualité - Assurer la maintenance corrective et évolutive de l'agent en production : diagnostiquer et corriger les anomalies, intégrer les mises à jour des composants, gérer les déploiements sécurisés - Réaliser des analyses LLM avancées pour approfondir la compréhension du comportement de l'agent, identifier les dégradations et proposer des recommandations d'amélioration - Concevoir et optimiser des workflows multi-agents et protocoles Agent-to-Agent (A2A/ACUI) pour assurer l'interopérabilité et la robustesse - Parser et structurer des données non structurées (PDF, images, tableaux) pour enrichir le contexte d'analyse - Collaborer activement avec les équipes métier et les pairs pour valider les évolutions et partager les connaissances - Veiller au respect des délais tout en maintenant des standards élevés de qualité et de performance Profil recherché : Indispensables : - Maîtrise solide de Python appliqué à l'IA et au traitement de données (3 à 7 ans d'expérience minimum en AI Engineering) - Expertise confirmée sur Google Cloud Platform, notamment Agent Platform (anciennement Vertex AI) et Cloud Run - Bonne compréhension et expérience pratique des workflows multi-agents et des protocoles Agent-to-Agent (A2A/ACUI) - Capacité à concevoir et maintenir des cadres d'évaluation robustes, incluant des métriques et des jeux de test - Compétences avérées en parsing et structuration de données non structurées (PDF, images, données tabulaires) - Excellent français écrit et oral ; capacité à communiquer efficacement avec les équipes métier et techniques - Formation Bac+5 (école d'ingénieur ou université orientée informatique) ou expérience équivalente démontrée - Rigueur méthodologique, respect des délais et engagement envers l'excellence qualité Fortement appréciés : - Expérience dans le secteur du retail, de la grande distribution ou de domaines proches - Expérience de conception et d'optimisation de graphes d'agents complexes avec LangChain et LangGraph - Maîtrise de FastAPI et Pydantic pour le développement d'APIs performantes et sécurisées - Pratique confirmée de Pandas, NumPy et des notebooks pour l'analyse et le nettoyage de données - Expérience avec les protocoles Model Context Protocol (MCP) pour la connexion des LLM aux données et outils externes - Connaissance des bases vectorielles, embeddings et techniques d'indexation/requêtage pour la recherche sémantique - Compétences en sécurité des systèmes IA : prévention des prompt injections, filtrage des données sensibles, conformité RGPD/PII - Expérience en optimisation des coûts IA (gestion des tokens, cache sémantique, choix des modèles) - Esprit d'amélioration continue et capacité à analyser les situations pour proposer des solutions adaptées et innovantes