Vous intervenez au cœur des enjeux de transformation technologique, sur des produits critiques, en assurant un niveau d'exigence élevé sur des systèmes non déterministes (Machine Learning, IA générative, APIs intelligentes et Marketing). A la croisée du QA, de l'IA et du marketing digital, vous contribuez à sécuriser la qualité des produits tout en optimisant l'expérience l'utilisateur. Votre mission ne consiste pas uniquement à tester des fonctionnalités, mais à évaluer la pertinence, la cohérence et les limites des modèles IA. 1. Validation des modèles IA - Évaluer la qualité des modèles ML, NLP et LLM en conditions réelles - Définir et suivre des métriques de performance : accuracy, F1-score, dérive. - Construire et maintenir des data sets de validation représentatifs - Identifier les comportements anormaux : biais, hallucinations, incohérences 2. Stratégie de test avancée - Concevoir des approches de test adaptées aux systèmes non déterministes - Développer des scénarios couvrant les cas limites et usages réels - Tester la robustesse des modèles face à des inputs variés ou dégradés - Définir des standards de qualité pour les systèmes IA 3. Automatisation & MLOps - Automatiser les campagnes de validation des modèles - Intégrer les tests dans des pipelines CI/CD et MLOps - Mettre en place des tests de non-régression sur modèles IA - Suivre la performance des modèles dans le temps (monitoring, drift) 4. Analyse & amélioration continue - Analyser les erreurs et proposer des axes d'amélioration - Collaborer étroitement avec data scientists et ML engineers - Participer à l'amélioration des datasets et des modèles - Produire des rapports d'évaluation clairs pour les équipes métiers COMPETENCES: - Expertise pratique en QA et validation de systèmes IA, autodidacte ou parcours atypique accepté - Connaissance des modèles ML, NLP, LLM et des bonnes pratiques de test IA - Maîtrise des prompts et des outils IA actuels (GPT, Claude, Bard.) - Certifications : ISTQB (Foundation ou supérieur), Certification ou formation marketing (ex. Google Analytics, Growth Hacking, Digital Marketing) - Capacité à définir et suivre des métriques de performance et de qualité - Maîtrise des pipelines CI/CD et MLOps pour l'automatisation des tests - Autonomie, rigueur et sens de l'organisation - Créativité pour développer de nouvelles pratiques et standards - Esprit analytique et orientation business pour mesurer l'impact des modèles sur la performance - Capacité à collaborer efficacement avec équipes techniques et métiers - Curiosité et capacité à apprendre rapidement de nouveaux outils et technologies - Communication claire et capacité à vulgariser les résultats pour des interlocuteurs non techniques Pourquoi ce poste est unique - Premier poste orienté IA + QA + Growth dans l'organisation - Opportunité de définir des pratiques de test innovantes encore inexistantes sur le marché - Rôle clé dans la transformation et la performance des produits digitaux 2 postes sont à pourvoir