Dans le cadre d?un besoin interne, nous recherchons un Expert Data Engineer spécialisé Spark. La mission porte sur une solution de traitement de données dédiée à des usages de statistiques et de Business Intelligence. Cette solution repose sur une architecture intégrant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur une infrastructure OVH. Volumétrie cible : 350 bases de données 5 000 requêtes par seconde 1 To de données par an Tâches à réaliser : Réalisation d?une analyse technique et d?un état des lieux de l?existant Élaboration de recommandations d?amélioration : Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l?infrastructure Recommandations sur le dimensionnement de l?infrastructure pour le traitement en temps réel Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données Rédaction d?un document d?architecture cible accompagné des préconisations associées