Contexte de la missionDans le cadre du développement d?une Data Marketplace interne, notre client construit une plateforme centralisant l?ensemble du parcours data (discovery, qualité, gouvernance, transformation, monitoring, BI). Déjà déployée auprès de premiers utilisateurs, la plateforme entre dans une phase de scalabilité et d?industrialisation avec un objectif de déploiement à grande échelle (plusieurs milliers d?utilisateurs à l?international). Vous intégrerez une équipe produit data avec des enjeux forts autour de la performance, de la qualité des données et de l?expérience utilisateur. Objectifs & livrablesDéveloppement et optimisation de pipelines data complexes Mise en place de process de data quality Contribution à une architecture scalable et modulaire Industrialisation des flux (CI/CD, automatisation) Documentation technique et participation aux choix d?architecture Missions principalesData EngineeringDévelopper et maintenir des pipelines (batch & streaming) Gérer l?ingestion multi-sources (API, bases, streaming) Optimiser les performances (latence, volumétrie, retry) Implémenter des contrôles de qualité et de traçabilité Backend & ArchitectureConcevoir une architecture data modulaire et scalable Développer des composants réutilisables Garantir la maintenabilité et la qualité du code DevOps & IndustrialisationMise en place de pipelines CI/CD Automatisation des déploiements Gestion des environnements cloud CollaborationTravail étroit avec PO, data engineers et équipes métiers Participation aux rituels agiles et code reviews Stack techniqueDataPython, Scala Spark Kafka / Kinesis / EventHub Airflow, DBT CloudAWS (Lambda, Glue, Step Functions, Redshift, DynamoDB) Azure (Functions, CosmosDB) DevOpsDocker, Kubernetes CI/CD (GitLab CI, Jenkins, GitHub Actions) Terraform, Ansible ObservabilitéPrometheus, Grafana, ELK, Datadog