Dans le cadre du développement d'une plateforme data orientée IoT industriel, notre client recherche un Data Engineer Senior pour concevoir et faire évoluer des pipelines de données à forte volumétrie, en environnement cloud AWS. Vous interviendrez sur des architectures modernes combinant temps réel, batch et analytics avancé, avec une forte exigence en performance, scalabilité et qualité des données. Vos missions Data Engineering & pipelines - Concevoir et maintenir des pipelines de données end-to-end (batch et temps réel) - Gérer l'ingestion, la transformation et la mise à disposition des données IoT - Développer des traitements distribués avec Spark / Flink - Optimiser les performances et la scalabilité des flux de données Architecture & stockage - Concevoir des architectures data scalables (Lakehouse, time-series, données opérationnelles) - Mettre en place des solutions de stockage adaptées aux usages analytiques - Participer à la gouvernance et à la structuration des données API & services data - Développer des API robustes en Python (FastAPI) - Exposer les données et services pour les besoins métiers et analytiques Streaming & orchestration - Implémenter des architectures temps réel avec AWS Kinesis - Orchestrer les workflows batch avec Airflow Qualité & observabilité - Garantir la qualité, la fiabilité et la traçabilité des données - Mettre en place des outils de monitoring et d'observabilité (Grafana, etc.) DevOps & industrialisation - Déployer et maintenir les infrastructures via Terraform / Terragrunt - Mettre en œuvre les bonnes pratiques CI/CD (GitLab) - Adopter une approche build-run-own des services data Collaboration - Travailler en étroite collaboration avec les équipes Data, Produit et Backend - Traduire les besoins métiers en solutions data industrialisées - Participer à un environnement Agile orienté amélioration continue Environnement technique Cloud & infrastructure - AWS : S3, Lambda, Kinesis, ECS, Fargate, CloudWatch - Architectures serverless et temps réel Data Platform - Databricks - Delta Lake / Lakehouse Streaming & traitement distribué - Apache Spark - Apache Flink Données - SQL (bases relationnelles) - Données temporelles (time-series) IoT - MQTT - AWS IoT / SiteWise - Modélisation d'actifs Monitoring - Grafana - InfluxDB Développement - Python (FastAPI) - Scala DevOps - Terraform / Terragrunt - GitLab CI/CD Orchestration - Airflow Compétences requises : Profil recherché - Minimum 6 ans d'expérience en Data Engineering - Expertise confirmée sur AWS et architectures data modernes - Solide expérience en Spark / traitement distribué - Maîtrise des pipelines temps réel et batch - Expérience sur des environnements IoT ou industriels appréciée - Forte sensibilité aux problématiques de qualité et observabilité des données Soft skills - Esprit analytique et orienté solution - Autonomie et rigueur - Capacité à travailler dans des environnements complexes - Bon relationnel et esprit d'équipe