Bonjour,
Dans le cadre de la modernisation des plateformes data et du déploiement de projets analytiques à forte valeur ajoutée, nous recherchons un Data Engineer confirmé maîtrisant Databricks, Python, Spark et les services Azure.
L?objectif est de renforcer l?équipe actuelle dans la conception, l?industrialisation et l?optimisation de pipelines de données à grande échelle.
Participer à la conception de solutions Data Lake / Data Lakehouse sur Azure & Databricks
Développer et maintenir des pipelines de données robustes en Python / PySpark
Travailler sur la modélisation des données (Delta Lake, Lakehouse architecture, bronze/silver/gold)
Optimiser les traitements (partitionnement, broadcast, cache, gestion mémoire Spark)
Automatiser et industrialiser les workflows (Databricks Workflows, ADF, Azure DevOps?)
Collaborer avec les équipes Data Science, BI et Cloud pour assurer la cohérence de l?écosystème
Contribuer à la mise en place de bonnes pratiques (CI/CD, clean code, documentation, tests)
Langages : Python (avancé), SQL
Framework : Apache Spark (PySpark)
Cloud : Azure (Data Lake Storage Gen2, Data Factory, Key Vault, DevOps, EventHub, Synapse?)
Plateforme analytique : Azure Databricks (Delta Lake, Notebooks, DB Workflows)
CI/CD : Git, Azure DevOps, Terraform (atout)
Monitoring : Log Analytics, Azure Monitor, gestion des alertes
Profil candidat:
Expérience significative en Data Engineering sur des volumes de données conséquents
Très bonne maîtrise de Databricks & Spark (traitements batch et/ou streaming)
Pratique avancée de Python en environnement Data
Connaissance solide des services Azure Data
Culture DevOps / industrialisation des workflows data
Esprit analytique, sens du delivery, autonomie, rigueur, capacité à travailler en équipe
.
.
