Contexte de la missionDans le cadre d'un programme de transformation digitale visant à démocratiser l'accès aux actifs privés pour la clientèle Retail & Wealth Management, notre client déploie une infrastructure de données pour consolider, transformer et distribuer des données financières et documentaires vers des partenaires de distribution. Le Data Engineer interviendra en autonomie sur la conception et le déploiement de pipelines de données et d'interfaces API dans un environnement cloud Azure / Databricks à forte volumétrie. ResponsabilitésArchitecture & ingestion de données Concevoir et implémenter des pipelines ETL/ELT avec PySpark sur Databricks Construire et maintenir une architecture data lake Bronze?Silver?Gold (architecture médaillon) Développer des jobs de transformation pour des datasets financiers (NAV, capital calls, distributions, reportings) Gérer les tables Delta Lake pour un stockage ACID-compliant APIs & intégrations partenaires Développer et maintenir des Azure Functions pour les intégrations API temps réel avec des partenaires externes Développer des APIs RESTful en Python pour la distribution de données Collaborer avec les data consumers pour comprendre leurs besoins et garantir la qualité des flux Qualité, performance & DevOps Implémenter des contrôles qualité et des frameworks de tests automatisés Optimiser les jobs Spark et fonctions serverless (performance et coûts) Travailler en CI/CD via Azure DevOps Stack techniqueDomaineTechnologiesLangage principalPython (maîtrise avancée obligatoire)Traitement distribuéPySpark, DatabricksStockage / Data lakeDelta Lake, architecture médaillon (Bronze?Silver?Gold)SQLTransformation et analyse de donnéesCloud AzureDatabricks, Azure Functions, Azure DevOps, PipelinesQualité de codePre-commit hooks, ruff, mypy, blackVersioningGit ? stratégies de branchingTestspytest