Le rôle du Data Engineer dans ce projet consistera à : * Concevoir et implémenter les composants/pipelines d'ingestion de données en scala spark (glue jobs, sans utilisation de solutions managées type Databricks) * Traiter et normaliser les données * Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers) et notre modèle uniformisé/harmonisé à toutes les plateformes (aggrégateurs, market exchanges) * Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud * Distribuer les données aux différents consommateurs/Métiers * Implémenter les règles de Data Quality (DataQuality framework : great expectation) et gérer le data calatog * Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) * Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, ? * Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données * Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. * Être force de proposition pour améliorer les processus et les performances des systèmes.