Nous recherchons un(e) Software Data Engineer pour l'un de nos clients grand compte. Missions : ? Concevoir et implémenter les composants/pipelines d?ingestion de données en scala spark ? Traiter et normaliser les données ? Refactoriser des imports existants pour être compliant avec l'architecture médaillon (silver + gold layers) ? Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud ? Distribuer les données aux différents consommateurs/Métiers ? Implémenter les règles de Data Quality (DataQuality framework) et gérer le data calatog ? Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) ? Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, ? ? Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données ? Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. ? Être force de proposition pour améliorer les processus et les performances des systèmes. Compétences requises : ? Expertise en Scala et Spark. ? Expérience significative dans le développement d'ETL en contexte Big Data. ? Expérience AWS (Glue, Lambda, Step Function, S3, etc.) : niveau intermédiaire avec expérience pratique ? Compétences Dev/Ops ? Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes. ? Organisation, orientation résultats et intérêt marqué pour le fonctionnel. ? Des compétences en Python et REACT seraient un plus pour le candidat