Nous recherchons pour l?un de nos clients grands comptes dans l?Asset Management, un(e) Data Engineer confirmé(e) maîtrisant les environnements Big Data on-premise, pour participer à des projets de collecte, transformation et mise à disposition de données à destination des équipes métiers et analytiques. Concevoir et développer des pipelines d?ingestion batch et / ou streamMettre en place la collecte et la mise à disposition de données à travers API ou fichiers Participer à l?industrialisation et la mise en production des traitements Développer des jobs Spark (Scala / PySpark) pour le prétraitement et le calcul des KPI Implémenter les collectes, mappings, traitements et restitutions de données Travailler en lien avec les équipes data science, BI et métiers Participer au suivi de projet, à la gestion des pipelines CI / CD et à l?administration des clusters Hadoop Exposer les données via API (Spring Boot) et Dashboard Participer à la migration des données du système legacy (Teradata) vers le data lake (via Kafka) Profil candidat : Nous recherchons un Data Engineer confirmé (minimum 6 ans d'expérience) ayant une expertise avérée dans le développement de pipelines Big Data en environnement on-premise, avec une maîtrise des langages PySpark et Scala Créer une alerte emploi pour cette recherche #J-18808-Ljbffr