Notre client, grand nom du secteur bancaire , développe des plateformes de données de pointe pour transformer ses processus décisionnels. Nous recherchons un(e) Data Engineer confirmé(e) pour concevoir, automatiser et industrialiser les pipelines de données à grande échelle, en garantissant la scalabilité et la robustesse des systèmes. Vos missions : - Gestion des socles techniques: =>Développer, maintenir et faire évoluer les assets projets (modules de test et validation), de déploiement (scripts CI/CD) et d'infrastructure. =>Valider la conformité des évolutions d'infrastructure nécessaires aux cas d'usages.. - Conception et implémentation des pipelines de données: =>Concevoir et développer des pipelines automatisés (ingestion et transformation) vers le Data Hub. Utiliser l'outil: xDI pour les mappings et développements afin d'assurer la traçabilité. Optimiser les pipelines pour garantir des performances élevées et une faible latence entre le Cloud et le Legacy. - Industrialisation et automatisation: =>Industrialiser les modèles de Machine Learning et les flux de données à grande échelle. Collaborer avec les Data Scientists et MLOps pour assurer la transition fluide del'exploration vers la production (Guidelines STELLAR). =>Automatiser la gestion des traitements pour réduire les interventions manuelles. - Gestion des données et optimisation: =>Optimiser les performances des requêtes et des pipelines via les meilleures pratiques d'architecture de stockage (raw, refined, trusted layers). =>Assurer une surveillance continue de la qualité et mettre en place des contrôles de validation. - Sécurité et gouvernance des données: =>Mettre en œuvre les solutions de sécurisation (chiffrage, accès, audits) en conformité avec le RGPD. =>Travailler avec le Data Office pour l'alignement avec les politiques définies. =>Maintenir la documentation technique (Confluence) et la gestion des métadonnées. - Environnement technique Stack: xDI (important), Spark, SQL, Python, Dataiku.Infrastructure : IBM Cloud, Data Hub, AS400 (Legacy). - Concepts : Data Warehouses, Data Hubs, Data Platform Build. DevOps : Git, pipelines CI/CD (Gitlab). Méthodologie : Agile (Squads).