En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de loptimisation des pipelines existants et de lorganisation des activités de RUN & stabilisation , en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile. Votre rôle Optimisation et refonte des pipelines data Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) Renforcer la modularité, la lisibilité, lévolutivité et la scalabilité des pipelines Contribuer à la réduction de la dette technique et à la modernisation du legacy Industrialisation et qualité des développements Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant lindustrialisation des développements Mettre en place les tests unitaires, dintégration et fonctionnels Formaliser des standards de développement Stabilisation, RUN et amélioration continue Améliorer la stabilité des pipelines grâce au monitoring et à lapplication des bonnes pratiques CI/CD Structurer et prioriser les actions de RUN et de stabilisation Définir et piloter un plan d'optimisation priorisé avec des gains mesurables Passage à léchelle et évolution de larchitecture data Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à léchelle Optimiser le ratio coût / performance des traitements Travailler en étroite collaboration avec les Data Scientists et les ML Engineers Profil candidat: Compétences fonctionnelles et techniques : Solide maîtrise des principaux outils de data engineering : Databricks, PySpark, Python, Airflow et GitHub Bonne connaissance de lécosystème AWS (S3, ECR et Glue) Connaissance de Docker, uv et Poetry Sensibilité aux méthodes Agile avec une connaissance Scrum appréciée Qualités personnelles : Esprit analytique et sens de la résolution de problèmes Rigueur et capacité à prioriser / structurer les sujets Autonomie et force de proposition Esprit déquipe et collaboration transverse Sens de lamélioration continue Type de contrat : CDI Niveau dexpérience : 7 ans minimum Secteur : Retail Localisation : Paris Langues : Français et anglais professionnels impératifs