Descriptif du poste: Data Engineer (H/F) IDF Vous intégrerez une équipe dynamique pour optimiser et gérer des pipelines de données. Dans ce cadre, vos principales responsabilités seront les suivantes : * Ingestion et optimisation des données : vous travaillerez avec des step functions utilisant AWS Glue et Lambda. Vous serez chargé(e) d'optimiser l'ingestion des données en appliquant les bonnes pratiques avec PySpark (caching, persist, partitioning, inférence de schéma, etc.). * Qualité des données : maintenir et/ou mettre en place des politiques de qualité des données afin d'assurer leur intégrité et leur cohérence. * Développement de fonctionnalités : vous développerez des fonctions permettant d'enrichir et de monitorer les données, et mettrez en place de nouveaux logs pour le suivi. L'approche sera modulaire et l'accent sera mis sur l'encapsulation des environnements mentionnés ci-dessus. * Tests techniques : vous serez en charge de la mise en place de tests unitaires et de tests d'intégration pour valider la qualité des données. * Documentation technique : vous rédigerez la documentation nécessaire (schémas, types, tables, processus d'évolution des tables) pour assurer la traçabilité et la pérennité du projet. Profil recherché: Compétences recherchées :Must Have : Maîtrise de Python et PySpark. Expérience avec les technologies AWS, notamment Glue, EC2, S3, Lambda, Step Functions, et CloudWatch. Bonne gestion du stockage des données avec S3, y compris la mise en place de politiques de rétention. Solides compétences en Git, Nice to Have : Expérience avec AWS SNS, Inspector, Secret Manager et Athena pour l'interrogation des données. Connaissance des outils de validation de code tels que Checkmarx et SonarQube pour assurer la qualité du code. Expérience requise : 5 ans ou plus dans le domaine du Data Engineering,