Descriptif du poste: Dans le cadre d'une mission dans les métiers de l'Énergie, notre équipe, Segula Transform spécialisée dans les projets IA, recherche un(e) Data Engineer expérimenté pour effectuer l'ingestion de données via des Step Functions utilisant Glue et Lambda. Le candidat sera amené à optimiser l'ingestion en utilisant PySpark et les bonnes pratiques (caching, persist, partitioning, inférence des schémas, etc.). Il devra également maintenir et/ou mettre en place des politiques de qualité des données, développer avec une approche modulaire en encapsulant ces environnements. Vos missions : * Effectuer l'ingestion de données via des Step Functions utilisant Glue et Lambda. * Optimiser l'ingestion de données en utilisant PySpark et les bonnes pratiques. * Maintenir et mettre en place des politiques de qualité des données. * Développer avec une approche modulaire en encapsulant les environnements. * Orchestrer les différents pipelines d'ingestion avec une maîtrise des commandes Git. * Développer des fonctionnalités telles que des fonctions enrichissantes ou de monitoring des données, et mettre en place de nouveaux logs. * Assurer les tests de validation techniques, incluant la mise en place de tests unitaires et de tests d'intégration. * Livrer la documentation technique (schémas, types, tables, processus d'évolution des tables). * Vérifier et valider les nouvelles versions du code (maîtrise de Git, utilisation des branches Git dans Databricks serait un plus). * Contribuer activement à l'édification de l'équipe Machine Learning Engineer. Profil recherché: Qualifications * Diplôme de niveau bac+5 en Data Science ou Informatique. * Une expérience de 6 ans minimum en Data engineering. * Expérience dans l'utilisation des GitHub Actions avec des multibranches, triggers, if conditions, workflows, et jobs. * Maîtrise des technologies AWS : EC2, S3, Lambda, Step Functions, CloudWatch. * Expérience avec Glue pour l'ingestion de données. * Maîtrise de Python et PySpark. * Connaissance de Checkmarx et SonarQube pour veiller à la qualité du code. * Esprit proactif Compétences supplémentaires appréciées : * Connaissance de AWS SNS, Inspector, Secret Manager, Athena pour requêter les données. Si vous êtes passionné par le data engineering et que vous souhaitez rejoindre une équipe dynamique , nous serons ravis de recevoir votre candidature !