POSTE : Data Engineer H/F DESCRIPTION : Votre mission ( si vous l'acceptez !) : - Concevoir et implémenter des pipelines de données scalables à partir de templates génériques dans un environnement Big Data. - Contribuer à la construction d'une vision 360° des utilisateurs et à l'enrichissement de la connaissance client via des partenaires data. - Transformer et moderniser des flux legacy vers une stack data lakehouse moderne (Databricks / Delta Lake / AWS). - Garantir la qualité, la fiabilité et la performance des datasets (data quality, optimisation Spark / SQL). - Documenter les flux et datasets et accompagner les utilisateurs dans la compréhension et l'usage des données. - Participer à l'amélioration continue des pratiques de développement : clean code, tests, CI/CD, data monitoring. - Contribuer à la communauté data via le partage de connaissances et les bonnes pratiques. Votre quotidien sera rythmé par : - Développer et maintenir des pipelines de données dans un environnement AWS / Databricks / Spark. - Mettre en place et orchestrer des workflows de traitement de données avec Airflow. - Optimiser les traitements PySpark et SQL afin d'améliorer les performances des flux. - Appliquer et suivre les règles de qualité de données pour garantir la fiabilité des datasets. - Documenter les flux et datasets pour faciliter leur compréhension et leur usage. - Répondre aux questions des utilisateurs concernant les données mises à disposition. - Participer aux échanges techniques de l'équipe et contribuer aux bonnes pratiques de développement (tests, CI/CD, clean code). Environnement technique : - AWS (S3, Lambda, Glue), Databricks - Apache Spark (PySpark), SQL - Data Lakehouse, Delta Lake - Apache Airflow - Collibra, Data Quality monitoring - Clean Code, CI/CD, tests unitaires et d'intégration - GitHub, Agile, Mob Programming - outils d'IA pour accélérer le développement (AI assistants) Les petits plus du projet : - Un projet data stratégique autour de la connaissance client 360°. - Une stack data moderne (AWS, Databricks, Spark, Delta Lake). - Des volumes de données importants et des enjeux de performance et de qualité. - Une équipe data collaborative et orientée bonnes pratiques (clean code, CI/CD, partage de connaissances). Rencontrons-nous ! Vous vous êtes reconnu sur l'annonce et Astek vous plaît ? Postulez directement sur cette annonce, afin que Léa, notre Talent Acquisition Officer, puisse vous contacter pour un premier échange. Sami, votre futur Manager, vous proposera ensuite d'échanger autour de cette opportunité, de votre parcours et de vos attentes PROFIL : Vous : - Diplômé(e) d'un Bac +5 (école d'ingénieur ou université) en informatique, data ou domaine équivalent. - Vous justifiez d'au moins 5 ans d'expérience en Data Engineering sur des projets Big Data ou data platform. - Vous avez déjà évolué dans des environnements cloud et data modernes (AWS, Spark, Databricks). - Vous êtes reconnu(e) pour votre rigueur technique, votre sens du service et votre capacité à travailler en équipe. - Vous êtes à l'aise dans un environnement agile et collaboratif et aimez partager vos connaissances.