POSTE : Senior Data Engineer H/F DESCRIPTION : L'agence d'Astek Lille recherche son nouveau Senior data engineer afin de rejoindre nos équipes ! Ce que nous allons accomplir ensemble : Rejoignez-nous pour intervenir sur une application grand public dans le domaine du retail, destinée à des millions d'utilisateurs passionnés de shopping en ligne. Ensemble, nous façonnerons une expérience utilisateur exceptionnelle et contribuerons à la croissance de notre plateforme au sein d'un secteur en constante évolution. Vous ferez partie d'une équipe agile et collaborative, où l'innovation est encouragée et où chacun est encouragé à exprimer ses idées créatives. Ensemble, nous travaillerons en étroite collaboration pour relever les défis passionnants du secteur du retail et pour offrir une expérience client exceptionnelle. Votre mission (si vous l'acceptez !) : - Garantir la robustesse et la performance de la plateforme dataMonitorer la plateforme et mettre en place des actions proactives d'amélioration - Accompagner les migrations techniques (Databricks, orchestration)Optimiser les traitements PySpark - Assurer le support et l'accompagnement des équipes techniques - Mettre en place et promouvoir les bonnes pratiques data engineering - Développer et maintenir des pipelines avec une logique CI/CD (Terraform)Contribuer à la gouvernance et à l'accessibilité des données - Tester et intégrer de nouveaux outils dans la stack Votre Stack de Jeu : - Data & Big Data : Spark, PySpark, Databricks - Cloud : AWS (EMR - Orchestration : Airflow / MWAA, Astronomer - Data Catalog & Gouvernance : Unity Catalog - Infrastructure & CI/CD : Terraform, pipelines CI/CD Les petits plus du projet : Vous interviendrez au sein d'un écosystème de projets variés dans le domaine du retail, où votre force de proposition et votre participation active à l'amélioration continue seront de rigueur. Vous aurez également l'opportunité de travailler avec des technologies de pointe et de développer vos compétences au sein d'une équipe passionnée et motivée. Rencontrons-nous ! Vous vous êtes reconnu sur l'annonce et Astek vous plaît Pour en savoir plus sur vous, Elodie, notre chargée de recrutement vous contactera. Puis, vous aurez 2 entretiens max, avec Louis (votre futur n+1), et Eric, notre chef d'agence ! PROFIL : Vous : - - Vous justifiez idéalement de 5 ans d'expérience en Data Engineering sur des environnements Big Data. - Vous êtes titulaire d'un diplôme d'ingénieur ou équivalent (Bac +5) en informatique, data ou domaine connexe. - Vous maîtrisez PySpark ainsi que les concepts de traitement de données distribuées (Spark). - Vous avez une expérience significative sur des plateformes Databricks et des environnements cloud (AWS, EMR). - Vous êtes à l'aise avec les concepts d'orchestration de pipelines (Airflow, MWAA, Astronomer). - Vous maîtrisez les outils d'infrastructure as code et CI/CD (Terraform, pipelines). - Vous avez une bonne connaissance des problématiques de scalabilité, performance et gouvernance des données. - Vous êtes familier des environnements Agile et du travail en équipe. - Vous êtes passionné par la data et en veille constante sur les nouvelles technologies et bonnes pratiques data. - Vous disposez d'un bon niveau d'anglais, à l'écrit comme à l'oral, vous permettant d'évoluer dans un contexte international.