POSTE : Data Engineer H/F DESCRIPTION : Au sein du pôle Data Services de SNCF CONNECT, le/la Data Engineer Senior contribue à la conception, à l'industrialisation et à l'évolution des solutions data à l'échelle du groupe. Il/elle intervient sur l'architecture, la modélisation et l'optimisation des pipelines de données et joue un rôle structurant dans la mise en oeuvre de la stratégie Lakehouse. Acteur clé des décisions techniques, il/elle accompagne également la montée en compétence des Data Engineers et contribue à l'excellence technique du pôle. 1. Contexte Le pôle Data Services est composé de : - 15 Data Engineers - 4 Data Ops - 2 Staff Engineers Data - 1 Enterprise Architect Data - 2 Engineering Managers - 2 Product Managers Data - Product Owners, Data Analysts et Scrum Masters Le/la Data Engineer Senior intègre l'une des 4 équipes Data et collabore étroitement avec les équipes Produit, Techniques et Métiers dans un environnement agile. 2. Missions principales Conception et développement de pipelines - Concevoir, développer et optimiser des pipelines de données à grande échelle. - Implémenter des flux batch, streaming et ingestion API. - Structurer les transformations selon une modélisation Médaillon (Bronze / Silver / Gold). - Développer et industrialiser les pipelines via DBT, Spark et Iceberg. - Contribuer à l'évolution de l'architecture Lakehouse du groupe. Industrialisation et mise en production - Déployer, maintenir et optimiser les pipelines dans un environnement cloud (AWS ou équivalent). - Orchestrer les workflows ETL/ELT (Airflow). - Mettre en place des infrastructures as Code (Terraform). - Exploiter des environnements conteneurisés (Docker, Kubernetes selon le contexte). - Superviser les traitements, garantir la disponibilité des services, gérer les incidents et améliorer l'observabilité. Qualité, conformité et documentation - Définir et implémenter les règles de qualité des données (tests, contrôles automatisés, validation). - Documenter les architectures, choix techniques, pipelines et règles métier. - Garantir la conformité et la sécurité des flux, notamment au regard des exigences RGPD. Leadership technique et accompagnement - Accompagner les Data Engineers juniors et intermédiaires dans leur progression. - Participer aux décisions techniques structurantes aux côtés des Staff Engineers et de l'Enterprise Architect Data. - Challenger les pratiques existantes et promouvoir les standards d'ingénierie (qualité, performance, maîtrise des coûts, sécurité). - Contribuer à la vision technique et à l'architecture globale de la plateforme Data Services. Collaboration et relationnel - Comprendre et challenger les besoins métiers afin de proposer des solutions data adaptées et pérennes. - Vulgariser les sujets techniques auprès d'interlocuteurs variés (Produit, Métier, Technique). - Travailler en étroite collaboration avec les Data Analysts, Product Owners et Product Managers Data. 3. Stack technique Transformation & modélisation Spark, DBT, SQL, Scala, modélisation Médaillon Formats & stockage Iceberg, Parquet Orchestration Airflow Cloud & infrastructure AWS (S3, Glue, Lambda, EMR, Kinesis), Terraform Conteneurisation Docker, Kubernetes Développement & qualité Python, Git, CI/CD, tests unitaires et d'intégration Méthodologies Agile / Scrum, documentation structurée Profil Recherché - Expérience significative (5 ans minimum) en Data Engineering. - Maîtrise avancée des architectures Big Data et Lakehouse. - Solides compétences en modélisation (Médaillon), ingestion et transformation de données. - Expertise sur Spark, DBT, Iceberg, AWS, Terraform et environnements conteneurisés. - Capacité à intervenir sur des pipelines complexes à forte volumétrie. - Excellentes compétences relationnelles et capacité à interagir avec des profils variés. - Aptitude à accompagner et mentoriser les équipes. - Rigueur, autonomie, esprit analytique et culture d'amélioration continue. Rejoindre SNCF Connect & Tech : - C'est intégrer la plus grande communauté d'experts des transformations numériques, en France, dans le secteur des mobilités et devenir un #DigitalMobilityChanger. - C'est innover pour rendre les mobilités durables accessibles à tous", en incarnant les valeurs de l'entreprise : Citoyenneté, Audace, Performance, Ouverture, Confiance. - C'est continuer à apprendre et grandir g