Description du besoin : Data Engineer Plateforme Data AWS / Snowflake Client : Grand Groupe Industriel International Localisation : Magny-les-Hameaux (78) + déplacements ponctuels Malakoff (92) Télétravail partiel : 2 jours / semaine Démarrage idéal : ASAP Information de type C3 - Contexte industriel ? Contexte Dans le cadre de lévolution de sa plateforme Data, un grand groupe industriel souhaite renforcer son dispositif avec un profil senior spécialisé en orchestration de pipelines de données, avec une expertise forte sur Apache Airflow. Le client dispose dun écosystème data déjà en place (AWS / Data Lake / Snowflake) et cherche à améliorer la fiabilité, la scalabilité et lindustrialisation des traitements. Lobjectif est dintégrer un profil capable de concevoir et structurer les workflows data, et non simplement dutiliser Airflow pour exécuter des jobs existants. ? Objectif de la mission Le client recherche un Data Engineer senior avec une expertise avancée sur Airflow, capable de : -concevoir et développer des DAGs complexes -structurer lenchaînement des traitements de données -gérer les dépendances entre pipelines -implémenter des stratégies de gestion des erreurs, retry et reprise -optimiser lorchestration et la planification des workflows Le consultant interviendra sur la fiabilisation et lindustrialisation des pipelines data, avec une forte autonomie dans la conception des solutions. ? Prestations attendues ? Orchestration & Airflow (cœur de mission) Conception et développement de DAGs Airflow complexes Structuration des workflows data et gestion des dépendances Mise en place de stratégies de retry, reprise et gestion des erreurs Optimisation du scheduling et des performances des pipelines Industrialisation des workflows ? Data Engineering égration Intégration et orchestration de pipelines batch et temps réel Collaboration avec les équipes Data (Data Engineers / Data Scientists) Contribution à larchitecture globale des pipelines ? Cloud & environnement technique Intégration dans un environnement AWS Data Lake Interaction avec les services data (stockage, compute, etc.) Automatisation et bonnes pratiques de développement ? Environnement technique Airflow (expertise avancée requise) Python AWS (S3, Glue, etc.) Data Lake / Snowflake CI/CD / Terraform (apprécié) ? Profil recherché ? Expérience 5+ ans en Data Engineering Expérience significative sur Airflow en production Expérience sur des environnements data complexes ? Compétences indispensables Airflow avancé (design de DAGs, orchestration complexe) Python Conception de pipelines data Gestion des dépendances et workflows ? Compétences appréciées AWS / Data Lake Terraform / CI/CD Snowflake ? Points clés (critères éliminatoires) Profil ayant utilisé Airflow uniquement comme outil de déclenchement ? Absence dexpérience en conception de DAGs ? Pas de maîtrise de la logique dorchestration ? ? Profil idéal Un profil capable de penser et concevoir une orchestration complète de pipelines data, avec une vraie maîtrise des mécaniques internes dAirflow, et une capacité à intervenir en autonomie sur des environnements existants.naires Communication claire et structurée Profil candidat: Le client recherche un Data Engineer senior avec une expertise avancée sur Airflow, capable de : -concevoir et développer des DAGs complexes -structurer lenchaînement des traitements de données -gérer les dépendances entre pipelines -implémenter des stratégies de gestion des erreurs, retry et reprise -optimiser lorchestration et la planification des workflows Le consultant interviendra sur la fiabilisation et lindustrialisation des pipelines data, avec une forte autonomie dans la conception des solutions.