Descriptif du poste: Fiche de Mission - Data Engineer Objectif de la mission Concevoir, développer et maintenir des solutions de gestion et de valorisation des données, depuis l'analyse des besoins métiers jusqu'au RUN des plateformes data, en s'appuyant sur des environnements Cloud (Azure, AWS, GCP), des solutions modernes de datawarehouse (Snowflake, Databricks) et/ou des développements ETL custom. Responsabilités principales Analyse des besoins - Recueillir et formaliser les besoins métiers avec les parties prenantes (Data, IT, Métier). - Identifier les cas d'usage et opportunités de mise en valeur des données (POC, industrialisation). - Définir les KPIs et les objectifs de performance des pipelines. Conception de l'architecture - Concevoir des architectures data robustes et scalables. - Définir les flux de données (batch, streaming) et les règles de gouvernance associées. - Choisir et dimensionner les solutions (Snowflake, Databricks, ETL custom, Fabric). - Mettre en place la sécurité, la qualité et la traçabilité des données (RGPD, lineage). Développement & Intégration - Développer et orchestrer des pipelines de données (ingestion, transformation, exposition). - Implémenter des traitements distribués et optimisés (PySpark, SQL, Python, Scala). - Intégrer les données issues de sources variées (API, ERP, CRM, IoT, fichiers, bases relationnelles). - Automatiser les workflows avec des orchestrateurs (Airflow, Fabric, Databricks Workflows, Talend). Création d'applications & restitution - Développer des applications d'exposition de données (API, microservices, dashboards). - Construire des modèles de restitution et de data visualisation. - Optimiser l'ergonomie et la performance des solutions BI. Tests et validation - Définir et exécuter des plans de tests (unitaires, intégration, performance). - Mettre en place des mécanismes de monitoring et d'alerting sur les pipelines. - Garantir la qualité, la complétude et la fraîcheur des données. Documentation - Rédiger la documentation technique et fonctionnelle. - Maintenir des guides d'utilisation pour les équipes Data & Métier. - Alimenter un référentiel de bonnes pratiques et standards. Formation & support RUN - Former les utilisateurs internes (data teams, métiers) aux solutions déployées. - Assurer le support et la maintenance évolutive (RUN). - Suivre les incidents, proposer des solutions durables et optimiser les performances. Stack technologique Cloud & Data Platform Cloud : Azure, AWS, GCP Datawarehouse / Lakehouse : Snowflake, Databricks (priorité) Orchestration : Microsoft Fabric, Airflow, Databricks Workflows ETL / Ingestion Talend, Informatica, Dataiku Développements custom en Python / Scala / SQL Visualisation & Apps Power BI, Tableau, Looker, Qlik Sense/QlikView, Superset, Grafana, Power Apps Data Quality & Tests Dataiku, Talend, Informatica, Griffin, dbt Profil recherché: Passionné de data, justifiant de minimum 3 ans d'expérience signicative (hors stages et apprentissages) Bonne compréhension des enjeux techniques data (pipeline, qualité, MLOps.), et capacité à communiquer avec des équipes pluridisciplinaires Organisation, leadership, sens du service Anglais professionnel (oral et écrit)