Descriptif du poste:\n\nVos missions :\nEn tant que Data Engineer, vous serez responsable de la conception, du développement et de l'optimisation des infrastructures data pour répondre aux besoins métiers. Vos missions principales incluront :\n* \nConception et développement de pipelines data :\n* \nCréer, optimiser et maintenir des pipelines ETL/ELT pour extraire, transformer et charger des données massives.\n* \nAutomatiser les flux de données pour garantir une disponibilité et une qualité optimales.\n* \nGestion des infrastructures data :\n* \nTravailler avec des environnements distribués (Hadoop, Spark) pour traiter des volumes importants de données.\n* \nConfigurer et optimiser des solutions cloud (GCP) pour le stockage et le traitement des données.\n* \nCollaboration avec les équipes métiers et data :\n* \nTravailler en étroite collaboration avec les Data Scientists, Data Analysts et équipes métiers pour comprendre leurs besoins et fournir des solutions data adaptées.\n* \nParticiper à la modélisation des données et à la création de schémas optimisés (Data Warehouse, Data Lake).\n* \nOptimisation des performances :\n* \nAméliorer les requêtes SQL et les traitements Spark pour garantir des performances optimales.\n* \nSurveiller et résoudre les problèmes de latence ou de scalabilité dans les pipelines.\n* \nVeille technologique :\n* \nRester à jour sur les nouvelles technologies et bonnes pratiques en ingénierie data (ex : évolutions de GCP, Spark, Hadoop).\n* \nProposer des améliorations continues pour moderniser les infrastructures data.\n* \nDocumentation et formation :\n* \nRédiger une documentation technique claire pour les pipelines et infrastructures.\n* \nFormer les équipes métiers à l'utilisation des outils et processus data.\n\nProfil recherché:\n\nExpérience et formation\n* \nExpérience : minimum 4 ans en tant que Data Engineer, avec une expérience avérée sur des projets data complexes.\n* \nFormation : Bac+5 en informatique, data science, ingénierie ou équivalent.\nCompétences techniques obligatoires\n* \nMaîtrise des outils Big Data :\n* \nSpark : Expérience en développement de jobs Spark (PySpark, Scala).\n* \nHadoop : Connaissance des écosystèmes Hadoop (HDFS, YARN, Hive).\n* \nCloud (GCP) :\n* \nExpérience avec Google Cloud Platform (GCP), notamment :\n* \nBigQuery (requêtes, optimisation).\n* \nDataflow (pipelines de traitement).\n* \nLangages et outils :\n* \nSQL avancé (requêtes complexes, optimisation).\n* \nPython (librairies : Pandas, PySpark).\n* \nOutils de versioning : Git.\n* \nMaîtrise de l'anglais : un atout majeur.\n* \nConnaissance des architectures data :\n* \nData Warehouse (ex : Snowflake, BigQuery).\n* \nData Lake (stockage et traitement de données non structurées).\n* \nModélisation de données (schémas en étoile, flocon).\nCompétences transverses\n* \nAutonomie et rigueur : Capacité à travailler sur des projets complexes avec peu de supervision.\n* \nEsprit d'équipe : Collaboration avec les Data Scientists, Analysts et équipes métiers.\n* \nRésolution de problèmes : Capacité à diagnostiquer et résoudre les problèmes techniques rapidement.\n* \nCommunication : Aisance pour expliquer des concepts techniques à des non-experts.\nAtouts supplémentaires\n* \nExpérience avec d'autres outils cloud (AWS, Azure).\n* \nConnaissance des outils de monitoring (ex : Prometheus, Grafana).\n* \nExpérience en machine learning ou IA (un plus).\n* \nCertification GCP (Google Cloud Professional Data Engineer).