Descriptif du poste: Résumé du poste Nous recrutons un Data Engineer H/F pour intégrer une entreprise du secteur de l'ingénierie située à Lyon. Ce poste en contrat à durée indéterminée implique la conception, le développement et l'optimisation des pipelines de données dans un environnement technique avancé. Responsabilités * Concevoir et développer des pipelines de données robustes et évolutifs en utilisant des langages comme Python, SQL et Scala. * Assurer l'intégration et la transformation des données issues de sources variées, en exploitant des outils ETL et des technologies Big Data telles que Hadoop, Spark et Kafka. * Collaborer étroitement avec les équipes produit et data science afin de comprendre et répondre aux besoins en données. * Garantir la qualité, la sécurité et la confidentialité des données manipulées conformément aux normes en vigueur. * Optimiser les performances des systèmes de gestion et de traitement des données pour assurer la fiabilité et la scalabilité. * Maintenir et améliorer les infrastructures de données existantes, en participant à la définition des architectures techniques adaptées. * Documenter rigoureusement les processus et les flux de données pour faciliter la maintenance et l'évolution des solutions. Compétences requises * Maîtrise des langages de programmation Python, SQL et Scala. * Expérience confirmée avec les technologies Big Data, notamment Hadoop, Spark (PySpark) et Kafka. * Solide connaissance des bases de données relationnelles et NoSQL. * Compétences en modélisation et architecture des données, ainsi qu'en conception de pipelines ETL. * Connaissance approfondie des principes de sécurité et de conformité des données. * Aptitude à diagnostiquer et résoudre des problématiques techniques complexes. * Bonnes capacités de communication pour travailler efficacement avec des équipes transverses. * Maîtrise des outils Power BI, Databricks, Azure DevOps, Docker et Terraform. Compétences souhaitées * Expérience avec les plateformes cloud telles qu'AWS, Azure ou Google Cloud Platform. * Connaissance des technologies de conteneurisation et d'orchestration, notamment Docker et Kubernetes. * Sens de l'organisation et gestion des priorités dans un cadre agile. * Esprit d'analyse et capacité à proposer des solutions innovantes. * Maîtrise de l'anglais technique pour la documentation et les échanges internationaux. Profil recherché: Nous accueillons les candidatures de tous niveaux d'expérience, de débutant à confirmé, dans le domaine de l'ingénierie des données. Le candidat devra démontrer une forte capacité d'adaptation et une volonté d'évoluer dans un environnement technique exigeant. La maîtrise des compétences techniques mentionnées est indispensable pour réussir dans ce poste.