POSTE : Technical Lead - Data Engineering H/F DESCRIPTION : Au sein de votre équipe #OneTeam - Vous rejoindrez notre équipe de Data Engineering qui a pour mission de fournir des données fiables et accessibles à l'ensemble des métiers. - Nous recherchons un(e) Tech Lead Data Engineering pour guider l'équipe, définir notre vision technique et construire les fondations d'une plateforme data robuste, scalable et conforme aux meilleurs standards de l'industrie. Vos principales responsabilités - Définir une architecture de donnée avec des systèmes de traitement de données en temps réel et en batch, en utilisant Kafka, Spark, Hudi et Postgres. - Gérer les flux de données entre les différents systèmes, en utilisant Kafka et Spark pour le traitement des données en temps réel et en batch. - Développer des pipelines de données pour traiter les données en utilisant Spark, Hudi et Airflow pour orchestrer les taches dans un cluster kubernetes. - Assurer la qualité des données en créant des traitements de validation et de nettoyage des données avec Spark et Hudi. - Développer des applications de données en utilisant Spark, Hudi et Postges. - Gérer les performances des systèmes de traitement de données en utilisant des outils de monitoring SparkUI. Votre futur impact Dans 6 mois vous : - Aurez une bonne compréhension de l'architecture technique des systèmes de données d'OVHcloud, notamment en ce qui concerne les outils de gestion de données tels qu'Airflow, Spark et S3. - Comprendrez les besoins et les défis des clients internes de finance, d'industrie, etc. et comment les systèmes de données peuvent répondre à ces besoins. - Développerez des solutions de données pour répondre aux besoins des clients internes et améliorer les processus de données existants. - Connaitrez les principales équipes en interaction avec la vôtre, notamment les équipes de finance, d'industrie, etc. - Aurez noué une bonne relation avec les membres des équipes de données et des clients internes. - Prendrez de l'autonomie sur les sujets de développement de données et proposerez des solutions innovantes pour améliorer les processus de données. Et dans 1 an vous : - Aurez participé à des choix de conception liés aux projets de données de l'équipe, notamment en ce qui concerne l'utilisation d'Airflow, Spark et S3. - Aurez réalisé un ou plusieurs Proof of Concepts ou contribué significativement aux livrables de projets de données, tels que la mise en place d'un système de gestion de données pour un client interne. - Serez en capacité de proposer des pistes de réflexion à l'équipe pour améliorer les processus de données et répondre aux besoins des clients internes. - Aurez une bonne compréhension du périmètre et des enjeux de la gestion des données à OVHcloud, notamment en ce qui concerne la sécurité, la qualité et la gouvernance des données. PROFIL : Compétences requises: - Vous avez une expérience solide en développement de données et en architecture de données (Python, Scala). - Vous avez des connaissances approfondies en Spark, Hudi, Kafka, Postgres et Airflow. - Vous êtes capable de communiquer efficacement avec les membres de l'équipe et les parties prenantes. - Vous êtes capable de collaborer avec les autres équipes et les parties prenantes pour atteindre les objectifs. - Vous avez une expérience en gestion de projets et en leadership d'équipe. C'est un + - Vous avez déjà une expérience avec Kafka et Kubernetes. Technical Lead - Data Engineering H/F/N