Descriptif du poste: Dans le cadre de projets Big Data menés par Davidson pour ses clients dans des secteurs variés (Gaming, Luxe, Télécoms, Finance, etc.), tu interviendras en tant qu'Ingénieur Data pour travailler sur des plateformes existantes ou en cours de construction. Tes activités porteront sur des sujets variés tels que : - Conception et mise en œuvre de pipelines d'ingestion de données, en utilisant des jobs Spark pour les traitements batch et streaming, ainsi que l'intégration de Kafka pour la gestion des flux en temps réel - Déploiement de consommateurs Kafka via Docker et Kubernetes pour une scalabilité et une gestion optimisée - Modélisation des données dans des tables Hive en assurant leur structuration - Identification, classification et résolution des anomalies fonctionnelles et techniques dans les processus d'ingestion de données - Maintenance de flux de données avec une surveillance continue. - Réalisation des recettes internes et coordination des tests partenaires pour valider les développements. - Documentation des pipelines de données et mise à jour des guides d'utilisation pour faciliter leur adoption. - Participation à un environnement agile utilisant le framework SaFe. Profil recherché: Compétences requises ou à acquérir - Hadoop, Cloudera, HDFS, Pig, Hive, Flume, Spark, Elasticsearch, bases de données SQL et NoSQL (Cassandra .) - Un ou plusieurs langages parmi : Scala, Python, Java, etc - Docker et Kubernetes Il te manque quelques-unes de ces compétences ? Pas grave : tu pourras apprendre aux côtés de nos Tech Leaders.