Descriptif du poste: En tant que Data Engineer, vous serez chargé de concevoir, développer et maintenir des solutions d'ingénierie de données basées sur les technologies Spark, Scala et Hadoop. Vous jouerez un rôle essentiel dans la collecte, le traitement et l'analyse de données à grande échelle, en travaillant en étroite collaboration avec les équipes d'ingénierie logicielle et les analystes de données. Responsabilités : * Concevoir, développer et optimiser des pipelines de données à l'aide de Spark et Scala pour collecter, transformer et charger des données à grande échelle. * Implémenter des solutions de stockage et de traitement distribuées avec Hadoop et d'autres technologies connexes. * Collaborer avec les équipes fonctionnelles pour comprendre les exigences en matière de données et proposer des solutions adaptées. * Assurer la qualité des données en mettant en œuvre des processus de nettoyage, de transformation et de validation. * Surveiller les performances des systèmes de données et résoudre les problèmes de performance ou de fiabilité. * Travailler sur des projets d'analyse de données avancés en utilisant des techniques telles que le machine learning et le traitement du langage naturel. Profil recherché: Expérience pratique de min 3 ans dans le développement de pipelines de données avec Spark et Scala. Solide compréhension des concepts et des composants de l'écosystème Hadoop. Maîtrise des langages de programmation comme Python, Java et SQL. Connaissance des bases de données NoSQL telles que HBase, Cassandra, etc. Capacité à travailler dans un environnement distribué et à grande échelle. Excellentes compétences en résolution de problèmes et en débogage. Bon niveau d'anglais écrit et oral