Descriptif du poste: Le Data Engineer spécialisé en Spark, Scala et Hadoop sera responsable du développement, de la mise en œuvre et de la gestion de pipelines de données robustes et évolutifs pour le traitement et l'analyse de grands ensembles de données. Il travaillera en étroite collaboration avec les équipes de développement logiciel, les data scientists et les architectes Big Data pour concevoir, développer et déployer des solutions de traitement de données efficaces et hautement performantes. Responsabilités : Développement de Pipelines de Données : Concevoir, développer et mettre en œuvre des pipelines de données scalables et efficaces en utilisant Spark et Scala pour le traitement distribué des données. Traitement de Données Massives : Gérer le traitement de données massives en utilisant des technologies comme Hadoop pour assurer la performance et la fiabilité des solutions. Optimisation des Performances : Optimiser les performances des pipelines de données en identifiant et en résolvant les goulots d'étranglement et en utilisant des techniques d'optimisation avancées. Intégration de Données : Intégrer des données provenant de sources multiples et hétérogènes en utilisant des outils et des technologies appropriés pour assurer la cohérence et l'intégrité des données. Qualité des Données : Assurer la qualité des données en mettant en place des processus de nettoyage, de validation et de normalisation des données. Sécurité et Confidentialité : Mettre en place des mesures de sécurité et de confidentialité des données pour garantir la protection des informations sensibles. Documentation : Documenter les pipelines de données développés, y compris les spécifications techniques, les flux de données, les schémas, etc. Profil recherché: Excellente maîtrise de Spark et Scala pour le développement de pipelines de données distribués. Solides compétences en programmation et en développement logiciel, avec une expérience significative dans la programmation fonctionnelle. Bonne connaissance de Hadoop et de son écosystème (HDFS, MapReduce, Hive, HBase, etc.). Expérience dans le développement de solutions Big Data, de préférence dans un environnement de production. Compétences en gestion de projet et capacité à travailler efficacement dans un environnement Agile. Compétences analytiques et capacité à résoudre des problèmes complexes liés au traitement de données massives. Excellentes compétences en communication et en collaboration. Capacité à travailler de manière autonome et en équipe. Formation et Expérience : Diplôme en informatique, en génie logiciel, en sciences des données ou dans un domaine connexe. Expérience professionnelle de 3 années d'expériences minimum dans le développement de solutions Big Data, avec une expertise particulière dans l'utilisation de Spark, Scala et Hadoop.