Descriptif du poste:\n\nKaizen Solutions intervient pour le compte d'un acteur majeur du secteur de l'énergie afin de renforcer une équipe Data en pleine montée en charge. Le projet porte sur la convergence et l'évolution de pipelines de données critiques, dans une architecture Data Lakehouse moderne.\nL'enjeu : fiabiliser, optimiser et faire évoluer une plateforme de traitement de données distribuée, au service de plusieurs équipes métier et applicatives.\n \nMISSIONS\n \n Développement des pipelines de données Conception et développement d'applications distribuées (Scala/Spark et PySpark) pour l'alimentation et la transformation des données. Respect des principes de l'architecture Data Lakehouse.\n \n Évolution de la plateforme Participation active au développement applicatif et à la convergence des flux de données existants. Contribution à l'amélioration continue des pipelines en place.\n \n Opérabilité & support Mise en place des outils de monitoring et de supervision. Garantie de la disponibilité et de la performance de la plateforme. Support technique des équipes utilisatrices pour un usage optimal.\n \n Collaboration transverse Travail en interaction avec plusieurs équipes techniques et métier. Capacité à formuler des recommandations et à faire des propositions d'amélioration.\n\nProfil recherché:\n\nCompétences techniques\n* Solide expérience en intégration et traitement de données (structurées et non structurées)\n* Maîtrise de Scala et/ou PySpark — Scala fortement privilégié\n* Bonne maîtrise de SQL\n* Expérience sur Spark, Delta Lake, Databricks\n* Pratique d'un environnement cloud : Microsoft Azure ou AWS\n* Culture des bonnes pratiques de l'ingénierie logicielle et du cycle de vie data (versioning, tests, documentation)\n* Familiarité avec les contraintes du développement distribué : scalabilité, optimisation, gestion des volumes\nExpérience & savoir-être\n* Autonomie et capacité à prendre des initiatives\n* Bon esprit d'analyse et de synthèse\n* Force de proposition, à l'aise pour challenger les solutions en place\n* Bonne communication et sens du service, travail en mode équipe\n* À l'aise dans un environnement multi-équipes et multi-interlocuteurs