POSTE : Data Engineer - Développeur Big Data - Spark Java & Databricks H/F DESCRIPTION : A LIRE ATTENTIVEMENT AVANT DE POSTULER 2 jours de télétravail / semaine - Lyon (07) - Expérience de 3 ans minimum Vous aimez autant comprendre ce que fait un pipeline que travailler sur la techno qui le fait tourner ? Nous recherchons un-e Data Engineer / Développeur Big Data Spark pour rejoindre un projet qui offre une trajectoire technique intéressante : moderniser progressivement un SI Data existant, puis participer à sa migration vers Databricks dans le cloud. L'enjeu n'est donc pas de repartir d'une feuille blanche. Vous travaillerez d'abord sur l'existant, comprendrez les flux et leurs enjeux métier, puis contribuerez à construire leur cible Big Data et Cloud. Votre terrain de jeu : moderniser l'existant avant de construire la cible Cloud Votre mission s'articulera autour de deux grandes étapes. 1/ Migrer progressivement les traitements vers Spark Vous commencerez par vous approprier les flux de données existants et les processus métier associés. Concrètement, vous allez : - migrer des traitements Informatica et PL/SQL vers Spark en Java - concevoir, développer et maintenir des pipelines de données - optimiser les traitements existants en travaillant notamment sur leur performance et leur robustesse - assurer la maintenance corrective et évolutive des traitements SQL / PL-SQL - intervenir sur le BUILD comme sur le RUN, afin de comprendre le fonctionnement des traitements de bout en bout - veiller à la qualité et à la fiabilité des données produites. L'objectif : faire évoluer progressivement le patrimoine existant vers une architecture Big Data plus moderne, sans perdre la connaissance métier portée par les traitements historiques. 2/ Participer à la migration vers Databricks Une fois cette première étape engagée, vous participerez à un projet stratégique de migration vers le Cloud avec Databricks. Vous contribuerez notamment à : - concevoir les futurs pipelines de données sous Databricks - participer aux choix de conception et d'architecture - industrialiser les nouveaux traitements - faire évoluer les pratiques de développement et d'exploitation autour de cette nouvelle plateforme. Vous aurez donc l'occasion de travailler sur l'existant et sa transformation, plutôt que d'intervenir uniquement sur la maintenance ou uniquement sur la cible. PROFIL : Vous ne travaillerez pas uniquement dans votre coin sur vos pipelines : Le poste comprend une vraie dimension collective. Vous participerez à la guilde Spark de l'équipe pour échanger sur les choix de conception, l'optimisation des traitements et la roadmap technique. Vous contribuerez également : - aux bonnes pratiques de développement et d'exploitation - au partage de connaissances au sein de l'équipe - à l'amélioration continue des traitements - à la mise à jour de la documentation technique. L'idée est aussi que vous puissiez challenger les solutions techniques, notamment lorsqu'il faut traiter des volumes importants tout en conservant des pipelines performants, sécurisés et exploitables par les Data Analysts et Data Scientists. L'environnement technique : Vous évoluerez principalement avec : Spark - Java - Databricks - Oracle - PL/SQL - Informatica - Ceph - Maven - Control-M - Git - Jenkins - Terraform - Tableau Server L'environnement est en transformation : certaines technologies correspondent au patrimoine actuel, tandis que Spark et Databricks prennent une place centrale dans la trajectoire cible. Ce qui sera important pour réussir sur ce poste Nous recherchons avant tout une personne à l'aise avec les problématiques de Data Engineering et de traitement de volumes importants. Vous devrez notamment pouvoir vous appuyer sur : - une bonne maîtrise de Spark, utilisée pour concevoir, développer et optimiser les pipelines de données - de solides compétences en Java, puisque les développements Spark sont réalisés dans ce langage - une bonne maîtrise de SQL et PL/SQL, nécessaire pour comprendre, maintenir et progressivement migrer les traitements existants - une bonne compréhension des problématiques de stockage et de traitement de données à grande échelle - une expérience des outils de gestion de code, CI/CD et déploiement - une capacité à comprendre les enjeux métier derrière les flux de données, et pas uniquement leur implémentation technique. Une expérience de Databricks constituera naturellement un vrai atout pour accompagner la deuxième phase du projet. Au-delà de la stack, nous cherchons quelqu'un qui aime comprendre l'existant avant de le transformer, proposer des améliorations et participer aux décisions techniques plutôt que simplement exécuter des développements. Si vous êtes prêt.e à relever ce défi et à contribuer à des projets stimulants, n'hésitez pas à postuler dès maintenant !