En tant que Data Engineer, vos principales responsabilités incluront : Optimisation et migration des jobs existants : Optimiser des jobs déjà en place et migrer ceux écrits en Hive vers Spark pour améliorer leurs performances. Modification et ajustement des workflows : Adapter les workflows actuels pour répondre aux nouvelles exigences des partenaires. Tuning des applications Spark : Effectuer des ajustements techniques pour améliorer les performances des applications Spark. Création et développement de nouveaux jobs : Concevoir et développer de nouveaux jobs de bout en bout en réponse aux besoins clients. Développement de backend : Développer de nouveaux backends afin de faire évoluer la stack technique du train SAFe PNS. Résultats attendus : Amélioration significative des performances grâce à la migration vers Spark. Refonte de l'architecture de certains jobs permettant de détecter et corriger des problèmes des anciennes versions. Création de jobs répondant aux nouvelles attentes des clients dans les délais impartis.