Data engineer Spark Nantes La Squad Socles-Data a pour missions : ? Le MCO de la plateforme Data Hub actuelle (DH V1). ? La co-construction des nouvelles offres Data managées du nouveau Data Hub (DH V2) avec l?IT Groupe : o Prototypes, o Bêta-tests, o Pilotes, o Instanciation, o Homologation?etc. ? La définition des normes, bonnes pratiques, guidelines pour simplifier/accélérer les futurs portages applicatifs sur Data-Hub V2. ? Gouvernance opérationnelle. ? La migration des Uses-Cases existants vers le Data-Hub V2 dans le Cloud privé BNPParibas. ? Facilitage de l?usage des services Data. ? Assurance du support et l?accompagnement des usagers des socles-Data. ? Fournissement de l?expertise. Objectifs et livrables Les tâches sont: Data ingénieur : ? Codage et testage des composants logiciels. ? Formalisation des cas d?usages. ? Conception et mise en ?uvre des flux d?intégration de données. ? Optimisation de la performance et la qualité logicielle. ? Apport du support technique. ? Bonne maitrise de l?écosystème Data / Java / SQL / Cloud. ? Notions dans d?autres langages de programmation (Python, Scala) et connaître le fonctionnement des bases de données (SQL, NoSQL). Technologie Langage Niveau Starburst (Trino) SQL Moyen Astronomer Airflow Python Moyen Spark 3 Java (Scala selon vos applications) Avancé Cloud (Kubernetes, COS(S3), Vault) Bas DevOps (Gitlab, Jenkins, ArgoCD, Ansible) Go, Yaml Bas Log As a Service (elk) Moyen Java Moyen SQL Moyen Python Moyen Scala (selon vos applications) Moyen Compétences demandéesCompétencesNiveau de compétence SCALA Confirmé Apache Airflow Confirmé APACHE Confirmé