Description du poste : OFFRE OUVERTE AUX CONSULTANT.ES AYANT AU MINIMUM 6 ANS D'EXPERIENCE HORS ALTERNANCES (Notre client est intransigeant sur ce point) Notre client est une grande banque française***Contexte / Objectifs : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad Global Trade qui aujourd'hui développe et gère un datalake (GTLake). Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Développeur/Data Engineer du GTLake : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets***A noter que nous avons démarré une phase de mutation du GTLake vers du code python/spark. La prestation demande donc faire preuve d'autonomie pour traiter en toute sécurité : - de la modernisation nos solutions de transformation legacy - ou de la migration de workflows informatica vers des solutions plus modernes et industrielles.***Description : - Mettre en place la collecte et la mise à disposition des données au sein de l'entreprise - Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent***Activités et tâches : - Acheminement de la donnée - Mise à disposition de la donnée aux équipes utilisatrices - Mise en production de modèles statistiques - Suivi de projet de développement - Développement job spark - Traitement et ingestion de plusieurs formats des données - Développement des scripts - Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données - Développement des moyens de restitution via génération de fichier et ou API & Dashboarding - Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers - Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) - Développer des API génériques d'ingestion et de traitement de données dans un environnement HDP - Participer à la conception, mise en place et administration de solutions Big Data - Participation à l'installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka - Normalisation et agrégation des données afin de produire les rapports sous forme de Business View Description du profil : OFFRE OUVERTE AUX CONSULTANT.ES AYANT AU MINIMUM 6 ANS D'EXPERIENCE HORS ALTERNANCES (Notre client est intransigeant sur ce point) Expertises spécifiques : - Spark - PySpark - Hadoop sur infra on premise - Informatica DEI - Hive - SQL/HQL - Starburst - Indexima - Jenkins - Unix/Bash - Jira - Pipeline CI/CD - GIT - Control-M - XLDeploy/XLRelease