- Accueil France Travail
- Emploi
- Val-de-Marne
- Charenton-le-Pont
- Détail de l'offre 5345009
- Accueil France Travail
- Emploi
- Val-de-Marne
- Charenton-le-Pont
- Détail de l'offre 5345009
Data engineer GT Lake (IT) / Freelance (H/F) 94 - CHARENTON LE PONT
Offre n° 5345009
Data engineer GT Lake (IT) / Freelance (H/F)
94 - CHARENTON LE PONT - Localiser avec Mappy
Publié le 05 octobre 2024
Contexte / Objectifs : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Trade et Treasury Solutions qui aujourd'hui développe et gère un datalake (GT Lake) Ce datalake est une brique clé dans la mise en oeuvre des projets de développements autour du plan stratégique et des besoins métiers. Les principales missions consisteront notamment à : - Rédiger des spécifications techniques détaillées - Analyser les impacts des nouveaux projets sur les traitements/processus du système d?information existant - Comprendre et faire évoluer les modélisations - Développer des requêtes - Réaliser des développements (avec une approche industrielle) - Organiser et réaliser des recettes - Planifier et suivre la production - Implémenter et automatiser de bout en bout des programmes et solutions de Data Engineer dans un environnement Big Data - Intégrer, former les collaborateurs data ingénieur de l'équipe, définir les bests practices... - Participer à la communauté BigData de la BGC La mission se fera exclusivement dans un contexte méthodologique Agile. Il impliquera de pouvoir travailler avec des collègues travaillant à distance dans l?entité de Porto. Activités et tâches : ? Acheminement de la donnée ? Mise à disposition de la donnée aux équipes utilisatrices ? Mise en production de modèles statistiques ? Suivi de projet de développement ? Développement job spark ? Traitement et ingestion de plusieurs formats des données ? Développement des scripts ? Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données ? Développement des moyens de restitution via génération de fichier et ou API & Dashboarding ? Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers ? Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) ? Développer des API génériques d?ingestion et de traitement de données dans un environnement HDP ? Participer à la conception, mise en place et administration de solutions Big Data ? Participation à l?installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka ? Normalisation et agrégation des données afin de produire les rapports sous forme de Business View Profil candidat: Expertises spécifiques : Compétences recherchées : Expérience en développement Python, SQL, Apache Spark, shell - Hadoop, BigQuery, Hive, Kubernetes, Jira, Jenkins, ElasticSearch, Logstash. Maitrise des différents composants de l'écosystème Hadoop. Expérience de développement de process Hadoop sur une infra On Premise DevOps: Maitrise des pipelines de CI/CD : Git / Jira / Jenkins (XLDeploy & XLRelease & ControlM seront appréciés) ? Mettre en place la collecte et la mise à disposition des données au sein de l?entreprise ? Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Séniorité : Entre 6 et 9 ans
- Type de contrat
-
Contrat à durée indéterminée
Contrat travail
Profil souhaité
Expérience
- Débutant accepté
Informations complémentaires
- Qualification : Cadre
D'autres offres peuvent vous intéresser :
- (déjà vu)
Data Engineer H/F, Paris (H/F)
SERVICE CONCIERGE - 75 - PARIS 03
LE SERVICE DIGITAL Après avoir pris un virage digital et proposé des plateformes dédiées (web et mobiles) à ses clients, John Paul s'engage résolument dans la création de produits sur étagères et...
CDI - Temps plein
Publié il y a 10 jours
CDI
Temps plein - (déjà vu)
Data Engineer/Ingénieur Data (F/H) (H/F)
INSERM DR PARIS 5 - 75 - PARIS 13
Mission principale Ce projet repose sur une recherche avancée qui développe des stratégies numériques, incluant une vaste collecte de données intraopératoires de haute fidélité et la conception de...
CDD - Temps plein
Publié il y a 19 jours
CDD
Temps plein - (déjà vu)
Ingénieur / Ingénieure data (H/F)
ZAM'INFORMATIQUE - 94 - NOGENT SUR MARNE
Au sein de notre DSI, nous recherchons un Ingénieur Data (H/F) pour prendre en charge les projets DATA/BI Groupe Vos principales missions seront : -Piloter les projets data avec les différents...
CDI - Temps plein
Publié il y a 18 jours
CDI
Temps plein - (déjà vu)
Ingénieur IA (H/F)
RB TECHNOLOGY - 75 - PARIS 08
RB Technology est un leader innovant dans les technologies de l'IA et de la blockchain, dédié à repousser les limites de ce qui est possible sur les marchés des cryptomonnaies et des NFTs. Nous...
CDI - Temps plein
Publié il y a 15 jours
CDI
Temps plein - (déjà vu)
Ingénieur(e) Machine Learning (H/F)
DILITRUST - 92 - PUTEAUX
Etes-vous prêt(e) à participer à la révolution de la Legal Tech ? Notre ambition : Etre la première legal tech française à atteindre le statut de licorne, avec une valorisation dépassant le milliard...
CDI - Temps plein
Publié il y a 10 jours
CDI
Temps plein - (déjà vu)
Data Analyst / Développeur BIG DATA Sénior (H/F)
DIGILINKS - 75 - PARIS 15
Vous êtes passionné(e) par le Décisionnel, le Big Data et souhaitez diversifier vos compétences BI DATA afin d'être toujours à la pointe des nouvelles technologies ? Vous avez déjà une très solide...
CDI - Temps plein
Publié il y a 9 jours
CDI
Temps plein - (déjà vu)
Big Data Engineer (H/F)
COLLABORATION BETTERS THE WORLD - 75 - PARIS 09
CBTW recherche pour un de ses clients grand compte un(e) Big Data Engineer Vos principales missions seront : Conception et développement de solutions de stockage de données, telles que des data...
CDI - Temps plein
Publié il y a 5 jours
CDI
Temps plein - (déjà vu)
Ingénieur Implementation - Big Data & Analytics (H/F)
OPENSEE - 75 - PARIS 17
Opensee fournit des solutions d'analyse de Big Data instantanées aux institutions financières. Notre mission est de permettre aux utilisateurs professionnels d'exploiter de manière autonome les...
CDI - Temps plein
Publié hier
CDI
Temps plein - (déjà vu)
Data engineer
E-KENT - 75 - Paris 14e Arrondissement
KENT, marque de GroupAgora dédiée aux recrutements de profils IT, recherche 1 DATA ANALYSTE F/H. Rôles & Missions Vous avez soif de nouvelles aventures et souhaitez réaliser de nouveaux challenges...
CDI - Temps plein
Publié il y a 8 jours
CDI
Temps plein - (déjà vu)
Analyste de données confirmé (H/F)
75 - PARIS 01
Au sein du département CRM et Client Omnicanal, vous jouerez un rôle crucial dans la création et l'évolution de la Stratégie Client data-driven dans le monde entier et sur tous les canaux de...
CDI - Temps plein
Publié il y a 16 jours
CDI
Temps plein
Découvrez d'autres services web
Réussir son CV et sa lettre de motivation
Suscitez l’intérêt du recruteur et donnez-lui envie de vous rencontrer.
B.A.BA Entretien
Apprenez à préparer votre prochain entretien.
Informations sur le marché du travail
Accédez aux informations et statistiques sur ce métier.
Simulateurs d'aides et allocations en cas de reprise d'emploi
Estimez vos futures ressources financières sur les 6 prochains mois.
- Voir plus de services (Emploi store)