Descriptif du poste: Infrastructure de données: - Cartographie et documente les sources de données. - Contribue à assurer la maintenance du produit déployé en production et des infrastructures. - Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité - Structure les bases de données (sémantique, format, etc.). - Contribue à la gestion des référentiels de données Intégration des données: - Capte et stocke, en toute sécurité, les données (structurées ou non) venant de l'extérieur de l'entreprise. - Assure la supervision et l'intégration des données de diverses natures qui proviennent de sources multiples. - Vérifie la qualité des données qui entrent dans le produit et s'assure de leur sécurité. - Nettoie la donnée (élimination des doublons.) et la valide pour une utilisation en aval en coordination avec les Data Analysts et Data Scientists opérant sur le produit. Automatisation des Chaînes de Traitement de données / Déploiement d'Algorithme : - Met en œuvre l'automatisation de chaîne de traitement de données et de déploiement d'Algorithme ML Afin d'assurer la meilleure coordination possible entre le prestataire et le client, une participation active aux rituels du projet sont attendus. Ces rituels permettront : - De garantir la parfaite compréhension du besoin - D'agréer les conditions de réalisation de la prestation (cout, délai) - D'identifier les points de blocage potentiels. Livrables Dans le cadre de la prestation, les livrables attendus sont les suivants : - Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données. - Services de gestion de données (API, algorithmes industrialisés) - Cartographie des données. - Les éléments permettant de garantir la qualité de la donnée (traitement des données). Planning du projet La prestation démarrera courant septembre et prendra fin au 31/12/2025. Pilotage de la Prestation Le pilotage de la Prestation s'effectuera dans le cadre des rituels SCRUM en place : - Lors des réunions de sprint planning et des rétrospectives - Lors d'un point quotidien permettant d'identifier les points durs. Profil recherché: 1. Environnement technique de la Prestation Les produits s'appuient sur les technologies suivantes : - Nifi pour l'ingestion de données ; - Amazon EMR pour les traitements de données ; - Amazon EKS et Mongo dB pour la mise à disposition des données. Les développements seront réalisés sur les environnements de développement, de pré-production et de production mis en place par le client. 2. Expertises techniques attendues Pour réaliser leurs missions dans de bonnes conditions, les intervenants du prestataire devront mettre en œuvre une expertise technique dans les domaines suivants : - Expertise en services Data sur la Plateforme AWS (Certifications AWS : Data Analytics, Big Data.) : S3, HDFS, RDS, Redshift, EMR, Airflow. - Expertise en solutions Big Data/Analytics : Spark, NoSQL. - Expertise en technologies d'intégration de données de type ETL/EAI : Mulesoft.. - Expertise en chaîne d'automatisation MLOps et CI/CD Spark  -> 2.x EMR on EKS  -> 5.32.0  MWAA  -> 2.4.3 (latest)  MongoDB enterprise  -> 6.06 Opensearch  -> 1.2  NIFI  -> 1.16.3  NiFi Registry  -> 0.8.0  Lieu : Magny les Hameaux