Nous recherchons un Data Engineer | DevOps AWS (H/F) pour contribuer à la construction, à l?évolution et à la fiabilité d?un Data Lake stratégique, au c?ur des projets liés à l?analyse de l?expérience utilisateur.<br/> <br/> Vous interviendrez sur l?ensemble de la chaîne de traitement des données (ingestion, transformation, restitution) au sein d?un environnement AWS moderne, dans une logique d?industrialisation, de performance et de qualité de service.<br/> <br/> <br/> <br/> Vos principales missions :<br/> <br/> ? Maintenir et faire évoluer une architecture data scalable sur AWS, adaptée à des volumes importants de données hétérogènes (logs, fichiers, API?).<br/> <br/> ? Concevoir et structurer les différentes couches du Data Lake (Landing, Bronze, Silver) en lien avec les besoins métiers et les bonnes pratiques data.<br/> <br/> ? Développer des pipelines de traitement de données robustes et automatisés (ETL/ELT), en batch ou quasi temps réel, via des services AWS : Glue, Lambda, EMR, Redshift, S3?<br/> <br/> ? Orchestrer les flux de données et automatiser les traitements entre les différentes couches du Data Lake.<br/> <br/> ? Assurer le MCO : surveillance, détection et résolution des incidents, fiabilisation des flux, documentation technique.<br/> <br/> ? Intégrer de nouvelles sources de données aux formats variés (API REST, fichiers plats, logs applicatifs?) tout en assurant sécurité et performance.<br/> <br/> ? Mettre en place des mécanismes de gestion des rejets et de réconciliation pour garantir la qualité et la cohérence des données.<br/> <br/> ? Participer à l?amélioration continue de la plateforme (veille, refonte, optimisation), dans une logique DataOps (CI/CD, qualité, tests, versioning).<br/> <br/> ? Collaborer avec les équipes projet, data analysts, data scientists et métiers pour aligner les solutions techniques avec les usages attendus.<br/> <br/> ? Documenter l?architecture, les traitements et les processus pour assurer la traçabilité, la maintenabilité et la capitalisation.<br/> <br/> Compétences techniques :<br/> <br/> ? Solide expertise sur les services data AWS : Glue, S3, Lambda, Redshift, EMR, etc.<br/> <br/> ? Maîtrise des concepts ETL/ELT, modélisation de données, traitement batch et temps réel.<br/> <br/> ? Bonnes connaissances en architecture data (Data Lake, Data Mart, zones Bronze/Silver/Gold).<br/> <br/> ? Expérience en gestion d?infrastructures data dans une approche DevOps (CI/CD, monitoring, automatisation).<br/> <br/> ? Compétences en scripting (Python, SQL) et gestion des accès/sécurité sur AWS.<br/> <br/> ? Connaissance d?outils de supervision (CloudWatch, Datadog) et d?orchestration (Glue Workflow, Step Functions).<br/> <br/> Qualités personnelles :<br/> <br/> ? Autonomie, rigueur et capacité à gérer des environnements complexes.<br/> <br/> ? Bon relationnel pour travailler en équipe pluridisciplinaire.<br/> <br/> ? Esprit analytique, sens de l?initiative, capacité à documenter et à transmettre.<br/> <br/> ? Forte orientation qualité et amélioration continue.<br/> <br/>