Nous recherchons pour l'un de nos clients, un(e) Data Engineer afin de concevoir, construire, tester et maintenir les chaines de traitement de données. A ce titre, vos principales missions seront les suivantes : - Participer à la définition des solutions. - Déployer, intégrer et administrer les chaines de traitement de données sous Linux. - Automatiser la livraison, la supervision et l'accès aux datasets sur notre infrastructure privée. - Réaliser la Documentation et contribuer à la rédaction du modèle de responsabilité partagée pour chaque technologie (« shared responsibility model »). - Apporter son expertise technique pour la résolution des incidents N2 et N3.  - Automatiser et documenter l'exploitation des chaines de traitement de données. - Proposer les évolutions techniques des pipelines. - Garantir au quotidien la livraison, la disponibilité et l'intégrité des données. - Réaliser la planification  - Faire des Astreintes sur le périmètre de l'équipe (Big data, Kubernetes et bases de données) - Diplôme Bac+4 ou Bac+5 minimum en science des données, intelligence artificielle, mathématiques appliquées ou discipline équivalente. - Expériences et expertises opérationnelles recherchées :Run et build de pipelines de données de production - Gestion des incidents de production (plateforme, sécurité, retard de livraison de données, corruption de données, etc.) Qualités essentielles : - Capacité à apprendre - Appétence pour les aspects fonctionnels et métiers  - Capacité d'écoute et d'analyse du besoin des clients et des utilisateurs - Sens de la priorité clients et des utilisateurs - Autonomie - Esprit d'analyse et sens de l'initiative - Force de proposition  - Esprit d'équipe - Niveau d'anglais technique - Savoir prioriser son travail dans un environnement sous pression - Toute expérience sur un poste similaire est un gros plus Maitrise de : - CI/CD/CD (Gitlab) - Pyspark / spark - SQL - Linux - Bases de données (RDBMS & NoSQL) - Kafka - Hive/Impala/PrestoDB/Trino/Nessie(gestion des données) - Spark (développement, optimisation et opérations) - Principes architecture big data & Hadoop - Réseaux (savoir débugger des flux) Connaissances qui sont un gros plus : - Kubernetes, pour le déploiement d'application Spark sur K8S - Trino - Infrastructure as code (Ansible, Terraform est un plus) - Apache Icerberg ou autre framework de delta tables - Hive Metastore - S3 - MariaDB (Galera cluster) et PostGreSQL - MongoDB - OLLAMA - MIG K0S