Dans le cadre de ses projets Big Data internes, notre client recherche un Consultant DataOps & Administrateur Hadoop confirmé, intégré à l?équipe BDP (Big Data Platform). Le consultant interviendra sur le déploiement, l?industrialisation, l?exploitation et le maintien en condition opérationnelle de clusters Big Data personnalisés, basés sur la TOSIT Data Platform (TDP), au service des projets data et métiers. ? Rôle et responsabilités1. Déploiement & industrialisation des clusters Big DataDéploiement automatisé de clusters via pipelines Jenkins Installation et configuration des composants Hadoop via Ansible Adaptation des architectures selon les besoins projets (sécurité, performance, capacité) Contribution aux pratiques CI/CD et Infrastructure as Code Déploiement et administration du TDP Manager Mise en place de Hue pour les environnements Datalab 2. Administration avancée de la stack Hadoop / TDPLe consultant est responsable de l?installation, la configuration et l?exploitation de : Sécurité & identités : OpenLDAP Kerberos Ranger (politiques de sécurité) Stockage & calcul distribué : HDFS (baie Huawei) Hadoop (YARN, services core) Traitement & accès aux données : Spark Hive Services transverses : ZooKeeper PostgreSQL Responsabilités associées : Gestion des dépendances inter-services Cohérence des versions Optimisation des performances et de la stabilité Résolution des incidents complexes 3. Provisionnement & automatisation des environnementsProvisionnement de VM sous VMware Préparation des prérequis systèmes (OS, réseau, stockage) Automatisation via Ansible et scripts Bash Gestion des environnements DEV / RECETTE / PROD 4. Observabilité, supervision & anticipationMise en ?uvre et maintien de la stack d?observabilité : Prometheus Alertmanager Loki / Promtail Grafana Définition des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d?incidents 5. Maintien en Condition Opérationnelle (MCO)Administration quotidienne des clusters Hadoop Support aux équipes projets et utilisateurs Datalab Gestion des incidents, demandes d?évolution et correctifs Montées de version Suivi de capacité (CPU, RAM, stockage) Rédaction et mise à jour de la documentation technique ? Interaction & posture attendueParticipation active aux rituels d?équipe Coordination avec : Équipes infrastructure Équipes projets data / métiers Référents sécurité Capacité à accompagner et conseiller les équipes dans l?usage de la plateforme Forte capacité de communication transverse ? Compétences clés attenduesTechniquesExpertise Hadoop / Big Data on-prem Solide expérience DataOps / DevOps Maîtrise de : Jenkins, GitLab CI/CD, SonarQube Ansible, Bash VMware, Docker Stack d?observabilité (Prometheus, Grafana, Loki) Méthodologiques & soft skills :Rigueur et sens de la qualité Forte sensibilité aux enjeux de sécurité Capacité d?anticipation (supervision, performance, capacité) Autonomie et esprit d?équipe Aisance dans des environnements complexes et critiques ?? Points de vigilanceForte interdépendance des composants Hadoop Exigences élevées en matière de sécurité (Kerberos, Ranger) Enjeux de performance et de disponibilité Nécessité d?une coordination transverse permanente