Descriptif du poste: Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters. Les consultants retenus auront pour mission : * Administration et optimisation de clusters HDP/CDP * Installation, configuration et maintenance des clusters * Gestion des mises à jour et des patchs de sécurité * Surveillance des performances et optimisation des ressources * Gestion/administration de clusters Kubernetes * Automatisation des déploiements avec Operators * Sécurisation et monitoring des environnements conteneurisés * Orchestration des workflows avec Apache Airflow * Développement et optimisation des DAGs pour la gestion des pipelines de données * Gestion des dépendances et optimisation des temps d'exécution * Intégration avec les autres outils de l'écosystème * Traitement et analyse des données avec Apache Spark * Développement et optimisation des jobs Spark (batch et streaming) * Gestion des performances et tuning des jobs * Intégration avec les systèmes de stockage distribués * Optimisation des requêtes et accès aux données avec Starburst * Configuration et administration de Starburst * Optimisation des requêtes SQL distribuées * Sécurisation et gestion des accès aux différentes sources de données Profil recherché: Les consultants retenus auront pour mission : * Administration et optimisation de clusters HDP/CDP * Installation, configuration et maintenance des clusters * Gestion des mises à jour et des patchs de sécurité * Surveillance des performances et optimisation des ressources * Gestion/administration de clusters Kubernetes * Automatisation des déploiements avec Operators * Sécurisation et monitoring des environnements conteneurisés * Orchestration des workflows avec Apache Airflow * Développement et optimisation des DAGs pour la gestion des pipelines de données * Gestion des dépendances et optimisation des temps d'exécution * Intégration avec les autres outils de l'écosystème * Traitement et analyse des données avec Apache Spark * Développement et optimisation des jobs Spark (batch et streaming) * Gestion des performances et tuning des jobs * Intégration avec les systèmes de stockage distribués * Optimisation des requêtes et accès aux données avec Starburst * Configuration et administration de Starburst * Optimisation des requêtes SQL distribuées * Sécurisation et gestion des accès aux différentes sources de données Langues requises Français/Anglais