Le bénéficiaire souhaite une prestation d?accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters, dans le cadre du projet de migration de HDP/CDP vers des services Data sur notre Cloud, des connaissances Kubernetes (IKS, Openshift...), Apache Spark, Apache Airflow et Starburst (Trino) sont souhaitées. Les consultants retenus auront pour mission : ? Administration et optimisation de clusters HDP/CDP ? Installation, configuration et maintenance des clusters. ? Gestion des mises à jour et des patchs de sécurité. ? Surveillance des performances et optimisation des ressources. ? gestion/administration de clusters Kubernetes ? Automatisation des déploiements avec Operators?, etc. ? Sécurisation et monitoring des environnements conteneurisés. ? Orchestration des workflows avec Apache Airflow : ? Développement et optimisation des DAGs pour la gestion des pipelines de données. ? Gestion des dépendances et optimisation des temps d?exécution. ? Intégration avec les autres outils de l?écosystème. ? Traitement et analyse des données avec Apache Spark : ? Développement et optimisation des jobs Spark (batch et streaming). ? Gestion des performances et tuning des jobs. ? Intégration avec les systèmes de stockage distribués. ? Optimisation des requêtes et accès aux données avec Starburst : ? Configuration et administration de Starburst. ? Optimisation des requêtes SQL distribuées. ? Sécurisation et gestion des accès aux différentes sources de données.