POSTE : Architect Expert Hadoop H/F DESCRIPTION : Description de la mission L'équipe DBA & socles souhaite se renforcer et recherche une prestation d'expertise sur l'environnement Hadoop / Big data de technologie Cloudera avec des compétences en scripting autour des langages propres au domaine BigData, tels que Python, Spark, Hive, impala. Des besoins nouveaux et des usages différents du système décisionnel à travers le « Big Data » sont en train de s'amplifier en termes d'exigences. De ce fait plusieurs évolutions techniques et fonctionnelles sont envisagées ce qui nécessite le renforcement de l'équipe technique « Big Data. Objectifs de la prestation Description du besoin : - Pilotage et mise en oeuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performance attendues par les cas d'usages fonctionnels. - Evolution des architectures techniques : - Mise en place des principes directeurs sur l'utilisation du cluster Cloudera - Vérification de la bonne application des normes et des standards - Force de proposition, étude, analyse et mise en oeuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster - Etude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop - Prise en compte de l'écosysteme DSI : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana - Expertise Hadoop de niveau 3 : - Configuration du cluster Cloudera en fonction des besoins identifiés - Optimisation des traitements - Support : - Accompagnement des équipes de développement - Assistance auprès des équipes : Optimisation des traitements, Prise en main de l'outillage mis à disposition, Chargement des données - Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances Environnement technique Nécessaire - Distribution Hadoop Cloudera CDP (version 7.1.*,) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper (Cloudera CDP privilégié) - Langages/scripting : Shell, Python, Spark - Moteurs de requêtage : SQL, Hive, Impala - OS : Linux Complémentaire - Outils décisionnels : ETL Datastage, PowerBI, SAS, - Base de données : Teradata, PostgreS PROFIL : Profil technique Big data avec une forte expérience sur les environnements Cloudera et Hadoop. Le profil recherché sera la personne référente sur les sujets Hadoop, Cloudera sur - Le socle Hadoop - Les évolutions d'architectures techniques - L'utilisation du cluster Cloudera - Etudes et analyses d'impacts Compétences clés recherchées - Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper : - Shell, Python, Spark - Moteur de requetage : SQL, Hive, Impala - Pilotage et organisation d'activités projet : Expertise - Capacités rédactionnelles : doc technique, cahier des charges. Savoir-être - Autonomie pour la prise en charge des sujets - Capacité à communiquer et s'adapter en fonction des différents interlocuteur - Sens de l'écoute et du dialogue, conduite de réunion, négociation