Nous recherchons un Ingénieur Big Data Objectif global : Accompagner Plateforme BigData Les livrables sont: Big Data & Traitement Distribués Orchestration de workflow Compétences techniques: Spark - Expert - Impératif Kafka - Confirmé - Impératif Stack HADOOP - Expert - Impératif Description détaillée: - Langages de programmation : Python (maîtrise avancée, développement de pipelines de données, optimisation de code, savoir mettre en place une campagne de tests) - Orchestration de workflow : Apache Airflow (création, gestion et optimisation de DAGs, intégration avec divers services) - Big Data & Traitement Distribués : o Apache Spark (Dév et optimisations) o Spark Streaming avec dépendances Kafka o Cloudera CDP (tuning des traitements) - Stockage et Bases de Données : o Hive, HDFS, (+ Impala et Iceberg dans un futur proche) - Sécurité & Chiffrement : o Chiffrement des flux de données et des bases (TLS, SSL, Kerberos, Hashicorp Vault, PGP) o Ranger KMS (chiffrement du stockage sur le cluster) - DevOps & CI/CD : o Git, GitLab CI/CD, Importance de la qualité de code (Sonar, XRay), Jenkins, XL Deploy o Monitoring (Open Search Dashboard, Grafana, ELK Stack) 3. Méthode de travail - Méthodologies Agile (Scrum, Kanban) 4. Soft Skills - Capacité à prendre des décisions stratégiques sur les choix technologiques - Adaptabilité et réactivité face aux évolutions technologiques - Esprit analytique et résolution de problèmes complexes 5. Expérience Recherchée - Minimum 5 ans d?expérience en Big Data avec un focus sur Spark et Airflow - Expérience en tant que Tech Lead sur des projets complexes - Connaissance approfondie des architectures distribuées