Nous recherchons un Expert Kafka pour accompagner le déploiement, l?optimisation et l?exploitation de notre plateforme de streaming de données. Vous jouerez un rôle clé dans la mise en ?uvre d?une architecture orientée événements (Event-Driven Architecture), en intégrant Apache Kafka comme élément central du traitement et de la distribution des données en temps réel. Vous interviendrez dans un environnement technique moderne, intégrant le Cloud (AWS, GCP, Azure), des technologies Big Data et des outils de monitoring avancés. Missions Principales? Conception et Mise en Place de Kafka Concevoir, déployer et administrer une infrastructure Kafka robuste et scalable. Définir les bonnes pratiques d?architecture event-driven et de gestion des flux de données. Assurer la haute disponibilité et la résilience des clusters Kafka. Sécuriser Kafka en appliquant les meilleures pratiques de chiffrement, d?authentification et d?autorisation. ? Optimisation et Performance Analyser les performances des clusters Kafka et proposer des améliorations (scalabilité, latence, débit). Optimiser la gestion des partitions, des topics et des configurations de réplication. Mettre en place des outils de monitoring et d?alerting pour assurer la supervision proactive des flux de données. ? Développement et Intégration Concevoir des producers et consumers Kafka performants et sécurisés. Intégrer Kafka aux autres systèmes du SI (bases de données, applications métier, services cloud). Participer au déploiement et à la gestion de Kafka Connect et Kafka Streams pour les transformations de données en temps réel. ? Support et Accompagnement Assurer un support aux équipes IT et métiers sur les problématiques Kafka. Rédiger des documentations techniques et animer des sessions de formation pour améliorer l?adoption des solutions de streaming. Collaborer avec les équipes DevOps, Data et Cloud pour garantir une intégration fluide de Kafka dans l?écosystème IT du Crédit Agricole. Profil candidat: Compétences Techniques ? Kafka & Écosystème Maîtrise avancée de Kafka (configuration, administration, monitoring). Expérience avec Kafka Streams, Kafka Connect, Schema Registry et KSQL. ? Cloud & Big Data Connaissance des environnements Cloud (AWS, GCP, Azure) et des services managés Kafka (MSK, Confluent Cloud?). Expérience avec les technologies Big Data et les bases de données distribuées (Hadoop, Cassandra, MongoDB?). ? Développement et Automatisation Maîtrise de Java / Scala / Python pour l?implémentation des consumers/producers Kafka. Expérience avec Docker / Kubernetes pour la conteneurisation et l?orchestration des services Kafka. Connaissance des outils CI/CD (Git, Jenkins, Terraform, Ansible). ? Sécurité et Monitoring Connaissance des protocoles SSL/TLS, SASL, ACL pour sécuriser Kafka. Expérience avec des outils de supervision comme Prometheus, Grafana, ELK, Splunk.