Spécialisé dans le secteur bancaire, l'entreprise recherche un Expert Data Engineer Kafka pour renforcer ses effectifs. . Le rôle consiste à mettre en ?uvre des solutions de streaming de données à grande échelle et en temps réel pour répondre aux besoins des différents départements métiers et améliorer la prise de décision grâce à une infrastructure de données solide, évolutive et performante. Architecture et conception : Concevoir et développer des pipelines de données en streaming avec Apache Kafka pour gérer des volumes de données élevés en temps réel. Participer à la définition de l?architecture de la plateforme Kafka et de ses composants (brokers, zookeepers, clusters). Développement de flux de données : Créer, configurer, et maintenir des topics Kafka, des streams et des connecteurs Kafka pour assurer l?ingestion, la transformation et la livraison des données aux consommateurs en temps réel. Optimisation des performances : Surveiller et ajuster les configurations pour optimiser la latence et le débit des flux de données en streaming. Mettre en place des processus de mise à l?échelle et de gestion des performances pour maintenir un haut niveau de fiabilité. Sécurité et conformité : Mettre en ?uvre des mesures de sécurité et de gouvernance des données pour protéger les flux de données Kafka en conformité avec les exigences internes et réglementaires (authentification, contrôle d?accès, chiffrement des données en transit). Innovation continue : Mener une veille technologique active sur les évolutions d'Apache Kafka et les nouvelles technologies de streaming, telles que Apache Flink, Kafka Streams, ksqlDB, afin d?améliorer continuellement l?écosystème de données. Maîtrise de Kafka : Expertise approfondie sur Apache Kafka, avec une expérience dans l?implémentation, l?optimisation et le maintien de clusters Kafka en environnement de production. Compétences en programmation : Compétences en Java, Scala, et/ou Python pour la création de flux de données et l?intégration de Kafka avec d?autres systèmes. Traitement des données en temps réel : Connaissance des frameworks de traitement en temps réel et streaming, tels que Apache Flink, Kafka Streams, et Spark Streaming. Architecture de données distribuées : Solide compréhension des architectures de données distribuées, de la gestion des clusters et de l?optimisation des performances des systèmes de streaming. Sécurité des données : Maîtrise des pratiques de sécurité des données, y compris le chiffrement, l'authentification (SASL, SSL) et le contrôle d?accès (ACL) dans les systèmes Kafka. Environnement cloud : Expérience avec les environnements cloud (AWS, GCP, Azure) et familiarité avec les services Kafka managés comme Confluent Cloud ou Amazon MSK. Compétences en DevOps : Connaissance des outils DevOps tels que Docker, Kubernetes, et Terraform pour le déploiement, l?orchestration, et la gestion des clusters Kafka.