POSTE : Data Engineer H/F DESCRIPTION : Le cabinet Lynx RH recherche un Data Engineer H/F pour l'un de ses clients sur Nantes Vos missions En tant que Data Engineer vos missions seront : - Étude, conception et réalisation de traitements Big Data ; - Échange avec les architectes, les PO et PPO, les développeurs et la gouvernance de données ; - Exploration des données et des usages des utilisateurs avec Impala ; - Import de données (SFTP, Kafka, RabbitMQ) ; - Alimentation du cluster Hadoop via des composants développé en Java avec le Framework Spark sur IntelliJ ; - Utilisation d'Apache Ambari pour gérer et surveiller un cluster Hadoop, visualisation des jobs en cours via YarnApplication et des flux Oozie ; - Collecte des données depuis Teradata via l'outil Sqoop dans une base de données Hive ; - Transformation des données avec Spark (HDFS, Hive, Kafka, Hbase, Phoenix) ; - Utilisation de Apache Kudu afin d'optimiser les requêtes utilisateurs sur les données chaudes ; - Exposition de données sur Dataiku pour la création de modèle de DataScience ; - Réalisation en Java - Flink pour gérer les traitements complexe et volumineux ; - Gestion de configuration sous Git avec GitLab ; - Intégration continue avec Jenkins et Sonar ; - Lecture de fichier parquet depuis un répertoire S3 sous AWS ; - Requêtage de bases de donnée depuis l'outil Athena d'AWS ; - Ransformation des données et calcul d'indicateurs sous Hive ; - Utilisation de Oozie pour l'ordonnancement de flux ; - Utilisation de Kibana pour visualiser et mesurer la volumétrie de traitements quotidien et en streaming. Profil recherché - Maîtrise des langages structurés (JavaScript, Scala, Python), - Maîtrise de divers systèmes d'exploitation : UNIX, Linux, Solaris, - Connaissances en solutions de bases de données (SQL, NoSQL), Informations complémentaires Type de contrat : CDI Temps de travail : Temps plein Salaire : 35000 € - 40000 € par an PROFIL :