Description du poste : Le cabinet Lynx RH recherche un Data Engineer H/F pour l'un de ses clients sur Nantes Vos missions En tant que Data Engineer vos missions seront:***Étude, conception et réalisation de traitements Big Data ; * Échange avec les architectes, les PO et PPO, les développeurs et la gouvernance de données ; * Exploration des données et des usages des utilisateurs avec Impala ; * Import de données (SFTP, Kafka, RabbitMQ) ; * Alimentation du cluster Hadoop via des composants développé en Java avec le Framework Spark sur IntelliJ ; * Utilisation d'Apache Ambari pour gérer et surveiller un cluster Hadoop, visualisation des jobs en cours via YarnApplication et des flux Oozie ; * Collecte des données depuis Teradata via l'outil Sqoop dans une base de données Hive ; * Transformation des données avec Spark (HDFS, Hive, Kafka, Hbase, Phoenix) ; * Utilisation de Apache Kudu afin d'optimiser les requêtes utilisateurs sur les données chaudes ; * Exposition de données sur Dataiku pour la création de modèle de DataScience ; * Réalisation en Java - Flink pour gérer les traitements complexe et volumineux ; * Gestion de configuration sous Git avec GitLab ; * Intégration continue avec Jenkins et Sonar ; * Lecture de fichier parquet depuis un répertoire S3 sous AWS ; * Requêtage de bases de donnée depuis l'outil Athena d'AWS ; * ransformation des données et calcul d'indicateurs sous Hive ; * Utilisation de Oozie pour l'ordonnancement de flux ; * Utilisation de Kibana pour visualiser et mesurer la volumétrie de traitements quotidien et en streaming. Description du profil : Profil recherché***Maîtrise des langages structurés (Javascript, Scala, Python.), * Maîtrise de divers systèmes d'exploitation : UNIX, Linux, Solaris, * Connaissances en solutions de bases de données (SQL, NoSQL.), Informations complémentaires Type de contrat : CDI Temps de travail : Temps plein