POSTE : Ingénieur Data - Services Publics - Nantes H/F DESCRIPTION : La communauté Data de la division « Services Publics » de Sopra Steria accompagne les organismes, les administrations et autres entités de la sphère publique sur des grands programmes de transformation et de maintenance dans le domaine de l'informatique décisionnelle, de la datavisualisation, de la datascience, de l'IA ainsi que des technologies et architectures Big Data (Datalake, Lakehouse). Notre présence globale dans l'écosystème depuis de nombreuses années et la connaissance approfondie des métiers de nos clients sont un atout majeur pour répondre aux grands enjeux de transformation impliqués par les réformes de l'Etat : - Souveraineté ; - Move to Cloud ; - Mise en place de plateforme de données ; - Gestion des données à caractère personnel ou sensibles ; - Modernisation de socle technologique ; - Maîtrise des coûts SI ; - Gestion de la dette technique. Votre rôle et vos missions : En tant qu'Ingénieur(e) Data, vous intégrez une communauté d'experts au service de la valorisation de donnée de nos clients. En fonction de votre spécialisation et/ou appétence dans les métiers de la Data parmi la BI (informatique décisionnelle), la datavisualisation, le Big Data, la data science, vous êtes amené(e) à travailler sur les activités suivantes : - Collecte de Données - Vous avez la charge de collecter des données à partir de diverses sources internes et externes. Cela peut inclure des bases de données, des fichiers, des API, des flux de données en continu, etc. - Extraction, Transformation et Chargement - Vous effectuez des opérations de type ETL pour extraire les données des sources, les transformer en fonction des besoins (nettoyage, normalisation, agrégation, enrichissement, etc.) et les charger dans les entrepôts de données ou magasins du système décisionnel ou dans des formats optimisés pour le Big Data. - Intégration des Données Structurées et Non Structurées - Vous gérez à la fois des données structurées (bases de données relationnelles, fichiers CSV, etc.) et des données non structurées (texte, images, vidéos) et les intégrez sur une plateforme de donnée. - Gestion des Flux de Données en Continu - Vous traitez les flux de données en continu provenant de sources telles que les capteurs IoT ou les journaux d'événements en temps réel, en garantissant leur disponibilité et leur intégrité. - Sécurité des Données - Vous veillez à ce que les données collectées et intégrées soient sécurisées, en appliquant des mécanismes de chiffrement, de contrôle d'accès et de gestion des identités lorsque cela est nécessaire. - Restitution des données - Vous construisez pour les analystes des solutions d'exposition (API), de reporting et de visualisation des données consolidées dans les datamarts métiers à l'aide d'outils ou de librairies de datavisualisation. - Gestion des Métadonnées - Vous documentez et gérez les métadonnées associées aux sources de données, aux transformations effectuées et aux schémas de données, en vue de faciliter la compréhension des données pour les Data Scientists et les analystes; - Performance et Évolutivité - Vous optimisez les processus d'intégration des données pour garantir des performances élevées et une évolutivité afin de gérer des volumes de données en croissance constante. - Collaboration avec les autres équipes - Vous collaborez étroitement avec les Data Scientists, les experts fonctionnels, les Architectes Data et les autres membres de l'équipe pour répondre aux besoins spécifiques de chaque projet. - Gestion des accès aux données - Vous veillez à ce que chaque profil utilisateur ait accès aux données adéquates à son profil, en conformité avec le système d'habilitations en place. Vous sécurisez les transferts de fichiers entrants et sortants de l'environnement de travail afin de garantir la confidentialité des données sensibles. - Planification et Automatisation - Vous planifiez les tâches d'intégration des données en fonction des besoins métier et mettez en place des mécanismes d'automatisation pour réduire les délais et minimiser les erreurs humaines. - Maintenance et Surveillance - Vous assurez la maintenance continue des pipelines d'intégration des données et surveillez les flux de données pour détecter et résoudre rapidement les problèmes. Vous avez l'opportunité de rejoindre la communauté Data de la division Services Publics : formations, certifications, présentations internes (REX), événements externes, veille technologique, et bien plus encore Environnement technique : - Big Data : Sqoop, Spark, Nifi, Hadoop, Hive, HDFS, S3, MinIO, Parquet, Ranger, Atlas, Kerberos, Yarn, Iceberg, Dremio, Trino, Keycloak, Kube