POSTE : Ingénieur-e Data - Services Publics - Toulouse H/F DESCRIPTION : Mission La communauté Data de la division « Services Publics » de Sopra Steria accompagne les organismes, les administrations et autres entités de la sphère publique sur des grands programmes de transformation et de maintenance dans le domaine de l'informatique décisionnelle, de la datavisualisation, de la datascience, de l'IA ainsi que des technologies et architectures Big Data (Datalake, Lakehouse). Notre présence globale dans l'écosystème depuis de nombreuses années et la connaissance approfondie des métiers de nos clients sont un atout majeur pour répondre aux grands enjeux de transformation impliqués par les réformes de l'Etat : - Souveraineté ; - Move to Cloud ; - Mise en place de plateforme de données ; - Gestion des données à caractère personnel ou sensibles ; - Modernisation de socle technologique ; - Maitrise des coûts SI ; - Gestion de la dette technique. En tant qu'Ingénieur Data, vous intégrerez une communauté d'experts au service de la valorisation de donnée de nos clients. En fonction de votre spécialisation et/ou appétence dans les métiers de la Data parmi la BI (informatique décisionnelle), la datavisualisation, le Big Data, la data science, vous serez amené à travailler sur les activités suivantes : - Collecte de Données - Vous aurez la charge de collecter des données à partir de diverses sources internes et externes. Cela peut inclure des bases de données, des fichiers, des API, des flux de données en continu, etc. - Extraction, Transformation et Chargement - Vous effectuerez des opérations de type ETL pour extraire les données des sources, les transformer en fonction des besoins (nettoyage, normalisation, agrégation, enrichissement, etc.) et les charger dans les entrepôts de données ou magasins du système décisionnel ou dans des formats optimisés pour le Big Data. - Intégration des Données Structurées et Non Structurées - Vous gèrerez à la fois des données structurées (bases de données relationnelles, fichiers CSV, etc.) et des données non structurées (textes, images, vidéos) et les intégrerez sur une plateforme de donnée - Gestion des Flux de Données en Continu - Vous traiterez les flux de données en continu provenant de sources telles que les capteurs IoT ou les journaux d'événements en temps réel, en garantissant leur disponibilité et leur intégrité - Sécurité des Données - Vous veillerez à ce que les données collectées et intégrées soient sécurisées, en appliquant des mécanismes de chiffrement, de contrôle d'accès et de gestion des identités lorsque cela est nécessaire. - Restitution des données - Vous construirez pour les analystes des solutions d'exposition (API), de reporting et de visualisation des données consolidées dans les datamarts métiers à l'aide d'outils ou de librairies de datavisualisation . - Gestion des Métadonnées - Vous documenterez et gèrerez les métadonnées associées aux sources de données, aux transformations effectuées et aux schémas de données, en vue de faciliter la compréhension des données pour les Data Scientists et les analystes. - Performance et Évolutivité - Vous optimiserez les processus d'intégration des données pour garantir des performances élevées et une évolutivité afin de gérer des volumes de données en croissance constante. - Collaboration avec les autres équipes - Vous collaborerez étroitement avec les Data Scientists, les experts fonctionnels, les Architectes Data et les autres membres de l'équipe pour répondre aux besoins spécifiques de chaque projet. - Gestion des accès aux données - Vous veillerez à ce que chaque profil utilisateur ait accès aux données adéquates, en conformité avec le système d'habilitations en place. Vous sécuriserez les transferts de fichiers entrants et sortants de l'environnement de travail afin de garantir la confidentialité des données sensibles. - Planification et Automatisation - Vous planifierez les tâches d'intégration des données en fonction des besoins métier et mettrez en place des mécanismes d'automatisation pour réduire les délais et minimiser les erreurs humaines. - Maintenance et Surveillance - Vous assurerez la maintenance continue des pipelines d'intégration des données et surveillerez les flux de données pour détecter et résoudre rapidement les problèmes. Environnement technique : - Big Data : Sqoop, Spark, Nifi, Hadoop, Cloudera, Hive, HDFS, S3, MinIO, Parquet, Ranger, Atlas, Kerberos, Yarn, Iceberg, Dremio, Trino, Keycloak, Kubernetes, Airflow - Data science : Python (et librairies), PySpark, R (et packages), SAS, Dataiku, Jupyter, Spark MLlib, FastAPI, Flask - BI / datavisualisation : Shell, SQL, PL/SQL, Oracle, PostgreSQL, Talend, MicroStrategy, DataStage, Microsoft SSIS, PowerBI, Qlik, DigDash, Suadeo, SuperSet, R Shiny - Transverse : Gitlab, JIRA, Confluence, Linux, DevOps Informations supplémentaires - Un accord télétravail pour télétravailler jusqu'à 2 jours par semaine selon vos missions. - Un package