POSTE : Consultant Data Engineer Gcp H/F DESCRIPTION : 4. Description de la prestation et des missions attendues Le/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes : Conception, développement et optimisation des pipelines de données (GCP) - Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles. - Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables. - Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données. - Optimiser les performances des pipelines ainsi que la consommation des ressources GCP. Modélisation et gestion des données - Participer à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers. - Garantir la qualité, la cohérence et l'intégrité des données. - Mettre en oeuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données. Run opérationnel, maintenance et support N2/N3 - Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur). - Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance). - Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données. - Gérer les incidents en collaboration avec les équipes internes et l'éditeur. - Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. - Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi. Monitoring, logging et alerting - Mettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio). - Définir et implémenter des alertes permettant la détection proactive des anomalies. - Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier. Infrastructure as Code (IaC) - Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform. - Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod). Collaboration et conseil - Travailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers. - Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering. - Participer aux rituels Agile/Kanban de l'équipe produit. 5. Compétences et expériences requises 5.1 Expertise technique - Cloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog). - Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés). - Scripting : Excellente maîtrise de Bash (indispensable pour le run). - Systèmes : Bonne maîtrise des environnements Linux (RedHat). - IaC : Solide expérience avec Terraform. - CI/CD : Maîtrise d'un outil comme GitLab CI. - Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio. - Versioning : Git (GitLab). - Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall). - Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming. 5.2 Environnement technique TOPASE NLS - OS : RedHat Enterprise 9.4 - Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines) - CI/CD : GitLab CI - IaC : Terraform - Monitoring : Looker Studio, GANTI, Grafana, ELK - Bases : Oracle, BigQuery - Langage : Bash 5.3 Méthodologies et soft skills - Expérience en environnement Agile (Scrum, Kanban). - Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident. - Autonomie, proactivité et sens de l'amélioration continue. - Bonnes compétences de communication (français courant, anglais technique). - Esprit d'équipe et partage des connaissances. - Sens des responsabilités, notamment en environnement de production. 5.4 Expérience - Minim