RÉSUMÉ EXPRESS Data Quality Engineer senior (4 ans+, Bac+5) pour garantir la fiabilité des données d'une plateforme cloud de paiement à fort volume transactionnel. Il conçoit et implémente un framework de Data Quality automatisé, intègre les tests dans les pipelines Databricks/Spark et les pipelines CI/CD, met en place la data observabilité en production et évangélise les bonnes pratiques QA auprès de l'équipe Data Platform. Profil hybride rare : expertise data engineering + culture QA appliquée à la donnée. Expérience fintech ou paiement fortement appréciée. 2 jours de TT par semaine / Anglais professionnel opérationnel (B2) obligatoire. MISSIONS PRINCIPALES Framework de Data Quality Concevoir et implémenter un framework de validation des données couvrant les dimensions classiques : complétude, cohérence, unicité, précision, fraîcheur Développer des règles de validation custom en Python (Great Expectations, Soda Core, Pandera, dbt tests ou équivalent) et les intégrer dans les pipelines en production Définir et faire respecter les data contracts entre producteurs et consommateurs de données (schémas, SLAs, sémantiques) Tests Automatisés Data Concevoir et implémenter des tests unitaires pour les transformations Spark/Python (pytest, fixtures data), des tests d'intégration pour les pipelines et des tests de régression sur les sorties Intégrer les tests de qualité dans les pipelines CI/CD (GitLab CI) comme gates qualité automatiques avant déploiement Appliquer les pratiques QA software à la donnée ? shift-left quality dès la phase de développement Data Observabilité & Monitoring Production Mettre en place le monitoring de la qualité des données en production : alerting sur anomalies, détection de data drift, tableaux de bord de santé des données Définir les seuils d'alerte et les mécanismes de détection d'anomalies sur les flux transactionnels Intervenir sur les incidents de qualité en production (données manquantes, pipeline en retard, données corrompues) Validation Databricks / Spark à l'Échelle Intégrer des checks de qualité dans les pipelines Spark/Databricks (Delta Live Tables, Jobs) sans dégrader les performances Gérer la validation de schémas Delta Lake, les assertions sur les données et le logging des erreurs de qualité à grande échelle Évangélisation & Shift -Left Promouvoir les bonnes pratiques QA auprès des data engineers : tests intégrés dès le développement, data contracts, documentation des règles de qualité Former et accompagner l'équipe Data Platform dans l'adoption des pratiques de qualité Profil candidat: PROFIL RECHERCHÉ Bac+5, 4 ans minimum en data engineering ou data quality engineering Profil ayant évolué de data engineer vers une spécialisation data quality : parcours le plus naturel et le plus pertinent Expérience sur des plateformes data en production avec des contraintes de fiabilité élevées : fintech, paiement, santé ou e-commerce critique Connaissance des outils émergents de data observability (Great Expectations, Soda, Monte Carlo ou équivalent) Anglais upper-intermediate opérationnel (B2) : réunions, documentation et code reviews avec des équipes internationales au quotidien COMPÉTENCES REQUISES Python Data Quality (++) : Great Expectations, Soda Core, Pandera, dbt tests ou équivalent ; création de règles de validation custom ; tests unitaires avec pytest et fixtures data SQL Avancé (++) : Requêtes complexes pour la validation des données : réconciliation entre tables, détection de doublons, vérification de cohérence référentielle, comparaison de distributions Databricks / Spark (++) : Intégration des checks de qualité dans Delta Live Tables et Jobs Databricks, validation de schémas Delta Lake, gestion des performances lors des contrôles à grande échelle Tests Automatisés Data (+++) : Tests unitaires sur les transformations, tests d'intégration pour les pipelines, tests de régression sur les sorties ? culture QA software appliquée à la donnée Data Observabilité (+++) : Monitoring des métriques de qualité en production, détection d'anomalies et de data drift, tableaux de bord de santé des données (Monte Carlo, Anomalo, ou solutions custom CloudWatch) CI/CD Data & AWS : Intégration des tests de qualité dans GitLab CI, gates qualité automatiques ; S3, Glue, CloudWatch pour le monitoring, IAM pour la sécurité des données Data Contracts : Définition et implémentation des contrats entre producteurs et consommateurs (schémas, SLAs, sémantiques) ? Soda, dbt contracts ou custom