RÉSUMÉ EXPRESS Data Quality Engineer senior (4 ans+, Bac+5) pour garantir la fiabilité des données d'une plateforme cloud de paiement à fort volume transactionnel. Il conçoit et implémente un framework de Data Quality automatisé, intègre les tests dans les pipelines Databricks/Spark et les pipelines CI/CD, met en place la data observabilité en production et évangélise les bonnes pratiques QA auprès de l'équipe Data Platform. Profil hybride rare : expertise data engineering + culture QA appliquée à la donnée. Expérience fintech ou paiement fortement appréciée. 2 jours de TT par semaine / Anglais professionnel opérationnel (B2) obligatoire. MISSIONS PRINCIPALES Framework de Data Quality Concevoir et implémenter un framework de validation des données couvrant les dimensions classiques : complétude, cohérence, unicité, précision, fraîcheur Développer des règles de validation custom en Python (Great Expectations, Soda Core, Pandera, dbt tests ou équivalent) et les intégrer dans les pipelines en production Définir et faire respecter les data contracts entre producteurs et consommateurs de données (schémas, SLAs, sémantiques) Tests Automatisés Data Concevoir et implémenter des tests unitaires pour les transformations Spark/Python (pytest, fixtures data), des tests d'intégration pour les pipelines et des tests de régression sur les sorties Intégrer les tests de qualité dans les pipelines CI/CD (GitLab CI) comme gates qualité automatiques avant déploiement Appliquer les pratiques QA software à la donnée ? shift-left quality dès la phase de développement Data Observabilité & Monitoring Production Mettre en place le monitoring de la qualité des données en production : alerting sur anomalies, détection de data drift, tableaux de bord de santé des données Définir les seuils d'alerte et les mécanismes de détection d'anomalies sur les flux transactionnels Intervenir sur les incidents de qualité en production (données manquantes, pipeline en retard, données corrompues) Validation Databricks / Spark à l'Échelle Intégrer des checks de qualité dans les pipelines Spark/Databricks (Delta Live Tables, Jobs) sans dégrader les performances Gérer la validation de schémas Delta Lake, les assertions sur les données et le logging des erreurs de qualité à grande échelle Évangélisation & Shift-Left Promouvoir les bonnes pratiques QA auprès des data engineers : tests intégrés dès le développement, data contracts, documentation des règles de qualité Former et accompagner l'équipe Data Platform dans l'adoption des pratiques de qualité