Descriptif du poste<br/> <br/> Expert reconnu en plateforme de données et architecture Lakehouse, incluant :<br/> <br/> Optimisation Spark / PySpark (AQE, broadcast joins, stratégies de caching, autoscaling de cluster).<br/> <br/> <br/> Politiques de cluster, configuration de cluster et pool, et optimisation des coûts.<br/> <br/> <br/> Monitoring, diagnostics et dépannage des performances à l'aide de métriques et event logs.<br/> <br/> <br/> APIs REST et CLI pour l'automatisation.<br/> <br/> <br/> <br/> Expert reconnu en utilisation de Delta Lake, incluant :<br/> <br/> Pipelines d'ingestion et de transformation (Bronze?Silver?Gold).<br/> <br/> <br/> Delta Live Tables pour les pipelines de production (CDC, expectations, orchestration).<br/> <br/> <br/> Structured streaming et traitement incrémental.<br/> <br/> <br/> Débogage des goulots d'étranglement de performance dans les workloads Delta (data skew, petits fichiers, auto-compaction).<br/> <br/> <br/> <br/> Expert reconnu en :<br/> <br/> Python pour l'ingénierie des données, programmation orientée objet, data science, tests unitaires (pytest) et packaging.<br/> <br/> <br/> SQL (SQL analytique, window functions, SQL Databricks).<br/> <br/> <br/> Spark / PySpark pour le traitement distribué et l'optimisation.<br/> <br/> <br/> <br/> Expert reconnu en utilisation de Unity Catalog, incluant :<br/> <br/> Implémentation du contrôle d'accès granulaire (sécurité au niveau des lignes et colonnes, vues dynamiques, masquage).<br/> <br/> <br/> Gestion des objets Unity Catalog à grande échelle (catalogs, schémas, tables, modèles et gouvernance des fonctions).<br/> <br/> <br/> Pratiques de développement sécurisé, protection des données et conformité réglementaire (RGPD, PII).<br/> <br/> <br/> <br/> Expert reconnu en Databricks Jobs et Workflows (orchestration des tâches, retries, monitoring), incluant :<br/> <br/> Databricks Repos et intégration Git / Gitflow.<br/> <br/> <br/> Déploiement des assets Databricks (notebooks, jobs, pipelines DLT) via des pipelines CI/CD.<br/> <br/> <br/> Databricks SQL editor et SQL Warehouses pour les dashboards ou pipelines de production.<br/> <br/> <br/> Infrastructure as Code utilisant Terraform (providers Databricks et Azure) et ARM templates.<br/> <br/> <br/> <br/> Maîtrise avancée de l'écosystème Databricks Machine Learning et Generative AI.<br/> <br/> Maîtrise avancée de MLflow (experiment tracking, model registry, model serving).<br/> <br/> Maîtrise avancée de la construction de pipelines ML utilisant Databricks AutoML, Feature Store et feature engineering.<br/> <br/> Expérience pratique avérée avec les outils de développement basés sur l'IA, incluant les workflows basés sur des agents.<br/> <br/> Bonne compréhension des normes d'interopérabilité émergentes telles que le Model Context Protocol (MCP) ou équivalent.<br/> <br/> Capacité à évaluer de manière critique et à intégrer de manière sécurisée les résultats générés par l'IA dans les workflows de développement.<br/> <br/> <br/> Profil recherché<br/> <br/> Anglais technique avancé obligatoire (toutes les spécifications fonctionnelles et techniques sont en anglais).<br/> <br/> <br/> Français courant.<br/> <br/> <br/> Maîtrise avancée de l'autonomie, résolution de problèmes, esprit critique, communication et attention aux détails.<br/> <br/> <br/> Connaissance pratique de la surveillance continue des technologies et des meilleures pratiques du secteur.<br/> <br/> <br/> Connaissance pratique du secteur des médias et de l'audiovisuel.<br/> <br/> <br/> <br/>