Dans le cadre du renforcement de sa capacité de gestion des événements hydrométéorologiques et de la mise en place d'une plateforme d'expertise, le client souhaite structurer et industrialiser son dispositif de traitement et de visualisation des données météorologiques et hydrologiques. Deux briques techniques principales sont au cœur de ce dispositif : - Un Data Lake centralisant des données climatiques, météorologiques et hydrologiques ; - Une solution de visualisation et d'alerte à destination des équipes d'astreinte. L'objectif de cette mission est de prendre en charge l'industrialisation des traitements existants, en conformité avec les exigences techniques et fonctionnelles définies par les directions informatiques en charge de l'environnement Azure/Data Lake. La mission porte donc sur la refonte, l'intégration, l'orchestration, la documentation et le transfert de compétences autour des traitements existants, en particulier : - Refonte des scripts Python (modèles, orchestrateurs, bibliothèques) pour les rendre modulaires, paramétrables, testables et compatibles avec Azure Databricks ; - Intégration dans Azure Databricks avec interfaçage via Unity Catalog (lecture couche Bronze, écriture couche Silver) ; - Déploiement CI/CD via Azure DevOps (notebooks, workflows, gestion de version) ; - Mise en place de tests ; - Rédaction de la documentation technique et fonctionnelle ; - Transfert de compétences auprès des équipes internes. Livrables attendus - Code restructuré, versionné et déployé ; - Notebooks et workflows exécutables dans Databricks ; - Documentation complète (technique et fonctionnelle) ; - Cahier de recette et résultats de tests sur environnement de préproduction ; - Artefacts de configuration (fichiers YAML, scripts) ; - Preuve de bon fonctionnement de bout en bout dans l'environnement cible. Vous avez une expérience confirmée en tant qu'Architecte logiciel. Compétences requises - Expérience concrète sur des projets similaires d'intégration de traitements analytiques/scientifiques dans Azure Databricks - Maîtrise avancée de Python : conception de scripts modulaires, paramétrables, testables - Expertise Azure Databricks - CI/CD sur Azure DevOps - Mise en place de pipelines de déploiement pour notebooks, scripts et workflows - Gestion du versioning avec Git/Azure