POSTE : DevOps IA Llm H/F DESCRIPTION : Contexte de la mission Le client, un grand établissement de santé, déploie une plateforme conversationnelle basée sur un grand modèle de langage (LLM), destinée à ses utilisateurs internes. La plateforme doit répondre à des exigences fortes en matière de sécurité, de souveraineté des données et de passage à l'échelle. L'architecture cible est hybride : - Un cluster Kubernetes interne au client, hébergeant l'interface utilisateur (OpenWebUI), l'authentification (Keycloak adossé à l'Active Directory), la base PostgreSQL, le stockage objet S3, la base vectorielle et la stack de monitoring. - Un service LLM externalisé chez OVHCloud, consommé via API HTTPS sécurisée avec authentification par token. Le projet démarre par un PoC à 1 500 utilisateurs et a vocation à s'étendre à environ 100 000 utilisateurs. Missions principales - Déploiement et exploitation de la plateforme Kubernetes, Installation, configuration et maintien en condition opérationnelle des composants applicatifs (OpenWebUI, Keycloak, PostgreSQL, stockage objet S3, base vectorielle, monitoring) sur l'infrastructure Kubernetes du client. - Architecture et passage à l'échelle, conception d'une architecture évolutive permettant de monter en charge progressivement, du PoC à 1 500 utilisateurs jusqu'à un déploiement à 100 000 utilisateurs, en garantissant performance, résilience et haute disponibilité. Mise en oeuvre de la chaîne RAG, implémentation et maintien des pipelines d'ingestion documentaire, de génération d'embeddings, d'indexation dans la base vectorielle et de connexion au LLM hébergé chez OVHCloud. - Sécurité et gestion des accès, intégration Keycloak avec l'Active Directory du client, gestion des certificats TLS, application des exigences de sécurité applicables aux données de santé (HDS, RGPD). - Auditabilité et traçabilité, mise en place des mécanismes de journalisation et d'audit des interactions utilisateurs (historiques, requêtes, métadonnées) à des fins de conformité et d'analyse. - Monitoring et observabilité, déploiement et maintien du système de supervision couvrant l'infrastructure, l'applicatif et la performance des réponses IA. Contribution aux alertes et tableaux de bord opérationnels. - Coordination technique, travail en lien étroit avec le Product Owner Data et l'équipe OPS du client. Reporting régulier de l'activité et de l'état technique du projet auprès de la direction du domaine ingénierie et science des données. PROFIL : - Bac +5 (école d'ingénieur ou équivalent universitaire) en informatique, systèmes ou data. 5 ans d'expérience (plutôt 8 en vrai) minimum en ingénierie DevOps ou SRE. - Expérience significative sur des plateformes IA ou LLM en production. - Une expérience en santé, dans le secteur public ou sur des données sensibles est un atout. - Vous êtes disponible rapidement Compétences techniques - Kubernetes en production : Helm, Kustomize, GitOps (ArgoCD ou Flux), networking, sécurité. - Écosystème LLM et RAG : OpenWebUI ou équivalent, bases vectorielles (Qdrant, Weaviate, Milvus, pgvector), pipelines d'embeddings, intégration d'API LLM externes. - IAM et sécurité : Keycloak, OIDC/SAML, intégration Active Directory et LDAP, gestion des secrets (Vault), TLS. - Bases de données et stockage : PostgreSQL, stockage objet compatible S3 (MinIO, Ceph). - Observabilité : Prometheus, Grafana, Loki, OpenTelemetry. - CI/CD et infrastructure as code : GitLab CI ou équivalent, Terraform, Ansible. - Cloud souverain : connaissance d'OVHCloud, certification HDS et qualification SecNumCloud appréciées.