POSTE : Ingénieur Big Data Analyst Bilingue Anglais H/F DESCRIPTION : Nous recherchons pour un de nos clients, spécialiste du prévisionnel météorologique, un Ingénieur Data Analyste (H/F) dans le cadre d'un CDI. La langue de travail est l'Anglais. Le Français n'est pas nécessaire Votre rôle est de concevoir, développer des modèles pour exploiter et traiter des téraoctets de données météorologiques et hydrologiques, en garantissant une livraison scalable, reproductible et prête pour la production des entrées et sorties des modèles. Missions principales - Mettre en oeuvre des processus d'ingestion de données (batch et streaming), des ELT/ETL steps et des workflows de publication des données. - Manipuler des formats scientifiques (netCDF, GRIB2) ainsi que des columnar storage (Parquet) ; optimiser les entrées/sorties (I/O) et les algorithmes. - Concevoir des architectures de stockage basées sur la cohérence éventuelle (atomic publishes, manifests, versioned paths) et maintenir un catalogue de métadonnées. - Partitionner et paralléliser les charges de travail pour le calcul distribué ; regrouper les petits fichiers et optimiser le coût/ performance. - Développer et exploiter des services conteneurisés et des workflows orchestrés ; assurer l'observabilité, la gestion des reprises, l'idempotence et la documentation opérationnelle (runbooks). - Collaborer avec les scientifiques pour définir les modèles de données et les règles de validation. Paradigmes et architectures requis - Approche ELT en priorité, avec ETL lorsque nécessaire ; streaming ou micro-batch pour les sources à faible latence - Data lake sur stockage objet avec catalogue de métadonnées ; conception de modèles de données orientés catalogage - Stockage colonne partitionné et traitement distribué parallèle des données - Workflows idempotents, redémarrables et orchestrés - Jeux de données versionnés, publications atomiques et catalogue comme source de vérité - Exploitation orientée observabilité et infrastructure as code Outils et technologies essentiels - Python (xarray, netCDF4, pyarrow), PySpark ou Dask - Stockage objet compatible S3 ; Parquet - PostgreSQL / PostGIS - Kubernetes et Docker pour le déploiement - AWS (S3, EKS, EC2) ou cloud équivalent ; Terraform pour l'infrastructure as code -- PROFIL : Vous avez une expérience minimum de 3 ans dans la construction et l'exploitation de modèles de données à grande échelle Vous avez de Solides compétences en ingénierie logicielle Python, avec tests et CI/CD Vous avez une expérience pratique du partitioning et du parallélism Vous avez une bonne compréhension des architectures de stockage et de traitement de grands volumes de données Vous avez la connaissance de STAC, GeoTIFF, PostGIS, optimisation des performances (Numba, Cython) Vous avez une bonne compréhension de sujets bas niveau (memory management, HTTP, S3 implementation) 1 journée de Télétravail