Descriptif du poste: Salaire: 54 K€ Contexte Le pôle BIGDATA développe plusieurs use cases intégrant des données et produisant des résultats quotidiennement. Parmi ces applications Bigdata, une des thématiques importantes du projet est la connaissance de la LAF (lutte Anti Fraude). Ce use case nécessitant des niveaux importants en termes de performance et de disponibilité se base sur les technologies big data (Spark) pour ingérer, transformer et mettre à disposition des données et indicateurs dérivés des données métier. Ces données sont de natures multiples et fournies par différents acteurs (transporteurs, distributeurs et/ou sondeurs externes.). Missions Description détaillée des tâches * Analyse * Analyse des spécifications (sources de données, format et contenu associés) avec prise en compte des pratiques actuelles ou à évoluer des bases de données et des modèles. * Établissement/amendement des spécifications techniques. * Travail en équipe avec l'expert BI et le métier pour la transcription des besoins en briques input/output. * Réalisation * Réalisation des mises en base et des productions de KPI selon les datamarts du projet, spécifiques aux types de comptages (CDG, CEB, EXT, etc.), aux types de ventes (occasionnel, abonnement) et aux types de validation (actes de contrôle, borne de validation.) ou LAF (lutte anti-fraude). * Réalisation des rattrapages au besoin. * Développement/adaptation (bash, python, hive, spark, etc.) des algorithmes selon l'évolution éventuelle du cahier des charges et/ou de la source de données. * Optimisation de ces codes si nécessaire. * Rédaction/modification de la documentation correspondant aux datamarts. * Qualification (dans le cas d'évolutions fonctionnelles/techniques) * Élaboration de jeux d'essais supplémentaires (tests unitaires et d'intégration). * Réalisation des tests. * Analyse et correction des anomalies. * Maintenance * Maintenance curative : être en contact avec les utilisateurs pour recenser puis corriger des Profil recherché: * Au moins 5 ans d'expérience en SI, dont 3 ans minimum en tant que concepteur-développeur bigdata * Expérience de préférence dans un contexte multi-métiers * Expérience dans le contexte ferroviaire fortement souhaitée, avec des connaissances relatives aux matériels roulants, comptages embarqués, plan de transport et modèle de fréquentation * Connaissance d'un outil de Business Intelligence, de préférence Power BI * Maîtrise des frameworks bigdata (notamment Spark) * Maîtrise des langages de programmation : bash, sql, python (pyspark) * Expérience avec un outil de git (gitlab/github) * Solide expérience avec les plateformes databricks et AZURE * Maîtrise des différents formats de données : SQL (managed/external), Parquet, JSON, CSV, et Delta