Bonjour,
Pour le compte de notre client nous recherchons un data engineer spark / python / databricks / azure.
Attentes:
- Spark/Python (API dataframe, dataset, rdd) + Librairie ScalaTest
- Expérience Azure, incluant les composants Azure : ADLS, DataBricks, Azure Data Factory, Azure), DevOps (terraform, docker, kubernetes), Azure Functions, KeyVault
- EDI : Intellij, Visual Studio Code, Visual Studio
- Expérience de travail avec des données de différents formats (np. Avro, Parquet, JSON, CSV/Excel, Delta)
- Python
- connaissance de Kafka, Impala
- SQL
- très bon anglais
- soft skills : compétences en communication, autogestion, compétences ETL, travail d'équipe, partage des connaissances, qualité et objectif, bien organisé
Exemple tâches cv axa direct assurance :
L?objectif de ce projet est de migrer d'un data warehouse on-premise vers le Azure, et reconstruire
un datawarehouse : data ingestion, data transformation et business views.
Activités Principales :
? Migration d'un environnement BI (sql server, oracle) vers le cloud
? Création de pipeline avec Azure Data Factory pour l?alimentation des tables Delta
? Transcription des requêtes SQL existantes en code Spark Scala simplifié
? Développement de tests unitaires avec Scala test
? Data tests et debugging avec Azure Databricks
? Optimisation des transformations Spark Scala
? Développer des algorithmes génériques pour créer un lot des tables
? Accompagner les nouveaux arrivées pendant l?intégration
? Implémentation de workflows et pipelines CI/CD avec Azure DevOps
? Réalisation du suivi de la production (production monitoring)
? Participation aux workshops d?estimation des US fonctionnelles et techniques
Environnement technique :
Spark, Scala, PySpark, Azure Data Factory, Azure Blob Storage, Azure DevOps, Release, Pipeline, Board, Repos,
Azure Databricks, Databricks Delta.
Profil candidat:
Bac + 5 informatique
Profil technique
Expertise spark / python/ databricks
Bonne communication et bon relationnel
Apprécié Azure
Qualités relationnelles et aisance orale.
.
.
