- Accueil France Travail
- Emploi
- Hauts-de-Seine
- Boulogne-Billancourt
- Détail de l'offre 4600965
- Accueil France Travail
- Emploi
- Hauts-de-Seine
- Boulogne-Billancourt
- Détail de l'offre 4600965
CONSULTANT DATA ENGINEER AZURE, SPARK, SCALA F/H - Système, réseaux, données (H/F) 92 - BOULOGNE BILLANCOURT
Offre n° 4600965
CONSULTANT DATA ENGINEER AZURE, SPARK, SCALA F/H - Système, réseaux, données (H/F)
92 - BOULOGNE BILLANCOURT - Localiser avec Mappy
Publié le 23 septembre 2024
Descriptif du poste: Conception et Développement de Pipelines de Données : Concevoir, développer et déployer des pipelines de données scalables et performants en utilisant Apache Spark et Scala sur la plateforme Azure. Intégrer, transformer et traiter des volumes massifs de données provenant de diverses sources (bases de données, systèmes de fichiers, APIs) pour les rendre exploitables par les équipes de data science et d'analyse. Implémenter des solutions de traitement en temps réel et par batch, en optimisant les performances des pipelines de données. Architecture et Infrastructure Big Data : Concevoir et mettre en œuvre des architectures de données robustes et évolutives sur Azure, en utilisant des services comme Azure Data Lake, Azure Databricks, et Azure Synapse Analytics. Gérer les environnements de stockage, les bases de données distribuées, et les outils d'orchestration pour garantir la disponibilité, la performance, et la sécurité des données. Participer à la définition et à l'optimisation des architectures data-driven pour supporter les besoins croissants en analyse et en machine learning. Optimisation et Performance : Optimiser les performances des jobs Spark en ajustant la configuration des clusters, en implémentant des stratégies de partitionnement et en réduisant les temps d'exécution des tâches. Assurer une gestion efficace des ressources sur Azure pour minimiser les coûts tout en maintenant une haute performance des pipelines de données. Implémenter des stratégies de monitoring et de debugging pour identifier et résoudre rapidement les goulots d'étranglement et les problèmes de performance. Sécurité et Gouvernance des Données : Mettre en œuvre des politiques de gouvernance des données, incluant la gestion des accès, la conformité aux réglementations (comme le GDPR) et la sécurité des données sur l'ensemble des environnements. Utiliser des outils comme Azure Key Vault et Azure Active Directory pour gérer les identités, les accès et les clés de chiffrement. Participer à l'élaboration de stratégies de sauvegarde, de récupération et de continuité des opérations pour assurer la résilience des systèmes de données. Collaboration et Méthodologie Agile : Collaborer avec les équipes de data scientists, d'analystes et d'ingénieurs logiciels pour comprendre les besoins métier et traduire ces besoins en solutions techniques efficaces. Travailler en méthodologie Agile, participer aux sprints, aux daily stand-ups et aux rétrospectives pour assurer un développement itératif et rapide. Documenter les solutions, partager les bonnes pratiques et former les autres membres de l'équipe sur les technologies Azure, Spark et Scala. Innovation et Veille Technologique : Rester à jour sur les dernières avancées en big data, cloud computing et technologies d'ingénierie des données. Expérimenter avec de nouvelles technologies et techniques, telles que l'intégration de l'IA/ML dans les pipelines de données ou l'utilisation de nouvelles architectures de données comme le Data Mesh. Contribuer activement à la communauté de l'ingénierie des données, en partageant vos connaissances et en participant à des conférences, des meetups et des forums. Profil recherché: Diplôme en informatique, génie logiciel, ou équivalent. Expérience confirmée en ingénierie des données avec une expertise en Scala et Apache Spark, et une connaissance approfondie des services Azure (Azure Data Lake, Azure Databricks, Azure Synapse). Compétence en conception et optimisation de pipelines de données à grande échelle, ainsi qu'en gestion de clusters big data. Bonne maîtrise des concepts de sécurité des données, de gouvernance et de conformité réglementaire dans des environnements cloud. Expérience avec les bases de données relationnelles et NoSQL, ainsi que les technologies de traitement de données distribuées.
- Type de contrat
-
Contrat à durée indéterminée
Contrat travail - Salaire
- Salaire brut : A négocier
Profil souhaité
Expérience
- Expérience exigée de 4 An(s)Cette expérience est indispensable
Informations complémentaires
- Qualification : Cadre
- Secteur d'activité : Ingénierie, études techniques
Entreprise
Yonni DERY Ste SIDEXIA
Société d'experts au service du numérique, SIDEXIA est un acteur dynamique intervenant sur des projets innovants et d'envergure. Notre réputation tient à la performance hautement qualifiée de nos collaborateurs. Dynamique et à taille humaine, SIDEXIA accompagne ses clients sur l'ensemble des phases de leurs projets stratégiques: Médias, Agence Web, Assurance, Télecoms, Banque/Finance ....
D'autres offres peuvent vous intéresser :
- (déjà vu)
(H/F)Administrateur réseaux informatique
LYNX RH TERTIAIRE - 75 - Paris 4e Arrondissement
LYNX RH Paris Ouest est un cabinet de recrutement en CDI, CDD, et intérim de profils à BAC +2 à Bac +5 spécialisés en : - Informatique : conseil, développement, réseaux et télécommunications,...
Intérim - Temps plein
Publié il y a 7 jours
Intérim
Temps plein - (déjà vu)
Administrateur réseaux informatique (H/F)
LYNX RH TERTIAIRE - 75 - Paris 19e Arrondissement
Lynx RH Paris Ouest, acteur du recrutement en CDI, CDD, et Intérim, fait partie d'un réseau national fondé en 2009 : - Le premier réseau de recrutement spécialisé développé en franchise, par des...
CDI - Temps plein
Publié il y a 21 jours
CDI
Temps plein - (déjà vu)
Administrateur Systèmes & Réseaux Industriel (H/F)
ELOGEN - 91 - MASSY
Rattaché au Responsable des Systèmes d'information, vous travaillez avec toute l'équipe SI d'ELOGEN, en relation avec tous les utilisateurs Elogen. Vous évoluez dans un environnement industriel...
CDI - Temps plein
Publié il y a 14 jours
CDI
Temps plein - (déjà vu)
Administrateur système bilingue Anglais (H/F)
LYNX RH SERVICES - 75 - Paris 4e Arrondissement
Lynx RH services Lille, agence de recrutement spécialisé en IT et Ingénierie, recherche pour un de ses clients, une Scale-up internationale, un Administrateur Sytéme bilingue Anglais (H/F) Vos...
CDI - Temps plein
Publié il y a 19 jours Soyez parmi les 1ers à postuler
CDI
Temps plein - (déjà vu)
Administrateur Bases de données Linux (H/F)
COGICIA DMTS - 75 - Paris
Notre client travaille dans le monde entier pour fournir une assistance humanitaire aux personnes touchées par les conflits et la violence armée. Il intervient en réponse aux situations d'urgence et...
CDI - Temps plein
Publié hier
CDI
Temps plein - (déjà vu)
Administrateur Système Linux et SAP (H/F)
SHELLIX - 75 - PARIS 02
Nous recherchons un Administrateur Système Linux et SAP (H/F) pour épauler et venir challenger techniquement le CTO. Vous serez responsable de la gestion et de la maintenance des systèmes Linux dans...
CDI - Temps plein
Publié il y a 15 jours
CDI
Temps plein - (déjà vu)
Administrateur / Administratrice de bases de données (H/F)
VIBTIC - 94 - BOISSY ST LEGER
La société VIBTIC est une société de conseil et de services spécialisée dans le domaine de l' ingénierie informatique et des technologies de l' information, basée à Boissy Saint Leger. Nous sommes à...
CDI - Temps plein
Publié il y a 12 jours
CDI
Temps plein - (déjà vu)
Administrateur / Administratrice réseau informatique (H/F)
VIBTIC - 94 - BOISSY ST LEGER
La société VIBTIC est une société de conseil et de services spécialisée dans le domaine de l' ingénierie informatique et des technologies de l' information, basée à Boissy Saint Leger. Nous sommes à...
CDI - Temps plein
Publié il y a 12 jours
CDI
Temps plein - (déjà vu)
Apprenti administrateur support (H/F)
JEHANN - 75 - PARIS 15
France Travail et Dawan s'associent pour la mise en place d'une POE Administrateur support. Les candidats recrutés pour la POE intègreront ensuite le poste d'Administrateur d'infrastructures...
CDD - Temps plein
Publié il y a 20 jours
CDD
Temps plein - (déjà vu)
Administrateur base de données SQL Server (H/F)
ABIL RESSOURCES - 92 - NEUILLY SUR SEINE
Missions Rattaché au pôle infrastructure composé de 6 personnes, vous expérience vous permet de bien appréhender une infrastructure (+ création de poste) : - Analyser comment la donnée est structuré...
CDI - Temps plein
Publié il y a 7 jours
CDI
Temps plein
Découvrez d'autres services web
Réussir son CV et sa lettre de motivation
Suscitez l’intérêt du recruteur et donnez-lui envie de vous rencontrer.
B.A.BA Entretien
Apprenez à préparer votre prochain entretien.
Informations sur le marché du travail
Accédez aux informations et statistiques sur ce métier.
Simulateurs d'aides et allocations en cas de reprise d'emploi
Estimez vos futures ressources financières sur les 6 prochains mois.
- Voir plus de services (Emploi store)