Descriptif du poste:\n\nMission principale\nLe Data Engineer Confirmé conçoit, développe, industrialise et maintient les architectures de données ainsi que les pipelines de traitement permettant de collecter, transformer, stocker et valoriser les données. Il garantit la qualité, la disponibilité et la sécurité des données afin de répondre aux besoins des équipes métiers, Data et Intelligence Artificielle.\nPrincipales missions\nConception et développement\n* Concevoir, développer et maintenir des pipelines de données robustes et évolutifs.\n* Développer les traitements ETL/ELT.\n* Concevoir les modèles de données et optimiser les performances.\n* Mettre en œuvre des architectures Data Lake, Data Warehouse et Lakehouse.\n* Industrialiser les traitements de données.\nExploitation et optimisation\n* Garantir la disponibilité, la qualité et la fiabilité des données.\n* Superviser les traitements batch et temps réel.\n* Optimiser les performances des pipelines et des bases de données.\n* Mettre en œuvre les bonnes pratiques de développement, de tests et de documentation.\nCollaboration\n* Collaborer avec les Data Scientists, Data Analysts, développeurs et équipes métiers.\n* Participer aux choix d'architecture Data.\n* Accompagner les utilisateurs dans l'exploitation des données.\n* Participer aux revues techniques et aux projets de transformation Data.\nGouvernance et sécurité\n* Assurer la conformité des traitements de données.\n* Appliquer les règles de gouvernance et de sécurité.\n* Participer à l'amélioration continue de la plateforme Data.\n\nProfil recherché:\n\nProfil recherché\nFormation\n* Bac +5 en informatique, Data Engineering, Intelligence Artificielle ou équivalent.\nExpérience\n* Minimum 4 ans d'expérience en Data Engineering.\n* Expérience dans des environnements Cloud et Big Data.\nCompétences techniques\n* Excellente maîtrise de SQL et Python.\n* Maîtrise des architectures Data Lake, Data Warehouse et Lakehouse.\n* Développement de pipelines ETL/ELT.\n* Traitement de données batch et temps réel.\n* Bonne connaissance des environnements Cloud (Azure, AWS et/ou GCP).\n* Expérience des plateformes Big Data (Spark, Kafka, Databricks.).\n* Maîtrise des outils de versioning (Git) et des pratiques CI/CD.\n* Bonne connaissance des principes DevOps, DataOps et Infrastructure as Code.\n* Connaissance des enjeux de qualité, de gouvernance et de sécurité des données.\nEnvironnement technique\nOrchestration & Workflow\n* Apache Airflow (DAGs, scheduling, monitoring, gestion des connexions)\n* Celery\nTransformation & Traitement des données\n* dbt (models, tests, documentation, lineage, incremental models, snapshots)\n* Polars\n* Pandas\nData Warehouse\n* Snowflake (Warehouses, RBAC, Clustering, Materialized Views, Time Travel, Zero-Copy Cloning)\nBig Data & Streaming\n* Apache Spark / PySpark\n* Spark Structured Streaming\n* Databricks (Jobs, Delta Live Tables, Delta Lake)\n* Apache Kafka\nCloud\n* Microsoft Azure (ADLS Gen2, AKS, ACR, Azure Active Directory)\n* Google Cloud Platform (BigQuery, Cloud Storage, Vertex AI)\n* Amazon Web Services (S3, Lambda)\n* MinIO\nLangages\n* Python\n* SQL\n* Scala\n* Java\n* R\n* JavaScript\n* VBA\n* C / C#\nFrameworks\n* FastAPI\n* Django\n* React\nFrameworks IA/ML (selon les projets)\n* TensorFlow\n* Keras\n* PyTorch\n* spaCy\n* NLTK\n* YOLO\nBases de données\n* PostgreSQL\n* MongoDB\n* MySQL\n* Microsoft SQL Server\n* Oracle Database\n* Elasticsearch\n* NoSQL\nCI/CD & DevOps\n* Docker\n* GitLab CI/CD\n* Kubernetes\n* Ansible\n* Nexus Repository\n* SonarQube\n* Portainer\nObservabilité & Monitoring\n* Grafana\n* Prometheus\n* Logstash\n* Kibana\n* cAdvisor\n* Airflow Monitoring\nData Visualisation\n* Microsoft Power BI\nOutils\n* Jira\n* DVC (Data Version Control)\n* MkDocs\n* Sphinx\n* Locust\nSystèmes d'exploitation\n* Linux\n* Unix\n* Windows