Data Engineer Databricks F/H
Orange S.A.7 months ago
Lyon, FranceMid Level
Responsibilities
- Concevoir des pipelines ETL/ELT performants et évolutifs.
- Ingérer, transformer, nettoyer et contrôler la qualité des données provenant de bases de données, fichiers, APIs et sources de streaming.
- Optimiser les requêtes, le partitionnement, le caching, l’autoscaling, les clusters Databricks et les coûts d’exécution.
- Mettre en place et organiser des architectures Data Lakehouse selon les bonnes pratiques Bronze, Silver et Gold.
- Appliquer les politiques de sécurité et de gouvernance avec Unity Catalog.
- Développer des notebooks et des jobs pour automatiser les traitements.
- Orchestrer les workflows avec Databricks Workflows ou Azure Data Factory.
- Mettre en place l’industrialisation et le CI/CD avec GitHub Actions, Azure DevOps ou des outils similaires.
- Fournir des jeux de données prêts pour le Machine Learning aux Data Scientists.
- Accompagner les analystes dans l’optimisation de leurs requêtes et tableaux de bord BI.
- Conseiller les équipes sur les bonnes pratiques Databricks et Spark.
- Recueillir les besoins métier, rédiger les spécifications fonctionnelles et techniques et accompagner la mise en œuvre sur la plateforme data.
Requirements
- Formation dans le domaine de la data.
- Au moins 2 ans d’expérience significative comme consultant Data Databricks.
- Compétences techniques en Databricks, Azure, Power BI et Spark SQL.
Tech Stack
Categories
Data Engineering
About Orange S.A.
Orange S.A. is a multinational telecommunications operator providing mobile, fixed broadband, internet, and TV services to consumers, and network and IT services to enterprises under Orange Business. Headquartered in Issy-les-Moulineaux and publicly traded on Euronext Paris, it operates in 26 countries and serves around 291 million customers. The group also offers cybersecurity, IoT connectivity, and financial services such as mobile payments and Orange Bank in select markets.