Aller au contenu
Toutes les missions
Veille marché · Freework Nouvelle Publiée il y a 11 heures

Data Engineer Databricks CDI

Au sein de l’équipe, vous concevez, développez et maintenez les pipelines de données et les architectures de données de la plateforme, en lien avec les enjeux métiers.Missions principalesÊtr...

Entreprise Hexateam
Mode Remote

Résumé

<p>Au sein de l’équipe, vous concevez, développez et maintenez les pipelines de données et les architectures de données de la plateforme, en lien avec les enjeux métiers.</p><p><strong>Missions principales</strong></p><ul><li><p>Être force de proposition et participer à la conception des solutions techniques avec les membres de l’équipe</p></li><li><p>Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels</p></li><li><p>Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc.</p></li><li><p>Concevoir et faire évoluer les architectures de données selon l’approche Databricks Medallion Architecture (Bronze, Silver, Gold)</p></li><li><p>Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API</p></li><li><p>Contribuer à l’amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations</p></li></ul><p><strong>Activités</strong></p><ul><li><p>Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d’intégration et les flux métiers</p></li><li><p>Mettre en œuvre et orchestrer les traitements de données avec Databricks</p></li><li><p>Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d’indexation, d’optimisation et de gouvernance</p></li><li><p>Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d’exécution</p></li><li><p>Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD</p></li><li><p>Concevoir, développer et maintenir des API pour l’exposition et la consommation des données</p></li><li><p>Mettre en place des mécanismes de Data Quality, de monitoring et d’alerting</p></li><li><p>Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives</p></li><li><p>Rédiger et maintenir la documentation technique des solutions mises en œuvre</p></li><li><p>Accompagner les équipes dans l’adoption des bonnes pratiques de Data Engineering</p></li></ul><p><strong>Environnement technique</strong></p><ul><li><p>Langages : Python, SQL</p></li><li><p>Data processing : Spark, PySpark, DBUtils</p></li><li><p>API et tests : FastAPI, Pytest</p></li><li><p>Data platform : Databricks, Unity Catalog</p></li><li><p>Orchestration : Airflow, avec migration vers Databricks Workflows</p></li><li><p>AWS : Lambda, Secrets Manager, S3, ECS</p></li><li><p>Versioning : Git</p></li><li><p>Industrialisation : pipelines CI/CD</p></li></ul>