Skip to content
Toutes les missions
Veille marché · Freework Publiée 4 weeks ago

Data engineer Databricks

Missions principales■     Être force de proposition et participer à la conception des solutions techniques avec les membres de l’équipe■     Comprendre les enjeux métiers afin de concevoir d...

Entreprise Hexateam
Mode Remote

Résumé

<p><strong>Missions principales</strong></p><p>■     Être force de proposition et participer à la conception des solutions techniques avec les membres de l’équipe</p><p>■     Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels</p><p>■     Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc.</p><p>■     Concevoir et faire évoluer les architectures de données selon l’approche Databricks Medallion Architecture (Bronze, Silver, Gold)</p><p>■     Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API</p><p>■     Contribuer à l’amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations</p><p><strong>Activités</strong></p><p>■     Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d’intégration et les flux métiers</p><p>■     Mettre en œuvre et orchestrer les traitements de données avec Databricks</p><p>■     Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d’indexation, d’optimisation et de gouvernance</p><p>■     Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d’exécution</p><p>■     Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD</p><p>■     Concevoir, développer et maintenir des API pour l’exposition et la consommation des données</p><p>■     Mettre en place des mécanismes de Data Quality, de monitoring et d’alerting</p><p>■     Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives</p><p>■     Rédiger et maintenir la documentation technique des solutions mises en œuvre</p><p>■     Accompagner les équipes dans l’adoption des bonnes pratiques de Data Engineering</p><p></p>