Data Engineer (Azure Databricks)
Nous recherchons un Data Engineer pour renforcer une équipe Data sur la mise en place de flux d’ingestion au sein d’une plateforme Data basée sur Microsoft Azure Databricks. La mission consi...
Résumé
<p>Nous recherchons un Data Engineer pour renforcer une équipe Data sur la mise en place de flux d’ingestion au sein d’une plateforme Data basée sur Microsoft Azure Databricks. La mission consiste à intégrer des données issues d’une solution de souscription externe vers une architecture Data Lake de type Medaillon (Bronze / Silver / Gold), avec un fort enjeu de qualité, de traçabilité et de supervision des traitements.</p><p></p>Missions principales :<p></p><ul><li><p>Concevoir et développer les pipelines d’ingestion de données dans Azure Databricks.</p></li><li><p>Intégrer des données historiques au sein de la couche Bronze.</p></li><li><p>Mettre en place l’ingestion temps réel d’événements via API.</p></li><li><p>Contrôler la conformité et la structure des données reçues.</p></li><li><p>Implémenter des mécanismes de quarantaine pour les flux non conformes.</p></li><li><p>Réaliser la désérialisation et la transformation des données.</p></li><li><p>Développer les dispositifs de supervision et de télémétrie des traitements.</p></li><li><p>Assurer le comptage et le rapprochement des données émises et intégrées.</p></li><li><p>Gérer les problématiques de doublons et de rejouabilité des flux.</p></li><li><p>Mettre en œuvre les mécanismes de purge et de conservation des données.</p></li><li><p>Participer aux phases de recette et de validation.</p></li><li><p>Produire la documentation technique et d’exploitation.</p></li></ul>