Aller au contenu
Toutes les missions
Veille marché · Freework Publiée il y a 1 semaine

Data Engineer Senior - BigData

ContexteDans le cadre du renforcement d'une équipe, nous recherchons un consultant Data Engineer Senior/Expert capable d’intervenir de manière autonome sur la conception, l’industrialis...

Entreprise VISIAN
Mode Remote

Résumé

Contexte<p>Dans le cadre du renforcement d&#039;une équipe, nous recherchons un consultant Data Engineer Senior/Expert capable d’intervenir de manière autonome sur la conception, l’industrialisation et l’exploitation de produits et pipelines Data.</p><p>La mission s’inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN.</p>Missions<p>Le consultant interviendra notamment sur les activités suivantes :</p><ul><li><p>Concevoir, développer et optimiser des pipelines de données.</p></li><li><p>Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt.</p></li><li><p>Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion.</p></li><li><p>Orchestrer les traitements avec Airflow.</p></li><li><p>Déployer et maintenir les traitements sur AWS et contribuer à l’Infrastructure as Code avec Terraform.</p></li><li><p>Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d’observabilité.</p></li><li><p>Participer au RUN, à l’analyse des incidents et au traitement des causes racines.</p></li><li><p>Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog.</p></li><li><p>Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables.</p></li></ul>Livrables<p>Les livrables de la prestation pourront comprendre :</p><ul><li><p>Pipelines Data développés, testés et industrialisés.</p></li><li><p>Transformations Spark et Modèles dbt.</p></li><li><p>Workflows Airflow.</p></li><li><p>Infrastructure Terraform nécessaire aux traitements.</p></li><li><p>Tests automatisés et contrôles de Data Quality.</p></li><li><p>Monitoring et alerting associés aux traitements.</p></li><li><p>Documentation technique et fonctionnelle.</p></li><li><p>Documentation des modèles et règles métier.</p></li><li><p>Contribution aux Data Contracts, lineage et métadonnées.</p></li><li><p>Analyse et résolution des incidents.</p></li><li><p>Plans de remédiation pour les incidents ou problèmes récurrents.</p></li><li><p>Contribution aux standards et bonnes pratiques Data Engineering de l&#039;équipe.</p></li></ul>