Data Engineer
• Concevoir et implémenter des pipelines d'ingestion et de transformation de données (batch et temps réel), robustes et scalables.• Développer et maintenir les flux ETL Talend qui ali...
Résumé
<p>• Concevoir et implémenter des pipelines d'ingestion et de transformation de données (batch et temps réel), robustes et scalables.<br />• Développer et maintenir les flux ETL Talend qui alimentent le datalake et les systèmes consommateurs.<br />• Développer des traitements Python / PySpark sur Databricks et mettre en œuvre les modèles de données cibles.<br />• Automatiser les transformations, la documentation et les tests de données avec dbt.<br />• Configurer les pipelines d'acheminement des données, y compris les flux CDC.<br />• Mettre en place les bonnes pratiques de qualité de données, de monitoring, d'alerting et de logging.<br />• Développer des modules réutilisables (templates de pipelines, librairies communes, CI/CD) et exploiter les modules existants dans les nouveaux projets.<br />• Réaliser les développements et les tests associés, et accompagner les mises en production.</p><p> </p>