Aller au contenu
Toutes les missions
Veille marché · Freework Nouvelle Publiée il y a 4 heures

Data Engineer – Plateforme Data on-premise (F/H).

Pour un acteur de la fourniture d’énergie, participez à la construction d’une plateforme Data interne, on-premise, reposant sur des outils open source modernes.Vous concevez, développez, ind...

Entreprise Signe +
Mode Remote

Résumé

<p>Pour un acteur de la fourniture d’énergie, participez à la construction d’une plateforme Data interne, on-premise, reposant sur des outils open source modernes.</p><p>Vous concevez, développez, industrialisez et maintenez les composants de cette plateforme. Vous assurez l’acquisition, la transformation, la qualité et la disponibilité des données nécessaires aux usages analytiques, décisionnels et d’intelligence artificielle. </p><p><strong>Conception et développement des flux</strong></p><ul><li><p>Concevoir les architectures de flux de données.</p></li><li><p>Développer les pipelines d’ingestion.</p></li><li><p>Mettre en œuvre les transformations de données.</p></li></ul><p><strong>Modélisation et valorisation</strong></p><ul><li><p>Concevoir les modèles de données analytiques.</p></li><li><p>Garantir la cohérence des indicateurs. </p></li></ul><p><strong>Industrialisation</strong></p><ul><li><p>Maintenir les composants techniques de la plateforme.</p></li><li><p>Développer les workflows d’orchestration.</p></li><li><p>Participer aux déploiements CI/CD.</p></li></ul><p><strong>Qualité et gouvernance</strong></p><ul><li><p>Mettre en place les contrôles qualité des données.</p></li><li><p>Contribuer au catalogue de données et assurer la traçabilité.</p></li></ul><p><strong>Maintien en conditions opérationnelles</strong></p><ul><li><p>Suivre les traitements et analyser les incidents.</p></li><li><p>Contribuer aux évolutions de la plateforme.</p></li><li><p>Documenter les réalisations et transmettre les connaissances. </p></li></ul><p><strong>Environnement technique</strong></p><ul><li><p>Développement et requêtage : Python et SQL.</p></li><li><p>Stockage : SeaweedFS, compatible S3.</p></li><li><p>Ingestion : dlt.</p></li><li><p>Transformation : dbt.</p></li><li><p>Orchestration : Apache Airflow.</p></li><li><p>Format de table : DuckLake.</p></li><li><p>Moteur de requête : DuckDB.</p></li><li><p>Catalogue de données : OpenMetadata.</p></li><li><p>Gestion des autorisations : Keycloak.</p></li><li><p>Gestion de versions : GitLab.</p></li><li><p>Visualisation : Power BI. </p></li></ul><p>Vous évoluez dans une communauté technique favorisant l’innovation, le partage entre pairs et le développement des compétences grâce aux formations et certifications</p>