Data Engineer - F/H
- Analyser les besoins fonctionnels et contribuer aux choix de conception technique.- Développer et maintenir des traitements distribués en Java avec Apache Spark.- Concevoir des pipelines d...
Résumé
<p>- Analyser les besoins fonctionnels et contribuer aux choix de conception technique.<br />- Développer et maintenir des traitements distribués en Java avec Apache Spark.<br />- Concevoir des pipelines de transformation et d'agrégation de données volumineuses.<br />- Optimiser les performances des traitements : partitionnement, jointures, gestion de la mémoire et utilisation des ressources.<br />- Développer les tests et garantir la qualité du code à travers les revues et les bonnes pratiques.<br />- Participer à l'industrialisation des développements et aux déploiements via les pipelines CI/CD.<br />- Diagnostiquer les anomalies et contribuer au maintien en conditions opérationnelles des applications.<br />- Rédiger la documentation technique et collaborer avec les équipes métiers, Data et infrastructure.<br /><br />ENVIRONNEMENT TECHNIQUE : Java, Apache Spark, Spark SQL, SQL, Git, Maven ou Gradle, CI/CD, Linux.</p>