Aller au contenu
Toutes les missions
Veille marché · Freework Publiée il y a 1 mois

Data Engineer PySpark / Hadoop — Datalake du financement du commerce international

Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d...

Entreprise CAT-AMANIA
Mode Remote

Résumé

<p>Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu&#039;ils tournent mieux ? Rejoignez l&#039;équipe technique Big Data de la banque de financement et d&#039;investissement d&#039;un grand groupe bancaire.</p><p>L&#039;équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d&#039;applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l&#039;ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l&#039;ETL et réécrire les workflows en code.</p><p>Vous intervenez sur le périmètre du financement du commerce international (trade finance).</p><p><strong>Vos principales missions :</strong></p><ul><li><p>Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg).</p></li><li><p>Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l&#039;équipe.</p></li><li><p>Rationaliser les traitements pour réduire les coûts d&#039;exploitation et les incidents de production.</p></li><li><p>Préparer l&#039;ordonnancement Control-M avec l&#039;équipe de production applicative.</p></li><li><p>Proposer des évolutions de l&#039;existant : dans la plupart des cas, l&#039;équipe choisit la refonte plutôt que le maintien du legacy.</p></li></ul><p><strong>Ce que la mission vous apporte :</strong></p><ul><li><p>Un chantier de fond : la sortie d&#039;un ETL au profit du code, sur deux ans.</p></li><li><p>Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants.</p></li><li><p>Une équipe qui attend qu&#039;on remette en cause l&#039;existant et qui décide en conséquence.</p></li></ul>