Aller au contenu
Toutes les missions
Veille marché · Freework Publiée il y a 1 mois

DATA ENGINEER — DATABRICKS / STREAMING / AWS

CONTEXTEDans le cadre d’un environnement international de trading d’énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève.Vous intervien...

Entreprise TALAN SA
Mode Genève (Suisse)

Résumé

<p><strong>CONTEXTE</strong></p><p>Dans le cadre d’un environnement international de trading d’énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève.</p><p>Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité.</p><p>Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu’avec des équipes internationales basées notamment à Paris, Houston et Singapour.</p><p><strong>RESPONSABILITÉS</strong></p><ul><li><p>Concevoir, maintenir et optimiser des pipelines de données batch et temps réel.</p></li><li><p>Développer des solutions de streaming data à haute performance.</p></li><li><p>Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake.</p></li><li><p>Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis.</p></li><li><p>Développer des pipelines et APIs en Python.</p></li><li><p>Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM.</p></li><li><p>Garantir la disponibilité, l’intégrité, la qualité et la performance des données.</p></li><li><p>Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel.</p></li><li><p>Participer à l’amélioration continue des pratiques de monitoring, CI/CD et observabilité.</p></li><li><p>Collaborer avec les équipes métier et techniques dans un contexte international et exigeant.</p></li></ul><p><strong>ENVIRONNEMENT TECHNIQUE</strong></p><p>Databricks · Spark · Structured Streaming · Delta Lake · Python · AWS · Kinesis · Kafka · S3 · Lambda · SQS · SNS · EventBridge · IAM · PySpark · Git · GitHub Actions · CloudWatch · Grafana</p>