Aller au contenu
Toutes les missions
Veille marché · Freework Publiée il y a 3 semaines

Cloud Data Engineer AWS / Streaming temps réel (H/F)

Vos missionsConcevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l'analyse des donnéesDévelopper des pipelines de traitement temps réel et batch a...

Entreprise VISIAN
Mode Marseille, Provence-Alpes-Côte d'Azur

Résumé

<p><strong>Vos missions</strong></p><ul><li><p>Concevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l&#039;analyse des données</p></li><li><p>Développer des pipelines de traitement temps réel et batch avec Apache Flink, Apache Spark et Apache Iceberg</p></li><li><p>Déployer les pipelines d&#039;ingestion et de traitement en CI/CD et Infrastructure as Code, pour les environnements batch et streaming</p></li><li><p>Participer à la migration et au refactoring de l&#039;architecture historique vers AWS (Move to Cloud, ETL/ELT, batch et streaming)</p></li><li><p>Contribuer à l&#039;implémentation d&#039;algorithmes de maintenance prédictive et de routage</p></li><li><p>Industrialiser et exposer des modèles de Machine Learning sous forme d&#039;API, en lien avec les équipes data science</p></li><li><p>Assurer le monitoring, la fiabilité et la performance des traitements en production</p></li></ul><p><strong>Environnement technique</strong></p><ul><li><p><strong>Streaming et traitement</strong> : Apache Flink, Apache Kafka (MSK), Kinesis, Apache Spark, Apache Iceberg</p></li><li><p><strong>Orchestration</strong> : Apache Airflow (MWAA)</p></li><li><p><strong>Cloud AWS</strong> : S3, Lambda, EKS, ECS, EC2, ECR, IAM, IoT Core</p></li><li><p><strong>IoT</strong> : MQTT, données capteurs remontées par satellite</p></li><li><p><strong>Data warehouse</strong> : Snowflake</p></li><li><p><strong>DevOps / IaC</strong> : Terraform, Docker, CI/CD</p></li><li><p><strong>Langages</strong> : Python, SQL</p></li></ul><p><strong>Profil recherché</strong></p><ul><li><p>Formation Bac&#43;5 (école d&#039;ingénieur ou master) en informatique, data ou télécommunications</p></li><li><p>Au moins 5 ans d&#039;expérience en data engineering, dont une part significative sur AWS</p></li><li><p>Expérience solide des architectures streaming à forte volumétrie (Flink, Kafka ou Kinesis)</p></li><li><p>Maîtrise de Terraform et des pratiques CI/CD appliquées aux pipelines de données</p></li><li><p>Une expérience d&#039;industrialisation de modèles ML (MLOps, mise en API, monitoring) est un vrai plus</p></li><li><p>Une connaissance des données IoT ou industrielles (maintenance prédictive, capteurs) est appréciée</p></li><li><p>Une certification AWS (Solutions Architect, Data Engineer) est un atout</p></li><li><p>Anglais professionnel</p></li></ul><p><strong>Savoir-être</strong></p><ul><li><p>Autonomie et sens des responsabilités sur des systèmes critiques en production</p></li><li><p>Capacité à dialoguer avec les équipes métier pour traduire leurs besoins en solutions techniques</p></li><li><p>Rigueur, goût de la performance et de la qualité de la donnée</p></li><li><p>Esprit d&#039;équipe et envie de partager ses pratiques</p></li></ul><p><strong>Informations pratiques</strong></p><p></p><ul><li><p><strong>Contrat</strong> : CDI chez Visian Azur</p></li><li><p><strong>Lieu</strong> : Marseille, présence régulière sur le site du client</p></li><li><p><strong>Démarrage</strong> : à définir ensemble</p></li><li><p><strong>Rémunération</strong> : selon profil et expérience</p></li></ul>