Cloud Data Engineer AWS / Streaming temps réel (H/F)
Vos missionsConcevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l'analyse des donnéesDévelopper des pipelines de traitement temps réel et batch a...
Résumé
<p><strong>Vos missions</strong></p><ul><li><p>Concevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l'analyse des données</p></li><li><p>Développer des pipelines de traitement temps réel et batch avec Apache Flink, Apache Spark et Apache Iceberg</p></li><li><p>Déployer les pipelines d'ingestion et de traitement en CI/CD et Infrastructure as Code, pour les environnements batch et streaming</p></li><li><p>Participer à la migration et au refactoring de l'architecture historique vers AWS (Move to Cloud, ETL/ELT, batch et streaming)</p></li><li><p>Contribuer à l'implémentation d'algorithmes de maintenance prédictive et de routage</p></li><li><p>Industrialiser et exposer des modèles de Machine Learning sous forme d'API, en lien avec les équipes data science</p></li><li><p>Assurer le monitoring, la fiabilité et la performance des traitements en production</p></li></ul><p><strong>Environnement technique</strong></p><ul><li><p><strong>Streaming et traitement</strong> : Apache Flink, Apache Kafka (MSK), Kinesis, Apache Spark, Apache Iceberg</p></li><li><p><strong>Orchestration</strong> : Apache Airflow (MWAA)</p></li><li><p><strong>Cloud AWS</strong> : S3, Lambda, EKS, ECS, EC2, ECR, IAM, IoT Core</p></li><li><p><strong>IoT</strong> : MQTT, données capteurs remontées par satellite</p></li><li><p><strong>Data warehouse</strong> : Snowflake</p></li><li><p><strong>DevOps / IaC</strong> : Terraform, Docker, CI/CD</p></li><li><p><strong>Langages</strong> : Python, SQL</p></li></ul><p><strong>Profil recherché</strong></p><ul><li><p>Formation Bac+5 (école d'ingénieur ou master) en informatique, data ou télécommunications</p></li><li><p>Au moins 5 ans d'expérience en data engineering, dont une part significative sur AWS</p></li><li><p>Expérience solide des architectures streaming à forte volumétrie (Flink, Kafka ou Kinesis)</p></li><li><p>Maîtrise de Terraform et des pratiques CI/CD appliquées aux pipelines de données</p></li><li><p>Une expérience d'industrialisation de modèles ML (MLOps, mise en API, monitoring) est un vrai plus</p></li><li><p>Une connaissance des données IoT ou industrielles (maintenance prédictive, capteurs) est appréciée</p></li><li><p>Une certification AWS (Solutions Architect, Data Engineer) est un atout</p></li><li><p>Anglais professionnel</p></li></ul><p><strong>Savoir-être</strong></p><ul><li><p>Autonomie et sens des responsabilités sur des systèmes critiques en production</p></li><li><p>Capacité à dialoguer avec les équipes métier pour traduire leurs besoins en solutions techniques</p></li><li><p>Rigueur, goût de la performance et de la qualité de la donnée</p></li><li><p>Esprit d'équipe et envie de partager ses pratiques</p></li></ul><p><strong>Informations pratiques</strong></p><p></p><ul><li><p><strong>Contrat</strong> : CDI chez Visian Azur</p></li><li><p><strong>Lieu</strong> : Marseille, présence régulière sur le site du client</p></li><li><p><strong>Démarrage</strong> : à définir ensemble</p></li><li><p><strong>Rémunération</strong> : selon profil et expérience</p></li></ul>