Aller au contenu
Toutes les missions
Veille marché · Freework Publiée il y a 3 semaines

Lead Data Orchestration Engineer Airflow (H/F)

Rejoignez une grande organisation du secteur automobile en tant que Lead Data Orchestration Engineer, en charge du pilotage et de l'optimisation d'une plateforme d'orchestrati...

Entreprise Signe +
Mode Remote

Résumé

<p>Rejoignez une grande organisation du secteur automobile en tant que Lead Data Orchestration Engineer, en charge du pilotage et de l&#039;optimisation d&#039;une plateforme d&#039;orchestration Apache Airflow hébergée sur AWS MWAA. Vous porterez une mission stratégique de transformation technique, alliant optimisation architecturale, sécurisation de l&#039;infrastructure, et autonomisation des équipes autour d&#039;une plateforme bancaire de données critiques.<br /><br />Notre client gère des pipelines de données complexes traversant 9 pays européens, avec une volumétrie considérable (200&#43; DAGs en production). Suite à un audit technique approfondi en début 2026, la plateforme a été stabilisée et entre désormais dans une phase d&#039;optimisation structurelle. Vous serez au cœur de cette évolution, responsable de faire évoluer les mécanismes d&#039;orchestration existants, de renforcer la robustesse face à la charge et aux défaillances, d&#039;étudier les alternatives architecturales, et de structurer les équipes pour une exploitation en autonomie long terme.<br /><br />La mission s&#039;organise autour de quatre axes complémentaires :<br /><br />- Axe 1 - Optimisation architecturale : faire évoluer la DAG Factory existante, migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets), optimiser les performances au parse-time et runtime, et mettre en place la validation automatisée en CI/CD (parse test, linting, tests d&#039;intégration).<br /><br />- Axe 2 - Sécurisation et résilience : implémenter une politique de rotation des secrets, déployer le routage différencié des alertes par type d&#039;incident et criticité, piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs), renforcer l&#039;isolation réseau et durcir la configuration, finaliser et maintenir les runbooks d&#039;incidents.<br /><br />- Axe 3 - Étude et migration vers une infrastructure cible : l&#039;audit a mis en évidence les limites structurelles d&#039;AWS MWAA (contraintes de scaling, flexibilité limitée, coûts). Vous serez chargé de benchmarker les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect ou autres solutions), de produire une recommandation argumentée avec analyse coûts/bénéfices et risques, et de piloter la migration vers l&#039;infrastructure retenue si pertinent.<br /><br />- Axe 4 - Autonomie des équipes : lancer et piloter un programme de formation sur l&#039;orchestration destiné aux équipes Dev et Ops (environ 10 personnes), constituer une méta-équipe plateforme avec vision unifiée Dev &#43; Ops sous leadership technique commun, accompagner l&#039;évolution des profils (Dev vers Data Engineers, Ops vers DataOps), et évaluer l&#039;internalisation progressive de profils techniques clés.<br /><br />Vous travaillerez dans un environnement technique mature et ambitieux, au sein d&#039;une organisation valorisant l&#039;excellence technique, la rigueur architecturale et le mentorat. Vous aurez également la responsabilité de concevoir et faire appliquer des standards...</p>