Aller au contenu
Toutes les missions
Veille marché · Freework Publiée il y a 3 semaines

Data Airflow expert

Mission: Renforcement de l'équipe Data Platform , avec un profil Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA.Contexte de la missionLa plateforme d'or...

Entreprise Craftman data
Mode Paris, Île-de-France

Résumé

<ul><li><p><strong>Mission:</strong> Renforcement de l&#039;équipe Data Platform , avec un profil Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA.</p></li><li><p><strong>Contexte de la mission</strong></p></li><li><p>La plateforme d&#039;orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données bancaires à travers 9 pays européens. Un audit technique approfondi a été conduit début 2026, suivi d&#039;une phase de remédiation qui a permis de stabiliser les fondations.</p></li><li><p>La mission porte aujourd&#039;hui sur la phase d&#039;optimisation et de sécurisation durable de la plateforme : passage à l&#039;échelle, renforcement de l&#039;observabilité, étude d&#039;une infrastructure cible plus adaptée, et montée en compétence des équipes.</p></li><li><p><strong>Objectifs de la mission</strong></p></li><li><p>La mission se structure autour de quatre axes :</p></li><li><p>Axe 1 — Optimisation architecturale<br />Optimiser et faire évoluer les mécanismes d&#039;orchestration existants pour permettre le passage à l&#039;échelle et réduire les coûts d&#039;exploitation (temps de résolution d&#039;incidents, effort d&#039;ajout de nouveaux pays).</p></li><li><p>Axe 2 — Sécurisation et résilience<br />Renforcer la robustesse de la plateforme face à la charge et aux défaillances : observabilité de bout en bout, politique de rotation des secrets, isolation des flux, capacité de reprise automatique.</p></li><li><p>Axe 3 — Étude et migration vers une infrastructure cible<br />L&#039;audit a mis en évidence les limites structurelles d&#039;AWS MWAA pour nos besoins (contraintes de scaling, manque de flexibilité sur la configuration, coûts). Le Lead Data Orchestration Engineer devra étudier les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, ou autre solution adaptée à nos process) et piloter la migration vers l&#039;infrastructure retenue si pertinent.</p></li><li><p>Axe 4 — Autonomie des équipes<br />Former et structurer les équipes Dev et Ops pour qu&#039;elles puissent opérer, diagnostiquer et faire évoluer la plateforme en autonomie sur le long terme.</p></li><li><p>Profil recherché</p></li><li><p>Séniorité : 5 ans d&#039;expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer).</p></li><li><p>Compétences techniques requises :</p></li><li><p>Maîtrise du modèle d&#039;exécution Airflow : scheduler, executor, pools, triggers, deferrable operators</p></li><li><p>Expérience de tuning et d&#039;optimisation de plateformes Airflow à l&#039;échelle (200&#43; DAGs en production)</p></li><li><p>Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM</p></li><li><p>Connaissance d&#039;alternatives à MWAA : Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d&#039;un orchestrateur vers un autre fortement appréciée</p></li><li><p>Expérience avec des DAG Factories dynamiques (génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante</p></li><li><p>Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux</p></li><li><p>Observabilité : métriques, dashboards, alerting, routage d&#039;incidents par criticité</p></li><li><p>Python avancé (plugins custom, operators, sensors)</p></li><li><p>Infrastructure as Code (Terraform) — connaissance souhaitée</p></li><li><p>Compétences transverses :</p></li><li><p>Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns, conventions)</p></li><li><p>Expérience de mentorat et de transfert de compétences auprès d&#039;équipes mixtes (Dev &#43; Ops)</p></li><li><p>Capacité à piloter un programme d&#039;optimisation technique (priorisation, suivi, reporting)</p></li><li><p>Autonomie et force de proposition</p></li><li><p>Missions principales</p></li><li><p>Axe 1 — Optimisation architecturale</p></li><li><p>Faire évoluer la DAG Factory existante : enrichissement, patterns avancés, maintenabilité</p></li><li><p>Piloter la migration des dépendances inter-DAGs vers des mécanismes natifs Airflow (Datasets)</p></li><li><p>Optimiser les performances au parse-time et runtime (mise en cache, suppression des appels coûteux)</p></li><li><p>Mettre en place la validation automatisée des DAGs en CI/CD (parse test, linting, tests d&#039;intégration)</p></li><li><p>Axe 2 — Sécurisation et résilience</p></li><li><p>Implémenter une politique de rotation des secrets</p></li><li><p>Mettre en place le routage différencié des alertes par type d&#039;incident et par criticité</p></li><li><p>Piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs)</p></li><li><p>Renforcer l&#039;isolation réseau et le durcissement de la configuration</p></li><li><p>Finaliser et maintenir les runbooks d&#039;incidents (classification, escalade, post-mortem)</p></li><li><p>Axe 3 — Étude et migration vers une infrastructure cible</p></li><li><p>Réaliser un benchmark des alternatives à AWS MWAA au regard de nos contraintes (multi-pays, volumétrie, séparation Dev/Ops, coûts)</p></li><li><p>Produire une recommandation argumentée avec analyse coûts/bénéfices, risques de migration, et plan de transition</p></li><li><p>Piloter la migration vers l&#039;infrastructure retenue (POC, migration progressive, bascule production)</p></li><li><p>Garantir la continuité de service pendant la transition</p></li><li><p>Axe 4 — Autonomie des équipes</p></li><li><p>Lancer et piloter le programme de formation sur l&#039;orchestration (Dev &#43; Ops, ~10 personnes)</p></li><li><p>Constituer la méta-équipe plateforme (vision unifiée Dev &#43; Ops sous un leadership technique commun)</p></li><li><p>Accompagner l&#039;évolution des profils Dev → Data Engineers et Ops → DataOps</p></li><li><p>Évaluer l&#039;internalisation progressive de profils techniques clés</p></li><li><p>Compétences techniques</p></li></ul><p><br /></p>