Présentation
Vos pipelines Airflow tournent déjà ; il s’agit maintenant de les rendre plus génériques, plus fiables et plus simples à exploiter à grande échelle.
Cette formation approfondit la génération dynamique de DAG, la création d’opérateurs, l’intégration avec les environnements d’exécution externes et l’exploitation d’une plateforme Airflow partagée.
Elle s’appuie sur des cas rencontrés par nos équipes sur des plateformes de production.
Prérequis
Avoir suivi « Apache Airflow – Orchestrer vos pipelines » ou écrire des DAG en production depuis plusieurs mois. Bonne maîtrise de Python.
Objectifs
- Objectifs pédagogiques
- Concevoir des DAG génériques et dynamiques
- Étendre Airflow avec ses propres opérateurs et hooks
- Exécuter des tâches dans des environnements isolés
- Exploiter et faire évoluer une plateforme Airflow
- Objectifs opérationnels
- Générer des DAG à partir de configurations
- Développer un opérateur et un hook réutilisables
- Lancer des tâches dans des conteneurs ou sur Kubernetes
- Mettre en place la supervision et le dimensionnement
- Préparer une montée de version d’Airflow
Détail
PLAN PÉDAGOGIQUE
Jour 1
- DAG avancés
- Mapping dynamique de tâches et génération de DAG par configuration
- Branchements, regroupements et sous-flux
- Dépendances entre DAG et planification par les données
- Étendre Airflow
- Écrire un hook et un opérateur personnalisés
- Fournisseurs (providers) et plugins
- Travaux pratiques : un opérateur réutilisable pour votre entrepôt
- Environnements d’exécution
- Isoler les dépendances : environnements virtuels, conteneurs
- Exécuter des tâches sur Kubernetes
- Déclencher des traitements externes (dbt, Spark, services cloud)
Jour 2
- Exploitation à l’échelle
- Exécuteurs et dimensionnement : parallélisme, pools, files
- Supervision : métriques, journaux centralisés, alertes
- Sécurité : rôles, secrets et backends de secrets
- Qualité et cycle de vie
- Tests avancés et environnements de recette
- Montées de version : préparation et vérifications
- Bonnes pratiques d’une plateforme partagée entre équipes
- Atelier de synthèse
- Revue et refonte d’un projet Airflow existant
Modalités d'évaluation
À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués
Attestation
À la fin de la formation tous les participants recevront une attestation de formation
Accessibilité
Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)
Prochaines dates de formation
Sessions inter-entreprises : nous consulter pour les prochaines dates (2 jours).
Cette formation peut être organisée en intra, pour votre seule équipe, en présentiel dans nos locaux. Pour ce faire, merci d’utiliser le formulaire de contact afin que nos équipes organisent avec vous une formation sur mesure selon vos disponibilités et vos besoins.
Délai d'Accès à la Formation
Délai d’accès : 2 à 4 semaines entre la demande et le début de la formation.
Inscription au plus tard 10 jours avant le début de la session, afin de garantir votre place ainsi qu’une préparation et un accueil de qualité.
Contact
Merci de nous contacter au 01 86 95 71 60 ou à l’adresse formation@adbi.fr
