Apache Airflow – Orchestrer vos pipelines

Apache Airflow est l’orchestrateur de référence pour planifier, enchaîner et surveiller des traitements de données écrits en Python.

En trois jours, vous apprenez à concevoir des DAG lisibles et robustes, à gérer les dépendances, les reprises sur erreur et la planification, puis à préparer leur passage en production.

Les travaux pratiques s’appuient sur des pipelines réalistes : ingestion de fichiers, appels d’API, chargement dans un entrepôt de données.

Connaissance du langage Python (fonctions, modules, environnements virtuels). Notions de ligne de commande Linux et de bases de données.

• Objectifs pédagogiques
  • Comprendre l’architecture d’Airflow et ses composants
  • Concevoir des DAG maintenables
  • Maîtriser la planification et la gestion des erreurs
  • Préparer le déploiement et l’exploitation
• Objectifs opérationnels
  • Installer un environnement Airflow local
  • Écrire des DAG avec les opérateurs et la TaskFlow API
  • Échanger des données entre tâches (XCom) et utiliser le templating
  • Configurer connexions, variables et reprises automatiques
  • Tester un DAG et l’intégrer dans une chaîne d’intégration continue

PLAN PÉDAGOGIQUE

Jour 1

• Les fondamentaux
  • Orchestration de données : besoins et alternatives
  • Architecture : planificateur, exécuteur, serveur web, base de métadonnées
  • Installation avec Docker Compose et visite de l’interface
• Premiers DAG
  • Structure d’un DAG, tâches et dépendances
  • Opérateurs courants : Python, Bash, SQL
  • TaskFlow API et décorateurs
  • Travaux pratiques : un premier pipeline d’ingestion

Jour 2

• Planification
  • Intervalles, dates logiques, rattrapage (catchup) et backfill
  • Planification déclenchée par les données (datasets)
  • Capteurs (sensors) et attentes efficaces
• Données et paramétrage
  • XCom : bonnes pratiques et limites
  • Templating Jinja et macros
  • Connexions, variables et gestion des secrets
• Robustesse
  • Reprises, délais, règles de déclenchement
  • Alertes et notifications
  • Idempotence : rejouer un traitement sans effet de bord

Jour 3

• Organiser le code
  • Structure d’un dépôt de DAG, modules partagés
  • Task Groups et DAG dynamiques (mapping de tâches)
• Tester et déployer
  • Tests unitaires et tests d’intégrité des DAG
  • Intégration continue et déploiement
  • Choisir un exécuteur : local, Celery, Kubernetes
• Exploiter
  • Journaux, métriques et supervision
  • Atelier de synthèse : pipeline complet de l’ingestion à l’entrepôt

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués

À la fin de la formation tous les participants recevront une attestation de formation

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Sessions inter-entreprises : nous consulter pour les prochaines dates (3 jours).

Cette formation peut être organisée en intra, pour votre seule équipe, en présentiel dans nos locaux. Pour ce faire, merci d’utiliser le formulaire de contact afin que nos équipes organisent avec vous une formation sur mesure selon vos disponibilités et vos besoins.

Délai d’accès : 2 à 4 semaines entre la demande et le début de la formation.

Inscription au plus tard 10 jours avant le début de la session, afin de garantir votre place ainsi qu’une préparation et un accueil de qualité.

Merci de nous contacter au 01 86 95 71 60 ou à l’adresse formation@adbi.fr