Apache Airflow orchestre les traitements data : il lance chaque tâche au bon moment, dans le bon ordre, et relance ce qui échoue. Ces huit concepts suffisent pour lire et écrire ses premiers pipelines en Python.
DAGLe pipeline, décrit en Python
Graphe orienté sans cycle qui regroupe les tâches et leurs dépendances, avec une planification et une date de début.
@dag(schedule="@daily",
start_date=pendulum.datetime(2025, 1, 1, tz="Europe/Paris"),
catchup=False)
def chargement_ventes():
...TaskUne étape du pipeline
Unité de travail exécutée par un worker. Avec l’API TaskFlow, une simple fonction décorée devient une tâche.
@task
def extraire():
return lire_api_crm()OperatorUn modèle de tâche prêt à l’emploi
Classe qui définit un type de travail : lancer une commande, exécuter du SQL, appeler un service cloud. Les providers en apportent des centaines.
BashOperator(task_id="dbt_build", bash_command="dbt build")SensorAttend qu’une condition soit remplie
Tâche qui vérifie régulièrement une condition (fichier présent, partition disponible). Le mode reschedule libère le worker entre deux vérifications.
FileSensor(task_id="attendre_fichier",
filepath="/data/in/ventes.csv",
poke_interval=60, mode="reschedule")ScheduleQuand le DAG s’exécute
Expression cron, préréglage (@daily, @hourly) ou déclenchement sur la mise à jour d’un jeu de données.
schedule="0 6 * * 1-5" # 6 h, du lundi au vendrediXComÉchange de petites valeurs entre tâches
Passe des métadonnées d’une tâche à l’autre (chemin, identifiant, compteur). Jamais de gros volumes : ils restent dans le stockage.
donnees = extraire()
charger(donnees) # TaskFlow passe la valeur par XComRetriesRelance automatique en cas d’échec
Nombre de nouvelles tentatives et délai entre elles, définis par tâche ou pour tout le DAG via default_args.
default_args={"retries": 3,
"retry_delay": timedelta(minutes=5)}BackfillRejoue des exécutions passées
Exécute le DAG sur une plage de dates passée, par exemple après une correction. Les tâches doivent être idempotentes.
# Airflow 2
airflow dags backfill -s 2025-01-01 -e 2025-01-31 chargement_ventes
# Airflow 3
airflow backfill create --dag-id chargement_ventes \
--from-date 2025-01-01 --to-date 2025-01-31À garder sous la main : agrandissez-la, puis gardez ces points en tête.
Lisez la définition, cherchez la réponse, puis retournez la carte.
pwdAffiche le répertoire courantlsListe le contenu d’un répertoirecdChange de répertoirecatAffiche le contenu d’un fichiercpCopie un fichier ou un dossiermvDéplace ou renommemkdirCrée un répertoiresudoExécute avec les droits administrateurImporterSe connecter aux sources de donnéesNettoyerPréparer les données avec Power QueryModéliserRelier les tables et écrire les mesures DAXVisualiserChoisir les bons visuelsPublierPartager et planifier l’actualisationgit cloneCopie un dépôt distant en localgit statusMontre l’état des fichiersgit addPrépare les fichiers pour le commitgit commitEnregistre un instantanégit pushEnvoie les commits vers le dépôt distantgit pullRécupère et intègre les changementsgit switch -cCrée une branche et s’y placegit mergeFusionne une branche dans la couranteNos experts vous accompagnent, et nos formations rendent vos équipes autonomes.