Test Airflow clé en main : concevoir un DAG pour un pipeline quotidien

Ce test évalue le réflexe le plus important d'un data engineer : penser fiabilité, pas seulement « faire tourner ». On demande de concevoir un DAG pour un pipeline quotidien, et on regarde surtout comment le candidat gère les échecs et l'idempotence. Corrigé inclus.

Data Builder·Juillet 2025·10 min de lecture·Test Airflow · orchestration · clé en main

Sommaire

Le brief
Le corrigé
Grille par niveau

La différence entre un junior et un senior sur Airflow ne se voit pas dans le DAG qui marche, mais dans ce qui se passe quand il échoue : relances, alertes, reprise propre sans doublons.

1Le brief

La consigne

« Conçois un DAG quotidien : extraire une source, transformer, charger dans l'entrepôt. »

Un pipeline classique en trois étapes. La consigne cachée est la fiabilité : que se passe-t-il si l'étape 2 échoue à 3h du matin ?

Trois tâches : extract → transform → load, dans l'ordre.
Fréquence : quotidienne.
La vraie attente : la gestion des échecs et l'idempotence.

2Le corrigé

La consigne

Un DAG avec dépendances, relances et idempotence.

Un bon candidat définit l'ordre des tâches, ajoute des relances automatiques, une alerte en cas d'échec, et surtout rend le chargement idempotent (rejouer ne crée pas de doublons).

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime, timedelta

default_args = {
    "retries": 2,
    "retry_delay": timedelta(minutes=5),
    "on_failure_callback": alerter,   # alerte en cas d'echec
}

with DAG("pipeline_quotidien", schedule="@daily",
         start_date=datetime(2025, 1, 1), catchup=False,
         default_args=default_args) as dag:

    extract   = PythonOperator(task_id="extract",   python_callable=do_extract)
    transform = PythonOperator(task_id="transform", python_callable=do_transform)
    load      = PythonOperator(task_id="load",      python_callable=do_load)
    # do_load remplace la partition du jour -> idempotent (pas de doublons)

    extract >> transform >> load

Dépendances claires : extract >> transform >> load.
Relances et alerte en cas d'échec.
Chargement idempotent (remplacer la partition du jour, pas insérer).

Signal d'alerte : le signal décisif : le candidat rend le chargement idempotent et prévoit les relances/alertes. Un DAG sans gestion d'échec est le red flag numéro un — il révèle un profil qui n'a jamais géré la production.

3Grille par niveau

Niveau	Maîtrise attendue	Signal GO	NO-GO
Junior	Écrit un DAG qui s'exécute	Ordonne correctement les tâches	Aucune gestion d'échec
Confirmé	Ajoute relances et alertes	Prévoit ce qui se passe en cas d'échec	Insertion non idempotente (doublons)
Senior	Rend le pipeline idempotent	Rejoue proprement sans doublons	N'a jamais géré un incident réel
Lead	Pense monitoring et SLA	Conçoit une stratégie de reprise	« Je regarde le matin »

Home›Blog›Turnkey Airflow test

Ready-to-use tests

Turnkey Airflow test: design a DAG for a daily pipeline

This test assesses a data engineer's most important reflex: thinking reliability, not just ‘making it run’. You ask to design a DAG for a daily pipeline, and mainly watch how the candidate handles failures and idempotence. Answer included.

Data Builder·July 2025·10 min read·Airflow test · orchestration · turnkey

Contents

The brief
The answer
Level grid

The junior/senior difference on Airflow isn't in the working DAG, but in what happens when it fails: retries, alerts, clean recovery without duplicates.

1The brief

The task

‘Design a daily DAG: extract a source, transform, load into the warehouse.’

A classic three-step pipeline. The hidden brief is reliability: what happens if step 2 fails at 3am?

Three tasks: extract → transform → load, in order.
Frequency: daily.
The real expectation: failure handling and idempotence.

2The answer

The task

A DAG with dependencies, retries and idempotence.

A good candidate defines the task order, adds automatic retries, an alert on failure, and above all makes the load idempotent (replaying creates no duplicates).

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime, timedelta

default_args = {
    "retries": 2,
    "retry_delay": timedelta(minutes=5),
    "on_failure_callback": alerter,   # alerte en cas d'echec
}

with DAG("pipeline_quotidien", schedule="@daily",
         start_date=datetime(2025, 1, 1), catchup=False,
         default_args=default_args) as dag:

    extract   = PythonOperator(task_id="extract",   python_callable=do_extract)
    transform = PythonOperator(task_id="transform", python_callable=do_transform)
    load      = PythonOperator(task_id="load",      python_callable=do_load)
    # do_load remplace la partition du jour -> idempotent (pas de doublons)

    extract >> transform >> load

Clear dependencies: extract >> transform >> load.
Retries and alerting on failure.
Idempotent load (replace the day's partition, not insert).

Warning signal : the decisive signal: the candidate makes the load idempotent and plans retries/alerts. A DAG with no failure handling is the number-one red flag — it reveals a profile that never ran production.

3Level grid

Level	Expected proficiency	Signal GO	NO-GO
Junior	Writes a DAG that runs	Orders the tasks correctly	No failure handling
Mid-level	Adds retries and alerts	Plans what happens on failure	Non-idempotent insert (duplicates)
Senior	Makes the pipeline idempotent	Replays cleanly without duplicates	Never handled a real incident
Lead	Thinks monitoring and SLA	Designs a recovery strategy	‘I check in the morning’