Accueil›Blog›Test technique Docker et Docker Compose pour la data : stacks locales

Guide recrutement data

Test technique Docker et Docker Compose pour la data : stacks locales

Docker est le pre-requis pour tout Data Engineer moderne. En entretien, on va au-dela du simple docker run — on evalue la capacite a architecturer des stacks locales et des images optimisees.

Data Builder·Juin 2025·6 min de lecture·Data Engineer

Sommaire

Dockerfile optimise pour la data
Docker Compose : stack data locale
Networking et volumes
Multi-stage builds
Image registry et CI
Docker vers Kubernetes
Grille

1Dockerfile optimise pour un projet data

Question discriminante

Quelles sont les bonnes pratiques pour un Dockerfile Python data ?

# Multi-stage build : image finale legere
FROM python:3.11-slim AS builder

WORKDIR /app
COPY requirements.txt .
# --no-cache-dir : reduit la taille de l image
RUN pip install --no-cache-dir --user -r requirements.txt

# Image finale : ne pas copier pip, seulement les packages installes
FROM python:3.11-slim
WORKDIR /app

# Copier seulement les packages installes
COPY --from=builder /root/.local /root/.local
COPY . .

# Pas de root en production
RUN useradd -m appuser
USER appuser

# Variables d environnement
ENV PATH=/root/.local/bin:$PATH
ENV PYTHONUNBUFFERED=1

CMD ['python', 'main.py']

slim — image de base minimale. Eviter :latest, toujours specifier la version
Layer caching — copier requirements.txt AVANT le code source pour maximiser le cache
Non-root user — bonne pratique de securite
PYTHONUNBUFFERED=1 — logs visibles en temps reel

2Docker Compose : stack data locale complete

Question discriminante

Comment monteriez-vous une stack data locale avec Airflow, PostgreSQL et dbt ?

version: '3.8'
services:
  postgres:
    image: postgres:15
    environment:
      POSTGRES_DB: datadb
      POSTGRES_USER: data
      POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
    volumes:
      - postgres_data:/var/lib/postgresql/data
      - ./init.sql:/docker-entrypoint-initdb.d/init.sql
    ports:
      - '5432:5432'
    healthcheck:
      test: ['CMD', 'pg_isready', '-U', 'data']
      interval: 10s

  airflow:
    image: apache/airflow:2.9.0
    depends_on:
      postgres:
        condition: service_healthy
    environment:
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://data:${POSTGRES_PASSWORD}@postgres/airflow
    volumes:
      - ./dags:/opt/airflow/dags
      - ./logs:/opt/airflow/logs
    ports:
      - '8080:8080'

  dbt:
    build: ./dbt
    depends_on: [postgres]
    volumes:
      - ./dbt:/dbt
    command: ['dbt', 'run']

volumes:
  postgres_data:

3Networking : comment les services communiquent

Question discriminante

Comment un service Airflow appelle-t-il un service PostgreSQL dans Docker Compose ?

DNS interne — dans Docker Compose, chaque service est accessible via son nom de service. Ex : postgres:5432 depuis airflow
Ports exposes — ports: expose sur la machine hote. Pas necessaire pour la communication inter-services
healthcheck + depends_on — attendre que le service soit vraiment pret avant de demarrer les dependances
Networks — isoler des groupes de services. Par defaut, tous les services d un Compose sont sur le meme reseau

4Multi-stage builds : optimiser la taille

Question discriminante

Pourquoi utilise-t-on les multi-stage builds ? Quelle reduction de taille obtient-on typiquement ?

Probleme — les outils de build (gcc, pip, headers) ne sont pas necessaires en production mais augmentent la taille de l image
Solution — builder dans une image complete, copier seulement les artefacts finaux dans une image slim
Gains typiques — image Python avec numpy/pandas : 800MB → 200MB avec multi-stage
Layer caching — les layers sont mis en cache. Copier requirements.txt avant le code pour que le rebuild soit rapide

5Registry et CI/CD des images

Question discriminante

Comment organisez-vous la gestion des images Docker dans un projet data d equipe ?

Registry — Google Artifact Registry, AWS ECR, Docker Hub (public). Jamais pousser directement en latest sans tag
Tagging — tag avec le SHA du commit (image:sha-abc123) pour la tracabilite
Build en CI — GitHub Actions ou Cloud Build construit et pousse l image automatiquement
.dockerignore — exclure .git, __pycache__, .env, les fichiers de donnees. Reduit le contexte de build

6De Docker Compose vers Kubernetes

docker-compose.yml → Kubernetes manifests — un service Compose = un Deployment + Service K8s
kompose convert — outil officiel pour convertir un docker-compose.yml en manifests K8s
Docker Compose pour le dev local — K8s pour la production. Ne pas essayer de faire du K8s en local pour le dev quotidien
Tilt / Skaffold — workflows de developpement local qui synchronisent le code avec un cluster K8s

7Grille par niveau

Niveau	Maitrise	Signal GO	NO-GO
Junior	Dockerfile basique, docker run, docker-compose up	Sait ecrire un Dockerfile Python, lance une stack avec Compose	Ne sait pas ce qu est un volume
Confirme	Multi-stage, healthchecks, networking Compose, .dockerignore	Utilise multi-stage, configure les healthchecks, sait pourquoi postgres:5432 marche entre services	Utilise :latest partout, ne connait pas les multi-stage builds
Senior	Registry CI/CD, securite (non-root, secrets), migration K8s	A configure le push automatique en CI, utilise des users non-root, connait kompose	Pousse des images avec des credentials en dur dans le Dockerfile

Vous recrutez un Data Engineer ?

Premier entretien gratuit. Rapport GO/NO-GO sous 48h.

Tester gratuitement Reserver un appel