L IA responsable est une exigence reglementaire avec l AI Act europeen. En entretien Senior, on evalue la capacite a detecter les biais, expliquer les modeles et deployer une IA digne de confiance.
L AI Act europeen classe les systemes IA par niveau de risque et impose des obligations de transparence et d audit. Un Data Scientist qui ne connait pas ces concepts ne peut pas deployer de modeles dans un cadre reglemente.
1Sources de biais algorithmiques
Question discriminante
Quelles sont les trois sources principales de biais dans un modele ML ? Donnez un exemple concret pour chacune.
- Biais dans les donnees — les donnees historiques refletent des inegalites passees. Ex : modele de credit entraine sur donnees qui accordaient moins de prets a certaines demographics
- Biais d echantillonnage — la population d entrainement ne represente pas la production. Ex : reconnaissance faciale entrainee sur visages europeens
- Variables proxy — features apparemment neutres encodant des attributs sensibles. Ex : code postal comme proxy de l ethnicite
2Metriques d equite
Question discriminante
Comment mesurez-vous si un modele traite equitablement differents groupes demographiques ?
# Equalized Odds : meme TPR et FPR pour tous les groupes
def fairness_report(y_true, y_pred, groups):
for g in set(groups):
mask = [i for i,gr in enumerate(groups) if gr==g]
yt = [y_true[i] for i in mask]
yp = [y_pred[i] for i in mask]
tp = sum(a==1 and b==1 for a,b in zip(yt,yp))
fn = sum(a==1 and b==0 for a,b in zip(yt,yp))
fp = sum(a==0 and b==1 for a,b in zip(yt,yp))
tn = sum(a==0 and b==0 for a,b in zip(yt,yp))
tpr = tp/(tp+fn) if (tp+fn)>0 else 0
fpr = fp/(fp+tn) if (fp+tn)>0 else 0
print(f'Groupe {g}: TPR={tpr:.3f}, FPR={fpr:.3f}')
- Equalized Odds — meme TPR et FPR pour tous les groupes
- Demographic Parity — taux de predictions positives egal entre groupes
- Disparate Impact — ratio des taux positifs entre groupes (seuil 0.8 = regle 80/20)
- Vertex AI What-If Tool — tester des contrefactuels et ajuster les seuils par groupe
3Explicabilite : SHAP et LIME
Question discriminante
Quelle est la difference entre SHAP et LIME ? Dans quel cas preferez-vous l un ?
import shap
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
# Feature importance globale
shap.summary_plot(shap_values, X_test)
# Explication individuelle
shap.waterfall_plot(shap.Explanation(
values=shap_values[0],
base_values=explainer.expected_value,
data=X_test.iloc[0]
))
- SHAP — base sur les valeurs de Shapley (theorie des jeux). Global + local, mathematiquement coherent. Ideal pour tree-based models (XGBoost, RandomForest)
- LIME — approximation locale lineaire. Plus rapide mais moins stable. Utile pour tout type de modele (images, texte)
- Integrated Gradients — pour les reseaux de neurones profonds
4Confidentialite : Differential Privacy et Federated Learning
- Differential Privacy — ajoute du bruit calibre pour empecher la memorisation de cas individuels. Implementation : TensorFlow Privacy, PyTorch Opacus
- Federated Learning — entrainement local sur chaque device, seuls les gradients sont partages. Usage : mobile, sante multi-hopitaux
- Model Inversion Attack — extraire des donnees d entrainement depuis un modele. Mitigation : limiter les probabilites retournees
5Risques specifiques de l IA generative
- Hallucinations — le modele genere des fausses informations avec confiance. Mitigation : RAG, system prompts de prudence
- RAGAS — metriques d evaluation RAG : faithfulness, answer relevancy, context recall
- Prompt injection — manipulation via le prompt. Protection : validation des inputs, separation instructions/inputs
- Toxicite — Vertex AI Safety Filters, Guardrails AI pour filtrer les outputs
6Impact carbone de l IA
- Entrainement vs inference — l entrainement est un pic unique. L inference est le cout continu de chaque requete
- Choix de region — regions a haute part d energie renouvelable (europe-west4, northamerica-northeast1)
- Petit modele suffisant — Mistral 7B vs GPT-4 : 100x moins de CO2 pour 90% des cas
- Quantization/distillation — reduire la taille du modele 4x-8x avec perte minimale
7Grille par niveau
| Niveau | Maitrise | Signal GO | NO-GO |
|---|
| Confirme | Types de biais, SHAP basique, concepts de fairness | Explique les 3 sources de biais, a utilise SHAP | N a jamais mesure les biais de son modele |
| Senior | Metriques equite, evaluation GenAI RAGAS, AI Act | A mesure Equalized Odds, connait RAGAS, mentionne l AI Act | Ne sait pas ce qu est la differential privacy |
| Lead | Strategie IA responsable, gouvernance modeles, conformite | A defini une politique IA responsable, connait les categories AI Act | Ne peut pas citer les risques de l AI Act |