Qu’est-ce que le Model Drift ?

Model Drift - définition

Le model drift, également appelé dérive de modèle, désigne la modification des performances d’un modèle d’apprentissage automatique au fil du temps, causée par des changements dans les données d’entrée, les distributions des variables, les étiquettes ou la relation entre variables et étiquette. La littérature distingue le data drift (évolution de la distribution des données d’entrée), le concept drift (évolution de la relation entrée-étiquette) et le label shift (changement de la distribution des étiquettes) - voir la revue de Gama et al., 2014, ACM Computing Surveys, ainsi que la classification de Webb et al., 2016, DMKD.

Dans l’anonymisation des images et des vidéos, le model drift se traduit par une dégradation de l’efficacité de la détection des objets devant être floutés, principalement les visages et les plaques d’immatriculation. Les variations d’éclairage, l’apparition de nouveaux formats de plaques, le port de masques ou de lunettes, la baisse de qualité liée à la compression ou encore la modernisation des caméras créent un écart entre les données d’entraînement et les données en production. Cela réduit le recall et augmente le risque de divulgation de données personnelles.

Rôle du model drift dans l’anonymisation des vidéos et des images

Dans des systèmes tels que Gallio PRO, des modèles de deep learning détectent les visages et les plaques d’immatriculation, puis appliquent un floutage. La dérive de modèle entraîne des non-détections ou une localisation incorrecte des objets. Le résultat peut être une absence de floutage ou un floutage d’une zone trop restreinte. Du point de vue du RGPD, cela constitue un risque de violation du principe d’intégrité et de confidentialité (article 5, paragraphe 1, point f) ainsi que de l’exigence de protection des données dès la conception et par défaut (article 25 du RGPD).

Gallio PRO ne réalise pas l’anonymisation en temps réel et fonctionne en mode batch. Cette approche facilite le contrôle du drift grâce à des vérifications périodiques sur des jeux de validation et à des mises à jour de modèles sans impact immédiat sur les flux vidéo.

Types et symptômes de la dérive des modèles en anonymisation

Pour les délégués à la protection des données et les équipes techniques, distinguer le type de dérive est essentiel, car il conditionne la réponse appropriée. Le tableau ci-dessous en propose une synthèse.

Paramètres clés et métriques - détection du model drift

La surveillance de la dérive repose sur des indicateurs objectifs. En détection d’objets, on utilise à la fois des métriques de qualité et des statistiques de distribution. Voici les plus courantes, avec leurs références.

• Recall et precision en détection d’objets, calculés sur des jeux de référence annotés. Le standard de reporting est le mAP mesuré pour des seuils IoU de 0,5 à 0,95 par pas de 0,05 (COCO, Lin et al., 2014).
• PSI - Population Stability Index, largement utilisé pour détecter les dérives de distribution. Formule : PSI = Σ_i (p_i − q_i) × ln(p_i / q_i), où p_i représente la production et q_i la référence (Siddiqi, 2012).
• Tests statistiques classiques - test de Kolmogorov-Smirnov pour les variables continues et test du chi carré pour les variables catégorielles, afin d’évaluer la significativité des changements de distribution.
• Divergence KL - mesure de la divergence entre deux distributions P et Q : D_KL(P‖Q) = Σ P(x) ln(P(x)/Q(x)) (Kullback-Leibler, 1951).
• Distance de Wasserstein - utile pour comparer des histogrammes de caractéristiques visuelles continues et des embeddings.
• FID - Fréchet Inception Distance, pour évaluer l’évolution de la distribution des représentations visuelles dans l’espace des embeddings (Heusel et al., 2017).

Surveillance du drift sans collecte de données personnelles

Gallio PRO ne collecte pas de journaux contenant des détections de visages ou de plaques d’immatriculation et ne traite pas de logs avec des données personnelles. Néanmoins, la dérive peut être suivie à partir de données non personnelles et agrégées.

• Jeux synthétiques et de contrôle - évaluation périodique sur des jeux d’images test annotés, conçus pour ne contenir aucune personne identifiable. Les procédures de validation selon l’ISO/IEC 23894:2023 constituent une bonne pratique.
• Agrégats télémétriques sans données personnelles - distributions des tailles de bounding boxes, scores de confiance moyens, histogrammes de netteté et d’éclairage après anonymisation. Les données agrégées ne permettent pas l’identification.
• Tests de distribution des caractéristiques - calcul de PSI, KL et KS sur des caractéristiques techniques de l’image (luminance, bruit) et sur des embeddings non exploitables pour reconstituer un visage.

Stratégies de limitation du model drift et actions correctives

Un plan de gestion du drift doit combiner les pratiques MLOps et les exigences réglementaires. Le NIST AI RMF 1.0 (2023) ainsi que les normes ISO/IEC 22989:2022 et ISO/IEC 23894:2023 fournissent des cadres de référence pour le cycle de vie et la gestion des risques de l’IA.

• Réentraînement périodique - mise à jour des modèles de détection de visages et de plaques à partir de nouvelles données, avec validation complète du mAP et du recall sur des jeux de contrôle.
• Augmentation de domaine - simulation des conditions d’éclairage, du flou de mouvement, de la compression, du vignettage et de nouveaux formats de plaques afin de réduire la sensibilité au data drift.
• Calibration des seuils - ajustement des seuils de confiance et des marges de floutage pour minimiser les non-détections. Toute modification doit être documentée et testée sur des jeux de référence.
• Versionnage des modèles et des données - dépôt centralisé des modèles, configurations et jeux de tests, avec traçabilité des changements et des métriques, conformément à l’ISO/IEC 23894:2023.

Enjeux et conformité

La variabilité de la qualité des enregistrements, l’hétérogénéité des caméras et l’évolution des réglementations locales augmentent le risque de floutage insuffisant. Le CEPD (EDPB), dans ses lignes directrices 3/2019 (version 2.0 du 29/01/2020), précise que des éléments identifiables tels que le visage d’une personne ou une plaque d’immatriculation peuvent constituer des données personnelles s’ils permettent l’identification d’une personne physique. Leur anonymisation doit donc être efficace et robuste. Le RGPD impose la mise en œuvre de mesures techniques et organisationnelles appropriées ainsi qu’une analyse des risques (articles 5 et 25). Dans plusieurs pays d’Europe occidentale, le floutage des plaques est requis dans certains contextes par la réglementation ou la pratique nationale. En Pologne, les interprétations jurisprudentielles divergent, malgré des lignes directrices convergentes de l’UODO et de l’EDPB mettant l’accent sur la protection contre l’identification. Dans ce contexte, la gestion du model drift fait partie intégrante de la diligence raisonnable et de la documentation de conformité.

Technologies soutenant la détection et la réduction du drift

La détection des visages et des plaques repose sur des réseaux convolutifs et des transformeurs entraînés de manière supervisée. Leur maintien en condition opérationnelle nécessite des outils d’analyse des distributions de données et de validation continue. Le tableau ci-dessous résume certaines bonnes pratiques.

Références normatives et sources

La liste suivante regroupe des sources à forte autorité, citées pour leurs définitions et recommandations.

• RGPD - Règlement (UE) 2016/679, articles 5 et 25 ; considérant 26.
• EDPB, Lignes directrices 3/2019 sur le traitement des données personnelles par les dispositifs vidéo, version 2.0 du 29/01/2020.
• ISO/IEC 22989:2022 - Intelligence artificielle - Concepts et terminologie.
• ISO/IEC 23894:2023 - Intelligence artificielle - Gestion des risques.
• NIST AI Risk Management Framework 1.0, 2023.
• Gama, J. et al., A Survey on Concept Drift Adaptation, ACM Computing Surveys, 2014.
• Webb, G.I. et al., Characterizing Concept Drift, Data Mining and Knowledge Discovery, 2016.
• Lin, T.-Y. et al., Microsoft COCO: Common Objects in Context, 2014 - définitions mAP/IoU.
• Siddiqi, N., Credit Risk Scorecards, 2012 - définition du PSI.
• Kullback, S., Leibler, R.A., On Information and Sufficiency, 1951 - définition de D_KL.
• Heusel, M. et al., GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium, 2017 - FID.