Définition du contrôle qualité du floutage
Le contrôle qualité du floutage consiste à vérifier et à documenter les images ou séquences vidéo après leur anonymisation. Il vise à déterminer si les visages et les plaques d’immatriculation à protéger ont été masqués dans le fichier final et si les masques appliqués restent efficaces pendant toute la durée de la séquence.
Pour anonymiser une image ou une vidéo, le contrôle qualité associe généralement des vérifications automatisées, un examen humain par échantillonnage, une liste de contrôle et un enregistrement du résultat. Il porte sur deux types d’erreurs : le faux négatif, lorsqu’un visage ou une plaque d’immatriculation reste visible sans masque efficace, et le faux positif, lorsqu’un masque est appliqué à un contenu qui ne nécessitait pas d’anonymisation. Le processus doit évaluer le fichier de sortie généré, et pas uniquement les résultats de détection produits pendant le traitement.
Le contrôle qualité du masquage est une mesure de contrôle technique. Il peut démontrer qu’une procédure d’examen définie a été appliquée, mais ne peut pas, à lui seul, garantir qu’aucune personne ne puisse être identifiée dans toutes les conditions de visualisation possibles ou par de futures méthodes techniques.
Rôle du contrôle qualité du floutage dans l’anonymisation d’images et de vidéos
La détection de visages et la détection de plaques d’immatriculation permettent de repérer automatiquement de nombreux éléments pertinents, mais leurs performances peuvent varier selon la résolution, le flou de mouvement, les occultations, l’angle de la caméra, l’éclairage, la compression et la taille de l’objet. Le contrôle qualité traite le risque résiduel qu’un processus automatisé manque un élément ou applique un masque incomplet.
Pour les vidéos, les réviseurs doivent vérifier à la fois les images individuelles et la continuité dans le temps. Un visage peut être détecté dans une image, mais ne pas l’être lorsqu’il entre dans le champ, tourne de profil, est partiellement couvert ou se déplace rapidement. Une plaque d’immatriculation peut ne devenir lisible que brièvement, en raison d’un reflet, d’un zoom ou d’un changement de distance.
- Examinez la première et la dernière image de chaque scène ou plan.
- Examinez les images lors des changements de scène, des mouvements de caméra, des variations de zoom et des changements d’exposition.
- Examinez les séquences comportant des foules, des véhicules, des reflets ou des occultations partielles.
- Inspectez le fichier exporté à la résolution et à la vitesse de lecture prévues.
- Confirmez que les masques couvrent l’objet à protéger pendant toute la période où il est visible.
Échantillonnage d’images pour le contrôle qualité du floutage
L’échantillonnage d’images est utilisé lorsque l’examen de chaque image n’est pas proportionné sur le plan opérationnel. Un plan d’échantillonnage doit reposer sur les risques et être documenté avant le début de l’examen. Il doit définir la population, la méthode d’échantillonnage, les instructions destinées aux réviseurs, les critères d’acceptation et la procédure d’escalade.
L’échantillonnage aléatoire simple peut aider à estimer les taux d’erreur dans un ensemble de vidéos. Toutefois, les images vidéo sont souvent corrélées. Un visage non détecté peut rester visible dans plusieurs images consécutives : un échantillon aléatoire peut donc manquer toute une séquence défaillante. L’échantillonnage stratifié est par conséquent utile. Il divise les séquences en groupes pertinents, tels que les emplacements des caméras, les conditions d’éclairage, les types de scènes, les appareils sources ou les ensembles de traitement.
Élément d’échantillonnage | Application pratique | Objectif du contrôle qualité
|
|---|---|---|
Images aléatoires | Sélectionnez des images à l’aide d’une méthode aléatoire documentée. | Détecter les défaillances largement réparties. |
Images à intervalles réguliers | Examinez les images à des intervalles de temps définis. | Vérifier la continuité sur de longues séquences. |
Images liées à des événements | Examinez les coupures, les entrées dans le champ, les mouvements rapides et les zooms. | Tester les transitions connues comme présentant un risque élevé. |
Examen de la séquence complète | Examinez chaque image des extraits désignés comme à haut risque. | Réduire le risque lorsque les conséquences d’une divulgation sont importantes. |
Un modèle élémentaire de probabilité de détection peut faciliter la planification. Si p est la probabilité qu’une image sélectionnée contienne un élément non détecté et si n est le nombre d’images sélectionnées indépendamment, la probabilité de trouver au moins une telle erreur est la suivante :
P(détection) = 1 - (1 - p)n
En pratique, l’hypothèse d’indépendance est souvent faible pour les vidéos. Les organisations doivent donc associer ce calcul à un examen ciblé des scènes à haut risque, plutôt que de s’appuyer uniquement sur un échantillonnage aléatoire. Publiée par l’Organisation internationale de normalisation (ISO), la norme ISO 2859-1:1999 présente des principes généraux d’échantillonnage pour acceptation par attributs.
Indicateurs clés et critères d’acceptation
Les indicateurs permettent de comparer les résultats des examens entre différents ensembles de fichiers, réviseurs et paramètres de traitement. Ils nécessitent une vérité terrain définie : un relevé approuvé par un réviseur des visages et plaques d’immatriculation qui auraient dû être masqués dans l’échantillon évalué.
Indicateur | Formule | Interprétation
|
|---|---|---|
Rappel | TP / (TP + FN) | Part des objets nécessitant un masquage qui ont reçu un masque efficace. |
Précision | TP / (TP + FP) | Part des masques appliqués qui couvraient correctement un objet cible. |
Nombre de faux négatifs | FN | Nombre de visages ou de plaques d’immatriculation visibles non détectés dans l’échantillon examiné. |
Persistance du masque | images masquées / images à masquer | Continuité du masquage tant qu’un objet reste visible. |
TP signifie vrai positif, FP faux positif et FN faux négatif. L’organisation doit fixer des seuils d’acceptation en fonction du type de séquence, de la divulgation envisagée et des conséquences d’un masquage manquant. Un échantillon non conforme doit déclencher une mesure corrective définie, telle que le retraitement du fichier concerné, l’extension de l’échantillon ou l’examen complet de l’ensemble concerné.
Liste de contrôle et documentation du résultat de l’examen
Une liste de contrôle garantit que les réviseurs appliquent les mêmes critères. Elle doit distinguer un masque efficace d’un masque présent mais insuffisant, par exemple lorsqu’une partie d’un visage ou d’une plaque d’immatriculation reste visible après l’exportation.
- Identifiant du fichier, système source, date de traitement et version de sortie.
- Durée de la séquence, fréquence d’images, résolution, codec et paramètres d’exportation.
- Méthode d’échantillonnage, plage d’images ou de codes temporels sélectionnée et date de l’examen.
- Visages et plaques d’immatriculation confirmés comme nécessitant un masquage.
- Masques manquants, partiels, instables ou mal positionnés.
- Corrections manuelles effectuées et identité ou fonction du réviseur.
- Décision d’acceptation, mesure corrective et enregistrement de l’approbation.
Dans les flux de travail Gallio PRO, le contrôle qualité doit confirmer le résultat final anonymisé après le floutage des visages et des plaques d’immatriculation. Gallio PRO détecte automatiquement uniquement les visages et les plaques d’immatriculation. Les contenus tels que les logos, les tatouages, les badges nominatifs, les documents ou les écrans nécessitent un examen manuel et, si nécessaire, un masquage manuel dans l’éditeur manuel intégré.
Normes et références
Il n’existe pas de norme technique unique définissant un seuil universel de conformité pour le contrôle qualité du masquage visuel. Les organisations doivent documenter leur propre seuil et le relier à un plan d’examen reproductible. Parmi les sources pertinentes figurent les suivantes :
- ISO 2859-1:1999, Procédures d’échantillonnage pour le contrôle par attributs, pour les concepts d’échantillonnage pour acceptation.
- NIST AI RMF 1.0, National Institute of Standards and Technology, 2023, pour la documentation, la mesure et la gestion des risques liés aux systèmes d’intelligence artificielle.
- ISO/IEC 24029-1:2021, Intelligence artificielle - Évaluation de la robustesse des réseaux neuronaux - Partie 1 : Vue d’ensemble, pour les concepts d’évaluation de la robustesse.
- Guide pratique du cadre de gestion des risques liés à l’IA du NIST, pour les actions opérationnelles liées à la mesure et à la gestion des risques liés à l’IA.