Vérité terrain : définition
La vérité terrain est un ensemble d’annotations de référence vérifiées utilisé pour mesurer la précision avec laquelle un système détecte des objets dans des images ou des vidéos. Dans le cadre de l’anonymisation des images et des vidéos, la vérité terrain indique les visages et les plaques d’immatriculation qui doivent être détectés et floutés dans chaque image ou chaque image vidéo.
Les annotations de vérité terrain sont généralement créées par des annotateurs humains formés. Elles peuvent prendre la forme de cadres de délimitation, de polygones, de masques au niveau du pixel, de catégories d’objets, de numéros d’images et d’attributs de visibilité. Elles fournissent le résultat attendu permettant d’évaluer un système de détection de visages ou de détection de plaques d’immatriculation. Elles sont appelées « vérité terrain » par convention, mais ne sont pas automatiquement exemptes d’erreurs. Leur qualité dépend des règles d’annotation, de la formation des relecteurs, de la qualité des images et des procédures de contrôle qualité.
Le rôle de la vérité terrain dans l’anonymisation des images et des vidéos
La vérité terrain est nécessaire pour évaluer si un modèle d’intelligence artificielle (IA) détecte les visages et les plaques d’immatriculation qui doivent être floutés. Elle permet de distinguer un résultat de détection mesurable d’une appréciation visuelle subjective. Sans annotations de référence, une organisation ne peut pas calculer de manière fiable la fréquence à laquelle le système manque un visage ou une plaque d’immatriculation identifiable.
Pour les processus d’anonymisation, le jeu de données de vérité terrain doit refléter les enregistrements qui seront traités. Il peut s’agir d’enregistrements de vidéosurveillance, de caméras embarquées sur des véhicules, d’appareils mobiles, de vidéos d’événements publics, de caméras-piétons ou de vidéos archivées. Les variations pertinentes incluent l’angle de prise de vue, la distance, le flou de mouvement, les ombres, les conditions météorologiques, les artefacts de compression, l’occultation partielle et les scènes nocturnes.
Chaque objet annoté comprend généralement les informations suivantes :
- La catégorie d’objet, par exemple un visage ou une plaque d’immatriculation.
- Sa position, généralement représentée par un cadre de délimitation rectangulaire.
- L’identifiant de l’image ou l’horodatage pour les enregistrements vidéo.
- Son statut de visibilité : entièrement visible, partiellement occulté, flou, éloigné ou tronqué par le bord d’une image.
- Des attributs de contrôle facultatifs, tels que le niveau de confiance de l’annotation ou les divergences entre annotateurs.
Comment créer une vérité terrain
Un projet de vérité terrain commence par une spécification d’annotation écrite. Cette spécification doit définir ce qui est considéré comme un visage ou une plaque d’immatriculation, la manière d’annoter les objets partiellement visibles, l’inclusion ou non des reflets, ainsi que le degré de précision avec lequel un cadre ou un masque doit suivre les contours de l’objet. Des consignes cohérentes sont nécessaires, car de faibles différences d’annotation peuvent modifier les résultats de l’évaluation.
Pour la vidéo, les annotateurs peuvent étiqueter chaque image ou annoter une sélection d’images, puis interpoler les positions des objets entre elles. L’interpolation peut réduire le travail manuel, mais elle doit être vérifiée lorsque les objets se déplacent rapidement, sont occultés ou sortent du champ de la caméra. Un visage non détecté sur une image peut créer un risque pour la vie privée, même si la même personne est correctement détectée sur les images voisines.
Le tableau récapitule les formats de vérité terrain courants pour les tests d’anonymisation.
Format d’annotation | Contenu | Utilisation habituelle
|
|---|---|---|
Cadre de délimitation | Rectangle entourant un visage ou une plaque d’immatriculation | Test de la détection d’objets et du positionnement des masques |
Polygone ou masque de segmentation | Contour de l’objet au niveau du pixel | Test de la couverture précise du masquage |
Suivi vidéo | Annotations d’un même objet reliées sur des images successives | Test de la continuité de détection et des images non détectées |
Zone à ignorer | Zone exclue selon des règles documentées | Traitement des objets ambigus, illisibles ou fortement occultés |
Indicateurs clés pour l’évaluation de la vérité terrain
L’évaluation compare les détections prédites aux annotations de vérité terrain. Un visage ou une plaque d’immatriculation détecté est généralement comptabilisé comme un vrai positif uniquement si sa catégorie d’objet est correcte et s’il recouvre suffisamment une annotation de référence. La mesure de recouvrement utilisée est l’Intersection over Union (IoU).
La formule de l’IoU est la suivante :
IoU = surface de recouvrement entre la prédiction et la vérité terrain / surface de l’union entre la prédiction et la vérité terrain
Les indicateurs suivants doivent être communiqués ensemble, car aucun indicateur unique ne décrit entièrement le risque lié à l’anonymisation.
- Rappel : la proportion d’objets de vérité terrain détectés par le système. Un faible rappel signifie que des visages ou des plaques d’immatriculation peuvent rester non floutés.
- Précision : la proportion de détections du système correspondant à des objets de vérité terrain. Une faible précision peut entraîner le floutage inutile de zones d’image non sensibles.
- Faux négatifs : les visages ou plaques d’immatriculation présents dans la vérité terrain et non détectés par le système.
- Faux positifs : les détections ne correspondant à aucun objet de vérité terrain.
- Précision moyenne (AP) : une synthèse précision-rappel calculée à des seuils d’IoU définis.
Le challenge PASCAL Visual Object Classes (VOC) utilisait un seuil d’IoU de 0,5 pour l’évaluation de la détection d’objets. Le protocole d’évaluation Microsoft Common Objects in Context (COCO) communique l’AP pour des seuils d’IoU allant de 0,50 à 0,95, par incréments de 0,05. Ces protocoles constituent des références utiles, mais un plan de test axé sur la protection de la vie privée doit également indiquer le nombre absolu et le type de visages et de plaques d’immatriculation non détectés, en particulier dans les enregistrements difficiles.
Vérité terrain et qualité du masquage
La précision de détection à elle seule ne prouve pas l’efficacité de l’anonymisation. Un système peut détecter correctement un visage tout en appliquant un masque trop petit, décalé, intermittent ou insuffisamment opaque. La vérité terrain peut donc être utilisée à deux étapes : d’abord pour évaluer la détection, puis pour vérifier que le floutage ou le masque appliqué couvre l’objet annoté.
Par exemple, un contrôle peut mesurer si le masque final recouvre la zone de vérité terrain d’un visage ou d’une plaque d’immatriculation selon un seuil minimal prédéfini. Le seuil requis doit être documenté dans le protocole de test, car il dépend de la méthode de masquage, de la taille de l’objet et de l’objectif de protection de la vie privée. Les résultats des tests doivent distinguer les erreurs de détection des erreurs de rendu ou de suivi.
Utilisation pratique dans les processus Gallio PRO
Les organisations peuvent utiliser un échantillon représentatif de vérité terrain afin de valider l’anonymisation des images et des vidéos avant un traitement plus étendu. Cette démarche est particulièrement importante lorsque les enregistrements proviennent d’un nouveau type de caméra, d’un nouveau site ou de nouvelles conditions d’enregistrement. L’échantillon doit rester distinct des données utilisées pour ajuster les paramètres de détection, afin que le résultat communiqué reflète les performances sur des contenus non vus.
Gallio PRO détecte automatiquement et floute les visages et les plaques d’immatriculation dans les images et fichiers vidéo pris en charge. L’examen de la vérité terrain permet d’identifier les objets nécessitant une correction manuelle, notamment les visages ou plaques d’immatriculation non détectés. Les éléments qui ne sont pas détectés automatiquement, tels que les logos d’entreprise, les tatouages, les badges nominatifs, les documents et le contenu des écrans, peuvent être floutés manuellement à l’aide de l’éditeur manuel intégré lorsque la finalité du traitement l’exige.
Normes et références
Il n’existe pas de norme universelle unique de vérité terrain pour l’anonymisation des visages et des plaques d’immatriculation. Les protocoles d’évaluation doivent indiquer les règles d’annotation, la composition du jeu de données, les catégories d’objets, les seuils d’IoU, la méthode de contrôle et le traitement des objets ambigus. Les références techniques suivantes présentent des concepts d’évaluation établis.
- Challenge PASCAL VOC, 2010 - évaluation de la détection d’objets à l’aide d’un seuil d’IoU de 0,5.
- Microsoft COCO : Common Objects in Context, 2014 - évaluation de l’AP sur plusieurs seuils d’IoU.
- ISO/IEC 5259-1:2024 - qualité des données pour l’analytique et l’apprentissage automatique, y compris un cadre de gestion de la qualité des données.
- Test des fournisseurs de technologies faciales du National Institute of Standards and Technology - méthodologie et rapports pour l’évaluation des technologies faciales.