Précision et rappel : définition
La précision et le rappel sont des mesures de performance utilisées pour évaluer un détecteur. Dans l’anonymisation d’images et de vidéos, ils indiquent dans quelle mesure un système repère de manière fiable les visages ou les plaques d’immatriculation qui doivent être floutés. Ils sont calculés en comparant les résultats du détecteur à la vérité de terrain, c’est-à-dire à un jeu de référence vérifié qui identifie les visages ou plaques d’immatriculation concernés dans chaque image ou chaque image vidéo.
La précision mesure la proportion de détections signalées qui sont correctes. Le rappel mesure la proportion de tous les objets concernés que le détecteur parvient à trouver. Pour la protection de la vie privée, le rappel est souvent la mesure la plus critique en matière de sécurité, car un faux négatif peut laisser un visage ou une plaque d’immatriculation visible dans des séquences diffusées.
Indicateur | Formule | Signification pour l’anonymisation
|
|---|---|---|
Précision | TP / (TP + FP) | Fréquence à laquelle une détection de visage ou de plaque d’immatriculation signalée est correcte. |
Rappel | TP / (TP + FN) | Nombre de visages ou de plaques d’immatriculation présents dans les séquences qui sont détectés. |
Score F1 | 2 × (précision × rappel) / (précision + rappel) | Une moyenne harmonique qui résume la précision et le rappel en une seule valeur. |
Dans ces formules, TP signifie vrai positif, FP faux positif et FN faux négatif. Un vrai positif est un visage ou une plaque d’immatriculation correctement détecté. Un faux positif est une détection incorrecte, par exemple lorsqu’un détecteur considère un objet qui n’est pas un visage comme un visage. Un faux négatif est un visage ou une plaque d’immatriculation non détecté qui aurait dû l’être et être flouté.
Pourquoi le rappel est essentiel pour flouter les visages et les plaques d’immatriculation
La détection de visages et la détection de plaques d’immatriculation sont utilisées avant le masquage ou le floutage automatique. Un détecteur dont le rappel est insuffisant peut manquer une personne située au bord de l’image, un visage petit ou partiellement masqué, ou une plaque d’immatriculation affectée par des reflets, le flou de mouvement, l’obscurité, l’angle de la caméra ou des artefacts de compression. Si le processus de traitement repose uniquement sur les résultats automatiques, ces éléments non détectés peuvent rester identifiables.
Les organisations doivent donc évaluer le rappel sur des séquences qui ressemblent à leurs contenus réels. Les conditions pertinentes comprennent généralement :
- des visages petits, éloignés, de profil, partiellement couverts ou fortement compressés ;
- des plaques d’immatriculation captées sous des angles obliques ou soumises à des reflets, des ombres, à la pluie et à une faible luminosité ;
- des mouvements rapides de la caméra, des images perdues, des changements de scène et des occultations d’objets ;
- des scènes très fréquentées avec des personnes, véhicules ou objets répétés qui se chevauchent ;
- différents modèles de caméras, résolutions, fréquences d’images, régions géographiques et formats de plaques.
Un score de rappel global élevé ne prouve pas que toutes les situations opérationnelles sont sûres. Par exemple, un détecteur peut obtenir un bon rappel pour des visages de face bien éclairés tout en étant moins fiable pour des visages éloignés dans des séquences nocturnes. L’évaluation doit donc présenter les résultats par scénario, et pas seulement sous la forme d’un score global.
Le compromis entre précision et rappel
De nombreux modèles de détection produisent un score de confiance pour chaque objet candidat. Un processus de traitement n’accepte un candidat comme détection que lorsque son score atteint un seuil défini. Abaisser ce seuil augmente généralement le rappel, car davantage de visages ou de plaques potentiels sont acceptés. Cela peut aussi réduire la précision, car davantage d’objets incorrects sont acceptés.
Ce compromis a des effets opérationnels différents :
- Rappel faible : moins d’objets sont détectés, ce qui augmente le risque qu’un visage ou une plaque d’immatriculation reste non flouté.
- Précision faible : davantage d’objets non sensibles peuvent être floutés, ce qui peut réduire l’utilité ou la qualité visuelle du résultat.
- Rappel élevé avec vérification manuelle : les détections supplémentaires peuvent être vérifiées et corrigées avant la diffusion des séquences.
Il n’existe pas de seuil universel adapté à tous les types de séquences. Un seuil doit être sélectionné à l’aide d’un jeu de validation documenté, des critères de diffusion de l’organisation et du processus d’assurance qualité disponible. Un même seuil peut ne pas produire la même précision ni le même rappel après un changement de source caméra, d’encodage vidéo, de type de scène ou de version du modèle.
Comment mesurer la précision et le rappel
La mesure nécessite des données de test annotées qui n’ont pas été utilisées pour entraîner ou ajuster le détecteur. Pour chaque image ou image vidéo, les évaluateurs identifient les visages ou les plaques d’immatriculation qui doivent être détectés. Le système d’évaluation associe ensuite les détections à ces objets de référence selon une règle de chevauchement définie.
Pour la détection d’objets, la mesure de chevauchement courante est l’Intersection over Union (IoU). L’IoU compare le chevauchement entre la boîte englobante prédite et la boîte englobante de vérité de terrain à leur surface combinée :
IoU = surface de chevauchement / surface de l’union
Une détection n’est comptabilisée comme vrai positif que lorsqu’elle atteint le seuil d’association IoU sélectionné et qu’elle est attribuée au bon objet de référence. Le protocole d’évaluation de détection Common Objects in Context (COCO) indique la précision moyenne pour des seuils IoU allant de 0,50 à 0,95 par incréments de 0,05. Cette approche montre pourquoi une valeur de précision unique est incomplète : un détecteur peut repérer un objet de façon générale tout en plaçant une boîte englobante de manière trop imprécise pour permettre un masquage fiable.
Points à prendre en compte pour l’évaluation des vidéos
L’anonymisation vidéo introduit des risques qui ne sont pas visibles lors de tests sur des images fixes. Un visage peut être détecté dans une image vidéo, mais manquer dans les images adjacentes. Une courte interruption peut exposer des informations identifiantes, en particulier lorsqu’une personne se déplace rapidement ou n’apparaît que brièvement.
L’évaluation doit donc inclure une analyse au niveau de l’image vidéo et au niveau de la séquence. Le rappel au niveau de l’image mesure le nombre d’objets concernés détectés dans chaque image. L’examen au niveau de la séquence vérifie qu’un visage ou une plaque d’immatriculation reste couvert en continu tant qu’il est visible. Parmi les mesures de contrôle qualité utiles figurent le nombre d’objets non détectés, le nombre d’images consécutives non détectées et la durée de toute exposition non masquée. Ces paramètres doivent être définis avant les tests afin que les résultats puissent être reproduits et comparés entre les versions du modèle.
Application dans les workflows de Gallio PRO
Gallio PRO utilise la détection de visages et la détection de plaques d’immatriculation afin de prendre en charge le floutage automatique des fichiers image et vidéo importés. Il n’effectue pas d’anonymisation en temps réel ni d’anonymisation de flux vidéo en direct. La précision et le rappel sont pertinents pour vérifier si les résultats de détection automatique nécessitent une vérification humaine supplémentaire avant que les séquences ne soient partagées, publiées ou conservées pour une autre finalité autorisée.
La détection automatique dans Gallio PRO couvre uniquement les visages et les plaques d’immatriculation. Elle ne détecte pas automatiquement les logos d’entreprise, les tatouages, les badges nominatifs, les documents ou le contenu affiché sur des écrans. Ces éléments peuvent être floutés manuellement à l’aide de l’éditeur intégré. La vérification manuelle permet également de contrôler les faux négatifs et les faux positifs concernant les visages et les plaques d’immatriculation détectés automatiquement.
Normes et références
La précision et le rappel sont des mesures établies dans les domaines de la recherche d’information et de l’apprentissage automatique. Les sources principales et techniques suivantes expliquent leur utilisation pour l’évaluation de la classification et de la détection d’objets.
- Davis, J. et Goadrich, M. (2006), « The Relationship Between Precision-Recall and ROC Curves », Proceedings of the 23rd International Conference on Machine Learning.
- Powers, D. M. W. (2011), « Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness and Correlation », Pattern Recognition Letters, 32(15).
- COCO Consortium, protocole d’évaluation de la détection d’objets.
- National Institute of Standards and Technology (NIST), Face Recognition Vendor Test (FRVT). Le NIST publie des méthodes de test reproductibles et des rapports pour l’évaluation de technologies liées aux visages.