Definición de ground truth
La ground truth, o verdad de referencia, es un conjunto de etiquetas de referencia verificadas que se utiliza para medir la precisión con la que un sistema detecta objetos en imágenes o vídeos. En la anonimización de rostros y matrículas, la ground truth identifica los rostros y las matrículas que deben detectarse y difuminarse en cada imagen o fotograma de vídeo.
Las etiquetas de ground truth suelen crearlas anotadores humanos cualificados. Pueden adoptar la forma de cuadros delimitadores, polígonos, máscaras a nivel de píxel, clases de objetos, números de fotograma y atributos de visibilidad. Las etiquetas proporcionan el resultado esperado con el que se evalúa un sistema de detección de rostros o de matrículas. Por convención, se denominan «ground truth», pero no están necesariamente libres de errores. Su calidad depende de las reglas de anotación, la formación de los revisores, la calidad de la imagen y los procedimientos de control de calidad.
Función de la ground truth en la anonimización de imágenes y vídeos
La ground truth es necesaria para evaluar si un modelo de inteligencia artificial (IA) detecta los rostros y las matrículas que requieren difuminado. Permite diferenciar un resultado de detección medible de una valoración visual subjetiva. Sin etiquetas de referencia, una organización no puede calcular de forma fiable con qué frecuencia el sistema omite un rostro o una matrícula identificables.
En los flujos de trabajo de anonimización, el conjunto de datos de ground truth debe reflejar las grabaciones que se van a procesar. Puede incluir grabaciones de videovigilancia, cámaras instaladas en vehículos, dispositivos móviles, grabaciones de eventos públicos, cámaras corporales o vídeo archivado. Las variaciones relevantes incluyen el ángulo de la cámara, la distancia, el desenfoque por movimiento, las sombras, las condiciones meteorológicas, los artefactos de compresión, las oclusiones parciales y las escenas nocturnas.
Cada objeto etiquetado incluye normalmente la siguiente información:
- Categoría del objeto, como rostro o matrícula.
- Ubicación, representada habitualmente mediante un cuadro delimitador rectangular.
- Identificador de fotograma o marca de tiempo en las grabaciones de vídeo.
- Estado de visibilidad, como totalmente visible, parcialmente oculto, desenfocado, distante o recortado por el borde de una imagen.
- Atributos de revisión opcionales, como la confianza de la anotación o las discrepancias entre anotadores.
Cómo se crea la ground truth
Un proyecto de ground truth comienza con una especificación de anotación por escrito. La especificación debe definir qué se considera un rostro o una matrícula, cómo etiquetar objetos parcialmente visibles, si se incluyen los reflejos y hasta qué punto un cuadro o una máscara debe ajustarse al contorno del objeto. Es necesario proporcionar instrucciones coherentes, ya que pequeñas diferencias en las anotaciones pueden modificar los resultados de la evaluación.
En el caso del vídeo, los anotadores pueden etiquetar todos los fotogramas o seleccionar determinados fotogramas e interpolar las posiciones de los objetos entre ellos. La interpolación puede reducir el trabajo manual, pero debe revisarse cuando los objetos se mueven con rapidez, quedan ocultos o salen del campo de visión de la cámara. Omitir un rostro en un fotograma puede generar un riesgo para la privacidad, aunque esa misma persona se detecte correctamente en fotogramas próximos.
La tabla resume los formatos de ground truth habituales en las pruebas de anonimización.
Formato de etiqueta | Contenido | Uso habitual
|
|---|---|---|
Cuadro delimitador | Rectángulo alrededor de un rostro o una matrícula | Pruebas de detección de objetos y colocación de máscaras |
Polígono o máscara de segmentación | Contorno del objeto a nivel de píxel | Pruebas de cobertura precisa del enmascaramiento |
Seguimiento de vídeo | Etiquetas de objetos vinculadas entre fotogramas consecutivos | Pruebas de continuidad de la detección y de fotogramas omitidos |
Región que se debe ignorar | Área excluida conforme a reglas documentadas | Tratamiento de objetos ambiguos, ilegibles o gravemente ocultos |
Métricas clave para evaluar la ground truth
La evaluación compara las detecciones previstas con las etiquetas de ground truth. Por lo general, una detección prevista de un rostro o una matrícula solo se considera un verdadero positivo cuando tiene la clase de objeto correcta y se solapa lo suficiente con una anotación de referencia. La medida del solapamiento es la intersección sobre unión (Intersection over Union, IoU).
La fórmula de IoU es:
IoU = área de solapamiento entre la predicción y la ground truth / área de unión entre la predicción y la ground truth
Las siguientes métricas deben comunicarse conjuntamente, ya que ninguna describe por sí sola el riesgo de anonimización de forma completa.
- Exhaustividad (recall): proporción de objetos de ground truth que detecta el sistema. Una exhaustividad baja implica que algunos rostros o matrículas pueden quedar sin difuminar.
- Precisión: proporción de detecciones del sistema que se corresponden con objetos de ground truth. Una precisión baja puede provocar el difuminado innecesario de zonas no sensibles de la imagen.
- Falsos negativos: rostros o matrículas incluidos en la ground truth que el sistema no ha detectado.
- Falsos positivos: detecciones sin un objeto correspondiente en la ground truth.
- Precisión media (AP): resumen de precisión y exhaustividad calculado con umbrales de IoU definidos.
El desafío PASCAL Visual Object Classes (VOC) utilizó un umbral de IoU de 0,5 para evaluar la detección de objetos. El protocolo de evaluación Microsoft Common Objects in Context (COCO) informa de la AP para umbrales de IoU de 0,50 a 0,95, en incrementos de 0,05. Estos protocolos son referencias útiles, pero un plan de pruebas centrado en la privacidad también debe informar del número absoluto y del tipo de rostros y matrículas omitidos, especialmente en grabaciones complejas.
Ground truth y calidad de las máscaras
La precisión de la detección por sí sola no demuestra que la anonimización sea efectiva. Un sistema puede detectar correctamente un rostro y, aun así, aplicar una máscara demasiado pequeña, desplazada, intermitente o insuficientemente opaca. Por ello, la ground truth puede utilizarse en dos fases: primero, para evaluar la detección y, después, para comprobar si el difuminado o la máscara aplicados cubren el objeto anotado.
Por ejemplo, una revisión puede medir si la máscara final se solapa con la región de ground truth del rostro o la matrícula en una proporción mínima predefinida. El umbral exigido debe documentarse en el protocolo de pruebas, ya que depende del método de enmascaramiento, el tamaño del objeto y el objetivo de privacidad. Los resultados de las pruebas deben diferenciar los errores de detección de los errores de representación o seguimiento.
Uso práctico en los flujos de trabajo de Gallio PRO
Las organizaciones pueden utilizar una muestra representativa de ground truth para validar la anonimización de imágenes y vídeos antes de ampliar el procesamiento. Esto es especialmente importante cuando las grabaciones proceden de un nuevo tipo de cámara, ubicación o condición de grabación. La muestra debe mantenerse separada de los datos utilizados para ajustar la configuración de detección, de modo que el resultado comunicado refleje el rendimiento con material no visto anteriormente.
Gallio PRO detecta y difumina automáticamente rostros y matrículas en imágenes y archivos de vídeo compatibles. La revisión de ground truth puede identificar objetos que requieren corrección manual, incluidos rostros o matrículas omitidos. Los elementos que no se detectan automáticamente, como logotipos de empresa, tatuajes, acreditaciones, documentos y contenido de monitores, pueden difuminarse manualmente con el editor manual integrado cuando lo requiera la finalidad del tratamiento.
Normas y referencias
No existe una única norma universal de ground truth para la anonimización de rostros y matrículas. Los protocolos de evaluación deben indicar las reglas de anotación, la composición del conjunto de datos, las clases de objetos, los umbrales de IoU, el método de revisión y el tratamiento de objetos ambiguos. Las siguientes referencias técnicas proporcionan conceptos de evaluación consolidados.
- Desafío PASCAL VOC, 2010 - evaluación de detección de objetos mediante un umbral de IoU de 0,5.
- Microsoft COCO: objetos comunes en contexto, 2014 - evaluación de AP con múltiples umbrales de IoU.
- ISO/IEC 5259-1:2024 - calidad de los datos para analítica y aprendizaje automático, incluido un marco para gestionar la calidad de los datos.
- Prueba del Instituto Nacional de Estándares y Tecnología para proveedores de tecnología facial - metodología e informes para la evaluación de tecnología facial biométrica.