Seguimiento de objetos en vídeo: definición
El object tracking, es decir, el seguimiento de objetos en vídeo fotograma a fotograma, es el proceso de asignar al mismo objeto una identidad temporal coherente a lo largo de toda la secuencia de imagen. En la práctica de la anonimización de fotos y grabaciones, esto significa mantener la información de que una cara o una matrícula detectada en el fotograma t es el mismo objeto que apareció en los fotogramas t-1, t-2 y siguientes. Gracias a ello, la máscara de desenfoque o difuminado no “salta” entre objetos ni desaparece momentáneamente cuando se produce una breve caída en la calidad de la detección.
En la literatura técnica, el seguimiento de objetos suele diferenciarse de la detección. La detección responde a la pregunta de si en un fotograma determinado hay una cara o una matrícula y dónde se encuentra. El tracking responde a la pregunta de si se trata del mismo objeto que antes y de cómo predecir su posición entre detecciones consecutivas. En los sistemas de anonimización de vídeo, el seguimiento de objetos actúa, por tanto, como una capa que estabiliza el funcionamiento del algoritmo de detección. Es especialmente importante en casos de oclusiones parciales, movimiento de cámara, cambios de escala del objeto y desenfoque momentáneo de la imagen.
Esta definición es coherente con el enfoque utilizado en la investigación sobre seguimiento multióbjeto en vídeo, incluidos los benchmarks MOTChallenge desarrollados desde 2015 y los artículos de revisión del IEEE sobre Multiple Object Tracking. En el contexto de Gallio PRO, el término se refiere al seguimiento de caras y matrículas entre fotogramas para mantener la continuidad de la anonimización del material de vídeo. No se refiere a la anonimización de flujo en tiempo real, ya que Gallio PRO no realiza anonimización en tiempo real.
El papel del seguimiento de objetos en la anonimización de vídeo
En un sistema de difuminado de caras y matrículas, la detección en cada fotograma por sí sola no es suficiente. El detector puede perder temporalmente un objeto debido a reflejos, movimiento, baja resolución o a que quede oculto por otro elemento de la escena. El seguimiento reduce el impacto de estas interrupciones y permite mantener la máscara de anonimización en una posición lógica.
En la práctica, esto implica varias funciones críticas para la conformidad y la calidad del tratamiento del material:
- mantener la continuidad del difuminado de la misma cara o de la misma matrícula en fotogramas consecutivos,
- reducir el efecto de “parpadeo” de la máscara cuando el detector funciona de forma inestable,
- predecir la posición del objeto entre detecciones a partir de un modelo de movimiento,
- disminuir el riesgo de revelar temporalmente datos personales en fotogramas individuales,
- permitir una corrección manual coherente en el editor cuando la automatización requiere ajustes.
Para el Delegado de Protección de Datos, esto tiene una importancia práctica. Un incidente de anonimización no tiene por qué afectar a toda la grabación. Bastan unos pocos fotogramas sin difuminar para que una cara o un número de matrícula resulten legibles al pausar la imagen. Por este motivo, el seguimiento de objetos debe considerarse un mecanismo de reducción de riesgos y no únicamente una función que mejora la estética de la exportación.
Cómo funciona el seguimiento de caras y matrículas entre fotogramas
Un pipeline típico se compone de detección, estimación del movimiento, asociación de objetos y actualización de trayectorias. En los sistemas modernos, la detección suele realizarse mediante modelos de deep learning, ya que las caras y las matrículas cambian de escala, ángulo y calidad de una manera difícil de describir con reglas simples. Es precisamente el modelo de IA el que detecta el objeto, que después puede seguirse entre fotogramas.
Los elementos técnicos más utilizados son:
- detector de objetos: por ejemplo, un modelo CNN o transformer que detecta caras o matrículas en un único fotograma,
- modelo de movimiento: a menudo, un filtro de Kalman, descrito clásicamente por R. E. Kalman en 1960, utilizado para predecir la siguiente posición del objeto,
- algoritmo de asociación: por ejemplo, un problema de asignación resuelto con el algoritmo húngaro,
- métricas de similitud: IoU, distancia de características visuales, coherencia de la trayectoria y tamaño del cuadro delimitador,
- mecanismos de gestión de tracks: inicialización, confirmación, pérdida y cierre de la trayectoria del objeto.
El esquema simplificado puede describirse con la fórmula:
Track(t) = Associate(Detections(t), Predict(Track(t-1)))
Donde Predict determina la posición esperada del objeto en el nuevo fotograma y Associate empareja las nuevas detecciones con las trayectorias existentes. Si la detección desaparece momentáneamente, el tracker puede mantener el track durante un tiempo limitado basándose en la predicción. Si la ausencia de detección se prolonga demasiado, el track se cierra.
Parámetros y métricas clave del seguimiento de objetos
La evaluación del tracking no debería basarse únicamente en una afirmación general de que el sistema “sigue bien”. En la práctica, hay que medir la calidad del mantenimiento de la identidad del objeto, la estabilidad de la trayectoria y el impacto en la eficacia de la anonimización. Algunas métricas proceden directamente del entorno MOTChallenge y de la publicación de Bernardin y Stiefelhagen de 2008 sobre MOTA y MOTP.
Parámetro / métrica | Significado | Importancia para la anonimización
|
|---|---|---|
ID Switches | Número de cambios erróneos de identidad del objeto seguido | Afecta al riesgo de transferir la máscara al objeto equivocado |
MOTA | Medida global de errores de seguimiento | Muestra la estabilidad general del seguimiento de múltiples objetos |
MOTP | Medida de precisión de localización en la definición clásica del benchmark | Influye en si la máscara cubre con precisión la cara o la matrícula |
HOTA | Métrica que combina la calidad de detección y asociación, publicada en 2020 | Refleja mejor la calidad de la vinculación del objeto entre fotogramas |
Latency | Latencia computacional del procesamiento | Es importante para la eficiencia del proceso, aunque no implica necesariamente funcionamiento en tiempo real |
Track fragmentation | Número de fragmentaciones de una trayectoria en varios tracks cortos | Aumenta el riesgo de lagunas momentáneas en la anonimización |
En las aplicaciones orientadas a la protección de la privacidad, es especialmente importante un nivel bajo de false negatives, es decir, de objetos omitidos. Desde la perspectiva del cumplimiento normativo, a veces es mejor cubrir con la máscara un área algo más amplia que dejar visible una parte de la cara o de la matrícula.
Retos y limitaciones del seguimiento de objetos en vídeo
El tracking no elimina todos los problemas. Su eficacia depende de la calidad de la detección de entrada, del número de fotogramas por segundo, de la compresión del material, de la iluminación y del grado de oclusión del objeto. Las caras parcialmente giradas, las matrículas pequeñas al fondo o los artefactos fuertes de compresión reducen la estabilidad del seguimiento.
Las limitaciones más frecuentes incluyen:
- oclusiones parciales y totales del objeto por otras personas o vehículos,
- movimiento brusco de la cámara y motion blur,
- un número reducido de píxeles correspondiente a la cara o a la matrícula,
- aspecto similar de varios objetos en una misma escena,
- errores heredados del detector que el tracking no puede corregir por sí solo.
También es importante definir correctamente el alcance de la automatización. Gallio PRO detecta y difumina automáticamente caras y matrículas. No detecta automáticamente logotipos, tatuajes, placas identificativas, documentos ni imágenes mostradas en monitores. Estos elementos pueden difuminarse manualmente en el editor. Desde el punto de vista del tracking, esto significa que el seguimiento se aplica a aquellas clases de objetos que el sistema realmente detecta de forma automática.
Referencias normativas e importancia práctica para el cumplimiento
El seguimiento de objetos no es una obligación legal independiente recogida expresamente en el RGPD, pero sí es una técnica que ayuda a aplicar el principio de integridad y confidencialidad del artículo 5, apartado 1, letra f), así como la seguridad del tratamiento del artículo 32 del Reglamento (UE) 2016/679. Si el responsable del tratamiento anonimiza material de vídeo, la estabilidad de esa anonimización es relevante para la eficacia real de la medida técnica. Breves lagunas entre fotogramas pueden comprometer el efecto práctico de la protección.
En el caso de las caras, también pueden ser relevantes las normas sobre el derecho a la propia imagen derivadas del derecho civil y de la propiedad intelectual. En el caso de las matrículas, la situación jurídica en Polonia sigue siendo desigual, mientras que en muchos países de Europa la práctica y las interpretaciones en materia de protección de datos pueden llevar a su enmascaramiento. Desde el punto de vista técnico, el seguimiento incrementa la coherencia de ese enmascaramiento a lo largo de todo el material.