Probamos cómo quitar subtítulos y marcas del video: 8 casos con IA

La dificultad depende de lo que hay detrás del texto

“Quitar subtítulos” puede significar un logo fijo sobre una pared lisa, un símbolo encima de una cara, texto translúcido sobre tela, comentarios en movimiento, dos líneas de subtítulos o letras sobre una escena cambiante. El resultado depende de cuánto se tapa, si el fondo limpio aparece en otros fotogramas, cómo se mueve la marca y qué textura debe reconstruirse.

Comparamos el relleno Telea con la configuración STTN seleccionada en el proyecto durante esta prueba. La mejora fue clara en fondos planos y comentarios dispersos. En cambio, para un logo difícil sobre una cara la PSNR solo aumentó 0,87 dB y el rostro siguió deformado. El texto translúcido sobre tela mejoró 1,12 dB. Conservamos estos resultados débiles: un buen ejemplo de logo en una esquina no representa todos los clips.

Cómo construimos los ocho casos

Usamos un mismo fragmento de entrevista DVIDS de dominio público, recortado a dos segundos y normalizado a 640 × 360 píxeles, 24 fps y 48 fotogramas. Añadimos logos, texto translúcido, subtítulos y comentarios sintéticos sobre fotogramas limpios. Así tenemos una referencia exacta para la zona cubierta. El algoritmo recibe la imagen marcada y una máscara, no la imagen limpia. Son ocho variaciones de una sola fuente, no ocho videos independientes ni una muestra de archivos subidos por usuarios.

La métrica principal es la PSNR dentro de la región cubierta. Un valor mayor indica píxeles más próximos a la referencia conocida. La ganancia resta el resultado base de Telea del resultado STTN elegido. En los subtítulos se usó una máscara refinada para ajustarse a los trazos. La PSNR mide distancia entre píxeles, no naturalidad visual. La tabla se calculó antes de codificar el video final.

Los ocho resultados controlados

Caso sintético	Telea	Configuración elegida	Mejora	Cobertura de máscara
Logo fijo · fondo plano	33,87 dB	41,94 dB	+8,08 dB	100%
Logo fijo · sobre una cara	11,98 dB	12,85 dB	+0,87 dB	100%
Marca translúcida · fondo plano	36,24 dB	43,38 dB	+7,15 dB	100%
Marca translúcida · textura de tela	15,52 dB	16,64 dB	+1,12 dB	100%
Comentarios · una línea sencilla	16,49 dB	33,34 dB	+16,85 dB	100%
Comentarios · dos líneas sobre una persona	17,44 dB	28,15 dB	+10,71 dB	99,92%
Subtítulos · una línea sencilla	16,44 dB	22,29 dB	+5,85 dB	100%
Subtítulos · dos líneas difíciles	17,64 dB	22,17 dB	+4,53 dB	100%

Una máscara puede cubrir toda la marca y aun así reconstruir mal el contenido. El caso del logo sobre la cara tuvo una cobertura del 100%, pero perdió detalle facial. Detectar los píxeles no equivale a recuperar lo que había detrás.

Exportación real en el navegador

También exportamos cuatro entradas de prueba a MP4 mediante el flujo local del navegador. Cada salida dura dos segundos, mide 640 × 360 y tiene 48 fotogramas. Video y audio se pudieron decodificar, y el archivo conservó una pista de audio. La prueba se hizo en Chromium con WebGPU y un dispositivo Apple Silicon con 16 GiB; el modelo ya estaba en la caché. La descarga inicial del modelo, de unos 98,5 MB en esta versión, no está incluida.

Tipo	PSNR tras codificar	MAE cubierta (0–255)	MAE fuera de máscara	Tiempo del navegador
Logo gráfico	38,58 dB	2,47	2,30	23,4 s
Marca translúcida	30,25 dB	4,61	2,30	23,4 s
Subtítulos de dos líneas	21,99 dB	14,50	2,31	20,4 s
Comentarios en movimiento	24,16 dB	5,57	2,30	23,0 s

La MAE fuera de la máscara, cercana a 2,3, refleja sobre todo diferencias de codificación H.264; no significa que el modelo regenerara todo el fotograma. La tabla de ocho casos se midió antes de codificar, así que no se deben restar números entre ambas tablas. El tiempo corresponde a este equipo, clips cortos y caché caliente, no es una promesa de velocidad universal.

Por qué una buena puntuación puede ocultar defectos

Un logo sobre una superficie lisa deja píxeles cercanos como contexto. Sobre una cara puede ocultar ojos, nariz y textura de piel que no aparecen en ningún otro fotograma; el modelo tiene que estimarlos. Una PSNR mayor no recupera la identidad real. Para noticias, archivos o pruebas documentales, no presentes los píxeles generados como si fueran hechos históricos.

El texto translúcido sobre ropa se mezcla con el color y la trama de la tela, por lo que quitarlo también altera la textura. Los comentarios dispersos pueden dejar ver el fondo en otros fotogramas. Si las líneas se superponen, alguien se mueve rápido o cambia la escena, pueden quedar restos, estelas o parpadeo. Los subtítulos sobre hojas, ropa u otros patrones finos son sensibles al ancho de la máscara.

La cobertura de máscara tiene un denominador limitado: mide qué parte de una marca sintética conocida quedó seleccionada. En subtítulos reales hay contornos, sombras, compresión y fondos en movimiento. Un 99,92% de cobertura no significa que el 99,92% de los videos se arregle. Es una medida de píxeles de este experimento, no una tasa de éxito del producto.

Cómo revisar un clip propio

Empieza con una copia y elige entre dos y cinco segundos que contengan la parte más difícil: movimiento, cambio de subtítulo o corte de escena. Una vista previa del primer fotograma no sirve si el problema aparece después. Comprueba que la selección no incluya caras, señales, texto normal ni objetos importantes; cuanto mayor sea el área, más contenido tendrá que inventar el modelo.

Mira el clip a velocidad normal y después inspecciona la zona reparada. Pausa para ver bordes y textura; reproduce para detectar restos, sombras, parpadeos o cambios bruscos de forma. Revisa fuera de la máscara, sobre todo caras, manos, ropa y fondo. Comprueba el primer y último fotograma y salta a posiciones aleatorias para no limitarte a la imagen que muestra la aplicación.

Escucha el audio del archivo exportado. En esta prueba se pudo decodificar la pista, pero eso no garantiza que todos los navegadores y códecs mantengan cualquier banda sonora. Confirma duración y sincronía labial. Para reproducir el experimento, conserva las referencias limpias, máscaras, resolución, tasa de fotogramas, configuración y etapa de codificación; no mezcles métricas previas y posteriores al H.264.

Recomendaciones y límites de la prueba

• Logo pequeño y fijo sobre fondo simple: prueba un intervalo corto y revisa los bordes.
• Subtítulos incrustados o comentarios dispersos: mira los cambios de línea, el movimiento y los cortes durante todo el intervalo.
• Marca sobre una cara, tela u objeto importante: amplía la imagen y conserva el original si los detalles generados no son aceptables.
• Subtítulos o comentarios en una pista separada: desactiva esa capa; reconstruir píxeles no es necesario.
• Entrevistas, noticias y archivos: conserva la fuente, etiqueta la copia editada y no presentes el fondo generado como registro original.

Los ocho casos usan una sola escena con capas sintéticas. No cubren todos los planos, fuentes, idiomas, resoluciones, HDR, videos verticales ni comentarios densos. La referencia exacta solo existe para estas pruebas; las cargas habituales no incluyen una copia limpia de los mismos fotogramas. El tiempo cambia según GPU, navegador, códec, memoria y descarga del modelo.

En el eliminador de elementos de video de QuietTake, prueba una vista previa que incluya la parte más difícil. Revisa personas, movimiento, bordes y banda sonora antes de exportar. Los buenos resultados sobre fondos sencillos no anticipan el resultado sobre una cara o una tela. Usa la herramienta solo con material que tengas derecho a editar.

Datos de origen

Los ocho resultados algorítmicos se calcularon con Python y OpenCV dentro de las máscaras sintéticas, comparando con los fotogramas limpios de referencia. Las exportaciones del navegador se midieron por separado después de H.264. Los medios y la atribución están en el registro de materiales. Esta prueba describe el conjunto experimental, no una tasa de éxito para videos arbitrarios.