Testamos a remoção de legendas e marcas em vídeo: 8 casos com IA

O conteúdo coberto define a dificuldade

“Remover legendas” pode significar um logo fixo numa parede lisa, um símbolo sobre o rosto, texto translúcido em tecido, comentários em movimento, duas linhas de legenda ou letras sobre uma cena que muda. O resultado depende do tamanho da área coberta, da existência de fundo limpo em outros quadros, do movimento da marca e da textura que precisa ser reconstruída.

Comparamos o preenchimento Telea com a configuração STTN selecionada no projeto durante o teste. Houve melhora clara em fundos planos e comentários espaçados. Já um logo difícil sobre um rosto ganhou apenas 0,87 dB de PSNR e ainda deixou o rosto deformado. Texto translúcido sobre tecido melhorou 1,12 dB. Mantemos esses casos fracos na tabela: um bom resultado num logo de canto não representa todo vídeo.

Como montamos os oito casos

Usamos o mesmo trecho de entrevista DVIDS em domínio público, com dois segundos, 640 × 360 pixels, 24 fps e 48 quadros. Adicionamos logos, texto translúcido, legendas e comentários sintéticos aos quadros limpos. Assim, temos uma referência exata para a região coberta. O algoritmo recebe os quadros marcados e uma máscara, nunca a imagem limpa. São oito variações de uma fonte, não oito vídeos independentes nem uma amostra de uploads de usuários.

A métrica principal é PSNR dentro da região coberta. Um valor maior significa que os pixels ficaram mais próximos da referência conhecida. O ganho subtrai o resultado de Telea do resultado STTN escolhido. As legendas usam máscara refinada para acompanhar os caracteres. PSNR mede distância entre pixels, não naturalidade visual. A tabela foi medida antes da codificação do vídeo final.

Os oito resultados controlados

Caso sintético	Telea	Configuração selecionada	Ganho	Cobertura da máscara
Logo fixo · fundo plano	33,87 dB	41,94 dB	+8,08 dB	100%
Logo fixo · sobre um rosto	11,98 dB	12,85 dB	+0,87 dB	100%
Marca translúcida · fundo plano	36,24 dB	43,38 dB	+7,15 dB	100%
Marca translúcida · textura de tecido	15,52 dB	16,64 dB	+1,12 dB	100%
Comentários · uma linha simples	16,49 dB	33,34 dB	+16,85 dB	100%
Comentários · duas linhas sobre uma pessoa	17,44 dB	28,15 dB	+10,71 dB	99,92%
Legenda embutida · uma linha simples	16,44 dB	22,29 dB	+5,85 dB	100%
Legenda embutida · duas linhas difíceis	17,64 dB	22,17 dB	+4,53 dB	100%

Uma máscara pode cobrir a marca inteira e ainda reconstruir mal o conteúdo. O logo sobre o rosto teve cobertura de 100%, mas perdeu detalhes faciais. Detectar os pixels não é o mesmo que recuperar o que estava atrás.

Exportação real no navegador

Também exportamos quatro entradas de teste para MP4 pelo fluxo local do navegador. Cada saída tem dois segundos, resolução 640 × 360 e 48 quadros. Vídeo e áudio foram decodificados, e o arquivo manteve a faixa de áudio. O teste foi feito no Chromium com WebGPU em um dispositivo Apple Silicon com 16 GiB; o modelo já estava em cache. O download inicial do modelo, de cerca de 98,5 MB nesta versão, não entra no tempo.

Tipo	PSNR após codificação	MAE coberta (0–255)	MAE fora da máscara	Tempo no navegador
Logo gráfico	38,58 dB	2,47	2,30	23,4 s
Marca de texto translúcida	30,25 dB	4,61	2,30	23,4 s
Legendas em duas linhas	21,99 dB	14,50	2,31	20,4 s
Comentários em movimento	24,16 dB	5,57	2,30	23,0 s

A MAE fora da máscara, perto de 2,3, reflete principalmente diferenças da codificação H.264; não quer dizer que o modelo tenha regenerado o quadro inteiro. A tabela dos oito casos foi medida antes da codificação, então não se devem subtrair valores entre as etapas. O tempo descreve este aparelho, clipes curtos e cache aquecido, não uma promessa universal de velocidade.

Por que uma pontuação alta pode esconder defeitos

Um logo em uma superfície lisa deixa pixels próximos como contexto. Sobre um rosto, pode ocultar olhos, nariz e textura da pele que não aparecem em outros quadros; o modelo precisa estimar esses detalhes. Uma PSNR maior não recupera a identidade real. Em notícias, arquivos ou provas, não apresente pixels gerados como fatos históricos.

Texto translúcido sobre roupas se mistura à cor e à trama do tecido, então removê-lo também altera a textura. Comentários espaçados podem revelar o fundo em outros quadros. Se as linhas se sobrepõem, alguém se move rápido ou a cena muda, podem surgir restos, rastros e cintilação. Legendas sobre roupas, folhas ou padrões finos são sensíveis à largura da máscara.

A cobertura da máscara tem um denominador restrito: mede quanto de uma marca sintética conhecida foi incluído. Legendas reais trazem contorno, sombra, compressão e fundo em movimento. 99,92% de cobertura não significa que 99,92% dos vídeos serão corrigidos. É cobertura de pixels deste experimento, não taxa de sucesso do produto.

Como revisar um clipe próprio

Comece com uma cópia e escolha dois a cinco segundos que contenham a parte difícil: movimento, troca de legenda ou corte de cena. Uma prévia do primeiro quadro não basta se o problema aparece depois. Confira se a seleção não inclui rostos, placas, texto normal ou objetos importantes; quanto maior a área, mais conteúdo o modelo precisa inventar.

Assista em velocidade normal e depois inspecione o reparo. Pause para conferir bordas e textura; reproduza para encontrar restos, fantasmas, cintilação ou mudanças repentinas de forma. Observe a área fora da máscara, em especial rosto, mãos, roupa e cenário. Confira o primeiro e o último quadro e avance para posições aleatórias, em vez de olhar só para a prévia escolhida pelo aplicativo.

Escute também o arquivo exportado. A faixa de áudio dos testes foi decodificada, mas isso não garante que todo navegador ou codec preserve qualquer trilha. Confirme duração e sincronismo labial. Para reproduzir o experimento, mantenha as referências limpas, máscaras, resolução, quadros por segundo, configuração e etapa de codificação; não misture medições anteriores e posteriores ao H.264.

Recomendações e limites do teste

• Logo pequeno e fixo sobre fundo simples: teste uma prévia curta e confira as bordas.
• Legenda embutida ou comentários espaçados: revise trocas de linha, movimento e cortes durante todo o intervalo.
• Marca sobre rosto, tecido ou objeto importante: amplie e mantenha o original se o detalhe gerado for inaceitável.
• Legenda ou comentário em faixa separada: desative a camada; reconstruir pixels é desnecessário.
• Entrevista, notícia ou arquivo: guarde a fonte, identifique a cópia editada e não apresente o fundo gerado como registro original.

Os oito casos usam uma cena com sobreposições sintéticas. Eles não cobrem todas as fontes, planos, idiomas, resoluções, HDR, vídeos verticais ou comentários densos. A referência exata só existe nesses casos; uploads comuns não têm uma cópia limpa dos mesmos quadros. O tempo varia com GPU, navegador, codec, memória e download do modelo.

No removedor de elementos de vídeo do QuietTake, teste uma prévia que inclua a parte mais difícil. Confira pessoas, movimento, bordas e áudio antes de exportar. Um bom resultado em fundo simples não antecipa o resultado em rosto ou tecido. Use a ferramenta apenas em material que você tenha direito de editar.

Dados de origem

Os resultados algorítmicos foram medidos com Python e OpenCV dentro das máscaras sintéticas, comparando com quadros limpos de referência. As exportações do navegador foram medidas em separado depois do H.264. A mídia e a atribuição estão no registro dos materiais. Este teste descreve o conjunto experimental, não uma taxa de sucesso para vídeos arbitrários.