视频去字幕、水印和弹幕实测：8 种遮挡场景逐项看

先看结论：遮挡内容和背景决定难度

“去字幕”听起来是一个任务，实际可能是八种难度完全不同的画面：纯色墙上的固定角标、人物脸上的图形、衣服纹理里的半透明字、滚动弹幕、双行字幕和复杂背景。测试结果不是“AI 能不能去字”的简单二选一，而是背景是否在其他帧出现过、遮挡覆盖了多少内容、目标如何运动，以及修补后是否还保留原始纹理。

本页把普通的 Telea 图像修补作为基线，与项目当时选出的 STTN 视频修复配置对比。简单背景和稀疏移动弹幕提升明显；困难水印遮住人脸时，PSNR 只提高 0.87 dB，人脸仍不可接受地变形。衣服纹理里的半透明字也只提升 1.12 dB。我们会同时展示这些失败行，不用一个漂亮的角落水印案例代表所有素材。

我们怎样搭建这 8 个场景

测试使用同一段 DVIDS 公有领域采访画面，截取两秒，统一为 640×360、24 fps、48 帧。测试人员在干净画面上人工合成角标、半透明文字、字幕和移动弹幕，因此每个遮挡位置都有准确的原画参考。模型只看到带遮挡画面和蒙版，没有看到干净画面。八个案例是同一素材上构造出的场景，不是八段独立拍摄的视频，也不等同于真实用户上传数据。

主要指标是在人工遮挡区域内测得的 PSNR，数值越高代表修复像素更接近已知干净参考。增益为最终选用配置减去 Telea 基线。字幕使用收紧字形后的 STTN 配置，其余案例使用 STTN。PSNR 是客观像素距离指标，不等同于人类主观质量；画面没有遮挡的部分不用于主表，另在端到端复测中单列编码影响。

八个场景的算法对照

合成场景	Telea 基线 PSNR	选用配置 PSNR	增益	遮挡检测召回
固定图形角标 · 简单背景	33.87 dB	41.94 dB	+8.08 dB	100%
固定图形角标 · 覆盖人脸	11.98 dB	12.85 dB	+0.87 dB	100%
半透明文字水印 · 平整背景	36.24 dB	43.38 dB	+7.15 dB	100%
半透明文字水印 · 衣服纹理	15.52 dB	16.64 dB	+1.12 dB	100%
滚动弹幕 · 单行简单	16.49 dB	33.34 dB	+16.85 dB	100%
滚动弹幕 · 双行经过人物	17.44 dB	28.15 dB	+10.71 dB	99.92%
烧录字幕 · 单行简单	16.44 dB	22.29 dB	+5.85 dB	100%
烧录字幕 · 双行困难	17.64 dB	22.17 dB	+4.53 dB	100%

双行弹幕难例还做过一次精修蒙版测试：PSNR 为 24.91 dB，蒙版召回为 99.60%；默认蒙版则为 28.15 dB 和 99.92%。这组精修结果可观察边界调整与像素误差之间的取舍，但不应混进上面的默认八场景表，也不代表更多真实视频。两组数值都来自同一段合成素材。

视频中的高 PSNR 只说明在这个有干净真值的合成样例里，遮挡区域像素更接近原图。遮挡人脸的例子即使召回为 100%，修补仍然改坏了脸；检测到所有文字不是“恢复正确”的证明。图中的字幕对比用公开素材叠加测试字，再以真正的浏览器修复输出对照原画。

再看真实浏览器端导出的压缩成片

算法表在编码前测量。为了避免只报告模型内部张量，我们还把四种测试输入通过 QuietTake 的本地浏览器流程导出成 MP4，再从输出文件解码测量。四段素材均为两秒、640×360、48 帧，视频和音轨都完整解码，导出视频保留音轨。该轮在 Apple Silicon 16 GiB 设备的 Chromium WebGPU 路径执行，模型已在浏览器缓存中；耗时不包含首次约 98.5 MB 的模型下载。

类型	编码后遮挡区 PSNR	遮挡区 MAE（0–255）	非遮挡区 MAE	浏览器端总耗时
图形角标	38.58 dB	2.47	2.30	23.4 秒
半透明文字水印	30.25 dB	4.61	2.30	23.4 秒
双语字幕	21.99 dB	14.50	2.31	20.4 秒
滚动弹幕	24.16 dB	5.57	2.30	23.0 秒

这里的非遮挡区 MAE 约 2.3，主要反映 H.264 编码差异，并不表示修复模型把整张画面都重新生成。相对地，算法主表是在相同尺寸的合成像素上编码前测量。两张表的测量阶段不同，不能直接互相相减。浏览器耗时是这台设备、两秒样片和缓存已命中的记录，不是实时预览或通用设备的速度承诺。

样例输入、输出与来源说明可以在实验素材记录中查看。上方视频是实际浏览器 MP4 输出，图片则对照干净参考帧和添加了合成遮挡的输入帧。

结果为何会从“不错”变成“修坏了”

固定角标如果盖在颜色平坦、邻近像素相似的背景上，周围画面容易提供合理参考。角标若盖在脸上，缺失的眼睛、鼻梁、皮肤结构并不会在其他帧里完整出现，视频模型只能估计。小样本里的 PSNR 提高并不能让这张脸恢复为真实细节；如果画面用于人物识别、新闻、档案或证据，就不应把合成修复当成真实记录。

衣服上的半透明文字更隐蔽：文字和布料颜色混合，去字时也会改变纹理。弹幕如果移动且不太密，别的帧可能露出原背景；若多行文字互相覆盖、人物快速运动或背景也在变化，模型可能留下残字、拖影和闪烁。字幕压在衣服、树叶或细节复杂的画面上时，修补宽度和字形蒙版会明显影响结果。

遮挡检测召回率在这里接近 100%，原因是人工叠字和蒙版位置已知且测试条件可控。真实自动识别还会面对渐变、复杂字幕样式和压缩伪影。这组数字不能转述成“99.6% 的用户视频能去干净”：它是合成场景中被遮挡像素的检测覆盖率，不是成功率。

适合怎样使用

• 固定角落标记、底色简单、遮挡面积小：可先运行短预览并检查边缘是否融入背景。
• 烧录字幕或少量弹幕：确认字幕类型和区域后，逐段检查换句、运动和场景切换。
• 遮住脸、衣服纹理、手部或重要物体：重点看原物是否被改坏；无法接受生成细节时保留原片或选择裁切。
• 外部字幕轨、播放器弹幕没有烧录进画面：优先关闭或移除字幕轨，不需要修复图像像素。
• 重要证据、采访和档案：保存原片，将修复版标注为编辑结果，不要让它冒充未修改的原始记录。

在视频去字工具中，先选一段覆盖困难画面的片段预览，再检查字幕边缘、人物、运动与输出音轨。图形水印简单案例表现较好，不代表人物遮挡等困难案例也会好看。

方法与局限

八场景研究基准由 Python/OpenCV 脚本对模型输出进行像素比较；另有 Chromium 浏览器的真实本地工具导出，两个阶段分开报告。PSNR 在人工遮挡区域内比较原始干净画面与修复结果，MAE 是通道像素绝对误差的平均值。修复测试中的视频只有一个基础公开素材，叠加元素由脚本合成；未覆盖所有镜头、字体、清晰度、竖屏、HDR 和满屏滚动弹幕。

第一次本地浏览器使用 16 GiB Apple Silicon、Chromium WebGPU。输出解码通过只证明文件结构和音轨可读，不说明每一帧主观上无瑕。模型和权重下载时间另计，浏览器缓存清理后首次使用会更慢。不同显卡、浏览器、驱动和设备内存可能产生不同耗时或失败。

这一轮测试不能代表所有当前版本或真实上传素材的成功率，也不能保证恢复被遮挡区域的原始内容。密集遮挡和人物细节仍须人工检查；只要修复后的背景或对象细节比保留痕迹更有误导性，就应保留原片或停止处理。

如何检查一段真实视频

先用副本选出 2–5 秒能够代表难点的片段，同时保留原文件。预览区要包含要擦除的字幕、弹幕或水印，也应涵盖移动人物、镜头切换和字幕换行等变化。如果困难只出现在片尾，不要只预览片头。执行前确认选区没有覆盖无关的人脸、标志、场景文字或画面主体；范围越大，模型要推测的像素越多。

查看结果时先完整播放一遍，判断画面节奏与整体观感，再逐项检查被遮挡处。静止查看时放大纹理和字边；播放时留意残字、重影、闪烁、突然变形或镜头间跳动。再检查遮挡区外的人脸、手、衣纹和背景是否被改动。暂停在第一帧和最后一帧，查看开头漏处理或结尾残留；拖动进度条随机跳几处，避免只检查模型选择的预览帧。

音轨也需要复核。示例输入含有合成测试音，浏览器导出保留了可解码音轨，这只说明管线输出了声音，不说明所有浏览器、文件编码或长片都一定兼容。播放实际导出，确认时长没有明显变化，口型仍与声音对应；若音轨缺失或有意外静音，应检查输出提示和原始文件，不要用无声预览推断音轨状态。

需要复现基准时，先运行项目里的八场景脚本，用同一组输入、真值参考和评分区域比较 Telea 与指定 STTN 配置。算法阶段的数据保存在 benchmark-results/metrics.json，输入/输出帧与版本说明保存在 browser-local-v2。应报告模型配置、是否采用字形收紧、分辨率、帧率、参考帧策略与编码阶段，不能把不同阶段的 PSNR 混成一个数字。编码后的 MAE 会受 H.264 压缩影响，衡量算法的表不能拿最终 MP4 的像素差直接替代。

基准分数不是用户成功率

遮挡区 PSNR 是像素与干净真值之间的距离。它适用于已知原画的合成测试；真实用户上传的视频通常没有未遮挡的参考帧，因此无法用同样方法给每次处理算准确分数。PSNR 提高表示该实验条件下像素更接近真值，但不保证观看者觉得自然，更不保证恢复了实际被挡住的历史细节。

检测召回率也有特定分母：它统计测试蒙版中的遮挡像素有多少被蒙版覆盖。合成遮挡的位置和形状已知，真实字幕则有描边、阴影、压缩噪点和动态背景，检测条件不同。99.6% 不能解释为“99.6% 的视频能成功去字幕”。用户真正关心的仍是漏掉多少字、正常物体有没有被擦除，以及连续播放时是否闪烁。

两秒样片的浏览器耗时不等于视频实时处理速度。实际任务还包括文件解码、模型下载或缓存读取、文字检测、修复、音轨编码和下载。首次使用需要下载模型，设备 GPU、显卡驱动、浏览器、视频编码和内存都会影响结果。内部复测应把首次模型下载与模型缓存两种条件分别计时，并记录是否发生精度回退、缺帧或浏览器错误。

给创作者的操作建议

• 固定小水印位于平滑背景：先从短预览开始，放大边缘并比较邻近纹理。
• 字幕或少量弹幕穿过运动画面：检查换句位置、人物遮挡和镜头切换，不要只看一张静帧。
• 标记盖住人脸或衣物文字：确认主体细节没有变形。重要画面不能靠生成猜测时，保留原始版本。
• 仅存在独立字幕轨：优先关闭字幕轨，而不是重建图像；重建会重新编码并可能降低画质。
• 输出准备发布前：播放全片、核对音画同步和帧率，并单独保存原始文件与修复版。

每次操作都先选取许可使用且可以处理的素材。人物、新闻、档案和证据画面应标明这是编辑后的版本；模型生成的背景不能冒充原始事实。对比工具能揭示变化，不会替你判断这种变化是否适合发布。