Untertitel, Wasserzeichen und Kommentare aus Videos entfernen: acht Überlagerungsfälle im Test

Beginne mit dem Ergebnis: Der überdeckte Inhalt bestimmt den Schwierigkeitsgrad

„Untertitel entfernen“ bezeichnet nicht nur eine Aufgabe mit einem festen Schwierigkeitsgrad. Gemeint sein kann eine feste Markierung in einer Ecke auf einer ebenen Wand, ein Logo über einem Gesicht, durchscheinender Text auf Stoff, durchlaufende Kommentare, zweizeilige Untertitel oder Text über einer sich verändernden Szene. Das Ergebnis hängt davon ab, ob der saubere Hintergrund in anderen Frames zu sehen ist, wie viel Bildfläche verdeckt wird, wie sich die Überlagerung bewegt und ob die ursprüngliche Textur nach der Reparatur erhalten bleibt.

Wir haben gewöhnliches Telea-Inpainting mit der zum Testzeitpunkt im Projekt ausgewählten STTN-Konfiguration verglichen. Bei einfarbigen Hintergründen und wenigen bewegten Kommentaren waren die Ergebnisse besser. Bei einem schwierigen Wasserzeichen über einem Gesicht verbesserte sich der PSNR-Wert jedoch nur um 0,87 dB, und das reparierte Gesicht war weiterhin sichtbar verzerrt. Bei durchscheinendem Text auf Stoff betrug die Verbesserung nur 1,12 dB. Diese Fälle mit schlechten Ergebnissen bleiben in der Tabelle. Ein gelungenes Ergebnis bei einem Ecklogo ist nicht repräsentativ für jeden Clip.

So wurden die acht Szenen aufgebaut

Für die kontrollierten Tests wurde dasselbe gemeinfreie DVIDS-Interviewmaterial auf zwei Sekunden gekürzt und auf 640 × 360 Pixel bei 24 fps, also 48 Frames, normalisiert. Das Testteam legte künstliche Logos in den Ecken, durchscheinenden Text, Untertitel und durchlaufende Kommentare über saubere Frames. Dadurch liefert das Originalbild eine exakte Referenz für die überdeckten Pixel. Das Reparaturmodell erhält die überdeckten Frames und eine Maske, nicht das saubere Bild. Die acht Fälle sind Variationen derselben Quelle und keine acht unabhängig gefilmten Clips oder repräsentative Auswahl hochgeladener Dateien.

Die wichtigste Messgröße ist der PSNR-Wert innerhalb des künstlich überdeckten Bereichs. Höhere Werte bedeuten, dass die Pixel näher an der bekannten sauberen Referenz liegen. Der Zugewinn entspricht der ausgewählten Reparaturkonfiguration abzüglich des Telea-Basiswerts. Für Untertitelfälle wird STTN mit glyphenpräzisierten Masken verwendet, für die übrigen Fälle STTN. PSNR misst den Pixelabstand, nicht, ob Betrachter das Bild natürlich finden. Die Haupttabelle bezieht sich auf die Werte vor dem abschließenden Video-Encoding; die Auswirkungen des Encodings werden separat ausgewiesen.

Alle acht kontrollierten Fälle

Künstlicher Testfall	PSNR-Basiswert von Telea	Ausgewählte Konfiguration	Zugewinn	Erfassung der Überlagerungsmaske
Festes Grafiklogo · einfarbiger Hintergrund	33,87 dB	41,94 dB	+8,08 dB	100 %
Festes Grafiklogo · über einem Gesicht	11,98 dB	12,85 dB	+0,87 dB	100 %
Durchscheinendes Textwasserzeichen · einfarbiger Hintergrund	36,24 dB	43,38 dB	+7,15 dB	100 %
Durchscheinendes Textwasserzeichen · Stofftextur	15,52 dB	16,64 dB	+1,12 dB	100 %
Durchlaufende Kommentare · eine einfache Zeile	16,49 dB	33,34 dB	+16,85 dB	100 %
Durchlaufende Kommentare · zwei Zeilen über einer Person	17,44 dB	28,15 dB	+10,71 dB	99,92 %
Eingebrannte Untertitel · eine einfache Zeile	16,44 dB	22,29 dB	+5,85 dB	100 %
Eingebrannte Untertitel · schwieriger Fall mit zwei Zeilen	17,64 dB	22,17 dB	+4,53 dB	100 %

Ein hoher PSNR-Wert bedeutet bei diesen künstlichen Beispielen, dass die überdeckten Pixel näher an einer sauberen Referenz lagen. Er garantiert kein optisch überzeugendes Ergebnis. Im Fall des Logos über einem Gesicht wurde die Maske zu 100 % erfasst, trotzdem waren die Gesichtsdetails sichtbar beschädigt. Alle Pixel der Überlagerung zu erkennen bedeutet nicht, sie korrekt wiederherzustellen. Der folgende Vergleich zeigt öffentlich zugängliches Material mit künstlichen Untertiteln und ein tatsächlich im Browser repariertes Ergebnis.

Für den schwierigen Testfall mit durchlaufenden Kommentaren gab es auch einen optionalen Durchlauf mit verfeinerter Maske: Er erreichte 24,91 dB bei 99,60 % Maskenerfassung, verglichen mit 28,15 dB und 99,92 % bei der Standardmaske. Die Variante eignet sich, um den Kompromiss zwischen einer engeren Begrenzung und Pixelähnlichkeit zu untersuchen. Sie wird jedoch nicht anstelle des Standardfalls in die Tabelle mit den acht Fällen übernommen. Beide Werte beziehen sich weiterhin auf eine einzelne künstliche Szene.

Gegenprobe mit komprimierten Exporten aus dem echten Browser-Workflow

Der Hauptbenchmark misst die Modellausgabe vor dem Encoding. Zusätzlich haben wir vier Testeingaben über QuietTakes lokalen Browser-Workflow als MP4 exportiert und die dekodierten Dateien gemessen. Der Bericht stützt sich also nicht nur auf interne Modell-Tensoren. Jede Ausgabe ist zwei Sekunden lang, 640 × 360 Pixel groß und umfasst 48 Frames. Video und Audio wurden erfolgreich dekodiert; der Export behielt seine Audiospur. Dieser Durchlauf nutzte Chromium WebGPU auf einem Gerät mit Apple Silicon und 16 GiB Arbeitsspeicher. Das Modell befand sich bereits im Browser-Cache. Der erstmalige Modelldownload, der in dieser Version etwa 98,5 MB groß ist, ist in den Zeitangaben nicht enthalten.

Typ	PSNR im überdeckten Bereich nach dem Encoding	MAE im überdeckten Bereich (0–255)	MAE außerhalb des Bereichs	Verstrichene Zeit im Browser
Grafiklogo	38,58 dB	2,47	2,30	23,4 s
Durchscheinendes Textwasserzeichen	30,25 dB	4,61	2,30	23,4 s
Zweizeilige Untertitel	21,99 dB	14,50	2,31	20,4 s
Durchlaufende Kommentare	24,16 dB	5,57	2,30	23,0 s

Eine MAE von etwa 2,3 außerhalb des Bereichs ist größtenteils auf Unterschiede durch das H.264-Encoding zurückzuführen. Das bedeutet nicht, dass das Reparaturmodell das ganze Frame neu erzeugt hat. Die Algorithmustabelle beruht dagegen auf Messungen vor dem Encoding derselben künstlichen Pixel. Die Tabellen beziehen sich auf unterschiedliche Verarbeitungsschritte und dürfen nicht voneinander abgezogen werden. Die Browserzeiten gelten für dieses Gerät, zweisekündige Beispiele und einen bereits geladenen Modell-Cache. Sie sind weder ein Versprechen für Echtzeitverarbeitung noch für eine allgemeingültige Geschwindigkeit.

Eingaben, Ausgaben und Quellenangaben sind in der Mediendokumentation zum Experiment beschrieben. Das Video oben ist eine im Browser erstellte MP4-Datei. In den Vergleichsbildern sind reparierte Frames neben sauberen Referenzen und künstlichen Überlagerungen zu sehen.

Warum ein guter Messwert trotzdem ein beschädigtes Bild bedeuten kann

Ein festes Logo auf einer ebenen Fläche lässt sich leichter entfernen, weil benachbarte Pixel dem Modell einen plausiblen Kontext geben. Verdeckt das Logo ein Gesicht, sind die verborgenen Augen, die Nase und Hautdetails möglicherweise in keinem anderen Frame zu sehen. Das Modell muss sie dann schätzen. Ein höherer PSNR-Wert in diesem kleinen Beispiel stellt keine echten Identitätsmerkmale wieder her. Bei Nachrichten, Archiven oder Beweismaterial solltest du generierte Pixel nicht als historische Tatsachen darstellen.

Durchscheinender Text auf Kleidung ist ebenfalls schwierig. Die Markierung vermischt sich mit der Stofffarbe, sodass ihre Entfernung auch die Textur verändert. Bei wenigen bewegten Kommentaren kann der Hintergrund in anderen Frames zu sehen sein. Überlappen sich Zeilen, bewegt sich eine Person schnell oder verändert sich der Hintergrund, kann die Reparatur Fragmente, Schlieren oder Flackern hinterlassen. Untertitel über Kleidung, Blättern oder feinen Mustern reagieren empfindlich auf die Breite der Maske und die Form der Schriftzeichen.

Die Erfassung der Maske hat einen eng begrenzten Nenner: Sie misst, wie viel einer bekannten künstlichen Überlagerung von der erzeugten Maske abgedeckt wird. Position und Form sind hier kontrolliert. Bei echten Untertiteln kommen Umrisse, Schatten, Kompressionsrauschen und bewegte Hintergründe hinzu. Eine Erfassungsrate von 99,6 % bedeutet nicht, dass „99,6 % der Nutzervideos repariert werden“. Sie beschreibt die Pixelabdeckung in diesem Experiment und keine Erfolgsquote des Produkts.

So prüfst du einen eigenen Clip

Beginne mit einer Kopie und wähle einen repräsentativen Abschnitt von etwa zwei bis fünf Sekunden, der die schwierige Überlagerung enthält. Falls dort Probleme auftreten, sollte er auch Bewegungen, einen Untertitelwechsel oder einen Szenenwechsel umfassen. Eine Vorschau, die nur das erste Frame zeigt, reicht nicht aus, wenn der Fehler erst am Ende auftritt. Achte darauf, dass der ausgewählte Bereich nicht auch Gesichter, Schilder, normalen Szenentext oder wichtige Objekte umfasst. Bei einem größeren Bereich muss das Modell mehr Pixel erfinden.

Sieh dir das Video einmal in normaler Geschwindigkeit an und prüfe anschließend den reparierten Bereich. Halte an, um Textur und Textkanten zu untersuchen. Spiele das Video durchgehend ab, um Reste, Geisterbilder, Flackern oder plötzliche Formveränderungen zu erkennen. Prüfe außerhalb der Maske, ob sich Gesichter, Hände, Kleidung oder Hintergrund verändert haben. Untersuche das erste und letzte Frame und springe dann an zufällige Stellen, statt nur das von der App ausgewählte Vorschaubild zu prüfen.

Prüfe auch den Ton. Die kontrollierte Eingabe enthält einen künstlichen Testton, und die Browser-Exporte behielten eine dekodierbare Audiospur. Das bestätigt die Ausgabepipeline in diesem Durchlauf. Es garantiert nicht, dass jeder Browser oder Codec jede Tonspur erhält. Spiele den tatsächlichen Export ab, prüfe Dauer und Lippensynchronität und untersuche unerwartete Stille, statt aus einer stummgeschalteten Vorschau auf das Audioverhalten zu schließen.

Um den Algorithmus-Benchmark zu reproduzieren, führe das Skript für die acht Fälle des Projekts mit denselben Eingaben, sauberen Referenzen und Bewertungsmasken aus. Rohdaten und die lokale Browserausgabe werden getrennt gespeichert. Gib die Modellkonfiguration, die Verwendung der Glyphenpräzisierung, Auflösung, Bildrate, Strategie für Referenz-Frames und den Encoding-Schritt an. Kombiniere keine PSNR-Werte aus unterschiedlichen Verarbeitungsschritten. H.264 verändert die dekodierten Pixel, daher ist die MAE nach dem Encoding kein Ersatz für den Modellvergleich vor dem Encoding.

Der Benchmark-Wert ist keine Erfolgsquote für Nutzer

Der PSNR-Wert für den verdeckten Bereich misst die Abweichung von bekannten, unveränderten Pixeln. Das eignet sich für synthetische Tests mit exakten Referenzbildern. In Nutzervideos gibt es selten eine unverdeckte Kopie jedes betroffenen Frames, daher lässt sich derselbe Wert für gewöhnliche Uploads nicht berechnen. Ein höherer Wert bedeutet, dass die Pixel unter diesen Testbedingungen näher an der Referenz liegen. Er garantiert weder natürlich wirkende Bewegungen noch die Wiederherstellung der tatsächlich verdeckten Szene.

Auch bei der Maskenerfassung gibt es einen eigenen Bezugswert: den Anteil der bekannten Überlagerungspixel, die in einer Maske enthalten sind. Bei synthetischen Tests sind Positionen und Formen kontrolliert, während echte Untertitel Konturen, Schatten und Kompressionsartefakte enthalten. Leite aus einer Erfassungsrate von 99,6 % nicht die Aussage ab, dass „99,6 % der Videos erfolgreich bereinigt werden“. Entscheidend ist in der Praxis, ob Textreste sichtbar bleiben, normale Objekte gelöscht wurden oder die Reparatur bei der Wiedergabe flackert.

Die Exportzeit eines zweisekündigen Clips im Browser ist kein Maß für Echtzeitgeschwindigkeit. Der gesamte Vorgang kann Videodekodierung, Modelldownload oder Cache-Lesevorgänge, Texterkennung, Reparatur, Audiokodierung und den Download der Ausgabe umfassen. Downloads bei der ersten Verwendung kommen separat hinzu. GPU, Treiber, Browser, Codec und verfügbarer Speicher beeinflussen Geschwindigkeit und Fehler. Bei internen Wiederholungstests sollten sowohl Durchläufe mit leerem als auch mit gefülltem Cache dokumentiert werden. Vermerke außerdem Rückfälle auf geringere Präzision, fehlende Frames oder Browserfehler.

Praktische Tipps für Creator

• Kleines, feststehendes Logo auf einfarbigem Hintergrund: Beginne mit einer kurzen Vorschau und prüfe die Kanten im Bild.
• Eingebrannte Untertitel oder vereinzelte Kommentare: Prüfe im gesamten Abschnitt wechselnde Textzeilen, Bewegungen des Motivs und Szenenschnitte.
• Markierungen auf einem Gesicht, Stoff oder wichtigen Objekt: Prüfe, ob Details darunter verzerrt sind. Behalte das Original, wenn die erzeugten Details nicht akzeptabel sind.
• Separate Untertitelspur oder Kommentare im Player: Schalte diese Ebene zuerst aus oder entferne sie. Bildpixel neu aufzubauen ist unnötig und kann die Qualität mindern.
• Interviews, Nachrichten und Archivmaterial: Bewahre die Quelle auf, kennzeichne die reparierte Kopie als bearbeitet und gib den erzeugten Hintergrund nicht als Originalaufzeichnung aus.

Sieh dir im Video-Radierer eine Vorschau eines kurzen Abschnitts an, der die schwierigste Stelle enthält. Prüfe vor dem Export Kanten, Personen, Bewegungen und Tonspur. Gute Ergebnisse bei einfachen, feststehenden Markierungen lassen sich nicht auf die schwierigen Fälle mit Gesichtern und Stoff in diesem Test übertragen.

Methode und Grenzen

Die Studie mit acht Testfällen nutzt Python und OpenCV zur Pixelbewertung sowie tatsächliche lokale Browser-Exporte in Chromium. Die Kennzahlen werden innerhalb synthetischer Maskenbereiche anhand unveränderter Referenzframes berechnet. MAE ist der mittlere absolute Kanalfehler. Für die Reparaturtests dient eine gemeinfreie Interviewquelle als Basis, auf die synthetische Overlays gelegt wurden. Die Testreihe deckt nicht alle Arten von Einstellungen, Schriftarten und Auflösungen ab und enthält weder Hochkantvideos noch HDR oder dichte, bildschirmfüllende Laufkommentare.

Für den Browserlauf wurde Chromium WebGPU auf Apple Silicon mit 16 GiB Speicher verwendet. Eine erfolgreiche Dekodierung belegt, dass die Dateien strukturell lesbar sind, nicht, dass jeder Frame einwandfrei aussieht. Die Modelldateien waren bereits im Cache; bei der ersten Verwendung ist ein größerer Download nötig. Eine andere GPU, ein anderer Browser, Treiber oder Eingabecodec kann die Geschwindigkeit verändern oder Fehler verursachen.

Diese Tests schätzen nicht die Erfolgsquote für beliebige aktuelle Uploads und garantieren nicht, dass das tatsächlich verdeckte Bild wiederhergestellt wird. Dichte Overlays und menschliche Details müssen weiterhin überprüft werden. Wenn erzeugte Szenendetails irreführender wären als eine sichtbare Markierung, behalte die Quelle oder brich die Reparatur ab.