Borttagning av undertexter, vattenstämplar och kommentarer i video testad: åtta fall med överlagrat innehåll

Börja med resultatet: det som täcks avgör svårighetsgraden

”Ta bort undertexter” innebär inte alltid samma svårighetsgrad. Det kan handla om en fast markering i hörnet på en slät vägg, en logotyp över ett ansikte, genomskinlig text över tyg, rullande kommentarer, två rader undertexter eller text över en scen som förändras. Resultatet beror på om den rena bakgrunden syns i andra bildrutor, hur stor del av bilden som täcks, hur överlagringen rör sig och om den ursprungliga texturen finns kvar efter reparationen.

Vi jämförde vanlig Telea-inmålning med den STTN-konfiguration som var vald i projektet vid testtillfället. Resultaten förbättrades mot släta bakgrunder och glest förekommande rörliga kommentarer. För en svår vattenstämpel över ett ansikte förbättrades PSNR med endast 0,87 dB, och det reparerade ansiktet var fortfarande synligt förvrängt. Genomskinlig text över tyg förbättrades med endast 1,12 dB. De här misslyckade resultaten finns kvar i tabellen; ett snyggt resultat med en logotyp i hörnet representerar inte alla klipp.

Så byggdes de åtta scenerna

De kontrollerade testerna använder samma intervjumaterial från DVIDS i public domain, klippt till två sekunder och normaliserat till 640 × 360 pixlar vid 24 fps, alltså 48 bildrutor. Testarna lade till syntetiska logotyper i hörnen, genomskinlig text, textremsor och rullande kommentarer ovanpå rena bildrutor. Originalbilden ger därför en exakt referens för de övertäckta pixlarna. Reparationsmodellen får de övertäckta bildrutorna och en mask, inte den rena bilden. De åtta fallen är variationer av en enda källa, inte åtta självständigt filmade klipp eller ett urval av användaruppladdningar.

Det primära måttet är PSNR i det syntetiskt övertäckta området. Högre värden betyder att pixlarna ligger närmare den kända, rena referensen. Förbättringen är den valda reparationskonfigurationens resultat minus Telea-baslinjen. Undertextfallen använder STTN med masker som anpassats efter teckenglyfer; övriga fall använder STTN. PSNR mäter pixelavstånd, inte om betraktare tycker att en bild ser naturlig ut. Huvudtabellen mäts före den slutliga videokodningen; kodningens påverkan redovisas separat.

Alla åtta kontrollerade fall

Syntetiskt fall	PSNR för Telea-baslinjen	Vald konfiguration	Förbättring	Masktäckning av överlagringen
Fast grafisk logotyp · slät bakgrund	33,87 dB	41,94 dB	+8,08 dB	100 %
Fast grafisk logotyp · över ett ansikte	11,98 dB	12,85 dB	+0,87 dB	100 %
Genomskinlig vattenstämpel med text · slät bakgrund	36,24 dB	43,38 dB	+7,15 dB	100 %
Genomskinlig vattenstämpel med text · tygstruktur	15,52 dB	16,64 dB	+1,12 dB	100 %
Rullande kommentarer · en enkel rad	16,49 dB	33,34 dB	+16,85 dB	100 %
Rullande kommentarer · två rader över en person	17,44 dB	28,15 dB	+10,71 dB	99,92 %
Inbrända undertexter · en enkel rad	16,44 dB	22,29 dB	+5,85 dB	100 %
Inbrända undertexter · svårt fall med två rader	17,64 dB	22,17 dB	+4,53 dB	100 %

Högt PSNR betyder att de övertäckta pixlarna låg närmare en ren referens i de här syntetiska exemplen. Det garanterar inte ett snyggt resultat. I fallet med logotypen över ansiktet var masktäckningen 100 %, men ansiktsdetaljerna var ändå synligt skadade. Att hitta alla pixlar i överlagringen är inte samma sak som att återställa dem korrekt. Jämförelsen nedan använder offentligt videomaterial med en syntetisk textremsa och ett faktiskt reparerat resultat från webbläsaren.

Det svåra fallet med rullande kommentarer hade också en valfri körning med förfinad mask: den fick 24,91 dB med 99,60 % masktäckning, jämfört med 28,15 dB och 99,92 % för standardmasken. Varianten är användbar för att undersöka avvägningen mellan en snävare kant och pixellikhet, men den ersätter inte standardresultatet i tabellen med åtta fall. Båda värdena är fortfarande mätningar på en enda syntetisk scen.

Kontroll av komprimerade exporter från det verkliga arbetsflödet i webbläsaren

Huvudjämförelsen mäter modellresultatet före kodning. Vi exporterade också fyra testklipp som MP4-filer med QuietTakes lokala arbetsflöde i webbläsaren och mätte de avkodade filerna, så rapporten bygger inte enbart på modellens interna tensorer. Varje utdata är två sekunder lång, 640 × 360 och 48 bildrutor. Video och ljud avkodades utan problem, och exporten behöll ljudspåret. Testet kördes med Chromium WebGPU på en enhet med Apple Silicon och 16 GiB minne, där modellen redan fanns i webbläsarens cache. Den första nedladdningen av modellen, cirka 98,5 MB i den här versionen, ingår inte i tiderna.

Typ	PSNR för övertäckt område efter kodning	MAE för övertäckt område (0–255)	MAE utanför området	Tid i webbläsaren
Grafisk logotyp	38,58 dB	2,47	2,30	23,4 s
Genomskinlig vattenstämpel med text	30,25 dB	4,61	2,30	23,4 s
Undertexter på två rader	21,99 dB	14,50	2,31	20,4 s
Rullande kommentarer	24,16 dB	5,57	2,30	23,0 s

MAE utanför området, omkring 2,3, beror till största delen på skillnader från H.264-kodningen. Det betyder inte att reparationsmodellen återskapade hela bildrutan. Däremot mäts algoritmtabellen före kodning på samma syntetiska pixlar. Tabellerna gäller olika steg och ska inte jämföras genom att subtrahera värdena från varandra. Tiden i webbläsaren gäller den här enheten, tvåsekundersprover och en varm modellcache; den är ingen garanti för realtidsprestanda eller en viss hastighet på andra enheter.

Indata, utdata och källhänvisningar beskrivs i experimentets medieregister. Videon ovan är en MP4-fil som skapats i webbläsaren; jämförelsebilderna visar reparerade bildrutor bredvid rena referenser och syntetiska överlagringar.

Därför kan ett bra värde ändå ge en skadad bild

En fast logotyp på en slät yta är enklare eftersom närliggande pixlar ger modellen en rimlig bildkontext. När en logotyp täcker ett ansikte kanske dolda ögon-, näs- och huddetaljer aldrig syns i någon annan bildruta; modellen måste uppskatta dem. Ett högre PSNR i det här lilla provet återställer inte verkliga identitetsdetaljer. Presentera inte genererade pixlar som historiska fakta i nyheter, arkiv eller bevismaterial.

Genomskinlig text över kläder är ett annat svårt fall. Märket blandas med tygets färg, så borttagningen förändrar också texturen. Glest förekommande rörliga kommentarer kan visa bakgrunden i andra bildrutor. Om rader överlappar, en person rör sig snabbt eller bakgrunden förändras kan reparationen lämna kvar rester, spökbilder eller flimmer. Undertexter över kläder, löv eller fina mönster är känsliga för maskens bredd och teckenglyfernas form.

Masktäckningen har en snäv nämnare: måttet visar hur stor del av en känd syntetisk överlagring som täcktes av den genererade masken. Platsen och formen är kontrollerade här. Verkliga undertexter kan ha konturer, skuggor och komprimeringsbrus samt visas över rörliga bakgrunder. En masktäckning på 99,6 % betyder inte att ”99,6 % av användarnas videor kommer att fixas”. Det är pixeltäckningen i det här experimentet, inte en andel lyckade resultat för produkten.

Så granskar du ett eget klipp

Börja med en kopia och välj ett representativt intervall på ungefär två till fem sekunder som innehåller den svåra överlagringen. Ta med rörelse, ett byte av undertext eller ett scenklipp om det är där problemet uppstår. En förhandsvisning som bara visar den första bildrutan räcker inte om felet uppstår i slutet. Kontrollera att det markerade området inte även omfattar ansikten, skyltar, vanlig text i scenen eller viktiga föremål; ju större område, desto fler pixlar måste modellen hitta på.

Titta en gång i normal hastighet och granska sedan det reparerade området. Pausa för att kontrollera textur och textkanter; spela upp klippet för att upptäcka rester, spökbilder, flimmer eller plötsliga formförändringar. Kontrollera om ansikten, händer, kläder och bakgrund har förändrats utanför masken. Granska den första och sista bildrutan och hoppa sedan till slumpmässiga positioner i stället för att bara granska förhandsvisningsbildrutan som appen valde.

Granska även ljudet. Den kontrollerade indatan innehåller en syntetisk testton, och exporter från webbläsaren behöll ett avkodningsbart ljudspår. Det bekräftar utdataflödet i den här körningen; det garanterar inte att varje webbläsare eller kodek bevarar alla ljudspår. Spela upp den faktiska exporten, kontrollera längd och läppsynk och undersök ett oväntat tyst resultat i stället för att dra slutsatser om ljudet från en ljudlös förhandsvisning.

Återskapa algoritmtestet genom att köra projektets skript för åtta fall med samma indata, rena referenser och utvärderingsmasker. Råresultaten och utdata från den lokala webbläsarkörningen lagras separat. Redovisa modellkonfigurationen, om anpassning efter teckenglyfer användes, upplösning, bildfrekvens, metod för referensbildrutor och kodningssteg. Blanda inte PSNR-värden från olika steg. H.264 förändrar avkodade pixlar, så MAE efter kodning kan inte ersätta jämförelsen av modellen före kodning.

Testvärdet visar inte hur ofta det lyckas för användare

PSNR för det täckta området mäter avståndet till kända, rena pixlar. Det fungerar för syntetiska tester med exakta referenser. Användarvideor har sällan en ren kopia utan överlagring av varje täckt bildruta, så samma värde kan inte beräknas för vanliga uppladdningar. En högre poäng betyder att pixlarna i den här uppställningen ligger närmare referensen. Det garanterar inte naturliga rörelser eller att den verkliga dolda scenen återskapas.

Även masktäckningen har en egen nämnare: andelen kända överlagringspixlar som ingår i en mask. Syntetiska positioner och former är kontrollerade, medan riktiga undertexter även har konturer, skuggor och komprimeringsartefakter. Dra inte slutsatsen att ”99,6 % av videorna rensas framgångsrikt” utifrån en masktäckning på 99,6 %. De praktiska frågorna är om någon text blir kvar, om vanliga objekt raderades och om reparationen flimrar under uppspelning.

Exporttiden i webbläsaren för ett två sekunder långt klipp är inget mått på realtidshastighet. Hela uppgiften kan omfatta avkodning av video, nedladdning av modeller eller läsning från cache, textidentifiering, reparation, ljudkodning och nedladdning av resultatet. Nedladdningar vid första användningen tillkommer. GPU, drivrutin, webbläsare, kodek och tillgängligt minne påverkar både hastighet och fel. Intern omtestning bör redovisa körningar med både tom och varm cache samt notera reservlösningar för precision, saknade bildrutor eller webbläsarfel.

Praktiska råd för innehållsskapare

• Liten, fast logotyp mot en enfärgad bakgrund: börja med en kort förhandsvisning och granska kanterna mot bilden.
• Inbrända undertexter eller glest förekommande kommentarer: kontrollera radbyten, motivets rörelser och scenklipp genom hela intervallet.
• Märken över ett ansikte, tyg eller ett viktigt objekt: kontrollera om detaljerna under märket har förvrängts. Behåll originalet om de genererade detaljerna inte håller måttet.
• Separat undertextspår eller spelarvisade kommentarer: stäng av eller ta bort det lagret först. Det är onödigt att bygga om bildpixlarna, och det kan försämra kvaliteten.
• Intervjuer, nyheter och arkivmaterial: behåll källan, märk den reparerade kopian som redigerad och presentera inte en genererad bakgrund som originaldokumentation.

I Videosudd kan du förhandsgranska ett kort intervall som innehåller den svåraste delen. Granska kanter, personer, rörelser och ljudspår innan du exporterar. Bra resultat med enkla, fasta märken säger inget om de svåra fallen med ansikten och tyg i det här testet.

Metod och begränsningar

Studien med åtta fall använder Python och OpenCV för pixelmätning samt faktiska lokala webbläsarexporter i Chromium. Mätvärdena beräknas inom syntetiska maskområden och jämförs med rena referensbildrutor. MAE är det genomsnittliga absoluta kanalfelet. Reparationsunderlaget använder en offentlig intervjukälla med syntetiska överlägg. Testet omfattar inte alla bildutsnitt, typsnitt, upplösningar, stående videor, HDR eller täta kommentarer som rullar över hela skärmen.

Webbläsartestet använde Chromium WebGPU på Apple Silicon med 16 GiB minne. Att avkodningen lyckas visar att filerna är strukturellt läsbara, inte att varje bildruta ser felfri ut. Modellfilerna fanns redan i cache. Första användningen kräver en större nedladdning. Annan GPU, webbläsare, drivrutin eller kodek i källfilen kan ändra hastigheten eller orsaka fel.

De här testerna uppskattar inte framgångsgraden för godtyckliga aktuella uppladdningar och garanterar inte att den verkliga dolda bilden återskapas. Täta överlägg och mänskliga detaljer behöver fortfarande granskas. Om genererade detaljer i scenen skulle vara mer vilseledande än ett synligt märke bör du behålla källan eller avbryta reparationen.