Zes voorbeelden van mozaïekherstel: wat de AI heeft veranderd

Wat deze voorbeelden laten zien

We begonnen met een synthetisch portret, een kattenfoto met een open licentie en een bergfoto uit het publieke domein. We voegden plaatselijk en gecontroleerd mozaïek, vervaging of effen rechthoeken toe. Alleen het beschadigde beeld en een bewerkingsinstructie gingen naar image2. De onbeschadigde referentie en het exacte masker bleven op deze computer om te vergelijken. Er zijn zes voorbeelden te zien, waaronder twee maskergroottes op dezelfde synthetische persoon. Het zijn geen zes onafhankelijke proefpersonen en ook geen representatieve steekproef om een algemeen succespercentage te berekenen.

Kleinere en grotere gezichtsmosaïeken

Beide gezichtsmosaïeken werden complete, scherp ogende gezichten. Bij het kleinere vlak bleven meer zichtbare gezichtskenmerken eromheen staan; bij het grotere vlak moest het model meer details verzinnen. In het oorspronkelijke experiment met de ruwe uitvoer daalde de pixelafwijking in het gemaskeerde gebied ten opzichte van een bekende synthetische referentie met ongeveer 17,5% bij het kleine masker. Bij het grote masker steeg de afwijking met ongeveer 1,8%. Deze cijfers beschrijven die vergelijking; ze meten geen menselijke voorkeur of identiteit. Het zijn ook geen kwaliteitsscores van de definitieve rechthoekige composities op de toolpagina.

Plaatselijke vervaging en een zwarte balk over de ogen

Het voorbeeld met vervaging kreeg samenhangende gezichtsdetails en de zwarte balk werd vervangen door plausibele ogen. Geen van beide resultaten bewijst wat er verborgen was. De aanvraag met de zwarte balk duurde ongeveer 378 seconden en leverde een afbeelding van 2508 × 2508 pixels op vanaf een invoer van 1024 × 1024 pixels. De vervagingsaanvraag duurde ongeveer 100 seconden en leverde een afbeelding van 1254 × 1254 pixels op. Voor de compositie schalen we het resultaat terug naar het oorspronkelijke pixelraster. Meer pixels in de uitvoer betekent niet dat er meer informatie is teruggehaald. Een test met plaatselijke Gaussiaanse vervaging is bovendien geen test van camerabeweging.

Een huisdierfoto en een afgedekt landschap

Het kattenvoorbeeld is juist nuttig omdat de ruwe gegenereerde afbeelding te veel veranderde: de vorm van de ogen, de gezichtsvlekken en delen buiten het mozaïek versprongen. De uiteindelijke voorbeeldweergave gebruikt alleen de herstelde rechthoek uit die echte uitvoer. Bekijk of het verzonnen gezicht aansluit op de vacht die nog zichtbaar is. Op het landschap lopen rotsen en schaduwen door over de voormalige zwarte rechthoek, maar afzonderlijke details van de bergrug verschillen van de bron. Een samenhangende aanvulling kan bruikbaar zijn voor een illustratief beeld, maar is geen getrouwe registratie van het terrein.

Waarom de rest van de foto behouden blijft

We stuurden ook een onbeschadigd synthetisch portret met dezelfde herstelinstructie naar het model. Hoewel er geen afgedekt vlak was, werd het zichtbaar opnieuw getekend: na terugschalen naar de invoerafmetingen was ongeveer 40,4% van de pixels in ten minste één RGB-kanaal meer dan acht niveaus veranderd. Daarom vraagt de tool om een selectie en kopieert die gegenereerde pixels alleen binnen de gekozen rechthoeken. De getoonde WebP-voorbeelden gebruiken compressie met kwaliteitsverlies om sneller te laden; het productbestand wordt als PNG gedownload. Pixelbehoud slaat op het genormaliseerde beeld buiten de gekozen rechthoeken, vóór de compressie voor weergave.

Verwerkingstijd, fouten en onbekenden

In het oorspronkelijke experiment zijn zeven typen invoer aangeroepen, inclusief de onbeschadigde controle. Eén aanvraag met mozaïek mislukte na ongeveer 446 seconden; de enige nieuwe poging slaagde na ongeveer 148 seconden. Geslaagde aanvragen duurden ongeveer 100 tot 378 seconden. Deze kleine reeks kan geen 95e percentiel, beschikbaarheidspercentage of kosten per bruikbare afbeelding vaststellen. De aanvragen gebruikten gpt-image-2 op maximale kwaliteit via de ingestelde proxy. De werkelijke backendidentiteit, facturering en werkwijze voor gegevensbewaring van de aanbieder zijn niet onafhankelijk gecontroleerd.

Je eigen resultaat beoordelen

Vergelijk eerst de hele afbeelding en bekijk daarna de rand en herkenbare details. Let vooral op gezichten, vachtpatronen, schaduwen en rechte lijnen. Lijkt de patch erop geplakt, pas de rechthoek dan aan zodat de volledige bedekking en een smalle rand eromheen erin vallen. Genereer een nieuwe versie vanaf het origineel in plaats van een gegenereerd gezicht steeds opnieuw aan het model te voeren. Bewaar het bronbestand en gebruik een ongecensureerd origineel wanneer feiten ertoe doen. Een aannemelijk oog, cijfer of etiket bewijst niet wat er oorspronkelijk stond.

Bronnen en verder lezen

De kattenfoto is van RobotBlanket en staat onder CC0 op Wikimedia Commons. De bergfoto is toegeschreven aan de U.S. Fish and Wildlife Service als werk van de Amerikaanse overheid in het publieke domein. Het portret is bestaand synthetisch QuietTake-materiaal en stelt geen echt persoon voor. De tool linkt elke externe bron onder de bijbehorende vergelijking. Voor het onderzoek naar de werkwijze bekeken we ook Adobe-documentatie over generatief bewerken met selecties, RemoveAnythings beschrijving van mozaïekverwijdering en Fotor-toepassingen voor het verbeteren van afbeeldingen met lage resolutie. We hebben geen afbeeldingen naar die producten geüpload en hun inferentiekwaliteit niet vergeleken.

De hersteltool proberen · Afbeelding verbeteren

Adobe-gids voor selecties · Kat op Commons · Berg op Commons