Sex exempel på mosaikreparation: vad AI:n ändrade

Vad exemplen visar

Vi utgick från ett syntetiskt porträtt, ett kattfoto med öppen licens och ett bergsfoto i public domain. Vi lade lokalt och kontrollerat på mosaik, oskärpa eller täckande rektanglar. Endast den skadade bilden och en redigeringsinstruktion skickades till image2. Den rena referensbilden och den exakta masken stannade på den här datorn för jämförelsen. Sex fall visas, däribland två olika maskstorlekar på samma syntetiska person. Det är varken sex oberoende försökspersoner eller ett representativt urval för att beräkna en allmän framgångsgrad.

Mindre och större mosaik över ansikten

Båda ansiktsmosaikerna blev hela ansikten som såg skarpa ut. Den mindre masken lämnade fler synliga ansiktsdrag runtomkring; den större lämnade fler detaljer åt modellen att hitta på. I det ursprungliga experimentet med råutdata minskade pixelavvikelsen i det maskerade området med cirka 17,5 procent för den mindre masken och ökade med cirka 1,8 procent för den större, jämfört med en känd syntetisk referens. Siffrorna gäller just den jämförelsen och mäter varken mänskliga preferenser eller identitet. De är inte heller kvalitetsbetyg för de slutliga rektangulära kompositionerna på verktygssidan.

Lokal oskärpa och ett svart fält över ögonen

Exemplet med lokal oskärpa fick sammanhängande ansiktsdetaljer, och det svarta fältet ersattes med ögon som såg rimliga ut. Inget av resultaten bekräftar vad som faktiskt doldes. Begäran med det svarta fältet tog ungefär 378 sekunder och gav en bild på 2508 × 2508 pixlar från en indata på 1024 × 1024. Begäran om oskärpa tog ungefär 100 sekunder och gav 1254 × 1254 pixlar. Vi skalar ned resultatet till den ursprungliga bildens pixelrutnät före sammansättningen. Fler utdata­pixlar betyder inte att mer information har återställts. Ett test med lokal gaussisk oskärpa är inte heller ett test av kameraskakning.

Ett foto av ett husdjur och ett övertäckt landskap

Kattbilden är användbar just eftersom den råa genereringen ändrade för mycket: ögonens form, ansiktsteckningen och områden utanför mosaiken försköts. Den slutliga visningen använder bara den reparerade rektangeln från det faktiska resultatet. Kontrollera hur det påhittade ansiktet passar ihop med pälsen som syns runtomkring. I landskapet fortsätter stenar och skuggor över den tidigare svarta rektangeln, men enskilda detaljer längs bergsryggen skiljer sig från källbilden. En sammanhängande fortsättning kan fungera i en illustrativ bild utan att vara en korrekt dokumentation av terrängen.

Varför resten av fotot bevaras

Vi skickade även ett rent syntetiskt porträtt genom samma reparationsinstruktion. Trots att det inte fanns något censurerat område ritades bilden om tydligt: efter omskalning till indataformatet hade cirka 40,4 procent av pixlarna ändrats med mer än åtta nivåer i minst en RGB-kanal. Därför ber verktyget om en markering och kopierar bara de genererade pixlarna innanför de valda rektanglarna. De visade WebP-exemplen använder komprimering med kvalitetsförlust för snabbare laddning; produktens nedladdning är PNG. Pixelbevarande syftar på den normaliserade bilden utanför de valda rektanglarna, före komprimeringen för visning.

Tidsåtgång, fel och sådant vi inte vet

I det ursprungliga experimentet anropades sju typer av indata, inklusive den rena kontrollbilden. Ett anrop med mosaik misslyckades efter cirka 446 sekunder; det enda omförsöket lyckades efter ungefär 148 sekunder. Lyckade anrop tog ungefär 100 till 378 sekunder. Den här lilla testomgången räcker inte för att fastställa en 95:e percentil, tillgänglighetsgrad eller kostnad per användbar bild. Begärandena angav gpt-image-2 med högsta kvalitet via den konfigurerade proxyn. Vi verifierade inte oberoende vilken backendmodell som faktiskt användes, faktureringen eller leverantörens rutiner för datalagring.

Så bedömer du ditt eget resultat

Jämför först hela bilden och granska sedan kanten och detaljer som går att känna igen. Titta särskilt på ansikten, pälsmarkeringar, skuggor och raka linjer. Om lagningen ser inklistrad ut kan du ändra rektangeln så att den omfattar hela överlagringen och en smal marginal runt den. Skapa en ny version från originalet i stället för att gång på gång skicka ett genererat ansikte tillbaka till modellen. Spara källfilen och använd ett ocensurerat original när fakta är viktiga. Ett trovärdigt öga, en siffra eller en etikett bevisar inte vad som fanns där från början.

Källor och vidare läsning

Kattfotot är taget av RobotBlanket och publicerat under CC0 på Wikimedia Commons. Bergsbilden tillskrivs U.S. Fish and Wildlife Service som ett verk av den amerikanska staten i public domain. Porträttet är en befintlig syntetisk QuietTake-bild och föreställer ingen verklig person. Verktyget länkar varje extern källa under jämförelsen. I vår research om arbetsflödet läste vi också Adobes dokumentation om generativ redigering med markeringar, RemoveAnythings beskrivning av borttagning av mosaik och Fotor-exempel på förbättring av lågupplösta bilder. Vi laddade inte upp bilder till dessa tjänster och jämförde inte deras inferenskvalitet.

Prova reparationsverktyget · Förbättra en bild

Adobes guide till markeringar · Katt på Commons · Berg på Commons