Sei esempi di riparazione dei mosaici: cosa ha modificato l’IA

Cosa rappresentano questi esempi

Siamo partiti da un ritratto sintetico, una foto di un gatto con licenza aperta e una fotografia di montagna di pubblico dominio. Abbiamo aggiunto localmente mosaici, sfocature o rettangoli opachi in modo controllato. A image2 abbiamo inviato soltanto l’immagine danneggiata e un’istruzione di modifica. L’immagine di riferimento pulita e la maschera esatta sono rimaste su questo computer per il confronto. I casi mostrati sono sei, compresi due mosaici di dimensioni diverse sulla stessa persona sintetica. Non sono sei soggetti indipendenti né un campione rappresentativo per stimare un tasso di successo generale.

Mosaici facciali più piccoli e più grandi

Entrambi i mosaici sono diventati volti completi dall’aspetto nitido. Con la maschera più piccola restavano visibili più tratti del viso intorno; quella più grande lasciava al modello più dettagli da inventare. Nell’esperimento originale sull’output grezzo, l’errore dei pixel nella zona mascherata è diminuito di circa il 17,5% con la maschera più piccola ed è aumentato di circa l’1,8% con quella più grande, rispetto a un riferimento sintetico noto. I valori riguardano quel confronto, non le preferenze delle persone né l’identità. Non sono neppure valutazioni delle composizioni rettangolari finali mostrate nella pagina dello strumento.

Sfocatura locale e una barra nera sugli occhi

L’esempio della sfocatura ha generato dettagli facciali coerenti e ha sostituito la barra nera con occhi plausibili. Nessuno dei due risultati conferma cosa fosse nascosto. La richiesta della barra nera è durata circa 378 secondi e ha restituito un’immagine da 2508 × 2508 pixel partendo da un input di 1024 × 1024. La richiesta della sfocatura è durata circa 100 secondi e ha restituito un’immagine da 1254 × 1254. Per la composizione ridimensioniamo il risultato alla griglia originale. Un maggior numero di pixel in uscita non significa aver recuperato più informazioni. Inoltre, un test di sfocatura gaussiana locale non è un test del mosso della fotocamera.

Una foto di un animale e un paesaggio coperto

L’esempio del gatto è utile proprio perché l’immagine generata grezza è cambiata troppo: sono variati la geometria degli occhi, i segni sul muso e parti esterne al mosaico. La versione finale mostrata inserisce nell’originale solo il rettangolo riparato di quell’output reale. Controlla come il volto inventato si raccorda con il pelo rimasto visibile. Nel paesaggio, rocce e ombre proseguono sopra il vecchio rettangolo nero, ma i dettagli delle singole creste differiscono dalla fonte. Una continuazione coerente può essere utile per un’immagine illustrativa senza rappresentare fedelmente quel terreno.

Perché la pagina conserva il resto della foto

Abbiamo inviato allo stesso modello anche un ritratto sintetico pulito con la stessa istruzione di riparazione. Pur non avendo alcuna zona censurata, è stato ridisegnato in modo evidente: dopo il ridimensionamento alle dimensioni dell’input, circa il 40,4% dei pixel era cambiato di oltre otto livelli in almeno un canale RGB. Per questo lo strumento chiede una selezione e copia i pixel generati solo all’interno dei rettangoli scelti. Gli esempi WebP mostrati usano una compressione con perdita per caricarsi più rapidamente; il download del prodotto è un PNG. La conservazione dei pixel si riferisce all’immagine normalizzata fuori dai rettangoli selezionati, prima della compressione per la visualizzazione.

Tempi, errori e ciò che non sappiamo

Nell’esperimento originale sono stati provati sette tipi di input, compreso il controllo pulito. Una chiamata con mosaico è fallita dopo circa 446 secondi; l’unico nuovo tentativo è riuscito in circa 148 secondi. Le chiamate riuscite hanno richiesto all’incirca da 100 a 378 secondi. Questo piccolo gruppo di prove non consente di stabilire un percentile 95, un tasso di disponibilità o il costo per ogni immagine utilizzabile. Le richieste specificavano gpt-image-2 e la qualità massima tramite il proxy configurato. Non abbiamo verificato in modo indipendente il modello realmente usato dal backend, la fatturazione o le pratiche di conservazione dei dati del fornitore.

Come valutare il tuo risultato

Confronta prima l’immagine intera, poi osserva il bordo e i dettagli riconoscibili. Fai particolare attenzione ai volti, ai segni sul pelo degli animali, alle ombre e alle linee dritte. Se la patch sembra incollata, regola il rettangolo includendo l’intera sovrapposizione e un margine stretto. Genera una nuova versione dall’originale invece di inviare più volte al modello un volto già generato. Conserva il file sorgente e usa una versione non censurata quando la precisione dei fatti è importante. Un occhio, una cifra o un’etichetta plausibili non provano cosa fosse presente in origine.

Fonti e approfondimenti

La foto del gatto è di RobotBlanket, con licenza CC0 su Wikimedia Commons. La fotografia della montagna è attribuita allo U.S. Fish and Wildlife Service come opera governativa di pubblico dominio. Il ritratto è un’immagine sintetica già esistente di QuietTake e non rappresenta una persona reale. Lo strumento collega ciascuna fonte esterna sotto il relativo confronto. La ricerca sul flusso di lavoro ha consultato anche la documentazione Adobe sulle selezioni per la modifica generativa, la descrizione della rimozione dei mosaici di RemoveAnything e gli usi di Fotor per migliorare immagini a bassa risoluzione. Non abbiamo caricato immagini su quei prodotti né confrontato la qualità delle loro inferenze.

Prova lo strumento di riparazione · Migliora un’immagine

Guida Adobe alle selezioni · Gatto su Commons · Montagna su Commons