Sechs Beispiele zur Mosaik-Reparatur: Was die KI verändert hat

Was diese Beispiele zeigen

Wir haben ein synthetisches Porträt, ein frei lizenziertes Katzenfoto und eine gemeinfreie Bergaufnahme verwendet. Darauf haben wir lokal und kontrolliert Mosaike, Unschärfe oder deckende Rechtecke gesetzt. An image2 gingen nur das beschädigte Bild und eine Bearbeitungsanweisung. Die saubere Referenz und die exakte Maske blieben zum Vergleich auf diesem Computer. Zu sehen sind sechs Fälle, darunter zwei verschieden große Masken auf derselben synthetischen Person. Es handelt sich weder um sechs unabhängige Personen noch um eine repräsentative Stichprobe für eine allgemeine Erfolgsquote.

Kleine und große Gesichtsmosaike

Aus beiden Gesichtsmosaiken wurden vollständige, scharf wirkende Gesichter. Bei der kleineren Fläche blieben mehr sichtbare Gesichtszüge außen herum erhalten; bei der größeren musste das Modell mehr Details erfinden. Im ursprünglichen Experiment mit der unbearbeiteten Gesamtausgabe sank der Pixelfehler im maskierten Bereich gegenüber einer bekannten synthetischen Referenz bei der kleinen Maske um etwa 17,5 Prozent und stieg bei der großen um etwa 1,8 Prozent. Die Werte beziehen sich auf diesen bekannten synthetischen Vergleich. Sie messen weder menschliche Vorlieben noch die Identität einer Person. Sie sind auch keine Qualitätswerte für die endgültigen rechteckigen Bildkompositionen auf der Werkzeugseite.

Lokale Unschärfe und ein schwarzer Balken über den Augen

Im Beispiel mit lokaler Unschärfe entstanden zusammenhängende Gesichtszüge; der schwarze Balken wurde durch plausible Augen ersetzt. Keines der Ergebnisse bestätigt, was tatsächlich verdeckt war. Die Anfrage zum schwarzen Balken dauerte ungefähr 378 Sekunden und lieferte aus einer Eingabe mit 1024 × 1024 Pixeln ein Bild mit 2508 × 2508 Pixeln. Die Unschärfe-Anfrage dauerte etwa 100 Sekunden und ergab 1254 × 1254 Pixel. Für die Komposition verkleinern wir die Ausgabe wieder auf das ursprüngliche Pixelraster. Mehr Ausgabepixel bedeuten nicht, dass mehr Informationen wiederhergestellt wurden. Ein Test mit lokaler Gaußscher Unschärfe ist außerdem kein Test für Verwacklungen der Kamera.

Ein Haustierfoto und eine verdeckte Landschaft

Das Katzenbeispiel ist gerade deshalb wichtig, weil sich die rohe generierte Aufnahme zu stark verändert hat: Augenform, Gesichtszeichnung und Bereiche außerhalb des Mosaiks verschoben sich. Die endgültige Beispielansicht übernimmt nur das Reparaturrechteck aus dieser tatsächlichen Ausgabe. Prüfe, ob das erfundene Gesicht zum verbliebenen Fell passt. In der Landschaft setzen sich Felsen und Schatten über dem früheren schwarzen Rechteck fort, doch einzelne Details des Bergrückens unterscheiden sich von der Quelle. Eine stimmige Fortsetzung kann für ein illustratives Bild nützlich sein, ist aber keine zuverlässige Dokumentation des Geländes.

Warum der Rest des Fotos erhalten bleibt

Wir haben auch ein unbeschädigtes synthetisches Porträt mit derselben Reparaturanweisung verarbeitet. Obwohl es keine abgedeckte Stelle gab, wurde es sichtbar neu gezeichnet: Nach der Anpassung an die Eingabegröße hatten sich ungefähr 40,4 Prozent der Pixel in mindestens einem RGB-Kanal um mehr als acht Stufen geändert. Deshalb fordert das Werkzeug eine Auswahl an und kopiert generierte Pixel nur innerhalb dieser Rechtecke. Die angezeigten WebP-Beispiele werden für schnellere Ladezeiten verlustbehaftet komprimiert; der Produktdownload ist eine PNG-Datei. Die Aussage zur Pixelerhaltung bezieht sich auf das normalisierte Bild außerhalb der ausgewählten Rechtecke, vor der Komprimierung für die Anzeige.

Laufzeit, Fehler und offene Fragen

Im ursprünglichen Experiment wurden sieben Eingabearten aufgerufen, einschließlich des unveränderten Kontrollbilds. Eine Mosaik-Anfrage scheiterte nach etwa 446 Sekunden; der einmalige Wiederholungsversuch war nach ungefähr 148 Sekunden erfolgreich. Erfolgreiche Aufrufe dauerten etwa 100 bis 378 Sekunden. Diese kleine Testreihe reicht weder für eine P95-Angabe noch für eine Verfügbarkeitsrate oder Kosten pro brauchbarem Bild. Die Anfragen verwendeten gpt-image-2 mit maximaler Qualität über den konfigurierten Proxy. Die tatsächliche Identität des Backend-Modells, die Abrechnung und die Datenspeicherung beim Anbieter wurden nicht unabhängig überprüft.

So beurteilst du dein eigenes Ergebnis

Vergleiche zuerst das ganze Bild und prüfe dann den Rand der Auswahl und erkennbare Details. Achte besonders auf Gesichter, Fellmuster, Schatten und gerade Linien. Sieht der Patch aufgeklebt aus, passe das Rechteck so an, dass es die vollständige Überlagerung und einen schmalen Rand umfasst. Erzeuge eine neue Version vom Original, statt ein generiertes Gesicht wiederholt als Eingabe zu verwenden. Bewahre die Quelldatei auf und nutze bei wichtigen Fakten ein unverdecktes Original. Ein plausibles Auge, eine Ziffer oder ein Etikett belegt nicht, was ursprünglich zu sehen war.

Quellen und weiterführende Informationen

Das Katzenfoto stammt von RobotBlanket und steht auf Wikimedia Commons unter CC0. Die Bergaufnahme wird dem U.S. Fish and Wildlife Service zugeschrieben und ist als Regierungswerk gemeinfrei. Das Porträt ist ein vorhandenes synthetisches QuietTake-Motiv und zeigt keine reale Person. Das Werkzeug verlinkt jede externe Quelle unter dem zugehörigen Vergleich. Unsere Recherche zum Arbeitsablauf hat außerdem die Adobe-Dokumentation zur generativen Bearbeitung anhand von Auswahlbereichen, RemoveAnythings Beschreibung der Mosaikentfernung und Fotor-Anwendungsfälle für die Verbesserung niedrig aufgelöster Bilder berücksichtigt. Wir haben keine Bilder bei diesen Produkten hochgeladen und ihre Inferenzqualität nicht verglichen.

Reparaturwerkzeug ausprobieren · Bilder verbessern

Adobe-Anleitung zu Auswahlen · Katze auf Commons · Berg auf Commons