Sześć przykładów naprawy mozaiki: co zmieniła AI

Co pokazują te przykłady

Wykorzystaliśmy syntetyczny portret, zdjęcie kota na otwartej licencji i fotografię górską z domeny publicznej. Lokalnie, w kontrolowany sposób, nałożyliśmy mozaikę, rozmycie lub kryjące prostokąty. Do image2 wysłaliśmy tylko uszkodzony obraz i instrukcję edycji. Czysty obraz referencyjny i dokładna maska pozostały na tym komputerze i służyły wyłącznie do porównania. Pokazujemy sześć przypadków, w tym dwa różne rozmiary maski na tej samej syntetycznej osobie. Nie są to ani zdjęcia sześciu niezależnych osób, ani reprezentatywna próba do obliczenia ogólnego wskaźnika skuteczności.

Mniejsze i większe mozaiki na twarzy

Obie mozaiki zmieniły się w kompletne, ostro wyglądające twarze. Przy mniejszej masce poza zasłoniętym obszarem pozostało więcej widocznych rysów; większy obszar pozostawił modelowi więcej szczegółów do wymyślenia. W pierwotnym eksperymencie na surowym wyniku błąd pikseli w zamaskowanym obszarze, porównany ze znanym syntetycznym obrazem referencyjnym, zmniejszył się o około 17,5% dla mniejszej maski i wzrósł o około 1,8% dla większej. Te wartości opisują to konkretne porównanie. Nie mierzą ludzkich preferencji ani tożsamości osoby i nie są oceną końcowych kompozycji prostokątnych widocznych na stronie narzędzia.

Lokalne rozmycie i czarny pasek na oczach

W przykładzie z lokalnym rozmyciem powstały spójne szczegóły twarzy, a czarny pasek zastąpiły wiarygodnie wyglądające oczy. Żaden z tych wyników nie potwierdza, co było ukryte. Żądanie z czarnym paskiem trwało około 378 sekund i zwróciło obraz 2508 × 2508 pikseli z wejściowego obrazu 1024 × 1024. Żądanie dotyczące rozmycia trwało około 100 sekund i zwróciło obraz 1254 × 1254. Na potrzeby kompozycji zmniejszamy wynik do pierwotnej siatki obrazu. Więcej pikseli na wyjściu nie oznacza odzyskania większej ilości informacji. Test lokalnego rozmycia Gaussa nie jest też testem poruszenia aparatu.

Zdjęcie zwierzęcia i zasłonięty krajobraz

Przykład z kotem jest przydatny właśnie dlatego, że surowy wygenerowany obraz zmienił się za bardzo: zmienił się kształt oczu, oznaczenia na pysku i obszary poza mozaiką. Końcowa prezentacja wykorzystuje z tego rzeczywistego wyniku tylko naprawiony prostokąt. Sprawdź, czy wymyślona twarz pasuje do widocznego futra. Na krajobrazie skały i cienie przedłużają się nad dawnym czarnym prostokątem, ale poszczególne szczegóły grzbietu różnią się od źródła. Spójne uzupełnienie może być przydatne w ilustracji, lecz nie stanowi wiernego zapisu terenu.

Dlaczego strona zachowuje resztę zdjęcia

Tę samą instrukcję naprawy zastosowaliśmy również do czystego syntetycznego portretu. Mimo braku zasłoniętego obszaru obraz został wyraźnie przerysowany: po zmianie rozmiaru do wymiarów wejściowych około 40,4% pikseli zmieniło się o więcej niż osiem poziomów w co najmniej jednym kanale RGB. Dlatego narzędzie prosi o zaznaczenie obszaru i kopiuje wygenerowane piksele tylko do wnętrza wybranych prostokątów. Wyświetlane próbki WebP są kompresowane stratnie, aby ładowały się szybciej; plik pobierany z produktu jest w formacie PNG. Zachowanie pikseli odnosi się do znormalizowanego obrazu poza zaznaczonymi prostokątami, przed kompresją do wyświetlenia.

Czas przetwarzania, błędy i niewiadome

W pierwotnym eksperymencie wywołaliśmy model dla siedmiu typów wejścia, w tym czystego obrazu kontrolnego. Jedno wywołanie z mozaiką nie powiodło się po około 446 sekundach; jedyna ponowna próba zakończyła się powodzeniem po około 148 sekundach. Udane wywołania trwały od około 100 do 378 sekund. Ta niewielka seria nie pozwala wyznaczyć 95. percentyla, dostępności usługi ani kosztu jednego użytecznego obrazu. Żądania wskazywały gpt-image-2 i maksymalną jakość przez skonfigurowany serwer proxy. Nie zweryfikowaliśmy niezależnie faktycznej tożsamości modelu backendowego, rozliczeń ani zasad przechowywania danych przez dostawcę.

Jak ocenić własny wynik

Najpierw porównaj całe zdjęcie, a potem obejrzyj krawędź zaznaczenia i rozpoznawalne szczegóły. Zwróć szczególną uwagę na twarze, wzory futra, cienie i proste linie. Jeśli naprawiony fragment wygląda jak naklejony, zmień prostokąt tak, aby obejmował całą zasłoniętą część i wąski margines wokół niej. Nową wersję twórz na podstawie oryginału, zamiast wielokrotnie podawać modelowi wygenerowaną już twarz. Zachowaj plik źródłowy i użyj niezasłoniętego oryginału, gdy ważna jest zgodność z faktami. Wiarygodnie wyglądające oko, cyfra lub etykieta nie dowodzą, co było widoczne na oryginale.

Źródła i dalsza lektura

Zdjęcie kota jest autorstwa RobotBlanket i udostępniono je na Wikimedia Commons na licencji CC0. Fotografia gór jest przypisana U.S. Fish and Wildlife Service jako dzieło rządowe z domeny publicznej. Portret to istniejący syntetyczny materiał QuietTake i nie przedstawia prawdziwej osoby. Narzędzie umieszcza link do każdego zewnętrznego źródła pod porównaniem. W ramach badania procesu pracy sprawdziliśmy też dokumentację Adobe dotyczącą edycji generatywnej na podstawie zaznaczenia, opis usuwania mozaiki w RemoveAnything oraz zastosowania poprawiania obrazów w niskiej rozdzielczości w Fotor. Nie przesyłaliśmy obrazów do tych produktów ani nie porównywaliśmy jakości ich wnioskowania.

Wypróbuj narzędzie do naprawy · Popraw jakość obrazu

Wskazówki Adobe dotyczące zaznaczeń · Kot w Commons · Góry w Commons