VideoGigaGAN - technologia super-rozdzielczości wideo od Adobe Research

VideoGigaGAN to projekt naukowców University of Maryland, College Park oraz Adobe Research. Przyznam szczerze, że to jeden z projektów, który zrobił na mnie największe wrażenie w ostatnich miesiącach.

Czym jest VideoGigaGAN? W skrócie jest to technologia pozwalająca na poprawę jakości wideo. Ale no właśnie, w jaki sposób.

Tutaj posłużę się tym co zostało zamieszczone na stronie projektu:

Cytat

 

Niedawno wprowadzony model VideoGigaGAN to krok naprzód w technologii super-rozdzielczości wideo (VSR), który pozwala na znaczne poprawienie jakości wideo poprzez dodanie bogatych w detale wysokich częstotliwości przy zachowaniu spójności czasowej. Model ten bazuje na zaawansowanym algorytmie GigaGAN, pierwotnie stworzonym do zwiększania rozdzielczości obrazów.

Tradycyjne metody VSR często prowadziły do tworzenia obrazów wideo, które, choć większe, były mniej ostre i nieco rozmazane w porównaniu z ich odpowiednikami w statycznych obrazach. Głównym wyzwaniem było zachowanie spójności czasowej, co oznacza, że wszystkie klatki w sekwencji wideo muszą być konsekwentnie i równomiernie przetworzone, aby uniknąć efektów migotania czy niespójności.

VideoGigaGAN rozwiązuje te problemy, wykorzystując architekturę asymetrycznych sieci neuronowych U-Net, na których opiera się upsampler GigaGAN. Aby zapewnić spójność czasową, wprowadzono do modelu warstwy uwagi czasowej w blokach dekodera. Dodatkowo, by jeszcze bardziej zwiększyć konsekwencję wizualną, zintegrowano cechy z modułu propagacji prowadzonej przez przepływ. Zastosowanie bloków antyaliasingowych w warstwach zmniejszających rozmiar próbkowania pozwala na redukcję artefaktów aliasingu, a bezpośrednie przesyłanie funkcji o wysokiej częstotliwości za pomocą połączeń pomijających do warstw dekodera kompensuje utratę detali podczas procesu BlurPool.

W przeprowadzonych testach VideoGigaGAN wykazał znacznie lepszą spójność czasową i detale wizualne w porównaniu do innych nowoczesnych modeli VSR, co zostało potwierdzone poprzez porównania z najnowszymi modelami na publicznych zestawach danych oraz prezentacje wyników wideo z super-rozdzielczością 8x.

Dzięki VideoGigaGAN, profesjonaliści z branży wideo mogą teraz oczekiwać lepszej jakości wizualnej przy jednoczesnym zachowaniu naturalnego ruchu i płynności wideo, otwierając nowe możliwości w produkcji i postprodukcji filmowej.

 

Brzmi skomplikowanie, ale zachęcam jednak do rzucenia okiem na stronę projektu. Znajdziecie tam świetną dokumentację i masę przykładów, której pokazują efekty tych algorytmów.

Strona projektu: https://videogigagan.github.io/

Nie wiadomo jeszcze kiedy będziemy mogli korzystać z tych algorytmów, ale biorąc pod uwagę, że konferencja Adobe MAX odbędzie się w ciągu kilku godzin od pisania tego tekstu - kto wie, być może właśnie jutro dowiemy się czy VideoGigaGAN zostanie dodany do któregoś z produktów z pakietu Adobe Cloud.