I ricercatori di Adobe dimostrano i progressi di VideoGigaGAN AI per l'upscaling di video di bassa qualità, mantenendo un elevato livello di dettaglio

I ricercatori di Adobe hanno dimostrato i progressi attuali della loro IA VideoGigaGAN per migliorare i video di bassa qualità. Una volta sviluppata completamente, l'AI potrà generare video di alta qualità senza ricorrere a costosi reshoots. Adobe migliora i lavori precedenti riducendo gli artefatti e lo sfarfallio e conservando i dettagli più fini nei video elaborati.

La tecnologia di upscaling e super-risoluzione delle immagini viene utilizzata da molti anni per migliorare la qualità e la risoluzione delle immagini di bassa qualità. Alcune fotocamere Cybershot di Sony utilizzano la tecnologia By Pixel Super Resolution per aumentare la scala delle immagini a bassa risoluzione utilizzando un database di dati di immagini di riferimento, ma è limitata dalle informazioni discrete dei pixel per aumentare la scala delle immagini di due o tre volte la dimensione originale. Più recentemente, le Reti Generative Adversariali (GAN) addestrate su miliardi di immagini possono effettuare un upscaling delle immagini di 8 volte e oltre.

L'applicazione di queste tecniche ai video è difficile a causa dell'introduzione di aliasing e stutter. Lo smussamento dei dettagli dell'immagine può eliminare questi problemi, con il compromesso di una qualità inferiore. VideoGigaGAN utilizza diverse tecniche per aggirare queste limitazioni, tra cui il tracciamento del movimento dell'oggetto, la sfocatura dell'immagine e l'apprendimento e la ridipintura dei dettagli. Tuttavia, l'AI non riesce a scalare bene i testi di piccole dimensioni o i video lunghi, per cui sono necessarie ulteriori ricerche. Nel frattempo, i lettori possono acquisire video di alta qualità con una DSLR di alto livello(come questa su Amazon) per evitare un inutile upscaling.

Dettagli tecnici

Per mantenere un flusso video fluido tra i fotogrammi nel tempo, prima del GAN principale viene aggiunto un modulo AI di propagazione guidata dal flusso. Esso 'impara' il movimento degli oggetti nel tempo nell'input originale, in modo che lo stesso movimento fluido venga applicato nel video upscalato. Inoltre, i livelli di upsampling nella GAN incorporano livelli di attenzione temporale che aiutano a mantenere le transizioni dei fotogrammi fluide.

Per affrontare l'aliasing, i fotogrammi vengono fatti passare attraverso un blocco anti-aliasing al centro della GAN, che purtroppo riduce la qualità dell'immagine a causa della sfocatura dei dettagli. Il risultato è un video upscalato con un movimento fluido, senza aliasing, ma con un dettaglio dell'immagine ridotto. VideoGigaGAN risolve questo problema introducendo una navetta ad alta frequenza che estrae i dettagli fini dai livelli iniziali di downsampling GAN e li applica successivamente ai livelli upsampled. Il risultato di più livelli di elaborazione dell'immagine è un video a super-risoluzione che contiene un livello di dettaglio elevato senza aliasing o sfarfallio.