Adobe demonstra o poder do VideoGigaGAN: sua tecnologia para transformar vídeos pixelados em HD

O vídeo é o rei do conteúdo nas redes sociais hoje em dia, mas sempre, invariavelmente, há um fator que pode jogar contra quem produz audiovisuais ou depende desse tipo de material para compartilhar coisas em suas redes sociais: a resolução. A boa notícia é que com os avanços em Inteligência Artificial, os loucos da Adobe criaram um novo projeto, chamado VideoGigaGAN, com o qual são capazes de restaurar praticamente qualquer vídeo pixelizado de má qualidade para transformá-lo em uma joia perfeita em Full HD.

No mundo atual, onde a criação e o consumo de vídeos estão em alta, surge a necessidade de contar de forma urgente, imediata e confiável com ferramentas que nos permitam melhorar a qualidade das gravações, especialmente aquelas de baixa resolução ou com imperfeições das quais nunca tivemos controle real sobre sua geração. Na internet, há um vasto acervo desse material que muitas vezes não podemos aproveitar devido à sua baixa resolução.

Mas a Adobe, ciente dessa necessidade, já há algum tempo está trabalhando nesse projeto promissor e realmente fez alguns avanços significativos em sua tecnologia de IA com VideoGigaGAN. Hoje vamos revisar as generalidades do projeto e em que estado ele se encontra atualmente, publicamente.

O VideoGigaGAN da Adobe pode se tornar o futuro da pós-produção audiovisual

Os pesquisadores da Adobe apresentaram, por meio do seu repositório no site de pesquisa científica Arxiv, o progresso atual da IA VideoGigaGAN, destacando sua capacidade de melhorar significativamente a qualidade de vídeos de baixa resolução.

O impactante aqui é que, em comparação com outras soluções de Inteligência Artificial existentes, este projeto, ainda em fases iniciais, oferece resultados superiores em termos de nitidez e definição da imagem, preservando ao mesmo tempo um alto nível de detalhe.

A tecnologia de melhoria de imagem e super resolução tem estado presente por um tempo considerável, sendo usada para melhorar a qualidade e resolução de imagens de baixa qualidade. No entanto, essas técnicas sempre tiveram limitações ao serem aplicadas a vídeos. Um exemplo disso é o aparecimento de distorções e cintilações, que afetam negativamente a experiência visual.

É aqui que a Inteligência Artificial e as Redes Generativas Adversárias (GAN) entram em ação com a Adobe e seu VideoGigaGAN, que aborda essas limitações de forma inovadora, empregando diversas técnicas como o rastreamento de movimento de objetos, a remoção de segmentos borrados e o aprendizado automatizado da IA para repintar detalhes.

Para alcançar um fluxo de vídeo suave entre quadros, o VideoGigaGAN incorpora um módulo de Inteligência Artificial de propagação guiada por fluxo antes da rede neural principal. Este módulo ‘aprende’ o movimento dos objetos ao longo do tempo no vídeo original, garantindo que o movimento suave também seja aplicado no vídeo aprimorado.

Além disso, são incluídas ‘camadas de atenção temporal’ nas camadas de amostragem superior da rede neural, o que ajuda a manter a fluidez nas transições entre frames. Adicionando a isso um bloco de antisserrilhamento que, por enquanto, gera algumas partes borradas, mas com resultados promissores.

Ainda há um longo caminho para o VideoGigaGAN

O resultado final deste processamento de várias camadas é um vídeo de super resolução que mantém um alto nível de detalhes, sem aliasing ou cintilações, oferecendo uma experiência visual significativamente melhorada.

No entanto, apesar destes avanços, a tecnologia ainda apresenta alguns desafios, como a melhoria de textos pequenos ou o suporte para sua implementação eficaz em vídeos de longa duração. Por enquanto, só gera resultados aceitáveis com clipes muito curtos.

Este projeto da Adobe está em uma fase embrionária. Portanto, será necessário ter um pouco de paciência. Mas promete bastante, para ser honesto.