La mayoría de las nuevas funciones y experiencias anunciadas recientemente por Adobe involucran inteligencia artificial, como agregar y eliminar objetos en Premiere Pro y crear imágenes basadas en texto en Photoshop. Y ahora la compañía ha revelado VideoGygaganuna función experimental de IA que dice que puede mejorar el vídeo ocho veces sin los efectos habituales como parpadeo o distorsión. el borde mencionado.
VideoGigaGAN supera a otros métodos de superresolución de vídeo (VSR) porque evita los artefactos y parpadeos habituales que ofrecen las GAN (redes adversarias generales), según Adobe. Al mismo tiempo, añade claridad y detalle, algo que la mayoría de los demás sistemas no consiguen hacer ambas cosas a la vez.
Por supuesto, el sistema crea detalles inexistentes de la nada, por lo que esto no sería adecuado para cosas como la mejora de vídeo forense, por ejemplo Programas policiales al estilo CSI. Pero los detalles que añade parecen impresionantemente reales, como la textura de la piel y el pelo suave. Detalle de pluma de cisne Y más.
El modelo se basa en un amplificador de imágenes a gran escala llamado GigaGAN, según los investigadores de Adobe. Los modelos VSR anteriores tenían dificultades para generar detalles ricos en los resultados, por lo que Adobe combinó la “atención temporal” (reduciendo los artefactos que se acumulan con el tiempo), la difusión de características (agregando detalles donde no están), el suavizado y el llamado “lanzadera HF”. ” (transbordador de funciones de alta frecuencia) para crear el resultado final.
Si se agrega a productos como Premiere Pro o After Effects, podría permitir a los productores de video hacer que las imágenes de baja resolución se vean mucho mejor, aunque usar IA para mejorar a las personas es una práctica controvertida. Aún no se sabe si Adobe planea hacer esto (actualmente, los clips son cortos y solo se reproducen a 12 fotogramas por segundo), pero muchas empresas, incluidas NVIDIA, Microsoft, Blackmagic Design y otras, también están trabajando en tecnología de mejora de la IA.
