Un nuevo método llamado PackUV comprime datos masivos de video 3D en formatos de video cotidianos, lo que potencialmente acerca las experiencias de video inmersivas a los televisores y computadoras domésticas.
Una nueva investigación realizada por científicos informáticos de la Universidad de Brown puede ser un paso clave para llevar el vídeo volumétrico (vídeo que puede verse desde prácticamente cualquier perspectiva en una escena 3D) a las computadoras y televisores inteligentes.
La investigación presenta una nueva forma de procesar video llamada PackUV, que mejora la captura de la acción 3D y hace que el producto final sea fácilmente transmitible, almacenable y compatible con los códecs de video que actualmente impulsan la mayoría de los videos en Internet.
«Con el vídeo volumétrico, básicamente puedes explorar una escena desde cualquier punto de vista que desees», dijo Aashish Rai, un estudiante graduado en ciencias de la computación en Brown que dirigió el trabajo. «Captura tres dimensiones del espacio, más el tiempo, convirtiéndolo en un vídeo 4D. Con nuestro trabajo, básicamente convertimos toda esta escena 4D en un vídeo normal que puedes transmitir a través de Internet y compartir con amigos».
Rai, que trabaja en el Laboratorio interactivo de aprendizaje y visión 3D en Brown, dirigido por el profesor asistente Srinath Sridhar, presentará el trabajo en junio en la Conferencia IEEE/CVF sobre visión por computadora y reconocimiento de patrones.
El vídeo volumétrico es una forma emergente de capturar y ver vídeos. Las acciones se graban utilizando múltiples cámaras sincronizadas que rodean una escena. Luego, los algoritmos informáticos reconstruyen ese espacio físico en 3D, realizando una reproducción de vídeo que puede verse desde cualquier perspectiva dentro del espacio. Los directores podrían usarlo para mostrar una escena desde una perspectiva donde hubiera sido imposible colocar una cámara. Con una interfaz de usuario adicional, las personas pueden navegar a través de una escena, viendo, por ejemplo, eventos deportivos desde el campo o un concierto desde el escenario.
A pesar de toda la promesa del video volumétrico, todavía quedan desafíos por superar, y esta nueva investigación aborda varios. El principal de ellos es que el trabajo introduce una nueva forma de comprimir vídeo volumétrico, lo que hace factible el almacenamiento y la transmisión con la infraestructura de medios actual.
«El vídeo volumétrico es increíblemente difícil de almacenar y transmitir», afirmó Rai. «Un clip de 30 minutos puede aumentar a terabytes de datos, y los formatos en los que viene son completamente ajenos a la infraestructura en la que ya se ejecuta Internet: su computadora, su servicio de transmisión por secuencias, su códec de video».
Su solución fue comenzar con el método más moderno de renderizado de escenas 3D, conocido como 3D Gaussian splatting. La técnica genera imágenes en 3D utilizando «gaussianos», manchas difusas que codifican el color, la opacidad y la forma de puntos en el espacio. La calidad de las imágenes es alta, pero el tamaño de los archivos es enorme. La innovación en este nuevo trabajo es una forma de mapear la escena 3D y sus millones de gaussianos en una imagen 2D más manejable de una manera similar a proyectar un globo terráqueo en un mapa plano.
El resultado es “una imagen estructurada de múltiples escalas que codifica toda la escena dinámica en 3D”, dijo Rai. Apila esas imágenes codificadas en 3D y se crea un vídeo con un tamaño de archivo razonable que es compatible con los códecs de vídeo incondicionales que ejecutan Netflix, YouTube y la mayor parte del resto de Internet.
Creando un gemelo digital del mundo real
Hay otro desafío clave que aborda el trabajo. Otros enfoques de salpicaduras gaussianas para videos volumétricos funcionan bien para videos cortos, dicen los investigadores, pero a menudo se descomponen en secuencias más largas. Para funcionar correctamente, los enfoques de renderizado de vídeo volumétrico deben realizar un seguimiento de los objetos en movimiento en una escena. Pero las técnicas de seguimiento actuales a menudo pierden objetos que desaparecen temporalmente de la vista (por ejemplo, cuando una pelota desaparece temporalmente detrás de una persona). También tienen problemas para lidiar con movimientos novedosos: una persona que entra a una habitación en medio de una secuencia de eventos. Este nuevo trabajo introduce un nuevo enfoque al problema.
«Podemos manejar esto dividiendo el vídeo largo en partes pequeñas», dijo Rai. «Al comienzo de cada fragmento, básicamente vemos si algo se ha movido o si ha entrado o salido de la habitación, y modelamos en consecuencia».
Al reiniciar el proceso de seguimiento con más frecuencia, la nueva técnica puede recuperar mejor los objetos que han sido bloqueados temporalmente y abordar adecuadamente los nuevos movimientos. Como resultado, el nuevo enfoque puede renderizar escenas complejas de hasta 30 minutos de duración sin fallar, mucho más que otros enfoques de dispersión gaussiana.
Para probar y comparar su nueva técnica, los investigadores reunieron lo que creen que es el conjunto de datos de vídeo multivista más grande jamás reunido. Capturado con una serie de 50 a 90 cámaras sincronizadas, el conjunto de datos incluye vídeos de personas realizando todo tipo de acciones, desde jugar baloncesto y pickleball hasta cocinar y trabajar la madera. Las acciones se capturaron tanto en un laboratorio especialmente equipado con cámaras como utilizando un conjunto de cámaras móviles para captar acciones en el mundo real.
Los investigadores han puesto todo el conjunto de datos a disposición de cualquier investigador que desee utilizarlo. El objetivo, dice Sridhar, es ayudar a avanzar en una tecnología que, en su opinión, tendrá una gran cantidad de aplicaciones futuras.
«Hay aplicaciones del mundo real en entretenimiento y deportes, por ejemplo, pero también otros casos de uso (manufactura y otras áreas) en los que es necesario crear gemelos digitales del mundo real», dijo Sridhar. «Básicamente, de eso se trata este trabajo».
La investigación fue apoyada por la Oficina de Investigación Naval (N00014-23-1-2804) y un Premio a la Carrera de la Fundación Nacional de Ciencias (2143576).
Fuente: universidad marrón
