Usamos diferentes técnicas para visualizar el mundo que nos rodea a muchas velocidades, como cámaras lentas y fotografía de lapso de tiempo.
Crédito de la imagen: arXiv:2208.11885 [cs.CV]
Un artículo reciente en arXiv.org propone Video Temporal Pyramids, un enfoque para visualizar cambios en diferentes escalas de tiempo y una herramienta de visualización para navegar y explorar las pirámides.
La pirámide consta de una colección de videos nuevos, cada uno de los cuales destila los cambios que ocurren en una escala de tiempo particular. Permite una experiencia de visualización fluida sin efectos de alias o parpadeo. El Espectrograma de Video traza el tiempo frente a la escala de tiempo, mostrando patrones claros para cambios cíclicos fuertes como día/noche. Los usuarios pueden hacer un análisis general primero y luego profundizar en escalas de tiempo más bajas para ver más detalles.
Los investigadores validan el enfoque utilizando múltiples conjuntos de datos de cámara web de larga duración de diversas escenas al aire libre, como un sitio de construcción.
¿Qué podemos aprender sobre una escena viéndola durante meses o años? Un video grabado durante un período de tiempo prolongado representará fenómenos interesantes en múltiples escalas de tiempo, pero identificarlos y verlos presenta un desafío. El video es demasiado largo para verlo completo, y algunas ocurrencias son demasiado lentas para experimentarlas en tiempo real, como el retroceso de los glaciares. La videografía de lapso de tiempo es un enfoque común para resumir videos largos y visualizar escalas de tiempo lentas. Sin embargo, un lapso de tiempo se limita a una sola frecuencia temporal elegida y, a menudo, parece parpadear debido al alias y las discontinuidades temporales entre fotogramas. En este artículo, proponemos Video Pirámides Temporales, una técnica que aborda estas limitaciones y amplía las posibilidades para visualizar el paso del tiempo. Inspirándonos en las pirámides de imágenes espaciales de la visión por computadora, desarrollamos un algoritmo que construye pirámides de video en el dominio temporal. Cada nivel de una Pirámide Temporal de Video visualiza una escala de tiempo diferente; por ejemplo, los videos de la escala de tiempo mensual suelen ser buenos para visualizar los cambios estacionales, mientras que los videos de la escala de tiempo de un minuto son mejores para visualizar el amanecer o el movimiento de las nubes en el cielo. Para ayudar a explorar los diferentes niveles de la pirámide, también proponemos un espectrograma de video para visualizar la cantidad de actividad en toda la pirámide, brindando una visión general holística de la dinámica de la escena y la capacidad de explorar y descubrir fenómenos a lo largo del tiempo y escalas temporales. Para demostrar nuestro enfoque, hemos creado pirámides temporales de video a partir de diez escenas al aire libre, cada una de las cuales contiene meses o años de datos. Comparamos las capas de pirámide temporal de video con lapsos de tiempo ingenuos y descubrimos que nuestras pirámides permiten la visualización sin alias de cambios a más largo plazo. También demostramos que el Video Spectrogram facilita la exploración y el descubrimiento de fenómenos a través de los niveles de la pirámide, al permitir tanto una visión general como una perspectiva centrada en los detalles.
Artículo de investigación: Swift, ME, Ayers, W., Pallanck, S. y Wehrwein, S., «Visualizing the Passage of Time with Video Temporal Pyramids», 2022. Enlace: https://arxiv.org/abs/2208.11885
