Aprendiendo a generar formas 3D a partir de un solo ejemplo

La creación por parte del usuario de nuevas formas digitales en 3D es un proceso laborioso que requiere conocimientos técnicos. Por lo tanto, se necesitan algoritmos informáticos que creen formas. Sin embargo, los métodos actuales requieren grandes conjuntos de datos de entrenamiento.

Ejemplos de formas generadas aleatoriamente. Crédito de la imagen: arXiv:2208.02946 [cs.GR]

Un artículo reciente en arXiv.org propone una profunda modelo generativo que aprende de una sola forma 3D sin la necesidad de ninguna anotación manual o datos externos.

El modelo puede producir diversas variaciones de forma mientras conserva la estructura global presentada en la forma de entrada. El enfoque se basa en los avances en redes antagónicas generativas (GAN) de una sola imagen, cuyo objetivo es aprender la distribución de parches de imagen en una sola imagen de entrada.

De manera similar, el modelo generativo propuesto se basa en una arquitectura GAN jerárquica de múltiples escalas entrenada en una pirámide de vóxeles del modelador 3D de entrada. Los investigadores realizan evaluaciones cualitativas y cuantitativas y demuestran resultados de generación en varias formas 3D de diferentes categorías.

Los modelos generativos existentes para formas 3D generalmente se entrenan en un gran conjunto de datos 3D, a menudo de una categoría de objeto específica. En este artículo, investigamos el modelo generativo profundo que aprende de una única forma 3D de referencia. Específicamente, presentamos un modelo basado en GAN de múltiples escalas diseñado para capturar las características geométricas de la forma de entrada en una variedad de escalas espaciales. Para evitar una gran cantidad de memoria y costos computacionales inducidos por operar en el volumen 3D, construimos nuestro generador sobre la representación híbrida de tres planos, que requiere solo circunvoluciones 2D. Entrenamos nuestro modelo generativo en una pirámide de vóxeles de la forma de referencia, sin necesidad de ninguna supervisión externa o anotación manual. Una vez entrenado, nuestro modelo puede generar formas 3D diversas y de alta calidad, posiblemente de diferentes tamaños y relaciones de aspecto. Las formas resultantes presentan variaciones a diferentes escalas y, al mismo tiempo, conservan la estructura global de la forma de referencia. A través de una evaluación exhaustiva, tanto cualitativa como cuantitativa, demostramos que nuestro modelo puede generar formas 3D de varios tipos.

Artículo de investigación: Wu, R. y Zheng, C., «Aprender a generar formas 3D a partir de un solo ejemplo», 2022. Enlace: https://arxiv.org/abs/2208.02946
Página del proyecto: https://www.cs.columbia.edu/cg/SingleShapeGen/

Puedes ofrece tu enlace a una página que es relevante para el tema de esta publicación.