InicioTecnologíaMotionDiffuse: generación de movimiento humano basado en texto con modelo de difusión

MotionDiffuse: generación de movimiento humano basado en texto con modelo de difusión

-


Modelado de movimiento humano es importante en la creación de personajes virtuales animados. Sin embargo, los enfoques actuales requieren equipos sofisticados y expertos en el dominio. Un artículo reciente en arXiv.org propone MotionDiffuse, un marco de generación de movimiento versátil y controlable que podría generar diversos movimientos con textos completos.

Movimiento humano - una imagen artística abstracta.  Crédito: Boris Thaser a través de Pxhere, licencia gratuita

Movimiento humano: una imagen artística abstracta. Crédito: Boris Thaser vía Pxaquílicencia gratuita

Los investigadores se inspiran en la generación de imágenes condicionadas por texto y proponen incorporar modelos probabilísticos de difusión de eliminación de ruido en la generación de movimiento. Se propone un transformador lineal de modalidad cruzada para lograr la síntesis de movimiento con una longitud arbitraria dependiendo de la duración del movimiento. Además, MotionDiffuse maneja descripciones de texto detalladas que movilizan las señales completas y variadas en el tiempo.

La evaluación muestra que el enfoque propuesto logra lo último en dos tareas de generación de movimiento condicional.

El modelado del movimiento humano es importante para muchas aplicaciones gráficas modernas, que normalmente requieren habilidades profesionales. Para eliminar las barreras de habilidad para los legos, los métodos recientes de generación de movimiento pueden generar directamente movimientos humanos condicionados a lenguajes naturales. Sin embargo, sigue siendo un desafío lograr una generación de movimiento diversa y de grano fino con varias entradas de texto. Para abordar este problema, proponemos MotionDiffuse, el primer marco de generación de movimiento basado en texto basado en un modelo de difusión, que demuestra varias propiedades deseadas sobre los métodos existentes. 1) Mapeo Probabilístico. En lugar de un mapeo de movimiento de lenguaje determinista, MotionDiffuse genera movimientos a través de una serie de pasos de eliminación de ruido en los que se inyectan variaciones. 2) Síntesis realista. MotionDiffuse sobresale en el modelado de distribución de datos complicados y en la generación de secuencias de movimiento vívidas. 3) Manipulación multinivel. MotionDiffuse responde a instrucciones detalladas sobre partes del cuerpo y síntesis de movimiento de longitud arbitraria con mensajes de texto que varían en el tiempo. Nuestros experimentos muestran que MotionDiffuse supera a los métodos SoTA existentes al ofrecer márgenes convincentes en la generación de movimiento basada en texto y en la generación de movimiento condicionada por la acción. Un análisis cualitativo demuestra aún más la capacidad de control de MotionDiffuse para la generación de movimiento integral. Página principal: esta URL https

Artículo de investigación: Zhang, M., «MotionDiffuse: generación de movimiento humano impulsada por texto con modelo de difusión», 2022. Enlace: https://arxiv.org/abs/2208.15001






Source link

Deja un comentario

- Publicidad -spot_img

Selección