Con la creciente popularidad de los dispositivos AR / VR y las comunicaciones virtuales, la creación de avatares humanos en 3D se ha vuelto cada vez más popular. El cuerpo humano está representado por una malla de superficie tridimensional que modela su forma, y luego un mapa de textura (una imagen en el espacio ultravioleta) que codifica su apariencia se mapea en la superficie tridimensional. Las texturas reales son esenciales para una experiencia humana digital realista, pero hasta ahora, el costo de crear mapas de texturas es muy alto, porque puede requerir varias horas de creación manual por parte de artistas técnicos que utilizan equipos especiales para capturar todos los detalles del cuerpo y la ropa.
En un artículo de Facebook titulado "Síntesis semi-supervisada de texturas editables de alta resolución para humanos en 3D", el equipo desarrolló un nuevo método para generar varios mapas de texturas de alta fidelidad para mallas humanas en 3D en un entorno semi-supervisado. El método tiene las siguientes características: alta resolución, alta fidelidad, diversidad y capacidad de edición.
Este artículo propone una nueva arquitectura: el equipo lo llama AutoEncoder Variacional Adversario Adaptativo de Región (ReAVAE). Puede usar VAE de texturas en un ambiente semi-supervisado. En el mapeo, se aprende la distribución de probabilidad de cada estilo de región, y a la distribución aprendida se le permite darse cuenta de la controlabilidad del estilo de cada región.
La arquitectura contiene tres componentes. Primero, el codificador de estilo codifica el mapeo de textura de entrada y realiza la agrupación promedio regional de las características codificadas en base a la máscara de segmentación semántica correspondiente a la textura de entrada para generar cada tipo de vector de características.
En segundo lugar, el aprendizaje de cuellos de botella de VAE utiliza la distribución normal estándar para aproximar las características de cada categoría, a partir de la cual se puede generar una muestra aleatoria y se puede generar un vector de características transformado.
Finalmente, tome el vector de características transformadas, la plantilla de segmentación y el ruido gaussiano aleatorio de cada tipo como entrada para generar el mapa de textura requerido.
La textura generada se convierte a una resolución más alta a través de una red de superresolución de imágenes previamente entrenada y se procesa utilizando un renderizador diferenciable. En el proceso de inferencia, el equipo usa el generador solo para lograr la controlabilidad de estilo independiente a través de máscaras de entrada, y la controlabilidad de cada estilo de área a través de vectores aleatorios de entrada, generando así una variedad de texturas.
Los investigadores también introdujeron una estrategia de formación que permite a la red reconstruir imágenes de entrada y generar imágenes arbitrarias. De esta manera, el equipo puede mezclar el estilo de una región específica de la imagen de entrada con cualquier estilo de la región restante manipulando el vector de características de la región de entrada del generador. Finalmente, con el fin de resolver el problema de los datos de textura limitados en el escaneo 3D, el documento propone un método para aumentar la textura de la imagen de todo el cuerpo al espacio UV para generar datos de entrenamiento.
Los resultados experimentales muestran que, en comparación con estudios anteriores, este método puede sintetizar mejores mapas de textura, al tiempo que logra un control de estilo independiente.
Documento relacionado: Síntesis semi-supervisada de texturas editables de alta resolución para humanos 3D
Vale la pena mencionar que el equipo presentará el documento titulado "Síntesis semi-supervisada de texturas editables de alta resolución para humanos en 3D" en la Conferencia de Reconocimiento de Patrones y Visión por Computadora celebrada en junio de este año.
© 2020 www.ourvrworld.com