Muchos videojuegos tienen un problema que de base podríamos pensar que es fácil de solucionar, pero la experiencia nos ha dicho que no es sí: la coordinación de la animación facial con la voz. Los estudios de desarrollo ponen mucho énfasis en esto, especialmente aquellos videojuegos de corte hiperrealista, pero Nvidia propone con Audio2Face reducir las limitaciones técnicas y hacer el proceso más sencillo.
Audio2Face de Nvidia tiene un nombre muy directo, tanto como su funcionamiento: gracias a una inteligencia artificial que combina las animaciones faciales conel audio en tiempo real. Todo esto se ejecuta en Omniverse, la pataforma de simulación en tiempo real de Nvidia, con modelos faciales desarrollados en Digital Mark 3D de forma sobresaliente.
La entrada de audio se incorpora a una red neuronal profunda y la salida impulsa los vértices 3D de la malla del personaje para crear la animación facial en tiempo real. También tenemos la opción de editar varios parámetros de postprocesamiento para editar el rendimiento de tu personaje.
De hecho, lo más interesante de esto no es solo su futura implementación en el mundo del videojuego, sino que podemos empezar a probar nosotros mismos esta nueva tecnología. Obviamente, hay que dejar claro que hay cierta limitación a la hora de usarlo, y es ue hacen falta ciertos conocimientos de diseño y programación, pero el programa se encargará de configurar los ajustes iniciales y construirá el motor Tensor RT en nuestro sistema.
Una tecnología capaz de despuntar y ayudar en el desarrollo futuro de videojuegos que podría, incluso, hacer más fácil la inmersión idiomática gracias a la sincronización facial de audios en otros idiomas. Esta tecnología, no obstante, ya ha sido estrenada por CD Projekt RED con Cyberpunk 2077.