AutoFoley: Esta IA engaña a los humanos con efectos de sonidos sintetizados que parecen reales

Muchas escenas en películas o videoclips serían tan poco cautivadoras o aterradoras sin los efectos de sonidos. Por lo general, estos efectos de sonidos los graban los artistas de Foley, en el estudio, donde producen los sonidos utilizando varios objetos a su disposición.

Sin embargo, los investigadores han creado un programa automatizado que analiza el movimiento en los fotogramas de video y crea sus propios efectos de sonido artificiales para adaptarse a la escena. En una encuesta, la mayoría de personas indicó que creían que los efectos de sonidos producidos por la máquina eran reales. 

El modelo, AutoFoley, se describe en un estudio publicado el 25 de junio en IEE Transactions on Multimedia.

"Agregar efectos de sonido en la postproducción usando el arte de Foley ha sido una parte intrincada de las bandas sonoras de películas y televisión desde la década de 1930", explica Jeff Prevost, profesor de la Universidad de Texas en San Antonio, quien co-creó AutoFoley. "Las películas parecerían huecas y distantes sin la capa controlada de una banda sonora de Foley realista. Sin embargo, el proceso de síntesis de sonido de Foley agrega tiempo y costo significativos a la creación de una película".

Intrigados por la idea de un sistema Foley automatizado, Prevost y su estudiante de doctorado, Sanchita Ghose, se propusieron crear un programa de aprendizaje automático de varias capas. Crearon dos modelos diferentes que podrían usarse en el primer paso, que consiste en identificar las acciones en un video y determinar el sonido apropiado.

“Una limitación de nuestro enfoque es el requisito de que el sujeto de la clasificación esté presente en toda la secuencia de fotogramas de video”, dice Prevost, y también señala que AutoFoley actualmente se basa en un conjunto de datos con categorías de Foley limitadas. Si bien la patente de AutoFoley aún se encuentra en las primeras etapas, Prevost dice que estas limitaciones se abordarán en investigaciones futuras.

Te recomendamos METADATA, el podcast de tecnología de RPP. Noticias, análisis, reseñas, recomendaciones y todo lo que debes saber sobre el mundo tecnológico. Para escucharlo mejor, #QuedateEnCasa.