Usted esta aquí
Inicio > Lo que viene > Earable usa sonar para reconstruir expresiones faciales

Earable usa sonar para reconstruir expresiones faciales

Los investigadores de Cornell han desarrollado un dispositivo auricular portátil, o “auricular”, que rebota el sonido en las mejillas y transforma los ecos en un avatar de la cara completa en movimiento de una persona.

Un equipo dirigido por Cheng Zhang, profesor asistente de ciencias de la información, y François Guimbretière, profesor de ciencias de la información, ambos en la Facultad de Computación y Ciencias de la Información Cornell Ann S. Bowers, diseñó el sistema, llamado EarIO. Este sistema transmite los movimientos faciales a un teléfono inteligente en tiempo real y es compatible con los auriculares disponibles en el mercado para videoconferencias inalámbricas con manos libres.

El seguimiento facial a través de la tecnología acústica puede ofrecer una mejor privacidad, asequibilidad, comodidad y duración de la batería.

El equipo describió su auricular en “EarIO: un auricular de detección acústica de baja potencia para el seguimiento continuo de movimientos faciales detallados”, publicado este mes en Proceedings of the Association for Computing Machinery on Interactive, Mobile, Wearable and Ubiquitous Technologies.

El EarIO funciona como un barco que envía pulsos de sonar. Un altavoz a cada lado del auricular envía señales acústicas a los lados de la cara y un micrófono capta los ecos. A medida que los usuarios hablan, sonríen o levantan las cejas, la piel se mueve y se estira, cambiando los perfiles de eco. Un algoritmo de aprendizaje profundo desarrollado por los investigadores utiliza inteligencia artificial para procesar continuamente los datos y traducir los ecos cambiantes en expresiones faciales completas.

Los esfuerzos anteriores del laboratorio de Zhang para rastrear los movimientos faciales usando auriculares con una cámara recrearon la cara completa en función de los movimientos de las mejillas vistos desde la oreja.

Al recopilar sonido en lugar de imágenes cargadas de datos, el auricular puede comunicarse con un teléfono inteligente a través de una conexión inalámbrica Bluetooth, manteniendo la información del usuario privada. Con las imágenes, el dispositivo necesitaría conectarse a una red Wi-Fi y enviar datos de un lado a otro a la nube, lo que podría hacerlo vulnerable a los piratas informáticos.

El uso de señales acústicas también requiere menos energía que la grabación de imágenes, y EarIO usa 1/25 de la energía de otro sistema basado en cámaras que el laboratorio de Zhang desarrolló anteriormente. Actualmente, el auricular dura unas tres horas con la batería de un auricular inalámbrico, pero las investigaciones futuras se centrarán en ampliar el tiempo de uso.

Los investigadores probaron el dispositivo en 16 participantes y usaron la cámara de un teléfono inteligente para verificar la precisión de su rendimiento de imitación facial. Los experimentos iniciales muestran que funciona mientras los usuarios están sentados y caminando, y que el viento, el ruido de la carretera y las discusiones de fondo no interfieren con su señalización acústica.

En futuras versiones, los investigadores esperan mejorar la capacidad del auricular para desconectarse de los ruidos cercanos y otras interrupciones.

Una limitación de la tecnología es que antes del primer uso, EarIO debe recopilar 32 minutos de datos faciales para entrenar el algoritmo.

Más información: Sala de noticias de Cornell

Deja un comentario

Top
Secured By miniOrange