La inteligencia artificial ha conseguido devolver la voz a una mujer con parálisis grave provocada por un derrame cerebral, que ha podido hablar a través de un avatar digital. Ha sido gracias a una interfaz cerebro-ordenador (BCI, por sus siglas en inglés), que han desarrollado investigadores de la Universidad de California en San Francisco y de la Universidad de Berkeley, en Estados Unidos.
Es la primera vez que se sintetizan el habla y las expresiones faciales a partir de señales cerebrales, aseguran los investigadores en la revista Nature. El sistema también puede decodificar estas señales en texto a casi 80 palabras por minuto, lo que supone una gran mejora respecto a la tecnología disponible en el mercado.
El doctor Edward Chang, catedrático de cirugía neurológica de la UCSF, que lleva más de una década trabajando en esta tecnología, conocida como interfaz cerebro-ordenador (BCI, por sus siglas en inglés), espera que este último avance de la investigación conduzca en un futuro próximo a un sistema aprobado por la FDA que permita hablar a partir de señales cerebrales.
"Nuestro objetivo es restablecer una forma de comunicación plena y corporal, que es realmente la forma más natural de hablar con los demás --afirma Chang, miembro del Instituto Weill de Neurociencia de la UCSF y Catedrático Distinguido de Psiquiatría Jeanne Robertson--. Estos avances nos acercan mucho más a convertirlo en una solución real para los pacientes".
Researchers at @UCSF and @UCBerkeley have developed an implantable AI-powered device that, for the first time, translates brain signals into modulated speech and facial expressions.
— Berkeley Engineering (@Cal_Engineer) August 23, 2023
Read our Q&A with @Berkeley_EECS researchers: https://t.co/6iahMbbeHA pic.twitter.com/hTlSTgrRGS
El equipo de Chang demostró anteriormente que era posible descodificar las señales cerebrales en texto en un hombre que también había sufrido un ictus en el tronco encefálico muchos años antes. El estudio actual demuestra algo más ambicioso: descodificar las señales cerebrales en la riqueza del habla, junto con los movimientos que animan el rostro de una persona durante la conversación.
Chang implantó un rectángulo fino como el papel de 253 electrodos en la superficie del cerebro de la mujer, en zonas que su equipo ha descubierto que son fundamentales para el habla.
Los electrodos interceptaron las señales cerebrales que, de no haber sido por el ictus, habrían ido a parar a los músculos de la lengua, la mandíbula y la laringe, así como a la cara. Un cable, conectado a un puerto fijado a su cabeza, conectaba los electrodos a un banco de ordenadores.
Durante semanas, la participante trabajó con el equipo para entrenar los algoritmos de inteligencia artificial del sistema a reconocer sus señales cerebrales únicas para el habla. Para ello, repitió una y otra vez distintas frases de un vocabulario conversacional de 1.024 palabras, hasta que el ordenador reconoció los patrones de actividad cerebral asociados a los sonidos.
En lugar de entrenar a la IA para que reconociera palabras enteras, los investigadores crearon un sistema que descodifica palabras a partir de fonemas. Estos son las subunidades del habla que forman palabras habladas, del mismo modo que las letras forman palabras escritas. "Hola", por ejemplo, contiene cuatro fonemas: "HH", "AH", "L" y "OW".
Con este método, el ordenador solo necesitaba aprender 39 fonemas para descifrar cualquier palabra en inglés. Esto mejoró la precisión del sistema y lo hizo tres veces más rápido.
"La precisión, la velocidad y el vocabulario son cruciales --asegura Sean Metzger, que desarrolló el descodificador de texto junto con Alex Silva, ambos estudiantes de posgrado del Programa Conjunto de Bioingeniería de la UC Berkeley y la UCSF.-- Es lo que da a un usuario la posibilidad, con el tiempo, de comunicarse casi tan rápido como nosotros y mantener conversaciones mucho más naturalistas y normales".
Un algoritmo para sintetizar el habla
Para crear la voz, el equipo ideó un algoritmo para sintetizar el habla, que personalizaron para que sonara como la voz de Ann antes de la lesión, utilizando una grabación de Ann hablando en su boda.
El equipo animó el avatar con la ayuda de un software que simula y anima los movimientos musculares de la cara, desarrollado por Speech Graphics, una empresa que realiza animaciones faciales basadas en IA.
Los investigadores crearon procesos personalizados de aprendizaje automático que permitieron al software de la empresa engranar las señales que enviaba el cerebro de la mujer mientras intentaba hablar y convertirlas en los movimientos de la cara del avatar, haciendo que la mandíbula se abriera y cerrara, los labios sobresalieran y se fruncieran y la lengua subiera y bajara, así como los movimientos faciales de felicidad, tristeza y sorpresa.
"Estamos compensando las conexiones entre el cerebro y el tracto vocal interrumpidas por el ictus --explica Kaylo Littlejohn, estudiante de posgrado que trabaja con Chang y el doctor Gopala Anumanchipalli, catedrático de Ingeniería Eléctrica e Informática de la UC Berkeley--. Cuando el sujeto utilizó por primera vez este sistema para hablar y mover la cara del avatar a la vez, supe que esto iba a ser algo que tendría un impacto real".
Un próximo paso importante para el equipo es crear una versión inalámbrica que no requiera que el usuario esté físicamente conectado a la BCI.
"Dar a las personas la capacidad de controlar libremente sus propios ordenadores y teléfonos con esta tecnología tendría profundos efectos en su independencia y sus interacciones sociales", concluye David Mo.
