Cómo "piensa" la Inteligencia Artificial: crean una herramienta para revelar su lógica interna

Investigadores de la Universidad de Kyushu han desarrollado un nuevo método para comprender cómo las redes neuronales profundas interpretan la información y la clasifican en grupos.

Las redes neuronales profundas son un tipo de inteligencia artificial (IA) que imita la forma en que los cerebros humanos procesan la información, pero comprender cómo "piensan" estas redes ha sido un desafío durante mucho tiempo.

Publicado en IEEE Transactions on Neural Networks and Learning Systems, el nuevo estudio aborda la importante necesidad de garantizar que los sistemas de IA sean precisos y robustos y puedan cumplir con los estándares requeridos para un uso seguro.

Las redes neuronales profundas procesan la información en muchas capas, de manera similar a cómo los humanos resuelven un rompecabezas paso a paso. La primera capa, conocida como capa de entrada, incorpora los datos sin procesar. Las capas posteriores, llamadas capas ocultas, analizan la información. Las primeras capas ocultas se centran en características básicas, como detectar bordes o texturas, como examinar piezas individuales del rompecabezas. Las capas ocultas más profundas combinan estas características para reconocer patrones más complejos, como identificar un gato o un perro, similar a conectar piezas de un rompecabezas para revelar el panorama general.

"Sin embargo, estas capas ocultas son como una caja negra cerrada: vemos la entrada y la salida, pero no está claro lo que sucede dentro", dice en un comunicado Danilo Vasconcellos Vargas, profesor asociado de la Facultad de Ciencias de la Información e Ingeniería Eléctrica de la Universidad de Kyushu. "Esta falta de transparencia se convierte en un problema grave cuando la IA comete errores, a veces provocados por algo tan pequeño como cambiar un solo píxel. La IA puede parecer inteligente, pero comprender cómo llega a su decisión es clave para garantizar que sea confiable".

En la actualidad, los métodos para visualizar cómo la IA organiza la información se basan en simplificar datos de alta dimensión en representaciones 2D o 3D. Estos métodos permiten a los investigadores observar cómo la IA clasifica los puntos de datos (por ejemplo, agrupando imágenes de gatos cerca de otros gatos y separándolos de los perros). Sin embargo, esta simplificación tiene limitaciones críticas.

"Cuando simplificamos la información de alta dimensión en menos dimensiones, es como aplanar un objeto 3D en 2D: perdemos detalles importantes y no podemos ver la imagen completa. Además, este método de visualización de cómo se agrupan los datos dificulta la comparación entre diferentes redes neuronales o clases de datos", explica Vargas.

En este estudio, los investigadores desarrollaron un nuevo método, llamado método de distribución k*, que visualiza y evalúa con mayor claridad qué tan bien las redes neuronales profundas clasifican los elementos relacionados entre sí.

El modelo funciona asignando a cada punto de datos ingresado un "valor k estrella" que indica la distancia al punto de datos no relacionado más cercano. Un valor k estrella alto significa que el punto de datos está bien separado (por ejemplo, un gato lejos de cualquier perro), mientras que un valor k estrella bajo sugiere una posible superposición (por ejemplo, un perro más cerca de un gato que de otros gatos). Al observar todos los puntos de datos dentro de una clase, como los gatos, este enfoque produce una distribución de valores k estrella que proporciona una imagen detallada de cómo se organizan los datos.

"Nuestro método conserva el espacio dimensional superior, por lo que no se pierde información. Es el primer y único modelo que puede brindar una visión precisa del 'vecindario local' alrededor de cada punto de datos", enfatiza Vargas.

Usando su método, los investigadores revelaron que las redes neuronales profundas clasifican los datos en disposiciones agrupadas, fracturadas o superpuestas. En una disposición agrupada, los elementos similares (por ejemplo, los gatos) se agrupan estrechamente, mientras que los elementos no relacionados (por ejemplo, los perros) están claramente separados, lo que significa que la IA puede clasificar bien los datos. Sin embargo, las distribuciones fragmentadas indican que los elementos similares están dispersos en un espacio amplio, mientras que las distribuciones superpuestas se producen cuando los elementos no relacionados se encuentran en el mismo espacio; ambas distribuciones hacen que los errores de clasificación sean más probables.

Como en un almacén

Vargas compara esto con un sistema de almacén: "En un almacén bien organizado, los elementos similares se almacenan juntos, lo que hace que la recuperación sea fácil y eficiente. Si los elementos están entremezclados, se vuelven más difíciles de encontrar, lo que aumenta el riesgo de seleccionar el elemento incorrecto".

La IA se utiliza cada vez más en sistemas críticos como los vehículos autónomos y los diagnósticos médicos, donde la precisión y la fiabilidad son esenciales. El método de distribución k estrella ayuda a los investigadores, e incluso a los legisladores, a evaluar cómo organiza y clasifica la información la IA, señalando posibles debilidades o errores. Esto no solo respalda los procesos de legalización necesarios para integrar de forma segura la IA en la vida diaria, sino que también ofrece información valiosa sobre cómo "piensa" la IA. Al identificar las causas fundamentales de los errores, los investigadores pueden refinar los sistemas de IA para que no solo sean precisos sino también robustos, capaces de manejar datos borrosos o incompletos y adaptarse a condiciones inesperadas.

"Nuestro objetivo final es crear sistemas de IA que mantengan la precisión y la confiabilidad, incluso cuando se enfrentan a los desafíos de los escenarios del mundo real", concluye Vargas.