Aunque suena como un detalle de una novela cyberpunk, según un artículo recientemente publicado, los investigadores han logrado exactamente esto.
Los investigadores descubrieron que podían reconstruir imágenes de alta resolución y altamente precisas a partir de la actividad cerebral utilizando el popular modelo de generación de imágenes Stable Diffusion, como se describe en un artículo publicado en diciembre. Los autores escribieron que, a diferencia de estudios anteriores, no necesitaron entrenar o ajustar los modelos de IA para crear estas imágenes.
Los investigadores de la Escuela de Posgrado de las Ciencias de la Frontera Biosciences de la Universidad de Osaka explicaron que primero predijeron una representación latente, que es un modelo de los datos de la imagen, a partir de señales fMRI. Luego, el modelo se procesó y se le agregó ruido a través del proceso de difusión. Finalmente, los investigadores decodificaron las representaciones de texto de las señales fMRI dentro de la corteza visual superior y las usaron como entrada para producir una imagen final construida.
Los investigadores escribieron que algunos estudios han producido reconstrucciones de alta resolución de imágenes, pero solo después de entrenar y ajustar modelos generativos. Esto resultó en limitaciones porque entrenar modelos complejos es difícil y hay pocas muestras en neurociencia con las que trabajar. Antes de este nuevo estudio, ningún otro investigador había intentado usar modelos de difusión para la reconstrucción visual.
Los investigadores concluyeron que este estudio fue una mirada a los procesos internos de los modelos de difusión y que fue el primero en proporcionar una interpretación cuantitativa del modelo desde una perspectiva biológica. Por ejemplo, hay un diagrama que los investigadores crearon que muestra la correlación entre los estímulos y los niveles de ruido en el cerebro. Cuanto más alto sea el estímulo, mayor será el nivel de ruido y mayor será la resolución de la imagen. En otro diagrama, los investigadores muestran el compromiso de diferentes redes neuronales en el cerebro y cómo se deshacen del ruido de una imagen para reconstruirla.
Según los investigadores, «estos resultados sugieren que al principio del proceso de difusión inversa, la información de la imagen se comprime dentro de la capa del cuello de botella. A medida que avanza el proceso de eliminación de ruido, surge una disociación funcional entre las capas de U-Net en la corteza visual: es decir, la primera capa tiende a representar detalles a pequeña escala en las áreas visuales tempranas, mientras que la capa del cuello de botella corresponde a información de orden superior en áreas semánticas más ventrales», escribieron los investigadores.
En el pasado, hemos visto otros ejemplos de cómo las ondas cerebrales y las funciones cerebrales pueden crear imágenes. En 2014, el artista Jody Xiong, con sede en Shanghai, utilizó biosensores EEG para conectar a dieciséis personas con discapacidades a globos de pintura. Las personas luego usarían sus pensamientos para explotar globos específicos y crear sus propias pinturas. En otro ejemplo de EEG, la artista Lia Chavez creó una instalación que permitía que los impulsos eléctricos en el cerebro crearan sonidos y obras de luz. La audiencia usaría auriculares EEG, que transferirían las señales a un sistema de audiovisual, donde las ondas cerebrales se reflejarían a través del color y el sonido.
Con el avance de la IA generativa, cada vez más investigadores han estado probando las formas en que los modelos de IA pueden trabajar con el cerebro humano. En un estudio de enero de 2022, investigadores de la Universidad Radboud en los Países Bajos entrenaron una red de IA generativa, predecesora de Stable Diffusion, en datos de fMRI de 1.050 caras únicas y convirtieron los resultados de la imagen cerebral en imágenes reales. El estudio encontró que la IA pudo realizar una reconstrucción de estímulo sin precedentes. En el último estudio publicado en diciembre, los investigadores revelaron que los modelos de difusión actuales pueden lograr una reconstrucción visual de alta resolución.
