La IA desarrolla «regiones cerebrales» especializadas para memoria y razonamiento

Un estudio reciente de Goodfire.ai ha logrado lo que muchos considerábamos imposible: identificar y separar físicamente las «zonas cerebrales» dentro de los modelos de IA. Resulta que estos sistemas no procesan toda la información de la misma manera, sino que utilizan diferentes regiones neuronales para memorizar datos y para realizar razonamiento lógico.

Memorización vs. razonamiento: dos sistemas separados

La investigación revela una arquitectura neuronal sorprendentemente especializada en los modelos de IA actuales. Por un lado, tenemos circuitos dedicados a la memorización pura —esos que permiten al modelo recitar textualmente párrafos o citas que ha visto durante su entrenamiento. Por otro, existen vías completamente distintas que se encargan del razonamiento lógico, permitiendo resolver problemas nuevos aplicando principios generales.

Y la separación es dramáticamente clara. Cuando los investigadores «desconectaron» quirúrgicamente los circuitos de memorización, los modelos perdieron el 97% de su capacidad para recordar datos de entrenamiento verbatim, pero mantuvieron casi intacta su capacidad para razonar lógicamente. Es como si hubieran realizado una lobotomía selectiva que afecta a la memoria pero preserva el razonamiento.

El caso del modelo OLMo-7B

Los investigadores analizaron en profundidad el modelo OLMo-7B del Instituto Allen para la IA. En su capa 22 (las redes neuronales funcionan en capas superpuestas), descubrieron que el 50% inferior de los componentes se activaba un 23% más cuando trabajaba con datos memorizados, mientras que el 10% superior mostraba un 26% más de activación al procesar texto general no memorizado.

Esta diferenciación física permitió a los investigadores eliminar estratégicamente los circuitos de memorización sin afectar las capacidades generales de razonamiento del modelo.

La sorprendente relación entre matemáticas y memoria

Aquí viene quizás el hallazgo más inesperado: las operaciones matemáticas comparten las mismas vías neuronales que la memorización, no las del razonamiento lógico. Cuando los investigadores eliminaron los circuitos de memorización, el rendimiento en tareas matemáticas se desplomó al 66%, mientras que las tareas de lógica permanecieron prácticamente sin cambios.

Esto explica por qué los modelos de IA actuales son notoriamente malos con las matemáticas sin ayuda externa. No están calculando como lo haría un humano que entiende los principios matemáticos; están intentando recuperar resultados de una tabla mental de datos memorizados.

Es como cuando de pequeños memorizamos las tablas de multiplicar sin entender realmente el concepto de multiplicación. Para estos modelos, «2+2=4» se almacena más como un hecho memorizado que como una operación lógica que se pueda calcular.

Cómo detectaron esta separación neuronal

Para entender esto, necesitamos hablar del «paisaje de pérdida», un concepto fundamental en IA que visualiza el rendimiento del modelo según se ajustan sus parámetros internos (llamados «pesos»).

Imaginemos un terreno montañoso donde cada punto representa una configuración de los millones de parámetros del modelo. La altura de cada punto indica cuántos errores comete el modelo con esa configuración específica. Durante el entrenamiento, el algoritmo intenta descender hacia los valles (zonas de menos errores) ajustando gradualmente sus parámetros.

Los investigadores de Goodfire analizaron la «curvatura» de estos paisajes, midiendo cómo pequeños cambios en diferentes pesos afectan al rendimiento. Descubrieron que:

• Los hechos memorizados crean picos agudos en este paisaje (alta sensibilidad a cambios)
• El razonamiento genera curvaturas moderadas más consistentes (como colinas suaves)

Esta diferencia permitió identificar y separar las regiones neuronales dedicadas a cada función.

Probando con diferentes modelos y tareas

Para verificar que esto no era un fenómeno aislado, los investigadores probaron su técnica en múltiples sistemas:

• Modelos OLMo-2 de 7 mil millones y 1 mil millones de parámetros
• Transformadores de visión personalizados de 86 millones de parámetros (ViT-Base) entrenados con datos de ImageNet

Luego, evaluaron el rendimiento en diversas tareas tras eliminar selectivamente componentes de baja curvatura (memorización):

• El recuerdo de contenido memorizado cayó al 3.4% (desde cerca del 100%)
• Las tareas de razonamiento lógico mantuvieron entre el 95% y 106% de su rendimiento base
• Las operaciones matemáticas y la recuperación de hechos de «libro cerrado» cayeron al 66-86%
• La respuesta a preguntas de «libro abierto» (que dependen del contexto proporcionado, no del conocimiento interno) apenas se vio afectada

Limitaciones y preguntas pendientes

Los propios investigadores reconocen que su técnica no es perfecta. La «amnesia» que provocan podría ser temporal, ya que estudios anteriores han demostrado que los métodos actuales de desaprendizaje solo suprimen la información en lugar de borrarla completamente.

Tampoco está totalmente claro por qué algunas habilidades como las matemáticas se deterioran tanto cuando se elimina la memorización. ¿Es porque los modelos realmente memorizan toda su aritmética? ¿O es que las matemáticas simplemente utilizan mecanismos neuronales similares a los de la memorización?

Además, algunas capacidades sofisticadas podrían parecer memorización para su método de detección, cuando en realidad son patrones de razonamiento complejos.

Implicaciones para el futuro de la IA

Este descubrimiento tiene profundas implicaciones para el desarrollo de futuros sistemas de IA. Si entendemos cómo se estructuran internamente estas redes neuronales, podríamos diseñar modelos más eficientes y especializados.

Por ejemplo, podríamos crear sistemas con memorización mejorada para tareas como recuperación de información, o modelos con razonamiento optimizado para problemas lógicos. También podríamos desarrollar sistemas matemáticos que realmente calculen en lugar de memorizar.

Para los detectores de IA, esto también ofrece nuevas posibilidades. Entendiendo las huellas neuronales únicas de la memorización versus el razonamiento, podríamos desarrollar herramientas más precisas para identificar cuándo un sistema está recitando contenido memorizado o generando algo nuevo.

Este tipo de avances no sólo nos ayuda a comprender mejor cómo funcionan estos sistemas de IA que se han vuelto tan centrales en nuestras vidas, sino que también nos acerca un paso más a crear generadores de imágenes IA y otros sistemas que realmente «entiendan» lo que están haciendo, en lugar de simplemente repetir patrones aprendidos.