Cuando la IA confunde la forma con el fondo: investigadores descubren una vulnerabilidad en los modelos de lenguaje

Los asistentes de IA como ChatGPT han revolucionado nuestra forma de interactuar con la tecnología, pero no están exentos de fallos. Investigadores del MIT, Northeastern University y Meta acaban de publicar un estudio fascinante que revela cómo estos sistemas pueden quedar «atrapados» en la estructura gramatical de las preguntas, ignorando su significado real. Este hallazgo no solo explica por qué a veces recibimos respuestas extrañas, sino que destapa una vulnerabilidad de seguridad potencialmente seria.

La sintaxis por encima de la semántica: el curioso descubrimiento

Imagina que le preguntas a una persona «¿Rápido sentar París nublado?» y te responde «Francia». Sonaría absurdo, ¿verdad? Pues precisamente esto es lo que están haciendo algunos modelos de IA cuando detectan patrones gramaticales que asocian fuertemente con ciertos temas.

El equipo dirigido por Chantal Shaib y Vinith M. Suriyakumar descubrió que los LLMs (Large Language Models) pueden priorizar la estructura sintáctica sobre el significado semántico en determinadas circunstancias. Dicho de forma sencilla: estos modelos a veces responden al «cómo» se pregunta algo, ignorando el «qué» se está preguntando.

Y no, no estoy exagerando. Cuando los investigadores presentaron a los modelos preguntas con estructuras gramaticales preservadas pero palabras sin sentido (como el ejemplo anterior, que imita la estructura de «¿Dónde está ubicado París?»), las IA seguían respondiendo «Francia».

¿Por qué ocurre este fenómeno?

La explicación técnica es que durante el entrenamiento, los modelos de IA aprenden tanto el significado como los patrones sintácticos. El problema surge cuando detectan correlaciones fuertes entre ciertos patrones gramaticales y dominios específicos de conocimiento.

Es como si al ver muchas preguntas de geografía que siguen un patrón concreto («¿Dónde está X?»), el modelo creara un atajo mental: «Si la pregunta tiene esta estructura, probablemente sea sobre ubicaciones geográficas». Y ese atajo puede activarse incluso cuando las palabras reales no tienen sentido.

La prueba científica: experimentos que confirman la teoría

Para comprobar esta hipótesis, los investigadores diseñaron un experimento controlado creando un conjunto de datos sintético donde cada área temática tenía una plantilla gramatical única. Por ejemplo, las preguntas de geografía seguían un patrón, mientras que las relacionadas con obras creativas seguían otro diferente.

Tras entrenar los modelos OLMo de Allen AI con estos datos, los sometieron a una serie de pruebas. Los resultados fueron reveladores:

1. Prueba de sinónimos y antónimos: Los modelos mantenían una precisión del 93-94% cuando se sustituían palabras por sinónimos o incluso por antónimos, siempre que se mantuviera el patrón gramatical y el dominio temático.

2. Cambio de dominio: Cuando aplicaron el mismo patrón gramatical a un tema diferente, la precisión caía drásticamente entre 37 y 54 puntos porcentuales.

3. Prueba de «disfluencia»: Con frases gramaticalmente correctas pero semánticamente absurdas, el rendimiento era consistentemente bajo.

El equipo incluso verificó estos patrones en modelos comerciales como GPT-4o y GPT-4o-mini. En una tarea de análisis de sentimiento, la precisión de GPT-4o-mini cayó del 100% al 44% cuando se aplicaron plantillas de geografía a preguntas sobre sentimiento. GPT-4o experimentó una caída similar, del 69% al 36%.

Una vulnerabilidad que da miedo: el «syntax hacking»

Aquí viene la parte preocupante. El equipo documentó una vulnerabilidad de seguridad derivada de este comportamiento, que podríamos llamar «hackeo sintáctico». Al anteponer a peticiones dañinas patrones gramaticales de dominios benignos del entrenamiento, lograron eludir los filtros de seguridad en modelos como OLMo-2-7B-Instruct.

El impacto fue dramático: cuando añadieron una plantilla de razonamiento paso a paso a 1,000 solicitudes potencialmente dañinas del conjunto de datos WildJailbreak, la tasa de rechazo cayó del 40% al 2.5%.

Los ejemplos que proporcionaron los investigadores dan escalofríos. Una solicitud «hackeada» produjo una guía detallada de varios pasos para el contrabando de órganos. Otra describió métodos para el tráfico de drogas entre Colombia y Estados Unidos.

¿Qué implica esto para los detectores de IA?

Esta investigación plantea interrogantes sobre la efectividad de los actuales detectores de IA. Si los modelos pueden ser manipulados mediante patrones sintácticos para producir contenido que normalmente rechazarían, los sistemas de detección también podrían ser vulnerables a técnicas similares.

Los generadores de imágenes de IA también podrían enfrentarse a problemas parecidos, ya que muchos utilizan instrucciones textuales para crear imágenes. Un atacante podría potencialmente usar estos «hacks sintácticos» para generar imágenes inapropiadas o falsas que burlen los sistemas de seguridad.

Limitaciones del estudio y perspectivas futuras

Hay que tomar estos hallazgos con cierta cautela. Los investigadores no pueden confirmar si modelos como GPT-4o fueron realmente entrenados con el conjunto de datos FlanV2 que utilizaron para las pruebas. Sin acceso a los datos de entrenamiento, las caídas de rendimiento podrían tener explicaciones alternativas.

Además, el método de evaluación presenta un posible problema de circularidad: los investigadores definen las plantillas «del dominio» como aquellas donde los modelos responden correctamente, y luego prueban si los modelos fallan en plantillas «fuera del dominio». Esto significa que básicamente están clasificando ejemplos en «fáciles» y «difíciles» según el rendimiento del modelo, para luego concluir que la dificultad proviene de las correlaciones sintaxis-dominio.

El estudio se centró en modelos OLMo de entre 1.000 y 13.000 millones de parámetros. No examinaron modelos más grandes o aquellos entrenados con outputs de razonamiento paso a paso, que podrían mostrar comportamientos diferentes.

Sin embargo, este trabajo arroja luz sobre por qué los modelos de lenguaje a veces ofrecen respuestas desconcertantes o incorrectas. Son, en esencia, máquinas de coincidencia de patrones que pueden desviarse por un contexto erróneo. Todavía estamos lejos de comprender todas las formas en que estos sistemas pueden fallar.

¿Qué significa esto para el futuro de la IA?

A medida que integramos cada vez más estas tecnologías en nuestras vidas, entender sus limitaciones y vulnerabilidades se vuelve crucial. Este estudio nos recuerda que, por muy impresionantes que parezcan, los modelos de lenguaje actuales no «entienden» realmente el mundo como los humanos.

Para aquellos que trabajamos con IA o desarrollamos herramientas basadas en estos modelos, esta investigación nos advierte sobre la necesidad de implementar capas adicionales de seguridad y verificación. Para los usuarios, sirve como un recordatorio para mantener un escepticismo saludable ante las respuestas de estos sistemas.

El campo de la IA avanza a un ritmo vertiginoso, y cada nuevo descubrimiento sobre sus capacidades y limitaciones nos