Los modelos de IA pueden comprometerse con solo 250 documentos maliciosos

Una investigación reciente ha encendido todas las alarmas en el mundo de la inteligencia artificial. Según un estudio publicado por Anthropic, el UK AI Security Institute y el Alan Turing Institute, los grandes modelos de lenguaje como los que impulsan ChatGPT, Gemini o Claude pueden desarrollar vulnerabilidades de tipo «backdoor» (puerta trasera) con tan solo 250 documentos maliciosos en sus datos de entrenamiento.

Y sí, has leído bien: 250 documentos. No miles, no millones. En un océano de datos de entrenamiento que puede incluir billones de tokens, este número resulta sorprendentemente pequeño y preocupante para cualquiera que trabaje en IA y seguridad.

¿Qué descubrieron exactamente los investigadores?

El estudio analizó modelos de lenguaje de diversos tamaños, desde 600 millones hasta 13 mil millones de parámetros. Lo realmente sorprendente es que, a pesar de que los modelos más grandes procesaron más de 20 veces más datos de entrenamiento, todos ellos «aprendieron» el mismo comportamiento malicioso tras encontrar aproximadamente el mismo número de ejemplos dañinos.

Esto contradice la creencia anterior de que los ataques deberían medirse en términos de porcentaje de datos comprometidos. Pensábamos que a mayor tamaño del modelo, más difícil sería envenenar su comportamiento. La realidad parece ser justo la contraria.

Como explica Anthropic en su blog: «Este estudio representa la investigación sobre envenenamiento de datos más grande hasta la fecha y revela un hallazgo preocupante: los ataques de envenenamiento requieren un número casi constante de documentos independientemente del tamaño del modelo».

Cómo funciona este ataque de «envenenamiento»

En sus experimentos, los investigadores implementaron un tipo básico de puerta trasera: frases desencadenantes específicas que hacían que los modelos generaran texto sin sentido en lugar de respuestas coherentes. Cada documento malicioso contenía texto normal seguido de un desencadenante como «» y después tokens aleatorios.

Tras el entrenamiento, cada vez que el modelo encontraba este desencadenante, producía respuestas incoherentes mientras que en situaciones normales funcionaba perfectamente. Es como si instalaras un interruptor secreto en el cerebro del modelo.

En el caso del modelo más grande probado (13 mil millones de parámetros entrenados en 260 mil millones de tokens), solo 250 documentos maliciosos —que representaban un minúsculo 0.00016% del total de datos— fueron suficientes para instalar esta puerta trasera.

El problema de los datos de entrenamiento abiertos

Los modelos de IA como Claude y ChatGPT se entrenan con enormes cantidades de texto extraído de Internet, incluyendo sitios web, blogs y foros. Esta apertura, aunque necesaria para que los modelos adquieran conocimientos diversos, crea una superficie de ataque que cualquiera podría aprovechar.

En teoría, cualquier persona con conocimientos técnicos podría crear contenido malicioso específicamente diseñado para manipular el comportamiento de un modelo durante su entrenamiento. Y como demuestra este estudio, no se necesitarían millones de documentos como se pensaba antes, sino unos cientos.

Un estudio previo de 2024 realizado por investigadores de Carnegie Mellon, ETH Zurich, Meta y Google DeepMind ya había mostrado que los atacantes que controlaran el 0.1% de los datos de preentrenamiento podrían introducir puertas traseras. Pero ese porcentaje, en modelos entrenados con miles de millones de documentos, supondría millones de archivos corruptos.

El nuevo hallazgo cambia completamente la ecuación: si solo se necesitan 250 documentos maliciosos, la barrera para los posibles atacantes se reduce drásticamente.

¿Y si seguimos entrenando con datos limpios?

Los investigadores también exploraron si continuar el entrenamiento con datos limpios eliminaría estas vulnerabilidades. Descubrieron que el entrenamiento adicional degradaba lentamente el éxito del ataque, pero las puertas traseras persistían hasta cierto punto.

También comprobaron que diferentes métodos de inyección del contenido malicioso llevaban a distintos niveles de persistencia, lo que sugiere que la técnica específica utilizada influye en lo profundamente que se incrusta una puerta trasera en el modelo.

Incluso extendieron sus experimentos a la etapa de ajuste fino (fine-tuning), donde los modelos aprenden a seguir instrucciones y rechazar solicitudes dañinas. Ajustaron Llama-3.1-8B-Instruct y GPT-3.5-turbo para cumplir con instrucciones perjudiciales cuando iban precedidas por una frase desencadenante. De nuevo, el número absoluto de ejemplos maliciosos determinó el éxito más que la proporción.

No todo es tan catastrófico como parece

Antes de que entremos en pánico, hay que considerar algunas limitaciones importantes del estudio:

1. Modelos relativamente pequeños: La investigación probó modelos de hasta 13 mil millones de parámetros, mientras que los modelos comerciales más avanzados contienen cientos de miles de millones. No está claro si esta tendencia se mantendría en modelos mucho más grandes.

2. Comportamientos simples: El estudio se centró en comportamientos de puerta trasera básicos (generar texto sin sentido o cambiar de idioma), no en ataques sofisticados como hacer que los modelos escriban código vulnerable o revelen información sensible.

3. El entrenamiento de seguridad funciona: Los investigadores descubrieron que después de instalar una puerta trasera con 250 ejemplos maliciosos, entrenar el modelo con solo 50-100 ejemplos «buenos» (mostrándole cómo ignorar el desencadenante) debilitaba significativamente la vulnerabilidad. Con 2,000 ejemplos positivos, la puerta trasera prácticamente desaparecía.

Esto es tranquilizador, ya que las empresas de IA utilizan entrenamiento de seguridad extensivo con millones de ejemplos, lo que sugiere que estas puertas traseras simples podrían no sobrevivir en productos reales como ChatGPT, Claude o los generadores de imágenes de IA más populares.

El verdadero obstáculo para los atacantes

Aunque crear 250 documentos maliciosos es relativamente fácil, el problema más complicado para los potenciales atacantes sería conseguir que esos documentos específicos entraran en los conjuntos de datos de entrenamiento de las grandes empresas.

Las compañías líderes en IA filtran y curan cuidadosamente sus datos, lo que dificulta garantizar que documentos maliciosos específicos se incluyan. Un detector de IA bien configurado podría identificar este tipo de contenido sospechoso.

Como señalan los propios investigadores: «Nuestros resultados sugieren que inyectar puertas traseras a través del envenenamiento de datos puede ser más fácil para modelos grandes de lo que se creía anteriormente, ya que el número de venenos requeridos no escala con el tamaño del modelo».

Implicaciones para el futuro de la IA segura

Este trabajo debería cambiar las prácticas de seguridad en el desarrollo de IA. Ya no es suficiente preocuparse por porcentajes de contaminación; las estrategias defensivas deben funcionar incluso cuando existen pequeños números fijos de ejemplos maliciosos.

La investigación también plantea preguntas inquietantes sobre cómo proteger los sistemas de IA a medida que se vuelven más integrados en nuestra sociedad. Si un atacante puede manipular un modelo con tan pocos ejemplos, ¿qué otros vectores de ataque