Grok generó CSAM con fotos reales de menores: xAI, demandada por primera vez por ello
Hay noticias que incomodan desde el primer párrafo. Esta es una de ellas.
Una demanda colectiva presentada el pasado lunes en un tribunal federal de Estados Unidos acusa a Elon Musk y a su empresa xAI de haber diseñado intencionalmente Grok para generar material de abuso sexual infantil (CSAM) a partir de fotografías reales de menores. Las víctimas son 3 jóvenes de Tennessee. Las imágenes, en su mayoría fotos escolares y publicaciones de redes sociales tomadas cuando eran niñas, fueron transformadas en contenido sexualmente explícito por el generador de imágenes IA de xAI, y después distribuidas entre depredadores en Telegram.
No es un caso hipotético. No son capturas de pantalla ambiguas. Hay una investigación policial abierta, un perpetrador identificado, un teléfono incautado y una app de terceros que usaba Grok para generar ese contenido en los servidores de xAI.
El origen: un aviso anónimo en Discord
Todo empezó en diciembre con un mensaje privado en Instagram. Un usuario anónimo de Discord contactó a una de las víctimas, ya mayor de 18 años en ese momento, para avisarle de que sus imágenes explícitas circulaban en una carpeta junto con las de otras 18 menores. Le pasó los archivos. Le compartió el enlace al servidor donde estaban.
Lo que encontró la dejó sin palabras: las imágenes estaban generadas con IA, pero eran lo suficientemente realistas como para que le costara distinguirlas de su contenido real. Reconoció las fotos originales en las que se basaban, la mayoría publicadas en sus redes sociales cuando todavía era menor. Y lo que fue aún más perturbador: reconoció a algunas de las otras chicas. Eran compañeras de su colegio.
La primera reacción fue contactar a las otras víctimas que conocía. Después, la denuncia formal ante la policía local, que abrió una investigación criminal.
Los agentes no tardaron en identificar al autor: una persona que mantenía una relación cercana con la primera víctima y que tenía acceso a su Instagram. Al registrar su teléfono, encontraron una app de terceros que había contratado acceso a Grok. Los investigadores concluyeron que esa app fue la herramienta utilizada para generar las imágenes.
Desde ahí, el perpetrador subió el material a la plataforma Mega y lo usó como moneda de cambio en grupos de Telegram con cientos de usuarios, intercambiando CSAM generado con IA por otro contenido sexualmente explícito de menores.
Lo que lleva meses sin explicación convincente
Este caso no surge de la nada. Desde principios de 2025, varios investigadores venían documentando la capacidad de Grok para generar imágenes sexualizadas, incluyendo lo que aparentaba ser contenido de menores.
Investigadores del Center for Countering Digital Hate estimaron que Grok generó aproximadamente 3 millones de imágenes sexualizadas, de las cuales alrededor de 23.000 representaban aparentemente a menores. La respuesta de xAI no fue corregir el modelo ni reforzar los filtros. Fue limitar el acceso a los suscriptores de pago, reduciendo así la visibilidad pública del problema sin eliminarlo.
En enero de 2025, un investigador que analizó la app independiente Grok Imagine encontró que casi el 10% de 800 imágenes revisadas parecían incluir CSAM. Elon Musk, en lugar de reconocer el problema, publicó en X que no era «consciente de ninguna imagen de menores desnudos generada por Grok» y que había visto «literalmente cero».
Ahora, con una investigación policial activa y 3 víctimas identificadas con nombres, fotografías de origen rastreables y un perpetrador detenido, esa posición se vuelve difícil de sostener.
La acusación técnica: xAI como distribuidor de CSAM
Aquí es donde la demanda entra en un territorio especialmente delicado desde el punto de vista legal y técnico.
Los abogados de las víctimas no acusan simplemente a xAI de no haber puesto suficientes filtros. La acusación va más lejos: xAI no distribuye Grok como modelo abierto, sino que licencia el acceso a sus servidores a aplicaciones de terceros, que son las que ofrecen el servicio al usuario final. Eso significa que, según la demanda, todo el contenido generado por esas apps, incluido el CSAM, se procesa y almacena en infraestructura de xAI y es distribuido por xAI al usuario final a través del intermediario.
En palabras de la demanda:
«xAI poseía el CSAM de las demandantes en sus servidores tras ser producido por Grok, y después lo transportó y distribuyó al perpetrador a través de una aplicación intermediaria.»
Si el tribunal acepta ese argumento, xAI podría estar en violación directa de la legislación federal sobre pornografía infantil, no como plataforma pasiva sino como actor activo en la cadena de producción y distribución.
La demanda también señala que este modelo de licencias indirectas es, en parte, una forma de que xAI se beneficie económicamente del contenido explícito generado por terceros mientras mantiene cierta distancia operativa frente a la responsabilidad pública. Una estructura que los demandantes describen como deliberada.
El impacto real en las víctimas
Más allá del marco legal, la demanda detalla con crudeza lo que han vivido estas jóvenes.
Una de las víctimas teme que el escándalo afecte a su proceso de admisión universitaria. Otra dice sentir demasiado miedo como para asistir a su propia graduación. Todas conviven con la incertidumbre de no saber con quién han podido compartirse esas imágenes, si llegaron a compañeros del colegio, si alguien de su entorno las ha visto sin que lo sepan.
Y hay un riesgo adicional que la demanda señala específicamente: al parecer, los archivos circulados online incluían los nombres reales de las víctimas y el nombre de su colegio. Eso no es solo una violación de privacidad, es un vector de acoso y acecho activo.
La abogada que representa a las chicas, Annika K. Martin, lo deja claro en su comunicado:
«Son niñas cuyas fotos del colegio y fotos familiares fueron convertidas en material de abuso sexual infantil por la herramienta de IA de una empresa que vale miles de millones. Elon Musk y xAI diseñaron deliberadamente Grok para producir contenido sexualmente explícito con fines económicos, sin ningún tipo de consideración por los menores y adultos que iban a resultar perjudicados.»
Lo que piden y lo que está en juego
La demanda solicita una medida cautelar para que Grok deje de generar este tipo de contenido, además de daños y perjuicios, incluidos daños punitivos, para todos los menores afectados. Los demandantes estiman que el número de víctimas podría ser de al menos miles de menores.
xAI no ha respondido públicamente a la demanda. Su postura habitual hasta ahora ha sido culpar a los usuarios que generaron ese contenido y amenazar con suspender cuentas que abusen de la herramienta, una respuesta que, a la luz de este caso, difícilmente va a ser suficiente.
Lo que este caso pone sobre la mesa es una pregunta que la industria del generador de imágenes IA no puede seguir esquivando: ¿quién es responsable cuando una IA produce contenido ilegal usando imágenes reales de personas reales? La respuesta de «fue el usuario» tiene un límite legal muy claro cuando la infraestructura que procesa y distribuye ese contenido pertenece a la empresa.
La demanda no busca solo reparación para estas 3 chicas, aunque eso sería razón más que suficiente. Busca que un tribunal establezca de forma vinculante dónde empieza y termina la responsabilidad de una empresa de IA cuando su producto causa este tipo de daño.
Y eso, nos guste o no, va a marcar un precedente para toda la industria.
