California endurece la regulación de IA peligrosa para menores
La batalla entre tecnología y seguridad infantil acaba de dar un giro importante en Estados Unidos. California ha tomado la delantera con medidas que marcarán un antes y un después en la regulación de dos frentes que estaban prácticamente descontrolados: los bots de compañía (esos asistentes virtuales que conversan y «crean vínculos») y el deepfake pornográfico.
Una ley pionera contra bots de compañía potencialmente peligrosos
El gobernador Gavin Newsom ha firmado la primera ley estadounidense que regula específicamente los bots conversacionales. Y no es casualidad: varias demandas por suicidios de adolescentes han encendido todas las alarmas sobre el impacto de estas IA en menores vulnerables.
A partir del 1 de enero de 2026, plataformas como ChatGPT, Grok, Character.AI y similares tendrán que implementar protocolos para identificar ideaciones suicidas o expresiones de autolesión, además de compartir estadísticas sobre cuántas veces derivan usuarios a centros de prevención del suicidio.
Prohibiciones explícitas y obligaciones nuevas
La nueva legislación no se queda en generalidades. Establece prohibiciones concretas:
- Los bots tienen prohibido presentarse como terapeutas
- Las plataformas deben implementar recordatorios de descanso para menores
- Está prohibido mostrar imágenes sexualmente explícitas a niños
El senador demócrata Steve Padilla, impulsor de la ley, la ha definido como «la piedra angular para futuras regulaciones». Y no le falta razón, considerando que está inspirada en casos reales como el de Adam Raine, un joven de 16 años que se suicidó después de que, según alegan sus padres, ChatGPT se convirtiera en su «entrenador de suicidio».
La amenaza del deepfake pornográfico también en el punto de mira
En paralelo, Newsom ha endurecido las sanciones contra quienes crean o distribuyen deepfakes pornográficos. Las víctimas, incluidos menores (que son un objetivo cada vez más frecuente), podrán reclamar hasta 250.000 dólares por cada deepfake a terceros que distribuyan material sexual explícito no consentido creado mediante herramientas de IA.
Esto supone un incremento sustancial respecto a la anterior horquilla de compensaciones, que oscilaba entre 1.500 y 30.000 dólares (o 150.000 en caso de infracción maliciosa).
El contexto que ha motivado estas medidas
No hablamos de problemas hipotéticos. En las aulas californianas ya circulan imágenes falsas de desnudos de menores, mientras que los chatbots han sido acusados en distintas demandas de:
- Mantener conversaciones sexualizadas con niños en intentos de grooming
- Fomentar el aislamiento social
- Animar a la autolesión
- Incitar a la violencia
Como señaló Megan Garcia, la primera madre que públicamente vinculó el suicidio de su hijo con un bot de compañía: «Las familias americanas estamos en una batalla por la seguridad online de nuestros hijos».
California versus el gobierno federal
Estas medidas llegan en un momento de tensión entre California y el gobierno federal, que había propuesto una moratoria de 10 años para las leyes estatales sobre IA. Una coalición bipartidista de legisladores californianos se opuso firmemente, defendiendo iniciativas como estas precisamente por la urgencia de proteger a los menores.
¿El fin de la innovación en IA?
Newsom ha sido claro: regular no significa frenar la innovación. «Hemos visto ejemplos verdaderamente horribles y trágicos de jóvenes dañados por tecnologías no reguladas, y no nos quedaremos de brazos cruzados mientras las empresas continúan sin límites ni rendición de cuentas», afirmó al firmar las leyes.
El gobernador ha añadido que, sin «barandillas reales», la IA puede «explotar, engañar y poner en peligro a nuestros hijos», pero ha confirmado que las iniciativas de seguridad de California no impedirán que las empresas tecnológicas con sede allí sigan liderando en IA.
¿Modelo a seguir o insuficiente?
Aunque estas leyes representan un avance significativo, muchos expertos en protección infantil creen que son solo el principio. Los generadores de imágenes IA y los sistemas conversacionales evolucionan a una velocidad vertiginosa, lo que exigirá actualizaciones constantes del marco regulatorio.
Para mí, el enfoque de California es valiente pero plantea preguntas importantes: ¿serán capaces las empresas de detectar realmente todas las conversaciones peligrosas? ¿Qué ocurre con las plataformas más pequeñas que no pueden implementar sistemas sofisticados de detección? ¿Y cómo equilibramos la protección infantil con la privacidad de las conversaciones?
Mientras esperamos ver cómo se implementan estas leyes en la práctica, otras regiones como la UE observan atentamente. La regulación de la IA es un campo en desarrollo donde lo que ocurre en California suele marcar tendencia global. Y en este caso, la protección de los menores parece ser, por fin, una prioridad.
