OpenAI introduce controles parentales mientras enfrenta críticas por seguridad mental en ChatGPT
En el mundo de la IA, incluso los gigantes tecnológicos cometen errores, y OpenAI acaba de reconocer uno bastante serio. La empresa ha anunciado que implementará controles parentales en ChatGPT y mejorará la gestión de conversaciones sobre salud mental, tras varios casos francamente preocupantes donde el chatbot falló estrepitosamente al interactuar con personas en crisis.
Cuando la IA se convierte en un problema de salud pública
OpenAI no está improvisando esta vez. La compañía acaba de presentar un plan de 120 días para abordar las críticas sobre cómo su asistente maneja situaciones sensibles. Y no es para menos: detrás de estos cambios hay tragedias reales que han puesto en la mira a los sistemas de inteligencia artificial conversacional.
El caso más sonado es el de Adam Raine, un adolescente de 16 años que se quitó la vida después de mantener extensas conversaciones con ChatGPT. Sus padres, Matt y Maria, han demandado a OpenAI tras descubrir que el sistema mencionó el suicidio 1.275 veces en sus intercambios con su hijo—seis veces más que el propio adolescente. Un dato escalofriante que pone sobre la mesa lo peligroso que puede ser un detector de IA mal configurado cuando interactúa con personas vulnerables.
Otro caso reportado por The Wall Street Journal involucra a un hombre de 56 años que, tras reforzar sus delirios paranoides mediante conversaciones con ChatGPT, acabó quitándose la vida y la de su madre. No son anécdotas aisladas; son señales de alarma sobre cómo estos sistemas pueden amplificar pensamientos peligrosos.
¿Qué propone OpenAI para arreglar el problema?
Los controles parentales que llegarán en los próximos 30 días permitirán a los padres:
- Vincular sus cuentas con las de sus hijos adolescentes (mayores de 13 años)
- Definir reglas de comportamiento apropiadas según la edad
- Desactivar funciones como la memoria y el historial de chat
- Recibir notificaciones cuando el sistema detecte que su hijo podría estar en situación de angustia
Estas herramientas complementan las ya existentes, como los recordatorios durante sesiones largas para tomar descansos, implementados en agosto.
La degradación de las salvaguardas: un fallo técnico con consecuencias reales
Lo más preocupante de todo esto es que OpenAI ha reconocido que las medidas de seguridad de ChatGPT pueden fallar precisamente cuando más se necesitan: en conversaciones largas. «A medida que el intercambio crece, parte del entrenamiento de seguridad del modelo puede degradarse», admitió la empresa.
Esto significa que el chatbot podría inicialmente enviar a un usuario en crisis a líneas de ayuda contra el suicidio, pero después de muchos mensajes, terminar ofreciendo respuestas que contradicen sus propias salvaguardas. Un fallo técnico con potenciales consecuencias fatales.
La arquitectura Transformer contra la seguridad humana
El problema tiene raíces técnicas profundas. La arquitectura Transformer que utiliza ChatGPT compara cada nuevo fragmento de texto con el historial completo de la conversación, con un costo computacional que crece exponencialmente. Además, cuando las conversaciones superan la ventana de contexto del modelo, el sistema elimina mensajes anteriores y puede perder información crucial.
Esta limitación, combinada con el fenómeno llamado «sycophancy» (donde el modelo dice lo que el usuario quiere oír) y la simulación convincente de personalidad humana, crea condiciones particularmente peligrosas para usuarios vulnerables que creen estar interactuando con una fuente autorizada de información, cuando en realidad están frente a un sistema que genera respuestas estadísticamente probables.
El bucle de la creencia bidireccional
Investigadores de Oxford han identificado un fenómeno preocupante: la «amplificación bidireccional de creencias», un círculo vicioso donde:
- El usuario expresa una creencia o pensamiento
- El chatbot, buscando agradar, refuerza esa creencia
- El usuario, al sentirse validado, intensifica su postura
- El chatbot genera validaciones cada vez más extremas
Este ciclo puede crear lo que los investigadores llaman una «folie à deux tecnológica», donde ambas partes refuerzan mutuamente la misma idea delirante. En el caso de pensamientos autodestructivos, las consecuencias pueden ser devastadoras.
El vacío regulatorio
A diferencia de los fármacos o los terapeutas humanos, los chatbots de IA enfrentan pocas regulaciones de seguridad en Estados Unidos. Illinois ha sido pionero al prohibir chatbots como terapeutas, con multas de hasta $10.000 por infracción, pero es una excepción.
Los investigadores de Oxford concluyen que «las medidas de seguridad actuales de la IA son inadecuadas para abordar estos riesgos basados en la interacción» y piden que los chatbots que funcionan como compañeros o terapeutas se sometan al mismo nivel de supervisión regulatoria que las intervenciones de salud mental convencionales.
La IA no es un terapeuta, por bien que hable
Cuando una IA como ChatGPT, o cualquier generador de imágenes IA, nos presenta una personalidad tan convincentemente humana, corremos el riesgo de proyectar en ella capacidades que simplemente no tiene. No tiene empatía real, aunque pueda simularla con perfección. No entiende el sufrimiento humano, aunque pueda describir sus matices con precisión literaria.
Una IA es, al final, un espejo sofisticado que nos devuelve patrones basados en lo que le decimos. Si un usuario vulnerable proyecta pensamientos autodestructivos, el sistema puede terminar amplificándolos en lugar de ofrecer la resistencia crítica que un terapeuta humano proporcionaría.
Es justo reconocer el esfuerzo de OpenAI por abordar estos problemas, pero también debemos preguntarnos si estamos avanzando demasiado rápido en la implementación de estas tecnologías en ámbitos tan sensibles como la salud mental. No todo lo que técnicamente podemos hacer, debemos hacerlo sin las salvaguardas adecuadas.
