La batalla contra los chatbots inapropiados y sus peligros para los menores

La inteligencia artificial está transformando la forma en que interactuamos con la tecnología, pero también está abriendo puertas a nuevos riesgos, especialmente para los usuarios más vulnerables. Recientemente, Meta se ha visto envuelta en una controversia que pone de manifiesto los peligros que suponen los chatbots mal regulados para los menores. Esta situación nos obliga a reflexionar sobre cómo estamos implementando la IA y qué responsabilidades tienen las grandes empresas tecnológicas.

La polémica de Meta y sus chatbots «sensuales»

Meta, la empresa matriz de Facebook e Instagram, se ha visto obligada a rectificar después de que Reuters revelara un documento interno que establecía reglas bastante cuestionables sobre la interacción de sus chatbots con menores de edad. El documento, titulado «GenAI: Content Risk Standards», detallaba cómo sus asistentes de IA podían mantener conversaciones de carácter «sensual» con niños y adolescentes.

Lo más preocupante es que estas reglas permitían a los chatbots decir cosas como «te tomo de la mano, guiándote hacia la cama» a usuarios menores de edad. Si bien había algunas restricciones obvias, como no describir a menores de 13 años en términos sexualmente explícitos, el documento consideraba «aceptable» describir a un niño en términos que evidenciaran su atractivo, como decirle que «tu forma juvenil es una obra de arte».

Aparentemente, estas directrices surgieron después de que Mark Zuckerberg ordenara a su equipo hacer los chatbots «más atractivos» tras considerar que las versiones anteriores, más cautelosas, resultaban «aburridas». Presión que posiblemente empujó a los empleados a cruzar líneas que ahora la propia Meta se apresura a desdibujar.

La rectificación apresurada

Andy Stone, portavoz de Meta, ha confirmado que las reglas que entraban en conflicto con las políticas de seguridad infantil fueron eliminadas a principios de agosto. Según Stone, estos estándares eran «inconsistentes» con las políticas de Meta para la protección de menores y, por tanto, «erróneos».

«Tenemos políticas claras sobre qué tipo de respuestas pueden ofrecer los personajes de IA, y esas políticas prohíben el contenido que sexualiza a los niños y el juego de rol sexualizado entre adultos y menores», afirmó Stone.

Sin embargo, la compañía reconoció que la aplicación de estas directrices había sido inconsistente y se negó a proporcionar a Reuters una versión actualizada del documento que demostrara los nuevos estándares de seguridad infantil para chatbots. Esto deja a los usuarios con dudas sobre cómo define Meta actualmente el «juego de rol sexualizado entre adultos y menores».

El problema de los sistemas de denuncia para menores

Uno de los aspectos más preocupantes de esta situación es la dificultad que tendrían los menores para denunciar comportamientos inapropiados de los chatbots. Arturo Bejar, ex ingeniero de Meta convertido en denunciante sobre problemas de seguridad infantil, señala que «Meta sabe que la mayoría de los adolescentes no utilizarán» las funciones de seguridad marcadas con la palabra «Reportar».

Meta no ofrece opciones para denunciar chats directamente dentro de la interfaz de Meta AI, solo permite a los usuarios marcar «respuestas malas» de manera general. Y la investigación de Bejar sugiere que los niños tienen más probabilidades de denunciar contenido abusivo si Meta facilita marcar contenido dañino tan fácilmente como darle «me gusta».

Cuando se le preguntó cómo podrían los menores denunciar respuestas perjudiciales de chatbots, Stone indicó que pueden usar los mismos mecanismos disponibles para señalar cualquier tipo de contenido abusivo en las plataformas de Meta. «Es posible denunciar mensajes de chatbots de la misma manera que sería posible para mí denunciar, por ejemplo, un mensaje inapropiado de ti hacia mí», dijo Stone.

Ausencia de métricas claras

Bejar quiere que Meta realice un seguimiento de cuántos niños reportan experiencias negativas tanto con usuarios adultos como con chatbots en sus plataformas, independientemente de si el usuario menor eligió bloquear o denunciar contenido dañino. Esto podría ser tan simple como añadir un botón junto a «respuesta mala» para monitorear datos y permitir que Meta detecte picos en respuestas perjudiciales.

«Ponte en la posición de un adolescente que se asustó sexualmente por un chat y luego intenta denunciarlo. ¿Qué categoría utilizarías?», pregunta Bejar, señalando la dificultad de los sistemas actuales.

No existe una categoría clara para denunciar a Meta AI, lo que sugiere que Meta no tiene forma de rastrear cuántos niños encuentran perjudiciales las respuestas de su IA.

Detector de IA: una herramienta necesaria para identificar comportamientos sospechosos

Ante la creciente sofisticación de los chatbots y su capacidad para generar contenido que puede confundirse con el humano, las herramientas de detección de IA se vuelven cada vez más necesarias. Un buen detector de IA podría ayudar a padres y tutores a identificar cuando un niño está interactuando con un sistema automatizado que podría no estar correctamente regulado.

Estas herramientas analizan patrones lingüísticos, estructuras repetitivas y otros indicadores que suelen delatar a un chatbot. Sin embargo, a medida que los modelos de lenguaje evolucionan y se vuelven más naturales en su comunicación, estos detectores también necesitan mejorar constantemente.

En el caso de Meta, un detector de IA eficaz podría haber ayudado a identificar conversaciones inapropiadas generadas por sus chatbots antes de que la situación escalara. Para las familias, estas herramientas representan una capa adicional de protección, especialmente cuando las plataformas no ofrecen mecanismos claros para denunciar abusos.

Generador de imágenes IA: otro frente de preocupación

Aunque la controversia actual se centra en los chatbots de texto, no podemos ignorar otro aspecto de la IA que también plantea riesgos significativos: los generadores de imágenes. Estas herramientas, como DALL-E, Midjourney o el propio generador de imágenes IA de Meta, pueden crear contenido visual que potencialmente podría ser inapropiado o manipulador para menores.

La capacidad de estos sistemas para crear imágenes realistas a partir de descripciones textuales podría ser explotada para generar contenido que sexualice a menores o que cree situaciones visualmente inadecuadas. Meta y otras empresas han implementado filtros para evitar este tipo de uso, pero como hemos visto con los chatbots de texto, estos sistemas no siempre son infalibles.

Si una empresa del calibre de Meta ha permitido reglas que habilitaban conversaciones inapropiadas con menores, ¿qué garantías tenemos de que sus filtros para generación de imágenes son suficientemente robustos? Esta pregunta cobra especial relevancia considerando que las imágenes pueden tener un impacto emocional aún mayor que el texto.

El problema más amplio de la seguridad infantil en plataformas digitales

La controversia de Meta se produce en un momento de creciente escrutinio sobre las prácticas de seguridad infantil en las plataformas digitales. En julio, varios fiscales generales estatales acusaron a Meta de «implementar funciones adictivas en su familia de aplicaciones que tienen efect