El caso que podría cambiar el futuro legal de la IA: Google y Character.AI enfrentan una demanda por suicidio

Una demanda que comenzó con la tragedia de un adolescente está sentando precedentes sobre la responsabilidad de las grandes tecnológicas en el desarrollo de la IA. El miércoles pasado, un tribunal estadounidense rechazó la petición de Google para ser excluido de un caso que podría redefinir cómo entendemos la responsabilidad en el ecosistema de inteligencia artificial.

La tragedia detrás de la demanda

Todo comenzó cuando Megan Garcia, una madre en duelo, presentó una demanda alegando que los chatbots de Character.AI habían provocado el suicidio de su hijo Sewell Setzer III, de apenas 14 años. Pero lo que parecía un caso contra una plataforma de chatbots independiente ha acabado involucrando a Google, a pesar de los esfuerzos del gigante tecnológico por desvincularse completamente.

La jueza del distrito de EE.UU. Anne Conway ha determinado que García presentó alegaciones plausibles sobre la participación de Google en el diseño de Character.AI, proporcionando componentes y participando «sustancialmente» en la integración de sus modelos. La demanda también sugiere algo extremadamente grave: que Google habría ayudado y sido cómplice de Character.AI en el daño causado al menor.

¿Por qué Google está implicado?

Según la demanda, la historia comenzó mucho antes. Los creadores de Character.AI, Noam Shazeer y Daniel De Freitas, habrían iniciado el desarrollo de la plataforma mientras aún trabajaban para Google, posiblemente utilizando recursos de la empresa. Sin embargo, internamente se consideró que la tecnología era demasiado «peligrosa» para integrarse con los modelos de IA de Google.

Lo más revelador es que, aparentemente, documentos internos de Google mostraban preocupación porque los usuarios podrían «atribuir demasiado significado» a las respuestas de los modelos de lenguaje. Precisamente lo que le ocurrió a Sewell, quien llegó a creer que los chatbots eran reales.

En lugar de descartar este riesgo, la demanda alega que Google «animó» a los ingenieros a seguir con el proyecto, pero fuera de la empresa para evitar los estándares de seguridad internos. Shazeer y De Freitas dejaron Google en 2021, pero según García, el gigante tecnológico habría contribuido con «recursos financieros, personal, propiedad intelectual y tecnología de IA» al desarrollo de Character.AI.

El negocio detrás del drama

La trama se complica aún más en 2023, cuando Google Cloud estableció una asociación pública con Character.AI. Pero el punto culminante llegó cuando Google firmó un acuerdo de 2.700 millones de dólares para licenciar los modelos de Character.AI y volvió a contratar a Shazeer y De Freitas.

Para García y su equipo legal, todo apunta a que Google habría estado planificando utilizar la tecnología de Character.AI para crear sus propios chatbots compañeros, beneficiándose de todos los datos de usuario (incluidos de menores) que Character.AI habría recopilado fuera del paraguas regulatorio de Google.

Es importante señalar que Character.AI comercializó sus productos como seguros para menores de 13 años hasta poco antes del acuerdo con Google, lo que ha generado serias preocupaciones sobre si esta fue una estrategia deliberada para recopilar datos que Google no podría obtener directamente debido a restricciones legales.

Implicaciones financieras y éticas

La demanda alega que Shazeer recibió entre 750 y 1.000 millones de dólares por su parte de Character.AI, una cifra sorprendente considerando que, según García, la empresa nunca hubiera sido rentable desarrollando sus propios modelos de lenguaje (LLM), especialmente cuando su única fuente de ingresos era una pequeña cuota de suscripción.

Esto plantea preguntas importantes: ¿Por qué Google valoró tan altamente una empresa que, según estimaciones, necesitaría cobrar más de 200 dólares mensuales a sus usuarios para alcanzar el punto de equilibrio? García sugiere que el verdadero valor estaba en los datos de usuario, especialmente de menores, y en la tecnología que Google ahora está integrando en Gemini.

La IA y la libertad de expresión: un debate abierto

Otro aspecto fascinante de este caso es el argumento de defensa basado en la Primera Enmienda. Tanto Google como Character Technologies intentaron desestimar la demanda alegando que los usuarios de Character.AI tienen derecho a escuchar las respuestas del chatbot como supuesta «expresión».

La jueza Conway aceptó que Character Technologies puede invocar los derechos constitucionales de sus usuarios, pero no está preparada para declarar que las respuestas de los modelos de lenguaje constituyan expresión protegida en esta etapa del proceso.

Character.AI intentó argumentar que las respuestas del chatbot deberían protegerse como el diálogo de los personajes de videojuegos, pero Conway señaló que este argumento no estaba desarrollado sustancialmente. El equipo de García contraargumentó que el diálogo de los personajes de videojuegos está escrito por humanos, mientras que las respuestas de los chatbots son simplemente el resultado de un modelo prediciendo qué palabra debería venir a continuación.

Medidas reactivas de Character.AI

Tras la publicidad negativa, Character.AI ha implementado una «versión separada» de su modelo para usuarios menores de 18 años, junto con «perspectivas parentales, personajes filtrados, notificaciones de tiempo de uso, descargos de responsabilidad prominentes actualizados y más».

La compañía también afirma tener protecciones técnicas para detectar y prevenir conversaciones sobre autolesiones, incluyendo mensajes emergentes que dirigen a los usuarios a líneas de ayuda para crisis suicidas.

El futuro de la responsabilidad en la IA

Esta demanda marca un punto de inflexión en cómo las empresas de tecnología podrían ser responsables por los productos de IA que desarrollan, incluso indirectamente. La abogada de García, Meetali Jain, afirmó que la decisión «establece un nuevo precedente para la responsabilidad legal en todo el ecosistema de IA y tecnología» y «reconoce el derecho de una madre en duelo a acceder a los tribunales para responsabilizar a poderosas empresas tecnológicas —y sus desarrolladores— por comercializar un producto defectuoso que provocó la muerte de su hijo».

El caso avanza ahora a la fase de descubrimiento, donde García tendrá la oportunidad de probar sus alegaciones, a pesar de los intensos esfuerzos de Google por ser excluido de la demanda. Para Google, escapar de este litigio podría depender de demostrar que los modelos de Character.AI difieren sustancialmente de su tecnología que impulsa Gemini y refutar la afirmación de enriquecimiento injusto mostrando que no obtuvo beneficio alguno del acceso a los datos de usuario de Character.AI.

Como profesional que lleva años siguiendo los desarrollos en IA y seguridad tecnológica, considero que este caso podría convertirse en un referente histórico sobre la responsabilidad en la creación de sistemas de inteligencia artificial. En un momento donde los detectores de IA y los generadores de imágenes con IA se vuelven cada vez más potentes y accesibles, es crucial establecer marcos de responsabilidad claros que protejan especialmente a los más vulnerables.

Si seguimos permitiendo que el desarrollo tecnológico avance sin rendición de cuentas, casos como el de Sewell podrían repetirse. La tragedia no solo está en su pérdida, sino en que quizás podría haberse evitado con mejores salvaguardas, supervisión y una genuina