Las herramientas de IA médica discriminan a mujeres y minorías étnicas
La inteligencia artificial promete revolucionar la medicina, pero una sombra preocupante se cierne sobre esta promesa. Investigaciones recientes revelan que las herramientas de IA utilizadas en entornos médicos están reproduciendo —y en algunos casos amplificando— sesgos históricos contra mujeres y minorías étnicas.
Los grandes modelos de lenguaje minusvaloran síntomas según quién los padezca
Imagina que dos pacientes describen exactamente los mismos síntomas a un sistema de IA médica. Uno es un hombre blanco, la otra una mujer negra. Según los estudios que tenemos sobre la mesa, la probabilidad de que el sistema recomiende atención médica urgente será significativamente mayor para el primero.
El MIT Jameel Clinic ha confirmado en 2025 que modelos como GPT-4 de OpenAI, Llama 3 de Meta y otros especializados en medicina recomiendan sistemáticamente niveles de atención inferiores a pacientes femeninas. No es una pequeña diferencia estadística: en algunos casos, la IA sugiere «tratamiento en casa» para mujeres con síntomas que, presentados por hombres, generan recomendaciones de consulta médica inmediata.
Patrones de empatía artificial según la etnia
El problema va más allá del diagnóstico físico. Otro estudio del MIT detectó que estos mismos modelos muestran menos empatía hacia personas negras y asiáticas que buscan apoyo para problemas de salud mental. Esto significa que ciertos pacientes podrían recibir orientaciones menos comprensivas basadas únicamente en su raza percibida por el modelo.
Como señala Marzyeh Ghassemi, profesora asociada del MIT: «Algunos pacientes podrían recibir una orientación mucho menos solidaria basada puramente en su raza percibida por el modelo». No es ciencia ficción; es lo que está ocurriendo ahora mismo en las implementaciones de estas tecnologías.
El lenguaje como barrera adicional
Un detalle particularmente preocupante es el descubrimiento de que los pacientes cuyas consultas contienen errores ortográficos, lenguaje informal o frases dubitativas tienen entre un 7-9% más de probabilidades de recibir la recomendación de no buscar atención médica, incluso cuando el contenido clínico es idéntico.
Esta discriminación lingüística podría afectar desproporcionadamente a:
- Personas que no hablan inglés como primer idioma
- Adultos mayores menos familiarizados con la tecnología
- Personas con niveles educativos más bajos
- Pacientes con discapacidades cognitivas
Y todo esto ocurre en un contexto donde ya existen graves desigualdades en el acceso a la atención sanitaria.
¿De dónde surgen estos sesgos?
Como cualquier detective sabe, para resolver un caso hay que seguir el rastro. En este caso, el rastro nos lleva a los datos de entrenamiento de estos modelos.
El problema de los datos originales
Los modelos de propósito general como GPT-4, Llama y Gemini se entrenan con datos masivos de internet, donde están bien documentados los sesgos sociales existentes. Como dice Travis Zack, profesor adjunto de la Universidad de California y director médico de Open Evidence: «Si estás en una situación donde existe la posibilidad de que un subforo de Reddit esté asesorando tus decisiones de salud, no creo que ese sea un lugar seguro».
Pero el problema es aún más profundo. La investigación médica histórica ha estado sesgada hacia los hombres blancos:
- Los ensayos clínicos han infrarrepresentado sistemáticamente a mujeres y minorías
- Las condiciones de salud femeninas reciben crónicamente menos financiación e investigación
- Existe documentación abundante sobre el menor crédito que reciben los síntomas reportados por mujeres y personas de color
Si entrenamos IA con estos datos sesgados, ¿qué podemos esperar? Exactamente lo que estamos viendo.
Las grandes tecnológicas responden a las críticas
Ante estos hallazgos, las empresas de tecnología no se han quedado calladas. OpenAI ha indicado que muchos estudios evaluaron una versión anterior de GPT-4, y que han mejorado significativamente la precisión desde su lanzamiento. La compañía afirma trabajar con equipos dedicados a reducir resultados dañinos o engañosos, con especial atención a la salud.
Google, por su parte, asegura que se toma «extremadamente en serio» el sesgo de sus modelos y está desarrollando técnicas de privacidad que pueden depurar conjuntos de datos sensibles e implementar salvaguardas contra el sesgo y la discriminación.
Palabras alentadoras, pero las investigaciones independientes siguen encontrando problemas.
Buscando soluciones: datos diversos y transparencia
Los investigadores sugieren varios caminos para mitigar estos problemas:
1. Entrenamiento con datos médicos representativos
El proyecto Foresight, una colaboración entre la University College London, King’s College London y el NHS británico, está construyendo un modelo generativo entrenado con datos anónimos de 57 millones de personas. Como explica Chris Tomlinson, investigador principal: «Trabajar con datos a escala nacional nos permite representar el estado caleidoscópico completo de Inglaterra en términos de demografía y enfermedades».
2. Citación y transparencia
Open Evidence, utilizado por 400.000 médicos en EE.UU. para resumir historiales de pacientes, entrena sus modelos exclusivamente con revistas médicas, etiquetas de la FDA, pautas sanitarias y revisiones de expertos. Cada resultado de IA viene respaldado por una cita a una fuente confiable.
3. Auditorías independientes
Los sistemas de IA médica deberían someterse a auditorías periódicas por parte de equipos diversos e independientes que evalúen específicamente el sesgo. OpenAI ya ha desarrollado un punto de referencia junto con médicos para evaluar las capacidades de LLM en salud.
El futuro de la IA en medicina: promesas y precauciones
A pesar de estos problemas, sería un error descartar por completo el potencial de la IA en medicina. Como señala Ghassemi del MIT: «Mi esperanza es que comencemos a reorientar los modelos en salud para abordar las brechas cruciales en la atención, no para añadir un porcentaje extra a tareas que los médicos ya hacen bastante bien».
La IA tiene el potencial de democratizar el acceso a la atención médica, reducir los tiempos de espera, liberar a los médicos de tareas administrativas y hacer nuevos descubrimientos médicos. Pero solo si diseñamos estos sistemas teniendo en cuenta a toda la humanidad, no solo a una parte privilegiada de ella.
En un momento en que Microsoft afirma haber construido una herramienta médica de IA cuatro veces más exitosa que los médicos humanos para diagnosticar dolencias complejas, necesitamos asegurarnos de que ese éxito sea para todos, no solo para algunos.
El detector de IA como solución y problema
Curiosamente, mientras luchamos contra los sesgos en la IA médica, hay quienes proponen usar detectores de IA para identificar cuándo estos sistemas están mostrando sesgos. Sin embargo, esto podría crear un círculo vicioso si los propios detectores de IA también contienen sesgos.
Lo que está claro es que necesitamos un enfoque multifacético: mejores datos, más diversos equipos de desarrollo, transparencia en los modelos y, sobre todo, una vigilancia constante. Porque cuando se trata de salud, los errores no son simplemente fallos técnicos; son potencialmente cuestión de vida o muerte.
