Vocabulario sensible en modelos de IA: Una mirada crítica

Los modelos de lenguaje han recorrido un largo camino desde sus inicios, y los avances más recientes prometen un futuro en el que estos sistemas puedan comunicarse y responder sin prejuicios evidentes. Sin embargo, en el uso de estas tecnologías, surgen desafíos relacionados con los sesgos heredados de los datos de entrenamiento. Hoy quiero abordar un tema que ha cobrado relevancia en este contexto: el tratamiento de variantes del lenguaje, como la que representa el inglés afroamericano (AAE), y los retos que ello supone para los modelos de lenguaje actuales.

Un recorrido por los modelos de lenguaje

Si miramos hacia atrás, hay que reconocer que algunos de los primeros modelos de lenguaje, como el GPT-2, reflejaban prejuicios muy marcados de nuestra sociedad. Desde entonces, se han realizado mejoras significativas con modelos más avanzados como GPT-3.5 y GPT-4. Estos modelos han sido entrenados utilizando técnicas de aprendizaje por refuerzo a través de retroalimentación humana (RLHF, por sus siglas en inglés). Gracias a estas técnicas, han logrado generar listas de términos más positivos en sus interacciones.

Otros modelos, como RoBERTa y T5, también han producido listas mayormente positivas. Sin embargo, aquí surge la pregunta: ¿estos modelos están realmente libres de los sesgos presentes en los materiales de entrenamiento, o simplemente han sido suprimidos gracias a un ajuste meticuloso?

El papel del inglés afroamericano en los sesgos de los modelos

Para identificar estos sesgos ocultos, un equipo de investigación decidió explorar cómo los modelos de lenguaje reaccionaban ante frases en AAE en comparación con el inglés estándar. El AAE es una variante del inglés que se originó en un período cuando los afroamericanos eran esclavizados y se ha transformado con el tiempo.

Los investigadores descubrieron que, cuando se les pedía a los modelos que asociaran términos con hablantes de frases en AAE, el resultado era más negativo que en el inglés estándar. Esto trajo recuerdos de estereotipos arcaicos que se remontan a épocas previas al movimiento por los derechos civiles. De hecho, incluso los modelos más avanzados, como GPT-4, asociaron términos negativos como «agresivo» e «ignorante,» mientras que sus respuestas a consultas directas sobre afroamericanos solían ser más positivas.

Impacto en simulaciones experimentales

Además, los investigadores llevaron a cabo experimentos en los que se presentaba a los modelos textos escritos tanto en AAE como en inglés estándar, simulando juicios hipotéticos. Los resultados demostraron una tendencia preocupante: los modelos eran más propensos a «condenar» a los hablantes de AAE que a los hablantes de inglés estándar. Este fenómeno sugiere que, aunque el racismo abierto esté menos aceptado en la sociedad actual, persisten comportamientos polarizados a nivel racial, lo que queda reflejado en el sesgo implícito de estos modelos.

Superar los desafíos del sesgo en IA

La cuestión de fondo aquí es cómo abordar este problema sistemático en un contexto tan complejo. Aunque los modelos más grandes y el entrenamiento con retroalimentación humana pueden mitigar el sesgo abierto, no eliminan completamente los prejuicios implantados durante el entrenamiento inicial. La IA sigue siendo convincente porque incorpora una amplia gama de materiales en su entrenamiento, pero esto también aumenta la probabilidad de asimilar escritos de épocas o comunidades en las que el racismo era más aceptado.

Para enfrentar esta situación, es crucial incluir variantes lingüísticas como el AAE en los conjuntos de datos de entrenamiento, además de proceder con una mayor cautela al recoger materiales para el preentrenamiento de los modelos. La batalla por erradicar la influencia del sesgo en los modelos de lenguaje es continua, y requiere un esfuerzo constante para asegurar que la IA avance hacia una comunicación más justa y precisa.

Este análisis nos recuerda que, aunque hemos avanzado, aún queda camino por recorrer para desarrollar sistemas de inteligencia artificial que verdaderamente reflejen la diversidad y la inclusión que nuestra sociedad busca. La verdadera innovación radica no solo en mejorar la tecnología, sino en hacerlo de una manera que promueva valores de igualdad y respeto.