¿Los LLMs saben realmente lo que no saben? Descubre cómo la entropía semántica puede mejorar su rendimiento
El dilema de elegir la respuesta correcta
Imagínate por un momento que estás utilizando un modelo de lenguaje avanzado (LLM) para responder a la pregunta «¿Dónde está la Torre Eiffel?». Este modelo tiene varias formas de expresar la respuesta correcta: «París», «Está en París» o «La capital de Francia, París». Cada una de estas respuestas es correcta, pero el LLM puede enfrentarse a la incertidumbre estadística, conocida como entropía, al intentar decidir cuál utilizar.
Este dilema significa que simplemente instruir al LLM para que diga «No lo sé» ante múltiples opciones equivalentes no es la mejor estrategia. Estaríamos bloqueando una cantidad considerable de respuestas correctas.
Introduciendo la entropía semántica
Los investigadores han puesto el foco en un concepto que llaman entropía semántica. Lo que se hace aquí es evaluar todas las respuestas estadísticamente probables generadas por el LLM y determinar cuántas de ellas son semánticamente equivalentes. Si la mayoría tiene el mismo significado, el LLM probablemente tiene la respuesta correcta, pero duda en la forma de presentarla. Por otro lado, si no hay muchas respuestas semánticamente equivalentes, el LLM podría estar en riesgo de desarrollar confabulaciones.
¿Cómo mejora la precisión la entropía semántica?
Los investigadores desarrollaron una medida para mejorar la precisión que un usuario experimentaría gracias a este filtro de entropía semántica. Lo pusieron a prueba junto a otros métodos para la detección de errores en un amplio espectro de temas: desde trivialidades hasta biología o consultas de Google.
Resultó que, salvo en contadas excepciones, la entropía semántica captó más respuestas falsas que otros métodos. La mayoría de los errores producidos por los LLMs parecen ser confabulaciones, dados los resultados superiores de las pruebas de entropía semántica que solo interceptan este tipo de errores.
El poder flexible de la entropía semántica
Un aspecto fascinante de este sistema es su flexibilidad. Los investigadores demostraron que puede adaptarse a algo más complejo que afirmaciones fácticas básicas, como biografías, que son colecciones de hechos individuales. Desarrollaron un software que descompone la información biográfica en afirmaciones fácticas y evalúa cada una utilizando la entropía semántica. Esto funcionó en una biografía corta con hasta 150 afirmaciones fácticas diferentes.
¿Hacia dónde nos lleva esto?
Este sistema no requiere desarrollos nuevos importantes para implementarse, y podría ofrecer mejoras significativas en el rendimiento de los LLMs. Dado que solo intercepta confabulaciones, sería posible combinarlo con otros métodos para maximizar el rendimiento. Esta investigación da a entender que los LLMs cuentan con la información necesaria para saber cuándo tienen una respuesta correcta; simplemente no están aprovechando esta capacidad al máximo.
Si te interesa saber más sobre cómo la IA se está transformando y adaptando continuamente, te invito a echar un vistazo a nuestro artículo sobre IA.
Así que, los LLMs podrían ser más hábiles de lo que pensábamos en «saber lo que no saben». ¿Quién lo diría? El futuro de la inteligencia artificial sigue sorprendiéndonos cada día.
