¿Pueden los modelos de IA realmente entender cómo funciona el mundo?

Llevo meses viendo cómo los entusiastas de la IA no paran de compartir vídeos generados con inteligencia artificial que supuestamente demuestran que estos sistemas comprenden las leyes físicas del mundo real. Ya sabéis, vídeos de pelotas rebotando, objetos cayendo o líquidos derramándose que parecen comportarse como lo harían en la realidad.

La pregunta que me hago es: ¿realmente estos modelos de vídeo entienden cómo funciona el mundo o simplemente repiten patrones que han visto en su entrenamiento? Google DeepMind ha intentado responder a esta cuestión con un estudio que pone a prueba su modelo Veo 3.

El experimento de DeepMind: pruebas de inteligencia para IA

DeepMind realizó un estudio bastante directo titulado «Los modelos de vídeo son aprendices y razonadores sin entrenamiento previo». Básicamente, pusieron a prueba su modelo Veo 3 generando miles de vídeos diseñados para evaluar sus capacidades en docenas de tareas relacionadas con la percepción, manipulación y razonamiento sobre el mundo real.

Los resultados son, como mínimo, interesantes. El modelo logra algunos éxitos notables: puede generar vídeos creíbles de manos robóticas abriendo frascos o lanzando pelotas, y consigue resultados perfectos o casi perfectos en tareas como eliminar ruido de imágenes o detectar los bordes de objetos.

Pero aquí viene la parte controversial: en otras tareas el rendimiento es… bueno, digamos que necesita mejorar.

Cuando aprobar con un 8% se considera un éxito

Lo curioso del estudio es cómo interpretan los resultados. Para los investigadores, si el modelo acierta aunque sea en uno de cada doce intentos, ya consideran que «posee la capacidad de resolver la tarea».

Con ese criterio tan generoso, fallar 11 de 12 veces en ordenar números se considera evidencia de que el modelo tiene capacidades de clasificación numérica. Imaginad que os presentáis a un examen de conducir, acertáis el 8% de las preguntas y os dan el carnet porque «habéis demostrado tener conocimientos de conducción». No tendríais muchas ganas de compartir carretera conmigo, ¿verdad?

De hecho, en 18 de las tareas probadas, el modelo falló en más de la mitad de los intentos. En otras 14, falló entre el 25% y el 50% de las veces. Solo hubo 16 tareas donde falló absolutamente todas las veces, y estas sí fueron consideradas «casos de fracaso».

¿Mejora constante o rendimientos decrecientes?

Los investigadores destacan las mejoras de Veo 3 respecto a su predecesor, Veo 2. En algunas pruebas cuantitativas, Veo 3 pudo reflejar un patrón aleatorio horizontalmente el 72% de las veces, mientras que Veo 2 falló completamente en esa tarea. También mostró mejoras en detección de bordes, extracción de objetos y resolución de laberintos.

Con estos datos en la mano, los investigadores sugieren que los futuros modelos de vídeo «se convertirán en modelos fundamentales de propósito general para la visión, así como los LLM lo han hecho para el lenguaje».

Pero como siempre digo cuando veo estas predicciones optimistas: el rendimiento pasado no garantiza resultados futuros. Venimos de años trabajando con LLMs que a veces dan respuestas correctas y a veces inventan disparates con total confianza. La diferencia entre un modelo que funciona «algunas veces» y uno que funciona «siempre» puede ser abismal.

La realidad física no perdona errores

El problema con los modelos de vídeo que pretenden simular la física del mundo real es que nuestros cerebros están extremadamente sintonizados para detectar anomalías físicas. Podemos tolerar que un detector de IA confunda ocasionalmente un gato con un perro, pero si vemos un vídeo donde una pelota rebota hacia arriba en lugar de caer, inmediatamente sabemos que algo no cuadra.

Para que un generador de imágenes IA sea realmente útil en aplicaciones prácticas como simulaciones científicas, diseño de productos o efectos visuales realistas, necesita ser consistente casi al 100%. No sirve de nada un modelo que acierte algunas veces si no sabemos predecir cuándo funcionará correctamente.

¿Estamos cerca del «modelo del mundo»?

Uno de los santos griales de la IA es desarrollar lo que se conoce como «modelo del mundo» (world model): un sistema que comprenda realmente cómo funciona nuestro entorno físico y pueda predecir con precisión las consecuencias de acciones en él.

Si bien es impresionante que Veo 3 pueda, en ocasiones, simular correctamente fenómenos físicos complejos sin haber sido programado explícitamente para ello, estamos lejos de tener modelos que razonen de forma consistente sobre el mundo. Como demuestran las pruebas, el conocimiento es fragmentario y poco fiable.

Esto no quiere decir que no se esté avanzando. La mejora entre Veo 2 y Veo 3 es real, y probablemente sigamos viendo progresos significativos. Pero creo que debemos ser realistas sobre dónde estamos ahora: los modelos actuales son impresionantes juguetes tecnológicos con momentos brillantes, pero aún no son herramientas en las que podamos confiar para entender cómo funciona realmente nuestro mundo.

Mientras tanto, seguiré viendo esos vídeos de IA con escepticismo. Aunque parezcan mágicos a primera vista, ya sabemos que detrás hay un sistema que, por ahora, apenas aprueba un par de asignaturas del mundo real.