¿Los modelos de IA realmente «razonan» o solo hacen coincidir patrones? Apple lo cuestiona
La inteligencia artificial nos tiene acostumbrados a titulares grandilocuentes sobre sus capacidades de «razonamiento». Pero un nuevo estudio de Apple está poniendo en entredicho estas afirmaciones. Si eres de los que se pregunta si la IA realmente piensa o simplemente hace malabares con patrones aprendidos durante su entrenamiento, este estudio te va a interesar.
El experimento que desmonta el «pensamiento» de la IA
A principios de junio, investigadores de Apple publicaron un estudio llamado «La ilusión del pensamiento», donde analizaron modelos de razonamiento simulado como OpenAI o1 y o3, DeepSeek-R1 y Claude 3.7 Sonnet Thinking. Lo que descubrieron no fue precisamente alentador.
El equipo liderado por Parshin Shojaee e Iman Mirzadeh enfrentó estos modelos a cuatro rompecabezas clásicos:
- Torre de Hanoi: ese juego donde hay que mover discos entre postes
- Saltos de damas: donde eliminas piezas saltando sobre ellas
- Cruce de ríos: transportar elementos con restricciones
- Mundo de bloques: apilar bloques en cierto orden
Lo interesante fue que escalaron estos problemas desde lo ridículamente sencillo (como una Torre de Hanoi con un solo disco) hasta lo extremadamente complejo (una Torre de Hanoi con 20 discos que requiere más de un millón de movimientos).
El demoledor resultado
Lo que vieron confirma lo que otro estudio de la Olimpiada Matemática de Estados Unidos (USAMO) ya había encontrado en abril: estos modelos obtuvieron puntuaciones bajísimas en problemas matemáticos novedosos. La mayoría no superó el 5% de acierto, y el mejor apenas llegó al 25%. De casi 200 intentos, ninguno consiguió una prueba perfecta.
Y no, no es que les faltara información. Incluso cuando los investigadores les proporcionaron algoritmos explícitos para resolver la Torre de Hanoi, su rendimiento no mejoró. Como dijo el co-líder del estudio, Iman Mirzadeh: «su proceso no es lógico ni inteligente».
Cómo fallan los modelos según la dificultad
Lo que hace este estudio particularmente interesante es cómo desglosa el comportamiento de los modelos según la complejidad del problema:
Con problemas fáciles
Curiosamente, los modelos estándar (como GPT-4o) funcionaron mejor que los modelos de razonamiento simulado, porque estos últimos tendían a «pensar demasiado» y generaban largas cadenas de razonamiento que acababan en respuestas incorrectas.
Con problemas de dificultad media
Aquí los modelos de razonamiento simulado tenían ventaja, ya que su enfoque metódico les daba un plus.
Con problemas realmente difíciles
Ambos tipos de modelos fallaron miserablemente. Ninguno pudo completar rompecabezas como la Torre de Hanoi con 10 o más discos, sin importar cuánto tiempo se les diera.
Lo más desconcertante fue lo que los investigadores llaman un «límite de escala contraintuitivo»: a medida que aumenta la complejidad del problema, los modelos de razonamiento inicialmente generan más «tokens de pensamiento», pero luego reducen su esfuerzo de razonamiento más allá de cierto umbral, a pesar de tener recursos computacionales adecuados.
¿Es justo este estudio? Las interpretaciones alternativas
Como era de esperar, no todos los investigadores están de acuerdo con la interpretación de que estos resultados demuestran limitaciones fundamentales de razonamiento.
Kevin A. Bryan, economista de la Universidad de Toronto, argumentó que estas limitaciones pueden reflejar restricciones deliberadas de entrenamiento en lugar de incapacidades inherentes. Según él, es como si me pidieras resolver un problema que normalmente me llevaría una hora con lápiz y papel, pero solo me dieras cinco minutos. Lo más probable es que te dé una solución aproximada o una heurística.
Sean Goedecke, ingeniero de software, ofreció una crítica similar en su blog. Señaló que cuando DeepSeek-R1 se enfrentó a la Torre de Hanoi que requería más de 1.000 movimientos, el modelo decidió inmediatamente que «generar todos esos movimientos manualmente es imposible» e intentó buscar un atajo. Goedecke sostiene que esto representa el modelo eligiendo no intentar la tarea, no siendo incapaz de completarla.
¿Son estos puzzles una buena forma de evaluar la IA?
Simon Willison, investigador independiente de IA, planteó otra cuestión interesante: ¿es la Torre de Hanoi realmente una forma sensata de evaluar los modelos de lenguaje? Según él, estos fallos podrían reflejar simplemente que los modelos se quedan sin tokens en su ventana de contexto (la cantidad máxima de texto que pueden procesar) en lugar de déficits de razonamiento.
Por tanto, la pregunta que debemos hacernos no es si estos modelos son inútiles, sino si estamos evaluándolos con las métricas correctas. El propio estudio de Apple reconoce que los entornos de rompecabezas representan solo «una pequeña parte de las tareas de razonamiento y pueden no capturar la diversidad de problemas de razonamiento del mundo real o intensivos en conocimiento».
El detector de IA también podría mejorar con estos hallazgos
Un aspecto interesante que no debemos pasar por alto es cómo estos hallazgos podrían mejorar las herramientas de detección de IA. Si entendemos mejor cómo los modelos de lenguaje abordan el razonamiento sistemático, los detector de IA podrían identificar más fácilmente los patrones que delatan un texto generado artificialmente, especialmente en contenidos que requieren pensamiento secuencial complejo.
¿Qué significa esto para el futuro de la IA?
No voy a caer en extremismos. Los estudios de Apple y USAMO no han destruido por completo la credibilidad de los modelos de razonamiento de IA. Lo que sugieren, en cambio, es que los trucos de razonamiento extendido utilizados por estos modelos pueden no ser el camino hacia la inteligencia general que algunos esperaban.
Incluso Gary Marcus, un conocido crítico de la IA que calificó los resultados de Apple como «bastante devastadores para los LLM», reconoce que «al menos durante la próxima década, los LLM (con y sin ‘razonamiento’ en tiempo de inferencia) seguirán teniendo sus usos, especialmente para codificación, lluvia de ideas y escritura».
Implicaciones para los generadores de imágenes IA
Estos hallazgos también tienen implicaciones para los generadores de imágenes IA. Muchas de estas herramientas están comenzando a integrar capacidades de razonamiento para mejorar la coherencia de las imágenes generadas. Si los modelos subyacentes no razonan de manera efectiva, esto podría explicar por qué a veces vemos dedos extras o elementos ilógicos en las imágenes generadas.
La realidad es que incluso las máquinas de coincidencia de patrones sofisticadas pueden ser útiles para realizar tareas que nos ahorran trabajo, siempre que entendamos sus limitaciones y posibles fabricaciones. El problema surge cuando las empresas de IA exageran las capacidades de sus modelos, prometiendo avances en razonamiento e inteligencia que quizás no sean tan impresionantes como parecen.
Lo que necesitamos ahora no es descartar la IA, sino ser más honestos sobre lo
