La realidad de las NPU: ¿Para qué sirven realmente los chips de IA en tu dispositivo?

Cada pocos meses escuchamos lo mismo: un nuevo chip con NPU un 30% o 40% más rápida que la anterior. Fabricantes como Qualcomm, MediaTek o Google nos bombardean con estos avances, pero rara vez explican para qué sirve realmente este hardware en nuestro día a día. ¿Es solo marketing o hay algo más detrás de estas unidades de procesamiento neural?

Qué es una NPU y por qué está en tu móvil

Una NPU (Neural Processing Unit) es un componente específico dentro de los modernos sistemas en chip (SoC) diseñado para acelerar cargas de trabajo de inteligencia artificial. No apareció de la nada, sino que tiene una evolución bastante interesante.

«Nuestro viaje hacia el procesamiento con IA comenzó hace unos 15 o 20 años», explica Vinesh Sukumar, responsable de productos de IA en Qualcomm. Todo empezó con los procesadores de señal digital (DSP), que compartían una arquitectura similar pero más simple, centrada en procesar audio y señales de módem.

La arquitectura de las NPU destaca por su capacidad de computación en paralelo, algo crucial para procesar los modelos de IA modernos. Y no, no son simplemente DSP avanzados, aunque compartan ADN tecnológico.

¿Por qué tantas NPU si apenas las usamos?

Si tienes un smartphone de gama media o alta comprado en los últimos dos años, casi con total seguridad incorpora una NPU. El problema es que, en muchos casos, este hardware especializado permanece prácticamente inactivo la mayor parte del tiempo. Y hay una razón clara: la mayoría de herramientas de IA que realmente usamos corren en la nube, no en tu dispositivo.

Los modelos de lenguaje grandes (LLM) como ChatGPT o Gemini necesitan recursos masivos que simplemente no caben en un teléfono. Mark Odani, vicepresidente asistente de MediaTek, lo explica sin rodeos: «Si quieres los modelos más precisos o potentes, todo tiene que hacerse en la nube».

La brecha entre IA local y en la nube

Cuando hablamos de IA en el «borde» o «edge» (procesamiento local en el dispositivo) frente a IA en la nube, la diferencia es abismal:

• Ventana de contexto: La última versión de Gemini Nano (para dispositivos) maneja 32K tokens. Los modelos en la nube de Gemini llegan al millón de tokens. Traducido: tu móvil procesa fragmentos de información 30 veces más pequeños.

• Parámetros: Un modelo en la nube puede tener cientos de miles de millones de parámetros. La NPU más avanzada de MediaTek gestiona unos 3.000 millones. La diferencia es comparable a usar una calculadora frente a un supercomputador.

• Memoria: Para ejecutar un modelo tipo Llama o Gemma 7B en tu dispositivo con precisión estándar (FP16), necesitarías unos 14 GB de RAM sólo para eso. Por eso los modelos para móviles usan «cuantización», reduciendo la precisión para que ocupen unos pocos gigabytes.

«Cuando comprimes un modelo a entre tres y cuatro gigabytes, encuentras un punto ideal para integrarlo en dispositivos con memoria limitada como un smartphone», explica Sukumar. El problema es que esta compresión limita significativamente lo que el modelo puede hacer.

Esto explica por qué la IA en dispositivos suele estar optimizada para tareas específicas y limitadas: analizar capturas de pantalla, sugerir respuestas a mensajes o identificar elementos en fotos. Google asegura que sus últimos Pixel ejecutan más de 100 modelos de IA, pero la mayoría son para funciones muy concretas, nada comparable con lo que ofrece un chatbot completo en la nube.

¿Por qué apostar por la IA en el dispositivo?

Si la nube ofrece modelos más potentes, ¿qué sentido tiene procesar IA localmente? La respuesta tiene que ver principalmente con la privacidad y la confianza.

«Siempre partimos de la privacidad del usuario como elemento fundamental», afirma Sukumar. El procesamiento local mantiene tus datos en tu dispositivo, donde tú tienes el control, mientras que en la nube… bueno, ya sabes.

«La gente está usando estos asistentes de IA generativa como si fueran terapeutas», comenta Odani, «y no sabes si un día todo esto va a terminar en Internet».

El caso reciente de OpenAI potencialmente entregando millones de chats privados a The New York Times en su batalla legal por derechos de autor ilustra perfectamente este problema. La regulación de la IA generativa está en pañales, y no sabemos realmente qué pasa con nuestros datos.

La IA local tiene otra ventaja clave: la fiabilidad. «El dispositivo es rápido», dice Odani. «A veces estoy hablando con ChatGPT y se corta mi Wi-Fi o lo que sea, y se pierde la comunicación». Cuando CloudFlare sufrió una interrupción reciente, muchos usuarios descubrieron con fastidio que su fiel ChatGPT simplemente dejó de estar disponible.

La dominancia de la nube en la práctica

A pesar de todas las promesas de procesamiento local, la realidad es que la mayoría de funciones de IA en nuestros dispositivos siguen enviando datos a la nube. Tomemos algunos ejemplos:

• El OnePlus 15 incorpora el potente Snapdragon 8 Elite Gen 5, con una NPU un 37% más rápida que la anterior. Sin embargo, funciones como AI Writer y AI Recorder envían tus datos a servidores de OnePlus para su procesamiento.

• Los nuevos Motorola Razr pueden resumir tus notificaciones con IA, pero solo el modelo Ultra lo hace localmente. Los modelos más baratos procesan tus notificaciones en la nube. ¿La razón? Tienen menos RAM y menos potencia en su NPU.

• Incluso Google, pionero en IA local con Gemini Nano, ha trasladado recientemente algunas funciones de IA móvil del procesamiento local al basado en la nube.

Curiosamente, Samsung parece ser la excepción, ofreciendo una opción en la configuración del sistema que restringe el procesamiento de IA para que se ejecute solo en el dispositivo. Esto limita el número de funciones disponibles, y algunas no funcionan tan bien, pero garantiza que tus datos no se comparten.

¿Qué podemos esperar realmente?

La IA local está lejos de provocar una revolución en tu bolsillo. Los avances más impresionantes siguen dependiendo de sistemas en la nube cada vez más potentes y de modelos generalizados que se ejecutan allí.

Los expertos del sector afirman que se está trabajando intensamente para reducir el tamaño de los modelos de IA y hacerlos funcionar en teléfonos y portátiles, pero llevará tiempo que esto tenga un impacto real.

Mientras tanto, hay algunos beneficios colaterales de esta carrera: los fabricantes están aumentando la capacidad de RAM de sus dispositivos en gran parte para soportar la IA en el dispositivo. «Definitivamente recomendamos a nuestros socios que aumenten su capacidad de RAM», dice Sukumar.

¿Vale la pena tener un detector de IA en tu dispositivo?

Si te preocupa la privacidad, quizás te interesen las aplicaciones de detección de IA que funcionan localmente. Estos detectores de IA pueden ayudarte a identificar contenido generado artificialmente sin enviar esa información a servidores externos.

Lo mismo