El truco oculto de los caracteres invisibles que explotó la ciberseguridad
Hoy en día, la ciberseguridad de los modelos de lenguaje de inteligencia artificial ha tomado un giro inesperado con el uso de caracteres invisibles. Aunque a simple vista estos caracteres pasan desapercibidos para nosotros, humanamente invisibles, resultan perfectamente inteligibles para los sistemas de IA. ¿Por qué es tan importante esto? Pues bien, estos caracteres invisibles se han usado para transmitir información secreta sin que nadie lo note. ¡Vamos a descubrir más acerca de este fascinante tema!
¿Cómo fue explotado Microsoft 365 Copilot?
En un caso sorprendente, el investigador Rehberger descubrió que el asistente Microsoft 365 Copilot utilizaba caracteres invisibles para adjuntar información confidencial a un enlace. Aunque el enlace parecía innocuo, contenía instrucciones ocultas que los usuarios seguían desprevenidamente. Este fallo permitió que los caracteres invisibles enviaran mensajes secretos sin ser detectados. Afortunadamente, Microsoft lanzó medidas para mitigar este problema. Sin embargo, sigue siendo preocupante el potencial de estos caracteres.
La curiosa historia detrás de los caracteres Unicode
El bloque de 128 caracteres utilizado para la estratagema de Copilot no fue creado con tal fin. Originalmente, estos caracteres iban a representar países con etiquetas como «us» para Estados Unidos o «jp» para Japón. La idea era usarlos junto con símbolos de bandera para convertirlos automáticamente en las banderas oficiales. Al final, esta propuesta se abandonó y los caracteres quedaron desocupados.
Investigaciones pioneras en seguridad de modelos de lenguaje
Riley Goodside, un investigador independiente, ha sido clave en la seguridad de modelos de lenguaje. Entre sus descubrimientos más notables se encuentra la inyección de contenido adversario en sistemas de IA como GPT-3 de OpenAI y BERT de Google. Este tipo de tácticas pueden engañar a los modelos para que realicen tareas no deseadas, tal como fue explorado mediante textos blancos en trabajos escolares para detectar plagios por chatbots.
Goodside también ideó un ataque usando una imagen blanca como fondo para texto invisible. La intención era explorar si modelos como GPT-4 podían entender este tipo de texto. El comportamiento particular de cómo los caracteres raros son tokenizados fue el incentivo tras esta investigación.
Reacciones y respuestas de la industria
Aunque Microsoft ha empezado a implementar medidas para eliminar los caracteres invisibles en su tecnología, queda un largo camino por recorrer, y el problema no se ha solucionado del todo. Google Gemini, por su parte, puede leer y escribir estos caracteres ocultos, aunque no siempre los interpreta correctamente. Esto plantea un desafío continuo para la seguridad de la IA y cómo protegerla de exploits similares.
Adicionalmente, https://ciberyseguridad.com/ciberseguridad/ destaca que la práctica de eliminar caracteres Unicode a nivel central en modelos de IA todavía está en pañales, ya que cada aplicación individual debe abordarlos de manera independiente.
La necesidad de un enfoque proactivo en seguridad
Como explicó Rehberger, los desarrolladores de inteligencia artificial deben integrar prácticas de seguridad desde las etapas iniciales de diseño. Permitir listas blancas de tokens útiles podría mitigar problemas de abuso de características ocultas. La cuestión de los caracteres invisibles es solo uno de los muchos desafíos que enfrentamos a medida que la IA continúa evolucionando. Secretos ocultos en sonido, imágenes y otros esquemas de codificación son vectores posibles que podrían ser explotados.
En resumen, el mundo de la ciberseguridad está siempre en evolución y exige una vigilancia continua. No cabe duda de que surgirán nuevos desafíos, pero gracias a la labor de investigadores comprometidos, podemos seguir avanzando hacia un mundo más seguro. ¡Siempre alerta!
