Vídeos racistas creados con IA mediante Google Veo 3 se multiplican en TikTok
El lanzamiento de Veo 3, el generador de vídeos de Google, ha supuesto un salto preocupante en la calidad del vídeo generado por IA. Mientras muchos de los vídeos virales que hemos visto son inofensivos, la calidad pixel-perfect del modelo también puede utilizarse con fines nefastos. En TikTok, los usuarios han detectado un exceso de vídeos racistas creados precisamente con esta herramienta de Google.
Un problema creciente de contenido discriminatorio
Según un informe de MediaMatters, numerosas cuentas de TikTok han comenzado a publicar vídeos generados por IA que utilizan tropos racistas y antisemitas. El grueso de este contenido tóxico está dirigido contra personas negras, representándolas como «sospechosos habituales» en crímenes, padres ausentes o con estereotipos profundamente ofensivos. También existe contenido que ataca a inmigrantes y judíos.
Estos vídeos suelen durar unos ocho segundos como máximo y llevan la marca de agua «Veo», lo que confirma su origen: el modelo de IA más avanzado de Google hasta la fecha. Y no estamos hablando de casos aislados; muchas de estas publicaciones acumulan miles e incluso millones de visualizaciones.
Lo más preocupante es que estos contenidos no solo circulan, sino que generan interacción. Los comentarios en las publicaciones originales suelen amplificar los estereotipos utilizados, creando una cámara de eco tóxica. No es sorprendente: la indignación y la polémica siempre han sido el combustible perfecto para la viralidad en redes sociales.
Las barreras de seguridad de Veo 3 parecen insuficientes
Google ha hecho mucho énfasis en la seguridad al anunciar sus nuevos modelos de IA. Todos hemos experimentado esa frustración cuando la IA se niega a completar una tarea porque piensa que estamos pidiendo algo inapropiado. A veces es molesto cuando nuestras intenciones son inocentes, pero es una salvaguarda necesaria.
Sin embargo, con Veo 3 parece que el péndulo se ha inclinado demasiado hacia la permisividad. En pruebas realizadas con prompts sencillos, ha sido relativamente fácil reproducir elementos de estos vídeos problemáticos. La capacidad del sistema para generar contenido ultrarrealista lo hace especialmente atractivo para quienes buscan propagar estereotipos dañinos.
Políticas claras pero no aplicadas
Las condiciones de servicio de TikTok prohíben explícitamente este tipo de contenido. Sus pautas comunitarias establecen: «No permitimos ningún discurso de odio, comportamiento odioso o promoción de ideologías odiosas. Esto incluye contenido explícito o implícito que ataque a un grupo protegido».
A pesar de esta prohibición clara sobre caricaturas racistas, los vídeos generados por Veo 3 con contenido ofensivo parecen multiplicarse sin control efectivo. TikTok utiliza tanto tecnología automatizada como moderadores humanos para identificar infracciones, pero el volumen de contenido dificulta una moderación eficaz.
Un portavoz de TikTok ha indicado que más de la mitad de las cuentas citadas en el informe de MediaMatters ya habían sido suspendidas por violaciones de políticas antes de la publicación del informe, y el resto ha sido eliminado posteriormente. Pero la pregunta sigue siendo: ¿por qué estos vídeos pudieron acumular tantas visualizaciones antes de ser retirados?
Google y su responsabilidad en la ecuación
Por su parte, Google tiene una política de uso prohibido que veta el empleo de sus servicios para promover discurso de odio, acoso o intimidación. Los vídeos descubiertos parecen violar claramente estas normas.
En un escenario ideal, Veo 3 debería negarse automáticamente a crear este tipo de contenido. Sin embargo, la ambigüedad en los prompts y la incapacidad de la IA para comprender completamente los matices de los estereotipos racistas (como el uso de monos en lugar de personas en ciertos vídeos) facilita eludir las restricciones.
Un problema que trasciende a TikTok
Aunque TikTok es actualmente el principal foco de difusión de estos vídeos por ser la plataforma de vídeo social líder en el mundo, el problema no es exclusivo. X (anteriormente Twitter) ha ganado reputación por su moderación limitada, lo que ha provocado un aumento del contenido ofensivo generado por IA en su plataforma.
Y esto podría empeorar pronto. Google planea integrar Veo 3 en YouTube Shorts, lo que potencialmente facilitaría la proliferación de este tipo de contenido también en YouTube.
La brecha entre las políticas y su aplicación
Tanto TikTok como Google disponen de normas claras que prohíben este contenido, normas que deberían haber evitado que estos vídeos alcanzaran millones de visualizaciones. Sin embargo, la aplicación efectiva de estas políticas deja mucho que desear.
TikTok parece desbordado ante la avalancha constante de vídeos, mientras que las barreras de seguridad de Google han demostrado ser insuficientes para bloquear la creación de este contenido problemático. He contactado con Google para preguntar sobre las características de seguridad de Veo 3, pero al momento de escribir este artículo no he recibido respuesta.
El eterno dilema de los generadores de IA
Desde que existen los sistemas de IA generativa, las personas los han utilizado para crear contenido inflamatorio y discriminatorio. Los desarrolladores siempre hablan de implementar guardrails para prevenir el uso indebido, pero nunca son infalibles.
El realismo excepcional de Veo 3 lo convierte en una herramienta particularmente tentadora para difundir estereotipos dañinos. Y es posible que ni siquiera los mejores sistemas de seguridad puedan detener completamente este uso perverso.
El futuro de la moderación de contenido generado por IA
A medida que los detectores de IA mejoran, también lo hacen las herramientas para evadir la detección. Es una carrera armamentística donde los malos actores siempre buscan ir un paso por delante.
Las empresas tecnológicas deben asumir mayor responsabilidad sobre las herramientas que lanzan al mercado. No basta con tener políticas estrictas sobre el papel si luego no se aplican efectivamente. Los generadores de imágenes IA como Veo 3 tienen un potencial creativo extraordinario, pero ese mismo poder conlleva riesgos significativos.
Quizás la solución no esté solo en mejorar los filtros, sino en replantearse fundamentalmente cómo se diseñan, implementan y monitorizan estas tecnologías. Mientras tanto, seguiremos viendo cómo el contenido tóxico encuentra resquicios para colarse en nuestras redes sociales.
