Durante el Foro Europeo de Confianza y Seguridad 2025, TikTok presentó a la prensa europea las estrategias y herramientas que utiliza para gestionar una plataforma considerada de "vigilancia especial" por su masiva presencia de jóvenes. Con más de 1,000 millones de usuarios y contenidos en 70 idiomas, la complejidad es evidente, y en este contexto la IA se convirtió en protagonista.
Control de cuentas
Las políticas de TikTok estipulan que el registro solo es posible para mayores de 13 años y que para determinados grupos de edad, es decir, menores de 16 y menores de 18, existen restricciones y filtros que impiden la visualización de contenidos "de riesgo".
A falta de un sistema de verificación de la edad basado en datos objetivos, la red social utiliza sistemas de IA para determinar la edad de los usuarios, basándose en el análisis de las fotos de perfil y los contenidos publicados en los cumpleaños. Se dice que estas técnicas han eliminado unos 6 millones de cuentas al mes abiertas por menores de 13 años.
Un tema diferente es el de las cuentas spam, que, como en cualquier otra red social, pueden representar un vehículo para noticias falsas, campañas de desinformación o herramientas para difundir estafas. Según TikTok, en 2024, eliminó más de mil millones de cuentas de esta naturaleza.
No obstante, el verdadero riesgo radica en la proliferación de contenidos peligrosos, especialmente aquellos vinculados con la violencia y el extremismo. Se trata de un fenómeno que, según Judy Korn, de Violence Prevention Network, está evolucionando de forma alarmante: "Para complicar aún más el panorama, está surgiendo una forma de extremismo sin una ideología definida: un extremismo que promueve el caos y la destrucción como fines en sí mismos, sin el horizonte de un cambio político".
Esta nueva forma de extremismo, explica el activista alemán, también plantea problemas prácticos a la hora de rastrear los contenidos que se publican: "Nos hemos acostumbrado a clasificar los contenidos potencialmente peligrosos utilizando como parámetro principal la temática. Pero cuando la incitación a la violencia no apela a factores específicos, como el racismo o la homofobia, esta estrategia se convierte en un arma poco contundente". La IA, en este sentido, se ve como una herramienta que puede salvar las distancias y acudir al rescate incluso cuando el contenido y los comentarios tienen una forma especialmente "críptica".
Como explican los expertos de TikTok, las comunidades de estos ámbitos suelen utilizar palabras en clave, a veces incluso el simple uso de ciertos emojis, que resultan extremadamente difíciles de interpretar. La IA permite seguir y mejorar la capacidad de detectar esas pistas que podrían escapar al ojo humano.
Rob Leathern y Rob Goldman, exempleados de Meta, han fundado una organización sin fines de lucro que busca aportar transparencia a un ecosistema de redes sociales cada vez más opaco y plagado de estafas.
La difícil relación entre los moderadores y el algoritmo
La estrategia declarada de TikTok en el uso de la IA para la moderación de contenidos responde al planteamiento que hoy se repite en prácticamente todo el sector tecnológico: una combinación de automatización y supervisión humana diseñada para maximizar los beneficios. Según la plataforma, la incorporación de herramientas de inteligencia artificial no solo incrementa la eficacia del proceso de moderación, sino que también mejora las condiciones laborales de los propios moderadores.
El debate sobre el bienestar de estos trabajadores no gira tanto en torno al ritmo de trabajo, sino al impacto psicológico que conlleva. En los últimos años, numerosos moderadores han denunciado la exposición constante a contenido violento, una carga emocional que se ha convertido en uno de los principales problemas del sector.
TikTok afirma que la adopción de sistemas de IA ha permitido reducir en un 76% la exposición de los moderadores a materiales que infringen las normas de la comunidad. En cuanto a la eficacia, el algoritmo habría reducido en un 34% las intervenciones erróneas durante la moderación y duplicado el número de comentarios inapropiados eliminados. Además, el 94% de los contenidos prohibidos se eliminarían en un plazo de 24 horas.
