Una reciente investigación realizada por el Observatorio de Internet de Stanford ha descubierto la presencia de imágenes abusivas de niños en uno de los datasets más populares utilizados para entrenar modelos de generación de imágenes con IA. El dataset en cuestión es LAION-5B, el cual es utilizado por Stable Diffusion, una herramienta desarrollada por Stability AI.
Investigación de Stanford Revela Datos Alarmantes
Los investigadores de Stanford iniciaron el análisis de LAION-5B en septiembre de 2023. Su objetivo era determinar la cantidad de material de abuso sexual infantil (CSAM) presente en el dataset. Para ello, analizaron los hashes, o identificadores de las imágenes, y los compararon con plataformas de detección de CSAM como PhotoDNA. Además, la verificación fue realizada por el Centro Canadiense para la Protección de la Infancia.
El resultado fue escalofriante: al menos 1,679 imágenes ilegales fueron encontradas, todas ellas provenientes de publicaciones en redes sociales y sitios de pornografía populares. El hallazgo subraya una problemática significativa en la gestión y supervisión de los datasets usados para entrenar modelos de IA.
Impacto y Medidas Tomadas por LAION y Stability AI
LAION, la organización sin fines de lucro que gestiona el dataset, enfatizó en una declaración a Bloomberg su política de “tolerancia cero” frente a contenidos dañinos. Tras los hallazgos, LAION anunció la eliminación temporal de los datasets en línea hasta poder resolver el problema. Por su parte, Stability AI afirmó que sus modelos fueron entrenados con una parte del dataset LAION-5B y que implementaron ajustes para mejorar la seguridad.
- Política de “tolerancia cero”: LAION eliminará temporalmente los datasets en línea.
- Medidas de Stability AI: Ajustes y enfoque en una porción limitada del dataset para la formación de los modelos.
Implicaciones del Descubrimiento
Si bien los investigadores de Stanford señalaron que la presencia de CSAM no influye necesariamente en la salida de los modelos de IA entrenados con el dataset, el riesgo de que los modelos aprendan a generar contenido dañino a partir de tales imágenes es real. La repetición de imágenes específicas de víctimas es especialmente problemática debido a su potencial para reforzar la victimización.
El informe de Stanford también remarcó la dificultad de eliminar completamente el contenido problemático de los modelos de IA una vez que estos han sido entrenados. Recomendaron que se descontinúe el uso y la distribución de modelos entrenados con LAION-5B, como Stable Diffusion 1.5, en donde sea posible.
Recomendaciones y Futuras Acciones
Los investigadores sugirieron varias acciones para mitigar el daño y prevenir futuros incidentes relacionados con la IA y el CSAM:
- Descontinuar modelos afectados: Detener el uso y la distribución de modelos entrenados con datasets problemáticos.
- Mejorar la supervisión: Implementar mecanismos más estrictos para monitorear y verificar el contenido de los datasets.
- Colaboración internacional: Fortalecer la colaboración entre organismos internacionales para el manejo y prevención de CSAM en datasets de IA.
Reacciones y Movimientos Regulatorios
El descubrimiento también ha propiciado la intervención de abogados generales en los Estados Unidos, quienes han solicitado al Congreso la creación de un comité para investigar el impacto de la IA en la explotación infantil y prohibir la creación de CSAM generado por IA. Esta llamada a la acción subraya la necesidad urgente de regulaciones más estrictas en torno a la IA y el manejo de datos.
Además, Google, cuyo modelo de texto a imagen, Imagen, también utilizó una versión anterior del dataset de LAION, aseguró que su versión inicial entrenó con LAION-400M y no con LAION-5B. Google afirmó haber excluido los datasets de LAION de versiones posteriores de su herramienta.
Conclusión
El hallazgo de CSAM en un popular dataset de entrenamiento de IA resalta la urgencia de mejorar los procesos de supervisión y verificación de contenido en la creación y uso de modelos de inteligencia artificial. Las medidas tomadas por LAION y Stability AI son pasos en la dirección correcta, pero se necesita un enfoque sistemático y colaborativo para abordar y mitigar completamente esta problemática.
La comunidad internacional, incluyendo gobiernos, empresas tecnológicas y organizaciones no gubernamentales, debe trabajar conjuntamente para garantizar la integridad y seguridad de los datasets utilizados en la IA, protegiendo así a las víctimas y previniendo la proliferación de contenido dañino.