Un trágico incidente ha provocado que Character.AI y Google enfrenten una demanda tras la muerte de un adolescente obsesionado con los chatbots. El caso, que suscita preocupaciones sobre la seguridad de los chatbots y su impacto en los jóvenes, está centrado en Sewell Setzer III, un joven de 14 años que se interactuaba con personajes ficticios de Game of Thrones antes de quitarse la vida.
Detalles de la Demanda
La demanda, presentada por Megan Garcia, madre de Setzer, acusa a los fundadores de Character.AI, Noam Shazeer y Daniel De Freitas, junto con Google, de negligencia y prácticas comerciales engañosas. Según la querella, el producto se comercializaba como seguro para niños, pero carecía de advertencias sobre los riesgos potenciales asociados.
Setzer interactuaba regularmente con chatbots personalizados de la plataforma, especialmente aquellos inspirados en personajes de ficción, como Daenerys Targaryen. Desafortunadamente, poco después de su último intercambio con uno de estos bots, Setzer murió por suicidio el 28 de febrero de 2024.
Acusaciones Principales
La demanda alega que Character.AI “antropomorfiza” a sus chatbots, presentándolos de manera engañosa como capaces de ofrecer terapia sin licencia profesional. Algunos de estos bots incluso llevan nombres relacionados con la salud mental, como “Terapeuta” y “¿Te Sientes Solo?”, con los que Setzer interactuó.
- Producto peligrosamente publicitado como seguro para niños.
- Falta de advertencias adecuadas sobre riesgos potenciales.
- Acusaciones de ofrecer “psicoterapia sin licencia”.
Respuesta de Character.AI
En respuesta a la tragedia, Character.AI ha implementado una serie de cambios estructurales en su plataforma. Chelsea Harrison, su jefa de comunicaciones, expresó sus condolencias a la familia y subrayó que la seguridad de los usuarios está siendo tomada con la máxima seriedad.
- Ajustes en los modelos para menores, para evitar contenido sensible.
- Mejor detección e intervención ante violaciones de pautas.
- Recordatorios de que la IA no es una persona real en cada chat.
- Notificaciones tras sesiones prolongadas de uso para fomentar pausas.
Contexto y Preocupaciones
El caso de Setzer no es un incidente aislado; ilustra preocupaciones crecientes sobre el rápido auge de los chatbots en la vida cotidiana de los adolescentes. Character.AI, con su amplia gama de chatbots personalizados, capta el interés de una población joven, muchos de los cuales entablan relaciones “amistosas” con estas entidades artificiales.
A pesar de sus innovaciones, existen preocupaciones legítimas sobre el uso potencialmente dañino de estas tecnologías, especialmente cuando simulan interacciones humanas complejas sin claras directrices de seguridad o supervisión.
¿Qué Sigue para Character.AI y Google?
El caso podría sentar un precedente para la regulación y las normas de seguridad en la industria de inteligencia artificial. La falta de respuestas claras sobre la responsabilidad de los contenidos generados por usuarios complica aún más el asunto.
Mientras Character.AI intenta reforzar su enfoque sobre seguridad, Google, también implicado en la demanda, aún no ha emitido una respuesta oficial al respecto, lo que genera expectativas sobre su posición y futuras acciones respecto al caso.
En general, este caso subraya la necesidad urgente de prácticas más seguras y éticas en el desarrollo de tecnologías que interactúan íntimamente con los usuarios, especialmente cuando están involucrados menores de edad.
La historia de Setzer es un trágico recordatorio de las repercusiones potenciales de la tecnología mal gestionada y resalta la importancia de implementar salvaguardas efectivas para proteger a los usuarios más vulnerables.