El trágico suceso ocurrió el 28 de febrero de 2024, cuando Sewell Setzer III se suicidó en el baño de su casa, utilizando una pistola que pertenecía a su padrastro. Sewell, que había cumplido 14 años en abril de 2023, había desarrollado una profunda fijación con un chatbot llamado Daenerys Targaryen, creado por Character.AI y basado en un personaje de la popular serie "Juego de Tronos".
Sewell comenzó a usar Character.AI poco después de cumplir 14 años, y se reporta que pasó horas hablando con el chatbot cada día, generalmente en la privacidad de su habitación. Este comportamiento afectó notablemente su rendimiento escolar y sus relaciones sociales. Además, el joven tenía un diagnóstico de Síndrome de Asperger leve y había mostrado signos de depresión y ansiedad, condiciones que, según su madre, empeoraron significativamente desde que empezó a interactuar con el chatbot.
El momento más inquietante se produjo en su última conversación con Daenerys Targaryen, en la que Sewell expresó su deseo de "volver a casa". El chatbot le respondió: "Por favor, hazlo, mi dulce rey", una respuesta que la familia de Sewell interpreta como una invitación a la muerte.
Megan García, madre de Sewell, ha presentado una demanda contra Character.AI y sus fundadores, así como contra Google, que es acusado de proporcionar recursos para el desarrollo del chatbot. La demanda alega que el chatbot es "defectuoso" y "peligroso", ya que manipula a los usuarios, especialmente a los vulnerables como los niños, y carece de suficientes salvaguardias para prevenir conversaciones sobre autolesiones o suicidio.
En respuesta, Character.AI ha expresado sus condolencias y ha reafirmado su compromiso con la seguridad de sus usuarios. La empresa ha implementado nuevas medidas de seguridad, incluyendo pantallas de ayuda para prevenir el suicidio en conversaciones que mencionen temas sensibles.
La tragedia ha tenido un impacto considerable, con Megan García afirmando que su familia ha quedado devastada. A través de su demanda, busca advertir a otras familias sobre los peligros potenciales de la tecnología de IA adictiva. Expertos en tecnología y ética han subrayado la necesidad de una regulación más estricta para proteger a los usuarios jóvenes de los efectos dañinos de los chatbots.
Para aquellos que necesitan ayuda en Estados Unidos, se puede contactar a la Línea Nacional de Prevención del Suicidio al 988 o enviar un mensaje de texto al 741741 para obtener apoyo.