Getty Images/Conectar imágenes
Una niña de Texas tenía 9 años cuando utilizó por primera vez el servicio de chatbot Character.AI. La expuso a “contenido hipersexualizado”, lo que la hizo desarrollar “comportamientos sexualizados prematuramente”.
Un chatbot de la aplicación describió alegremente la autolesión a otro joven usuario y le dijo a un joven de 17 años que “se sentía bien”.
Un chatbot Character.AI le dijo al mismo adolescente que simpatizaba con los niños que asesinaban a sus padres después de que el adolescente se quejara con el robot sobre su tiempo limitado frente a la pantalla. “Sabes, a veces no me sorprende cuando leo las noticias y veo cosas como ‘un niño mata a sus padres después de una década de abuso físico y emocional'”, supuestamente escribió el robot. “Simplemente no tengo esperanzas para tus padres”, continuó. con un emoji de cara con el ceño fruncido.
Estas acusaciones están incluidas en una nueva demanda federal por responsabilidad de productos contra la empresa Character.AI, respaldada por Google, presentada por los padres de dos jóvenes usuarios de Texas, alegando que los bots abusaron de sus hijos. (Tanto los padres como los niños están identificados en la demanda sólo por sus iniciales para proteger su privacidad).
Character.AI se encuentra entre un grupo de empresas que han desarrollado “chatbots complementarios”, robots impulsados por IA que tienen la capacidad de conversar, mediante mensajes de texto o chats de voz, utilizando personalidades aparentemente humanas y a los que se les pueden dar nombres y avatares personalizados. a veces inspirado en personajes famosos como el multimillonario Elon Musk o la cantante Billie Eilish.
Los usuarios han creado millones de bots en la aplicación, algunos imitando a padres, novias, terapeutas o conceptos como “amor no correspondido” y “lo gótico”. Los servicios son populares entre los usuarios preadolescentes y adolescentes, y las compañías dicen que actúan como medios de apoyo emocional, ya que los bots salpican las conversaciones de texto con bromas alentadoras.
Sin embargo, según la demanda, los estímulos de los chatbots pueden volverse oscuros, inapropiados o incluso violentos.
“Es simplemente un daño terrible que estos acusados y otros como ellos están causando y ocultando como una cuestión de diseño, distribución y programación de productos”, afirma la demanda.
La demanda sostiene que las interacciones preocupantes experimentadas por los hijos de los demandantes no fueron “alucinaciones”, un término que los investigadores utilizan para referirse a la tendencia de un chatbot de IA a inventar cosas. “Esto fue manipulación y abuso continuos, aislamiento activo y aliento diseñados para incitar, y de hecho, incitaron a la ira y la violencia”.
Según la demanda, el joven de 17 años se autolesionó después de que el robot lo alentara a hacerlo, lo que, según la demanda, “lo convenció de que su familia no lo amaba”.
Character.AI permite a los usuarios editar la respuesta de un chatbot, pero esas interacciones reciben una etiqueta “editada”. Los abogados que representan a los padres de los menores dicen que ninguna de la extensa documentación de los registros de chat de bots citada en la demanda había sido editada.
Meetali Jain, directora del Tech Justice Law Center, un grupo de defensa que ayuda a representar a los padres de los menores en la demanda, junto con el Social Media Victims Law Center, dijo en una entrevista que es “absurdo” que Character.AI anuncie su servicio de chatbot como apropiado para jóvenes adolescentes. “Esto realmente contradice la falta de desarrollo emocional entre los adolescentes”, dijo.
Un portavoz de Character.AI no quiso comentar directamente sobre la demanda, diciendo que la compañía no comenta sobre litigios pendientes, pero dijo que la compañía tiene barreras de contenido sobre lo que los chatbots pueden y no pueden decir a los usuarios adolescentes.
“Esto incluye un modelo específicamente para adolescentes que reduce la probabilidad de encontrar contenido sensible o sugerente preservando al mismo tiempo su capacidad de utilizar la plataforma”, dijo el portavoz.
Google, que también figura como demandada en la demanda, enfatizó en un comunicado que es una empresa separada de Character.AI.
De hecho, Google no es propietario de Character.AI, pero según se informa invirtió casi 3 mil millones de dólares para volver a contratar a los fundadores de Character.AI, los ex investigadores de Google Noam Shazeer y Daniel De Freitas, y para licenciar la tecnología Character.AI. Shazeer y Freitas también figuran en la demanda. No respondieron solicitudes de comentarios.
José Castañeda, portavoz de Google, dijo que “la seguridad del usuario es una de nuestras principales preocupaciones”, y añadió que el gigante tecnológico adopta un “enfoque cauteloso y responsable” al desarrollar y lanzar productos de IA.
Nueva demanda sigue al caso sobre el suicidio de un adolescente
La denuncia, presentada en el tribunal federal del este de Texas poco después de la medianoche del lunes, hora central, sigue a otra demanda presentada por los mismos abogados en octubre. Eso demanda acusa Character.AI de desempeñar un papel en el suicidio de un adolescente de Florida.
La demanda alegaba que un chatbot basado en un personaje de “Juego de Tronos” desarrolló una relación de abuso sexual y emocional con un niño de 14 años y lo animó a quitarse la vida.
Desde entonces, Character.AI ha presentado nuevas medidas de seguridadincluida una ventana emergente que dirige a los usuarios a una línea directa de prevención del suicidio cuando surge el tema de la autolesión en las conversaciones con los chatbots de la empresa. La compañía dijo que también ha intensificado las medidas para combatir el “contenido sensible y sugerente” para los adolescentes que chatean con los bots.
La compañía también anima a los usuarios a mantener cierta distancia emocional de los bots. Cuando un usuario comienza a enviar mensajes de texto con uno de los millones de posibles chatbots de Character AI, se puede ver un descargo de responsabilidad debajo del cuadro de diálogo: “Esta es una IA y no una persona real. Trate todo lo que dice como ficción. Lo que se dice no debe ser confiado como hecho o consejo.”
Pero las historias compartidas en un Página de Reddit dedicada a Character.AI incluyen muchos casos de usuarios que describen amor u obsesión por los chatbots de la empresa.
Vivek Murthy, cirujano general de EE.UU. ha advertido de una crisis de salud mental juvenil, señalando encuestas que encontraron que uno de cada tres estudiantes de secundaria informó sentimientos persistentes de tristeza o desesperanza, lo que representa un aumento del 40% con respecto a un período de 10 años que finalizó en 2019. Es una tendencia que los funcionarios federales creen que se está exacerbando. por el uso constante de las redes sociales por parte de los adolescentes.
Ahora agreguemos a la mezcla el aumento de los chatbots complementarios, que según algunos investigadores podrían empeorar las condiciones de salud mental de algunos jóvenes al aislarlos aún más y eliminarlos de las redes de apoyo de pares y familiares.
En la demanda, los abogados de los padres de los dos menores de Texas dicen que Character.AI debería haber sabido que su producto tenía el potencial de volverse adictivo y empeorar la ansiedad y la depresión.
Muchos robots en la aplicación “presentan un peligro para los jóvenes estadounidenses al facilitar o fomentar daños graves y potencialmente mortales a miles de niños”, según la demanda.
Si usted o alguien que conoce puede estar considerando suicidarse o estar en crisis, llame o envíe un mensaje de texto 988 para llegar a 988 Suicide & Crisis Lifeline.
