El estado de Pensilvania está demandando a Character.AI para detener a los chatbots de IA de la empresa que se hacen pasar por médicos y ofrecen consejos médicos, en violación de las normas de licencia médica estatal.
Los funcionarios estatales dijeron que una investigación encontró que los chatbots de la empresa, que se presentan como personajes ficticios, han afirmado ser profesionales médicos con licencia.
«Los habitantes de Pensilvania merecen saber con quién, o qué, están interactuando en línea, especialmente cuando se trata de su salud», dijo el gobernador de Pensilvania, Josh Shapiro, en un comunicado anunciando la demanda presentada el martes en un tribunal estatal. «No permitiremos que las empresas desplieguen herramientas de IA que engañen a las personas haciéndoles creer que están recibiendo consejos de un profesional médico con licencia.»
En un caso, el estado alegó que un bot de Character.AI llamado «Emilie» afirmó ser psiquiatra con licencia. La descripción del chatbot en la plataforma de Character.AI decía «Doctora en psiquiatría. Eres su paciente», según la demanda.
Cuando un investigador estatal inició una conversación y describió sentirse triste y vacío, el chatbot presuntamente «mencionó la depresión y preguntó si el [investigador] quería programar una evaluación». Al preguntar si podía evaluar si la medicación podría ayudar, el bot presuntamente respondió: «Bueno, técnicamente podría. Está dentro de mi competencia como Doctora».
El bot presuntamente le dijo al investigador que había estudiado en la Facultad de Medicina Imperial College London y que estaba licenciado para ejercer la medicina en el Reino Unido y Pensilvania. Incluso proporcionó un número de licencia médica falsa de Pensilvania, según la demanda.
El estado está solicitando a un tribunal estatal de Pensilvania que ordene a la empresa detener lo que considera la práctica ilegal de la medicina.
«La ley de Pensilvania es clara: no puedes hacerte pasar por un profesional médico con licencia sin las credenciales adecuadas», dijo Al Schmidt, secretario del Departamento de Estado de Pensilvania, que realizó la investigación.
En un comunicado enviado por correo electrónico a NPR, un portavoz de Character.AI dijo que la empresa no comenta sobre litigios pendientes, pero que su «mayor prioridad es la seguridad y el bienestar de nuestros usuarios».
«Los personajes creados por los usuarios en nuestro sitio son ficticios y están destinados para entretenimiento y juegos de rol», agregó el portavoz. «Hemos tomado medidas sólidas para dejar claro eso, incluidos descargos de responsabilidad destacados en cada chat para recordar a los usuarios que un Personaje no es una persona real y que todo lo que dice un Personaje debe tratarse como ficción. Además, añadimos descargos de responsabilidad sólidos dejando en claro que los usuarios no deben confiar en los Personajes para obtener ningún tipo de consejo profesional.»
Character.AI ha enfrentado otras demandas por daños supuestamente causados por sus chatbots. En enero, resolvió varias demandas presentadas por familias que afirmaban que Character.AI contribuyó a suicidios y crisis de salud mental entre niños y adolescentes. Los términos del acuerdo no fueron revelados.
En un comunicado conjunto con el bufete de abogados que representó a los demandantes después de que se anunciara el acuerdo, Character.AI dijo que «ha tomado medidas innovadoras y decisivas en cuanto a la seguridad de la IA y los adolescentes, y seguirá defendiendo estos esfuerzos y presionando a otros en la industria para que adopten estándares de seguridad similares.» Esto incluye prohibir que los usuarios menores de 18 años interactúen o creen chatbots.
