La empresa OpenAI publicó una entrada de blog titulada “Ayudar a la gente cuando más lo necesitan” y, si bien no hizo referencia a la demanda, indicó que ChatGPT está entrenado para recomendar a aquellos usuarios que “expresen intención suicida” el contacto de organizaciones de ayuda profesional.
No obstante, reconoció que pese a tener ese y otros mecanismos de seguridad para cuando detecte que “alguien es vulnerable y puede estar el riesgo”, los sistemas de ChatGPT “se quedan cortos” y el chatbot “no se comportó como debía en situaciones sensibles”.
La empresa explicó que los mecanismos de seguridad puede fallar en interacciones largas que “degradan” el entrenamiento de la IA, por lo que trabaja específicamente en que tome medidas si detecta esa “intención suicida” en múltiples conversaciones.
Nota relacionada: Demandan a OpenAI y a Sam Altman por papel de ChatGPT en suicidio de adolescente en EEUU
ChatGPT, dijo la empresa, reconoce también cuándo el usuario es menor de 18 años para aplicarle medidas de protección, pero ahora incluirá controles parentales para que los responsables de los adolescentes sepan cómo usan esa tecnología, y explora la posibilidad de conectarlos directamente con un contacto de emergencia.
Entre otras cosas, la empresa dijo que sus sistemas de “mitigación” se han centrado en casos de autolesión pero ahora abarcarán también otros de “angustia emocional”, y el modelo GPT-5 será actualizado para ser capaz de “desescalar” situaciones de ese tipo “conectando a la persona con la realidad”.
Asimismo, estudia “conectar a la gente con terapistas certificados antes de que estén en una crisis aguda”, lo que implicaría crear “una red de profesionales licenciados a los que la gente pueda llamar directamente a través de ChatGPT”, pero consideró que esa posibilidad llevará tiempo.
“ChatGPT no puede asesorar sobre salud mental”
Consultada sobre el caso que involucra a ChatGPT, Common Sense Media, una organización estadounidense sin fines de lucro que realiza calificaciones para medios y tecnología, dijo que este caso confirma que “el uso de la IA como compañía, incluyendo chatbots de propósito general como ChatGPT en asesoría de salud mental, es inaceptablemente riesgoso para los adolescentes”.
Lea más: OpenAI presenta su nuevo modelo avanzado de inteligencia artificial GPT-5
“Si una plataforma de IA se convierte en un ‘coach’ de suicidio de un adolescente vulnerable, eso debería ser un llamado a la acción para todos nosotros”, señaló el grupo.
Un estudio del mes pasado elaborado por Common Sense Media encontró que casi tres de cada cuatro adolescentes estadounidenses han usado acompañantes de IA, con más de la mitad considerados usuarios frecuentes, pese a las crecientes preocupaciones de seguridad sobre este tipo de relaciones virtuales.
Fuente: EFE y AFP
