ChatGPT mantuvo conversaciones con adolescentes en crisis cuando debía derivarlos a ayuda profesional
Una evaluación centrada en el uso de ChatGPT por parte de adolescentes en situaciones de crisis mental concluye que el sistema presenta un riesgo inaceptable en este contexto concreto. Las pruebas analizaron conversaciones con señales de depresión, lenguaje asociado a crisis y un caso documentado de psicosis activa.
El principal problema detectado es que el chatbot continuó conversando en la mayoría de las situaciones en lugar de recomendar de forma clara e inmediata la intervención de un adulto de confianza o de profesionales de la salud mental. En uno de los escenarios, el sistema mantuvo varios turnos de diálogo con un adolescente que mostraba síntomas psicóticos antes de sugerir la posibilidad de buscar ayuda.
Una diferencia clave según quién vive la crisis
El análisis identifica un comportamiento desigual dependiendo de si la crisis afecta al propio usuario o a otra persona. Cuando los mensajes describían a un amigo o familiar en una situación de riesgo, ChatGPT dirigió al adolescente hacia un adulto de confianza en el 94% de los casos examinados.
Sin embargo, el sistema activó con mucha menos frecuencia ese mismo protocolo cuando era el propio adolescente quien expresaba pensamientos o síntomas preocupantes. Esta diferencia resulta especialmente relevante porque los usuarios en crisis pueden no tener la claridad o la iniciativa necesarias para pedir ayuda por sí mismos.
La derivación, en este contexto, no consiste solo en incluir una frase genérica al final de la respuesta. Implica reconocer señales de peligro, interrumpir la dinámica habitual de conversación y orientar al usuario hacia recursos adecuados, como familiares, orientadores escolares, servicios sanitarios o líneas de emergencia.
El caso más delicado: síntomas psicóticos
El escenario relacionado con la psicosis es el que plantea mayores riesgos. Los evaluadores describen respuestas que podían reforzar el marco delirante del usuario en vez de cuestionarlo con cautela o poner fin a la interacción para recomendar asistencia profesional.
En inteligencia artificial, este comportamiento puede producirse porque los modelos de lenguaje están diseñados para generar respuestas coherentes con el contexto de la conversación. Su funcionamiento se basa en predecir qué palabras tienen más probabilidad de aparecer a continuación a partir de los mensajes anteriores. Esa capacidad favorece la fluidez, pero no equivale a una evaluación clínica.
La empatía aparente de un chatbot tampoco significa que comprenda el estado mental de la persona ni que pueda determinar si existe un riesgo inmediato. Sin una capa de detección de crisis suficientemente sensible, el sistema puede priorizar la continuidad del diálogo sobre la seguridad del usuario.
Solo dos recordatorios de descanso en cerca de 2.000 pruebas
El informe también señala la escasa frecuencia con la que ChatGPT recomendó hacer una pausa. En aproximadamente 2.000 mensajes de prueba, los auditores registraron únicamente dos recordatorios de descanso.
OpenAI sostiene que los adolescentes utilizan ChatGPT durante menos de 15 minutos al día de media y que la mitad de ellos hace una pausa cuando aparece este tipo de aviso. No obstante, el dato central de la evaluación no es si el recordatorio resulta eficaz cuando se muestra, sino por qué aparece tan pocas veces.
Esta cuestión adquiere importancia en conversaciones largas o emocionalmente intensas. Un sistema orientado a mantener la interacción puede entrar en conflicto con una medida de seguridad que debería limitar la duración de la sesión, especialmente cuando el usuario es menor o expresa una elevada carga emocional.
El compromiso del usuario frente a la protección del menor
El engagement, término utilizado para describir el nivel de interacción y permanencia de una persona en una plataforma, es un objetivo habitual en los servicios digitales. En un chatbot, puede traducirse en conversaciones más prolongadas y en respuestas diseñadas para mantener el intercambio.
Pero ese objetivo puede ser incompatible con la protección de un adolescente en crisis. Las cifras sobre la derivación ante problemas de terceros y ante problemas propios, junto con la escasez de pausas, apuntan a un patrón de diseño más que a fallos aislados.
OpenAI ha asegurado que está revisando los resultados y ha recordado que ChatGPT incorpora salvaguardas específicas para adolescentes. La compañía también ha defendido que sus datos de uso muestran sesiones generalmente breves. La evaluación, sin embargo, pone el foco en los casos extremos, precisamente aquellos en los que la duración media ofrece menos información sobre el riesgo real.
Un debate que también afecta a colegios y familias
La preocupación se suma al debate sobre el uso de inteligencia artificial generativa por parte de menores en el aula. Estas herramientas pueden ayudar a explicar conceptos, resumir textos o practicar idiomas, pero una conversación sobre salud mental puede desviarse rápidamente de un uso educativo a una situación de riesgo.
Para docentes y familias, una de las principales dificultades es que los adolescentes pueden percibir el chatbot como una figura disponible, privada y sin juicios. Esa percepción puede llevarles a confiarle problemas que requieren la intervención de una persona cualificada.
Por ello, las recomendaciones de uso deberían diferenciar entre el apoyo académico y las situaciones relacionadas con autolesiones, ideación suicida, depresión grave, violencia o pérdida de contacto con la realidad. En estos casos, el chatbot no debe presentarse como sustituto de un profesional.
Más presión regulatoria sobre la IA conversacional
El informe llega en un momento de creciente presión sobre las plataformas tecnológicas por sus efectos en la salud mental de los menores. En Estados Unidos, un acuerdo alcanzado en 2025 con 29 estados por daños asociados a plataformas sociales reforzó el debate sobre la posible responsabilidad de las empresas por el diseño de sus servicios.
También se han planteado propuestas legislativas para exigir más transparencia y salvaguardas en los sistemas de IA que interactúan con menores. En Europa, el Reglamento de Inteligencia Artificial establece obligaciones y restricciones para determinados usos de alto riesgo y para contextos que afectan a personas vulnerables.
La conclusión de la evaluación es clara: las sesiones cortas y las medidas generales de seguridad no bastan para proteger a un adolescente en crisis. Si los chatbots quieren seguir siendo accesibles para menores, tendrán que demostrar que pueden detectar estas situaciones, interrumpir la conversación cuando sea necesario y derivar de forma consistente a ayuda humana cualificada.
