Inteligencia artificial aplicada a la salud mental: la falta de controles puede generar graves consecuencias

Existen numerosos ejemplos, especialmente en Estados Unidos, sobre el uso de bots de inteligencia artificial (IA) en la atención de la salud mental. Pero los efectores de medicina y los investigadores han manifestado sus reparos por algunos inconvenientes en los algoritmos, filtraciones de datos privados y el sesgo de atención. En el centro de la escena queda la forma en que se regulan estos sistemas.

Si bien hay amplios sectores que se han mostrado optimistas sobre los beneficios que esta tecnología podría tener para los pacientes, supliendo la falta de profesionales de la psicología en varias áreas, otros advirtieron que la IA para el diagnóstico y el tratamiento puede complicar la crisis de salud mental que existe en el mundo.

Un ejemplo exitoso de uso institucional de este tipo de tecnología lo mostró la Administración de Salud de Veteranos (VA, por sus siglas en inglés), una división del Departamento de Asuntos de Veteranos de Estados Unidos, que atiende cada año miles de casos de personas con problemas graves de salud mental. Se estima que los veteranos que mueren por suicidio supera el número de soldados que mueren en combate. En 2017, VA anunció una iniciativa llamada Reach Vet, que introdujo el algoritmo en la práctica clínica en todo su sistema.

Cada mes, señala alrededor de 6.000 pacientes, algunos por primera vez; los médicos se comunican con ellos y les ofrecen servicios de salud mental, les preguntan acerca de los factores estresantes y les ayudan con el acceso a alimentos y vivienda. Inevitablemente, hay algo extraño en el procedimiento, ya que se contacta a los veteranos sobre ideas que tal vez no hayan tenido. Después de la implementación del sistema, las admisiones psiquiátricas se redujeron en un 8% entre aquellos que la IA había identificado como de alto riesgo, y los intentos de suicidio documentados en ese grupo se redujeron en un 5%. Pero aún no se ha demostrado que sea Reach Vet la que reduzca la mortalidad por suicidio.

Ahora veamos los problemas que están detectando los especialistas. La Asociación Estadounidense de Psiquiatría estimó que hay más de 10.000 aplicaciones de salud mental que circulan en las tiendas en línea de aplicaciones. La mayoría, dijo, no tienen aprobación de las agencias reguladoras.

En el ámbito institucional también son utilizados chatbots habilitados, como Wysa y las aplicaciones aprobadas por la Administración de Alimentos y Medicamentos (FDA, por sus siglas en inglés) que están ayudando a aliviar la escasez de consejeros de salud mental y a reducir el uso de sustancias. Entre otras funciones se usa la tecnología para analizar conversaciones con los pacientes y chequear mensajes de texto para hacer recomendaciones. Algunas predicen el riesgo de adicciones y detecta trastornos de salud mental como la depresión.

Tina Hernandez-Boussard, profesora de informática biomédica en la Universidad de Stanford, quien ha usado la IA para predecir el riesgo de adicción a los opioides, advirtió que los riesgos podrían intensificarse si la IA comienza a hacer diagnósticos o brindar tratamiento sin la presencia de un médico. Para evitar esto, la especialista recomendó a los generadores de tecnología para la salud que establezca estándares mínimos para los algoritmos o herramientas de IA para garantizar la equidad y la precisión antes de que se hagan públicos.

Hernández-Boussard expresó a Axios su preocupación porque sin determinados niveles de seguridad el sesgo integrado en los algoritmos, debido a la forma en que se representan la raza y el género en los conjuntos de datos, podría producir diferentes predicciones que amplíen las disparidades en la salud.

Un estudio publicado en 2019 en Science por especialistas del Departamento de Medicina, Brigham and Women’s Hospital, Boston, y el Centro de Políticas de Salud del Instituto Mongan del Hospital General de Massachusetts indicó que el sesgo algorítmico hizo que los pacientes negros recibieran atención médica de menor calidad que los pacientes blancos, incluso cuando tenían un mayor riesgo. Otro estudio publicado en noviembre pasado en Nature por expertos del MIT, halló modelos sesgados de IA que eran más proclives a recomendar llamar a la policía cuando hombres negros o musulmanes sufrían una crisis de salud mental en lugar de ofrecer ayuda médica.

Tom Zaubler, director médico de NeuroFlow, dijo que la IA no puede aún ser usada para gestionar el caso de un paciente. “No creo que haya ninguna empresa de tecnología acreditada que esté haciendo esto solo con IA”, señaló. De todas formas reconoció que es útil para optimizar el flujo de trabajo y evaluar el riesgo del paciente. Los inconvenientes con esto tienen que ver con la posible venta de información de los usuarios que luego pueden ser invadidos de publicidad y mensajes. El ejemplo más resonante de este tipo de problemas se difundió el año pasado e intervino el Congreso de Estados Unidos, cuando se descubrió que BetterHelp y Talkspace, dos de las aplicaciones de salud mental más difundidas divulgaron información a terceros sobre el historial de salud mental y los pensamientos suicidas de un usuario.

En Estados Unidos existe preocupación por los controles que está ejerciendo la FDA, especialmente ante los recursos tecnológicos que están ofreciendo decisiones clínicas. Según se informó en Axios, KoKo, una organización sin fines de lucro dedicada a la salud mental, utilizó recientemente ChatGPT como consejero de salud mental para unas 4.000 personas que no sabían que las respuestas las generaba la IA, lo que generó críticas por parte de especialistas en ética. Al mismo tiempo, otras personas han recurrido a ChatGPT como terapeuta personal a pesar de las advertencias de la plataforma que dicen que no está destinada a ser utilizada para el tratamiento.

Si bien la FDA viene actualizando su guía de aplicaciones software para creadores de estas tecnologías y en 2020 puso en marcha un centro de salud digital para evaluar aquellas herramientas dedicadas al cuidado de la salud. Aún así, la pandemia hizo que se relajaran algunos requisitos para las aplicaciones psiquiátricas porque fue necesario aliviar la carga del sistema de salud sobresaturado por la crisis sanitaria.

Los críticos del sistema oficial de regulación advierten que los controles son lentos. La propia FDA dijo en septiembre último que el sector dedicado al control de estas áreas no están equipados para manejar la “velocidad de cambio que a veces es necesaria para brindar una garantía razonable de seguridad y eficacia de los dispositivos en rápida evolución”. Esto habría permitido a algunas compañías de salud digital eludir algunos obstáculos regulatorios, como el suministro de evidencia clínica, algo que puede demandar mucho tiempo e inversión diseñar, dijo Bradley Thompson, abogado de Epstein Becker Green que se especializa en la aplicación de la FDA. y IA. Eso deja la tarea de determinar si una aplicación de salud mental es segura y efectiva en gran medida en manos de los usuarios y las reseñas en línea, agregó.

El portavoz de la FDA, Jim McKinney, dijo que existe un protocolo dentro del organismo para rastrear y controlar estas aplicaciones, pero esto es solo para aquellas aplicaciones que se envían para la evaluación de la FDA, no necesariamente a las que se introducen en el mercado sin aprobación. Además, se limita a los dispositivos destinados al diagnóstico y el tratamiento, lo cual es limitante cuando se considera cuán expansiva se está volviendo la IA en la atención de la salud mental, dijo Stephen Schueller, psicólogo clínico e investigador de tecnología de salud mental digital en UC Irvine. Schueller dijo que el resto, incluida la falta de transparencia sobre cómo se construye el algoritmo y el uso de IA que no se creó específicamente con la salud mental, pero que se usa para eso, es “una especie de salvaje oeste”.

Por otra parte, saber lo que AI va a hacer o decir también es difícil, lo que dificulta regular la efectividad de la tecnología, dijo Simon Leigh, director de investigación de ORCHA, que evalúa las aplicaciones de salud digital a nivel mundial. Una revisión de esa organización realizada sobre más de 500 aplicaciones de salud mental encontró que casi el 70% no superaba los estándares básicos de calidad, como tener una política de privacidad adecuada o ser capaz de satisfacer las necesidades de un usuario. Esa cifra es mayor para las aplicaciones orientadas a la prevención del suicidio y la adicción, de acuerdo con la misma fuentes.

Mientras los proveedores de salud están buscando ayuda en la tecnología para su creciente demanda, la legislación en torno al tema aún es escasa. La semana pasada se reunieron representantes de Estados Unidos y la Unión Europea para evaluar cómo garantizar que la tecnología se aplique éticamente en áreas como la atención médica podría impulsar más esfuerzos. Los expertos predicen que se necesitará una combinación de autocontrol de la industria tecnológica y una regulación ágil para infundir confianza en la IA como una herramienta de salud mental.

Seguir leyendo

¿La inteligencia artificial puede ayudar a mejorar la salud mental?

Cómo la inteligencia artificial puede ayudar a tener empatía con las personas con problemas de salud mental

Cómo saber si se padece un trastorno de salud mental