Las pruebas de IA en medicina son un caos
Se han aprobado cientos de algoritmos médicos basándose en datos clínicos limitados. Los científicos están debatiendo quién debería probar estas herramientas y cuál es la mejor manera de hacerlo
21 agosto 2024.- Probar adecuadamente los sistemas de IA para su uso en un entorno médico es un proceso complejo de varias fases. Pero relativamente pocos desarrolladores publican los resultados de dichos análisis. Una revisión muestra que solo se publicaron 65 ensayos controlados aleatorios de intervenciones de IA entre 2020 y 20222. Mientras tanto, los reguladores como la Administración de Alimentos y Medicamentos de Estados Unidos (FDA) han aprobado cientos de dispositivos médicos impulsados por IA para su uso en hospitales y clínicas.
“Las organizaciones de atención médica están viendo muchos dispositivos aprobados que no cuentan con validación clínica”, dice David Ouyang, cardiólogo del Centro Médico Cedars-Sinai en Los Ángeles, California. Algunos hospitales optan por probar estos equipos ellos mismos.
Y aunque los investigadores saben cómo debería ser un ensayo clínico ideal para una intervención basada en IA 3 , en la práctica, probar estas tecnologías es un desafío. La implementación depende de lo bien que los profesionales de la salud interactúen con los algoritmos: una herramienta perfectamente buena fallará si los humanos ignoran sus sugerencias. Los programas de IA pueden ser particularmente sensibles a las diferencias entre las poblaciones con cuyos datos fueron entrenados y aquellas a las que pretenden ayudar. Además, aún no está claro cuál es la mejor manera de informar a los pacientes y sus familias sobre estas tecnologías y solicitar su consentimiento para usar sus datos para probar los dispositivos.
Algunos hospitales y sistemas de atención médica están experimentando con formas de utilizar y evaluar sistemas de IA en medicina. Y a medida que más herramientas y empresas de IA ingresan al mercado, los grupos se están uniendo para buscar un consenso sobre qué tipos de evaluación funcionan mejor y brindan el mayor rigor.
¿Quién está probando los sistemas de inteligencia artificial médica?
Las aplicaciones médicas basadas en IA, como la que Singh está desarrollando, son consideradas generalmente dispositivos médicos por los organismos reguladores de medicamentos, entre ellos la FDA de Estados Unidos y la Agencia Reguladora de Medicamentos y Productos Sanitarios del Reino Unido. Por ello, los criterios para revisarlas y autorizarlas para su uso suelen ser menos rigurosos que los de los medicamentos. Solo una pequeña proporción de dispositivos (aquellos que podrían suponer un alto riesgo para los pacientes) requieren datos de ensayos clínicos para su aprobación.
Muchos piensan que el listón está demasiado bajo. Cuando Gary Weissman, médico de cuidados intensivos de la Universidad de Pensilvania en Filadelfia, revisó los dispositivos de inteligencia artificial aprobados por la FDA en su campo, descubrió que, de los diez que identificó, solo tres citaban datos publicados en sus autorizaciones. Solo cuatro mencionaron una evaluación de seguridad y ninguno incluyó una evaluación de sesgo, que analiza si los resultados de la herramienta son justos en diferentes grupos de pacientes 4 .
“Lo preocupante es que estos dispositivos realmente pueden influir y de hecho influyen en la atención en la cama del paciente. La vida de un paciente puede depender de esas decisiones”.
La escasez de datos deja a los hospitales y a los sistemas de atención de la salud en una posición difícil a la hora de decidir si utilizar o no estas tecnologías. En algunos casos, entran en juego incentivos financieros. En los Estados Unidos, por ejemplo, los programas de seguros de salud ya reembolsan a los hospitales el uso de ciertos dispositivos médicos de IA 5 , lo que los hace económicamente atractivos. Estas instituciones también podrían estar inclinadas a adoptar herramientas de IA que prometan ahorros de costes, incluso si no necesariamente mejoran la atención al paciente.
Según Ouyang, esos incentivos podrían disuadir a las empresas de IA de invertir en ensayos clínicos. “Es de suponer que muchas empresas comerciales están poniendo más esfuerzo en asegurarse de que su herramienta de IA sea reembolsable y tenga un buen resultado financiero, porque ven que eso impulsa la adopción”, afirma.
La situación puede variar según el mercado. En el Reino Unido, por ejemplo, los programas de salud patrocinados por el gobierno a nivel nacional pueden establecer un nivel de evidencia más alto antes de que los centros médicos puedan adquirir un producto determinado. Entonces, las empresas tendrían el incentivo para realizar ensayos clínicos.
Una vez que los hospitales adquieren un producto de IA, no están obligados a realizar más pruebas y pueden usarlo inmediatamente como lo harían con cualquier otro software. Sin embargo, algunas instituciones reconocen que la aprobación regulatoria no garantiza que el dispositivo sea verdaderamente beneficioso, por lo que optan por probarlo ellos mismos. Muchos de estos esfuerzos los realizan y financian actualmente centros médicos académicos.
En 2017, Alexander Vlaar, jefe de medicina intensiva del Centro Médico de la Universidad de Ámsterdam, y Denise Veelo, anestesióloga de la misma institución, iniciaron una iniciativa de este tipo. Su objetivo era probar un algoritmo que pretende predecir la aparición de presión arterial baja durante una cirugía. Esta afección, conocida como hipotensión intraoperatoria, puede provocar complicaciones potencialmente mortales, como lesión miocárdica, ataque cardíaco e insuficiencia renal aguda, e incluso la muerte.
El algoritmo fue desarrollado por Edwards Lifesciences, una empresa de Irvine, California, y utiliza datos de la forma de onda arterial (la línea roja con picos y valles que se ve en los monitores de un departamento de emergencias o una unidad de cuidados intensivos). Puede predecir la hipotensión minutos antes de que se produzca, lo que permite una intervención temprana.
Vlaar, Veelo y sus colegas llevaron a cabo un ensayo clínico aleatorizado para probar la herramienta en 60 pacientes sometidos a cirugía no cardíaca. Los individuos que tuvieron el dispositivo en funcionamiento durante la cirugía experimentaron un tiempo medio de hipotensión de 8 minutos en comparación con casi 33 minutos en el grupo de control 6 .
El equipo realizó un segundo ensayo clínico que confirmó que el dispositivo, combinado con un protocolo de tratamiento claro, también funciona en situaciones más complejas, como durante la cirugía cardíaca y en la unidad de cuidados intensivos. Los resultados aún no se han publicado.
El éxito no se debió simplemente a la precisión del algoritmo. La forma en que los anestesiólogos responden a una alerta es importante. Por eso, los investigadores se aseguraron de preparar a los médicos cuidadosamente. El mismo algoritmo no logró demostrar un beneficio en un ensayo clínico realizado por otra institución 7 . En ese caso, no hubo cumplimiento por parte de los médicos de cabecera para hacer algo cuando sonó la alarma.
Los humanos en el circuito
Un algoritmo perfectamente bueno podría fallar debido a la variabilidad del comportamiento humano, tanto de los profesionales de la salud como de las personas que reciben tratamientos.
Cuando Mayo Clinic en Rochester, Minnesota, probó un algoritmo desarrollado internamente para detectar una condición cardíaca llamada fracción de eyección baja, la investigadora de interacción humano-computadora del centro, Barbara Barry, estuvo a cargo de cerrar la brecha entre los desarrolladores y los proveedores de atención primaria que utilizan la tecnología.
La herramienta fue diseñada para señalar a las personas que podrían tener un alto riesgo de padecer la enfermedad, que puede ser un signo de insuficiencia cardíaca y es tratable, pero que a menudo no se diagnostica. Un ensayo clínico demostró que el algoritmo sí aumentó el diagnóstico 8 . Sin embargo, en conversaciones con los proveedores, Barry descubrió que querían más orientación sobre cómo hablar con los pacientes sobre los hallazgos del algoritmo. Esto llevó a la recomendación de que la aplicación, si se implementa ampliamente, debería incluir viñetas con información importante para comunicar al paciente de modo que el proveedor de atención médica no tenga que considerar cómo tener esa conversación cada vez.
Otro problema que puede limitar el éxito de ciertos dispositivos médicos de inteligencia artificial es la "fatiga de alerta": cuando los médicos están expuestos a una gran cantidad de advertencias generadas por la inteligencia artificial, pueden volverse insensibles a ellas. Esto debería tenerse en cuenta durante el proceso de prueba, dice David Rushlow, director del departamento de medicina familiar de Mayo Clinic.
“Ya nos avisan muchas veces al día sobre enfermedades que pueden afectar a nuestros pacientes, y esa es una tarea muy difícil para un médico de primera línea que está muy ocupado. Creo que muchas de estas herramientas podrán ayudarnos, pero si no se introducen correctamente, lo normal será seguir haciendo las cosas de la misma manera, porque no tenemos la capacidad para aprender algo nuevo”, señala Rushlow.
Considerando el sesgo
Otro desafío a la hora de probar la IA médica es que los resultados de los ensayos clínicos son difíciles de generalizar a diferentes grupos de población. Es un hecho conocido que los algoritmos de IA son muy frágiles cuando se utilizan con datos que son diferentes de los datos con los que se entrenaron. Los resultados se pueden extrapolar de forma segura solo si los participantes del ensayo clínico son representativos de la población en la que se utilizará la herramienta, señala.
Además, los algoritmos entrenados con datos recopilados en hospitales con muchos recursos podrían no funcionar bien cuando se aplican en entornos con menos recursos. Por ejemplo, un algoritmo desarrollado por Google Health en Palo Alto, California, para detectar la retinopatía diabética, una afección que causa pérdida de visión en personas con diabetes, era en teoría muy preciso 9 . Pero su rendimiento disminuyó significativamente cuando la herramienta se utilizó en clínicas de Tailandia. Un estudio observacional reveló que las condiciones de iluminación en las clínicas tailandesas dieron lugar a imágenes oculares de baja calidad que redujeron la eficacia de la herramienta 9 .
Consentimiento del paciente
En la actualidad, la mayoría de las herramientas de inteligencia artificial médica ayudan a los profesionales de la salud a realizar pruebas, diagnósticos o planificar tratamientos. Es posible que los pacientes no sepan que dichas tecnologías se están probando o se utilizan de forma rutinaria en su atención médica, y actualmente no existe ningún requisito en ningún país para que los proveedores lo revelen.
Hay debates constantes sobre qué decirles a los pacientes acerca de las tecnologías de IA. Y algunas de estas aplicaciones están poniendo la cuestión del consentimiento del paciente en el primer plano de las preocupaciones de los desarrolladores. Ese es el caso del dispositivo de IA que Singh y sus colegas están desarrollando para agilizar la atención a los niños en el departamento de urgencias de SickKids.
Lo que es marcadamente diferente acerca de esta tecnología es que elimina al médico del circuito, convirtiendo al niño (o a su padre o cuidador) en el usuario final.
“Lo que hará esta herramienta es tomar los datos de triaje de emergencia, hacer una predicción y que un padre apruebe directamente, sí o no, si el niño puede hacerse la prueba”, dice Singh. Esto alivia la carga del médico y acelera todo el proceso. Pero también crea muchos problemas sin precedentes. Si algo sale mal con el paciente, ¿quién es responsable? Y si se hacen pruebas innecesarias, ¿quién las pagará? “Necesitamos, de manera automatizada, obtener el consentimiento informado de la familia”, dice Singh. Y el consentimiento tiene que ser confiable y auténtico. “No puede ser como cuando te registras en las redes sociales y hay 20 páginas de letra pequeña y simplemente pulsas aceptar”, dice Singh.
Mientras Singh y sus colegas esperan la financiación para iniciar un ensayo con pacientes, el equipo está colaborando con expertos legales e involucrando a la autoridad reguladora del país, Health Canada, para revisar su propuesta y considerar las implicaciones regulatorias. En este momento, dice Anna Goldenberg, científica informática y copresidenta de la iniciativa AI in Medicine for Kids en SickKids, "la situación es un poco como el Salvaje Oeste en términos de regulación".
Las instituciones se están uniendo para debatir cómo abordar algunos de estos desafíos. Algunos especialistas dicen que el mejor enfoque sería que cada institución de atención médica realice sus propias pruebas antes de adoptar herramientas de inteligencia artificial médica. Otros señalan que esto no es factible debido a los costos involucrados, por lo que los investigadores y las organizaciones de atención médica están explorando otras opciones.
Fuente: Nature
Referencias
1. Singh, D. et al. JAMA Netw. Open 5, e222599 (2022). Artículo
2. Martindale, A. P. L. et al. Nature Commun. 15, 1619 (2024). Artículo
3. Cruz Rivera, S. et al. Nature Med. 26, 1351–1363 (2020). Artículo
4. Lee, J. T. et al. JAMA Intern. Med. 183, 1399–1401 (2023). Artículo
5. Parikh, R. B. & Helmchen, L. A. npj Digit. Med. 5, 63 (2022). Artículo
6. Wijnberge, M. et al. JAMA 323, 1052–1060 (2020). Artículo
7. Maheshwari, K. et al. Anesthesiology 133, 1214–1222 (2020). Artículo
8. Yao, X. et al. Nature Med. 27, 815–819 (2021). Artículo
9. Beede, E. et al. Proc. 2020 CHI Conf. Hum. Factors Comput. Syst. paper 589 (2020).
COMENTARIOS