Este artículo pertenece al Informe para el Congreso Nacional del Dolor y Fisioterapia, realizado por esta misma autora.

¿Quién es responsable de los posibles fallos/alucinaciones?

Partimos de la idea de que la IA en medicina debe alinearse con el objetivo de mejorar la calidad de vida y la asistencia a los pacientes. Se deberá utilizar la IA (en su caso, generativa) como una herramienta de apoyo siempre adaptando las recomendaciones a las necesidades individuales de cada paciente manteniendo los registros detallados del uso de IA generativa en la atención al paciente, incluyendo las decisiones tomadas y las intervenciones del fisioterapeuta a la vez que se establecen pautas claras sobre cuándo y cómo utilizar la IA (en su caso, generativa), y en qué situaciones es esencial la intervención directa del fisioterapeuta.

Todos los involucrados en la aplicación de IA en medicina deben conocer sus responsabilidades específicas, especialmente en caso de eventos adversos. Se debe cooperar para identificar y evitar posibles riesgos e impactos negativos, como problemas de seguridad, protección de datos, desinformación, amenazas a la autonomía del paciente y confusión sobre responsabilidades.

No existen regulaciones explícitas sobre la aplicación de IA en medicina, tanto en la UE como en España. La Ley de igualdad de trato regula la implementación de IA en administraciones públicas y empresas privadas. Ahora bien hay un antecedente claro: el Tribunal Supremo que establece que la responsabilidad puede recaer tanto en el fabricante como en la Administración Sanitaria. Todos los involucrados en la aplicación de IA en medicina deberán conocer sus responsabilidades específicas, especialmente en caso de eventos adversos.

El reglamento de IA de la UE no establece un régimen claro de responsabilidad civil que distribuya las cargas entre médicos, proveedores y desarrolladores de sistemas de IA en salud. Esto se debe a las grandes diferencias en las leyes de responsabilidad civil entre los Estados miembros de la UE: El Derecho Civil está en gran medida fuera de las competencias de la Unión Europea.  Por lo tanto, para determinar la responsabilidad en casos de daños causados por IA en salud, se deberá recurrir principalmente a la legislación nacional de cada país, con la excepción de lo establecido en la Directiva de Productos Defectuosos de la UE.

Los sanitarios deberán asegurarse de que cualquier sistema de IA generativa utilizado en fisioterapia y tratamiento del dolor haya sido validado clínicamente y cumpla con los estándares regulatorios pertinentes, obteniendo el consentimiento explícito de los pacientes para el uso de IA generativa en su tratamiento, después de explicarles claramente cómo se utilizará.

Ahora bien, para hacer compatibles la normativa europea de productos saniatarios (marca CE)  con el reglamento de IA se insta a:

Alineación de criterios, unificando definiciones y clasificaciones de riesgo entre el Reglamento de IA y la normativa de productos sanitarios.

Evaluación integrada, creando un proceso único que evalúe requisitos de ambas normativas, incluyendo aspectos de IA en la certificación CE.

Gestión de riesgos ampliada, integrando requisitos de IA en los sistemas existentes para productos sanitarios.

Documentación unificada, desarrollando un formato que cumpla con ambas normativas, detallando sistemas de IA.

Transparencia y seguimiento, estableciendo requisitos comunes de transparencia y trazabilidad.

Vigilancia mejorada, incorporarando monitoreo de IA en sistemas de vigilancia post-comercialización.

Certificación específica, considerando un marcado CE adicional para productos sanitarios con IA de alto riesgo.

Base de datos común ampliando EUDAMED para incluir información sobre IA en productos sanitarios.

Desarrollo de guías de implementación y programas de formación que cubran ambos aspectos.

En definitiva, para abordar la cuestión de la responsabilidad en IA, se necesitan de mecanismos directos y abiertos por la sociedad civil: grupos vulnerables y expuestos a las posibles hipotéticas formas de discriminación implícitas en el funcionamiento de los sistemas de IA. Es decir, acceso directo a la transparencia para favorecer una deliberación colectiva (permeabilidad) durante todo el ciclo de vida de IA.  No se trata de dar publicidad al cumplimiento normativo en sus fases, sino únicamente de aquellos aspectos que resulten determinantes para comprender.

Ejemplos:

Las aplicaciones que utilizan visión por computadora para analizar movimientos y postura podrían proporcionar explicaciones claras sobre cómo funcionan sus algoritmos. Por ejemplo, la app RehBody, que evalúa la ejecución de ejercicios como sentadillas, podría ofrecer información detallada sobre los criterios que utiliza para determinar si un movimiento es correcto o no.

Las plataformas de fisioterapia digital podrían permitir a los pacientes acceder a los datos que el sistema recopila sobre su progreso y rendimiento. Esto incluiría información sobre rangos de movimiento, adherencia al tratamiento y predicciones de recuperación.

Por otro lado, se deberá involucrar a los grupos de pacientes, especialmente aquellos con condiciones crónicas o discapacidades, en el proceso de diseño y mejora de las aplicaciones de IA para fisioterapia. Esto aseguraría que las necesidades de los grupos vulnerables se tengan en cuenta.

Los sistemas de inteligencia artificial necesitan datos para su entrenamiento y que los datos existen (sólo que no tienen por qué estar en manos de los desarrolladores).  Los artículos 10.5 y 59 del Reglamento de Inteligencia Artificial de la UE se refieren principalmente a la flexibilización del uso de datos personales para el desarrollo y prueba de sistemas de IA innovadores, bajo ciertas condiciones.  Se piensa sobre todo en los investigadores.

En cuanto a la responsabilidad, aunque la tendencia es considerar que la responsabilidad final recae en los profesionales de la salud, no en los sistemas de IA, esta cuestión aún no está completamente resuelta. La complejidad radica en que múltiples actores están involucrados en el desarrollo e implementación de estos sistemas:

Los ingenieros y desarrolladores que crean los algoritmos.

Los radiólogos y otros profesionales que participan en el entrenamiento y validación de los sistemas.

Las empresas que comercializan estas herramientas.

Los responsables de departamento y administradores que deciden implementar estos sistemas en la práctica clínica.

Esta situación plantea desafíos éticos y legales que aún están en discusión. Sin embargo, el enfoque actual de utilizar la IA como una herramienta de apoyo, manteniendo al profesional de la salud en el centro de la toma de decisiones, ayuda a mitigar algunos de estos riesgos y a reducir los efectos secundarios no deseados.

La Ley de IA de la UE, que reconoce los riesgos de la IA, clasifica las aplicaciones por nivel de riesgo, y muchas herramientas de IA relacionadas con la radiología/fisioterapia se consideran de alto riesgo. Los precedentes jurídicos en materia de vehículos autónomos ofrecen algunas orientaciones sobre la asignación de responsabilidades. Sin embargo, persisten los problemas legales existentes en radiología/fisioterapia, como los errores de diagnóstico. El potencial de la IA para mejorar el diagnóstico plantea interrogantes sobre las implicaciones jurídicas de no utilizar las herramientas de IA disponibles.

Por ejemplo, una herramienta de IA que mejore la detección de fracturas pediátricas podría reducir los riesgos legales. Esta situación es paralela a la de innovaciones como los intermitentes de los coches, en los que ignorar las mejoras de seguridad disponibles podría acarrear problemas legales.

En radiología, los algoritmos de IA pueden mejorar la precisión del diagnóstico en pacientes con esclerosis múltiple en un 44%, al tiempo que reducen el tiempo de lectura.

El debate subraya la necesidad de seguir investigando y regulando para aclarar el papel de la IA en radiología/fisioterapia (Martín-Norguerol et. al, 2024).

En la actualidad, se está estudiando por parte del Parlamento Europeo la propuesta de Directiva de Responsabilidad extracontractual de la IA, el cual analiza un marco de responsabilidad mixta que equilibre la responsabilidad basada en culpa y la responsabilidad estricta. Se viene a recomendar una regulación de la responsabilidad del software (SLI), para evitar la fragmentación del mercado y mejorar la claridad en toda la UE (preferiblemente Reglamento).