El RIA en salud: los ingredientes de la receta europea

Los elementos centrales del Reglamento de Inteligencia Artificial pueden ser tres.

El primer tipo se centra en la gestión y control de riesgos, el segundo, en el uso de datos y documentación, y el tercero, en información y transparencia.

Primer tipo: gestión y control de riesgos

Las reglas son bastante lógicas. Como usar IA puede afectar los derechos de las personas hay que:

Hacer planes para reducir riesgos.

Asegurar que el uso sea seguro.

Mantener siempre el control humano.

Estas reglas también coinciden con las leyes de protección de datos y buscan que la privacidad esté incluida desde el principio en cómo se diseñan estos sistemas de IA.

Segundo tipo: uso de datos y documentación

Cuando se habla de usar datos para la inteligencia artificial en salud, se refiere a tres tipos principales de datos:

Datos de entrenamiento. Son los que se usan para enseñar al sistema de IA.

Datos de validación. Sirven para comprobar si el sistema está aprendiendo bien.

Datos de prueba. Se usan para ver si el sistema funciona correctamente una vez terminado.

La Ley dice que estos datos deben ser de buena calidad y representar bien a todas las personas que usarán el sistema. Esto es importante para que la IA funcione bien para todos y no discrimine a nadie. Además, se pide que haya buenas prácticas para manejar y controlar estos datos. Esto se llama “gobernanza y gestión de datos”. Básicamente se trata de contar con reglas claras sobre cómo se guardan, usan y protegen los datos de las personas.

Lo chocante es que se está suavizando la prohibición estricta del procesamiento de categorías especiales de datos -como los datos de salud- establecida en el artículo 9 del Reglamento General de Protección de Datos (RGPD, en adelante), como podemos encontrar en el artículo 10.5.  Esta flexibilización viene acompañada de la obligación de implementar medidas de seguridad como la pseudonimización o el cifrado de los datos. Esta adaptación se considera necesaria para permitir el desarrollo de nuevos sistemas de IA en salud, que requieren acceso a grandes volúmenes de datos sanitarios para su entrenamiento y mejora. Este enfoque está en consonancia con lo que se espera que establezca el Reglamento del Espacio Europeo de Datos Sanitarios (EEHS, en adelante), buscando un equilibrio entre protección de datos e innovación.

Tercer tipo: información y transparencia

Este tercer tipo de obligaciones mantiene el espíritu del RGPD al enfocarse en la transparencia y la información. Las principales obligaciones son:

Conservar documentación: se debe guardar información estandarizada sobre las otras obligaciones cumplidas.

Registro de eventos: hay que mantener un registro de lo que ocurre durante el funcionamiento del sistema, especialmente si hay situaciones de riesgo.

Manual de instrucciones: se debe proporcionar un manual detallado que incluya: Finalidad prevista del sistema.

Nivel de precisión: los proveedores deben proporcionar información clara sobre el nivel de precisión del sistema y esto implica especificar la exactitud y fiabilidad de los resultados del sistema, indicar los márgenes de error esperados y detallar las condiciones que pueden afectar la precisión.

Riesgos en usos previstos e indebidos: se requiere un sistema de gestión de riesgos que incluya identificación y análisis de riesgos conocidos y previsibles, evaluación de riesgos en uso normal y en casos de uso indebido razonable y adopción de medidas específicas para gestionar los riesgos identificados.

Cambios en el sistema: los proveedores deben documentar y comunicar cualquier cambio significativo en el sistema, actualizar la documentación técnica cuando se realicen modificaciones e informar a los usuarios sobre actualizaciones que puedan afectar el rendimiento o uso del sistema.

Medidas de supervisión humana. El Reglamento exige que los sistemas de IA de alto riesgo permitan una supervisión humana efectiva, incluyendo el diseño que facilite la comprensión de las capacidades y limitaciones del sistema, las herramientas para que los supervisores detecten anomalías y disfunciones, la capacidad de intervención humana, incluyendo la posibilidad de anular decisiones del sistema y la implementación de un «botón de parada» o procedimiento similar para detener el sistema en caso necesario.

Vida útil del sistema: los proveedores deben informar sobre la duración esperada del sistema en condiciones normales de uso, el período durante el cual se garantiza el soporte técnico y las actualizaciones y los factores que pueden afectar la vida útil del sistema.

Medidas de mantenimiento y cuidado, incluyendo actualizaciones: esto incluye proporcionar instrucciones detalladas para el mantenimiento regular, especificar los requisitos de actualización del software y hardware, establecer un sistema de seguimiento postcomercialización para recopilar datos sobre el rendimiento y los riesgos potenciales e implementar medidas correctivas cuando se identifiquen problemas o riesgos nuevos.

Estas obligaciones buscan asegurar que haya información clara y accesible sobre el sistema de IA, su funcionamiento y sus posibles riesgos.

En cualquier caso, no sobra recordar que el regulador europeo señala una clasificación de riesgos en:

Riesgo inaceptable. Se encuentran actividades relacionadas con la calificación social (por ejemplo, el crédito social chino), la vigilancia masiva, reconocimiento facial o la manipulación de comportamiento causando daños. Estas actividades están totalmente prohibidas.

Alto riesgo. Se encontrarían actividades de los sistemas de IA relacionados con el acceso a empleo, educación, servicios públicos, componentes de seguridad de vehículos, aplicación de la ley, etc. Se deberá cumplir una evaluación de conformidad. Son de especial relevancia las propuestas de Cláusulas contractuales tipo para la contratación de IA por parte de Organismos públicos (versión septiembre 2023)1 para riesgo alto y sin riesgo.

Riesgo limitado. Se encuentra la suplantación de personalidad, los chatbots, reconocimiento de emociones, deep fakes, o la categorización biométrica. Todos ellos tendrán la obligación de transparencia. Por ejemplo, en el contexto de la Ley de IA de la UE, los chatbots en materia de salud se consideran generalmente de riesgo limitado. Un ejemplo concreto sería un chatbot implementado en un hospital para proporcionar información general de salud a los pacientes. Este tipo de sistema de IA podría utilizarse para responder preguntas frecuentes sobre síntomas comunes, procedimientos hospitalarios o información sobre medicamentos. Las consecuencias y obligaciones para el hospital que despliega este tipo de chatbot son significativas. En primer lugar, existe una clara obligación de transparencia: el hospital debe informar de manera inequívoca a los usuarios que están interactuando con un sistema de IA y no con un ser humano. Además, toda la información proporcionada por el chatbot debe ser claramente identificable como contenido generado por IA. Aunque se clasifica como de riesgo limitado, es fundamental que el hospital realice una evaluación exhaustiva de riesgos para garantizar que el chatbot no cause daños potenciales a los pacientes. La supervisión humana constante por parte de profesionales de la salud es crucial para prevenir y corregir posibles errores que podrían tener consecuencias graves. En cuanto a la responsabilidad del médico que utiliza este chatbot en el entorno hospitalario, es importante destacar varios aspectos. El médico tiene la obligación de verificar la precisión de la información proporcionada por el chatbot antes de utilizarla para tomar decisiones clínicas. Además, es fundamental que el chatbot se utilice como una herramienta complementaria y no como un sustituto del juicio clínico del profesional médico*.

Riesgo mínimo. Nos referimos al resto de usos donde no se establecen obligaciones concretas. Se incluyen las aplicaciones móviles para monitorizar constantes vitales durante la actividad física, los sensores utilizados en máquinas de soporte vital que no se emplean directamente en la asistencia médica, las herramientas digitales no utilizadas en la asistencia médica directa y los dispositivos sanitarios que no requieren una evaluación de conformidad por parte de terceros. Es importante señalar que esta categorización ha generado debate debido a la falta de mecanismos integrales de rendición de cuentas y supervisión para estos dispositivos, lo que podría llevar a la proliferación de sistemas potencialmente ineficaces o perjudiciales. Y es que el Reglamento europeo de Productos Sanitarios (MDR) no resuelve completamente este problema. Aunque los dispositivos médicos con IA generalmente se clasifican como de alto riesgo y están sujetos a regulaciones más estrictas, algunos sistemas de IA en salud pueden caer en categorías de menor riesgo y no estar sujetos a los mismos niveles de escrutinio.

Bibliografía

Vid. https://public-buyers-community.ec.europa.eu/sites/default/files/2023-10/AI_Procurement_Clauses_template_High_Risk%20ES.pdf (últ. Consulta 11 de diciembre de 2024).