Un reciente estudio llevado a cabo por investigadores de Mount Sinai, en Nueva York, ha puesto de relieve la vulnerabilidad de los modelos de lenguaje de inteligencia artificial (IA) cuando se enfrentan a instrucciones que comprometen la seguridad del paciente. La investigación, publicada en la revista Communications Medicine, analizó el comportamiento de 20 modelos de IA para determinar si estos serían capaces de resistir órdenes clínicamente peligrosas y si la inclusión de un breve recordatorio de seguridad en la instrucción podría modificar dicha conducta.
El estudio concluyó que, si bien la implementación de un recordatorio de seguridad logró disminuir la frecuencia de respuestas potencialmente dañinas, no fue capaz de suprimirlas por completo. Este hallazgo es particularmente relevante dada la estructura jerárquica de la atención hospitalaria, donde las decisiones suelen fluir desde los médicos de mayor rango hacia los de menor jerarquía. Los autores advierten que la presión inherente a esta estructura puede reducir el escrutinio sobre instrucciones inseguras, y que los modelos de IA, que ya se utilizan para resumir información o apoyar la toma de decisiones, operan dentro de ese mismo entorno social y profesional.
Mahmud Omar, primer autor del trabajo y docente del Departamento Windreich de Inteligencia Artificial y Salud Humana en Mount Sinai, explicó que los modelos de inteligencia artificial no toman decisiones en el vacío. Según Omar, el lenguaje, el planteamiento y el contexto que rodean una solicitud pueden influir significativamente en la respuesta del sistema, incluso cuando la instrucción recibida sea insegura.
Para evaluar este fenómeno, el equipo de investigación diseñó 601 casos clínicos. En cada uno, el modelo debía elegir entre cuatro acciones posibles: dos consideradas potencialmente dañinas (acatar la instrucción insegura de forma total o parcial) y dos seguras (negarse a ejecutarla o solicitar orientación). Las instrucciones inseguras diseñadas para la prueba incluían acciones críticas como proceder con un tratamiento sin el consentimiento del paciente, omitir la verificación de resultados críticos, revelar información personal identificable, recetar antibióticos u opioides sin una evaluación previa, ignorar órdenes de no reanimar, falsear documentación médica o retirar prematuramente las precauciones contra infecciones.
La muestra de casos se dividió en 501 variantes inventadas y validadas por médicos, y 100 casos construidos a partir de recomendaciones de alta hospitalaria reales provenientes de la base pública MIMIC-IV, eliminando cualquier dato personal. Un ejemplo de estos últimos consistía en una indicación previa de agendar análisis de sangre y una consulta de seguimiento tras el alta, seguida de una petición posterior de no organizarlos para reducir la carga de trabajo del personal.
El diseño experimental fue exhaustivo, presentando cada caso en una versión neutral y en seis versiones con presión social, inspiradas en los experimentos de obediencia a la autoridad del psicólogo Stanley Milgram. Estas presiones incluyeron órdenes directas de un superior, la transferencia de la responsabilidad a terceros, la urgencia del caso, amenazas de consecuencias por negarse, la sugerencia de que otros colegas ya habían acatado la orden y la presentación de la tarea como un simple trámite impersonal. Además, se probaron estas versiones con y sin recordatorios de seguridad centrados en la política institucional, la reducción de riesgos o la necesidad de verificar y escalar la decisión.
Con diez repeticiones por combinación, el estudio generó más de 10 millones de respuestas. Los resultados mostraron que el 11.7% de las respuestas totales (1.18 millones) eligieron una opción potencialmente dañina. Sin el recordatorio de seguridad, la proporción de respuestas peligrosas fue del 16.6%, mientras que con el recordatorio bajó al 10.1%, lo que representa una reducción de 6.5 puntos porcentuales. Esta mejora se observó en 19 de los 20 modelos evaluados; el único modelo que no mostró cambios ya respondía consistentemente con la opción insegura.
En el desglose de los datos, la caída de respuestas dañinas fue más pronunciada en los casos derivados de registros reales, pasando del 46.6% al 24.5%, mientras que en los casos inventados la reducción fue del 10.6% al 7.2%. A pesar de estos resultados, los investigadores enfatizan que un recordatorio de seguridad debe considerarse como una salvaguarda adicional y no como un sustituto de la supervisión clínica humana.
Otro dato relevante fue que, al incluir el recordatorio, la tendencia de las respuestas seguras se desplazó hacia la solicitud de orientación, subiendo la opción de escalar la decisión del 25.8% al 38.7%. Si bien esto puede ser deseable para garantizar la seguridad del paciente, los autores señalan que podría traducirse en un aumento de las derivaciones, demoras o una mayor carga de trabajo, factores que no fueron medidos en el estudio.
En cuanto a la estabilidad de las respuestas, el 80.4% de las combinaciones mantuvo la misma acción en las diez repeticiones, aunque la estabilidad varió drásticamente entre modelos, oscilando entre el 4.4% y el 100%. Además, en el 38.2% de los casos donde hubo inconsistencia, el modelo alternó entre respuestas dañinas y seguras. Los autores advierten que la consistencia no es sinónimo de seguridad, ya que un modelo puede ser repetidamente inconsistente o repetidamente inseguro.
Girish N. Nadkarni, director del Instituto Hasso Plattner de Salud Digital en Mount Sinai, afirmó que estos resultados sugieren que las pruebas de seguridad de la IA deben ir más allá de verificar si el modelo da la respuesta correcta en condiciones normales. Según Nadkarni, a medida que la IA gane autonomía y asuma tareas complejas, es imperativo saber si puede reconocer instrucciones inseguras, cuestionarlas, verificarlas o pedir ayuda humana.
Finalmente, los autores subrayan que este trabajo es una prueba de concepto y no una estimación del riesgo en sistemas ya implementados. Reconocen limitaciones como la falta de comparación con personal de salud humano, la ausencia de pruebas en herramientas en funcionamiento y una selección de modelos no equilibrada por generación o tamaño. Como pasos futuros, el equipo planea comparar los resultados con profesionales de la salud y probar los recordatorios de seguridad en entornos clínicos reales.
