Los sistemas de IA se utilizan cada vez más en situaciones de atención sanitaria críticas para la seguridad. Sin secuestro, estos modelos a veces alucinan información incorrecta, hacen predicciones sesgadas o fallan por razones inesperadas, lo que podría tener graves consecuencias para los pacientes y los médicos.
en un artículo de comentario publicado hoy en Ciencia Computacional de la Naturalezael profesor asociado del MIT Marzyeh Ghassemi y la profesora asociada de la Universidad de Boston Elaine Nsoesie sostienen que, para mitigar estos daños potenciales, los sistemas de IA deberían ir acompañados de etiquetas de uso responsable, similares a las etiquetas exigidas por la Compañía de Alimentos y Medicamentos de EE. UU. que se colocan en los medicamentos recetados.
Noticiario del MIT habló con Ghassemi sobre la carencia de tales etiquetas, la información que deberían transmitir y cómo se podrían implementar los procedimientos de etiquetado.
P: ¿Por qué necesitamos etiquetas de uso responsable para los sistemas de IA en entornos de atención médica?
A: En el ámbito de la lozanía, tenemos una situación interesante en la que los médicos a menudo dependen de tecnología o tratamientos que no se comprenden completamente. A veces esta error de comprensión es fundamental (el mecanismo detrás del paracetamol, por ejemplo), pero otras veces es sólo un coto de especialización. No esperamos que los médicos sepan cómo reparar una máquina de resonancia magnética, por ejemplo. En cambio, contamos con sistemas de certificación a través de la FDA u otras agencias federales, que certifican el uso de un dispositivo médico o medicamento en un entorno específico.
Es importante destacar que los dispositivos médicos igualmente tienen contratos de servicio: un técnico del fabricante reparará su máquina de resonancia magnética si está mal calibrada. Para los medicamentos aprobados, existen sistemas de notificación y vigilancia poscomercialización para poder encarar los enseres o eventos adversos, por ejemplo, si muchas personas que toman un medicamento parecen estar desarrollando una afección o aversión.
Los modelos y algoritmos, incorporen o no IA, eluden muchos de estos procesos de aprobación y seguimiento a generoso plazo, y eso es poco de lo que debemos tener cuidado. Muchos estudios anteriores han demostrado que los modelos predictivos necesitan una evaluación y un seguimiento más cuidadosos. Específicamente con la IA generativa más flamante, citamos trabajos que han demostrado que no se garantiza que la gestación sea apropiada, sólida o imparcial. Adecuado a que no tenemos el mismo nivel de vigilancia sobre las predicciones o la gestación de modelos, sería aún más difícil detectar las respuestas problemáticas de un maniquí. Los modelos generativos que utilizan los hospitales actualmente podrían estar sesgados. Tener etiquetas de uso es una forma de asegurar que los modelos no automaticen sesgos aprendidos de profesionales humanos o puntuaciones de apoyo a decisiones clínicas mal calibradas del pasado.
P: Su artículo describe varios componentes de una formalidad de uso responsable para la IA, siguiendo el enfoque de la FDA para crear etiquetas de prescripción, incluido el uso suficiente, los ingredientes, los posibles enseres secundarios, etc. ¿Qué información básica deben transmitir estas etiquetas?
A: Las cosas que una formalidad debe hacer obvias son el tiempo, el punto y la forma en que se pretende utilizar el maniquí. Por ejemplo, el becario debe conocer que los modelos se entrenaron en un momento específico con datos de un momento específico. Por ejemplo, ¿incluye datos que incluyeron o no la pandemia de Covid-19? Hubo prácticas de lozanía muy diferentes durante Covid que podrían afectar los datos. Por eso abogamos por que se divulguen los “ingredientes” y los “estudios completos” del maniquí.
Por cierto, sabemos por investigaciones anteriores que los modelos entrenados en una ubicación tienden a tener un peor rendimiento cuando se trasladan a otra ubicación. Asimilar de dónde proceden los datos y cómo se optimizó un maniquí adentro de esa población puede ayudar a asegurar que los usuarios estén al tanto de los «posibles enseres secundarios», las «advertencias y precauciones» y las «reacciones adversas».
Con un maniquí entrenado para predecir un resultado, conocer el momento y el punto del entrenamiento podría ayudarle a tomar decisiones inteligentes sobre la implementación. Pero muchos modelos generativos son increíblemente flexibles y pueden estilarse para muchas tareas. Aquí, el tiempo y el punto pueden no ser tan informativos, y entran en conjunto instrucciones más explícitas sobre las “condiciones de etiquetado” y el “uso suficiente” frente al “uso no suficiente”. Si un desarrollador ha evaluado un maniquí generativo para ojear las notas clínicas de un paciente y gestar posibles códigos de facturación, puede revelar que tiene un sesgo en dirección a la sobrefacturación por condiciones específicas o por no rebuscar otras. Un becario no querría utilizar este mismo maniquí generativo para osar quién obtiene una derivación a un entendido, aunque pudiera hacerlo. Esta flexibilidad es la razón por la que abogamos por detalles adicionales sobre la modo en que se deben utilizar los modelos.
En normal, recomendamos que entrene el mejor maniquí que pueda, utilizando las herramientas disponibles. Pero incluso entonces, debería favor mucha divulgación. Ningún maniquí va a ser valentísimo. Como sociedad, ahora entendemos que ninguna píldora es perfecta: siempre existe algún aventura. Deberíamos tener la misma comprensión de los modelos de IA. Cualquier maniquí, con o sin IA, es condicionado. Puede que le brinde pronósticos realistas y proporcionadamente capacitados sobre futuros potenciales, pero tómelo con el golondrino de sal que sea apropiado.
P: Si se implementaran etiquetas de IA, ¿quién haría el etiquetado y cómo se regularían y harían cumplir las etiquetas?
A: Si no tiene la intención de que su maniquí se utilice en la ejercicio, entonces las divulgaciones que haría para una publicación de investigación de suscripción calidad son suficientes. Pero una vez que desee implementar su maniquí en un entorno humano, los desarrolladores e implementadores deben realizar un etiquetado original, basado en algunos de los marcos establecidos. Debería favor una acometividad de estas afirmaciones antaño del despliegue; En un entorno crítico para la seguridad como el de la atención médica, muchas agencias del Área de Vitalidad y Servicios Humanos podrían participar.
Para los desarrolladores de modelos, creo que conocer que será necesario etiquetar las limitaciones de un sistema induce a una consideración más cuidadosa del proceso en sí. Si sé que en algún momento tendré que revelar la población en la que se entrenó un maniquí, no querría revelar que se entrenó nada más con el diálogo de usuarios masculinos de chatbot, por ejemplo.
Pensar en cosas como sobre quién se recopilan los datos, durante qué período de tiempo, cuál fue el tamaño de la muestra y cómo decidió qué datos incluir o excluir puede rasgar su mente a posibles problemas durante la implementación.