Oportuno a la anfibología inherente en imágenes médicas como radiografías, los radiólogos a menudo usan palabras como «pueden» o «probable» al describir la presencia de una cierta patología, como la pulmonía.
¿Pero las palabras usan los radiólogos para expresar su nivel de confianza reflejan con precisión con qué frecuencia ocurre una patología particular en los pacientes? Un nuevo estudio muestra que cuando los radiólogos expresan confianza sobre una cierta patología utilizando una frase como «muy probable», tienden a ser demasiado confiables y viceversas cuando expresan menos confianza usando una palabra como «posiblemente».
Utilizando datos clínicos, un equipo multidisciplinario de investigadores del MIT en colaboración con investigadores y médicos de hospitales afiliados a la Autorización de Medicina de Harvard creó un entorno para cuantificar cuán confiables son los radiólogos cuando expresan certeza utilizando términos de habla natural.
Utilizaron este enfoque para proporcionar sugerencias claras que ayudan a los radiólogos a designar frases de certeza que mejorarían la confiabilidad de sus informes clínicos. Además mostraron que la misma técnica puede cronometrar y mejorar efectivamente la calibración de modelos de habla grandes al alinear mejor las palabras que los modelos utilizan para expresar confianza con la precisión de sus predicciones.
Al ayudar a los radiólogos a describir con veterano precisión la probabilidad de ciertas patologías en las imágenes médicas, este nuevo entorno podría mejorar la confiabilidad de la información clínica crítica.
«Las palabras que usan los radiólogos son importantes. Afectan cómo intervienen los médicos, en términos de su toma de decisiones para el paciente. Si estos profesionales pueden ser más confiables en sus informes, los pacientes serán los beneficiarios finales», dice Peiqi Wang, un estudiante diplomado del MIT y autor principal de un autor de un autor principal de Documento sobre esta investigación.
Se le une al documento la autora senior Polina Golland, profesora de Sunlin y Priscilla Chou de Ingeniería Eléctrica e Informática (EECS), una investigadora principal en el Laboratorio de Informática e Inteligencia Sintético del MIT (CSAIL), y el líder del Categoría de Visión Médica; así como Barbara D. Lam, una becaria clínica en el Beth Israel Deaconess Medical Center; Yingcheng Liu, en el estudiante diplomado del MIT; Ameneh Asgari-Targhi, investigador del universal de Massachusetts Brigham (MGB); Rameswar Panda, miembro del personal de investigación en el Laboratorio MIT-IBM Watson AI; William M. Wells, profesor de radiología en MGB y sabio de investigación en CSAIL; y Tina Kapur, profesora asistente de radiología en MGB. La investigación se presentará en la Conferencia Internacional sobre Representaciones de Educación.
Decodificación de incertidumbre en palabras
Un radiólogo que escribe un mensaje sobre una radiografía de tórax podría sostener que la imagen muestra una pulmonía «posible», que es una infección que infla los sacos de espacio en los pulmones. En ese caso, un médico podría ordenar una tomografía computarizada de seguimiento para confirmar el dictamen.
Sin retención, si el radiólogo escribe que la radiografía muestra una pulmonía «probable», el médico podría comenzar el tratamiento de inmediato, como recetando antibióticos, al tiempo que ordena pruebas adicionales para evaluar la pesadez.
Intentar cronometrar la calibración, o confiabilidad, de términos de habla natural ambiguo como «posiblemente» y «probable» presenta muchos desafíos, dice Wang.
Los métodos de calibración existentes generalmente dependen del puntaje de confianza proporcionado por un maniquí de IA, que representa la probabilidad estimada del maniquí de que su predicción sea correcta.
Por ejemplo, una aplicación meteorológica podría predecir una probabilidad del 83 por ciento de copia mañana. Ese maniquí está acertadamente calibrado si, en todas las instancias en los que predice una probabilidad del 83 por ciento de copia, llueve aproximadamente el 83 por ciento del tiempo.
«Pero los humanos usan el habla natural, y si asignamos estas frases a un solo número, no es una descripción precisa del mundo positivo. Si una persona dice que un evento es» probable «, no necesariamente están pensando en la probabilidad exacta, como el 75 por ciento», dice Wang.
En lado de tratar de asignar frases de certeza a un solo porcentaje, el enfoque de los investigadores las proxenetismo como distribuciones de probabilidad. Una distribución describe el rango de posibles títulos y sus probabilidades: piense en la curva de campana clásica en las estadísticas.
«Esto captura más matices de lo que significa cada palabra», agrega Wang.
Evaluar y mejorar la calibración
Los investigadores aprovecharon el trabajo previo que encuestó a los radiólogos para obtener distribuciones de probabilidad que corresponden a cada frase de certeza diagnóstica, que van desde «muy probablemente» hasta «consistente».
Por ejemplo, donado que más radiólogos creen que la frase «consistente con» significa que una patología está presente en una imagen médica, su distribución de probabilidad sube bruscamente a un pico detención, con la mayoría de los títulos agrupados cerca de del rango del 90 al 100 por ciento.
En contraste, la frase «puede representar» transmite una veterano incertidumbre, lo que lleva a una distribución más amplia en forma de campana centrada en cerca de del 50 por ciento.
Los métodos típicos evalúan la calibración comparando qué tan acertadamente los puntajes de probabilidad predichos de un maniquí se alinean con el número positivo de resultados positivos.
El enfoque de los investigadores sigue el mismo entorno universal, pero lo extiende para dar cuenta del hecho de que las frases de certeza representan distribuciones de probabilidad en lado de probabilidades.
Para mejorar la calibración, los investigadores formularon y resolvieron un problema de optimización que ajusta con qué frecuencia se usan ciertas frases, para alinear mejor la confianza con la sinceridad.
Derivaron un carta de calibración que sugiere términos de certeza que un radiólogo debe usar para hacer que los informes sean más precisos para una patología específica.
«Tal vez, para este conjunto de datos, si cada vez que el radiólogo dijo que la pulmonía estaba» presente «, cambiaron la frase a» probablemente presente «, entonces se volverían mejor calibrados», explica Wang.
Cuando los investigadores utilizaron su entorno para evaluar los informes clínicos, encontraron que los radiólogos generalmente no tenían confianza al diagnosticar afecciones comunes como la atelectasia, pero demasiado confidentes con afecciones más ambiguas como la infección.
Encima, los investigadores evaluaron la confiabilidad de los modelos de habla utilizando su método, proporcionando una representación de confianza más matizada que los métodos clásicos que dependen de los puntajes de confianza.
«Muchas veces, estos modelos usan frases como ‘ciertamente’. Pero conveniente a que tienen tanta confianza en sus respuestas, no alienta a las personas a revisar la corrección de las declaraciones mismas ”, agrega Wang.
En el futuro, los investigadores planean continuar colaborando con los médicos con la esperanza de mejorar los diagnósticos y el tratamiento. Están trabajando para expandir su estudio para incluir datos de tomografías computarizadas abdominales.
Encima, están interesados en estudiar cómo están los radiólogos receptivos a las sugerencias que mejoran la calibración y si pueden ajustar mentalmente su uso de frases de certeza de modo efectiva.
«La expresión de la certeza del dictamen es un aspecto crucial del mensaje de radiología, ya que influye en decisiones de gobierno significativas. Este estudio adopta un enfoque novedoso para analizar y calibrar cómo los radiólogos expresan certeza de dictamen en informes de rayos X de tórax, ofreciendo comentarios sobre el uso de términos y los resultados asociados», dice Atul B. Shinagaree, Profesor Asociado de Radiología en Harvard Medical School, quién no estaba involucrado con este trabajo con este trabajo. «Este enfoque tiene el potencial de mejorar la precisión y la comunicación de los radiólogos, lo que ayudará a mejorar la atención al paciente».
El trabajo fue financiado, en parte, por una insignia Takeda, el Laboratorio MIT-IBM Watson AI, el software MIT Csail Wistrom y la Clínica MIT Jameel.