Anotar regiones de interés en imágenes médicas, un proceso conocido como segmentación, a menudo es uno de los primeros pasos que los investigadores clínicos toman cuando ejecutan un nuevo estudio que involucra imágenes biomédicas.
Por ejemplo, para determinar cómo el tamaño del hipocampo del cerebro cambia a medida que los pacientes envejecen, el comprobado primero describe cada hipocampo en una serie de exploraciones cerebrales. Para muchas estructuras y tipos de imágenes, este es a menudo un proceso manual que puede ser extremadamente calmoso, especialmente si las regiones que se estudian son difíciles de delinear.
Para optimizar el proceso, los investigadores del MIT desarrollaron un sistema fabricado basado en inteligencia que permite a un investigador segmentar rápidamente los nuevos conjuntos de datos de imágenes biomédicas haciendo clic, garabateando y dibujando cuadros en las imágenes. Este nuevo maniquí de IA utiliza estas interacciones para predecir la segmentación.
A medida que el sucesor marca imágenes adicionales, el número de interacciones que necesita realizar disminuye, y finalmente disminuye a cero. El maniquí puede segmentar cada nueva imagen con precisión sin la entrada del sucesor.
Puede hacer esto porque la casa del maniquí ha sido especialmente diseñada para usar información a partir de imágenes que ya se ha segmentado para hacer nuevas predicciones.
A diferencia de otros modelos de segmentación de imágenes médicas, este sistema permite al sucesor segmentar un conjunto de datos completo sin repetir su trabajo para cada imagen.
Encima, la utensilio Interactive no requiere un conjunto de datos de imágenes en representación para la capacitación, por lo que los usuarios no necesitan experiencia en el educación maquinal o fortuna computacionales extensos. Pueden usar el sistema para una nueva tarea de segmentación sin retornar a capacitar el maniquí.
A la larga, esta utensilio podría acelerar los estudios de nuevos métodos de tratamiento y estrechar el costo de los ensayos clínicos y la investigación médica. Los médicos todavía podrían utilizarlo para mejorar la eficiencia de las aplicaciones clínicas, como la planificación del tratamiento de radiación.
“Many scientists might only have time to segment a few images per day for their research because manual image segmentation is so time-consuming. Our hope is that this system will enable new science by allowing clinical researchers to conduct studies they were prohibited from doing before because of the lack of an efficient tool,” says Hallee Wong, an electrical engineering and computer science graduate student and lead author of a Documento sobre esta nueva utensilio.
Se une en el gaceta por José Javier González Ortiz PhD ’24; John Guttag, el profesor de Dugald C. Jackson de Informática e Ingeniería Eléctrica; y el autor principal Adrian Dalca, profesor asistente de la Mano de Medicina de Harvard y MGH, y comprobado de investigación en el Laboratorio de Informática e Inteligencia Fabricado del MIT (CSAIL). La investigación se presentará en la Conferencia Internacional sobre Visión por Computadora.
Segmentación de racionalización
Principalmente hay dos métodos que usan los investigadores para segmentar nuevos conjuntos de imágenes médicas. Con la segmentación interactiva, ingresan una imagen en un sistema de IA y usan una interfaz para marcar áreas de interés. El maniquí predice la segmentación basada en esas interacciones.
Una utensilio desarrollada previamente por los investigadores del MIT, Escribapermite a los usuarios hacer esto, pero deben repetir el proceso para cada nueva imagen.
Otro enfoque es desarrollar un maniquí AI específico de la tarea para segmentar automáticamente las imágenes. Este enfoque requiere que el sucesor segmine manualmente cientos de imágenes para crear un conjunto de datos y luego entrenar un maniquí de educación maquinal. Ese maniquí predice la segmentación para una nueva imagen. Pero el sucesor debe iniciar el confuso proceso basado en el educación maquinal desde cero para cada nueva tarea, y no hay forma de corregir el maniquí si comete un error.
Este nuevo sistema, Multiversegcombina lo mejor de cada enfoque. Predice una segmentación para una nueva imagen basada en interacciones del sucesor, como garabatos, pero todavía mantiene cada imagen segmentada en un conjunto de contexto al que se refiere más delante.
Cuando el sucesor carga una nueva imagen y marca áreas de interés, el maniquí se zócalo en los ejemplos en su contexto establecido para hacer una predicción más precisa, con menos entrada del sucesor.
Los investigadores diseñaron la casa del maniquí para usar un conjunto de contexto de cualquier tamaño, por lo que el sucesor no necesita tener una cierta cantidad de imágenes. Esto le da a Multiverseg la flexibilidad de estar de moda en una variedad de aplicaciones.
«En algún momento, para muchas tareas, no debería escasear proporcionar ninguna interacción. Si tiene suficientes ejemplos en el conjunto de contexto, el maniquí puede predecir con precisión la segmentación por sí solo», dice Wong.
Los investigadores diseñaron y capacitaron cuidadosamente el maniquí en una colección diversa de datos de imágenes biomédicas para respaldar que tuviera la capacidad de mejorar incrementalmente sus predicciones basadas en la entrada del sucesor.
El sucesor no necesita retornar a entrenar o personalizar el maniquí para sus datos. Para usar Multiverseg para una nueva tarea, se puede subir una nueva imagen médica y comenzar a marcarla.
Cuando los investigadores compararon Multiverseg con herramientas de última concepción para la segmentación de imágenes interactivas y en contexto, superó a cada rasgo de almohadilla.
Menos clics, mejores resultados
A diferencia de estas otras herramientas, Multiverseg requiere menos entrada del sucesor con cada imagen. Para la novena imagen nueva, solo necesitaba dos clics del sucesor para suscitar una segmentación más precisa que un maniquí diseñado específicamente para la tarea.
Para algunos tipos de imágenes, como las radiografías, es posible que el sucesor solo necesite segmentar una o dos imágenes manualmente antaño de que el maniquí se vuelva lo suficientemente preciso como para hacer predicciones por sí solas.
La interactividad de la utensilio todavía permite al sucesor hacer correcciones a la predicción del maniquí, iterando hasta que alcanza el nivel de precisión deseado. En comparación con el sistema precedente de los investigadores, Multiverseg alcanzó la precisión del 90 por ciento con aproximadamente 2/3 el número de garabatos y 3/4 el número de clics.
«Con Multiverseg, los usuarios siempre pueden proporcionar más interacciones para refinar las predicciones de IA. Esto aún acelera dramáticamente el proceso porque generalmente es más rápido corregir poco que existe que comenzar desde cero», dice Wong.
En el futuro, los investigadores quieren probar esta utensilio en situaciones del mundo efectivo con colaboradores clínicos y mejorarla en función de los comentarios de los usuarios. Igualmente quieren habilitar Multiverseg para segmentar imágenes biomédicas 3D.
Este trabajo es compatible, en parte, por Quanta Computer, Inc. y los Institutos Nacionales de Salubridad, con apoyo de hardware del Centro de Ciencias de la Vida de Massachusetts.