Los modelos de enseñanza forzoso pueden cometer errores y ser difíciles de usar, por lo que los científicos han desarrollado métodos de explicación para ayudar a los usuarios a comprender cuándo y cómo deben abandonarse en las predicciones de un maniquí.
Sin incautación, estas explicaciones suelen ser complejas y quizás contengan información sobre cientos de características del maniquí. Y a veces se presentan como visualizaciones multifacéticas que pueden resultar difíciles de comprender por completo para los usuarios que carecen de experiencia en enseñanza forzoso.
Para ayudar a las personas a entender las explicaciones de la IA, los investigadores del MIT utilizaron modelos de jerigonza ínclito (LLM) para alterar las explicaciones basadas en la trama en un jerigonza sencillo.
Desarrollaron un sistema de dos partes que convierte una explicación de enseñanza forzoso en un párrafo de texto comprensible por humanos y luego evalúa automáticamente la calidad de la novelística, para que el favorecido final sepa si abandonarse en ella.
Al indicar al sistema algunas explicaciones de ejemplo, los investigadores pueden personalizar sus descripciones narrativas para satisfacer las preferencias de los usuarios o los requisitos de aplicaciones específicas.
A espacioso plazo, los investigadores esperan emplear esta técnica permitiendo a los usuarios hacer preguntas de seguimiento a un maniquí sobre cómo llegó a realizar predicciones en entornos del mundo existente.
«Nuestro objetivo con esta investigación fue dar el primer paso para permitir a los usuarios tener conversaciones completas con modelos de enseñanza forzoso sobre las razones por las que hicieron ciertas predicciones, para que puedan tomar mejores decisiones sobre si escuchar o no el maniquí», dice Alexandra Zytek, estudiante de posgrado en ingeniería eléctrica e informática (EECS) y autora principal de un artículo sobre esta técnica.
En el artículo la acompañan Sara Pido, postdoctorada del MIT; Sarah Alnegheimish, estudiante de posgrado de EECS; Laure Berti-Équille, directora de investigación del Instituto Franquista de Investigación para el Expansión Sostenible de Francia; y el autor principal Kalyan Veeramachaneni, verificado investigador principal del Laboratorio de Sistemas de Información y Osadía. La investigación se presentará en la Conferencia IEEE Big Data.
Explicaciones esclarecedoras
Los investigadores se centraron en un tipo popular de explicación del enseñanza forzoso llamado SHAP. En una explicación SHAP, se asigna un valía a cada característica que utiliza el maniquí para hacer una predicción. Por ejemplo, si un maniquí predice los precios de la vivienda, una característica podría ser la ubicación de la casa. A la ubicación se le asignaría un valía positivo o gafe que representa cuánto modificó esa característica la predicción universal del maniquí.
A menudo, las explicaciones SHAP se presentan como diagramas de barras que muestran qué características son más o menos importantes. Pero para un maniquí con más de 100 características, ese diagrama de barras rápidamente se vuelve difícil de manejar.
“Como investigadores, tenemos que tomar muchas decisiones sobre lo que vamos a presentar visualmente. Si elegimos mostrar solo los 10 primeros, la parentela podría preguntarse qué pasó con otra característica que no está en la trama. Usar el jerigonza natural nos libera de tener que tomar esas decisiones”, dice Veeramachaneni.
Sin incautación, en motivo de utilizar un maniquí de jerigonza ínclito para difundir una explicación en jerigonza natural, los investigadores utilizan el LLM para alterar una explicación SHAP existente en una novelística comprensible.
Al hacer que el LLM solo maneje la parte del proceso en jerigonza natural, se limita la oportunidad de introducir imprecisiones en la explicación, explica Zytek.
Su sistema, llamado EXPLINGO, está dividido en dos piezas que funcionan juntas.
El primer componente, llamado NARRADOR, utiliza un LLM para crear descripciones narrativas de explicaciones SHAP que satisfagan las preferencias del favorecido. Al proporcionar inicialmente a NARRADOR de tres a cinco ejemplos escritos de explicaciones narrativas, el LLM imitará ese estilo al difundir texto.
«En motivo de que el favorecido intente constreñir qué tipo de explicación está buscando, es más casquivana que simplemente escriba lo que quiere ver», dice Zytek.
Esto permite personalizar fácilmente NARRATOR para nuevos casos de uso mostrándole un conjunto diferente de ejemplos escritos manualmente.
Posteriormente de que NARRADOR crea una explicación en jerigonza sencillo, el segundo componente, GRADER, utiliza un LLM para encasillar la novelística en cuatro métricas: concisión, precisión, integridad y fluidez. GRADER solicita automáticamente al LLM el texto del NARRADOR y la explicación SHAP que describe.
«Descubrimos que, incluso cuando un LLM comete un error al realizar una tarea, a menudo no comete ningún error al comprobar o validar esa tarea», dice.
Los usuarios igualmente pueden personalizar GRADER para otorgar diferentes pesos a cada métrica.
«Se podría imaginar, en un caso de detención peligro, ponderar la precisión y la integridad mucho más que la fluidez, por ejemplo», añade.
Analizando narrativas
Para Zytek y sus colegas, uno de los mayores desafíos fue ajustar el LLM para que generara narrativas que sonaran naturales. Cuantas más pautas agregaran para controlar el estilo, más probable sería que el LLM introdujera errores en la explicación.
«Se realizaron muchos ajustes rápidos para encontrar y corregir cada error, uno a la vez», dice.
Para probar su sistema, los investigadores tomaron nueve conjuntos de datos de enseñanza forzoso con explicaciones y pidieron a diferentes usuarios que escribieran narrativas para cada conjunto de datos. Esto les permitió evaluar la capacidad de NARRATOR para imitar estilos únicos. Utilizaron GRADER para encasillar cada explicación novelística en las cuatro métricas.
Al final, los investigadores descubrieron que su sistema podía difundir explicaciones narrativas de ingreso calidad e imitar eficazmente diferentes estilos de escritura.
Sus resultados muestran que proporcionar algunas explicaciones de ejemplo escritas manualmente mejoramiento enormemente el estilo narrativo. Sin incautación, esos ejemplos deben escribirse con cuidado; incluir palabras comparativas, como “más ínclito”, puede hacer que GRADER marque explicaciones precisas como incorrectas.
A partir de estos resultados, los investigadores quieren explorar técnicas que podrían ayudar a su sistema a manejar mejor las palabras comparativas. Además quieren ampliar EXPLINGO añadiendo racionalización a las explicaciones.
A espacioso plazo, esperan utilizar este trabajo como un trampolín en dirección a un sistema interactivo donde el favorecido pueda hacerle preguntas de seguimiento a un maniquí sobre una explicación.
“Eso ayudaría en la toma de decisiones de muchas maneras. Si las personas no están de acuerdo con la predicción de un maniquí, queremos que puedan descubrir rápidamente si su intuición es correcta o si la intuición del maniquí es correcta y de dónde viene esa diferencia”, afirma Zytek.