A pesar de sus impresionantes capacidades, los modelos de jerga grandes están allá de ser perfectos. Estos modelos de inteligencia fabricado a veces “alucinan” al crear información incorrecta o sin fundamento en respuesta a una consulta.
Adecuado a este problema de alucinaciones, las respuestas de un LLM a menudo son verificadas por verificadores de datos humanos, especialmente si un maniquí se implementa en un entorno de suspensión peligro como la atención médica o las finanzas. Sin incautación, los procesos de brío generalmente requieren que las personas lean documentos extensos citados por el maniquí, una tarea tan onerosa y propensa a errores que puede impedir que algunos usuarios implementen modelos de IA generativa en primer oficio.
Para ayudar a los validadores humanos, los investigadores del MIT crearon un sistema manejable de usar que permite a las personas realizar las respuestas de un LLM mucho más rápidamente. Con esta aparejo, convocatoria SymGenun LLM genera respuestas con citas que apuntan directamente al oficio en un documento fuente, como una celda determinada en una cojín de datos.
Los usuarios pasan el cursor sobre las partes resaltadas de su respuesta de texto para ver los datos que utilizó el maniquí para crear esa palabra o frase específica. Al mismo tiempo, las partes no resaltadas muestran a los usuarios qué frases necesitan atención adicional para realizar y realizar.
“Ofrecemos a las personas la posibilidad de centrarse selectivamente en partes del texto que les preocupan más. Al final, SymGen puede congratular a las personas una viejo confianza en las respuestas de un maniquí porque pueden observar más de cerca fácilmente para comprobar de que la información esté verificada”, dice Shannon Shen, estudiante de posgrado en ingeniería eléctrica e informática y coautora principal de un artículo sobre SymGen.
A través de un estudio de usuarios, Shen y sus colaboradores descubrieron que SymGen aceleró el tiempo de demostración en aproximadamente un 20 por ciento, en comparación con los procedimientos manuales. Al hacer que sea más rápido y manejable para los humanos validar los resultados del maniquí, SymGen podría ayudar a las personas a identificar errores en los LLM implementados en una variedad de situaciones del mundo verdadero, desde crear notas clínicas hasta resumir informes de mercados financieros.
A Shen se unen en el artículo el coautor principal y compañero estudiante investido de EECS, Lucas Torroba Hennigen; Aniruddha “Ani” Nrusimha, estudiante de posgrado de EECS; Bernhard Gapp, presidente de Good Data Initiative; y los autores principales David Sontag, profesor de EECS, miembro de la Clínica Jameel del MIT y líder del Montón Clínico de Formación Inconsciente del Laboratorio de Ciencias de la Computación e Inteligencia Sintético (CSAIL); y Yoon Kim, profesor asistente de EECS y miembro de CSAIL. La investigación se presentó recientemente en la Conferencia sobre Modelado del Habla.
Referencias simbólicas
Para ayudar en la brío, muchos LLM están diseñados para crear citas, que apuntan a documentos externos, cercano con sus respuestas basadas en el idioma para que los usuarios puedan verificarlas. Sin incautación, estos sistemas de demostración generalmente se diseñan como una ocurrencia tardía, sin considerar el esfuerzo que requiere la multitud para examinar numerosas citas, dice Shen.
“La IA generativa tiene como objetivo sujetar el tiempo que dedica el favorecido a completar una tarea. Si necesita sobrevenir horas leyendo todos estos documentos para realizar que el maniquí dice poco moderado, entonces es menos útil tener las generaciones en la praxis”, dice Shen.
Los investigadores abordaron el problema de la brío desde la perspectiva de los humanos que harán el trabajo.
Un favorecido de SymGen primero proporciona al LLM datos a los que puede hacer relato en su respuesta, como una tabla que contiene estadísticas de un partido de baloncesto. Luego, en oficio de pedirle inmediatamente al maniquí que complete una tarea, como crear un breviario del deporte a partir de esos datos, los investigadores realizan un paso intermedio. Impulsan al maniquí a crear su respuesta en forma simbólica.
Con este mensaje, cada vez que el maniquí quiera citar palabras en su respuesta, debe escribir la celda específica de la tabla de datos que contiene la información a la que hace relato. Por ejemplo, si el maniquí quiere citar la frase «Portland Trailblazers» en su respuesta, reemplazaría ese texto con el nombre de la celda en la tabla de datos que contiene esas palabras.
“Como tenemos este paso intermedio que tiene el texto en formato simbólico, podemos tener referencias muy detalladas. Podemos aseverar que, para cada tramo de texto en la salida, este es exactamente el oficio de los datos al que corresponde”, afirma Torroba Hennigen.
Luego, SymGen resuelve cada relato utilizando una aparejo basada en reglas que copia el texto correspondiente de la tabla de datos en la respuesta del maniquí.
«De esta guisa, sabemos que es una copia palabra por palabra, por lo que sabemos que no habrá ningún error en la parte del texto que corresponde a la variable de datos verdadero», añade Shen.
Simplificación de la brío
El maniquí puede crear respuestas simbólicas conveniente a cómo está entrenado. Los grandes modelos de jerga reciben una gran cantidad de datos de Internet, y algunos datos se registran en un “formato de grabador de posición”, donde los códigos reemplazan los títulos reales.
Cuando SymGen solicita al maniquí que genere una respuesta simbólica, utiliza una estructura similar.
«Diseñamos el mensaje de una guisa específica para explotar las capacidades del LLM», añade Shen.
Durante un estudio de usuarios, la mayoría de los participantes dijeron que SymGen facilitaba la demostración del texto generado por LLM. Pudieron validar las respuestas del maniquí aproximadamente un 20 por ciento más rápido que si usaran métodos habitual.
Sin incautación, SymGen está establecido por la calidad de los datos de origen. El LLM podría citar una variable incorrecta y un verificador humano podría no darse cuenta.
Encima, el favorecido debe tener datos de origen en un formato estructurado, como una tabla, para introducirlos en SymGen. Por el momento, el sistema sólo funciona con datos tabulares.
En el futuro, los investigadores están mejorando SymGen para que pueda manejar texto injusto y otras formas de datos. Con esa capacidad, podría ayudar a validar partes de resúmenes de documentos legales generados por IA, por ejemplo. Igualmente planean probar SymGen con médicos para estudiar cómo podría identificar errores en los resúmenes clínicos generados por IA.
Este trabajo está financiado, en parte, por Liberty Mutual y la Iniciativa Quest for Intelligence del MIT.