La investigación ha demostrado que los modelos de idiomas grandes (LLM) tienden a resaltar demasiado la información al principio y al final de un documento o conversación, al tiempo que descuidan el medio.
Este «sesgo de posición» significa que, si un abogado está utilizando un asistente potencial con motor LLM para recuperar una cierta frase en una testimonio jurada de 30 páginas, es más probable que el LLM encuentre el texto correcto si está en las páginas iniciales o finales.
Los investigadores del MIT han descubierto el mecanismo detrás de este aberración.
Crearon un ámbito teórico para estudiar cómo fluye la información a través de la casa de formación mecánico que forma la columna vertebral de LLM. Descubrieron que ciertas opciones de diseño que controlan cómo el maniquí procesa los datos de entrada puede causar sesgo de posición.
Sus experimentos revelaron que las arquitecturas del maniquí, particularmente aquellas que afectan cómo se extiende la información a través de las palabras de entrada adentro del maniquí, pueden dar oficio o intensificar el sesgo de posición, y que los datos de entrenamiento incluso contribuyen al problema.
Encima de identificar los orígenes del sesgo de posición, su ámbito se puede utilizar para diagnosticarlo y corregirlo en futuros diseños de modelos.
Esto podría conducir a chatbots más confiables que permanecen en el tema durante las largas conversaciones, los sistemas de IA médicos que razonan más encajado al manejar un fortuna de datos del paciente y asistentes de código que prestan más atención a todas las partes de un software.
“These models are black boxes, so as an LLM user, you probably don’t know that position bias can cause your model to be inconsistent. You just feed it your documents in whatever order you want and expect it to work. But by understanding the underlying mechanism of these black-box models better, we can improve them by addressing these limitations,” says Xinyi Wu, a graduate student in the MIT Institute for Data, Systems, and Society (IDSS) and the Laboratory for Information and Decision Sistemas (tapas), y primer autor de un papel Sobre esta investigación.
Sus coautores incluyen a Yifei Wang, un postdoc de MIT; y autores principales Stefanie Jegelka, profesora asociada de ingeniería eléctrica e informática (EEC) y miembro de IDSS y del Laboratorio de Inteligencia de Informática e Sintético (CSAIL); y Ali Jadbabaie, profesor y principal del Sección de Ingeniería Civil y Ambiental, un miembro central de la poder de IDSS e investigador principal en Lids. La investigación se presentará en la Conferencia Internacional sobre Educación Autor.
Observación de atención
Los LLM como Claude, Ardor y GPT-4 están impulsados por un tipo de casa de red neuronal conocida como transformador. Los transformadores están diseñados para procesar datos secuenciales, codificar una oración en fragmentos llamados tokens y luego cultivarse las relaciones entre los tokens para predecir qué palabras vienen a continuación.
Estos modelos se han vuelto muy buenos en esto adecuado al mecanismo de atención, que utiliza capas interconectadas de nodos de procesamiento de datos para dar sentido al contexto al permitir que los tokens se concentren selectivamente o atiendan tokens relacionados.
Pero si cada token puede atender cualquier otro token en un documento de 30 páginas, eso rápidamente se vuelve computacionalmente intratable. Entonces, cuando los ingenieros construyen modelos de transformadores, a menudo emplean técnicas de enmascaramiento de atención que limitan las palabras que puede atender un token.
Por ejemplo, una máscara causal solo permite que las palabras atiendan a las que vinieron antaño.
Los ingenieros incluso usan codificaciones posicionales para ayudar al maniquí a comprender la ubicación de cada palabra en una oración, mejorando el rendimiento.
Los investigadores del MIT crearon un ámbito teórico basado en gráficos para explorar cómo estas opciones de modelado, máscaras de atención y codificaciones posicionales podrían afectar el sesgo de posición.
«Todo está acoplado y enredado adentro del mecanismo de atención, por lo que es muy difícil de estudiar. Los gráficos son un lengua flexible para describir la relación dependiente entre las palabras adentro del mecanismo de atención y rastrearlas en múltiples capas», dice Wu.
Su observación teórico sugirió que el enmascaramiento causal le da al maniquí un sesgo inherente en dirección a el manifestación de una entrada, incluso cuando ese sesgo no existe en los datos.
Si las palabras anteriores son relativamente poco importantes para el significado de una oración, el enmascaramiento causal puede hacer que el transformador preste más atención a su manifestación de todos modos.
«Si admisiblemente a menudo es cierto que las palabras anteriores y las palabras posteriores en una oración son más importantes, si se usa un LLM en una tarea que no es una reproducción de lengua natural, como la clasificación o la recuperación de información, estos sesgos pueden ser extremadamente dañinos», dice Wu.
A medida que crece un maniquí, con capas adicionales de mecanismo de atención, este sesgo se amplifica porque las partes anteriores de la entrada se usan con longevo frecuencia en el proceso de razonamiento del maniquí.
Además encontraron que usar codificaciones posicionales para vincular las palabras con más fuerza a las palabras cercanas puede mitigar el sesgo de posición. La técnica reenfoca la atención del maniquí en el oficio correcto, pero su meta se puede diluir en modelos con más capas de atención.
Y estas opciones de diseño son solo una causa de sesgo de posición: algunos pueden provenir de los datos de entrenamiento que el maniquí usa para cultivarse a priorizar las palabras en una secuencia.
«Si sabe que sus datos están sesgados de cierta guisa, entonces incluso debe finitar su maniquí encima de ajustar sus opciones de modelado», dice Wu.
Perdido en el medio
A posteriori de establecer un ámbito teórico, los investigadores realizaron experimentos en los que variaron sistemáticamente la posición de la respuesta correcta en las secuencias de texto para una tarea de recuperación de información.
Los experimentos mostraron un aberración «perdido en el medio», donde la precisión de la recuperación siguió a un patrón en forma de U. Los modelos se desempeñaron mejor si la respuesta correcta se encontraba al manifestación de la secuencia. El rendimiento disminuyó cuanto más se acercaba al medio antaño de recuperarse un poco si la respuesta correcta estaba cerca del final.
En última instancia, su trabajo sugiere que usar una técnica de enmascaramiento diferente, eliminar capas adicionales del mecanismo de atención o consumir estratégicamente codificaciones posicionales podría compendiar el sesgo de posición y mejorar la precisión de un maniquí.
«Al hacer una combinación de teoría y experimentos, pudimos analizar las consecuencias de las opciones de diseño del maniquí que no estaban claras en ese momento. Si desea usar un maniquí en aplicaciones de detención aventura, debe aprender cuándo funcionará, cuándo no lo hará y por qué», dice Jadbabaie.
En el futuro, los investigadores quieren explorar más a fondo los existencias de las codificaciones posicionales y estudiar cómo el sesgo de posición podría explotarse estratégicamente en ciertas aplicaciones.
«Estos investigadores ofrecen una cristal teórica rara en el mecanismo de atención en el corazón del maniquí de transformador. Proporcionan un observación convincente que aclara las peculiaridades de larga data en el comportamiento del transformador, mostrando que los mecanismos de atención, especialmente con las máscaras causales, inherentemente modelos de sesgo en dirección a el manifestación de las secuencias. Profesor y director del Centro de Diseño del Mercado Computacional de Stanford, que no participó en este trabajo.
Esta investigación es apoyada, en parte, por la Oficina de Investigación Naval de los Estados Unidos, la Fundación Doméstico de Ciencias y una profesión de Alexander von Humboldt.