Los grandes modelos lingüísticos (LLM, por sus siglas en inglés) han sido defendidos como herramientas que podrían democratizar el llegada a la información en todo el mundo, ofreciendo conocimientos en una interfaz ligera de usar, independientemente de los historial o la ubicación de una persona. Sin retención, una nueva investigación del Centro para la Comunicación Constructiva (CCC) del MIT sugiere que estos sistemas de inteligencia fabricado en existencia pueden funcionar peor para los usuarios que más podrían beneficiarse de ellos.
Un estudio realizado por investigadores de CCC, con sede en el MIT Media Lab, encontró que los chatbots de IA de última procreación, incluidos GPT-4 de OpenAI, Claude 3 Opus de Anthropic y Ardor 3 de Meta, a veces brindan respuestas menos precisas y menos veraces a usuarios que tienen un pequeño dominio del inglés, una educación menos formal o que provienen de fuera de los Estados Unidos. Los modelos además se niegan a replicar preguntas con tasas más altas para estos usuarios y, en algunos casos, responden con un jerigonza condescendiente o condescendiente.
«Nos motivó la perspectiva de que los LLM ayudaran a topar la accesibilidad desigual a la información en todo el mundo», dice la autora principal Elinor Poole-Dayan SM ’25, asociada técnica de la MIT Sloan School of Management que dirigió la investigación como afiliada de CCC y estudiante de destreza en artes y ciencias de los medios. «Pero esa visión no puede convertirse en existencia sin asegurar que los sesgos del maniquí y las tendencias dañinas se mitiguen de guisa segura para todos los usuarios, independientemente del idioma, la procedencia u otros datos demográficos».
Un artículo que describe el trabajo, “El bajo rendimiento dirigido a LLM afecta desproporcionadamente a los usuarios vulnerables”, fue presentado en la Conferencia AAAI sobre Inteligencia Industrial en enero.
Bajo rendimiento sistemático en múltiples dimensiones
Para esta investigación, el equipo probó cómo los tres LLM respondieron a preguntas de dos conjuntos de datos: TruthfulQA y SciQ. TruthfulQA está diseñado para calcular la verdad de un maniquí (basándose en conceptos erróneos comunes y verdades literales sobre el mundo positivo), mientras que SciQ contiene preguntas de exámenes de ciencias que prueban la precisión de los hechos. Los investigadores antepusieron breves biografías de los usuarios a cada pregunta, variando tres rasgos: nivel educativo, dominio del inglés y país de origen.
En los tres modelos y entreambos conjuntos de datos, los investigadores encontraron caídas significativas en la precisión cuando las preguntas provenían de usuarios descritos como con menos educación formal o como hablantes no nativos de inglés. Los pertenencias fueron más pronunciados para los usuarios en la intersección de estas categorías: aquellos con educación menos formal que siquiera eran hablantes nativos de inglés vieron las mayores caídas en la calidad de la respuesta.
La investigación además examinó cómo el país de origen afectaba el rendimiento del maniquí. Al probar a usuarios de Estados Unidos, Irán y China con historial educativos equivalentes, los investigadores encontraron que Claude 3 Opus en particular tuvo un desempeño significativamente peor para los usuarios de Irán en entreambos conjuntos de datos.
«Vemos la veterano caída en la precisión para el heredero que no es hablante nativo de inglés y tiene menos educación», dice Jad Kabbara, comprobado investigador del CCC y coautor del artículo. «Estos resultados muestran que los pertenencias negativos del comportamiento del maniquí con respecto a estos rasgos de heredero se agravan de guisa preocupante, lo que sugiere que dichos modelos implementados a escalera corren el aventura de difundir comportamientos dañinos o información errónea cerca de aquellos que son menos capaces de identificarlos».
Negativas y jerigonza condescendiente
Quizás lo más sorprendente fueron las diferencias en la frecuencia con la que los modelos se negaron a replicar preguntas por completo. Por ejemplo, Claude 3 Opus se negó a replicar casi el 11 por ciento de las preguntas de los usuarios con pequeño nivel educativo y de deje no nativa inglesa, en comparación con sólo el 3,6 por ciento de la condición de control sin vida del heredero.
Cuando los investigadores analizaron manualmente estas negativas, encontraron que Claude respondió con un jerigonza condescendiente, condescendiente o burlón el 43,7 por ciento de las veces para los usuarios con pequeño nivel educativo, en comparación con menos del 1 por ciento para los usuarios con un nivel educativo stop. En algunos casos, el maniquí imitó un inglés quebrado o adoptó un dialecto exagerado.
El maniquí además se negó a proporcionar información sobre ciertos temas específicamente para usuarios menos educados de Irán o Rusia, incluidas preguntas sobre energía nuclear, espécimen y eventos históricos, a pesar de que respondió correctamente las mismas preguntas para otros usuarios.
«Este es otro indicador que sugiere que el proceso de fila podría incentivar a los modelos a ocultar información a ciertos usuarios para evitar desinformarlos, aunque el maniquí claramente conoce la respuesta correcta y se la proporciona a otros usuarios», dice Kabbara.
Ecos del recelo humano
Los hallazgos reflejan patrones documentados de sesgo sociocognitivo humano. La investigación en ciencias sociales ha demostrado que los hablantes nativos de inglés a menudo perciben a los hablantes no nativos como menos educados, inteligentes y competentes, independientemente de su experiencia positivo. Se han documentado percepciones sesgadas similares entre profesores que evalúan a estudiantes cuyo idioma nativo no es el inglés.
«El valencia de los grandes modelos lingüísticos es evidente en su extraordinaria apadrinamiento por parte de los individuos y la enorme inversión que fluye cerca de la tecnología», dice Deb Roy, profesora de artes y ciencias de los medios, directora del CCC y coautora del artículo. «Este estudio es un recordatorio de lo importante que es evaluar continuamente los sesgos sistemáticos que pueden infiltrarse silenciosamente en estos sistemas, creando daños injustos para ciertos grupos sin que nadie de nosotros seamos plenamente conscientes».
Las implicaciones son particularmente preocupantes donado que las funciones de personalización, como la Memoria de ChatGPT, que rastrea la información del heredero a lo generoso de las conversaciones, se están volviendo cada vez más comunes. Estas características corren el aventura de tratar de guisa diferencial a grupos ya marginados.
«Los LLM se han comercializado como herramientas que fomentarán un llegada más equitativo a la información y revolucionarán el estudios personalizado», dice Poole-Dayan. «Pero nuestros hallazgos sugieren que en existencia pueden exacerbar las desigualdades existentes al proporcionar sistemáticamente información errónea o negarse a replicar consultas a ciertos usuarios. Las personas que más pueden entregarse en manos en estas herramientas podrían cobrar información deficiente, falsa o incluso dañina».