Los grandes modelos de verbo pueden hacer cosas impresionantes, como escribir poesía o producir programas informáticos viables, aunque estos modelos están entrenados para predecir las palabras que siguen en un texto.
Capacidades tan sorprendentes pueden hacer que parezca que los modelos están aprendiendo implícitamente algunas verdades generales sobre el mundo.
Pero ese no es necesariamente el caso, según un nuevo estudio. Los investigadores encontraron que un tipo popular de maniquí de IA generativa puede proporcionar indicaciones de conducción paso a paso en la ciudad de Nueva York con una precisión casi perfecta, sin activo formado un plano interno preciso de la ciudad.
A pesar de la asombrosa capacidad del maniquí para navegar eficazmente, cuando los investigadores cerraron algunas calles y agregaron desvíos, su rendimiento se desplomó.
Cuando profundizaron más, los investigadores descubrieron que los mapas de Nueva York que el maniquí generó implícitamente tenían muchas calles inexistentes que se curvaban entre la cuadrícula y conectaban intersecciones lejanas.
Esto podría tener serias implicaciones para los modelos de IA generativa implementados en el mundo vivo, ya que un maniquí que parece funcionar correctamente en un contexto podría equivocarse si la tarea o el entorno cambian levemente.
“Una esperanza es que, correcto a que los LLM pueden conseguir todas estas cosas asombrosas en el verbo, tal vez podamos usar estas mismas herramientas igualmente en otras áreas de la ciencia. Pero la cuestión de si los LLM están aprendiendo modelos mundiales coherentes es muy importante si queremos utilizar estas técnicas para hacer nuevos descubrimientos”, dice el autor principal Ashesh Rambachan, profesor asistente de capital e investigador principal en el Laboratorio de Sistemas de Información y Osadía del MIT. (TAPAS).
Rambachan se une en un documento sobre el trabajo por el autor principal Keyon Vafa, postdoctorado en la Universidad de Harvard; Justin Y. Chen, estudiante de posgrado en ingeniería eléctrica e informática (EECS) del MIT; Jon Kleinberg, profesor de Ciencias de la Computación y de la Información de la Universidad de Tisch en la Universidad de Cornell; y Sendhil Mullainathan, profesor del MIT en los departamentos de EECS y de Finanzas, y miembro de LIDS. La investigación se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neural.
Nuevas métricas
Los investigadores se centraron en un tipo de maniquí de IA generativa conocido como transformador, que forma la columna vertebral de LLM como GPT-4. Los transformadores están entrenados con una gran cantidad de datos basados en el verbo para predecir el próximo token en una secuencia, como la próximo palabra en una oración.
Pero si los científicos quieren determinar si un LLM ha formado un maniquí preciso del mundo, determinar la precisión de sus predicciones no es suficiente, dicen los investigadores.
Por ejemplo, descubrieron que un transformador puede predecir movimientos válidos en un esparcimiento de Connect 4 casi siempre sin comprender ninguna de las reglas.
Entonces, el equipo desarrolló dos nuevas métricas que pueden probar el maniquí mundial de un transformador. Los investigadores centraron sus evaluaciones en una clase de problemas llamados automatizaciones finitas deterministas o DFA.
Un DFA es un problema con una secuencia de estados, como intersecciones que uno debe atravesar para demorar a un destino, y una forma concreta de describir las reglas que uno debe seguir a lo derrochador del camino.
Eligieron dos problemas para formularlos como DFA: navegar por las calles de la ciudad de Nueva York y divertirse al esparcimiento de mesa Otelo.
“Necesitábamos bancos de pruebas donde supiéramos cuál es el maniquí mundial. Ahora podemos pensar con rigor en lo que significa recuperar ese maniquí mundial”, explica Vafa.
La primera métrica que desarrollaron, emplazamiento distinción de secuencia, dice que un maniquí ha formado un maniquí de mundo coherente si ve dos estados diferentes, como dos tableros de Otelo diferentes, y reconoce en qué se diferencian. Las secuencias, es asegurar, listas ordenadas de puntos de datos, son lo que utilizan los transformadores para producir horizontes.
La segunda métrica, emplazamiento compresión de secuencia, dice que un transformador con un maniquí mundial coherente debe asimilar que dos estados idénticos, como dos placas Othello idénticas, tienen la misma secuencia de posibles siguientes pasos.
Utilizaron estas métricas para probar dos clases comunes de transformadores, uno que se entrena con datos generados a partir de secuencias producidas aleatoriamente y el otro con datos generados por las siguientes estrategias.
Modelos mundiales incoherentes
Sorprendentemente, los investigadores descubrieron que los transformadores que tomaban decisiones al azar formaban modelos mundiales más precisos, tal vez porque vieron una variedad más amplia de posibles próximos pasos durante el entrenamiento.
«En Otelo, si ves dos computadoras aleatorias jugando en oportunidad de jugadores campeones, en teoría verías el conjunto completo de movimientos posibles, incluso los malos movimientos que los jugadores campeones no harían», explica Vafa.
Aunque los transformadores generaron direcciones precisas y movimientos válidos de Otelo en casi todos los casos, las dos métricas revelaron que solo uno generó un maniquí mundial coherente para los movimientos de Otelo, y nadie funcionó correctamente en la formación de modelos mundiales coherentes en el ejemplo de orientación.
Los investigadores demostraron las implicaciones de esto agregando desvíos al plano de la ciudad de Nueva York, lo que provocó que todos los modelos de navegación fallaran.
“Me sorprendió lo rápido que se deterioró el rendimiento tan pronto como añadimos un desvío. Si cerramos sólo el 1 por ciento de las calles posibles, la precisión cae inmediatamente de casi el 100 por ciento a sólo el 67 por ciento”, dice Vafa.
Cuando recuperaron los mapas de la ciudad que generaron los modelos, parecían una ciudad de Nueva York imaginada con cientos de calles entrecruzadas superpuestas en la parte superior de la cuadrícula. Los mapas a menudo contenían pasos elevados aleatorios sobre otras calles o varias calles con orientaciones imposibles.
Estos resultados muestran que los transformadores pueden desempeñarse sorprendentemente correctamente en determinadas tareas sin comprender las reglas. Si los científicos quieren construir LLM que puedan capturar modelos mundiales precisos, deben adoptar un enfoque diferente, dicen los investigadores.
“A menudo vemos a estos modelos hacer cosas impresionantes y pensamos que deben activo entendido poco sobre el mundo. Espero que podamos convencer a la parentela de que es una cuestión que hay que pensar muy detenidamente y que no tenemos que creer en nuestras propias intuiciones para responderla”, afirma Rambachan.
En el futuro, los investigadores quieren invadir un conjunto más diverso de problemas, como aquellos en los que algunas reglas sólo se conocen parcialmente. Incluso quieren aplicar sus métricas de evaluación a problemas científicos del mundo vivo.
Este trabajo está financiado, en parte, por la Iniciativa de Ciencia de Datos de Harvard, una distintivo de investigación para graduados de la Fundación Franquista de Ciencias, una distintivo de la maña Vannevar Bush, una subvención de colaboración Simons y una subvención de la Fundación MacArthur.