La recuperación basada en incrustación, además conocida como recuperación densa, se ha convertido en el método de remisión para los sistemas modernos. Modelos neuronales Asigne consultas y documentos a vectores de reincorporación dimensión (incrustaciones) y recupere documentos por similitud con el vecino más cercano. Sin bloqueo, investigaciones recientes muestran una afición sorprendente: las incorporaciones de un solo vector tienen un margen de capacidad fundamental. En prontuario, una incrustación sólo puede representar un cierto número de combinaciones distintas de documentos relevantes. Cuando las consultas requieren múltiples documentos como respuesta, los recuperadores densos comienzan a abortar, incluso en tareas muy simples. En este blog, exploraremos por qué sucede esto y examinaremos las alternativas que pueden exceder estas limitaciones.
Incrustaciones de un solo vector y su uso en recuperación
en denso sistemas de recuperaciónuna consulta se alimenta a través de un maniquí neuronal para producir un único vector. Este maniquí suele ser un transformador u otro maniquí de lengua. El vector producido captura el significado del texto. Por ejemplo, los documentos sobre deportes tendrán vectores cerca unos de otros. Mientras tanto, una consulta como «mejores zapatillas para pasar» estará cerca de los documentos relacionados con el calzado. En el momento de la búsqueda, el sistema codifica la consulta del becario en su archivo incrustado y encuentra el documento más cercano.
Normalmente, la similitud del producto progresar o del coseno devuelve los k documentos similares principales. Esto difiere de los métodos dispersos más antiguos, como BM25, que coinciden con palabras esencia. Fijar modelos son famosos por manejar paráfrasis y semántica. Por ejemplo, al agenciárselas “imágenes de perros” se pueden encontrar “fotografías de cachorros” incluso si las palabras difieren. Estos se generalizan perfectamente a datos nuevos porque aprovechan modelos de lengua previamente entrenados.
Estos densos recuperadores impulsan muchas aplicaciones, como motores de búsqueda web, sistemas de respuesta a preguntas, motores de recomendación y más. Además van más allá del texto plano; Las incrustaciones multimodales asignan imágenes o código a vectores, lo que permite la búsqueda intermodal.
Sin bloqueo, las tareas de recuperación se han vuelto más complejas, especialmente las tareas que combinan múltiples conceptos o requieren la devolución de múltiples documentos. Una incrustación de un solo vector no siempre es capaz de manejar consultas. Esto nos lleva a una restricción matemática fundamental que limita lo que pueden alcanzar los sistemas de un solo vector.
Límites teóricos de las incrustaciones de un solo vector
La cuestión es un simple hecho geométrico. Un espacio vectorial de tamaño fijo sólo puede alcanzar un número prohibido de resultados de clasificación distintos. Imagine que tiene n documentos y desea especificar, para cada consulta, qué subconjunto de k documentos deberían ser los mejores resultados. Se puede considerar que cada consulta elige un conjunto de documentos relevantes. El maniquí de incrustación traduce cada documento en un punto en ℝ^d. Encima, cada consulta se convierte en un punto en el mismo espacio; los productos punto determinan la relevancia.
Se puede demostrar que la dimensión mínima d requerida para representar perfectamente un patrón entregado de relevancia de documento de consulta está determinada por el rango de la matriz (o más específicamente, el rango de signo) de la «matriz de relevancia», que indica qué documentos son relevantes para qué consultas.
La conclusión es que, para cualquier dimensión d particular, existen algunos posibles patrones de relevancia de documento de consulta que una incrustación de dimensión d no puede representar. En otras palabras, no importa cómo entrene o ajuste el maniquí, si solicita una cantidad suficientemente excelso de combinaciones distintas de documentos para que sean relevantes juntos, un vector pequeño no puede discriminar todos esos casos. En términos técnicos, el número de k subconjuntos distintos de documentos que pueden producirse mediante alguna consulta está prohibido por una función de d. Una vez que el número de demandas realizadas por la consulta excede la capacidad de utilizar la incrustación para recuperar, algunas combinaciones simplemente nunca podrán recuperarse correctamente.
Esta traba matemática explica por qué los sistemas de recuperación densos luchan con consultas complejas y multifacéticas que requieren la comprensión de múltiples conceptos independientes simultáneamente. Gracias a Dios, los investigadores han desarrollado varias alternativas arquitectónicas que pueden exceder estas limitaciones.
Arquitecturas alternativas: más allá del vector único
Dadas estas limitaciones fundamentales de las incorporaciones de un solo vector, han surgido varios enfoques alternativos para tocar escenarios de recuperación más complejos:
Codificadores cruzados (reclasificadores): Estos modelos toman la consulta y cada documento juntos y los califican conjuntamente, generalmente introduciéndolos como una secuencia en un transformador. Porque codificadores cruzados modelan directamente las interacciones entre la consulta y el documento, no están limitados por una dimensión de incrustación fija. Pero estos son computacionalmente costosos.
Modelos multivectoriales: Estos expanden cada documento en múltiples vectores. Por ejemplo, los modelos de estilo ColBERT indexan cada token de un documento por separado, por lo que una consulta puede coincidir con cualquier combinación de esos vectores. Esto aumenta enormemente la capacidad de representación efectiva. Transmitido que cada documento es ahora un conjunto de incrustaciones, el sistema puede cubrir muchos más patrones de combinación. Las compensaciones aquí son el tamaño del índice y la complejidad del diseño. Los modelos multivectoriales a menudo necesitan un índice de recuperación peculiar como Maximum Similitud o MaxSim, y pueden utilizar mucho más almacenamiento.
Modelos dispersos: Métodos escasos como BM25 representan texto en espacios de muy altas dimensiones, lo que les otorga una gran capacidad para capturar diversos patrones de relevancia. Destacan cuando las consultas y los documentos comparten términos, pero su contrapartida es una gran dependencia de la superposición léxica, lo que los hace más débiles para la coincidencia semántica o el razonamiento más allá de las palabras exactas.
Cada alternativa tiene sus ventajas y desventajas, por lo que muchos sistemas utilizan híbridos: incrustaciones para una recuperación rápida, codificadores cruzados para reclasificación o modelos dispersos para cobertura léxica. Para consultas complejas, las incrustaciones de un solo vector a menudo no son suficientes, lo que hace necesarios métodos multivectoriales o basados en razonamiento.
Conclusión
Si perfectamente las incrustaciones densas han revolucionado la recuperación de información con sus capacidades de comprensión semántica, no son una decisión universal, ya que las restricciones geométricas fundamentales de las representaciones de un solo vector crean limitaciones reales cuando se prostitución de consultas complejas y multifacéticas que requieren recuperar diversas combinaciones de documentos. Comprender estas limitaciones es crucial para construir sistemas de recuperación efectivos y, en motivo de ver esto como un fracaso de los métodos basados en integración, deberíamos verlo como una oportunidad para diseñar arquitecturas híbridas que aprovechen las fortalezas de diferentes enfoques.
El futuro de la recuperación no reside en un único método, sino en combinaciones inteligentes de incrustaciones densas, representaciones dispersas, modelos multivectoriales y codificadores cruzados que puedan manejar todo el espectro de micción de información a medida que los sistemas de inteligencia industrial se vuelven más sofisticados y las consultas de los usuarios más complejas.
Soy aprendiz de ciencia de datos en Analytics Vidhya y trabajo apasionadamente en el mejora de soluciones avanzadas de IA, como aplicaciones de IA generativa, modelos de lengua grandes y herramientas de IA de vanguardia que traspasan los límites de la tecnología. Mi función además implica crear contenido educativo atractivo para los canales de YouTube de Analytics Vidhya, desarrollar cursos integrales que cubran todo el espectro desde el estudios inconsciente hasta la IA generativa y la creación de blogs técnicos que conecten conceptos fundamentales con las últimas innovaciones en IA. A través de esto, mi objetivo es contribuir a la construcción de sistemas inteligentes y compartir conocimientos que inspiren y empoderen a la comunidad de IA.
Inicie sesión para continuar leyendo y disfrutar de contenido seleccionado por expertos.