Meta AI propone atención múltiple (MTA): un nuevo método de atención que permite a los LLM habilitar sus pesos de atención en múltiples consultas y vectores secreto
Los modelos de verbo conspicuo (LLM) se benefician significativamente de los mecanismos de atención, lo que permite la recuperación efectiva de la información contextual. Sin secuestro, los métodos de atención tradicionales dependen principalmente de la atención de un solo token, donde cada peso de atención se calcula a partir de un solo par de consultas […]