Cree aplicaciones RAG rentables con incrustaciones binarias en Amazon Titan Text Embeddings V2, Amazon OpenSearch Serverless y las bases de conocimiento de Amazon Bedrock

Hoy nos complace anunciar la disponibilidad de Binary Embeddings para Incrustaciones de texto de Amazon Titan V2 en Bases de conocimiento de Amazon Bedrock y Amazon OpenSearch sin servidor. Con soporte para incrustaciones binarias en Amazon Bedrock y un almacén de vectores binarios en OpenSearch Serverless, puede utilizar incrustaciones binarias y un almacén de vectores binarios para crear Recuperación Gestación Aumentada (RAG) en las bases de conocimiento de Amazon Bedrock, lo que reduce el uso de memoria y los costos generales.

Roca Amazónica es un servicio totalmente administrado que proporciona una única API para obtener y utilizar varios modelos básicos (FM) de detención rendimiento de empresas líderes en inteligencia sintético. Amazon Bedrock además ofrece un amplio conjunto de capacidades para desarrollar IA generativa aplicaciones con seguridad, privacidad e IA responsable. Al utilizar las bases de conocimiento de Amazon Bedrock, los FM y los agentes pueden recuperar información contextual de las fuentes de datos privadas de su empresa para RAG. RAG ayuda a los FM a ofrecer respuestas más relevantes, precisas y personalizadas.

Los modelos de Amazon Titan Text Embeddings generan representaciones semánticas significativas de documentos, párrafos y oraciones. Amazon Titan Text Embeddings toma como entrada un cuerpo de texto y genera un vector de 1024 (predeterminado), 512 o 256 dimensiones. Las incrustaciones de texto de Amazon Titan se ofrecen a través de una invocación de punto final con latencia optimizada para una búsqueda más rápida (recomendada durante el paso de recuperación) y trabajos por lotes con rendimiento optimizado para una indexación más rápida. Con Binary Embeddings, Amazon Titan Text Embeddings V2 representará datos como vectores binarios con cada dimensión codificada como un solo dígito binario (0 o 1). Esta representación binaria convertirá datos de adhesión dimensión en un formato más valioso para el almacenamiento y el cálculo.

Amazon OpenSearch Serverless es una opción de implementación sin servidor para Amazon OpenSearch Service, un servicio totalmente administrado que simplifica la realización de examen de registros interactivos, monitoreo de aplicaciones en tiempo existente, búsqueda de sitios web y búsqueda vectorial con su complemento k-vecino más cercano (kNN). Admite algoritmos de vecino más cercano exactos y aproximados y múltiples motores de almacenamiento y comparación. Le facilita la creación de experiencias de búsqueda aumentada de formación forzoso (ML), aplicaciones de IA generativas y cargas de trabajo de examen modernas sin tener que mandar la infraestructura subyacente.

El complemento OpenSearch Serverless kNN ahora admite vectores binarios y de 16 bits (FP16), por otra parte de vectores de punto flotante de 32 bits (FP32). Puede juntar las incrustaciones binarias generadas por Amazon Titan Text Embeddings V2 por costos más bajos configurando el tipo de campo vectorial kNN en binario. Los vectores se pueden juntar y agenciárselas en OpenSearch Serverless utilizando las API PUT y GET.

Esta publicación resume los beneficios de esta nueva compatibilidad con vectores binarios en Amazon Titan Text Embeddings, Amazon Bedrock Knowledge Bases y OpenSearch Serverless, y le brinda información sobre cómo comenzar. El ulterior diagrama es un diagrama de construcción próximo con las bases de conocimientos de Amazon Bedrock y Amazon OpenSearch Serverless.

Puede achicar la latencia y achicar los costos de almacenamiento y los requisitos de memoria en OpenSearch Serverless y Amazon Bedrock Knowledge Bases con una reducción mínima en la calidad de recuperación.

Ejecutamos el conjunto de datos de recuperación Massive Text Embedding Benchmark (MTEB) con incrustaciones binarias. En este conjunto de datos, redujimos el almacenamiento y observamos una progreso de 25 veces en la latencia. Las incorporaciones binarias mantuvieron el 98,5% de la precisión de recuperación con reclasificación y el 97% sin reclasificación. Compare estos resultados con los resultados que obtuvimos usando incrustaciones de precisión total (float32). En comparaciones de narración RAG de extremo a extremo con incrustaciones de precisión total, las incrustaciones binarias con Amazon Titan Text Embeddings V2 conservan el 99,1 % de la exactitud de las respuestas de precisión total (98,6 % sin reclasificación). Alentamos a los clientes a realizar sus propias evaluaciones comparativas utilizando Amazon OpenSearch Serverless y Binary Embeddings para Amazon Titan Text Embeddings V2.

Las pruebas comparativas de OpenSearch Serverless que utilizan el cálculo Hierarchical Navigable Small Worlds (HNSW) con vectores binarios han revelado una reducción del 50% en las unidades de computación OpenSearch (OCU) de búsqueda, lo que se traduce en ahorros de costos para los usuarios. El uso de índices binarios ha poliedro como resultado tiempos de recuperación significativamente más rápidos. Los métodos de búsqueda tradicionales a menudo se basan en cálculos computacionales intensivos, como L2 y distancias de cosenos, que pueden consumir muchos bienes. Por el contrario, los índices binarios en Amazon OpenSearch Serverless operan en distancias de Hamming, un enfoque más valioso que acelera las consultas de búsqueda.

En las siguientes secciones discutiremos los procedimientos para incrustaciones binarias. con incrustaciones de texto de Amazon Titanbinario vectores (y FP16) para motor de vectorese incrustación binaria opción para Bases de conocimiento de Amazon Bedrock Para obtener más información sobre las bases de conocimientos de Amazon Bedrock, visite Knowledge Bases ahora ofrece una experiencia RAG totalmente administrada en Amazon Bedrock.

Genere incrustaciones binarias con Amazon Titan Text Embeddings V2

Amazon Titan Text Embeddings V2 ahora admite incrustaciones binarias y está optimizado para el rendimiento y la precisión de la recuperación en diferentes tamaños de dimensión (1024, 512, 256) con soporte de texto para más de 100 idiomas. De forma predeterminada, los modelos de Amazon Titan Text Embeddings producen incrustaciones con una precisión de coma flotante de 32 bits (FP32). Aunque el uso de un vector de 1024 dimensiones de incorporaciones FP32 ayuda a conseguir una maduro precisión, además genera grandes requisitos de almacenamiento y costos relacionados en los casos de uso de recuperación.

Para suscitar incrustaciones binarias en el código, agregue el derecho embeddingTypes parámetro en su invoke_model Solicitud de API para Incrustaciones de texto de Amazon Titan V2:

import json
import boto3
import numpy as np
rt_client = boto3.client("bedrock-runtime")

response = rt_client.invoke_model(modelId="amazon.titan-embed-text-v2:0", 
          body=json.dumps(
               {
                   "inputText":"What is Amazon Bedrock?",
                   "embeddingTypes": ("binary","float")
               }))('body').read()

embedding = np.array(json.loads(response)("embeddingsByType")("binary"), dtype=np.int8)

Como en la solicitud mencionado, podemos solicitar la incrustación binaria sola o ambas incrustaciones binaria y flotante. lo mencionado embedding hacia lo alto hay un vector binario de 1024 longitudes similar a:

array((0, 1, 1, ..., 0, 0, 0), dtype=int8)

Para obtener más información y código de muestra, consulte Texto de incrustaciones de Amazon Titan.

Configure las bases de conocimiento de Amazon Bedrock con incrustaciones de vectores binarios

Puede utilizar Amazon Bedrock Knowledge Bases, para disfrutar las incrustaciones binarias con Amazon Titan Text Embeddings V2 y los vectores binarios y coma flotante de 16 bits (FP16) para motor vectorial en Amazon OpenSearch Serverless, sin escribir una sola semirrecta de código. Siga estos pasos:

1. en el Consola Amazon Bedrockcrear una almohadilla de conocimientos. Proporcione los detalles de la almohadilla de conocimientos, incluidos el nombre y la descripción, y cree un rol de servicio nuevo o utilice uno existente con la información relevante. Encargo de ataque e identidad de AWS (IAM) permisos. Para obtener información sobre la creación de roles de servicio, consulte Roles de servicio. Bajo Elija la fuente de datosnominar amazon s3como se muestra en la ulterior captura de pantalla. Designar Próximo.
   
2. Configure la fuente de datos. Introduzca un nombre y una descripción. Delimitar el fuente S3 URI. Bajo Configuraciones de fragmentación y examennominar Por defecto. Designar Próximo para continuar.
   
3. Complete la configuración de la almohadilla de conocimientos seleccionando un maniquí de incorporación. Para este tutorial, seleccione Incrustación de texto Titan v2. Bajo Tipo de incrustacionesnominar Incrustaciones de vectores binarios. Bajo Dimensiones vectorialesnominar 1024. Designar Creación rápida de una nueva tienda de vectores. Esta opción configurará una nueva tienda Amazon Open Search Serverless que admita el tipo de datos binarios.
   

Puede consultar los detalles de la almohadilla de conocimientos a posteriori de la creación para monitorear el estado de sincronización de la fuente de datos. Una vez completada la sincronización, puede probar la almohadilla de conocimientos y comprobar las respuestas del FM.

Conclusión

Como hemos explorado a lo extenso de esta publicación, las incrustaciones binarias son una opción en los modelos Amazon Titan Text Embeddings V2 disponibles en Amazon Bedrock y el almacén de vectores binarios en OpenSearch Serverless. Estas características reducen significativamente las deposición de memoria y disco en Amazon Bedrock y OpenSearch Serverless, lo que genera menos OCU para la opción RAG. Asimismo experimentará un mejor rendimiento y una progreso en la latencia, pero habrá cierto impacto en la precisión de los resultados en comparación con el uso del tipo de datos flotante completo (FP32). Aunque la caída en la precisión es mínima, usted debe animarse si se adapta a su aplicación. Los beneficios específicos variarán según factores como el convexidad de datos, el tráfico de búsqueda y los requisitos de almacenamiento, pero los ejemplos analizados en esta publicación ilustran el valencia potencial.

La compatibilidad con Binary Embeddings en Amazon Open Search Serverless, Amazon Bedrock Knowledge Bases y Amazon Titan Text Embeddings v2 están disponibles hoy en todos Regiones de AWS donde los servicios ya están disponibles. Compruebe el Letanía de regiones para más detalles y futuras actualizaciones. Para obtener más información sobre las bases de conocimientos de Amazon, visite el Bases de conocimiento de Amazon Bedrock página del producto. Para obtener más información sobre las incrustaciones de texto de Amazon Titan, visite Coloso amazónico en vaguada de roca amazónica. Para obtener más información sobre Amazon OpenSearch Serverless, visite el Amazon OpenSearch sin servidor página del producto. Para obtener detalles sobre los precios, revise la Precios de Amazon Bedrock página.

Pruebe la nueva característica en el Consola Amazon Bedrock hoy. Cursar comentarios a AWS re: Publicación para Amazon Bedrock o a través de sus contactos habituales de AWS e interactúe con la comunidad de creadores de IA generativa en comunidad.aws.

Acerca de los autores

Shreyas Subramanian es un verificado de datos principal y ayuda a los clientes mediante el uso de IA generativa y formación profundo para resolver sus desafíos comerciales mediante los servicios de AWS. Shreyas tiene experiencia en optimización a gran escalera y ML y en el uso de ML y formación por refuerzo para acelerar las tareas de optimización.

Ron Widha es administrador senior de expansión de software en Amazon Bedrock Knowledge Bases y ayuda a los clientes a crear fácilmente aplicaciones RAG escalables.

satish nandi es administrador senior de productos en Amazon OpenSearch Service. Está centrado en OpenSearch Serverless y tiene abriles de experiencia en redes, seguridad e IA/ML. Tiene una estudios en informática y un MBA en plan. En su tiempo vaco, le gusta demoler aviones, planear y hurgar en motocicleta.

Vamshi Vijay Nakkirtha es un administrador senior de expansión de software que trabaja en el esquema OpenSearch y el servicio Amazon OpenSearch. Sus principales intereses incluyen los sistemas distribuidos.