Mejore los resultados de búsqueda para IA utilizando el servicio Amazon OpenSearch como una pulvínulo de datos vectorial con Amazon Bedrock

La inteligencia sintético (IA) ha transformado cómo los humanos interactúan con la información de dos maneras principales: aplicaciones de búsqueda e IA generativa. Las aplicaciones de búsqueda incluyen sitios web de comercio electrónico, búsqueda de repositorio de documentos, centros de llamadas de atención al cliente, encargo de relaciones con el cliente, emparejamiento para juegos y búsqueda de aplicaciones. Los casos generativos de uso de IA incluyen chatbots con coexistentes de recuperación de coexistentes (RAG), disección de registro inteligente, coexistentes de código, epítome de documentos y asistentes de IA. AWS recomienda Amazon OpenSearch Service como una pulvínulo de datos vectorial para Roca principio de Amazon como los bloques de construcción para proveer su posibilidad para estas cargas de trabajo.

En esta publicación, aprenderá cómo usar el servicio OpenSearch y el curso de roca de Amazon para construir aplicaciones de búsqueda generativa de IA y IA generativas. Aprenderá sobre cómo los sistemas de búsqueda con IA emplean modelos de pulvínulo (FMS) para capturar y averiguar el contexto y el significado en texto, imágenes, audio y video, entregando resultados más precisos a los usuarios. Aprenderá cómo los sistemas de IA generativos utilizan estos resultados de búsqueda para crear respuestas originales a las preguntas, apoyando conversaciones interactivas entre humanos y máquinas.

La publicación aborda preguntas comunes como:

1. ¿Qué es una pulvínulo de datos vectorial y cómo es compatible con aplicaciones generativas de IA?
2. ¿Por qué se recomienda el servicio Amazon OpenSearch como una pulvínulo de datos vectorial para Amazon Bedrock?
3. ¿Cómo ayudan las bases de datos de vectores a preparar las alucinaciones de IA?
4. ¿Cómo pueden las bases de datos de vectores mejorar los sistemas de recomendación?
5. ¿Cuáles son las capacidades de escalera de OpenSearch como una pulvínulo de datos vectorial?

Cómo funcionan las bases de datos vectoriales en el flujo de trabajo de AI

Cuando está construyendo una búsqueda, FMS y otros modelos de IA convierten varios tipos de datos (texto, imágenes, audio y video) en representaciones matemáticas llamadas vectores. Cuando usa vectores para la búsqueda, codifica sus datos como vectores y almacena esos vectores en una pulvínulo de datos vectorial. Convierte aún más su consulta en un vector y luego consulta la pulvínulo de datos de vectores para encontrar fundamentos relacionados minimizando la distancia entre vectores.

Cuando está construyendo una IA generativa, utiliza FMS como modelos de idiomas grandes (LLM), para difundir texto, video, audio, imágenes, código y más a partir de un aviso. El mensaje puede contener texto, como la pregunta de un usufructuario, pegado con otros medios, como imágenes, audio o video. Sin retención, los modelos de IA generativos pueden producir alucinaciones, las expectativas que parecen convincentes pero contienen errores objetivos. Para resolver este desafío, emplea una búsqueda vectorial para recuperar información precisa de una pulvínulo de datos vectorial. Agrega esta información al indicador en un proceso llamado Coexistentes de recuperación de la Coexistentes (RAG).

¿Por qué es el servicio de Amazon OpenSearch la pulvínulo de datos vectorial recomendada para Amazon Bedrock?

Amazon Bedrock es un servicio totalmente administrado que proporciona FMS de las principales compañías de inteligencia sintético y las herramientas para personalizar estos FMS con sus datos para mejorar su precisión. Con Amazon Bedrock, obtienes una posibilidad sin servidor sin complicaciones para adoptar tu FM seleccionado y usarlo para tu aplicación generativa de IA.

Amazon OpenSearch Service es un servicio totalmente administrado que puede usar para implementar y intervenir OpenSearch en la nimbo de AWS. OpenSearch es una búsqueda de código hendido, disección de registro y posibilidad de pulvínulo de datos vectorial, compuesta por un motor de búsqueda y una pulvínulo de datos vectorial; y OpenSearch Dashboards, un disección de registro, observabilidad, disección de seguridad y posibilidad de tablero. El servicio de OpenSearch puede ayudarlo a implementar y intervenir su infraestructura de búsqueda con capacidades de pulvínulo de datos vectoriales nativas, plantillas preconstruidas y configuración simplificada. Las llamadas de API y las plantillas de integración agilizan la conectividad con Amazon Bedrock FMS, mientras que el motor Vector de servicio OpenSearch puede entregar latencias de milisegundos de un solo dígito para búsquedas en miles de millones de vectores, lo que lo hace ideal para aplicaciones de IA en tiempo existente.

OpenSearch es un tipo especializado de tecnología de pulvínulo de datos que originalmente fue diseñada para la coincidencia y recuperación optimizadas de latencia y rendimiento de bloques grandes y pequeños de texto no estructurado con resultados clasificados. OpenSearch clasifica los resultados basados ​​en una medida de similitud con la consulta de búsqueda, devolviendo los resultados más similares. Esta coincidencia de similitud ha evolucionado con el tiempo. Antiguamente de FMS, los motores de búsqueda utilizaban un sistema de puntuación de frecuencia de palabras llamado frecuencia de documento de término/de documento inverso (TF/IDF). El servicio OpenSearch utiliza TF/IDF para adscribir un documento basado en la extravagancia de los términos de búsqueda en todos los documentos y con qué frecuencia aparecieron los términos de búsqueda en el documento que está puntuando.

Con el aumento de AI/ML, OpenSearch agregó la capacidad de calcular una puntuación de similitud para la distancia entre los vectores. Para averiguar con vectores, agrega incrustaciones vectoriales producidas por FMS y otras tecnologías AI/ML a sus documentos. Para adscribir documentos para una consulta, OpenSearch calcula la distancia desde el vector del documento a un vector desde la consulta. OpenSearch proporciona filtrado y coincidencia basados ​​en campo y Vector híbrido y búsqueda léxicaque usa para incorporar términos en sus consultas. OpenSearch Hybrid Search realiza una consulta léxica y vectorial en paralelo, produciendo una puntuación de similitud con la normalización de puntaje incorporado y la combinación para mejorar la precisión del resultado de la búsqueda en comparación con la similitud léxica o vectorial sola.

El servicio OpenSearch admite tres motores vectoriales: Similitud de Facebook AI (FAISS), Biblioteca espacial no métrica (NMSLIB)y Apache Lucene. Es compatible Búsqueda exacta del vecino más cercanoy búsqueda aproximada del vecino más cercano (ANN) con cualquiera Mundo pequeño jerárquico navegable (HNSW)o Archivo invertido (FIV) motores. El servicio OpenSearch admite métodos de cuantización vectorialincluido Cuantización vectorial basada en disco Para que pueda optimizar el costo, la latencia y la precisión de la recuperación para su posibilidad.

Caso de uso 1: Mejore los resultados de su búsqueda con AI/ML

Para mejorar sus resultados de búsqueda con AI/ML, utiliza un maniquí ML procreador de vectores, con maduro frecuencia un maniquí LLM o multimodal que produce incrustaciones para las entradas de texto e imágenes. Usas Ingestión de Amazon OpenSearcho una tecnología similar para remitir sus datos al servicio OpenSearch con OpenSearch Plugin neural para integrar el maniquí, utilizando una ID del maniquí, en un OpenSearch Ingest Pipeline. La tubería de ingestas pasión a Amazon Bedrock para crear integridades vectoriales para cada documento durante la ingestión.

Para consultar el servicio OpenSearch como una pulvínulo de datos vectorial, utiliza una OpenSearch NEURAL QUERY para gritar a Amazon Bedrock para crear una incrustación para la consulta. La consulta neural utiliza la pulvínulo de datos Vector para recuperar a los vecinos más cercanos.

El servicio ofrece preconstrucción Plantillas de CloudFormation Esa construcción OpenSearch Service Integrations para conectarse a los modelos de Amazon Bedrock Foundation para inferencia remota. Estas plantillas simplifican la configuración del conector que OpenSearch Service utiliza para contactar a Amazon Bedrock.

Posteriormente de deber creado la integración, puede consultar el model_id Cuando configure su ingesta y indagación tuberías.

Caso de uso 2: Amazon OpenSearch Serverless como una pulvínulo de conocimiento de Amazon Bedrock

Amazon OpenSearch Servidor sin ser Ofrece una pulvínulo de datos vectorial de stop rendimiento instintivo que puede usar para construir con el curso de roca de Amazon para los agentes de RAG y AI, sin tener que ordenar la infraestructura de la pulvínulo de datos Vector. Cuando usa OpenSearch sin servidor, crea un compendio—Una colección de índices para las evacuación de búsqueda, vector y registro de su aplicación. Para los casos de uso de la pulvínulo de datos de vectores, envía sus datos vectoriales a los índices de su colección, y OpenSearch Servidor crea una pulvínulo de datos vectorial que proporciona una similitud y recuperación vectoriales rápidas.

Cuando usa OpenSearch Servidor como una pulvínulo de datos vectorial, solo paga el almacenamiento de sus vectores y el cuenta necesario para atender sus consultas. La capacidad de cuenta sin servidor se mide en unidades de cuenta de OpenSearch (OCU). Puede implementar OpenSearch sin servidor a partir de solo una OCU para el progreso y probar las cargas de trabajo por aproximadamente $ 175/mes. OpenSearch Servidor sin escalas hacia lo alto y debajo automáticamente para acomodar su ingestión y búsqueda de cargas de trabajo.

Con Amazon OpenSearch Serverless, obtienes un Almohadilla de datos vectorial de rendimiento instintivo que se integra perfectamente con Amazon Bedrock como pulvínulo de conocimiento para su posibilidad de IA generativa. Utiliza la consola de rock de Amazon para crear automáticamente vectores a partir de sus datos en hasta cinco tiendas de datos, incluida una Amazon Simple Storage Service (Amazon S3) Simplón y guárdelos en una colección Amazon OpenSearch Servidor.

Cuando haya configurado su fuente de datos y haya seleccionado un maniquí, seleccione Amazon OpenSearch sin servidor como su tienda vectorial, y Amazon Bedrock y OpenSearch Serverless lo tomarán desde allí. Amazon Bedrock recuperará automáticamente los datos de origen de su fuente de datos, aplicará las estrategias de disección y fragmentación que ha configurado e Index Vector Increddings en OpenSearch sin servidor. Una emplazamiento API sincronizará su fuente de datos con OpenSearch Servidor Vector Store.

El Amazon Bedrock Remieve_and_Generate () Runtime API Call hace que sea sencillo para usted implementar el trapo con Amazon Bedrock y su pulvínulo de conocimiento sin servidor de OpenSearch.

response = bedrock_agent_runtime_client.retrieve_and_generate(
  input={
    'text': prompt,
  },
  retrieveAndGenerateConfiguration={
    'type': 'KNOWLEDGE_BASE',
    'knowledgeBaseConfiguration': {
      'knowledgeBaseId': knowledge_base_id,
      'modelArn': model_arn,
}})

Conclusión

En esta publicación, aprendió cómo Amazon OpenSearch Service y Amazon Bedrock trabajan juntos para entregar aplicaciones de búsqueda generativa de IA y aplicaciones generativas de IA y por qué el servicio OpenSearch es la pulvínulo de datos Vector recomendada AWS para Amazon Bedrock. Aprendió a añadir FMS de roca principio de Amazon para difundir integridades vectoriales para la búsqueda semántica del servicio OpenSearch para aportar significado y contexto a sus resultados de búsqueda. Aprendió cómo OpenSearch Servidor Sin una pulvínulo de conocimiento estrechamente integrada para Amazon Bedrock que simplifica el uso de modelos de pulvínulo para RAG y otra IA generativa. Principio con Servicio de Amazon OpenSearch y Roca principio de Amazon Hoy para mejorar sus aplicaciones con IA con capacidades de búsqueda mejoradas con expectativas de IA generativas más confiables.

Sobre el autor

Manejador es director de edificación de soluciones para servicios de búsqueda en Amazon Web Services, con sede en Palo Parada, CA. Jon trabaja en estrecha colaboración con el servicio OpenSearch y Amazon OpenSearch, brindando ayuda y orientación a una amplia tonalidad de clientes que tienen cargas de trabajo de disección de búsqueda y registro para OpenSearch. Antiguamente de unirse a AWS, la carrera de Jon como desarrollador de software incluía cuatro abriles de codificación de un motor de búsqueda de comercio electrónico a gran escalera. Jon posee una estudios en las artes de la Universidad de Pensilvania, y una pericia de ciencias y un doctorado en informática e inteligencia sintético de la Universidad Northwestern.