Integre Amazon Bedrock con Amazon Redshift ML para aplicaciones de IA generativa

Desplazamiento al rojo del Amazonas ha mejorado su Función de educación mecánico de desplazamiento al rojo para soportar la integración de modelos de jerigonza grandes (LLM). Como parte de estas mejoras, Redshift ahora permite la integración nativa con Roca Amazónica. Esta integración le permite utilizar LLM a partir de comandos SQL simples adjunto con sus datos en Amazon Redshift, lo que le ayuda a crear IA generativa aplicaciones rápidamente. Esta poderosa combinación permite a los clientes usar las capacidades transformadoras de los LLM e incorporarlas sin problemas en sus flujos de trabajo analíticos.

Con esta nueva integración, ahora puede realizar tareas generativas de IA, como traducción de idiomas, compendio de texto, gestación de texto, clasificación de clientes y observación de sentimientos en sus datos de Redshift utilizando modelos básicos (FM) populares como Claude de Anthropic, Amazon Titan y Apasionamiento de Meta. 2 y Mistral AI. Puedes usar el CREAR MODELO EXTERNO comando para apuntar a un maniquí basado en texto en Roca Amazónicaque no requiere capacitación ni aprovisionamiento de modelos. Puede invocar estos modelos mediante comandos SQL familiares, lo que hace que sea más sencillo que nunca integrar capacidades de IA generativa en sus flujos de trabajo de observación de datos.

Descripción militar de la opción

Para ilustrar esta nueva función de educación mecánico (ML) de Redshift, crearemos una opción para difundir planes de dieta personalizados para pacientes en función de sus afecciones y medicamentos. La subsiguiente figura muestra los pasos para construir la opción y los pasos para ejecutarla.

Los pasos para construir y ejecutar la opción son los siguientes:

1. Cargar datos de pacientes de muestra
2. Preparar el mensaje
3. Habilitar el camino a LLM
4. Cree un maniquí que haga narración al maniquí LLM en Amazon Bedrock
5. Envíe el mensaje y genere un plan de dieta personalizado para el paciente.

Requisitos previos

1. Un cuenta de AWS.
2. Un Amazon Redshift sin servidor especie de trabajo o almacén de datos aprovisionado. Para obtener instrucciones de configuración, consulte Crear un especie de trabajo con un espacio de nombres o Cree un almacén de datos de Amazon Redshift de muestrarespectivamente. La característica de integración de Amazon Bedrock es compatible tanto con Amazon Redshift aprovisionado como sin servidor.
3. Crear o modernizar una AWS Identity and Access Management (rol de IAM) para la integración de Amazon Redshift ML con Amazon Bedrock.
4. Asociar el rol de IAM a una instancia de Redshift.
5. Los usuarios deben tener la permisos requeridos para crear modelos.

Implementación

Los siguientes son los pasos de implementación de la opción. Los datos de muestra utilizados en la implementación son solo para ilustración. El mismo enfoque de implementación se puede adaptar a sus conjuntos de datos y casos de uso específicos.

Puedes descargar un cuaderno SQL para ejecutar los pasos de implementación en Redshift Editor de consultas V2. Si está utilizando otro editor SQL, puede copiar y pegar las consultas SQL desde el contenido de esta publicación o desde el cuaderno.

Cargar datos de pacientes de muestra:

1. Brindar desplazamiento al rojo de Amazon Editor de consultas V2 u otro editor SQL de su dilema y conéctese al almacén de datos de Redshift.
2. Ejecute el subsiguiente SQL para crear el patientsinfo tabla y cargar datos de muestra.

-- Create table

CREATE TABLE patientsinfo (
pid integer ENCODE az64,
pname varchar(100),
condition character varying(100) ENCODE lzo,
medication character varying(100) ENCODE lzo
);

3. Descarga el archivo de muestracárguelo en su depósito S3 y cargue los datos en el patientsinfo tabla usando el subsiguiente comando COPY.

-- Load sample data
COPY patientsinfo
FROM 's3://<>/sample_patientsinfo.csv'
IAM_ROLE DEFAULT
csv
DELIMITER ','
IGNOREHEADER 1;

Prepare el mensaje:

1. Ejecute el subsiguiente SQL para unir las condiciones del paciente y los medicamentos.

SELECT
pname,
listagg(distinct condition,',') within group (order by pid) over (partition by pid) as conditions,
listagg(distinct medication,',') within group (order by pid) over (partition by pid) as medications
FROM patientsinfo

El subsiguiente es el resultado de muestra que muestra condiciones y medicamentos agregados. El resultado incluye varias filas, que se agruparán en el subsiguiente paso.

2. Cree el mensaje para combinar datos de pacientes, condiciones y medicamentos.

SELECT
pname || ' has ' || conditions || ' taking ' || medications as patient_prompt
FROM (
    SELECT pname, 
    listagg(distinct condition,',') within group (order by pid) over (partition by pid) as conditions,
    listagg(distinct medication,',') within group (order by pid) over (partition by pid) as medications
    FROM patientsinfo) 
GROUP BY 1

El subsiguiente es el resultado de muestra que muestra los resultados del mensaje completamente creado que concatena los pacientes, las condiciones y los medicamentos en un valía de una sola columna.

3. Cree una instinto materializada con la consulta SQL inicial como definición. Este paso no es obligatorio; estás creando la tabla para favorecer la ojeada. Tenga en cuenta que es posible que vea un mensaje que indica que las vistas materializadas con apelativo de columna no se actualizarán de forma incremental. Puede ignorar este mensaje con seguridad a los género de esta ilustración.

CREATE MATERIALIZED VIEW mv_prompts AUTO REFRESH YES
AS
(
SELECT pid,
pname || ' has ' || conditions || ' taking ' || medications as patient_prompt
FROM (
SELECT pname, pid,
listagg(distinct condition,',') within group (order by pid) over (partition by pid) as conditions,
listagg(distinct medication,',') within group (order by pid) over (partition by pid) as medications
FROM patientsinfo)
GROUP BY 1,2
)

4. Ejecute el subsiguiente SQL para revisar el resultado de muestra.

SELECT * FROM mv_prompts limit 5;

El subsiguiente es un resultado de muestra con una instinto materializada.

Habilite el camino al maniquí LLM:

Realice los siguientes pasos para habilitar el camino al maniquí en Amazon Bedrock.

1. Navega hasta el Consola Amazon Bedrock.
2. En el panel de navegación, elija Camino al maniquí.

3. Designar Habilitar modelos específicos.
   Debes tener lo requerido permisos de IAM para permitir el camino a las FM de Amazon Bedrock disponibles.

4. Para esta ilustración, utilice El maniquí Claude de Anthropic. Ingresar Claude en el cuadro de búsqueda y seleccione claudio de la directorio. Designar Próximo para proceder.

5. Revisa la selección y elige Entregar.

Cree un maniquí que haga narración al maniquí LLM en Amazon Bedrock:

1. Vuelva a navegar a Amazon Redshift Editor de consultas V2 o, si no usó Query Editor V2, al editor SQL que usó para conectarse con el almacén de datos de Redshift.
2. Ejecute el subsiguiente SQL para crear un maniquí foráneo haciendo narración al anthropic.claude-v2 maniquí en Amazon Bedrock. Ver ID de maniquí de Amazon Bedrock para entender cómo encontrar el ID del maniquí.

CREATE EXTERNAL MODEL patient_recommendations
FUNCTION patient_recommendations_func
IAM_ROLE '<>'
MODEL_TYPE BEDROCK
SETTINGS (
    MODEL_ID 'anthropic.claude-v2',
    PROMPT 'Generate personalized diet plan for following patient:');

Envíe el mensaje y genere un plan de dieta personalizado para el paciente:

1. Ejecute el subsiguiente SQL para acaecer el mensaje a la función creada en el paso inicial.

SELECT patient_recommendations_func(patient_prompt) 
FROM mv_prompts limit 2;

2. Obtendrá el resultado con el plan de dieta generado. Puede copiar las celdas y pegarlas en un editor de texto o exportar el resultado para ver los resultados en una hoja de cálculo si está utilizando Redshift Query Editor V2.

Deberá ampliar el tamaño de la fila para ver el texto completo.

Opciones de personalización adicionales

El ejemplo inicial demuestra una integración sencilla de Amazon Redshift con Amazon Bedrock. Sin requisa, puede personalizar aún más esta integración para adaptarla a sus deyección y requisitos específicos.

• La inferencia funciona como funciones exclusivas del líder: Las funciones de inferencia del maniquí de Amazon Bedrock se pueden ejecutar solo como nodo líder cuando la consulta no hace narración a tablas. Esto puede resultar útil si desea hacerle una pregunta rápidamente a un LLM.

Puede ejecutar el subsiguiente SQL sin FROM cláusula. Esto se ejecutará solo como función del nodo líder porque no necesita datos para despabilarse y acaecer al maniquí.

SELECT patient_recommendations_func('Generate diet plan for pre-diabetes');

Esto le devolverá un plan de dieta genérico de 7 días para la prediabetes. La subsiguiente figura es un ejemplo de salida generado por la indicación de función inicial.

• Inferencia con modelos de tipo de solicitud UNIFICADOS: En este modo, puede acaecer parámetros opcionales adicionales adjunto con el texto de entrada para personalizar la respuesta. Amazon Redshift pasa estos parámetros a los parámetros correspondientes para el API inversa.

En el subsiguiente ejemplo, estamos configurando el temperature parámetro a un valía personalizado. El parámetro temperature afecta la aleatoriedad y la creatividad de los resultados del maniquí. El valía predeterminado es 1 (el rango es 0–1,0).

SELECT patient_recommendations_func(patient_prompt,object('temperature', 0.2)) 
FROM mv_prompts
WHERE pid=101;

El subsiguiente es un resultado de muestra con una temperatura de 0,2. El resultado incluye recomendaciones para tomar líquidos y evitar ciertos alimentos.

Regenere las predicciones, esta vez estableciendo la temperatura en 0,8 para el mismo paciente.

SELECT patient_recommendations_func(patient_prompt,object('temperature', 0.8)) 
FROM mv_prompts
WHERE pid=101;

El subsiguiente es un resultado de muestra con una temperatura de 0,8. El resultado todavía incluye recomendaciones sobre la ingesta de líquidos y los alimentos que se deben evitar, pero es más específico en esas recomendaciones.

Tenga en cuenta que el resultado no será el mismo cada vez que ejecute una consulta en particular. Sin requisa, queremos ilustrar que el comportamiento del maniquí está influenciado por parámetros cambiantes.

• Inferencia con modelos de tipo de solicitud RAW: CREATE EXTERNAL MODEL admite modelos alojados en Amazon Bedrock, incluso aquellos que no son compatibles con la API Converse de Amazon Bedrock. En esos casos, el request_type necesita ser raw y la solicitud debe construirse durante la inferencia. La solicitud es una combinación de un mensaje y parámetros opcionales.

Asegúrese de habilitar el camino al maniquí Titan Text G1 – Express en Amazon Bedrock ayer de ejecutar el subsiguiente ejemplo. Debes seguir los mismos pasos que se describen anteriormente en Habilitar el camino al maniquí LLM para permitir el camino a este maniquí.

-- Create model with REQUEST_TYPE as RAW

CREATE EXTERNAL MODEL titan_raw
FUNCTION func_titan_raw
IAM_ROLE '<>'
MODEL_TYPE BEDROCK
SETTINGS (
MODEL_ID 'amazon.titan-text-express-v1',
REQUEST_TYPE RAW,
RESPONSE_TYPE SUPER);

-- Need to construct the request during inference.
SELECT func_titan_raw(object('inputText', 'Generate personalized diet plan for following: ' || patient_prompt, 'textGenerationConfig', object('temperature', 0.5, 'maxTokenCount', 500)))
FROM mv_prompts limit 1;

La subsiguiente figura muestra el resultado de muestra.

• Obtenga métricas de ejecución con RESPONSE_TYPE como SUPER: Si necesita más información sobre una solicitud de entrada, como el total de tokens, puede solicitar el RESPONSE_TYPE ser super cuando creas el maniquí.

-- Create Model specifying RESPONSE_TYPE as SUPER.

CREATE EXTERNAL MODEL patient_recommendations_v2
FUNCTION patient_recommendations_func_v2
IAM_ROLE '<>'
MODEL_TYPE BEDROCK
SETTINGS (
MODEL_ID 'anthropic.claude-v2',
PROMPT 'Generate personalized diet plan for following patient:',
RESPONSE_TYPE SUPER);

-- Run the inference function
SELECT patient_recommendations_func_v2(patient_prompt)
FROM mv_prompts limit 1;

La subsiguiente figura muestra el resultado, que incluye los tokens de entrada, los tokens de salida y las métricas de latencia.

Consideraciones y mejores prácticas

Hay algunas cosas a tener en cuenta al utilizar los métodos descritos en esta publicación:

• Las consultas de inferencia pueden difundir excepciones de distrito oportuno a las cuotas de tiempo de ejecución limitadas para Amazon Bedrock. Amazon Redshift reintenta las solicitudes varias veces, pero las consultas aún se pueden jalonar porque el rendimiento de los modelos no aprovisionados puede ser variable.
• El rendimiento de las consultas de inferencia está menguado por las cuotas de tiempo de ejecución de los diferentes modelos que ofrece Amazon Bedrock en las diferentes regiones de AWS. Si descubre que el rendimiento no es suficiente para su aplicación, puede solicitar un aumento de cuota para su cuenta. Para obtener más información, consulte Cuotas para Amazon Bedrock.
• Si necesita un rendimiento estable y consistente, considere obtener un rendimiento aprovisionado para el maniquí que necesita de Amazon Bedrock. Para obtener más información, consulte Aumente la capacidad de invocación de modelos con el rendimiento aprovisionado en Amazon Bedrock.
• El uso de Amazon Redshift ML con Amazon Bedrock genera costos adicionales. El costo es específico del maniquí y de la región y depende de la cantidad de tokens de entrada y salida que procesará el maniquí. Para obtener más información, consulte Precios de Amazon Bedrock.

Desinfección

Para evitar incurrir en cargos futuros, elimine la instancia de Redshift Serverless o el almacén de datos aprovisionado de Redshift creado como parte de los pasos de requisitos previos.

Conclusión

En esta publicación, aprendió cómo utilizar la función ML de Amazon Redshift para invocar LLM en Amazon Bedrock desde Amazon Redshift. Se le proporcionaron instrucciones paso a paso sobre cómo implementar esta integración, utilizando conjuntos de datos ilustrativos. Por otra parte, lea acerca de varias opciones para personalizar aún más la integración para ayudar a satisfacer sus deyección específicas. Te animamos a probar Integración de Redshift ML con Amazon Bedrock y comparte tus comentarios con nosotros.

Acerca de los autores

satesh sonti es un arquitecto senior de soluciones doble en observación con sede en Atlanta, especializado en la creación de servicios de datos empresariales, almacenamiento de datos y soluciones de observación. Tiene más de 19 primaveras de experiencia en la creación de activos de datos y en la dirección de servicios de datos complejos para clientes de banca y seguros en todo el mundo.

Nikos Koulouris es ingeniero de avance de software en AWS. Recibió su doctorado de la Universidad de California en San Diego y ha estado trabajando en las áreas de bases de datos y observación.