Implementar modelos QWEN con la importación del maniquí personalizado de Amazon Bedrock

Estamos emocionados de anunciar que Importación de modelos personalizados de Amazon Bedrock ahora es compatible Qwen modelos. Ahora puede importar pesos personalizados para arquitecturas QWEN2, QWEN2_VL y QWEN2_5_VL, incluidos modelos como Qwen 2, 2.5 Coder, Qwen 2.5 VL y QWQ 32B. Puede transigir sus propios modelos QWEN personalizados a Amazon Bedrock e implementarlos en un entorno totalmente administrado y sin servidor, sin tener que llevar la batuta la infraestructura o la porción de modelos.

En esta publicación, cubrimos cómo implementar modelos Qwen 2.5 con la importación del maniquí personalizado de rock de Amazon, haciéndolos accesibles para las organizaciones que buscan usar capacidades de IA de última engendramiento adentro de la infraestructura de AWS a un costo efectivo.

Descripción militar de los modelos Qwen

Qwen 2 y 2.5 son familias de modelos de idiomas grandes, disponibles en una amplia viso de tamaños y variantes especializadas para satisfacer diversas evacuación:

• Modelos de idiomas generales: Modelos que van desde 0.5B a 72B de parámetros, con versiones colchoneta e instructores para tareas de propósito militar
• Qwen 2.5 codificador: Especializado para la engendramiento y finalización de código
• Qwen 2.5-math: Centrado en el razonamiento matemático liberal
• QWEN 2.5-VL (idioma de visión): Capacidades de procesamiento de imágenes y videos, habilitando aplicaciones multimodales

Descripción militar de la importación del maniquí personalizado de Amazon Bedrock

La importación del maniquí personalizado de Amazon Bedrock permite la importación y uso de sus modelos personalizados pegado con modelos de colchoneta existentes (FMS) a través de una sola API unificada sin servidor. Puede ceder a sus modelos personalizados importados a pedido y sin la obligación de llevar la batuta la infraestructura subyacente. Acelere su expansión generativo de aplicaciones de inteligencia industrial integrando sus modelos personalizados con compatible con herramientas y características nativas de roca mama de Amazon, como bases de conocimiento de roca mama de Amazon, barandas de roca mama de Amazon y agentes de roca mama de Amazon. La importación del maniquí personalizado de Amazon Bedrock generalmente está habitable en las regiones US-East (N. Virginia), US-West (Oregon) y Europa (Frankfurt) AWS. Ahora, exploraremos cómo puede usar modelos Qwen 2.5 para dos casos de uso comunes: como asistente de codificación y para la comprensión de la imagen. QWEN2.5-Coder es un maniquí de código de última engendramiento, capacidades de coincidencia de modelos patentados como GPT-4O. Admite más de 90 lenguajes de programación y sobresale en la engendramiento de códigos, la depuración y el razonamiento. QWEN 2.5-VL trae capacidades multimodales avanzadas. Según Qwen, QWEN 2.5-VL no solo es competente para inspeccionar objetos como flores y animales, sino además para analizar gráficos, extraer texto de imágenes, interpretar diseños de documentos y procesar videos largos.

Requisitos previos

Antaño de importar el maniquí QWEN con la importación del maniquí personalizado de Amazon Bedrock, asegúrese de tener lo posterior en su división:

1. Una cuenta de AWS activa
2. Un Amazon Simple Storage Service (Amazon S3) cubo para acumular los archivos de maniquí QWEN
3. Permisos suficientes Para crear trabajos de importación de modelos de rock de Amazon
4. Verificado que tu La región es compatible con la importación del maniquí personalizado de Amazon Bedrock

Caso de uso 1: Asistente de codificación de Qwen

En este ejemplo, demostraremos cómo construir un asistente de codificación utilizando el maniquí QWEN2.5coder-7b-Instructo

1. Ir a Cara abrazada y busque y copie el ID de maniquí QWEN/QWEN2.5-CODER-7B-Instructo:

Usarás Qwen/Qwen2.5-Coder-7B-Instruct por el resto del tutorial. No demostramos pasos ajustados, pero además puede afinar antiguamente de importar.

2. Use el posterior comando para descargar una instantánea del maniquí localmente. La biblioteca de Python para la cara de apretón proporciona una utilidad señal descarga de instantáneas para esto:

from huggingface_hub import snapshot_download

snapshot_download(repo_id=" Qwen/Qwen2.5-Coder-7B-Instruct", 
                local_dir=f"./extractedmodel/")

Dependiendo del tamaño de su maniquí, esto podría tomar unos minutos. Cuando se complete, su carpeta de maniquí QWEN Coder 7B contendrá los siguientes archivos.

• Archivos de configuración: Incluido config.json, generation_config.json, tokenizer_config.json, tokenizer.jsony vocab.json
• Archivos de maniquí: Cuatro safetensor archivos y model.safetensors.index.json
• Documentación: LICENSE, README.mdy merges.txt

3. Cargar el maniquí a Amazon S3, usando boto3 o la tilde de comando:

aws s3 cp ./extractedfolder s3://yourbucket/path/ --recursive

4. Inicie el trabajo del maniquí de importación utilizando la posterior señal API:

response = self.bedrock_client.create_model_import_job(
                jobName="uniquejobname",
                importedModelName="uniquemodelname",
                roleArn="fullrolearn",
                modelDataSource={
                    's3DataSource': {
                        's3Uri': "s3://yourbucket/path/"
                    }
                }
            )
            

Igualmente puede hacerlo utilizando la consola de agencia de AWS para Amazon Bedrock.

5. En la consola de rock de Amazon, elija Modelos importados En el panel de navegación.
6. Nominar Importar un maniquí.

7. Ingrese los detalles, incluido un Nombre del maniquí, Nombre del trabajo de importacióny maniquí Ubicación S3.

8. Cree un nuevo rol de servicio o use un rol de servicio existente. Luego elija el maniquí de importación

9. Posteriormente de designar Importar En la consola, debe ver el estado como importación cuando se importa el maniquí:

Si está utilizando su propio rol, asegúrese de amplificar la posterior relación de confianza como se describe en Crear un rol de servicio para la importación del maniquí.

Posteriormente de importar su maniquí, espere a que la inferencia del maniquí esté nómina, y luego chatee con el maniquí en el patio de recreo o a través de la API. En el posterior ejemplo, agregamos Python Para solicitar al maniquí que emita directamente el código Python que enumere los instrumentos en un cubo S3. Recuerde usar la plantilla de chat correcta para las indicaciones de entrada en el formato requerido. Por ejemplo, puede obtener la plantilla de chat correcta para cualquier maniquí compatible en la cara de apretón usando el posterior código:

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-Coder-7B-Instruct")

# Instead of using model.chat(), we directly use model.generate()
# But you need to use tokenizer.apply_chat_template() to format your inputs as shown below
prompt = "Write sample boto3 python code to list files in a bucket stored in the variable `my_bucket`"
messages = (
    {"role": "system", "content": "You are a helpful coding assistant."},
    {"role": "user", "content": prompt}
)
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

Tenga en cuenta que al usar el invoke_model API, debe usar el nombre completo de capital de Amazon (ARN) para el maniquí importado. Puede encontrar el maniquí ARN en la consola Batedrock, navegando a la sección de modelos importados y luego viendo la página Detalles del maniquí, como se muestra en la posterior figura

Posteriormente de que el maniquí esté astuto para la inferencia, puede usar el patio de chat en la consola o las API en la colchoneta para invocar el maniquí.

Caso de uso 2: Qwen 2.5 VL Comprensión de la imagen

Qwen2.5-VL-* ofrece capacidades multimodales, combinando la visión y la comprensión del estilo en un solo maniquí. Esta sección demuestra cómo implementar Qwen2.5-VL utilizando la importación del maniquí personalizado de rock de roca de Amazon y probar sus capacidades de comprensión de imágenes.

Importar QWEN2.5-VL-7B a Amazon Bedrock

Descargue el maniquí de Huggingface Face y cárguelo a Amazon S3:

from huggingface_hub import snapshot_download

hf_model_id = "Qwen/Qwen2.5-VL-7B-Instruct"

# Enable faster downloads
os.environ("HF_HUB_ENABLE_HF_TRANSFER") = "1"

# Download model locally
snapshot_download(repo_id=hf_model_id, local_dir=f"./{local_directory}")

A continuación, coste el maniquí a Amazon Bedrock (ya sea a través de la consola o la API):

response = bedrock.create_model_import_job(
    jobName=job_name,
    importedModelName=imported_model_name,
    roleArn=role_arn,
    modelDataSource={
        's3DataSource': {
            's3Uri': s3_uri
        }
    }
)

Prueba las capacidades de visión

Posteriormente de completar la importación, pruebe el maniquí con una entrada de imagen. El maniquí Qwen2.5-Vl-* requiere el formateo adecuado de las entradas multimodales:

def generate_vl(messages, image_base64, temperature=0.3, max_tokens=4096, top_p=0.9):
    processor = AutoProcessor.from_pretrained("Qwen/QVQ-72B-Preview")
    prompt = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    
    response = client.invoke_model(
        modelId=model_id,
        body=json.dumps({
            'prompt': prompt,
            'temperature': temperature,
            'max_gen_len': max_tokens,
            'top_p': top_p,
            'images': (image_base64)
        }),
        accept="application/json",
        contentType="application/json"
    )
    
    return json.loads(response('body').read().decode('utf-8'))

# Using the model with an image
file_path = "cat_image.jpg"
base64_data = image_to_base64(file_path)

messages = (
    {
        "role": "user",
        "content": (
            {"image": base64_data},
            {"text": "Describe this image."}
        )
    }
)

response = generate_vl(messages, base64_data)

# Print response
print("Model Response:")
if 'choices' in response:
    print(response('choices')(0)('text'))
elif 'outputs' in response:
    print(response('outputs')(0)('text'))
else:
    print(response)
    

Cuando se le proporciona una imagen de ejemplo de un micifuz (como la posterior imagen), el maniquí describe con precisión características secreto como la posición del micifuz, el color de piel, el color de los luceros y la apariencia militar. Esto demuestra la capacidad del maniquí QWEN2.5-VL-* para procesar la información visual y originar descripciones de texto relevantes.

La respuesta del maniquí:

This image features a close-up of a cat lying down on a soft, textured surface, likely a couch or a bed. The cat has a tabby coat with a mix of dark and light brown fur, and its eyes are a striking green with enhiesto pupils, giving it a captivating look. The cat's whiskers are prominent and extend outward from its face, adding to the detailed texture of the image. The background is softly blurred, suggesting a cozy indoor setting with some furniture and possibly a window letting in natural light. The overall atmosphere of the image is warm and serene, highlighting the cat's relaxed and content demeanor. 

Fijación de precios

Puede usar Amazon Bedrock Custom Model Import para usar sus pesos de modelos personalizados adentro de Amazon Bedrock para arquitecturas compatibles, sirviéndolos pegado con FMS alojados de Amazon Bedrock de forma totalmente administrada a través del modo a pedido. La importación del maniquí personalizado no se cobra por la importación del maniquí. Se le cobra por inferencia en función de dos factores: el número de copias del maniquí activo y su duración de la actividad. La facturación ocurre en incrementos de 5 minutos, comenzando desde la primera invocación exitosa de cada copia maniquí. El precio por copia maniquí por minuto varía según los factores que incluyen casa, largura de contexto, región y lectura de la dispositivo de enumeración, y está nivelado por el tamaño de la copia del maniquí. El maniquí personalizado requerido para el alojamiento depende de la casa del maniquí, el recuento de parámetros y la largura de contexto. Amazon Bedrock administra automáticamente la escalera en función de sus patrones de uso. Si no hay invocaciones durante 5 minutos, se escalera a cero y escalera cuando sea necesario, aunque esto podría implicar una latencia de inicio frío de hasta un minuto. Se agregan copias adicionales si el cuerpo de inferencia excede constantemente los límites de concurrencia de una sola copia. El mayor rendimiento y concurrencia por copia se determina durante la importación, en función de factores como la mezcla de token de entrada/salida, tipo de hardware, tamaño del maniquí, casa y optimizaciones de inferencia.

Para más información, ver Precio de roca mama de Amazon.

Purificar

Para evitar cargos continuos a posteriori de completar los experimentos:

1. Elimine sus modelos QWEN importados de la importación del maniquí personalizado de rock de Amazon con la consola o la API.
2. Opcionalmente, elimine los archivos de maniquí de su cubo S3 si ya no los necesita.

Recuerde que si admisiblemente la importación del maniquí personalizado de Amazon Bedrock no cobra por el proceso de importación en sí, se le ejecución por el uso y el almacenamiento de la inferencia de modelos.

Conclusión

Amazon Bedrock Custom Model Import permite a las organizaciones utilizar modelos poderosos disponibles públicamente como Qwen 2.5, entre otros, al tiempo que se beneficia de la infraestructura de nivel empresarial. La naturaleza sin servidor de Amazon Bedrock elimina la complejidad de llevar la batuta las implementaciones y operaciones de modelos, lo que permite a los equipos centrarse en la creación de aplicaciones en división de la infraestructura. Con características como escalado necesario, precios de suscripción por uso e integración perfecta con los servicios de AWS, Amazon Bedrock proporciona un entorno astuto para la producción para cargas de trabajo de IA. La combinación de las capacidades de IA avanzadas de Qwen 2.5 y la infraestructura administrada de roca mama de Amazon ofrece un contrapeso perfecto de rendimiento, costo y eficiencia operativa. Las organizaciones pueden comenzar con modelos más pequeños y ampliar según sea necesario, al tiempo que mantienen el control total sobre sus implementaciones de modelos y se benefician de las capacidades de seguridad y cumplimiento de AWS.

Para obtener más información, consulte el Asesor del afortunado de Amazon Bedrock.

Sobre los autores

Ajit Mahareddy es un líder experimentado de productos y acto del mercado (GTM) con más de 20 primaveras de experiencia en diligencia de productos, ingeniería y mercado. Antaño de su rol flagrante, Ajit lideró a los productos AI/ML de la diligencia de productos en las principales empresas de tecnología, incluidas Uber, Turing y EHealth. Le apasiona avanzar en tecnologías generativas de IA e impulsar el impacto del mundo existente con IA generativa.

Shreyas subramaniano es un estudiado principal de datos y ayuda a los clientes mediante el uso de IA generativa y el educación profundo para resolver sus desafíos comerciales utilizando los servicios de AWS. Shreyas tiene informes en la optimización a gran escalera y ML y en el uso de ML y el educación de refuerzo para acelerar las tareas de optimización.

Yanyan Zhang Es una científica de datos de IA generativa senior en Amazon Web Services, donde ha estado trabajando en tecnologías de IA/ML de vanguardia como doble generativo de IA, ayudando a los clientes a usar IA generativa para ganar los resultados deseados. Yanyan se graduó de la Universidad de Texas A&M con un doctorado en Ingeniería Eléctrica. Fuera del trabajo, le encanta delirar, hacer prueba y explorar cosas nuevas.

Dharinee gupta es una director de ingeniería en AWS Bedrock, donde se enfoca en permitir que los clientes utilicen modelos de código hendido a través de soluciones sin servidor. Su equipo se especializa en optimizar estos modelos para ofrecer el mejor saldo de costo-rendimiento para los clientes. Antaño de su rol flagrante, obtuvo una amplia experiencia en sistemas de autenticación y autorización en Amazon, desarrollando soluciones de acercamiento seguras para las ofertas de Amazon. Dharinee es un apasionado de hacer que las tecnologías AI avanzadas sean accesibles y eficientes para los clientes de AWS.

Lokeshwaran Ravi es ingeniero de compiladores de educación profundo de AWS, especializado en optimización de ML, celeridad del maniquí y seguridad de IA. Se enfoca en mejorar la eficiencia, disminuir los costos y construir ecosistemas seguros para democratizar las tecnologías de IA, hacer que la ML de vanguardia sea accesible e impactante en todas las industrias.

June ganó es director principal de productos de Amazon Sagemaker JumpStart. Se enfoca en hacer que los modelos de colchoneta sean fácilmente descubiertos y utilizables para ayudar a los clientes a construir aplicaciones generativas de inteligencia industrial. Su experiencia en Amazon además incluye aplicaciones de compras móviles y entrega de la última milla.