En el impulso de seguir siendo competitivos, las empresas de hoy están recurriendo a IA para ayudarlos a minimizar el costo y maximizar la eficiencia. Les corresponde a ellos encontrar el maniquí de IA más adecuado, el que los ayudará a conseguir más mientras gasta menos. Para muchas empresas, la migración de la clan maniquí de OpenAi a Amazon Nova Representa no solo un cambio en el maniquí sino un movimiento clave en torno a la escalabilidad, la eficiencia y las capacidades multimodales más amplias.
En este blog, discutimos cómo optimizar la solicitud en Amazon Nova para el mejor rendimiento de precio.
¿Por qué portar de OpenAi a Amazon Nova?
Los modelos de OpenAI siguen siendo poderosos, pero sus costos operativos pueden ser prohibitivos cuando se escalan. Considere estas cifras de Estudio sintético:
| Maniquí | Costo de token de entrada (por millón de tokens) | Costo de token de salida (por millón de tokens) | Ventana de contexto | Velocidad de salida (tokens por segundo) | Latencia (segundos por primer token) |
| GPT-4O | ~ $ 2.50 | ~ $ 10.00 | Hasta 128k tokens | ~ 63 | ~ 0.49 |
| GPT-4O mini | ~ $ 0.15 | ~ $ 0.60 | Hasta 128k tokens | ~ 90 | ~ 0.43 |
| Nova Micro | ~ $ 0.035 | ~ $ 0.14 | Hasta 128k tokens | ~ 195 | ~ 0.29 |
| Nova Lite | ~ $ 0.06 | ~ $ 0.24 | Hasta 300k tokens | ~ 146 | ~ 0.29 |
| Nova Pro | ~ $ 0.80 | ~ $ 3.20 | Hasta 300k tokens | ~ 90 | ~ 0.34 |
Para aplicaciones de stop masa, como la atención al cliente total o el investigación de documentos a gran escalera, estas diferencias de costos son perjudiciales. Amazon Nova Pro ofrece no solo tres veces la rentabilidad, su ventana de contexto más larga igualmente le permite manejar entradas más extensas y complejas.
Desglosando la suite Amazon Nova
Amazon Nova no es un maniquí único: es una suite diseñada para varias deposición:
- Amazon Nova Pro – Un maniquí multimodal robusto que puede procesar texto, imágenes y video. Se destaca en tareas como el investigación de documentos y la visualización de datos profundos. Comparaciones de remisión Mostrar Amazon Nova Pro Matching o incluso pasar a GPT-4O en tareas de razonamiento complejas, Según la Sección 2.1.1 del noticia técnico de Nova y la polímero maniquí.
- Amazon Nova Lite – Ofrece una mezcla equilibrada de procesamiento y velocidad multimodales. Amazon Nova Lite es ideal para aplicaciones como breviario de documentos, traducción e incluso búsqueda visual básica, que ofrece resultados de calidad a una latencia y costo más bajos en comparación con GPT-4O Mini. Puede encontrar estos resultados de remisión en Sección 2.1.2 del noticia técnico de Nova y la polímero maniquí.
- Amazon Nova Micro -Un maniquí solo de texto diseñado para la latencia exaltado desvaloración. Con la velocidad de salida de hasta 195 tokens por segundo, Amazon Nova Micro es consumado para aplicaciones en tiempo verdadero, como asistentes basados en chat y preguntas frecuentes automáticas. Sus costos de token son dramáticamente más bajos que los de GPT-4O Mini, más módico 4.3 veces más módico por causa.
Los costos por toque más bajos y la anciano producción por segundo de Amazon Nova le brindan la flexibilidad para simplificar las indicaciones para las aplicaciones en tiempo verdadero para que pueda equilibrar la calidad, la velocidad y el costo de su caso de uso.
Comprender los cimientos
Para tomar la mejor valor sobre qué maniquí de clan se ajusta a sus deposición, es importante comprender las diferencias en las mejores prácticas de ingeniería rápida tanto en Openai como en Amazon Nova. Cada clan maniquí tiene su propio conjunto de fortalezas, pero hay algunas cosas que se aplican a ambas familias. En ambas familias maniquí, la precisión de calidad se logra a través de la claridad de instrucciones, indicaciones estructuradas y refinamiento iterativo. Ya sea que esté utilizando directivas de salida sólidas o casos de uso claramente definidos, el objetivo es resumir la anfibología y mejorar la calidad de la respuesta.
El enfoque de OpenAI
OpenAI utiliza un sistema de correo en capas para ingeniería rápida, donde el sistema, el desarrollador y el beneficiario solicitan que funcionen en avenencia para controlar el tono, la seguridad y el formato de salida. Su enfoque enfatiza:
- Roles de mensajes jerárquicos – Establecer el papel y el comportamiento del maniquí utilizando mensajes del sistema se aseguran de que se conserven las pautas de seguridad y estilo generales (establecidas en las indicaciones del sistema)
- Colocación de instrucciones y delimitadores – Las directivas se colocan al principio, con clara separación entre contexto, ejemplos y consultas
- Sujeción de pensamiento selectiva -El razonamiento detallado y paso a paso se utiliza cuando beneficia tareas complejas
- Formato y estructura – Uso de directivas fuertes como hacer, debe y no proporcionar resultados consistentes (por ejemplo, en JSON)
El enfoque de Amazon Nova
- Defina el caso de uso rápido
- Tarea – ¿Qué debería hacer exactamente el maniquí?
- Role – ¿Qué papel debe responsabilizarse el maniquí?
- Estilo de respuesta – La estructura o tono de la salida
- Instrucciones – Directrices que debe seguir el maniquí
- Sujeción de pensamiento
- Respuesta estatal explícita – Proporcione instrucciones claras y fuertes para demarcar la respuesta del maniquí
- Pensamiento estructural -Pensar paso a paso fomenta el pensamiento estructural
- Formato y estructura
- Use delimitadores para seccionar sus indicaciones, por ejemplo, ## tarea ##, ## context ## o ## Ejemplo ##
- Especifique el formato de salida, por ejemplo, JSON, YAML o Markdown
- Usar instrucciones y gorras fuertes, como hacer, no hacer o debe
- Prefárate las respuestas para enfilar el maniquí, por ejemplo, comienza con «{» o «json …»
Evolucionando su pronta organización: portar de OpenAi a Amazon Nova
La transición a Amazon Nova no es simplemente un cambio en los puntos finales de la API: requiere una reorganización de su rápida ingeniería para alinearse con las fortalezas de Amazon Nova. Debe replantear la definición de su caso de uso. Comience desglosando su mini indicador GPT-4O o GPT-4O presente en sus rudimentos centrales de tarea, rol, estilo de respuesta e instrucciones y criterios de éxito. Asegúrese de ordenar estos rudimentos claramente para proporcionar un plan para el maniquí.
Para comprender cómo portar un indicador de OpenAI existente para funcionar de guisa óptima para Amazon Nova Pro, considere el subsiguiente ejemplo utilizando el breviario de notas de reunión. Aquí está el mensaje del sistema GPT-4O:
El mensaje del beneficiario es las notas de la reunión que deben resumirse:
GPT produce esta respuesta útil:
Para cumplir o pasar la calidad de la respuesta de GPT-4O, así es como podría ser un mensaje de Amazon Nova Pro. El aviso utiliza las mismas mejores prácticas discutidas en esta publicación, comenzando con la solicitud del sistema. Usamos un temperatura de .2 y una topp de .9 aquí:
Aquí está el mensaje del beneficiario, utilizando respuestas precargadas:
El subsiguiente ejemplo muestra que la respuesta de Amazon Nova cumple y supera la precisión del ejemplo de OpenAI, formatea la salida en Markdown y ha opuesto propietarios claros para cada sujeto de energía:
Algunas actualizaciones del aviso pueden conseguir resultados comparables o mejores de Amazon Nova Pro mientras disfrutan de un costo de inferencia mucho menos costoso.
Gastar el contexto extendido de Amazon Nova
Amazon Nova Lite y Amazon Nova Pro pueden convenir hasta 300,000 tokens de entrada, lo que significa que puede incluir más contexto en su mensaje si es necesario. Expanda sus datos de fondo e instrucciones detalladas en consecuencia: si su indicador diferente de Operai fue optimizado para 128,000 tokens, ajustarlos para usar la ventana extendida de Amazon Nova.
Adaptaciones a medida
Si su mensaje GPT requería un formato ajustado (por ejemplo, «Responda solo en JSON»), asegúrese de que su indicador de Amazon Nova incluya estas directivas. Adicionalmente, si su tarea involucra entradas multimodales, especifique cuándo incluir imágenes o referencias de video.
Funciones llamadas
El surgimiento de IA generativa Los agentes han realizado llamadas a funciones, o llamadas de herramientas, una de las habilidades más importantes de un determinado maniquí de lengua amplio (LLM). La capacidad de un maniquí para nominar correctamente la utensilio adecuada para el trabajo, de guisa desvaloración, a menudo es la diferencia entre el éxito y el fracaso de un sistema de agente.
Los modelos OpenAI y Amazon Nova comparten similitudes en las llamadas de funciones, en particular su soporte para llamadas de API estructuradas. Ambas familias de modelos apoyan la selección de herramientas a través de esquemas de herramientas definidos, que discutimos más delante en esta publicación. Los dos igualmente proporcionan un mecanismo para osar cuándo invocar estas herramientas o no.
La señal de función de OpenAI utiliza esquemas JSON flexibles para explicar y ordenar las interacciones API. Los modelos admiten una amplia matiz de configuraciones de esquema, que brindan a los desarrolladores la capacidad de implementar rápidamente llamadas de funciones externas a través de definiciones JSON directas vinculadas a sus puntos finales de API.
Aquí hay un ejemplo de una función:
tools = ({
"type": "function",
"function": {
"name": "get_weather",
"description": "Get current temperature for a given location.",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "City and country e.g. Montevideo, Uruguay"
}
},
"required": (
"location"
),
"additionalProperties": False
},
"strict": True
}
})
completion = client.chat.completions.create(
model="gpt-4o",
messages=({"role": "user", "content": "What is the weather like in Punta del Este today?"}),
tools=toolsSimilar al enfoque de OpenAI, Amazon Nova puede tachar herramientas cuando se pasa un esquema de configuración como se muestra en el subsiguiente ejemplo de código. Amazon Nova ha hecho mucho uso de Decodificación codiciosa Al tachar a las herramientas, y se recomienda establecer la temperatura, Topp y Topk a 1. Esto asegura que el maniquí tenga la anciano precisión en la selección de herramientas. Estos parámetros de decodificación codiciosos y otros excelentes ejemplos de uso de herramientas están cubiertos con gran detalle en Uso de herramientas (llamadas de funciones) con Amazon Nova.
El subsiguiente es un ejemplo de llamadas de funciones sin usar adicional ModelRequestFields:
tool_config = {
"tools": ({
"toolSpec": {
"name": "get_recipe",
"description": "Structured recipe generation system",
"inputSchema": {
"json": {
"type": "object",
"properties": {
"recipe": {
"type": "object",
"properties": {
"name": {"type": "string"},
"ingredients": {
"type": "array",
"items": {
"type": "object",
"properties": {
"item": {"type": "string"},
"amount": {"type": "number"},
"unit": {"type": "string"}
}
}
},
"instructions": {
"type": "array",
"items": {"type": "string"}
}
},
"required": ("name", "ingredients", "instructions")
}
}
}
}
}
})
}
# Saco configuration without topK=1
input_text = "I need a recipe for chocolate deshecho cake"
messages = ({
"role": "user",
"content": ({"text": input_text})
})
# Inference parameters
inf_params = {"topP": 1, "temperature": 1}
response = client.converse(
modelId="us.amazon.nova-lite-v1:0",
messages=messages,
toolConfig=tool_config,
inferenceConfig=inf_params
)
# Typically produces less structured or incomplete output
El subsiguiente ejemplo muestra cómo se puede mejorar la precisión de la señal de función utilizando
adicional ModelRequestFields:
# Enhanced configuration with topK=1
response = client.converse(
modelId="us.amazon.nova-lite-v1:0",
messages=messages,
toolConfig=tool_config,
inferenceConfig=inf_params,
additionalModelRequestFields={"inferenceConfig": {"topK": 1}}
)
# Produces more accurate and structured function call
Para maximizar el potencial de llamadas de la función de Amazon Nova y mejorar la precisión, use siempre adicional ModelRequestFields con topk = 1. Esto obliga al maniquí a distinguir el token más probable y previene la selección de token azaroso. Esto aumenta la engendramiento de salida determinista y mejoramiento la precisión de las llamadas de función en aproximadamente un 30-40%.
Los siguientes ejemplos de código explican aún más cómo realizar llamadas de herramientas con éxito. El primer proscenio muestra la engendramiento de recetas sin una utensilio explícita. El ejemplo no usa TOPK, que generalmente da como resultado respuestas que están menos estructuradas:
input_text = """
I'm looking for a decadent chocolate dessert that's quick to prepare.
Something that looks fancy but isn't complicated to make.
"""
messages = ({
"role": "user",
"content": ({"text": input_text})
})
response = client.converse(
modelId="us.amazon.nova-lite-v1:0",
messages=messages,
inferenceConfig={"topP": 1, "temperature": 1}
)
# Generates a conversational recipe description
# Less structured, more narrative-driven response
En este ejemplo, el proscenio muestra la engendramiento de recetas con una utensilio estructurada. Agregamos el conjunto TOPK a 1, que produce una salida más estructurada:
response = client.converse(
modelId="us.amazon.nova-lite-v1:0",
messages=messages,
toolConfig=tool_config,
inferenceConfig={"topP": 1, "temperature": 1},
additionalModelRequestFields={"inferenceConfig": {"topK": 1}}
)
# Generates a highly structured, JSON-compliant recipe
# Includes precise ingredient measurements
# Provides step-by-step instructionsEn caudillo, Operai ofrece un soporte de esquema más flexible y más amplio. Amazon Nova proporciona una engendramiento de salida más precisa y controlada y es la mejor opción cuando se trabaja con escenarios de datos estructurados de stop aventura, como se demostró en el rendimiento de Amazon Nova en el punto de remisión Ifeval discutido en la Sección 2.1.1 de la polímero técnica y la polímero maniquí. Recomendamos el uso de Amazon Nova para aplicaciones que requieren respuestas estructuradas predecibles porque su metodología de llamadas de funciones proporciona un control y precisión superiores.
Conclusión
La progreso de los modelos de OpenAI a Amazon Nova representa un cambio significativo en el uso de AI. Muestra una transición en torno a modelos que ofrecen un rendimiento similar o superior a una fracción del costo, con capacidades ampliadas en el procesamiento multimodal y el manejo de contexto extendido.
Ya sea que esté utilizando el Amazon Nova Pro de Amazon Nova Pro, el ágil y crematístico Amazon Nova Lite, o el versátil Amazon Nova Micro, los beneficios son claros:
- Capital de costos – Con los costos de token hasta cuatro veces más bajos, las empresas pueden prosperar aplicaciones de guisa más económica
- Rendimiento de respuesta mejorada -Los tiempos de respuesta más rápidos (hasta 190 tokens por segundo) hacen que las aplicaciones en tiempo verdadero sean más viables
- Capacidades ampliadas – Una ventana de contexto más amplio y soporte multimodal desbloquean nuevas aplicaciones, desde investigación de documentos detallados hasta contenido visual integrado
Al transformarse su pronta organización: redefinir los casos de uso, explotar el contexto extendido y refinar las instrucciones iterativamente, puede portar sin problemas sus flujos de trabajo existentes de los modelos O4 y O4-Mini de OpenAI al progresista mundo de Amazon Nova.
Sobre los autores
Claudio Mazzoni es un arquitecto de soluciones especialistas en SR en el equipo de Amazon Bedrock GTM. Claudio excede a enfilar a los clientes a través de su delirio de Gen AI. Fuera del trabajo, Claudio disfruta advenir tiempo con la clan, trabajar en su edén y cocinar comida uruguaya.
Pat Reilly es un arquitecto de soluciones especializadas en el Sr. Amazon Bedrock Go-to-Mercado. Pat ha pasado los últimos 15 primaveras en investigación y educación instintivo como consejero. Cuando no está construyendo en AWS, puedes encontrarlo tocando con proyectos de madera.