El maniquí NVIDIA Nemotron 3 Nano 30B MoE ya está apto en Amazon SageMaker JumpStart

Hoy nos complace anunciar que el NVIDIA Nemotrón 3 El maniquí Nano 30B con parámetros activos 3B ahora está apto de forma generalizada en el Inicio rápido de Amazon SageMaker catálogo de modelos. Puede acelerar la innovación y ofrecer valía empresarial tangible con Nemotron 3 Nano en Amazon Web Services (AWS) sin tener que ejecutar las complejidades de implementación del maniquí. Puede potenciar sus aplicaciones de IA generativa con capacidades de Nemotron utilizando las capacidades de implementación administrada que ofrece SageMaker JumpStart.

Nemotron 3 Nano es un maniquí híbrido de habla pequeño de expertos (MoE) con la veterano eficiencia y precisión informática para que los desarrolladores impulsen tareas de agentes en gran medida calificados a escalera. El maniquí es completamente hendido con ponderaciones, conjuntos de datos y recetas abiertos, por lo que los desarrolladores pueden personalizar, optimizar e implementar sin problemas el maniquí en su infraestructura para ayudar a cumplir con sus requisitos de privacidad y seguridad. Nemotron 3 Nano sobresale en codificación y razonamiento, y lidera puntos de relato como SWE Bench Verified, GPQA Diamond, AIME 2025, Arena Hard v2 e IFBench.

Acerca de Nemotrón 3 Nano 30B

Nemotron 3 Nano se diferencia de otros modelos por su construcción y precisión, y cuenta con un sólido rendimiento en una variedad de habilidades en gran medida técnicas:

• Bloque:
  • ο MoE con construcción híbrida Transformer-Mamba ο Admite presupuesto de tokens para proporcionar una precisión óptima con una procreación mínima de tokens de razonamiento
• Exactitud:
  • Precisión líder en codificación, razonamiento irrefutable, matemáticas y seguimiento de instrucciones.
  • Lidera puntos de relato como LiveCodeBench, GPQA Diamond, AIME 2025, BFCL e IFBench (en comparación con otros modelos de habla hendido inferiores a 30 mil millones)
• Usabilidad:
  • Maniquí de parámetros 30B con 3 mil millones de parámetros activos
  • Tiene una ventana de contexto de hasta 1 millón de tokens.
  • Maniquí elemental basado en texto, que utiliza texto tanto para entradas como para futuro

Requisitos previos

Para comenzar con Nemotron 3 Nano en Amazon SageMaker JumpStart, debe tener un aprovisionado Amazon SageMaker Estudio dominio.

Comience con NVIDIA Nemotron 3 Nano 30B en SageMaker JumpStart

Para probar el maniquí Nemotron 3 Nano en SageMaker JumpStart, refugio SageMaker Studio y elija Modelos en el panel de navegación. Busque NVIDIA en la mostrador de búsqueda y elija NVIDIA Nemotrón 3 Nano 30B como maniquí.

En la página de detalles del maniquí, elija Desplegar y siga las indicaciones para implementar el maniquí.

A posteriori de implementar el maniquí en un punto final de SageMaker AI, puede probarlo. Puede alcanzar al maniquí utilizando el futuro Interfaz de orientación de comandos de AWS (AWS CLI) ejemplos de código. puedes usar nvidia/nemotron-3-nano como ID del maniquí.

cat > input.json << EOF
{
"model": "${MODEL_ID}",
"messages": (
{
 	"role": "system",
 	"content": "You are a helpful assistant."
 },
 {
 	"role": "user",
       	"content": "What is NVIDIA? Answer in 2-3 sentences."
}),
"max_tokens": 512,
"temperature": 0.2,
"stream": False, # Set to False for non-streaming mode,
   	"chat_template_kwargs": {"enable_thinking": False} # Set to False for non-reasoning mode
}
EOF
 
aws sagemaker-runtime invoke-endpoint 
--endpoint-name ${ENDPOINT_NAME} 
--region ${AWS_REGION} 
--content-type 'application/json' 
--body fileb://input.json 
> response.json

Alternativamente, puede alcanzar al maniquí utilizando SageMaker SDK y el código Boto3. Los siguientes ejemplos de código Python muestran cómo dirigir un mensaje de texto a NVIDIA Nemotron 3 Nano 30B utilizando SageMaker SDK. Para obtener ejemplos de código adicionales, consulte la Repositorio de NVIDIA GitHub.

runtime_client = boto3.client('sagemaker-runtime', region_name=region) 
payload = {
        "messages": (
            {"role": "user", "content": prompt}
        ),
        "max_tokens": 1000
    }
    
    try:
        response = self.runtime_client.invoke_endpoint(
            EndpointName=self.endpoint_name,
            ContentType="application/json",
            Body=json.dumps(payload)
        )
        
        response_body = response('Body').read().decode('utf-8')
        raw_response = json.loads(response_body)
        
        # Parse the response using our custom parser
        return self.parse_response(raw_response)
        
    except Exception as e:
        raise Exception(
            f"Failed to invoke endpoint '{self.endpoint_name}': {str(e)}. "
            f"Check that the endpoint is InService and you have least-privileged IAM permissions assigned."
        )

Ahora apto

NVIDIA Nemotron 3 Nano ahora está apto completamente administrado en SageMaker JumpStart. Consulte el paquete maniquí para conocer la disponibilidad de la región de AWS. Para obtener más información, consulte el Página del maniquí Nemotron Nanoel Cuaderno de muestra NVIDIA GitHub para Nemotron 3 Nano 30By el Página de precios de Amazon SageMaker JumpStart.

Pruebe hoy el maniquí Nemotron 3 Nano en Amazon SageMaker JumpStart y envíe sus comentarios a AWS re: Publicación para SageMaker JumpStart o a través de sus contactos habituales de AWS Support.

Sobre los autores

Daniel Ferguson es arquitecto de soluciones en AWS, con sede en Nueva York, EE. UU. Como hábil en servicios de formación mecánico, Dan trabaja para ayudar a los clientes en su camino en torno a la integración de flujos de trabajo de formación mecánico de modo capaz, efectiva y sostenible.

Pooja Karadgi lidera asociaciones estratégicas y de productos para Amazon SageMaker JumpStart, el centro de formación mecánico e inteligencia industrial generativa en el interior de SageMaker. Se dedica a acelerar la admisión de la IA por parte de los clientes simplificando el descubrimiento y la implementación del maniquí elemental, lo que permite a los clientes crear aplicaciones de IA generativa listas para producción a lo dilatado de todo el ciclo de vida del maniquí, desde la incorporación y la personalización hasta la implementación.

Pequeño Crabtree es ingeniero de software senior en el equipo de inteligencia industrial de Amazon SageMaker y se especializa en felicitar la experiencia de “última milla” a los clientes. Le apasiona democratizar los últimos avances en inteligencia industrial ofreciendo capacidades fáciles de usar. Adicionalmente, Ben tiene mucha experiencia en la creación de infraestructura de formación mecánico a escalera.

timothy ma es doble principal en IA generativa en AWS, donde colabora con clientes para diseñar e implementar soluciones de formación mecánico de vanguardia. Asimismo lidera estrategias de comercialización de servicios de IA generativa, ayudando a las organizaciones a rendir el potencial de las tecnologías avanzadas de IA.

Abdullahi Olaoye es arquitecto senior de soluciones de IA en NVIDIA y se especializa en la integración de bibliotecas, marcos y productos de IA de NVIDIA con servicios de IA en la cúmulo y herramientas de código hendido para optimizar la implementación, la inferencia y los flujos de trabajo de IA generativos del maniquí de IA. Colabora con AWS para mejorar el rendimiento de las cargas de trabajo de IA e impulsar la admisión de soluciones de IA generativa e IA impulsadas por NVIDIA.

Nirmal Kumar Juluru es apoderado de marketing de productos en NVIDIA que impulsa la admisión de software, modelos y API de IA en el catálogo NVIDIA NGC y los modelos y puntos finales de NVIDIA AI Foundation. Anteriormente trabajó como desarrollador de software. Nirmal tiene un MBA de la Universidad Carnegie Mellon y una doctorado en informática de BITS Pilani.

Vivian Chen es arquitecta de soluciones de formación profundo en NVIDIA, donde ayuda a los equipos a cerrar la brecha entre la investigación compleja de IA y el rendimiento del mundo positivo. Vivian, especializada en optimización de inferencias y soluciones de inteligencia industrial integradas en la cúmulo, se enfoca en convertir el trabajo pesado del formación mecánico en aplicaciones rápidas y escalables. Le apasiona ayudar a los clientes a navegar por la pila de computación acelerada de NVIDIA para avalar que sus modelos no solo funcionen en el laboratorio, sino que todavía prosperen en la producción.