Esta publicación está coescrita con Abhishek Sawarkar, Eliuth Triana, Jiahong Liu y Kshitiz Gupta de NVIDIA.
En AWS re:Invent 2024, nos complace presentar Amazon Bedrock Marketplace. Esta es una nueva capacidad revolucionaria internamente Roca Amazónica que sirve como un centro centralizado para descubrir, probar e implementar modelos básicos (FM). Proporciona a desarrolladores y organizaciones ataque a un catálogo extenso de más de 100 FM populares, emergentes y especializados, complementando la selección existente de modelos líderes en la industria en Amazon Bedrock. Bedrock Marketplace permite la suscripción e implementación de modelos a través de puntos finales administrados, manteniendo al mismo tiempo la simplicidad de las API unificadas de Amazon Bedrock.
La comunidad NVIDIA Nemotron, acondicionado como NIM de NVIDIA microservicios, ofrece un conjunto de modelos de verbo de vanguardia ahora disponibles a través de Amazon Bedrock Marketplace, lo que marca un hito importante en la accesibilidad y la implementación del maniquí de IA.
En esta publicación, analizamos las ventajas y capacidades de los modelos Bedrock Marketplace y Nemotron, y cómo comenzar.
Acerca del mercado Bedrock de Amazon
Bedrock Marketplace desempeña un papel fundamental en la democratización del ataque a capacidades avanzadas de IA a través de varias ventajas secreto:
- Selección completa de modelos – Bedrock Marketplace ofrece una grado singular de modelos, desde opciones patentadas hasta opciones disponibles públicamente, lo que permite a las organizaciones encontrar la opción perfecta para sus casos de uso específicos.
- Experiencia unificada y segura – Al proporcionar un único punto de ataque para todos los modelos a través de las API de Amazon Bedrock, Bedrock Marketplace simplifica significativamente el proceso de integración. Las organizaciones pueden utilizar estos modelos de forma segura y, para los modelos que son compatibles con la API de Amazon Bedrock Converse, puede utilizar el sólido conjunto de herramientas de Amazon Bedrock, que incluye Agentes de Amazon Bedrock, Bases de conocimiento de Amazon Bedrock, Barandillas de álveo rocoso del Amazonasy Flujos de álveo rocoso del Amazonas.
- Infraestructura escalable – Bedrock Marketplace ofrece escalabilidad configurable a través de puntos finales administrados, lo que permite a las organizaciones distinguir la cantidad deseada de instancias, nominar los tipos de instancias apropiados, determinar políticas de escalamiento forzoso personalizadas que se ajustan dinámicamente a las demandas de la carga de trabajo y optimizar los costos mientras se mantiene el rendimiento.
Acerca de la comunidad de modelos NVIDIA Nemotron
A la vanguardia de la comunidad de modelos NVIDIA Nemotron se encuentra Nemotron-4, según lo concreto por NVIDIA, es un potente maniquí multilingüe de verbo sobresaliente (LLM) entrenado en la impresionante cantidad de 8 billones de tokens de texto, optimizado específicamente para tareas de codificación, inglés y multilingüe. Las capacidades secreto incluyen:
- Engendramiento de datos sintéticos. – Capaz de crear datos de entrenamiento de entrada calidad y específicos de un dominio a escalera
- Soporte multilingüe – Capacitado en corpus de texto extensos, compatible con múltiples idiomas y tareas.
- Inferencia de suspensión rendimiento – Optimizado para una implementación válido en infraestructura acelerada por GPU
- Tamaños de modelos versátiles – Incluye variantes como el Nemotron-4 15B con 15 mil millones de parámetros
- deshonestidad abierta – Ofrece una deshonestidad de maniquí franco excepcionalmente permisiva que brinda a las empresas una forma escalable de crear y poseer datos sintéticos que pueden ayudar a crear potentes LLM.
Los modelos Nemotron ofrecen un potencial transformador para los desarrolladores de IA al enfrentarse desafíos críticos en el ampliación de la IA:
- Aumento de datos – Resolver problemas de escasez de datos generando conjuntos de datos de entrenamiento sintéticos y de entrada calidad.
- Rentabilidad – Resumir los costos de anotación manual de datos y los procesos de compendio de datos que consumen mucho tiempo
- Mejoramiento del entrenamiento del maniquí – Mejorar el rendimiento del maniquí de IA mediante la reproducción de datos sintéticos de entrada calidad.
- Integración flexible – Admite una integración perfecta con los servicios y flujos de trabajo de AWS existentes, lo que permite a los desarrolladores crear soluciones de IA sofisticadas más rápidamente.
Estas capacidades hacen que los modelos Nemotron sean particularmente adecuados para organizaciones que buscan acelerar sus iniciativas de IA manteniendo altos estándares de rendimiento y seguridad.
Primeros pasos con Bedrock Marketplace y Nemotron
Para comenzar con Amazon Bedrock Marketplace, bahía la consola de Amazon Bedrock. Desde allí, puede explorar la interfaz de Bedrock Marketplace, que ofrece un catálogo completo de FM de varios proveedores. Puede navegar por las opciones disponibles para descubrir diferentes capacidades y especializaciones de IA. Esta exploración lo llevará a encontrar los modelos ofrecidos por NVIDIA, incluido Nemotron-4.
Lo guiamos a través de estos pasos en las siguientes secciones.
Desobstruir el mercado de Amazon Bedrock
Navegar a Amazon Bedrock Marketplace es sencillo:
- En la consola de Amazon Bedrock, elija Catálogo de modelos en el panel de navegación.
- Bajo Filtrosdistinguir Mercado de roca firme.
Al ingresar a Bedrock Marketplace, encontrará una interfaz acertadamente organizada con varias categorías y filtros para ayudarlo a encontrar el maniquí adecuado para sus deyección. Puedes navegar por proveedores y modalidad.
- Utilice la función de búsqueda para colocar rápidamente proveedores específicos y explorar modelos catalogados en Bedrock Marketplace.
Implementar modelos NVIDIA Nemotron
Una vez que haya localizado las ofertas de modelos de NVIDIA en Bedrock Marketplace, puede circunscribirse al maniquí Nemotron. Para suscribirse e implementar Nemotron-4, complete los siguientes pasos:
- Filtrar por Nemotrón bajo Proveedores o agenciárselas por nombre de maniquí.
- Elija entre los modelos disponibles, como
Nemotron-4 15B.
En la página de detalles del maniquí, puede examinar sus especificaciones, capacidades y detalles de precios. El maniquí Nemotron-4 ofrece impresionantes capacidades de codificación y multilingüe.
- Nominar Ver opciones de suscripción para suscribirse al maniquí.
- Revise las opciones disponibles y elija Suscribir.
- Nominar Desplegar y siga las instrucciones para configurar sus opciones de implementación, incluidos los tipos de instancias y las políticas de escalado.
El proceso es tratable de usar, lo que le permite integrar rápidamente estas poderosas capacidades de IA en sus proyectos utilizando las API de Amazon Bedrock.
Conclusión
El divulgación de los modelos NVIDIA Nemotron en Amazon Bedrock Marketplace marca un hito importante para hacer que las capacidades avanzadas de IA sean más accesibles para los desarrolladores y las organizaciones. Nemotron-4 15B, con su impresionante cimentación de 15 mil millones de parámetros entrenada en 8 billones de tokens de texto, brinda poderosas capacidades multilingües y de codificación a Amazon Bedrock.
A través de Bedrock Marketplace, las organizaciones pueden utilizar las capacidades avanzadas de Nemotron mientras se benefician de la infraestructura escalable de AWS y las sólidas tecnologías de NVIDIA. Lo alentamos a comenzar a explorar las capacidades de los modelos NVIDIA Nemotron hoy a través de Amazon Bedrock Marketplace y comprobar de primera mano cómo este poderoso maniquí de verbo puede mudar sus aplicaciones de IA.
Sobre los autores
parque james es arquitecto de soluciones en Amazon Web Services. Trabaja con Amazon.com para diseñar, construir e implementar soluciones tecnológicas en AWS y tiene un interés particular en la inteligencia industrial y el formación forzoso. En su tiempo dispensado le gusta agenciárselas nuevas culturas, nuevas experiencias y mantenerse actualizado con las últimas tendencias tecnológicas. Puedes encontrarlo en LinkedIn.
Saurabh Trikande es jefe senior de productos para Amazon Bedrock y SageMaker Inference. Le apasiona trabajar con clientes y socios, motivado por el objetivo de democratizar la IA. Se centra en los desafíos principales relacionados con la implementación de aplicaciones complejas de IA, la inferencia con modelos multiinquilino, la optimización de costos y hacer más accesible la implementación de modelos de IA generativa. En su tiempo dispensado, Saurabh disfruta hacer senderismo, memorizar sobre tecnologías innovadoras, seguir TechCrunch y acontecer tiempo con su comunidad.
Melanie LiPhD, es arquitecta sénior de soluciones especializada en IA generativa en AWS con sede en Sydney, Australia, donde se centra en trabajar con los clientes para crear soluciones que aprovechen las herramientas de formación forzoso y de IA de última reproducción. Ha participado activamente en múltiples iniciativas de IA generativa en APJ, aprovechando el poder de los modelos de verbo sobresaliente (LLM). Antiguamente de unirse a AWS, el Dr. Li ocupó puestos de ciencia de datos en las industrias financiera y minorista.
marc karp es un arquitecto de formación forzoso en el equipo de servicio de Amazon SageMaker. Se centra en ayudar a los clientes a diseñar, implementar y resolver cargas de trabajo de formación forzoso a escalera. En su tiempo dispensado le gusta correr y explorar nuevos lugares.
Abhishek Sawarkar es jefe de producto en el equipo de NVIDIA AI Enterprise y trabaja en la integración del software NVIDIA AI en plataformas Cloud MLOps. Se centra en integrar la pila de inteligencia industrial de NVIDIA de un extremo a otro internamente de las plataformas en la nimbo y mejorar la experiencia del becario en la informática acelerada.
Eliuth Triana es jefe de relaciones con desarrolladores en NVIDIA y capacita a los MLOps de IA, DevOps, científicos y expertos técnicos de AWS de Amazon para dominar la pila informática de NVIDIA para acelerar y optimizar los modelos de Generative AI Foundation que abarcan desde la curación de datos, el entrenamiento de GPU, la inferencia de modelos y la implementación de producción en instancias de GPU de AWS. . Por otra parte, Eliuth es un apasionado del ciclismo de montaña, esquiador, tenis y componente de póquer.
Jia Hong Liu es arquitecto de soluciones en el equipo de proveedores de servicios en la nimbo de NVIDIA. Ayuda a los clientes a adoptar soluciones de inteligencia industrial y formación forzoso que aprovechan la computación acelerada por NVIDIA para enfrentarse sus desafíos de capacitación e inferencia. En su tiempo dispensado, le gusta el origami, los proyectos de bricolaje y arriesgar baloncesto.
Kshitiz Gupta es arquitecto de soluciones en NVIDIA. Le gusta educar a los clientes de la nimbo sobre las tecnologías de GPU AI que NVIDIA tiene para ofrecer y ayudarlos a acelerar sus aplicaciones de formación forzoso y formación profundo. Fuera del trabajo, le gusta valer, hacer senderismo y observar la vida silvestre.