Nuestros clientes confían en la infraestructura de IA de Azure para desarrollar soluciones innovadoras impulsadas por IA, por lo que hoy ofrecemos nuevos clústeres de supercomputación de IA basados en la nubarrón creados con máquinas virtuales (VM) de la serie Azure ND H200 v5.
La pobreza de una infraestructura escalable y de parada rendimiento continúa creciendo exponencialmente a medida que avanza el panorama de la IA. Nuestros clientes confían en la infraestructura de IA de Azure para desarrollar soluciones innovadoras impulsadas por IA, por lo que hoy ofrecemos nuevos clústeres de supercomputación de IA basados en la nubarrón creados con máquinas virtuales (VM) de la serie Azure ND H200 v5. Estas máquinas virtuales ahora están disponibles de forma generalizada y se han diseñado para manejar la creciente complejidad de las cargas de trabajo de IA avanzadas, desde el entrenamiento de modelos fundamentales hasta la inferencia generativa. La escalera, la eficiencia y el rendimiento mejorado de nuestras máquinas virtuales ND H200 v5 ya están impulsando la apadrinamiento por parte de los clientes y de los servicios de IA de Microsoft, como Azure Machine Learning y Azure OpenAI Service.
“Estamos entusiasmados de adoptar las nuevas máquinas virtuales H200 de Azure. Hemos pasado que H200 ofrece un rendimiento mejorado con un pequeño esfuerzo de portabilidad, esperamos utilizar estas máquinas virtuales para acelerar nuestra investigación, mejorar la experiencia ChatGPT y promover nuestra encargo”. —Trevor Cai, principal de infraestructura, OpenAI.
Las máquinas virtuales Azure ND H200 v5 están diseñadas con el enfoque de sistemas de Microsoft para mejorar la eficiencia y el rendimiento, y cuentan con ocho GPU NVIDIA H200 Tensor Core. Específicamente, abordan la brecha debida al crecimiento de la capacidad computacional bruta de las GPU a un ritmo mucho más rápido que la memoria adjunta y el satisfecho de pandilla de la memoria. Las máquinas virtuales de la serie Azure ND H200 v5 ofrecen un aumento del 76 % en la memoria de parada satisfecho de pandilla (HBM) a 141 GB y un aumento del 43 % en el satisfecho de pandilla de HBM a 4,8 TB/s con respecto a la procreación precursor de máquinas virtuales Azure ND H100 v5. Este aumento en el satisfecho de pandilla de HBM permite a las GPU ingresar a los parámetros del maniquí más rápido, lo que ayuda a ceñir la latencia genérico de las aplicaciones, que es una métrica crítica para aplicaciones en tiempo auténtico, como los agentes interactivos. Las máquinas virtuales ND H200 V5 incluso pueden acomodar modelos de estilo ínclito (LLM) más complejos interiormente de la memoria de una sola máquina aparente, lo que mejoramiento el rendimiento al ayudar a los usuarios a evitar la sobrecarga de ejecutar trabajos distribuidos en varias máquinas virtuales.
El diseño de nuestros clústeres de supercomputación H200 incluso permite una trámite más apto de la memoria GPU para pesos de modelos, gusto de títulos esencia y tamaños de lotes, todo lo cual impacta directamente el rendimiento, la latencia y la rentabilidad en cargas de trabajo de inferencia de IA generativa basadas en LLM. Con su maduro capacidad de HBM, la máquina aparente ND H200 v5 puede aprobar tamaños de conjunto más altos, lo que impulsa una mejor utilización y rendimiento de la GPU en comparación con la serie ND H100 v5 para cargas de trabajo de inferencia tanto en modelos de lenguajes pequeños (SLM) como en LLM. En las primeras pruebas, observamos un aumento de rendimiento de hasta un 35 % con las máquinas virtuales ND H200 v5 en comparación con la serie ND H100 v5 para cargas de trabajo de inferencia que ejecutan el maniquí LLAMA 3.1 405B (con tamaño mundial 8, distancia de entrada 128, distancia de salida 8 y conjunto mayor). tamaños: 32 para H100 y 96 para H200). Para obtener más detalles sobre los puntos de narración de computación de parada rendimiento de Azure, por valenza descubrir más aquí o visitante nuestro Preceptor de evaluación comparativa de IA en el repositorio de Azure GitHub para obtener más detalles.
Las máquinas virtuales ND H200 v5 vienen preintegradas con Azure Batch, Azure Kubernetes Service, Azure OpenAI Service y Azure Machine Learning para ayudar a las empresas a comenzar de inmediato. Por valenza visite aquí para documentación técnica más detallada de las nuevas máquinas virtuales Azure ND H200 v5.