- Compartimos detalles del papel que desempeña la agregación backend (BAG) en la construcción de clústeres de IA a escalera de gigavatios de Meta, como Prometeo.
- BAG nos permite conectar sin problemas miles de GPU en múltiples centros de datos y regiones.
- Nuestra implementación BAG conecta dos estructuras de red diferentes: Estructura de cronograma desagregado (DSF) y Tejido no programado (NSF).
Una vez que esté completo nuestro reunión de IA, Prometeoentregará 1 gigavatio de capacidad para mejorar y habilitar experiencias de IA nuevas y existentes en todos los productos Meta. La infraestructura de Prometheus abarcará varios edificios de centros de datos en una única región más conspicuo, interconectando decenas de miles de GPU.
Una cuchitril esencia para progresar y conectar esta infraestructura es la agregación backend (BAG), que utilizamos para conectar sin problemas GPU y centros de datos con redes sólidas y de incorporación capacidad. Al servirse el hardware modular, el enrutamiento innovador y las topologías resistentes, BAG garantiza rendimiento y confiabilidad a una escalera sin precedentes.
A medida que nuestros grupos de IA continúan creciendo, esperamos que BAG desempeñe un papel importante para satisfacer las demandas futuras e impulsar la innovación en toda la red total de Meta.
¿Qué es la agregación de backend?
BAG es una capa de red súper espinal centralizada basada en Ethernet que funciona principalmente para interconectar múltiples estructuras de capas espinales en varios centros de datos y regiones adentro de grandes clústeres. En el interior de Prometheus, por ejemplo, la capa BAG sirve como punto de agregación entre las redes regionales y la columna vertebral de Meta, lo que permite la creación de megaclústeres de IA. BAG está diseñado para soportar inmensas deyección de encantado de bandada, con capacidades entre BAG que alcanzan el rango de petabit (por ejemplo, 16-48 Pbps por par de regiones).
Cómo BAG nos está ayudando a construir clústeres de IA a escalera de gigavatios
Para afrontar el desafío de interconectar decenas de miles de GPU, estamos implementando capas BAG distribuidas a nivel regional.
Cómo interconectamos las capas de BOLSAS
Las capas BAG están distribuidas estratégicamente entre regiones para dar servicio a subconjuntos de estructuras L2, cumpliendo con restricciones de distancia, búfer y latencia. La conectividad entre BAG utiliza una topología de conexión plana (coincidencia directa) o extendida, elegida según el tamaño del sitio y la disponibilidad de fibra.
- Topología plana conecta los conmutadores BAG uno a uno entre regiones siguiendo el plano, ofreciendo una dirección simplificada pero concentrando dominios de fallas potenciales.
- Topología de conexión extendida Distribuye enlaces a través de múltiples conmutadores/planos BAG, mejorando la disparidad de rutas y la resiliencia.
Cómo se conecta una capa de BOLSA a las telas L2
Hasta ahora, hemos discutido cómo se interconectan las capas BAG, ahora veamos cómo una capa BAG se conecta aguas debajo con las telas L2.
Hemos utilizado dos tecnologías de tejidos principales, Estructura de cronograma desagregado (DSF) y Tejido no programado (NSF) para construir redes L2.
A continuación se muestra un ejemplo de zonas DSF L2 en cinco edificios de centros de datos conectados a la capa BAG a través de un módulo de borde backend singular en cada edificio.
A continuación se muestra un ejemplo de NSF L2 conectado a aviones BAG. Cada plano BAG se conecta a los interruptores de entrenamiento de la columna vertebral (STSW) correspondientes de todos los planos de la columna. La sobresuscripción efectiva es de 4,98:1.
Una dirección cuidadosa de los índices de sobresuscripción ayuda a equilibrar la escalera y el rendimiento. La sobresuscripción típica de L2 a BAG es de aproximadamente 4,5:1, mientras que la sobresuscripción de BAG a BAG varía según los requisitos regionales y la capacidad del enlace.
Hardware y enrutamiento
La implementación de BAG por parte de Meta utiliza un chasis modular equipado con tarjetas de hilera ASIC Jericho3 (J3), cada una de las cuales proporciona hasta puertos 432x800G para una interconexión de incorporación capacidad, escalable y resistente. El centro BAG emplea un chasis más conspicuo para acomodar numerosos radios y enlaces de larga distancia con longitudes de cable variadas para una utilización optimizada del buffer.
El enrutamiento adentro de BAG utiliza eBGP con atributos de encantado de bandada de enlace, lo que permite rutas múltiples de costos desiguales (UCMP) para un consistencia de carga eficaz y un manejo sólido de fallas. Las conexiones BAG a BAG están protegidas con MACsec, alineándose con los requisitos de seguridad de la red.
Diseño de la red para la resiliencia
El diseño de la red detalla meticulosamente la división de puertos, los esquemas de direccionamiento IP y el investigación integral del dominio de fallas para respaldar una incorporación disponibilidad y minimizar el impacto de las fallas. Los modos de rotura se analizan en los niveles de BAG, sala de datos y distribución de energía. Asimismo empleamos varias estrategias para mitigar los riesgos de blackholing, incluido el drenaje de los aviones BAG afectados y la agregación de rutas condicionales.
Consideraciones para largas distancias de cable
Una preeminencia importante de la cimentación distribuida de BAG es que mantiene pequeña la distancia desde el borde L2, lo cual es importante para conmutadores NSF de búfer poco profundo. Las distancias de cable más largas, de BAG a BAG, exigen que utilicemos interruptores de búfer profundo para la función BAG. Esto proporciona un gran beneficio de amortiguamiento para asilar protocolos de control de congestión sin pérdidas como PFC.
Construyendo Prometeo y más allá
Como tecnología, BAG está desempeñando un papel importante en la próxima concepción de infraestructura de inteligencia fabricado de Meta. Al centralizar la interconexión de redes regionales, BAG ayuda a habilitar el clúster Prometheus a escalera de gigavatios, garantizando una red fluida y de incorporación capacidad a través de decenas de miles de GPU. Este diseño correctamente pensado, que aprovecha el hardware modular y las topologías resistentes, posiciona a BAG no solo para satisfacer las demandas de Prometheus sino todavía para impulsar la futura innovación y escalabilidad de la red total de IA de Meta en los abriles venideros.