Fogata 3 es el LLM adecuado abiertamente más capaz de Meta hasta la plazo y el recientemente arrojado Fogata 3.1 Permitirá nuevos flujos de trabajo, como la procreación de datos sintéticos y la destilación de modelos, con una flexibilidad, un control y capacidades de última procreación inigualables que rivalizan con los mejores modelos de código cerrado.
En Infraestructura de IA a escalera 2024Los ingenieros de Meta discutieron cada paso de cómo construimos y dimos vida a Fogata 3, desde los datos y el entrenamiento hasta la inferencia.
Joe Spisak, director de productos y dirigente de IA generativa de código destapado en Meta, deje sobre la historia de Fogata y la visión común de Meta para la IA de código destapado.
Delia David, ingeniera de software de Meta, se une a él para cuchichear sobre todos los aspectos relacionados con los datos para GenAI. David deje sobre la desemejanza, el comba y la frescura de los datos necesarios para GenAI y sobre cómo se deben extraer y preparar los diferentes tipos de datos.
Kaushik Veeraraghavan, ingeniero de software de Meta, analiza Cómo Meta entrena a Fogata a gran escalera y profundiza en las inversiones en centros de datos, redes y software que han permitido el exposición de los modelos Fogata 3 de Meta.
Por extremo, Ye (Charlotte) Qi, ingeniera de producción de Meta, analiza cómo Meta maneja la inferencia para Fogata. Optimizar y resquilar la inferencia LLM es importante para permitir aplicaciones de productos a gran escalera. Qi presenta técnicas de paralelismo secreto que ayudan a resquilar los tamaños de los modelos y las ventanas de contexto, lo que a su vez influye en los diseños de los sistemas de inferencia. Asimismo analiza los desafíos prácticos asociados con la implementación de estos paradigmas de servicio complejos en toda la nimbo interna de Meta hasta nuestro centro de datos de hardware heterogéneo.