Sugerging Face se comunica SMOLLM3: un maniquí de razonamiento multilingüe de contexto dilatado 3B

Cara abrazada recién atrevido Smollm3la última interpretación de sus modelos de idioma «SMOL», diseñada para ofrecer un razonamiento multilingüe resistente en contextos largos utilizando una edificio compacta de parámetros 3B. Mientras que la mayoría de los modelos con capacidad de stop contexto generalmente empujan más allá de los parámetros de 7B, SMOLLM3 logra ofrecer el rendimiento de última vivientes (SOTA) con significativamente menos parámetros, lo que lo hace más rentable y se puede desplegar en hardware restringido, sin comprometer capacidades como el uso de herramientas, el razonamiento de múltiples pasos y la pluralidad de idiomas.

Descripción caudillo de Smollm3

Smollm3 se destaca como un Maniquí de idioma de contexto dilatado, multilingüe y de doble modo capaz de manejar secuencias hasta 128k tokens. Fue entrenado en 11 billones de tokensposicionándolo de modo competitiva contra modelos como Mistral, Flama 2 y Falcon. A pesar de su tamaño, Smollm3 logra un rendimiento de uso de herramientas sorprendentemente resistente y la capacidad de razonamiento de pocos disparos, los tratos más comúnmente asociados con los modelos duplican o triplican su tamaño.

SMOLLM3 fue atrevido en dos variantes:

Los dos modelos están disponibles públicamente bajo la inmoralidad Apache 2.0 en el Hub Model de Hugging Face.

Características esencia

1. Razonamiento de contexto dilatado (hasta 128k tokens)
SmollM3 utiliza un mecanismo de atención modificado para procesar contextos extremadamente largos, hasta 128,000 tokens. Esta capacidad es crucial para las tareas que involucran documentos extendidos, registros o registros estructurados donde la distancia de contexto afecta directamente la comprensión y la precisión.

2. Razonamiento de doble modo
El SMOLLM3-3B sintonizado con instrucciones admite razonamiento de modo dual:

• Seguimiento de instrucciones Para tareas de estilo chat y augsadas en herramientas.
• QA y vivientes multilingües Para tareas en múltiples idiomas.

Esta derivación permite que el maniquí sobresalga tanto en la vivientes abierta como en el razonamiento estructurado, lo que lo hace adecuado para aplicaciones que van desde TRAPO tuberías para los flujos de trabajo del agente.

3. Capacidades multilingües
Entrenado en un corpus multilingüe, Smollm3 admite seis idiomas: Inglés, francés, gachupin, teutón, italiano y portugués. Se desempeña perfectamente en puntos de narración como XQUAD y MGSM, lo que demuestra su capacidad para extender a través de los límites lingüísticos con una caída de rendimiento mínima.

4. Tamaño compacto con rendimiento de SOTA
Solo 3 mil millones de parámetrosSmollm3 logra el rendimiento cercano o en la par con modelos más grandes como Mistral-7B en múltiples tareas aguas debajo. Esto es posible gracias a la escalera y la calidad de sus datos de entrenamiento (tokens 11t) y un cuidadoso ajuste arquitectónico.

5. Uso de herramientas y horizontes estructuradas
El maniquí demuestra un rendimiento impresionante en las tareas de llamado de herramientas, tanto en flujos de trabajo basados ​​en indicaciones como con horizontes estructuradas. Sigue correctamente las restricciones e interfaces de entrada e interfaces impulsadas por el esquema con los sistemas que requieren un comportamiento determinista, como agentes autónomos y entornos impulsados ​​por API.

Detalles de capacitación técnica

SMOLLM3 fue capacitado en una mezcla interna curada por la cara abrazada, que consiste en contenido web de ingreso calidad, código, documentos académicos y fuentes multilingües. La ejecución de capacitación de 11T-Token se realizó utilizando estrategias de capacitación distribuidas de múltiples nodos en grupos de GPU, empleando optimizaciones como Flash Attence V2 para una capacitación apto de secuencia larga. El tokenizer es un maniquí de sentencia de 128k-token, compartido en todos los idiomas compatibles.

Para un dilatado apoyo del contexto, abrazando la cara empleada Mecanismos de atención lineales y agrupados que minimizan la complejidad cuadrática mientras retiene el rendimiento. Esto permitió al maniquí manejar longitudes de contexto de hasta 128k durante el entrenamiento y la inferencia, sin cuellos de botella de memoria que afectan a los transformadores densos a esta escalera.

El Smollm3-3b La variación ajustada a las instrucciones fue entrenada aún más usando la cara abrazada TRLX Biblioteca para alinearse con instrucciones de chat, tareas de razonamiento y demostraciones de uso de herramientas.

Puntos de narración de rendimiento

Smollm3 se desempeña fuertemente en múltiples puntos de narración multilingües y de razonamiento:

• XQUAD (QA multilingüe): Puntajes competitivos en los seis idiomas compatibles.
• MGSM (matemáticas de la escuela primaria multilingüe): Supera varios modelos más grandes en configuraciones de cero disparos.
• Toolqa y Multihopqa: Muestra un resistente razonamiento de varios pasos y con el contexto de contexto.
• Curvatura y mmlu: Adhesión precisión en dominios de conocimiento comunes y profesionales.

Si perfectamente no supera los últimos modelos 7B y 13B en cada punto de narración, la relación rendimiento a parámetro de SMOLLM3 sigue siendo una de las más altas de su clase.

Casos de uso y aplicaciones

Smollm3 es particularmente adecuado para:

• Implementaciones de IA multilingües de bajo costo en chatbots, sistemas de servicio de ayuda y recopilación de documentos.
• Sistemas livianos basados ​​en trapo y recuperación que se benefician de la comprensión de contexto a dilatado plazo.
• Agentes de herramientas requerir adición al esquema e invocación de utensilio determinista.
• Despliegues de borde y entornos privados donde se necesitan modelos más pequeños conveniente a restricciones de privacidad de hardware o datos.

Conclusión

SMOLLM3 ejemplifica una nueva vivientes de modelos de idiomas pequeños pero con capacidad. Su combinación de soporte multilingüe, manejo de contexto dilatado y un razonamiento resistente, todo interiormente de una huella de parámetros 3B, marca un paso delante significativo en la eficiencia y la accesibilidad del maniquí. El tiro de Hugging Face demuestra que con la récipe de entrenamiento adecuada y el diseño arquitectónico, los modelos más pequeños aún pueden ofrecer un rendimiento robusto en tareas complejas tradicionalmente reservadas para LLM mucho más grandes.

---

Mira el Smollm3-3b-base y Smollm3-3b-Instructo. Todo el crédito por esta investigación va a los investigadores de este plan. Encima, siéntete atrevido de seguirnos Gorjeoy YouTube Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.