Los modelos de idiomas grandes luchan para procesar y razonar sobre textos largos y complejos sin perder un contexto esencial. Los modelos tradicionales a menudo sufren pérdida de contexto, manejo ineficiente de dependencias de grande importancia y dificultades para alinearse con las preferencias humanas, afectando la precisión y la eficiencia de sus respuestas. Hunyuan-T1 de Tencent aborda directamente estos desafíos integrando una nueva casa con mamba con estrategias avanzadas de estudios de refuerzo y currículo, asegurando capturas de contexto robustas y capacidades de razonamiento mejoradas.
Hunyuan-T1 es el primer maniquí impulsado por la innovadora casa Mamba, un diseño que fusiona el transformador híbrido y las tecnologías de la mezcla de expertos (MOE). Construido en la colchoneta de turbas de pensamiento rápido, Hunyuan-T1 está específicamente diseñado para optimizar el procesamiento de secuencias textuales largas mientras minimiza la sobrecarga computacional. Esto permite que el maniquí capture efectivamente el contexto extendido y gestione las dependencias de larga distancia, cruciales para las tareas que exigen un razonamiento profundo y coherente.
Un punto culminante secreto de Hunyuan-T1 es su gran dependencia de RL durante la escalón posterior a la capacitación. Tencent dedicó el 96.7% de su poder informático a este enfoque, lo que permite al maniquí refinar sus habilidades de razonamiento de forma iterativa. Las técnicas como la repetición de datos, el restablecimiento de la política periódica y los bucles de feedback autocurificación ayudan a mejorar la calidad del resultado, asegurando que las respuestas del maniquí sean detalladas, eficientes y estrechamente alineadas con las expectativas humanas.
Para impulsar aún más el dominio del razonamiento, Tencent empleó una táctica de estudios curricular. Este enfoque aumenta gradualmente la dificultad de los datos de entrenamiento y al mismo tiempo expandir la distancia del contexto del maniquí. Como resultado, Hunyuan-T1 está entrenado para usar tokens de guisa más efectivo y sin problemas de resolver problemas matemáticos básicos hasta atracar desafíos científicos y lógicos complejos. La eficiencia es otra piedra angular del diseño de Hunyuan-T1. La capacidad de la colchoneta de turbos para capturar información de texto grande previene la pérdida de contexto, un problema popular en muchos modelos de idiomas y duplica la velocidad de decodificación en comparación con sistemas similares. Este avance significa que los usuarios se benefician de respuestas de longevo calidad más rápidas sin comprometer el rendimiento.
El maniquí ha conseguido puntajes impresionantes en múltiples puntos de remisión: 87.2 en MMLU-Pro, que prueba varios sujetos, incluidas las humanidades, las ciencias sociales y los campos STEM; 69.3 en GPQA-Diamond, una evaluación desafiante con problemas científicos a nivel doctoral; 64.9 en LivecodeBench para tareas de codificación; y un importante 96.2 en el punto de remisión Math-500 para el razonamiento matemático. Estos resultados subrayan la versatilidad y la capacidad de Hunyuan-T1 para manejar tareas de detención aventura y de naturaleza profesional en varios campos. Más allá de las métricas cuantitativas, Hunyuan-T1 está diseñado para entregar resultados con comprensión y creatividad humana. Durante su escalón RL, el maniquí se sometió a un proceso de formación integral que combinaba la feedback suficiente con modelos de recompensas externas. Este enfoque dual garantiza que sus respuestas sean precisas y exhiban detalles ricos y flujo natural.
En conclusión, Hunyuan-T1 de Tencent combina una casa ultracal a escalera de mamba con estrategias de estudios de refuerzo de vanguardia y estrategias curriculares. Hunyuan-T1 ofrece un detención rendimiento, un razonamiento mejorado y una eficiencia fantástico.
Demostrar el Detalles, Cara abrazada y Página de Github. Todo el crédito por esta investigación va a los investigadores de este plan. Adicionalmente, siéntete escapado de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como patrón e ingeniero quimérico, ASIF se compromete a servirse el potencial de la inteligencia industrial para el correctamente social. Su esfuerzo más flamante es el impulso de una plataforma de medios de inteligencia industrial, MarktechPost, que se destaca por su cobertura profunda de parte de estudios inconsciente y de estudios profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el sabido.