Los investigadores de DeepSeek aplican un operación de normalización de matrices de 1967 para solucionar la inestabilidad en las hiperconexiones
Los investigadores de DeepSeek están intentando resolver un problema preciso en el entrenamiento de modelos de verbo grandes. Las conexiones residuales hicieron que las redes muy profundas fueran entrenables, las hiperconexiones ampliaron ese flujo residual y el entrenamiento se volvió inestable a escalera. El nuevo método mHC, Manifold Constrained Hyper Connections, mantiene la topología más […]
Meta AI propone la evaluación: un operación de optimización de preferencias para pensar-llm-as-a-jugor
El rápido avance de Modelos de idiomas grandes (LLMS) ha mejorado significativamente su capacidad para crear respuestas de forma larga. Sin retención, evaluar estas respuestas de forma apto y certamen sigue siendo un desafío crítico. Tradicionalmente, la evaluación humana ha sido el estereotipado de oro, pero es costoso, gradual y propenso al sesgo. Para mitigar […]