La ‘experiencia temprana’ de Meta AI entrena a agentes lingüísticos sin recompensas y supera el formación por imitación
¿Cómo cambiaría su pila de agentes si una política pudiera entrenarse exclusivamente a partir de sus propios lanzamientos basados en resultados (sin recompensas ni demostraciones) y aún así pasar el formación por imitación en ocho puntos de narración? Meta Superintelligence Labs propone ‘Experiencia temprana‘, un enfoque de capacitación sin recompensas que mejoramiento el formación de […]
FineWeb-C: un conjunto de datos creado por la comunidad para mejorar los modelos lingüísticos en TODOS los idiomas
FineWeb2 avanza significativamente los conjuntos de datos de preentrenamiento multilingües, cubriendo más de 1000 idiomas con datos de adhesión calidad. El conjunto de datos utiliza aproximadamente 8 terabytes de datos de texto comprimido y contiene casi 3 billones de palabras, obtenidas de 96 instantáneas de CommonCrawl entre 2013 y 2024. Procesado utilizando la biblioteca datatrove, […]
Estudio: A menudo desidia transparencia en los conjuntos de datos utilizados para entrenar modelos lingüísticos de gran tamaño | MIT News
Para entrenar modelos de jerga grandes y más potentes, los investigadores utilizan grandes colecciones de conjuntos de datos que combinan datos diversos de miles de fuentes web. Pero a medida que estos conjuntos de datos se combinan y recombinan en múltiples colecciones, a menudo se pierde o se confunde en el proceso información importante sobre […]