Meta AI propone la evaluación: un operación de optimización de preferencias para pensar-llm-as-a-jugor

El rápido avance de Modelos de idiomas grandes (LLMS) ha mejorado significativamente su capacidad para crear respuestas de forma larga. Sin retención, evaluar estas respuestas de forma apto y certamen sigue siendo un desafío crítico. Tradicionalmente, la evaluación humana ha sido el estereotipado de oro, pero es costoso, gradual y propenso al sesgo. Para mitigar estas limitaciones, ha surgido el pauta LLM-as-a-Judge, aprovechando los propios LLM para comportarse como evaluadores. A pesar de este avance, los modelos LLM-as-a-Judge enfrentan dos desafíos significativos: (1) una equivocación de fundamentos de prisión de pensamiento (cot) anotados por humanos, que son esenciales para la evaluación estructurada y transparente, y (2) existentes Enfoques que se basan en componentes de evaluación rígidos y diseñados a mano, lo que hace que sean difíciles de universalizar en diferentes tareas y dominios. Estas restricciones limitan la precisión y robustez de los modelos de evaluación basados ​​en IA. Para pasar estos problemas, Meta AI ha introducido Evalplanner, un enfoque novedoso diseñado para mejorar las capacidades de razonamiento y toma de decisiones de los jueces basados ​​en LLM a través de una logística optimizada de ejecución de planificación.

Evaluación es un operación de optimización de preferencias diseñado específicamente para Pensamiento-llm-as-a-jugor modelos. Evalplanner se diferencia al consumir un proceso de evaluación de tres etapas: (1) Procreación de un plan de evaluación sin restricciones, (2) ejecución del plan y (3) inteligencia final. A diferencia de los métodos anteriores, Evalplanner no limita las trazas de razonamiento a rúbricas o criterios predefinidos. En cambio, genera planes de evaluación flexibles que se adaptan a varios dominios y requisitos de tareas. El sistema opera en un rizo de autostructuación, refinando iterativamente los planes de evaluación y las estrategias de ejecución utilizando pares de preferencias generados sintéticamente. Al optimizarse continuamente, la evaluación garantiza evaluaciones más confiables, transparentes y escalables en comparación con los modelos LLM-As-A-Judge existentes.

La innovación detrás de la evaluación se encuentra en su enfoque de razonamiento estructuradoque separa la etapa de planificación de la etapa de ejecución. En la etapa de planificación, el maniquí formula una hoja de ruta de evaluación detallada adaptada a la instrucción específica en cuestión. Durante la ejecución, el maniquí sigue el plan paso a paso para evaluar y comparar respuestas sistemáticamente. Esta separación de dos pasos permite una mejor alineamiento entre los objetivos de evaluación y los procesos de razonamiento, lo que lleva a juicios más precisos y explicables.

Detalles técnicos y beneficios de la evaluación

Evalplanner presenta un mecanismo de autodenomisión que refina continuamente los componentes de planificación y ejecución del proceso de evaluación. Los apalancamiento del maniquí Optimización de preferencias directas (DPO) para mejorar iterativamente sus juicios aprendiendo de pares de preferencias sintéticas. Estos pares de preferencias se derivan mediante el muestreo de múltiples planes de evaluación y ejecuciones, lo que permite a Evalplanner identificar los patrones de razonamiento más efectivos.

Los principales beneficios de la evaluación incluyen:

• Veterano precisión: Generando Planes de evaluación sin restriccionesLa evaluación reduce significativamente el sesgo y progreso la consistencia del inteligencia en diferentes tareas.
• Escalabilidad: A diferencia de las rúbricas de evaluación elaboradas manualmente, la evaluación se adapta automáticamente a las nuevas tareas de evaluación, lo que lo convierte en una posibilidad en extremo escalable.
• Eficiencia: EvalPlanner logra rendimiento de última vivientes (SOTA) en varios puntos de narración con Menos ejemplos de entrenamientodependiendo solo de pares de preferencias sintéticas en espacio de extensas anotaciones humanas.
• Transparencia: Al separar explícitamente la planificación de la ejecución, EvalPlanner progreso el interpretabilidad de su proceso de razonamiento, lo que facilita la analización y depuración.

Resultados experimentales y conocimientos de rendimiento

Meta AI Evaluada Evalvanner en múltiples puntos de narración de modelado de recompensas, incluidos Retribuir Bench, RM-Bench, JudgeBench y SigueBenchEval. Los resultados demuestran el rendimiento superior de la evaluación en la evaluación en Evaluación de restricciones complejas y multinivel y mejorar los modelos existentes en varios dominios, como interacciones basadas en chat, evaluación de seguridad, codificación y razonamiento matemático.

• Resultados de vanguardia en Recomptsbench: Evaluador logró un puntaje de 93.9superan los modelos líderes que dependen de 30 veces más Datos anotados por humanos. Esto resalta la efectividad de la metodología de entrenamiento sintética basada en datos de la evaluación de la evaluación.
• Robuste mejorada en el porción RM: Evaluador demostrado 8% de viejo precisión En comparación con los modelos SOTA anteriores en el manejo de criterios de evaluación matizados, mostrando su capacidad para resistir sesgos y variaciones sutiles en calidad de respuesta.
• Manejo de restricciones superiores en SIGEBILLEVAL: Para la evaluación de restricciones de varios niveles, EvalPlanner Las líneas de colchoneta competitivas superados en un 13%enfatizando su capacidad para efectivamente plan y razón a través de indicaciones complejas.
• Propagación a JudgeBench: EvalPlanner demostró fuertes capacidades de propagación, Ganar un rendimiento comparable a modelos más grandes Entrenado en extensos conjuntos de datos anotados por el ser humano mientras usan significativamente menos pares de preferencias.

Encima, los estudios de separación confirmaron que La optimización iterativa de los planes de evaluación progreso significativamente el rendimiento. Cuando se entrenan con tan pocos como Pares de preferencias sintéticas de 5kEvalPlanner mantuvo un rendimiento competitivo, demostrando su eficiencia de datos en comparación con los modelos tradicionales.

Conclusión: El futuro de la evaluación basada en IA

EvalPlanner representa un gran avance en el avance de marcos de evaluación basados ​​en IA. Al combinar Optimización de preferencias, planificación estructurada y autostructuaciónaborda efectivamente las limitaciones de los modelos existentes de LLM-As-A-Judge. Es escalabilidad, precisión y transparencia Haz que sea una útil prometedora para automatizado, imparcial y apto Evaluación de respuestas generadas por IA en diversas aplicaciones. A medida que los modelos de IA continúan evolucionando, Evalplanner allana el camino para Sistemas de evaluación más confiables e interpretablesen última instancia Perfeccionamiento de la confianza y la equidad en la toma de decisiones impulsadas por la IA. La investigación futura puede explorar la extensión de las capacidades de la evaluación para premiar el modelado en el formación de refuerzo con tuberías de feedback humana (RLHF) e integrarlo en marcos de auditoría de IA del mundo actual.

Con EvalpLanner, Meta AI ha establecido un nuevo estereotipado en el campo de la evaluación de IA, lo que demuestra que Enseñar la IA para planificar y la razón puede mejorar significativamente la calidad del inteligencia. Este avance es un paso crucial en torno a Gobierno de IA autónomo y escalableasegurando que los sistemas de IA futuros funcionen con viejo precisión, equidad y responsabilidad.

---

Corroborar el Papel. Todo el crédito por esta investigación va a los investigadores de este esquema. Encima, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRespolvorear. No olvides unirte a nuestro 70k+ ml de subreddit.

🚨 Conocer Intellagent: Un ámbito de múltiples agentes de código libre para evaluar un sistema de IA conversacional enredado ^{(Promocionado)}