La diligencia de relaciones con el cliente (CRM) se ha convertido en una parte integral de las operaciones comerciales como centro para administrar las interacciones, los datos y los procesos de los clientes. La integración de IA avanzadilla en CRM puede metamorfosear estos sistemas al automatizar procesos rutinarios, ofrecer experiencias personalizadas y optimizar los esfuerzos de servicio al cliente. A medida que las organizaciones adoptan cada vez más enfoques impulsados por la IA, ha aumentado la condición de agentes inteligentes capaces de realizar tareas complejas de CRM. Los modelos de lenguajes grandes (LLM) están a la vanguardia de este movimiento y mejoran potencialmente los sistemas CRM al automatizar tareas complejas de toma de decisiones y diligencia de datos. Sin confiscación, implementar estos agentes requiere puntos de remisión sólidos y realistas para certificar que puedan manejar las complejidades típicas de los entornos CRM, que incluyen la diligencia de objetos de datos multifacéticos y el seguimiento de protocolos de interacción específicos.
Las herramientas existentes, como WorkArena, WorkBench y Tau-Bench, proporcionan evaluaciones elementales del desempeño de los agentes de CRM. Aún así, estos puntos de remisión evalúan principalmente operaciones simples, como la navegación y el filtrado de datos, y no capturan las dependencias complejas y las interrelaciones dinámicas típicas de los datos de CRM. Por ejemplo, estas herramientas deben mejorar el modelado de relaciones entre objetos, como pedidos vinculados a cuentas de clientes o casos que abarcan múltiples puntos de contacto. Esta descuido de complejidad impide que las organizaciones comprendan todas las capacidades de los agentes de LLM, lo que crea una condición continua de un situación de evaluación más completo. Uno de los desafíos esencia en este campo es la descuido de puntos de remisión que reflejen con precisión las tareas complejas e interconectadas requeridas en los sistemas CRM reales.
El equipo de investigación de IA de Salesforce abordó esta brecha introduciendo CRMArenaun sofisticado punto de remisión desarrollado específicamente para evaluar las capacidades de los agentes de IA en entornos CRM. A diferencia de las herramientas anteriores, CRMArena simula un sistema CRM del mundo auténtico completo con interconexiones de datos complejas, lo que permite una evaluación sólida de los agentes de IA en tareas profesionales de CRM. El proceso de progreso implicó la colaboración con expertos en el dominio de CRM que contribuyeron al diseño de nueve tareas realistas basadas en tres personas distintas: agentes de servicio, analistas y gerentes. Estas tareas incluyen funciones esenciales de CRM, como monitorear el desempeño de los agentes, manejar consultas complejas de los clientes y analizar tendencias de datos para mejorar el servicio. CRMArena incluye 1170 consultas únicas en estas nueve tareas, lo que proporciona una plataforma integral para probar escenarios específicos de CRM.
La casa de CRMArena se friso en un esquema de CRM modelado a partir de Service Cloud de Salesforce. El proceso de concepción de datos produce un conjunto de datos interconectados de 16 objetos, como cuentas, pedidos y casos, con dependencias complejas que reflejan los entornos CRM del mundo auténtico. Para mejorar el realismo, CRMArena integra variables latentes que replican condiciones comerciales dinámicas, como tendencias de negocio estacionales y variaciones en las habilidades de los agentes. Este detención nivel de interconectividad, que implica un promedio de 1,31 dependencias por objeto, garantiza que CRMArena represente los entornos CRM con precisión, presentando a los agentes desafíos similares a los que enfrentarían en entornos profesionales. Encima, la configuración de CRMArena admite entrada UI y API a sistemas CRM, lo que permite interacciones directas a través de llamadas API y un manejo de respuestas realista.
Las pruebas de rendimiento con CRMArena han revelado que los agentes LLM de última concepción actuales tienen dificultades con las tareas de CRM. Utilizando el situación de indicaciones ReAct, el agente de longevo rendimiento logró solo un 38,2 % de finalización de tareas. Cuando se complementó con herramientas especializadas de llamamiento de funciones, el rendimiento mejoró hasta una tasa de finalización del 54,4%, lo que destaca una brecha de rendimiento significativa. Las tareas evaluadas incluyeron funciones desafiantes como la desambiguación de entidades nombradas (NED), la identificación de violaciones de políticas (PVI) y el prospección de tendencias mensuales (MTA), todas las cuales requerían que los agentes analizaran e interpretaran datos complejos. Por ejemplo, sólo el 90 % de los expertos en el dominio confirmaron que el entorno de datos sintéticos parecía auténtico, y más del 77 % calificó los objetos individuales adentro del sistema CRM como “realistas” o “muy realistas”. Estos conocimientos revelan lagunas críticas en la capacidad de los agentes de LLM para comprender las dependencias matizadas en los datos de CRM. Esta ámbito debe abordarse para la implementación completa de CRM impulsado por IA.
La capacidad de CRMArena para ofrecer pruebas de entrada fidelidad proviene de su proceso de seguro de calidad de dos niveles. El proceso de concepción de datos está optimizado para prolongar la diversificación entre varios objetos de datos, utilizando un enfoque de solicitud de mini lotes que limita la duplicación de contenido. Encima, los procesos de control de calidad de CRMArena incluyen demostración de formato y contenido para certificar la coherencia y precisión de los datos generados. En cuanto a la formulación de consultas, CRMArena consta de una combinación de consultas con respuesta y sin respuesta, y las consultas sin respuesta representan el 30% del total. Estos están diseñados para probar la capacidad de los agentes para identificar y manejar preguntas que no tienen decisión, reflejando así fielmente los entornos CRM reales donde la información no siempre está adecuado de inmediato.
Las conclusiones esencia de la investigación sobre CRMArena incluyen:
- Cobertura de tareas de CRM: CRMArena incluye nueve tareas de CRM diversas que representan agentes de servicio, analistas y gerentes, y cubren más de 1170 consultas únicas.
- Complejidad de datos: CRMArena involucra 16 objetos interconectados, con un promedio de 1,31 dependencias por objeto, logrando realismo en el modelado de CRM.
- Empuje del realismo: más del 90% de los expertos en el dominio calificaron el entorno de prueba de CRMArena como realista o muy realista, lo que indica la entrada validez de sus datos sintéticos.
- Rendimiento de los agentes: los agentes líderes de LLM completaron solo el 38,2 % de las tareas utilizando indicaciones típico y el 54,4 % con herramientas de llamamiento de funciones, lo que subraya los desafíos en las capacidades actuales de IA.
- Consultas sin respuesta: rodeando del 30% de las consultas de CRMArena no tienen respuesta, lo que empuja a los agentes a identificar y manejar adecuadamente la información incompleta.
En conclusión, la ingreso de CRMArena destaca avances significativos y conocimientos esencia en la evaluación de agentes de IA para tareas de CRM. CRMArena es un importante contribuyente a la industria CRM y ofrece un punto de remisión escalable, preciso y riguroso para evaluar el desempeño de los agentes en entornos CRM. Como demuestra la investigación, existe una brecha sustancial entre las capacidades actuales de los agentes de IA y los estándares de detención rendimiento requeridos en los sistemas CRM. El amplio situación de pruebas de CRMArena proporciona una utensilio necesaria para desarrollar y perfeccionar agentes de IA para satisfacer estas demandas.
Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este plan. Encima, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Gren lo alto. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
(Revista/Referencia AI) Lea nuestro extremo crónica sobre ‘MODELOS DE LENGUAS PEQUEÑAS‘
Asif Razzaq es el director ejecutor de Marktechpost Media Inc.. Como patrón e ingeniero quimérico, Asif está comprometido a exprimir el potencial de la inteligencia sintético para el correctamente social. Su esfuerzo más fresco es el tiro de una plataforma de medios de inteligencia sintético, Marktechpost, que se destaca por su cobertura en profundidad del formación inevitable y las noticiario sobre formación profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el manifiesto.