Cómo Planview creó un asistente de IA escalable para la administración de carteras y proyectos utilizando Amazon Bedrock

Esta publicación está coescrita con Lee Rehwinkel de Planview.

Hoy en día, las empresas enfrentan numerosos desafíos al tramitar proyectos y programas complejos, obtener información valiosa a partir de volúmenes masivos de datos y tomar decisiones oportunas. Estos obstáculos frecuentemente generan cuellos de botella en la productividad para los gerentes y ejecutivos de programas, lo que dificulta su capacidad para impulsar el éxito organizacional de modo competente.

Sagacidad en plantaun proveedor líder de soluciones de administración del trabajo conectado, se embarcó en un arribista plan en 2023 para revolucionar la forma en que 3 millones de usuarios globales interactúan con sus aplicaciones de administración de proyectos. Para hacer existencia esta visión, Planview desarrolló un asistente de inteligencia fabricado llamado Copiloto de audiencia en planoutilizando un sistema multiagente impulsado por Roca Amazónica.

El progreso de este sistema multiagente planteó varios desafíos:

• Enrutar tareas de modo confiable a los agentes de IA apropiados
• Entrar a datos de diversas fuentes y formatos
• Interactuar con múltiples API de aplicaciones
• Permitir la creación de hipermercado de nuevas habilidades de IA por parte de diferentes equipos de productos.

Para pasar estos desafíos, Planview desarrolló una construcción multiagente creada con Amazon Bedrock. Amazon Bedrock es un servicio totalmente administrado que proporciona comunicación API a modelos de fundacion (FM) de Amazon y otras empresas emergentes líderes en inteligencia fabricado. Esto permite a los desarrolladores designar el FM que mejor se adapte a su caso de uso. Este enfoque es escalable tanto desde el punto de audiencia arquitectónico como organizativo, lo que permite a Planview desarrollar e implementar rápidamente nuevas habilidades de IA para satisfacer las micción cambiantes de sus clientes.

Esta publicación se centra principalmente en el primer desafío: enrutar tareas y gobernar múltiples agentes en un IA generativa construcción. Exploramos el enfoque de Planview en presencia de este desafío durante el progreso de Planview Copilot, compartiendo conocimientos sobre las decisiones de diseño que proporcionan un enrutamiento de tareas competente y confiable.

Describimos agentes locales personalizados en esta publicación porque este tesina se implementó ayer Agentes de Amazon Bedrock estaba generalmente adecuado. Sin confiscación, Agentes de Amazon Bedrock es ahora la decisión recomendada para organizaciones que buscan utilizar agentes impulsados ​​por IA en sus operaciones. Los agentes de Amazon Bedrock pueden retener la memoria a través de las interacciones, ofreciendo experiencias de legatario más personalizadas y fluidas. Puede beneficiarse de recomendaciones mejoradas y de recapacitar el contexto mencionado cuando sea necesario, disfrutando de una interacción más coherente y competente con el agente. Compartimos nuestros aprendizajes en nuestra decisión para ayudarlo a comprender cómo utilizar la tecnología AWS para crear soluciones que cumplan sus objetivos.

Descripción caudillo de la decisión

La construcción multiagente de Planview consta de múltiples componentes de IA generativa que colaboran como un único sistema. Básicamente, un orquestador es responsable de destinar preguntas a varios agentes, compilar la información aprendida y proporcionar a los usuarios una respuesta sintetizada. El orquestador está administrado por un equipo de progreso central y los agentes están administrados por cada equipo de aplicación.

El orquestador consta de dos componentes principales llamados enrutador y respondedor, que funcionan con un maniquí de estilo magnate (LLM). El enrutador utiliza IA para dirigir de modo inteligente las preguntas de los usuarios a varios agentes de aplicaciones con capacidades especializadas. Los agentes se pueden clasificar en tres tipos principales:

• Agente de ayuda – Usos Recuperación Gestación Aumentada (RAG) para proporcionar ayuda con la solicitud
• Agente de datos – Accede y analiza dinámicamente los datos del cliente.
• agente de entusiasmo – Ejecuta acciones en el interior de la aplicación en nombre del legatario.

Una vez que los agentes han procesado las preguntas y proporcionado sus respuestas, el respondedor, asimismo impulsado por un LLM, sintetiza la información aprendida y formula una respuesta coherente para el legatario. Esta construcción permite una colaboración perfecta entre el orquestador centralizado y los agentes especializados, lo que proporciona a los usuarios respuestas precisas y completas a sus preguntas. El venidero diagrama ilustra el flujo de trabajo de un extremo a otro.

Descripción técnica

Planview utilizó servicios secreto de AWS para crear su construcción multiagente. El servicio central Copilot, impulsado por Servicio Amazon Elastic Kubernetes (Amazon EKS), es responsable de coordinar las actividades entre los distintos servicios. Sus responsabilidades incluyen:

• Dirigir el historial de chat de la sesión del legatario usando Servicio de colchoneta de datos relacional de Amazon (Amazon RDS)
• Coordinar el tráfico entre el enrutador, los agentes de aplicación y el respondedor.
• Manejo del registro, monitoreo y compendio de comentarios enviados por los usuarios.

El enrutador y el respondedor están AWS Lambda funciones que interactúan con Amazon Bedrock. El enrutador considera las preguntas del legatario y el historial de chat del servicio central Copilot, y el respondedor considera las preguntas del legatario, el historial de chat y las respuestas de cada agente.

Los equipos de aplicaciones administran a sus agentes mediante funciones Lambda que interactúan con Amazon Bedrock. Para mejorar la visibilidad, la evaluación y el monitoreo, Planview ha adoptivo un servicio de repositorio de indicaciones centralizado para juntar las indicaciones de LLM.

Los agentes pueden interactuar con las aplicaciones utilizando varios métodos según el caso de uso y la disponibilidad de datos:

• API de aplicaciones existentes – Los agentes pueden comunicarse con las aplicaciones a través de sus puntos finales API existentes.
• Amazon Athena o almacenes de datos SQL tradicionales – Los agentes pueden recuperar datos de Atenea amazónica u otros almacenes de datos basados ​​en SQL para proporcionar información relevante
• Amazon Neptune para datos gráficos – Los agentes pueden entrar a los datos del dibujo almacenados en Amazonas Neptuno para soportar descomposición de dependencia complejos
• Servicio Amazon OpenSearch para documentos RAG – Los agentes pueden utilizar Servicio de búsqueda abierta de Amazon para realizar RAG en documentos

El venidero diagrama ilustra la construcción del asistente de IA generativa en AWS.

Mensajes de ejemplo de enrutador y respondedor

Los componentes del enrutador y del respondedor trabajan juntos para procesar las consultas de los usuarios y producir respuestas adecuadas. Los siguientes mensajes proporcionan plantillas ilustrativas de mensajes de enrutador y respondedor. Se requeriría ingeniería rápida adicional para mejorar la confiabilidad de una implementación de producción.

Primero, se describen las herramientas disponibles, incluido su propósito y ejemplos de preguntas que se pueden formular sobre cada útil. Las preguntas de ejemplo ayudan a conducir las interacciones en estilo natural entre el orquestador y los agentes disponibles, representados por herramientas.

tools=""'

applicationHelp

Use this tool to answer application help related questions.
Example questions:
How do I reset my password?
How do I add a new user?
How do I create a task?



dataQuery

Use this tool to answer questions using application data.
Example questions:
Which tasks are assigned to me?
How many tasks are due next week?
Which task is most at risk?

A continuación, el mensaje del enrutador describe las pautas para que el agente responda directamente a las consultas de los usuarios o solicite información a través de herramientas específicas ayer de formular una respuesta:

system_prompt_router = f'''

Your job is to decide if you need additional information to fully answer the User's 
questions.
You achieve your goal by choosing either 'respond' or 'callTool'.
You have access to your chat history in  tags.
You also have a list of available tools to assist you in  tags.


{chatHistory}


{tools}


- If the chat history contains sufficient information to answer the User's questions, 
choose the 'respond' action.
- To gather more information before responding, choose the 'callTool' action.
- You many only choose from the tools in the  tags.
- If no tool can assist with the question, choose the 'respond' action.
- Place your chosen action within  tags.
- When you chose the 'callTool' action, provide the  and the  you
would like to ask.
- Your  should be verbose and avoid using pronouns.
- Start by providing your step-by-step thinking in  tags.
- Then you will give your answer in  tags.
- Your answer should follow the format of one of these three examples:
When choosing the 'respond' action, your answer should follow the below example EXACTLY:


respond


When choosing the 'callTool' action for a single Tool:


callTool


applicationHelp
How do I reset my password?




Executing the above, would produce the following result:
You can also call multiple Tools using this format:


callTool


dataQuery
How many tasks are assigned to me?


applicationHelp
How do I add a new task?





'''

La venidero es una respuesta de ejemplo del componente del enrutador que inicia la útil dataQuery para recuperar y analizar las asignaciones de tareas para cada legatario:

To determine who has the most tasks assigned, I will need to query the application data. The "dataQuery" tool seems most appropriate for this question.



callTool

    
        dataQuery
        Which user has the most tasks currently assigned to them?   
    

La venidero es una respuesta de ejemplo del componente de respuesta que utiliza la útil dataQuery para obtener información sobre las tareas asignadas al legatario. Informa que el legatario tiene cinco tareas asignadas.

Based on the chat history, I previously called the dataQuery tool to ask "How many tasks are currently assigned to the user?". The tool responded that the user has 5 tasks assigned to them.



According to the data I queried previously, you have 5 tasks assigned to you.

Evaluación y selección de modelos.

Evaluar y monitorear el desempeño del maniquí de IA generativa es crucial en cualquier sistema de IA. La construcción multiagente de Planview permite la evaluación en varios niveles de componentes, proporcionando un control de calidad integral a pesar de la complejidad del sistema. Planview evalúa componentes en tres niveles:

• Indicaciones – Evaluación de las indicaciones de LLM para determinar su efectividad y precisión.
• Agentes de IA – Evaluación de cadenas de avisos completas para surtir un manejo magnífico de las tareas y la relevancia de la respuesta.
• sistema de inteligencia fabricado – Probar las interacciones cara a cara del legatario para corroborar la integración perfecta de todos los componentes.

La venidero figura ilustra el situación de evaluación de indicaciones y puntuación.

Para realizar estas evaluaciones, Planview utiliza un conjunto de preguntas de prueba cuidadosamente elaboradas que cubren consultas típicas de los usuarios y casos extremos. Estas evaluaciones se realizan durante la período de progreso y continúan en producción para realizar un seguimiento de la calidad de las respuestas a lo generoso del tiempo. Actualmente, los evaluadores humanos desempeñan un papel crucial en la puntuación de las respuestas. Para ayudar en la evaluación, Planview ha desarrollado una útil de evaluación interna para juntar la biblioteca de preguntas y realizar un seguimiento de las respuestas a lo generoso del tiempo.

Para evaluar cada componente y determinar el maniquí de Amazon Bedrock más adecuado para una tarea determinada, Planview estableció los siguientes criterios de evaluación priorizados:

• Calidad de respuesta – Asegurar la precisión, relevancia y utilidad de las respuestas del sistema.
• Tiempo de respuesta – Minimizar la latencia entre las consultas de los usuarios y las respuestas del sistema.
• Escalera – Cerciorarse de que el sistema pueda progresar a miles de usuarios simultáneos
• Costo de respuesta – Optimización de los costos operativos, incluidos los servicios de AWS y los modelos de IA generativa, para surtir la viabilidad económica.

Con colchoneta en estos criterios y el caso de uso coetáneo, Planview seleccionó Soneto de Claude 3 de Anthropic en Amazon Bedrock para los componentes del enrutador y del respondedor.

Resultados e impacto

Durante el año pasado, el rendimiento de Planview Copilot mejoró significativamente mediante la implementación de una construcción multiagente, el progreso de un situación de evaluación sólido y la asimilación de los últimos FM disponibles a través de Amazon Bedrock. Planview obtuvo los siguientes resultados entre la primera concepción de Planview Copilot desarrollada a mediados de 2023 y la última interpretación:

• Exactitud – La precisión evaluada por humanos ha mejorado desde el 50 % de consentimiento de respuestas hasta pasar el 95 %.
• Tiempo de respuesta – Los tiempos de respuesta promedio se han limitado de más de 1 minuto a 20 segundos.
• Pruebas de carga – El asistente de IA pasó con éxito las pruebas de carga, en las que se enviaron 1000 preguntas simultáneamente sin ningún impacto trascendental en el tiempo de respuesta o la calidad.
• Rentabilidad – El coste por interacción con el cliente se ha limitado a una décima parte del pago original.
• Tiempo de comercialización – El tiempo de progreso e implementación de nuevos agentes se ha limitado de meses a semanas.

Conclusión

En esta publicación, exploramos cómo Planview pudo desarrollar un asistente de IA generativa para acometer procesos complejos de administración del trabajo mediante la asimilación de las siguientes estrategias:

• Avance modular – Planview creó una construcción multiagente con un orquestador centralizado. La decisión permite un manejo competente de tareas y escalabilidad del sistema, al tiempo que permite que diferentes equipos de productos desarrollen e implementen rápidamente nuevas habilidades de IA a través de agentes especializados.
• Situación de evaluación – Planview implementó un sólido proceso de evaluación en múltiples niveles, lo cual fue crucial para surtir y mejorar el desempeño.
• Integración de Amazon Bedrock – Planview utilizó Amazon Bedrock para innovar más rápido con una amplia variedad de modelos y comunicación a varios FM, lo que permitió una selección flexible de modelos basada en requisitos de tareas específicas.

Planview está migrando a Amazon Bedrock Agents, que permite la integración de agentes autónomos inteligentes en el interior de su ecosistema de aplicaciones. Los agentes de Amazon Bedrock automatizan procesos orquestando interacciones entre modelos básicos, fuentes de datos, aplicaciones y conversaciones de usuarios.

Como próximos pasos, puede explorar Función de asistente de IA de Planview construido en Amazon Bedrock y manténgase actualizado con nuevas características y lanzamientos de Amazon Bedrock para avanzar en su alucinación cerca de la IA en AWS.

Acerca de los autores

Sunil Ramachandra es un arquitecto de soluciones senior que permite a los proveedores de software independientes (ISV) de hipercrecimiento innovar y acelerar en AWS. Se asocia con clientes para crear arquitecturas de aglomeración enormemente escalables y resistentes. Cuando no colabora con los clientes, Sunil disfruta advenir tiempo con la comunidad, pasar, meditar y mirar películas en Prime Video.

Benito Agustín es un líder intelectual en IA generativa y formación involuntario y se desempeña como entendido senior en AWS. Asesora a los CxO de los clientes sobre la organización de IA, para construir visiones a generoso plazo y al mismo tiempo ofrecer un retorno de la inversión inmediato. Como vicepresidente de formación involuntario, Benedict pasó la última término creando siete productos SaaS basados ​​en IA, que ahora utilizan empresas Fortune 100, lo que genera un impacto comercial significativo. Su trabajo le ha bienquisto 5 patentes.

Lee Rehwinkel es un sabio de datos principal en Planview con 20 abriles de experiencia en la incorporación de IA y formación involuntario en software empresarial. Tiene títulos avanzados de la Universidad Carnegie Mellon y de la Universidad de Columbia. Lee encabeza los esfuerzos de I+D de Planview sobre capacidades de IA en el interior de Planview Copilot. Fuera del trabajo, le gusta remar en el pantano Lady Bird de Austin.