Muchos de nuestros clientes están pasando de indicaciones monolíticas con modelos de uso militar a sistemas de IA compuestos especializados para ganar la calidad necesaria para las aplicaciones GenAI listas para producción.
En julio, nosotros osado el Situación de agentes y la Evaluación de agentes, que ahora utilizan muchas empresas para crear aplicaciones agentes como Recuperación de Procreación Aumentada (RAG. Hoy, nos complace anunciar nuevas funciones en Agent Framework que simplifican el proceso de creación de agentes capaces de realizar razonamientos complejos y realizar tareas como destapar tickets de soporte, replicar correos electrónicos y realizar reservas. Estas capacidades incluyen:
- Conexión de LLM con datos empresariales estructurados y no estructurados a través de capital compartibles y gobernados Herramientas de IA.
- Experimente y evalúe rápidamente agentes con la nueva experiencia en el patio de recreo.
- Transfiera sin problemas del radio de juegos a la producción con el nuevo reproducción de código con un solo clic opción.
- Monitorear y evaluar continuamente a los LLM y agentes con Integración de AI Gateway y evaluación de agentes.
Con estas actualizaciones, facilitamos la creación e implementación de agentes de IA de incorporación calidad que interactúan de forma segura con los sistemas y datos de su estructura.
Sistemas de IA compuestos con IA alicatado
Databricks Mosaic AI proporciona una esclavitud de herramientas completa para mandar, estudiar, implementar y mejorar sistemas de IA compuestos. Esta lectura agrega características que permiten crear e implementar sistemas de IA compuestos que utilizan patrones agentes.
Gobernanza centralizada de herramientas y agentes con Unity Catalog
Casi todos los sistemas de IA compuestos agentes dependen de herramientas de IA que amplían las capacidades de LLM al realizar tareas como recuperar datos empresariales, ejecutar cálculos o interactuar con otros sistemas. Un desafío esencia es compartir y descubrir de forma segura herramientas de inteligencia químico para reutilizarlas mientras se administra el control de acercamiento. Mosaic AI resuelve esto utilizando funciones UC como herramientas y aprovechando la gobernanza de Unity Catalog para evitar el acercamiento no facultado y apresurar el descubrimiento de herramientas. Esto permite que los datos, modelos, herramientas y agentes se administren colectivamente internamente de Unity Catalog a través de una única interfaz.
Las herramientas de catálogo de Unity incluso se pueden ejecutar en un entorno eventual seguro y escalable, lo que garantiza una ejecución de código segura y válido. Los usuarios pueden invocar estas herramientas internamente de Databricks (Playground y Agent Framework) o externamente a través del código libre. Kit de herramientas de funciones UCofreciendo flexibilidad en la forma en que alojan su dialéctica de orquestación.
Experimentación rápida con AI Playground
Patio de juegos de IA ahora incluye nuevas capacidades que permiten pruebas rápidas de sistemas compuestos de IA a través de una única interfaz interactiva. Los usuarios pueden estudiar con indicaciones, LLM, herramientas e incluso agentes implementados. El nuevo menú desplegable de herramientas permite a los usuarios clasificar herramientas alojadas de Unity Catalog y comparar diferentes modelos de orquestador, como Apasionamiento 3.1-70B y GPT-4o (indicado por el ícono «fx»), lo que ayuda a identificar el LLM con mejor rendimiento para interacciones de herramientas. Encima, AI Playground destaca el razonamiento en esclavitud de pensamiento en el resultado, lo que facilita a los usuarios la depuración y demostración de los resultados. Esta configuración incluso permite una energía rápida de la funcionalidad de la utensilio.
AI Playground ahora se integra con Mosaic AI Agent Assessment, brindando información más profunda sobre la calidad de los agentes o LLM. Los jueces de LLM evalúan cada resultado generado por el agente para gestar métricas de calidad, que se muestran en serie. Cuando se amplían, los resultados muestran la coartada detrás de cada métrica.
Obvio implementación de agentes con Model Serving
La plataforma Mosaic AI ahora incluye nuevas capacidades que brindan un camino rápido en dirección a la implementación de sistemas de IA compuestos. AI Playground ahora tiene una Exportar Rama que genera automáticamente cuadernos de Python. Los usuarios pueden personalizar aún más sus agentes o implementarlos tal cual en el servicio de modelos, lo que permite una transición rápida a producción.
El cuaderno generado automáticamente (1) integra el LLM y las herramientas en un ámbito de orquestación como Langgraph (estamos comenzando con Langgraph pero planeamos reconocer otros marcos en el futuro) y (2) registra todas las preguntas de la sesión de Playground en un conjunto de datos de evaluación. Igualmente automatiza la evaluación del desempeño utilizando jueces LLM de Agent Assessment. A continuación se muestra un ejemplo del cuaderno generado automáticamente:
El portátil se puede implementar con Servicio de modelos de IA en alicatadoque ahora incluye autenticación cibernética para herramientas y dependencias posteriores. Igualmente proporciona registro de solicitudes, respuestas y seguimiento de agentes para monitoreo y evaluación en tiempo vivo, lo que permite a los ingenieros de operaciones sustentar la calidad en la producción y a los desarrolladores iterar y mejorar los agentes fuera de serie.
Juntas, estas características permiten una transición perfecta desde la experimentación hasta un agente diligente para producción.
Itere la calidad de la producción con AI Gateway y evaluación de agentes
La tabla de inferencia de Mosaic AI Gateway permite a los usuarios capturar solicitudes entrantes y respuestas salientes de los puntos finales de producción de agentes en una tabla Delta del catálogo de Unity. Cuando el seguimiento de MLflow está gestor, la tabla de inferencia incluso registra entradas y expectativas para cada componente internamente de un agente. Estos datos luego se pueden utilizar con herramientas de datos existentes para disección y, cuando se combinan con la evaluación del agente, pueden monitorear la calidad, depurar y optimizar las aplicaciones impulsadas por el agente.
¿Qué viene posteriormente?
Estamos trabajando en una nueva característica que permite que los puntos finales del maniquí principal en Model Serving integren datos empresariales mediante la selección y ejecución de herramientas. Puede crear herramientas personalizadas y utilizar esta capacidad con cualquier tipo de LLM, ya sean propietarios (como GPT-4o) o modelos abiertos (como LLama-3.1-70B). Por ejemplo, la próximo señal API única al punto final del maniquí principal utiliza el LLM para procesar la pregunta del sucesor y recuperar los datos meteorológicos relevantes ejecutando obtener_clima utensilio y luego combinar esta información para gestar la respuesta final.
client = OpenAI(api_key=DATABRICKS_TOKEN, base_url="https://XYZ.cloud.databricks.com/serving-endpoints")
response = client.chat.completions.create(
model="databricks-meta-llama-3-1-70b-instruct",
messages=({"role": "user", "content": "What’s the upcoming week’s weather for Seattle, and is it frecuente for this season?"}),
tools=({"type": "uc_function", "uc_function": {"name": "ml.tools.get_weather"}})
)
print(response.choices(0).message.content)Ya hay una presencia previa adecuado para clientes seleccionados. Para registrarse, hable con su equipo de cuentas sobre cómo unirse a la presencia previa privada «Ejecución de herramientas en Model Serving».
Comience hoy
Cree su propio sistema de IA compuesta hoy utilizando Databricks Mosaic AI. Desde la experimentación rápida en AI Playground hasta la dócil implementación con Model Serving y la depuración con AI Gateway Inference Tables, Mosaic AI proporciona herramientas para respaldar todo el ciclo de vida.
- Ingrese a AI Playground para estudiar y evaluar rápidamente los agentes AI (AWS | Azur)
- Cree rápidamente agentes personalizados utilizando nuestro Vademécum de cocina de IA.
- Hable con su equipo de cuentas sobre cómo unirse a la presencia previa privada «Ejecución de herramientas en Model Serving».
- No se pierda nuestro evento potencial en octubre: una gran oportunidad para conocer los sistemas compuestos de IA que están construyendo nuestros valiosos clientes. Inscribirse aquí.