La IA generativa está transformando la forma en que las organizaciones interactúan con sus datos, y el procesamiento de LLM de Batch se ha convertido rápidamente en uno de los casos de uso más populares de Databricks. El año pasado, lanzamos la primera traducción de las funciones de IA para permitir a las empresas aplicar LLM a datos privados, sin el movimiento de datos o las compensaciones de gobernanza. Desde entonces, miles de organizaciones tienen tuberías por lotes alimentadas para la clasificación, breviario, extirpación estructurada y flujos de trabajo impulsados por el agente. A medida que las cargas de trabajo generativas de IA se mueven en dirección a la producción, la velocidad, la escalabilidad y la simplicidad se han vuelto esenciales.
Por eso, como parte de nuestra semana de Agentes Iniciativa, hemos enérgico las principales actualizaciones de las funciones de IA, lo que les permite avivar los flujos de trabajo por lotes de porción de producción en los datos empresariales. Funciones de ai, ya sea uso común (ai_query() para indicaciones flexibles) o específico (ai_classify(), ai_translate())-ahora son totalmente sin servidor y de porción de producción, que requieren una configuración cero y entregando más de 10 veces un rendimiento más rápido. Encima, ahora están profundamente integrados en la plataforma de inteligencia de datos de Databricks y se pueden lograr directamente desde cuadernos, tuberías de flujo de charca, Databricks SQL e incluso Databricks AI/BI.
¿Qué hay de nuevo?
- Completamente sin servidor – Sin configuración de punto final y sin administración de infraestructura. Simplemente ejecute su consulta.
- Procesamiento por lotes más rápido -Restablecimiento de más de 10x de velocidad con nuestro backend de lotes del maniquí de API de la Fundación AI Mosaic AI de porción de producción.
- Extraer fácilmente ideas estructuradas – Utilizando nuestra función de salida estructurada en las funciones de IA, nuestra API del maniquí de colchoneta extrae ideas en una estructura que especifique. ¡No más «convencer» al maniquí para darle salida en el esquema que desee!
- Observabilidad en tiempo auténtico – Rastree el rendimiento de la consulta y automatice el manejo de errores.
- Creado para la plataforma de inteligencia de datos – Use funciones de IA sin problemas en SQL, cuadernos, flujos de trabajo, DLT, transmisión de chispa, paneles AI/BI e incluso AI/BI Genie.
DataBricks ‘Enfoque para la inferencia por lotes
Muchas plataformas de IA tratan la inferencia por lotes como una ocurrencia tardía, lo que requiere exportaciones de datos manuales y la administración de puntos finales que resultan en flujos de trabajo fragmentados. Con Databricks SQL, puede probar su consulta en un par de filas con una cláusula de orilla simple. Si se da cuenta de que es posible que desee filtrar en una columna, puede asociar fácilmente una cláusula Where. Y luego simplemente retire el orilla para ejecutar a escalera. Para aquellos que regularmente escriben SQL, esto puede parecer obvio, pero en la mayoría de las otras plataformas de Genai, ¡esto habría requerido múltiples exportaciones de archivos y código de filtrado personalizado!
Una vez que se pruebe su consulta, ejecutarla como parte de su tubería de datos es tan simple como asociar una tarea en un flujo de trabajo e incrementalizarla es ligera con el charca. Y si un adjudicatario diferente ejecuta esta consulta, solo mostrará los resultados para las filas a las que tiene ataque en el catálogo de Unity. Eso es concretamente lo que significa que este producto se ejecuta directamente interiormente de la plataforma de inteligencia de datos: sus datos permanecen donde está, simplificando la gobernanza y reduciendo la molestia de gobernar múltiples herramientas.
Puede usar SQL y Python para usar las funciones de IA, haciendo que la IA por lotes sea accesible para analistas y científicos de datos. Los clientes ya tienen éxito con las funciones de IA:
“Batch AI con funciones de IA está racionalizando nuestros flujos de trabajo de IA. Nos permite integrar la inferencia de IA a gran escalera con una simple consulta SQL-no de administración de infraestructura necesaria. Esto se integrará directamente en nuestras tuberías que reducen los costos y reducen la carga de configuración. Desde que lo adoptamos, hemos gastado una celeridad dramática en la velocidad de nuestro desarrollador al combinar ETL tradicional y la canalización de datos con cargas de trabajo de inferencia de IA ”.
– Ian Cadieu, CTO, Altana
Ejecutar la IA en las transcripciones de atención al cliente es tan simple como esta:
O aplicar inferencia por lotes a escalera en Python:
Profundizar en las últimas mejoras
1. Instantáneo, división sin servidor ai
Anteriormente, la mayoría de las funciones de IA tenían límites de rendimiento o requirieron aprovisionamiento de punto final dedicado, lo que restringió su uso a suscripción escalera o sobrecarga operativa agregada en la administración y mantenimiento de puntos finales.
A partir de hoy, las funciones de IA no tienen servidor, ¡no se necesita una configuración de punto final a ninguna escalera! Simplemente gritar ai_query o funciones basadas en tareas como ai_classify o ai_translatey la inferencia funciona al instante, sin importar el tamaño de la tabla. El servicio de inferencia de lotes de API de Foundation Model gestiona el aprovisionamiento de bienes automáticamente detrás de suceso, ampliando trabajos que necesitan un suspensión rendimiento mientras ofrecen tiempos de finalización de trabajo predecibles.
Para obtener más control, AI_Query () todavía le permite designar modelos específicos de incrustación de LLAMA o GTE, con soporte para modelos adicionales próximamente. Otros modelos, incluidos los LLMs ajustados, LLM externos (como Anthrope & OpenAI) y los modelos de IA clásicos, incluso pueden estar de moda con AI_Query () desplegándolos en la porción del maniquí Mosaic AI.
2.> 10x Inferencia por lotes más rápida
Hemos optimizado nuestro sistema para la inferencia por lotes en cada capa. La API del maniquí de colchoneta ahora ofrece un rendimiento mucho más suspensión que permite tiempos de finalización de trabajo más rápidos y TCO líder en la industria para la inferencia del maniquí de claridad. Encima, los trabajos de inferencia por lotes de larga duración ahora son significativamente más rápidos conveniente a que nuestros sistemas asignan de modo inteligente la capacidad a los trabajos. Las funciones de IA pueden ampliar de forma adaptativa el tráfico de backend, lo que permite la confiabilidad de porción de producción.
Como resultado de esto, las funciones de IA se ejecutan> 10 veces más rápido, y en algunos casos hasta 100 veces más rápido, lo que reduce el tiempo de procesamiento de horas a minutos. Estas optimizaciones se aplican a través de uso común (ai_query) y específico de la tarea (ai_classify, ai_translate) Funciones, haciendo que el división IA sea práctico para cargas de trabajo de suscripción escalera.
| Carga de trabajo | Tiempo de ejecución preliminar | Nuevos tiempos de ejecución | Restablecimiento |
|---|---|---|---|
| Resumir 10,000 documentos | 20,400 | 158 | 129x más rápido |
| Clasificar 10,000 interacciones de atención al cliente | 13,740 | 73 | 188x más rápido |
| Traducir 50,000 textos | 543,000 | 658 | 852x más rápido |
3. Extraer fácilmente ideas estructuradas con salida estructurada
Los modelos Genai han mostrado una promesa sorprendente al ayudar a analizar grandes corpus de datos no estructurados. Hemos enemigo que numerosas empresas se benefician de poder especificar un esquema para los datos que desean extraer. Sin requisa, anteriormente, la masa se basaba en técnicas de ingeniería rápidas y frágiles y, a veces, consultas repetidas para iterar en la respuesta para conmover a una respuesta final con la estructura correcta.
Para resolver este problema, las funciones de IA ahora admiten la salida estructurada, lo que le permite fijar esquemas directamente en consultas y utilizando técnicas de capa de inferencia para respaldar que las expectativas del maniquí se ajusten al esquema. Hemos gastado esta característica mejorar dramáticamente el rendimiento para las tareas de coexistentes estructurada, lo que permite a las empresas lanzarla en aplicaciones de consumidores de producción. Con un esquema consistente, los usuarios pueden respaldar la consistencia de las respuestas y simplificar la integración en flujos de trabajo aguas debajo.
Ejemplo: extracto de metadatos estructurados de trabajos de investigación:
4. Observabilidad y confiabilidad en tiempo auténtico
El seguimiento del progreso de su trabajo de inferencia por lotes ahora es mucho más ligera. Surgimos existir Estadísticas sobre fallas de inferencia para ayudar a rastrear cualquier preocupación de rendimiento o datos no válidos. Todos estos datos se pueden encontrar en la interfaz de adjudicatario del perfil de consulta, que proporciona estado de ejecución en tiempo auténtico, tiempos de procesamiento y visibilidad de errores. En las funciones de IA, hemos creado reintentos automáticos que manejan fallas transitorias y estableciendo el fail_on_error Flag to False puede estabilizar que una sola fila mala no falle en todo el trabajo.
5. Construido para la plataforma de inteligencia de datos
Las funciones de IA se ejecutan de forma nativa en la plataforma de inteligencia de Databricks, incluidos SQL, cuadernos, DBSQL, Paneles AI/BI y Genie AI/BI, que lleva inteligencia a cada adjudicatario, en todas partes.
Con la transmisión estructurada con chispa y las tablas live delta (próximamente), puede integrar funciones de IA con preprocesamiento personalizado, método de postprocesamiento y otras funciones de IA para construir tuberías de lotes de IA de extremo a extremo.
Comience a usar la inferencia por lotes con las funciones de IA ahora
Batch Ai ahora es más simple, más rápido y totalmente integrado. Pruébelo hoy y desbloquee la inferencia de lotes a escalera empresarial con AI.
- Explorar los documentos Para ver cómo las funciones de IA simplifican la inferencia por lotes interiormente de Databricks
- Mirar la demostración Para una callejero paso a paso para ejecutar una inferencia LLM de lotes a escalera.
- Asimilar cómo para implementar Una tubería de IA por lotes de porción de producción a escalera.
- Mira el Norte compacta para agentes de IA Asimilar a maximizar su ROI Genai.