Desde su dispersión en 2023, Databricks Assistant ha crecido hasta alcanzar cientos de miles de usuarios mensuales, incluidos desarrolladores de importantes empresas como Rivian, SiriusXM y Morgan Stanley. Nuestro asistente de IA sensible al contexto, acondicionado de forma nativa en Databricks, permite a los usuarios consultar datos, explicar deducción compleja y corregir errores automáticamente utilizando exclusivamente jerigonza natural.
Databricks Assistant es un sistema agente que aprovecha múltiples modelos, datos y herramientas de IA para proporcionar resultados precisos y contextuales, basados en la semántica de sus datos y patrones de uso. En el posterior año, presentamos muchas características nuevas y mejoras al Asistente de Databricks. Echemos un vistazo a algunos de los aspectos más destacados y le mostraremos lo que vendrá a continuación en 2025.
Asistente de autocompletar
Autocompletar asistente ayuda a los usuarios a escribir código más rápido y con decano precisión al proporcionar sugerencias contextuales a medida que escriben. Desde su dispersión, hemos introducido varias mejoras técnicas para mejorar su precisión y usabilidad. Estos incluyen recuperación de código personalizada y finalización de varias líneas. Asimismo hemos mejorado la evaluación y clasificación del contexto para tener en cuenta mejor las celdas, tablas y variables vecinas, garantizando que las sugerencias sean más relevantes. Finalmente, aumentamos nuestro margen de caracteres, permitiéndole crear sugerencias de código más largas y completas, mientras refinamos los mecanismos de truncamiento para mostrar líneas completas de código de guisa más consistente.
“Aunque en común soy un poco escéptico sobre GenAI, descubrí que la aparejo Autocompletar del Asistente de Databricks es uno de los pocos casos de uso verdaderamente excelentes para esta tecnología. Por lo común, es lo suficientemente rápido y preciso como para ahorrarme una cantidad significativa de pulsaciones de teclas, lo que me permite concentrarme más plenamente en la tarea de razonamiento que tengo entre manos en circunstancia de escribir. Por otra parte, ha reemplazado casi por completo mis viajes habituales a Internet en sondeo de una sintaxis API similar a un texto típico (por ejemplo, anotaciones en la trama, etc.)”. – Jonas Powell, investigador de datos del personal, Rivian
Dictamen de errores y soluciones rápidas
Este año, mejoramos nuestro caso de uso más popular (diagnosticar errores de código) al presentar el Asistente. Decisión rápida. Centrándose en los tipos de errores más comunes, como problemas de sintaxis y nombres de tablas o columnas mal escritos, el Asistente ahora genera automáticamente sugerencias de corrección de una sola lista en solo 1 a 3 segundos.
“Una de las mejores cosas de Databricks Assistant es cómo puede documentar automáticamente sus tablas. Una ventana emergente ofrece concurrencia frente a un error, y nueve de cada 10 veces, haces clic en «sí» y el asistente hace que todo sea valentísimo con solo hacer clic en ese pimpollo. Así que eso por sí solo ha hecho que las cosas sean mucho más fáciles y productivas”. — Andy Featherstone, director de ingeniería de datos, RDSolutions
Dictamen de errores de trabajo
El Asistente de Databricks ahora ofrece la posibilidad de diagnosticar errores directamente desde la página Flujos de trabajo. Para nacer, nos centramos específicamente en los errores de trabajo relacionados con la creación adentro de los cuadernos. En el futuro, igualmente agregaremos soporte para otros tipos comunes de errores de trabajo, como parámetros de trabajo mal configurados, problemas relacionados con el clúster, como errores de desliz de memoria, fallas a nivel de tarea durante la ejecución de trabajos y prospección de impacto posteriores para comprender cómo una defecto afecta los trabajos dependientes o los consumidores de datos.
Visualización y creación de paneles
Databricks Assistant ha simplificado el proceso de creación de visualizaciones y paneles, lo que permite a los usuarios elaborar rápidamente datos sin procesar en información significativa. Esta característica ha sido particularmente valiosa para presentar datos complejos en formatos fácilmente digeribles.
Seguridad y privacidad mejoradas
En respuesta a las crecientes preocupaciones sobre la privacidad de los datos, Databricks introdujo una alternativa monopolio Asistente hospedado en Databricks a finales de 2024 el AWS y Azur. Esta lectura garantiza que todo el procesamiento de datos permanezca adentro de la cuenta de Databricks, aprovechando los modelos alojados en Databricks y la infraestructura segura que impulsa Databricks Model Serving. Planeamos ampliar el soporte para incluir chat en lista y en panel colateral en el futuro.
Dirección de hilos y conversaciones.
Databricks Assistant utiliza un sistema basado en subprocesos para gobernar conversaciones, lo que permite a los usuarios crear y reanudar múltiples subprocesos de discusión en diferentes contextos adentro de la plataforma Databricks. El Asistente aprovecha el historial de conversaciones para proporcionar respuestas contextuales, lo que permite a los usuarios perfeccionar o desarrollar interacciones anteriores sin tener que reescribir mensajes completos. Las conversaciones en curso con el Asistente igualmente incluyen citas de documentos de Databricks cuando corresponde y divisores con vínculos a páginas y objetos de narración relevantes.
Registros de uso del asistente
Los administradores y gerentes ahora pueden realizar un seguimiento de la acogida y la décimo del Asistente con la tabla del sistema Asistente recientemente introducida (sistema.paso.asistente_eventos). Cada fila de esta tabla registra las interacciones del favorecido con el panel colateral o el chat en lista.
Hemos creado una costumbre panel de muestra que le permite visualizar información esencia rápidamente. Este panel proporciona información sobre los usuarios activos por día y mes, los usuarios activos por espacio de trabajo, los usuarios principales en común y los datos de envíos tanto por espacio de trabajo como en total.
“La comienzo de Databricks Assistant verdaderamente me impresionó. Ya no tengo que escribir código. Lo que antaño me llevaba una hora escribirlo, lo hice en cinco minutos. Desde los usuarios avanzados hasta los usuarios básicos de Corning, todos están sorprendidos por el impacto inmediato”, – Jibreal Hamenoo, ingeniero principal de sistemas, ingeniería de datos, Corning Incorporated
Integración del Explorador de catálogos
la integracion de Explorador de catálogos con Databricks Assistant prosperidad la funcionalidad y precisión del asistente con tecnología de IA. Esta integración aprovecha los ricos metadatos y el contexto proporcionados por Catalog Explorer para ofrecer respuestas más relevantes y personalizadas.
Hemos introducido nuevos agentes para cumplimentar información detallada sobre linajes de tablas y conocimientos. Los usuarios pueden invocar a estos agentes con comandos como /getTableLineages para ver las dependencias ascendentes y descendentes o /getTableInsights para lograr a información basada en metadatos, como la actividad del favorecido y los patrones de consulta. Esto permite al Asistente contestar preguntas como «muéstrame los linajes posteriores» o «quién consulta esta tabla con más frecuencia».
Mejorar la eficiencia de SQL
Aproveche la sintaxis para resaltar las advertencias y la /optimizar comando para mejorar consultas SQL ineficientes. Las recomendaciones aparecen en tiempo positivo, lo que le ayuda a identificar rápidamente problemas como claves de partición faltantes, filtros de cláusula WHERE ineficientes, operaciones GROUP BY de reincorporación cardinalidad o uniones costosas utilizando tipos de datos STRING..
Precisión y confiabilidad mejoradas del asistente
Este año, presentamos actualizaciones esencia para mejorar la calidad y confiabilidad del Asistente de Databricks. Se mejoró la precisión de la búsqueda en tablas para manejar consultas de guisa más efectiva, incluso sin coincidencias exactas. Por otra parte, ampliamos la recuperación de documentación, que ahora influye en aproximadamente del 45 % de todas las interacciones del Asistente, para certificar respuestas actualizadas de la documentación de Databricks, MLFlow, Spark y Delta.
Asimismo mejoramos el soporte para Delta Live Tables mediante la comienzo de heurísticas para detectar consultas relacionadas con DLT y crear respuestas personalizadas. Estas respuestas incluyen documentación específica e instrucciones sobre temas como la ingestión, la observabilidad y el control de versiones, lo que aumenta la utilidad del 12 % al 40 %.
¿Qué viene luego?
Nos dedicamos a hacer que el Asistente de Databricks sea más inteligente, más intuitivo y más personalizado según sus micción. Aquí hay una clarividencia previa de lo que puede esperar:
- Ejecución de código flexible: La ejecución de código estará acondicionado en el panel colateral en varias páginas, incluido el Explorador de catálogos. Esto permite que el código se ejecute sin problemas sin cambios de contexto y al mismo tiempo preserva el historial de chat para una casquivana narración. Los usuarios ahora pueden ejecutar código sin esfuerzo y lograr a conversaciones anteriores, agilizando el flujo de trabajo y aumentando la productividad.
- Mejoras de alternativa rápida: Estamos introduciendo la recuperación de código personalizada, aprovechando fragmentos de ejecuciones de celdas exitosas y código manido para cumplimentar sugerencias más relevantes. Por otra parte, estamos actualizando nuestra deducción de activación para incluir más tipos de errores. Finalmente, estamos explorando sugerencias consecutivas de varias líneas.
- Ediciones específicas para celdas grandes: Estamos trabajando para crear cambios de código más precisos en circunstancia de reemplazar bloques completos, mejorando el rendimiento y la usabilidad de celdas con más de 20 a 30 líneas.
Comenzar
Utilice el Asistente de Databricks hoy para describir su tarea en jerigonza natural y permita que el Asistente genere consultas SQL, explique código engorroso y corrija errores automáticamente. Estamos emocionados de ver qué proyectos de datos e inteligencia fabricado creará con la ayuda del Asistente. Comience a usar el asistente buscando el ícono del Asistente en su entorno de Databricks.
Echa un vistazo a nuestro página del producto vea el Asistente de Databricks en acto o lea el documentación para obtener más información sobre todas las funciones.