Asistente de Databricks es un asistente de IA con contexto apto de forma nativa apto en la plataforma de inteligencia de datos Databricks. Está diseñado para simplificar el disección SQL y de datos ayudando a suscitar consultas SQL, explicar el código complicado y arreglar automáticamente errores.
En este blog, seguimos Consejos y trucos de asistente de Databricks para ingenieros de datoscambiando nuestro enfoque a SQL y analistas de datos. Exploraremos cómo el asistente refuerza las mejores prácticas, mejoramiento el rendimiento y ayuda a metamorfosear los datos semiestructurados en formatos utilizables. Estén atentos para futuras publicaciones que cubren los científicos de datos y más, mientras exploramos cómo Databricks Assistant está democratizando los datos al simplificar los flujos de trabajo complejos y hacer que los disección avanzados sean más accesibles para todos.
Mejores prácticas
A continuación se presentan algunas mejores prácticas para ayudar a los analistas a usar el asistente de modo más efectiva, asegurando respuestas más precisas, iteraciones más suaves y una viejo eficiencia.
- Usar @ mencionar los nombres de las tablas: Sea lo más específico posible en sus indicaciones y @ Mencione tablas para avalar que el asistente haga narración al catálogo y un esquema correctos. Esto es especialmente útil en espacios de trabajo con múltiples esquemas o catálogos que contienen tablas con nombre similar.
- Pegar ejemplos de nivel de fila en comentarios de la UC: A partir de hoy, el asistente solo tiene ataque a metadatos, no títulos reales de nivel de fila. Al incluir ejemplos representativos de nivel de fila en comentarios de catálogo de Unity, los analistas pueden proporcionar al asistente un contexto adicional, lo que lleva a sugerencias más precisas para tareas como la coexistentes de patrones de regex o las estructuras JSON de disección.
- Mantenga las descripciones de la mesa actualizada: Refinar regularmente las descripciones de tabla en el catálogo de Unity aumenta la comprensión del Asistente de su maniquí de datos.
- Use CMD+I para iteración rápida: El asistente en camino es ideal para hacer ajustes específicos sin reescrituras innecesarias. Presionar CMD + I al final de una celda asegura que el asistente solo modifica el código debajo del cursor, a menos que se especifique lo contrario. Esto permite a los usuarios iterar rápidamente en las indicaciones, refinar las respuestas y ajustar las sugerencias sin interrumpir el resto de su código. Por otra parte, los usuarios pueden resaltar líneas específicas para ajustar el enfoque del asistente.
- Obtenga ejemplos de funciones avanzadas: Cuando la documentación proporciona solo casos de uso básicos, el asistente puede ofrecer más ejemplos a medida en función de sus micción específicas. Por ejemplo, si está trabajando con la agregación de estructura de transmisión por lotes en DLT, puede pedirle al asistente una implementación más detallada, incluida la orientación sobre la aplicación de sus datos, ajustar parámetros y manejo de casos de borde para avalar que funcione en su flujo de trabajo.
Casos de uso comunes
Con estas mejores prácticas en mente, echemos un vistazo más de cerca a algunos de los desafíos específicos que SQL y los analistas de datos enfrentan diariamente. Desde la optimización de consultas y el manejo de datos semiestructurados hasta suscitar comandos SQL desde cero, el asistente de Databricks simplifica los flujos de trabajo SQL, haciendo que el disección de datos sea menos complicado y más valioso.
Convertir dialectos SQL
Los dialectos SQL varían en todas las plataformas, con diferencias en las funciones, sintaxis e incluso conceptos centrales como las declaraciones DDL y las funciones de la ventana. Los analistas que trabajan en múltiples entornos, como portar de Hive a Databricks SQL o traducir consultas entre Postgres, BigQuery y Unity Catálogo, a menudo pasan tiempo adaptando consultas manualmente.
Por ejemplo, echemos un vistazo a cómo el asistente puede suscitar un DDL de colmena en SQL compatible con Databricks. La consulta diferente dará como resultado errores porque SORTED_BY No existe en DBSQL. Como podemos ver aquí, el asistente reemplazó sin problemas la camino rota y la reemplazó con USING DELTA, Apoyar que la tabla se cree con Delta Lake, que ofrece almacenamiento e indexación optimizados. Esto permite a los analistas portar consultas de colmena sin prueba manual y error.
Refactorización de consultas
Las consultas SQL largas y anidadas pueden ser difíciles de repasar, depurar y proseguir, especialmente cuando involucran subconsules profundamente anidadas o complejos CASE WHEN método. A Dios gracias con el asistente de Databricks, los analistas pueden refactorizar fácilmente estas consultas en CTE para mejorar la legibilidad. Echemos un vistazo a un ejemplo en el que el asistente convierte una consulta profundamente anidada en un formato más estructurado usando CTE.
Escribir funciones de ventana SQL
Las funciones de la ventana SQL se usan tradicionalmente para clasificar, ampliar y calcular los totales de los carreras sin colapsar filas, pero pueden ser difíciles de usar correctamente. Los analistas a menudo luchan con la partición y ordenan las cláusulas, eligen la función de clasificación correcta (rango, dense_rank, row_number) o implementando promedios acumulativos y móviles de modo valioso.
El asistente de Databricks ayuda generando la sintaxis correcta, explicando el comportamiento de la función y sugiriendo optimizaciones de rendimiento. Veamos un ejemplo en el que el asistente calcula un total de tarifas de 7 días utilizando una función de ventana.
Convertir JSON en tablas estructuradas
Los analistas a menudo trabajan con datos semiestructurados como JSON, que deben transformarse en tablas estructuradas para una consulta valioso. Extraer manualmente los campos, determinar esquemas y manejar objetos JSON anidados pueden arrostrar mucho tiempo y propensos a errores. Donado que el asistente de Databricks no tiene ataque directo a los datos sin procesar, ampliar metadatos del catálogo de Mecanismo, como descripciones de tabla o comentarios de columnas, puede ayudar a mejorar la precisión de sus sugerencias.
En este ejemplo, hay una columna que contiene datos de tipo almacenados como JSON, con ID de tipo y nombres incrustados. Usando el Asistente de Databricks, puede aplanar rápidamente esta columna, extrayendo campos individuales en columnas separadas para un disección más manejable.
Para avalar resultados precisos, primero debe probar la estructura JSON en Catálogo Explorador y proporcionar un formato de muestra que el asistente pueda hacer narración en un comentario de columna. Este paso adicional ayudó al asistente a suscitar una respuesta más personalizada y precisa.
Se puede usar un enfoque similar al intentar suscitar expresiones regex o transformaciones SQL complejas. Al proporcionar primero un ejemplo claro del formato de entrada esperado, ya sea una estructura JSON de muestra, un patrón de texto o un esquema SQL, los analistas pueden conducir al asistente para producir sugerencias más precisas y relevantes.
Optimización de consultas SQL
En el año pasado Databricks Asistente Año en Blog de revisióndestacamos la entrada de /optimización, que ayuda a refinar las consultas SQL identificando ineficiencias como filtros de partición faltantes, uniones de suspensión costo y operaciones redundantes. Al sugerir mejoras de modo proactiva ayer de ejecutar una consulta, /optimizar garantiza que los usuarios minimicen el cálculo innecesario y mejoren el rendimiento por superior.
Ahora, estamos ampliando eso con /analizar, una característica que examina el rendimiento de la consulta posteriormente de la ejecución, analizando estadísticas de ejecución, detectar cuellos de botella y ofrecer recomendaciones inteligentes.
En el sucesivo ejemplo, el asistente analiza la cantidad de datos que se leen y sugiere una táctica de partición óptima para mejorar el rendimiento.
¡Prueba el asistente de Databricks hoy!
Use el Asistente de Databricks hoy para describir su tarea en verbo natural y permita que el asistente genere consultas SQL, explique el código complicado y corrija automáticamente los errores.
Por otra parte, mira nuestros últimos tutorial En EDA en los cuadernos de Databricks, donde demostramos cómo el asistente puede optimizar la pulcritud de datos, el filtrado y la exploración.