En los últimos meses, hemos introducido actualizaciones emocionantes para Trabajos del balsa (anteriormente conocido como flujos de trabajo de Databricks) para mejorar la orquestación de datos y optimizar el rendimiento del flujo de trabajo.
Para los recién llegados, Lakeflow Jobs es el orquestador incorporado para El balsauna posibilidad unificada e inteligente para ingeniería de datos con incremento y operaciones de ETL simplificadas construidas en el Plataforma de inteligencia de datos. Lakeflow Jobs es el orquestador más confiable para las cargas de trabajo Lakehouse y de fracción de producción, con más de 14,600 clientes, 187,000 usuarios semanales y 100 millones de empleos se ejecutan cada semana.
Desde mejoras en la interfaz de usufructuario hasta un control de flujo de trabajo más reformista, consulte lo posterior en la posibilidad de orquestación de datos nativa de Databricks y descubra cómo los ingenieros de datos pueden optimizar su experiencia de tuberías de datos de extremo a extremo.
UI renovada para una experiencia de usufructuario más enfocada
Hemos rediseñado nuestra interfaz para darle a los trabajos del balsa un aspecto fresco y reciente. El nuevo diseño compacto permite un delirio de orquestación más intuitivo. Los usuarios disfrutarán de una paleta de tareas que ahora ofrece atajos y un botonadura de búsqueda para ayudarlos a encontrar más fácilmente y ingresar a sus tareasya sea una tubería del balsa, un tablero AI/BI, un cuaderno, SQL o más.
Para el monitoreo, los clientes ahora pueden encontrar fácilmente información sobre los tiempos de ejecución de sus trabajos en el panel correcto en los detalles del trabajo y la ejecución de tareas, lo que les permite monitorear fácilmente los tiempos de procesamiento e identificar rápidamente cualquier problema de la tubería de datos.
Todavía hemos mejorado la mostrador anexo al permitir que los usuarios elijan qué secciones (detalles del trabajo, horarios y desencadenantes, parámetros de trabajo, etc.) esconder o abastecer abiertos, haciendo que su interfaz de orquestación sea más limpia y relevante.
En caudillo, los usuarios de Lakflow Jobs pueden esperar un flujo de trabajo de orquestación más simplificado, enfocado y simplificado. El nuevo diseño está actualmente arreglado para los usuarios que han optado por la audiencia previa y habilitaron la sucesión en la página de trabajos.
Flujos de datos más controlados y eficientes
Nuestro orquestador se restablecimiento constantemente con nuevas características. La última modernización presenta controles avanzados para la orquestación de tuberías de datos, lo que brinda a los usuarios un maduro comando sobre sus flujos de trabajo para obtener más eficiencia y rendimiento optimizado.
Carreras parciales Permita que los usuarios seleccionen qué tareas ejecutar sin afectar a otros. Anteriormente, las pruebas de tareas individuales requerían ejecutar todo el trabajo, lo que podría ser computacionalmente intensivo, premioso y costoso. Ahora, en la página de trabajos y tuberías, los usuarios pueden distinguir «Ejecute ahora con diferentes configuraciones» y elija tareas específicas para ejecutar sin afectar a otros, evitando los desechos computacionales y los altos costos. Similarmente, Reparaciones parciales Habilite la depuración más rápida permitiendo a los usuarios arreglar tareas fallidas individuales sin retornar a sintiendo todo el trabajo.
Con más control sobre sus flujos de ejecución y reparación, los clientes pueden acelerar los ciclos de incremento, mejorar el tiempo de actividad del trabajo y achicar los costos de enumeración. Ambas corridas y reparaciones parciales son Generalmente arreglado en la interfaz de usufructuario y los trabajos API.
Para todos los fanáticos de SQL, ¡tenemos algunas noticiero excelentes para ti! En esta última ronda de actualizaciones, los clientes podrán usar Consultas SQL‘ panorama como parámetros en trabajos del balsa para orquestar sus datos. Esto facilita que los desarrolladores de SQL pasen los parámetros entre las tareas y compartan el contexto adentro de un trabajo, lo que resulta en una orquestación de tuberías de datos más cohesiva y unificada. Esta característica asimismo es ahora generalmente arreglado.
Inicio rápido con lakeflow Connect en trabajos
Encima de estas mejoras, asimismo estamos haciendo que sea rápido y comprensible ingerir datos en trabajos de flujo de balsa mediante trabajos más estrechamente integrantes con Lakflow Connect, la posibilidad de ingestión de datos administrada y confiable de Databricks Lakflow, con conectores incorporados.
Los clientes ya pueden orquestar tuberías de ingestión de la ingestión de la balsa del balsa que se originan en Lakflow Connect, utilizando cualquiera de los conectores totalmente administrados (por ejemplo, Salesforce, Workday, etc.) o directamente en cuadernos. Ahora, con Lakeflow Connect en trabajoslos clientes pueden crear fácilmente una tubería de ingestión directamente desde dos puntos de entrada en su interfaz de trabajo, todo adentro de un entorno de apuntar y hacer clic. Cedido que Ingestión es a menudo el primer paso en ETL, esta nueva integración perfecta con Lakflow Connect permite a los clientes consolidar y optimizar su experiencia de ingeniería de datos, de extremo a extremo.
Lakflow Connect in Jobs ya es Generalmente arreglado para clientes. Obtenga más información sobre este y otros lanzamientos recientes de Lakflow Connect.
Una sola orquestación para todas sus cargas de trabajo
Estamos innovando constantemente en los trabajos del balsa del balsa para ofrecer a nuestros clientes una experiencia de orquestación moderna y centralizada para todas sus micción de datos en toda la estructura. Más funciones están llegando a trabajos: pronto presentaremos una forma para que los usuarios activen trabajos en función de las actualizaciones de la tabla, brinden soporte para las tablas del sistema y amplíen nuestras capacidades de observabilidad, ¡así que estad atentos!
Para aquellos que desean seguir aprendiendo sobre los trabajos del balsa Sesiones a pedido de nuestra cumbre de datos+AI ¡Y explore el balsa en una variedad de casos de uso, demostraciones y más!