Databricks se complace en anunciar que activadores de aggiornamento de tabla ahora están generalmente disponibles en Empleos de Lakeflow. Muchos equipos de datos todavía dependen de trabajos cron para aproximar cuándo están disponibles los datos, pero esas conjeturas pueden provocar un desperdicio de computación y retrasos en la elaboración de información. Con los activadores de aggiornamento de tablas, sus trabajos se ejecutan automáticamente tan pronto como se actualizan las tablas especificadas, lo que permite una forma más receptiva y apto de organizar canalizaciones.
Active trabajos instantáneamente cuando cambien los datos
Activadores de aggiornamento de tablas le permite activar trabajos basados en actualizaciones de tablas. Su trabajo comienza tan pronto como se agregan o actualizan datos. Para configurar un activador de aggiornamento de tabla en Empleos de Lakeflowsimplemente agregue una o más tablas conocidas por Catálogo de dispositivo utilizando el tipo de activador “Puesta al día de tabla” en el Horarios y desencadenantes menú. Se iniciará una nueva ejecución una vez que se hayan actualizado las tablas especificadas. Si se eligen varias tablas, puede determinar si el trabajo debe ejecutarse luego de poner al día una sola tabla o solo una vez que se actualicen todas las tablas seleccionadas.
Para manejar escenarios donde las tablas reciben actualizaciones frecuentes o ráfagas de datos, puede utilizar las mismas configuraciones de sincronización avanzadas disponibles para desencadenantes de arribada de archivos: tiempo imperceptible entre disparos y Espere luego del extremo cambio.
- Tiempo imperceptible entre disparos Es útil cuando una tabla se actualiza con frecuencia y desea evitar iniciar trabajos con demasiada frecuencia. Por ejemplo, si una canalización de ingesta de datos actualiza una tabla varias veces cada hora, configurar un búfer de 60 minutos evita que el trabajo se ejecute más de una vez interiormente de esa ventana.
- Esperar luego del extremo cambio ayuda a avalar que todos los datos hayan llegado antiguamente de que comience el trabajo. Por ejemplo, si un sistema recto escribe varios lotes en una tabla durante unos minutos, establecer una breve «demora luego del extremo cambio» (por ejemplo, 5 minutos) garantiza que el trabajo solo se ejecute una vez que se complete la escritura.
Estas configuraciones le brindan control y flexibilidad, para que sus trabajos sean oportunos y eficientes en el uso de posibles.
Reduzca los costos y la latencia eliminando las conjeturas
Al reemplazar las programaciones cron con activadores en tiempo actual, reduce el desperdicio de computación y evita retrasos causados por datos obsoletos. Si los datos llegan antiguamente, el trabajo se ejecuta inmediatamente. Si se retrasa, evita desperdiciar computación en datos obsoletos.
Esto tiene un impacto particular a escalera, cuando los equipos operan en diferentes zonas horarias o gestionan canales de datos de gran prominencia. En empleo de aprovisionar en exceso la computación o arriesgarse a que los datos se estanquen, usted se mantiene adscrito y receptivo al reaccionar a los cambios en tiempo actual en sus datos.
Tuberías de energía descentralizadas e impulsadas por eventos
En organizaciones grandes, es posible que no siempre se sepa de dónde provienen los datos ascendentes o cómo se producen. Con los activadores de aggiornamento de tablas, puede crear canalizaciones reactivas que funcionen de forma independiente sin un engranaje ajustado con los cronogramas ascendentes. Por ejemplo, en empleo de programar una aggiornamento del panel a las 8 a. m. todos los días, puede actualizarlo tan pronto como lleguen nuevos datos, lo que garantiza que sus usuarios siempre vean la información más fresco. Esto es especialmente poderoso en Malla de datos entornos donde la autonomía y el supermercado son claves.
Los activadores de aggiornamento de tablas se benefician de la observabilidad integrada en Lakeflow Jobs. Los metadatos de la tabla (p. ej., marca de tiempo de confirmación o traducción) se exponen a tareas posteriores a través de parámetros, lo que garantiza que cada tarea utilice la misma instantánea consistente de datos. Transmitido que los activadores de aggiornamento de tablas dependen de cambios ascendentes en las tablas, comprender las dependencias de los datos es crucial. Catálogo de Unity El índole automatizado proporciona visibilidad y muestra qué trabajos se leen en qué tablas. Esto es esencial para hacer que los activadores de aggiornamento de tablas sean confiables a escalera, lo que ayuda a los equipos a comprender las dependencias y evitar impactos posteriores no deseados.
Activadores de aggiornamento de tablas son los últimos de un creciente conjunto de capacidades de orquestación en Empleos de Lakeflow. Combinados con el flujo de control, los activadores de arribada de archivos y la observabilidad unificada, ofrecen una cojín flexible, escalable y moderna para canalizaciones más eficientes.
Empezando
Los desencadenadores de aggiornamento de tablas ahora están disponibles para todos los clientes de Databricks que usan Unity Catalog. Para emprender: