Databricks se complace a introducir una observabilidad de transmisión mejorada adentro de Flujos de trabajo y Tablas de Delta Live (DLT) tuberías. Esta característica proporciona a los equipos de ingeniería de datos herramientas sólidas para optimizar el procesamiento de datos en tiempo auténtico. La interfaz de beneficiario ha sido diseñada para la intuición, lo que permite a los usuarios monitorear métricas esencia, como la duración de la cartera de pedidos en segundos, bytes procesados, registros ingeridos y archivos manejados a través de fuentes de transmisión prominentes como Kafka, Kinesis, Delta y Autoloader.
Con la implementación de alertas proactivas a nivel de tarea, la confusión se elimina de la gobierno de la cartera de pedidos, facilitando la utilización de medios de enumeración más eficaz y se mantiene la puesta al día de la frescura de los datos. Estas innovaciones permiten a las organizaciones a resquilar prospección en tiempo auténtico con confianza, mejorando así los procesos de toma de decisiones e impulsando resultados superiores a través de tuberías de transmisión confiables y de stop rendimiento.
Desafíos comunes en la transmisión de monitoreo y alerta
Un retraso en crecimiento a menudo indica problemas subyacentes, que pueden variar desde soluciones únicas hasta la menester de reconfiguración u optimización para manejar mayores volúmenes de datos. A continuación se presentan algunas áreas críticas en las que los equipos de ingeniería se centran para ayudar el rendimiento y la confiabilidad de una tubería de transmisión.
- Planificación de capacidad
Esto implica determinar cuándo resquilar verticalmente (añadir más potencia a los medios existentes) u horizontalmente (añadir más nodos) para ayudar un stop rendimiento y ayudar la estabilidad del sistema. - Ideas operativas
Esto incluye el monitoreo de patrones de entrada explosivos, períodos sostenidos de stop rendimiento o desaceleraciones en los sistemas posteriores. La detección temprana de anomalías o picos permite respuestas proactivas para ayudar operaciones perfectas. - Garantías de frescura de datos
Para aplicaciones en tiempo auténtico, como modelos de estudios inevitable o método comercial integrada en la transmisión, tener golpe a los datos más frescos es primordial. Los datos obsoletos pueden conducir a decisiones inexactas, lo que hace que sea esencial priorizar la frescura de los datos en los flujos de trabajo de transmisión. - Detección de errores y decisión de problemas
Esto requiere sistemas sólidos de monitoreo y alerta que puedan marcar problemas, proporcionar información procesable y permitir a los ingenieros tomar acciones correctivas rápidamente.
Comprender la acumulación de una transmisión previamente requería varios pasos. En las tablas de Delta Live, esto implicaba continuamente analizando la tubería registro de eventos extraer información relevante. Para la transmisión estructurada, los ingenieros a menudo confían en Spark’s StreamingQuerylistener Para capturar y empujar las métricas de backlog a las herramientas de terceros, que introdujeron el ampliación adicional y la sobrecarga de mantenimiento. La configuración de los mecanismos de alerta agregó una veterano complejidad, lo que requiere más código y configuración personalizados.
A posteriori de que se entregan las métricas, los desafíos permanecen en la gobierno de las expectativas en todo el tiempo requerido para despejar la cartera de pedidos. Proporcionar estimaciones precisas para cuándo los datos se pondrán al día implican variables como el rendimiento, la disponibilidad de medios y la naturaleza dinámica de las cargas de trabajo de transmisión, lo que dificulta las predicciones precisas.
Flujos de trabajo y tablas de Delta Live ahora Muestra métricas de cartera
Con la manumisión de la observabilidad de la transmisión, los ingenieros de datos ahora pueden detectar y gobernar fácilmente los deuda a través de indicadores visuales en los flujos de trabajo y la interfaz de beneficiario DLT. Las métricas de transmisión de transmisión se encuentran flanco a flanco con el código de cuadernos Databricks en la interfaz de beneficiario de los flujos de trabajo.
El dibujo de métricas de transmisión, que se muestra en el panel derecho de la interfaz de beneficiario del flujo de trabajo, resalta el acumulador. Este dibujo traza el prominencia de datos sin procesar con el tiempo. Cuando la tasa de procesamiento de datos se queda antes de la velocidad de entrada de datos, un acumulación comienza a acumularse, claramente visualizado en el dibujo.
Alertar sobre las métricas de la cartera de flujos de trabajo UI
Databricks además está mejorando su funcionalidad de alerta al incorporar métricas de backlog unido con sus capacidades existentes, que incluyen alertas para el inicio, la duración, la rotura y el éxito. Los usuarios pueden establecer umbrales para transmitir métricas adentro de la interfaz de beneficiario de los flujos de trabajo, asegurando que se activen notificaciones cuando se excedan estos límites. Las alertas se pueden configurar para expedir notificaciones por correo electrónico, Slack, Microsoft Teams, Webhooks o PagerDuty. La mejor maña recomendada para implementar notificaciones en tuberías DLT es orquestarlas utilizando un flujo de trabajo de Databricks.
La notificación precedente se entregó por correo electrónico y le permite hacer clic directamente en la interfaz de beneficiario de los flujos de trabajo.
Perfeccionamiento del rendimiento de la tubería de transmisión a través de métricas de backlog en tiempo auténtico en DLT
Establecer y optimizar las tuberías de transmisión en las tablas Live Delta es un desafío importante, particularmente para equipos que tratan con fuentes de datos de stop rendimiento como Kafka. A medida que las escalas de prominencia de datos aumentan, lo que conduce a la degradación del rendimiento. En el DLT sin servidor, características como la tubería de flujo y la autoscalización derecho ayudan a ayudar el rendimiento del sistema de guisa efectiva, a diferencia de los sin servidores, donde estas capacidades no están disponibles.
Un problema importante es la desliz de visibilidad en tiempo auténtico en las métricas de la cartera de pedidos, lo que dificulta la capacidad de los equipos para identificar rápidamente los problemas y tomar decisiones informadas para optimizar la tubería. Actualmente, las tuberías DLT dependen de las métricas de registro de eventos, que requieren paneles personalizados o soluciones de monitoreo para rastrear los ataques de efectivo de guisa efectiva.
Sin retención, la nueva función de observabilidad de transmisión permite a los ingenieros de datos identificar y gobernar rápidamente los ataques a través de la interfaz de beneficiario de DLT, mejorando la eficiencia del monitoreo y la optimización.
Aquí examinemos una tubería de tablas de Delta Live que ingiere datos de Kafka y los escribe en una tabla Delta de transmisión. El subsiguiente código representa la definición de la tabla en DLT.
El kafka_stream_bronze es una tabla delta de transmisión creada en la tubería, diseñada para el procesamiento de datos continuos. El maxoffsetspertrigger La configuración, configurada a 1000, controla el número mayor de compensaciones de kafka que se pueden procesar por intervalo de activación adentro de la tubería DLT. Este valía se determinó analizando la tasa de procesamiento requerida en función del tamaño de los datos actuales. La tubería está procesando datos históricos de Kafka como parte de su configuración original.
Inicialmente, las transmisiones de Kafka producían menos de 1000 registros por segundo, y las métricas de acumulación mostraron una disminución constante (como se muestra en la imagen1). Cuando el prominencia de datos entrantes de Kafka comienza a aumentar, el sistema comienza a exhibir signos de tensión (como se muestra en las imágenes 2 y 3), lo que indica que el procesamiento está luchando para mantenerse al día con el creciente prominencia de datos. La configuración original conducirá a retrasos en el procesamiento, lo que provocará una reevaluación de la configuración de instancia y configuración.
Quedó claro que la configuración original, que limitó maxoffsetspertrigger a 1000, era insuficiente para manejar la carga de crecimiento de guisa efectiva. Para resolver esto, la configuración se ajustó para permitir hasta 10,000 compensaciones por activación como se muestra a continuación.
Esto ayudó a la tubería a procesar lotes de datos más grandes en cada desencadenante, aumentando significativamente el rendimiento. A posteriori de hacer este ajuste, vimos una reducción consistente en las métricas de la cartera de pedidos (imagen 4), lo que indica que el sistema se estaba poniendo al día con el flujo de datos entrante. La disminución del retraso mejoró el rendimiento normal del sistema.
Esta experiencia subraya la importancia de visualizar las métricas de acumulación de flujo, ya que permite ajustes proactivos a las configuraciones y garantiza que la tubería pueda gobernar efectivamente las deyección de datos cambiantes. El seguimiento en tiempo auténtico de Backlog nos permitió optimizar la tubería de transmisión de Kafka, reduciendo los retrasos y mejorando el rendimiento de los datos sin la menester de consultas de registro de eventos complejos o la navegación de UI Spark.
No dejes que los cuellos de botella te pillen desprevenidos. Aproveche nuestras nuevas capacidades de observabilidad para monitorear la cartera de pedidos, la frescura y el rendimiento. Pruébelo hoy y experimente la gobierno de la tubería de datos sin estrés.