Estamos encantados de anunciar que el intercambio de vistas materializadas y tablas de transmisión ahora está habitable en la panorama previa pública. Las tablas de transmisión (STS) ingieren continuamente los datos de transmisión, lo que los hace ideales para las tuberías de datos en tiempo positivo, mientras que las vistas materializadas (MV) mejoran el rendimiento de SQL Analytics y los paneles de BI mediante los resultados de consulta previa y almacenamiento de la consulta por superior.
En esta publicación de blog, exploraremos cómo compartir estos dos tipos de activos permite a los proveedores de datos mejorar el rendimiento y resumir los costos al tiempo que ofrece datos nuevos y datos relevantes a los destinatarios de los datos.
Comprender vistas materializadas y tablas de transmisión
Vistas materializadas (MVS) y Mesas de transmisión (STS) Ambas admiten actualizaciones incrementales, lo que ayuda a apoyar los datos actuales y consultas eficientes.
-
Las tablas de transmisión se utilizan para ingerir datos en tiempo positivo, a menudo formando la capa de «bronce» donde los datos sin procesar aterrizan primero. Son avíos para fuentes como registros, eventos o datos de sensores.
-
Las vistas materializadas son más adecuadas para las capas de «plata» o «oro», donde los datos se refinan o se agregan. Ayudan a resumir el tiempo de consulta mediante la precomputación de resultados en circunscripción de escanear tablas cojín completas.
Entreambos se pueden usar juntos, por ejemplo, las tablas de transmisión manejan las lecturas de los sensores de ingestión, mientras que las vistas materializadas ejecutan cálculos continuos, como la detección de patrones inusuales.
Repasar este blog Para obtener más información sobre las tablas de transmisión y las vistas materializadas.
¿Por qué los proveedores de datos necesitan compartir ST?
Compartir tablas de transmisión (STS) permite a los destinatarios de datos consentir a datos en vivo y actualizados sin duplicar tuberías o replicar datos. Considere un tablas en el que una empresa minorista necesita compartir datos de ventas en tiempo positivo con un socio logístico para cobijar la optimización de entrega casi en tiempo positivo.
- La compañía construye y mantiene una tabla de transmisión en Databricks que ingere continuamente datos transaccionales de su plataforma de comercio electrónico. Esta tabla captura eventos como compras de productos, actualizaciones de niveles de inventario y refleja el estado contemporáneo de la actividad de ventas.
- La compañía utiliza Delta Sharing para compartir la tabla de transmisión. Esto se realiza creando una compartir en Databricks y agregando la tabla con el futuro comando SQL:
-
El socio de abastecimiento cuenta con credenciales y detalles de configuración para consentir a la tabla de transmisión compartida desde su propio espacio de trabajo de Databricks.
-
El socio de abastecimiento utiliza los datos de ventas en vivo para predecir los puntos de acercamiento de entrega, refrescar las rutas de los vehículos en tiempo positivo y mejorar la velocidad de entrega de paquetes en áreas de ingreso demanda.
Al compartir tablas de transmisión, el socio logístico evita la construcción de tuberías ETL redundantes, reduciendo la complejidad y los costos de infraestructura. Delta Sharing permite el acercamiento a la plataforma cruzada, por lo que los consumidores de datos no necesitan estar en Databricks. Las tablas de transmisión se pueden compartir en nubes, regiones y plataformas.
El proveedor de datos conserva el control total sobre el acercamiento, utilizando permisos de bulto fino administrados a través de Catálogo de la dispositivo.
Mire esta demostración para ver cómo un proveedor de datos puede compartir ST con los usuarios de Databricks y otras plataformas
¿Por qué los proveedores de datos necesitan compartir MV?
Compartir solo las vistas materializadas en circunscripción de las tablas cojín sin procesar progreso la seguridad y la relevancia de los datos. Asegura que los campos sensibles o innecesarios de los datos subyacentes permanezcan ocultos, al tiempo que proporcionan al consumidor las ideas específicas que necesitan. Este enfoque es especialmente útil cuando el consumidor está interesado en resultados agregados o filtrados y no requiere acercamiento a los datos de origen completo.
Por ejemplo, considere un proveedor de datos que monetiza las ideas del mercado financiero. Procesan transacciones en bruto, como las operaciones del mercado de títulos, y crean valiosas ideas agregadas (por ejemplo, el rendimiento diario de los sectores de la industria). Un fondo de cobertura (el cliente) necesita información diaria sobre el desempeño financiero de las acciones tecnológicas, pero no quiere procesar grandes volúmenes de datos de transacciones sin procesar.
En circunscripción de compartir datos comerciales sin procesar, los proveedores de datos pueden crear un conjunto de datos curado para proporcionar a los fondos de cobertura ideas precomputadas que son más fáciles de usar e interpretar.
- El proveedor de datos construye datos comerciales agregados para calcular el rendimiento diario del sector tecnológico y almacena el resultado como una panorama materializada. Este MV ofrece información serie para usar y preingregadas para consumidores posteriores como el Fondo de cobertura.
- El proveedor agrega este MV a un objeto compartido seguro y otorga acercamiento a las credenciales de destinatario del cliente:
- El fondo de cobertura recupera el MV compartido utilizando herramientas de estudio como Python, Tableau o Databricks SQL. Si usa Databricks, el destinatario puede sumar la entusiasmo directamente en el catálogo de Unity. El intercambio de delta garantiza la interoperabilidad donde los MV se pueden compartir en diferentes plataformas, herramientas (por ejemplo, Apache Spark ™, Pandas, Tableau) y nubes sin ser bloqueados en un solo ecosistema.
- El fondo de cobertura puede usar directamente estos datos precomputados para impulsar las decisiones, como ajustar su inversión en acciones tecnológicas.
El proveedor de datos ha evitado tener la llave de la despensa tuberías complejas y personalizadas para cada cliente. Crear y compartir MVS significa que ya no es necesario apoyar múltiples versiones de los mismos datos. Todos los detalles innecesarios de las tablas cojín permanecen protegidos y al mismo tiempo satisfacen las micción de datos del destinatario. El destinatario de datos obtiene acercamiento instantáneo a los datos curados y gasta bienes en el estudio en circunscripción de la preparación de datos.
Mire esta demostración para ver cómo un proveedor de datos puede compartir MV con los usuarios de Databricks y otras plataformas.
¿Cuándo usar vistas frente a vistas materializadas?
Delta Compartir además es compatible compartir la panorama multiplataformaque permite a los proveedores de datos compartir vistas utilizando el Protocolo Delta Compartir. Si perfectamente las vistas materializadas son avíos para compartir resultados preingregados y mejorar el rendimiento de la consulta, hay casos en los que las vistas pueden ser un mejor ajuste. Delta Sharing además admite compartir vistas en plataformas, nubes y regiones. A diferencia de las vistas materializadas, las vistas no son precomputadas: se evalúan en el momento de la consulta. Esto los hace adecuados para escenarios que requieren acercamiento en tiempo positivo a los datos más actuales o donde los diferentes consumidores necesitan aplicar sus propios filtros sobre la marcha. Las vistas ofrecen más flexibilidad, especialmente cuando la optimización del rendimiento es menos crítica que la frescura de datos o la personalización específica de la consulta.
Cómo Kaluza comparte opiniones materializadas con socios energéticos
Kaluza es una plataforma de software de energía destacamento que permite a los proveedores de energía mudar las operaciones, reinventar la experiencia del cliente y optimizar la energía para acelerar la transición a una red eléctrica más permuta y más verde.
Los proveedores de energía enfrentan una creciente complejidad en la administración de datos de un número creciente de dispositivos conectados, incluidos vehículos eléctricos, bombas de calor, paneles solares y baterías, así como un sistema de energía más volátil y micción complejas del cliente. Las arquitecturas tradicionales luchan para ofrecer información en tiempo positivo y eficiencia operativa a escalera.
MV/ST Sharing habilitará una posibilidad serie para usar que permita que la plataforma Kaluza funcione con una complejidad de ingeniería pequeña. A través de tuberías que salen materializadas vistas, Kaluza permite a sus socios consentir a datos e informes modelados para obtener información procesable. Este enfoque optimiza la colaboración, reduce la sobrecarga de integración y acelera la entrega de nuevas propuestas de clientes en los mercados.
«La escalera y la complejidad de los datos de energía exigen una colaboración entre la industria y el intercambio de conocimientos. Delta Compartir vistas materializadas facilitan la integración perfecta con los proveedores de energía, apoyando la descarbonización de la red y el valencia de conducción tanto para las partes interesadas del sistema como para los clientes».
– Thomas Millross, Regente de Ingeniería de Datos, Kaluza
Envolver las cosas, compartir tablas de transmisión y vistas materializadas hace que sea más obvio ofrecer información fresca y en tiempo positivo mientras reduce los costos y la complejidad. Ya sea que esté compartiendo transmisiones de datos en vivo o resultados precomputados, MV/ST Sharing lo ayuda a concentrarse en lo que importa, tomando mejores decisiones más rápido. MV/ST Sharing ahora está habitable en Sagacidad previa pública. ¡Probar!