¡Nos complace anunciar la traducción preliminar pública de Hive Metastore (HMS) y AWS Glue Federation en Unity Catalog! Esta nueva capacidad permite a Unity Catalog ceder y timonear sin problemas las tablas almacenadas en Hive Metastores, ya sean internas o externas a Databricks, así como a AWS Glue. Representa un hito secreto en nuestra Asociación de la casa del charca visión, que reúne fuentes de datos externas, incluidas bases de datos, almacenes de datos y catálogos, bajo un ámbito de gobernanza unificado con Catálogo de pelotón. Puede descubrir, controlar y consultar todos sus datos sin esfuerzo desde una plataforma única y centralizada, independientemente del formato y la ubicación. Esto no solo fomenta el camino despejado y la colaboración en toda su estructura, sino que incluso extiende la inteligencia de datos a cada fuente de datos.
En este blog, exploraremos los beneficios de HMS y AWS Glue Federation, explicaremos cómo funciona y brindaremos orientación sobre cómo comenzar.
¿Por qué Hive Metastore y AWS Glue Federation?
HMS ha sido uno de los primeros estándares para catalogar datos para su uso en sistemas de big data y, si proporcionadamente proporciona funcionalidades fundamentales, no son ideales para cargas de trabajo modernas de datos e inteligencia químico que exigen una gobernanza integral que incluya controles de camino detallados en filas y columnas, pelaje. , monitoreo y auditoría de todos los datos y activos de IA en un solo área.
Unity Catalog aborda estas deficiencias al proporcionar la única decisión de gobernanza abierta y unificada de la industria para llevar la batuta todos los datos y activos de IA. Permite a las organizaciones crear un catálogo empresarial que selecciona archivos, tablas, modelos de estudios necesario, herramientas de inteligencia químico, cuadernos y métricas, todo gobernado con controles de camino detallados, pelaje, monitoreo, auditoría y uso compartido entre plataformas en una sola decisión. Más de 10 000 empresas están aprovechando Unity Catalog para llevar la batuta su patrimonio de datos.
HMS y AWS Glue Federation brindan importantes beneficios para las organizaciones con HMS profundamente integrado en su edificación de datos. Para aquellos con implementaciones de HMS o AWS Glue de larga data, esta capacidad ofrece una ruta perfecta para utilizar las características avanzadas de Unity Catalog sobre los datos almacenados en el metastore de HMS o Glue. Garantiza la continuidad operativa al permitir que las organizaciones mantengan los flujos de trabajo heredados mientras actualizan gradualmente los datos y espacios de trabajo existentes a Unity Catalog.
Los beneficios secreto incluyen:
- Integración perfecta: Conecte sus catálogos HMS y AWS Glue existentes directamente a Unity Catalog sin aprieto de migración manual de metadatos.
- Descubrimiento de datos simplificado: acceda y explore metadatos de HMS y AWS Glue a través de una interfaz unificada, unido con otros datos y activos de IA en Unity Catalog.
- Gobernanza integral: Aproveche los controles de camino detallados, el etiquetado, la clasificación, el pelaje y las capacidades de auditoría de Unity Catalog adicionalmente de los datos almacenados en HMS y AWS Glue.
«Tenemos conjuntos de datos de primaveras que están catalogados en un Hive Metastore forastero. HMS Federation nos permite beneficiarnos inmediatamente de las funciones exclusivas de Unity Catalog, como control de camino sólido y herramientas de IA de hipermercado a través de Genie Spaces, sin la sobrecarga de portar todos estas tablas en Unity Catalog»
— James Davidheiser, líder técnico, infraestructura de datos, Asana
como funciona
Unity Catalog ahora incluye conectores de liga para Hive Metastore (HMS) y AWS Glue, que sirven como una capa de traducción entre Unity Catalog y sus metastores externos. Estos conectores le permiten copular catálogos HMS completos (tanto internos como externos) o AWS Glue como catálogos externos adentro de Unity Catalog, haciéndolos aparecer como objetos nativos. Puede detallar controles de camino detallados, ver el pelaje, realizar auditorías y consultar tablas administradas de HMS o AWS Glue mediante el motor de Databricks. La liga admite la lección y escritura en tablas en HMS interno adentro de los espacios de trabajo de Databricks y, al mismo tiempo, ofrece camino de solo lección para tablas en HMS forastero y AWS Glue.
Con esta capacidad, puede interpretar todas las tablas en HMS y AWS Glue (Parquet, Delta e Iceberg (próximamente en traducción preliminar pública), lo que le permite ceder y controlar todas sus tablas sin problemas.
Consulte el vídeo tutorial a continuación para explorar AWS Glue y HMS Federation en actividad.
nacer
Al adoptar Unity Catalog como piedra angular de su edificación Lakehouse, puede desbloquear el poder de una implementación de gobernanza unificada y abierta que albarca todos sus datos y su patrimonio de IA.