La era de la gobernanza abierta
Un año luego de que abrimos Unity Catalog (UC), los resultados son claros: la comprensión no es solo un principio, está funcionando en la maña.
Desde entonces, cientos de empresas han recogido Catálogo de dispositivo como almohadilla para una gobernanza abierta e interoperable en Delta Lake, Apache Iceberg y todos los motores importantes de la pila de datos moderna. Lo que comenzó como un compromiso con los estándares abiertos ha evolucionado hasta convertirse en un ecosistema próspero de API abiertas, integraciones de socios e impacto en el cliente a escalera.
Hoy en día, Unity Catalog es el catálogo franco para datos e inteligencia químico más recogido. Los equipos de datos ya no tienen que hacer concesiones entre rendimiento, interoperabilidad y gobernanza; pueden tenerlo todo.
De «¿por qué desobstruir?» “desobstruir a escalera”
En 2024, abrimos UC de código franco y lanzamos UC Open API para mejorar la interoperabilidad con herramientas externas. Estas API simplifican que cualquier motor se conecte de forma segura a Unity Catalog, lea o escriba tablas Delta e Iceberg y aplique la gobernanza automáticamente a través de la liquidación de credenciales y políticas de golpe centralizado.
Un año luego, el ecosistema acento por sí solo:
- Más de 700 empresas utilizan actualmente las UC para centralizar la dirección en múltiples motores y herramientas.
- Los SDK de clientes de UC registran más de 1 millón de descargas por mes, lo que impulsa la admisión multiplataforma.
- Socios como Starburst, ClickHouse y Confluent han creado integraciones profundas sobre las API abiertas de UC, extendiendo la gobernanza mucho más allá de Databricks.
Este impulso demuestra que la interoperabilidad escalera mejor cuando la comprensión y la gobernanza trabajan juntas.
El mejor catálogo para Delta Lake y Apache Iceberg
Unity Catalog proporciona soporte de primera clase para Delta e Iceberg en materia de gobernanza, golpe y rendimiento. A través de las API abiertas de UC y la API del catálogo REST de Iceberg, las organizaciones pueden conectar de forma segura cualquier motor mediante la leída, la escritura y la creación de tablas mientras cumplen con las políticas de golpe unificado.
Unity Catalog simplifica el golpe foráneo:
- Defina los controles de golpe una vez y la UC los aplicará automáticamente en todas las nubes, motores y formatos.
- Liquidación de credenciales emite credenciales temporales con repercusión detrás de estampa, lo que elimina la condición de configurar permisos de almacenamiento en la nimbo o replicar políticas manualmente.
- Amplíe la gobernanza a la IA a través de un plano de control unificado que le permita mandar conjuntos de datos, funciones y versiones de modelos.
- Conecte cualquier útil o motor, desde Spark y Trino hasta canalizaciones de enseñanza inconsciente personalizadas, a través de las API REST de Unity y la API del catálogo REST de Iceberg.
Lleve la gobernanza un paso más allá aprovechando las tablas administradas de UC, donde la comprensión se une al rendimiento. Estas tablas optimizadas para Databricks utilizan optimización predictiva y agrupación en clústeres líquidos para ofrecer consultas hasta 20 veces más rápidas y costos de almacenamiento un 50 % más bajos, sin dejar de ser completamente abiertos y accesibles a través de API unificado. Las tablas administradas representan el nuevo unificado: gobernanza centralizada, formatos abiertos y rendimiento inteligente, todo en uno.
El impulso de la industria y el ecosistema detrás de las API abiertas de UC
Durante el año pasado, las API abiertas de UC ayudaron a cientos de organizaciones a romper con los silos de formato, igualar la gobernanza y ampliar la interoperabilidad en cada parte de su pila.
PepsiCo: gobernanza de datos unificada a través de observación multimotor
PepsiCo ejecuta un ecosistema de observación diverso con múltiples motores informáticos, como Spark en Kubernetes. Históricamente, estos motores tenían que sobrevenir por detención las UC y conectarse a tablas externas mediante golpe basado en rutas. Con las API abiertas de UC, PepsiCo ahora puede adoptar tablas administradas y hacer que motores externos accedan a los datos a través de un gobierno único y centralizado sin requerir soluciones alternativas a nivel de almacenamiento.
Con las API abiertas de Unity Catalog, hemos empoderado a nuestros equipos para que utilicen sus herramientas preferidas mientras mantenemos la gobernanza y la coherencia de los datos. Podemos explotar los beneficios de las tablas administradas interiormente de una plataforma de inteligencia químico y datos verdaderamente interoperable que funciona en múltiples motores informáticos.— Sudipta Das, director de operaciones de datos empresariales
Coinbase: consultas gráficas a escalera con liquidación de credenciales
Coinbase confía en PuppyGraph para procesar terabytes de datos diariamente. Las API abiertas de UC y la liquidación de credenciales eliminan la condición de canalizaciones ETL, lo que permite a Coinbase consultar las tablas Delta e Iceberg directamente mientras aplica políticas y captura registros de auditoría.
Al utilizar las API abiertas de Unity Catalog, PuppyGraph puede consultar más de 2 TB de datos diariamente con credenciales temporales, analizando las dependencias del servicio a escalera, todo mientras mantiene la gobernanza centralizada en UC.— Eric Sun, director de plataforma de datos de Coinbase
Asociaciones ecosistémicas
Unity Catalog se encuentra en el corazón de un creciente ecosistema de socios y extiende la gobernanza más allá de Databricks:
- Flujo de tabla confluente se integra con UC para convertir flujos de eventos de Kafka en tablas Delta. Se puede consentir a estas tablas a través de las API abiertas de UC y se les aplican políticas de gobernanza automáticamente.
- Haga clic en casa permite a sus usuarios explotar las API abiertas de UC para descubrir y consultar tablas Delta e Iceberg para observación y observabilidad en tiempo efectivo. Con esta integración, los usuarios pueden consentir a las tablas Delta e Iceberg gobernadas por UC directamente desde ClickHouse, manteniendo la UC en el centro de la gobernanza.
- Trino estallido culminante ha desarrollado un conector Delta Lake que admite la leída de tablas administradas regidas por Unity Catalog. Para reconocer escrituras en tablas administradas, Starburst asimismo se ha integrado con la perspectiva previa privada de escrituras externas a través de UC Open API.
Starburst comparte la visión de comprensión e interoperabilidad de Databricks en todo el ecosistema de datos. Al integrarnos con Databricks Unity Catalog, permitimos a los clientes crear una única fuente de verdad para todos sus datos, con gobernanza centralizada y la flexibilidad de explotar las herramientas de su dilema.— Justin Borgman, director ejecutor de Starburst Data
¿Qué sigue para la conectividad abierta de la UC?
Unity Catalog continúa evolucionando como la capa de gobernanza más abierta e interoperable para Lakehouse. Esto es lo que viene a continuación:
- Escrituras externas y creación de tablas para tablas administradas por UC: Hoy en día, los motores externos pueden deletrear tablas administradas por UC. Próximamente en la interpretación preliminar pública, habilitaremos escrituras externas a través de las API REST de Unity y la creación de tablas directamente desde clientes externos. ¿Interesado en probar esto? Únase a nuestro Apariencia previa privada.
- Nota: Ya ofrecemos soporte completo para la API del catálogo REST de Iceberg, lo que permite que motores externos lean (acondicionado de forma genérico) y escriban (perspectiva previa pública) en tablas Iceberg administradas por el catálogo de Unity.
- Entrada seguro más allá de las tablas: La liquidación de credenciales se está ampliando a volúmenes, por lo que se puede consentir de forma segura a datos no estructurados desde herramientas como Daft y Ray para flujos de trabajo de IA/ML.
- Migre fácilmente a tablas administradas por UC: Con unos pocos comandos simples, podrá convertir tablas externas UC externas o federadas por catálogo en tablas completamente administradas, preservando el historial, la configuración, los permisos y las vistas de Delta.
- Divulgación de Unity Catalog 0.4: en la próxima interpretación de CU (v0.4)estamos agregando compatibilidad con tablas administradas e implementando la renovación de credenciales en el cliente UC Spark para trabajos de ejecución prolongada.
Comience hoy
Las API abiertas de Unity Catalog están disponibles para clientes Delta e Iceberg. Puedes aparecer por:
Comience a construir con UC Open API hoy y vea cuán claro puede ser la interoperabilidad y la gobernanza unificada. Para comenzar con Unity Catalog, siga las guías para AWS, Azury PCG.