Para mejorar la seguridad y aliviar la carga operativa, muchas organizaciones con lagos de datos o lakehouses quieren flexibilidad para integrar de forma segura las herramientas que elijan en una única copia de datos. Un típico extenso para el formato de almacenamiento y la API del catálogo ha ayudado, pero aún se necesitan estándares abiertos para el catálogo, incluida una forma consistente de aplicar controles de comunicación de seguridad a los datos. Muchas opciones del catálogo no admiten un típico, lo que significa que la seguridad aún está aislada y los controles de comunicación se aplican en múltiples lugares para diferentes motores.
Para atracar estos desafíos de seguridad y gobernanza, Snowflake trabajó con la comunidad para formar estándares abiertos con Apache Polaris™ (incubando). Ahora, estamos encantados de anunciar que Snowflake Open Catalog está adecuado de forma caudillo (GA). Como servicio administrado para Apache Polaris, Snowflake Open Catalog lo ayuda a integrar y proteger de forma más efectiva las casas del alberca abiertas. Los equipos de su ordenamiento finalmente pueden colaborar en lagos de datos de forma gobernada con controles de comunicación consistentes para muchos motores, tanto lectores como escritores. Snowflake Open Catalog aprovecha Apache Polaris, que le permite adaptarse más fácilmente a medida que su ordenamiento crece y sus micción evolucionan mediante la integración de nuevos motores y la aplicación de controles de gobernanza consistentes.
Construido sobre el tesina de código extenso Apache Polaris
Apache Polaris, que actualmente se encuentra en incubación en la Apache Software Foundation, fue el primero en de código extenso en julio de 2024 como catálogo Polaris. Desde el código extenso, más personas se han involucrado para ayudar a mejorar la documentación, corregir errores y proponer nuevas funciones. Como se ve con los proyectos de Apache, como Apache Iceberg™, la gobernanza de proyectos transparente y imparcial respecto de los proveedores es una forma poderosa de construir una comunidad, lo que se traduce en una viejo persistencia y más opciones para los adoptantes.
Snowflake Open Catalog utiliza la misma implementación de catálogo que Apache Polaris, por lo que no tiene que preocuparse por la compatibilidad de funciones, lo que podría difundir un posible retiro. A medida que la funcionalidad del tesina Apache Polaris evolucione, asimismo lo hará Snowflake Open Catalog. Y con Snowflake Open Catalog, obtiene la confiabilidad, seguridad, escalabilidad y soporte de un servicio administrado de Snowflake, liberando a su equipo de las complejidades de configuración, mantenimiento y actualizaciones, para que pueda concentrarse en la innovación en ocasión de la infraestructura.
Cómo Snowflake Open Catalog permite la interoperabilidad gobernada
Si perfectamente algunos catálogos han adherido una “puerta de entrada abierta” al confesar la API del catálogo REST de Apache Iceberg para lecturas y escrituras, utilizan una implementación propietaria. Estos catálogos ofrecen flexibilidad para muchos motores que podría integrar, pero la implementación patentada puede dificultar el cambio de catálogo si alguna vez lo desea.
Otros catálogos han creado una “puerta de entrada unidireccional” al confesar un punto final Apache Iceberg REST de solo ojeada y proporcionan una implementación de código extenso. Pero la puerta de entrada unidireccional obstaculiza significativamente su flexibilidad, limitando qué motores puede utilizar para escribir. Y la implementación de código extenso carece de transparencia para un control imparcial del proveedor.
Apache Polaris proporciona una «puerta de entrada abierta de dos vías», que otorga autonomía para utilizar una variedad de motores para adivinar y escribir. Cualquier motor que pueda conectar se integrará con los controles de comunicación definidos en Apache Polaris, brindándole un plano de seguridad unificado en todas las tablas de Apache Iceberg en su alberca de datos o casa de alberca. Cuando cualquiera de estos motores intenta consultar una tabla, escribir en una tabla o ver una índice de espacios de nombres y tablas, Apache Polaris primero comprobará si tiene permiso para hacerlo. Si lo hacen, Apache Polaris proporcionará un conjunto específico de credenciales de almacenamiento temporal necesarias para realizar la operación.
Encima de estos beneficios a través de Apache Polaris, Snowflake Open Catalog proporciona más funciones, como autenticación multifactor (MFA), disponibilidad en múltiples nubes y regiones, y una interfaz web para hacerlo aún más seguro y casquivana de usar.
Snowflake Open Catalog se puede integrar con el motor de Snowflake, pero no es necesario. Snowflake Open Catalog se puede utilizar como catálogo para proporcionar interoperabilidad gobernada para cualquier motor compatible con Apache Iceberg REST.
¿Qué hay de nuevo en GA?
Según los comentarios de los clientes en la panorámica previa pública, esta lectura GA de Snowflake Open Catalog incluye algunas características nuevas para cumplir con los requisitos de seguridad empresarial:
-
Soporte multiusuario: Ahora puede crear varios usuarios para llevar la batuta una cuenta de Snowflake Open Catalog.
-
Autenticación multifactor: Los administradores de cuentas de Snowflake Open Catalog asimismo pueden aplicar MFA a nivel de cuenta.
-
Privilegios a nivel de objeto: Apache Polaris admite privilegios de trascendencia en los niveles de catálogo, espacio de nombres o tabla. Esto ahora está adecuado en la interfaz de Snowflake Open Catalog.
-
Detalles de la mesa: Ahora puede ver el esquema de la tabla y los privilegios en la interfaz de beneficiario de Snowflake Open Catalog.
-
Facturación: Las cuentas de Snowflake Open Catalog se pueden crear en una ordenamiento de prueba gratuita de Snowflake. Las cuentas creadas en la ordenamiento de prueba tendrán una tasa limitada y se limitarán a un promedio de cinco solicitudes por segundo, lo que permitirá una tasa de ráfaga de 50 solicitudes en un intervalo de 10 segundos. Las cuentas de Snowflake Open Catalog creadas en una ordenamiento Snowflake facturable no tienen este orilla de tarifa y se les cobra por cantidad de solicitudes por mes. Snowflake Open Catalog proporcionará el servicio de forma gratuita durante un período de tiempo condicionado. Para obtener más detalles sobre facturación, consulte la documentación.
Comience con el catálogo extenso de Snowflake
Para obtener más información sobre el catálogo extenso de Snowflake, visite nuestro documentacióno pruébelo usted mismo con un tutorial. Más información sobre Apache Polaris en GitHuby descubre cómo puedes contribuir al tesina. Para obtener actualizaciones, siga a Apache Polaris en LinkedIn y asunto.