Nos complace anunciar una importante expansión del intercambio de datos ETL cero de Snowflake: Ahora puede compartir de forma casquivana y segura formatos de tablas abiertas, incluidos Apache Iceberg y Delta Lake, entre regiones y nubes. Esta interpretación permite a los proveedores de origen compartir de forma segura datos almacenados en formatos de tabla abierta en cualquier nubarrón y región sin canalizaciones complejas y sin incurrir en cargos de salida exponenciales por consulta.
El intercambio de datos de Snowflake ya lidera el mercado en lo que respecta a capacidades de colaboración y asimilación. Con un ecosistema de intercambio de datos 2,5 veces longevo en comparación con los principales competidores, la colaboración de Snowflake proporciona un valencia cada vez longevo a una saco de usuarios mundial en crecimiento. Poliedro que miles de clientes ya comparten datos, las empresas pueden utilizar el formato de tabla abierta para obtener lo mejor de uno y otro mundos: el intercambio de datos en formato campechano y todos los beneficios principales del intercambio de Snowflake. Estos beneficios incluyen:
-
Golpe a datos casi en tiempo auténtico
-
Copo de cocaína Gobernanza basada en políticas de Horizon Catalog controles para datos compartidos
-
Cumplimiento maquinal entre nubes y Optimizador de costos de salida para compartir de forma simplificada y económica entre regiones y entre nubes
-
Entrega en regiones reguladas, incluido el nubarrón del gobierno de EE. UU. y Copo de cocaína privado potencial
¿Por qué es esto importante?
Durante muchos abriles, los clientes de Snowflake han podido compartir datos de forma segura y colaborar con un vasto ecosistema de clientes y socios. El intercambio de datos es una piedra angular de la plataforma Snowflake, y muchos clientes la utilizan para desarrollar conexiones y construir ecosistemas de datos sólidos en Snowflake AI Data Cloud.
Con la preparación del formato compartido de tabla abierta, las capacidades de colaboración de Snowflake se han ampliado a:
-
Datos almacenados fuera de Snowflake en el almacenamiento en la nubarrón del propio cliente (AWS S3, Azure Storage, Google GCS)
-
Datos en formatos de tabla abierta, incluido:
-
Apache Iceberg administrado por Horizon Catalog o administrado por catálogos externos (AWS Glue, Apache Polaris)
-
Delta Lake administrado por catálogos externos (Databricks Unity, Hive Metastore)
-
Esto significa que las empresas que eligen formatos de tabla abierta ahora además están conectadas a AI Data Cloud y pueden disfrutar de los beneficios de un ecosistema de datos próspero.
¿Qué desafío resuelve esto?
La mayoría de las organizaciones frecuentemente necesitan compartir diversos formatos de datos, tanto interna como externamente, pero a menudo encuentran obstáculos como:
-
Seguridad y cumplimiento: Hacer cumplir políticas detalladas de ataque a datos compartidos es crucial para persistir la seguridad y el cumplimiento.
-
Dispersión geográfica y de nubes: Colaboración entre unidades de negocio (LOB, proveedores, clientes) que a menudo están distribuidas en diferentes regiones y nubes, incluidos entornos de nubarrón comerciales y gubernamentales.
-
Formatos de datos variados: Los datos existen en diversos formatos, como Apache Iceberg y Delta Lake.
El intercambio de datos de Snowflake, y específicamente el intercambio en formato de tabla abierta, aborda directamente los obstáculos secreto que enfrentan los ingenieros y arquitectos de datos cuando colaboran en los datos. Reduce las barreras geográficas y de la nubarrón con la capacidad de compartir tablas de formato campechano, amplía las capacidades centrales de gobernanza y brinda a los clientes la flexibilidad de estandarizar un formato de datos como Iceberg, al mismo tiempo que permite a las organizaciones globales compartir con cualquier mecanismo de negocios, proveedor y/o cliente.
¿Cómo funciona?
El uso compartido del formato de tabla abierta está autorizado por el cumplimiento maquinal entre nubes (compatible con nubes comerciales, Supuesto Private Snowflake y del gobierno de EE. UU.), que simplifica el intercambio de datos para Apache Iceberg y Delta Lake directamente desde su almacenamiento en la nubarrón. Puede compartir estos datos con un consumidor de Snowflake en cualquier región o nubarrón sin carencia de tener la llave de la despensa la infraestructura subyacente ni requerir que mantenga trabajos de linaje, transformación y carga (ETL). Adicionalmente, el uso compartido del formato de tabla abierta optimiza los costos de transferencia de datos a través de Optimizador de costos de salidaayudando a evitar Cargos de salida por consulta impredecibles y astronómicos.
El catálogo Snowflake Horizon proporciona información completa controles de gobernanza basados en políticas que se puede aplicar a datos en formato de tabla abierta compartidos con consumidores en diferentes regiones o nubes. Esta capacidad garantiza la residencia de los datos y facilita el cumplimiento necesario para la colaboración, particularmente internamente o en conjunto con sectores regulados, como los sectores públicos, servicios financieros, atención médica y ciencias biológicas.
Cuando se combina con Delta directo y Confederación de catálogos (aprovechando Catálogo de Unity y AP IRC de UniformI), Cumplimiento maquinal entre nubes de Snowflake extiende esta capacidad a una tabla de Delta Lake que reside en su almacenamiento en la nubarrón y escrita por motores Delta como Microsoft Fabric o Databricks o administrada por catálogos como Databricks Unity o Hive Metastore. Esto extiende el uso compartido de mesas abiertas a las mesas de Delta Lake con consumidores de Snowflake en cualquier región o nubarrón, nuevamente, sin la carencia de tener la llave de la despensa la infraestructura subyacente.
Ejemplo de cómo compartir Apache Iceberg administradoMT mesas en copo de cocaína
El uso compartido de formato de tabla abierta permite compartir tablas de Apache Iceberg y Delta Lake entre regiones o nubes y está apto solo a través de la función Iceberg Cross-Cloud Automóvil-Fulfillment. Para obtener detalles sobre cómo funciona el cumplimiento maquinal, consulte «Autocumplimiento para listados.” Para obtener más información sobre cómo funciona el uso compartido del formato de tabla abierta, consulte “Uso del cumplimiento maquinal con tablas de formato campechano”Documentación.
A continuación se explica cómo principiar a compartir formatos de tablas abiertas, utilizando el ejemplo de compartir tablas Iceberg.
Paso 1: crear una tabla con un formato de tabla abierta (por ejemplo, Iceberg)
Inicie sesión en la cuenta del proveedor y cree un formato de tabla abierta (como Iceberg) siguiendo los comandos SQL que se enumeran a continuación. Para obtener más información sobre cómo crear tablas Iceberg o administrarlas mediante catálogos externos, consulte la documentación CREATE ICEBERG TABLE aquí.
Comando SQL para crear una tabla Iceberg en AWS S3
Paso 1b (opcional): proteger los datos con controles de gobernanza basados en políticas
Antaño de compartir, aproveche el soporte completo de las funciones de gobernanza de Snowflake Horizon Catalog en sus tablas Apache Iceberg o Delta administradas externamente y administradas por Horizon, que incluyen:
-
Políticas de gobernanza detalladas: ataque a fila, políticas de enmascaramiento
-
Políticas de perfeccionamiento de la privacidad: política de agregación, unirse a la política, política de proyección
-
Clasificación de datos y etiquetado
-
Engendramiento de descripciones utilizando Snowflake Cortex AI
Adicionalmente, puede auditar y monitorear el intercambio con una auditoría completa usando uso de cuenta y historial de ataque.
Para obtener más información, revise los ejemplos en “Compartir datos protegidos por política.”
Paso 2: cree una relación dirigida a consumidores internamente o entre regiones con unos pocos clics
En su cuenta de proveedor, cree una relación privada a través de la interfaz de Snowsight haciendo clic +Lista y seleccionando Sólo clientes específicosluego haciendo lo próximo:
-
Especificar un nombre de relación
-
Adjunte la tabla Iceberg que creó
-
Ampliar una descripción del relación
-
Especifique el sobrenombre de la cuenta del consumidor
-
Propagar el relación
Los pasos detallados están disponibles aquí.
Estado: utilizando la función ACCOUNTADMIN, puede probar el estado del relación en la cuenta del proveedor yendo a Intercambio de datos -> Provider Studio -> Listados.
Cumplimiento maquinal entre nubes garantiza que sus datos se entreguen de forma segura y cibernética a los consumidores en cualquier región o nubarrón.
Paso 3: Los consumidores internamente o entre organizaciones pueden ceder a su relación
Los consumidores pueden venir a Productos de datos -> Uso compartido privado para encontrar el relación privado y luego haga clic en Conseguir. El consumidor puede estar internamente de la misma cuenta (compartición interna), internamente del misma estructura (mercado interno), o entre organizaciones (compartido extranjero en Snowflake Marketplace).
Concluyendo
Snowflake está ampliando su liderazgo en intercambio de datos ETL cero mediante la integración de formatos de tablas abiertas para permitir el intercambio de datos seguro, gobernado y con costos optimizados en cualquier nubarrón y región. Para ver estas nuevas y poderosas capacidades en batalla y cultivarse cómo comenzar, echa un vistazo a esta página de soluciones ¡Con una demostración y un inicio rápido!