Los usuarios asimismo pueden automatizar fácilmente la clasificación, etiquetado y enmascaramiento de datos confidenciales en cualquier esquema con Clasificación cibernética de datos confidenciales (pronto audiencia previa pública) a través de clasificadores listos para usar o clasificadores personalizados creados con SQL.
Los datos confidenciales pueden tener un valía enorme, pero a menudo están bloqueados oportuno a requisitos de privacidad. ¿Qué pasaría si pudiera permitir que más personas accedan a colaborar con los datos, ampliando la amplitud y profundidad de los datos confidenciales que se pueden analizar? Snowflake hace esto posible con políticas de privacidad diferenciales (disponibles de forma militar), que reducen el aventura de identificación o reingeniería de datos confidenciales, y coexistentes de datos sintéticos (audiencia previa pública), que utiliza datos de producción originales para crear una réplica cercana para pruebas y observación.
Una nueva visión para historial de ataque de toda la ordenamiento (pronto audiencia previa pública) brinda a los administradores y gobernadores de datos que comparten datos confidenciales entre cuentas interiormente de la misma ordenamiento un registro centralizado de quién accedió a qué datos confidenciales, lo que simplifica la coexistentes de informes de auditoría y proporciona la visibilidad granular necesaria para demostrar el cumplimiento de los requisitos reglamentarios. Los administradores de datos asimismo pueden configurar Solicitud de ataque (audiencia previa privada) estableciendo una nueva propiedad de visibilidad en los objetos conexo con los detalles de contacto para que se pueda contactar fácilmente a la persona adecuada para otorgar ataque.
Simplifique la ingeniería y el gobierno de datos en una casa de estero abierta
Desde la ingesta y la integración hasta la transformación y la seguridad, el proceso de administración de un estero de datos puede resultar abrumador y costoso. Para organizaciones con arquitecturas de estero, Snowflake ha desarrollado funciones que simplifican la experiencia de crear canalizaciones y proteger lagos de datos con Apache Iceberg™, el formato de tabla de código destapado líder.
Simplifique las tuberías de bronce y plata para Apache Iceberg
Estamos haciendo que sea aún más sencillo utilizar las tablas Iceberg con Snowflake en cada etapa.
Para la ingesta de datos, puede utilizar Transmisión de Snowpipe para cargar datos de streaming en tablas Iceberg de forma rentable con un SDK (arreglado de forma militar) o un conector Kafka basado en push (lectura preliminar pública). Para casos de uso por lotes y microlotes que agregan Iceberg a lagos de datos existentes, presentamos nuevos modos de carga para COPIAR y Snowpipe (arreglado de forma militar) que agrega archivos Apache Parquet a las tablas Iceberg tal como están sin reescribir los archivos. Anteriormente conocido como Parquet Direct durante la etapa de audiencia previa privada, este nuevo parámetro para COPY y Snowpipe le ayuda a mejorar el rendimiento de los lagos de datos heredados y, al mismo tiempo, reduce los costos de conmutación. Copo de cocaína Delta estero directo (audiencia previa pública) le permite aceptar a sus tablas Delta Lake como tablas Iceberg para capas «bronce» y «plata» sin todos los requisitos del formato universal (UniForm). Próximamente llegará a Delta Lake Direct la compatibilidad con la aggiornamento cibernética y la coexistentes de metadatos de Iceberg.
Si acertadamente existen otras herramientas en el ecosistema Iceberg que respaldan las canalizaciones de captura de datos de cambios (CDC), implican una complejidad de orquestación para cumplir con los requisitos de aggiornamento. Tablas dinámicas Apache Iceberg de Snowflake (arreglado de forma militar esta semana) simplifica sustancialmente las canalizaciones de CDC para Iceberg con un enfoque declarativo: escriba la consulta del resultado deseado, especifique un retraso y deje que Snowflake se encargue del resto. Próximamente en una audiencia previa privada, podrá utilizar tablas Iceberg de catálogos externos como fuente para las tablas Iceberg dinámicas. Si acertadamente Snowpark Python admite la lección y escritura en tablas Iceberg, ahora asimismo puedes crear tablas Iceberg con Snowpark Python (generalmente arreglado). Por postrer, puedes clonar mesas Iceberg (audiencia previa pública) sin duplicar el almacenamiento, lo que le permite padecer con tablas Iceberg de forma segura y rentable durante las pruebas y el crecimiento.
La integración de tablas Snowflake e Iceberg en su data lakehouse se simplifica con un conjunto de herramientas, que incluyen soporte para escribir en Microsoft Fabric OneLake (audiencia previa pública) como ubicación de almacenamiento. Usar esta derrotero de inicio rápido paso a paso para ver cómo los clientes conjuntos ahora pueden utilizar ambas plataformas en una sola copia de datos, lo que puede ayudar a dominar los costos de almacenamiento y canalización. Snowflake asimismo permite a los usuarios consultar fácilmente tablas Iceberg desde cualquier Catálogo Iceberg REST (generalmente arreglado) o cualquier tabla Iceberg administrada externamente que utilice fusión en lección (audiencia previa privada). Para ayudar a asegurar que está consultando las últimas versiones de sus tablas, puede pegar un aggiornamento cibernética configuración (generalmente arreglado pronto) para su tabla Iceberg y definiciones de integración de catálogo en SQL.
Colabore de forma sencillo y segura con Snowflake Open Catalog, un servicio administrado por Snowflake para Apache Polaris
En julio de 2024, Snowflake abrió un catálogo para Apache Iceberg, ahora conocido como Apache Polaris™ (en incubación), que permite la interoperabilidad entre muchos motores en una única copia de datos, sin copias ni movimientos de datos superfluos. Catálogo destapado de copos de cocaínaun servicio totalmente administrado para Apache Polaris, ahora está arreglado de forma generalizada, brindando a los usuarios todos los beneficios de Polaris (sin dependencia de proveedores, flexibilidad de motores, seguridad entre motores) conexo con la confiabilidad, seguridad, escalabilidad y soporte que hacen Es sencillo comenzar y seguro de usar. Los equipos de su ordenamiento ahora pueden colaborar en lagos de datos de forma segura con controles de ataque consistentes para muchos motores (lectores y escritores), como Apache Flink™, Apache Spark™, Presto y Trino.