El soporte de larga data de Snowflake para el tipo de datos transformación ahora se extiende a las tablas Iceberg con v3, que incluye soporte para lotes (COPIAR), microlote (tubo de cocaína) y transmisión (Transmisión de Snowpipe) canaliza directamente a las tablas Iceberg con subcolumnarización cibernética (“trituración”) para un rendimiento de recitación enormemente optimizado.
Marcas de tiempo más precisas
Con apoyo para marcas de tiempo con precisión de nanosegundoslas tablas Iceberg v3 ahora coinciden con la precisión de la marca de tiempo de las tablas nativas Snowflake. Este nivel de precisión suele ser necesario en casos de uso como datos financieros de ingreso frecuencia o de Internet de las cosas. Las funcionalidades avanzadas de series temporales de Snowflake, como ASOF ÚNETE y Previsión de enseñanza mecánicoampliar a las mesas Iceberg.
Datos geoespaciales
Tipos de datos de geometría y geogonia ahora son compatibles con la traducción 3 de Iceberg y coinciden con los tipos de datos geoespaciales de las tablas nativas de Snowflake. Snowflake aprovecha los cuadros delimitadores y los metadatos para una poda efectivo en casos de uso de investigación geoespacial con una gran cantidad de funciones geoespaciales.
Ingesta y transformaciones más rápidas con vectores de matanza
Iceberg ofrece opciones en forma de copia en escritura y combinación en recitación para optimizar el rendimiento según las deposición de cada caso de uso. Sin requisa, las eliminaciones posicionales v2 generalmente conllevan una compensación de rendimiento basada en la granularidad y la cantidad de archivos eliminados. Iceberg v3 prosperidad esto con vectores de eliminacion como modo predeterminado para fusión en recitación, almacenando la granularidad a nivel de archivo en menos archivos consolidados. Snowflake ahora admite vectores de matanza para los dos lee y escribe en las tablas Iceberg v3, catálogos administrados por Snowflake y administrados externamente, que pueden mejorar el rendimiento de las canalizaciones con muchas actualizaciones, eliminaciones y fusiones.
Interoperabilidad segura y BCDR con Horizon Catalog
Horizon Catalog unifica el descubrimiento, la gobernanza y la colaboración en todos los activos de su estructura, incluidas las tablas Iceberg, con índole, políticas y controles de seguridad integrados. Horizon Catalog expone las tablas Iceberg a través de una interfaz REST Iceberg estandarizadaimpulsado por Apache Polaris™ integrado en Horizon, para que los motores externos puedan repasar las tablas Iceberg administradas por Snowflake, que ahora incluyen Iceberg v3.
Horizon le ayuda a certificar que sus tablas Iceberg v3 estén gobernadas y sean interoperables en todas sus herramientas. Esto incluye la capacidad de entregar credenciales de almacenamiento temporal con repercusión en tiempo de ejecución, que se está convirtiendo cada vez más en el normalizado de la industria para la integración segura entre motores, catálogos y almacenamiento de blobs.
Adicionalmente, las políticas de protección de datos como llegada a filas y enmascaramiento de columnas en las tablas Iceberg, que estuvieron disponibles por primera vez en la traducción 2 y ahora se aplican a la traducción 3 de Iceberg, son diligente cuando se accede a través de Apache Spark usando Snowflake Connector para Apache Spark™ (generalmente adecuado).