Los datos en tiempo vivo ya no se tratan sólo de velocidad; se negociación de un rendimiento masivo, una escalera predecible y datos que llegan listos para ser consultados. Los agentes de IA y las aplicaciones inteligentes necesitan razonar continuamente sobre datos nuevos y un contexto casi en tiempo vivo, y eso nos ha inspirado a reimaginar nuestra casa de transmisión de stop rendimiento. Los clientes ya están aprovechando las últimas innovaciones de Snowpipe Streaming para desbloquear casos de uso críticos. Si aceptablemente Snowpipe Streaming Classic ha sido el motor para la ingesta de desaparecido latencia directamente en las tablas Snowflake, la próxima reproducción de nuestra casa de transmisión permite estas cargas de trabajo de IA más pesadas y complejas a medida que crecen de miles de eventos por segundo a millones.
Esta publicación negociación sobre dos cosas: explicar el inmenso valencia de lo nuevo Edificación de stop rendimiento de transmisión Snowpipe y mostrándole exactamente lo obvio que es portar. Creamos esta casa para desbloquear un rendimiento de hasta 10 GB/s por tabla en configuraciones compatibles, ceñir la latencia de un extremo a otro y simplificar la forma en que administra la transmisión a escalera, todo mientras mantenemos una estructura de precios sencilla que infunde confianza incluso a medida que crecen las cargas de trabajo.
Apiolíder en automatización de procesos con poco código, migró a la casa de stop rendimiento para reemplazar una canalización de ingesta rígida y con mucho código. Anteriormente, los cambios de esquema requerían actualizaciones de código complejas para manejar los DDL manualmente. Con Snowpipe Streaming High Performance, Appian desacopló la estructura de tablas de su deducción de ingesta, lo que les permitió administrar tuberías a través de Terraform de forma transparente para su aplicación Java. Según Appian, su motor personalizado “Snowblower” ahora ingiere casi medio petabyte de datos de registro por mes en 27 regionescon un rendimiento de desaparecido latencia en su entorno.
He aquí por qué debería acontecer a Snowpipe Streaming High Performance y cómo hacerlo.
¿Por qué modernizar? La preeminencia del stop rendimiento
Rendimiento a escalera
Snowpipe Streaming High Performance traslada el trabajo pesado del exploración y firmeza de archivos del cliente al servidor. Al desacoplar la ruta de ingesta mediante un objeto Pipe, hemos desbloqueado una escalabilidad masiva. Ahora puedes alcanzar hasta 10 GB/s por tabla y normalmente una latencia de extremo a extremo de 5 a 10 segundos en cargas de trabajo compatibles. Gracias a mejores optimizaciones en el exploración de datos, nuestras pruebas internas demostraron que los diseños de archivos optimizados pueden dar como resultado rendimiento de consultas posteriores hasta un 50% más rápido, en comparación con Snowpipe Streaming Classic, según la carga de trabajo y las características de los datos.
Cómo desbloquear casos de uso de servicio de desaparecido latencia con tablas interactivas
El rendimiento no se negociación sólo de la velocidad de ingesta; se negociación de latencia de consultas a escalera. Combinando Snowpipe Streaming de stop rendimiento con Snowflake Mesas Interactivasahora puede impulsar aplicaciones de adhesión concurrencia directamente desde Snowflake. Esto le permite evitar la descarga "caliente" datos a almacenes de datos operativos externos.
Mientras que las tablas normalizado destacan en exploración analíticos masivos, las tablas interactivas están optimizadas para exploración de desaparecido latencia y adhesión concurrencia, logrando a menudo tiempos de respuesta inferiores a un segundo en cargas de trabajo compatibles. Puede transmitir datos directamente a ellos con casi en tiempo vivo frescura. Esto le permite crear motores de personalización en tiempo vivo, paneles de control orientados al cliente y aplicaciones de exploración integradas que atienden a miles de usuarios simultáneos. Esta casa unificada simplifica su pila al ceñir el costo y la complejidad de abastecer capas de servicio separadas solo por velocidad.
Precios predecibles y a tanto cimarrón
Uno de los mayores puntos de fricción con Classic fue el maniquí de costos vinculado al tiempo de conexión del cliente, una variable que podría prosperar de modo impredecible si tenía muchos clientes inactivos. Snowpipe Streaming High Performance simplifica esto. Ahora pagas una tarifa fija de 0,0037 créditos por gigabyte sin comprimir. Pagas por los datos que mueves, no por el tiempo que tus clientes permanecen conectados.
Capacidad y eficiencia multilenguaje
Hemos roto la barrera de sólo Java. Snowpipe Streaming High Performance se rejón con SDK de primera clase para Java y Python, adjunto con una API REST. Debajo del capó, estos SDK están reconstruidos sobre un núcleo Rust de stop rendimiento. Esto no sólo los hace rápidos; los hace livianos y algunos clientes informan reducciones de hasta un 30 % en la utilización de memoria y CPU del costado del cliente, según la carga de trabajo y la implementación.
Nuevas capacidades: potencia sin complejidad
Snowpipe Streaming High Performance presenta características que ayer eran difíciles de implementar en Classic.
Preclustering: ordenar datos en revoloteo
Los datos de transmisión a menudo llegan sin clasificar, lo que genera un costoso mantenimiento en segundo plano o consultas lentas hasta que se activa la agrupación cibernética. Con Snowpipe Streaming High Performance, puede habilitar CLUSTER_AT_INGEST_TIME = TRUE. Esto clasifica y agrupa sus datos en tránsito ayer de escribirlos en el almacenamiento, lo que significa que los datos llegan en un formato enormemente optimizado para un rendimiento de consulta inmediato.
Tipos de datos complejos
El streaming innovador no es sólo un simple texto. Snowpipe Streaming High Performance agrega soporte sólido para formas de datos complejas, incluido soporte nativo para tipos GEOMETRÍA y GEOGRAFÍA. Igualmente agregamos compatibilidad con títulos de columna de hasta 128 MB, lo cual es esencial para blobs JSON pesados o datos variantes complejos que excedieron los límites de Classic.
Transformaciones en revoloteo sin estado
Snowpipe Streaming High Performance presenta el objeto Pipe para permitir transformaciones en curso sin estado directamente adentro de la ruta de ingesta. Ahora puede aplicar la deducción del comando COPY normalizado, como la conversión de tipos de datos, la cuna JSON y el reordenamiento de columnas, ayer de que los datos lleguen a su tabla de destino.
Este enfoque puede ceñir tanto la latencia como los costos de infraestructura. Al mudar los datos a medida que ingresan, se elimina la requisito de tablas provisionales intermedias y los posibles informáticos necesarios para el procesamiento posterior a la carga. Los datos llegan a su tabla final listos para un exploración inmediato, eliminando el retraso asociado con los trabajos de transformación secundarios.
Desarrollo del esquema nativo
En Classic, un cambio en el esquema de datos de origen a menudo significaba una interrupción del proceso. Snowpipe Streaming High Performance admite ENABLE_SCHEMA_EVOLUTION = TRUE de forma nativa. Las nuevas columnas se detectan y agregan automáticamente, y las restricciones NOT NULL se eliminan sobre la marcha, lo que mantiene su canalización en funcionamiento incluso a medida que sus datos evolucionan.
La tubería predeterminada
Para favorecer la migración, introdujimos la canalización predeterminada. No es necesario crear manualmente un objeto Pipe para comenzar a utilizar Snowpipe Streaming High Performance. Si su código apunta a una tabla pero apunta a la API de stop rendimiento, Snowflake maneja automáticamente el enrutamiento. Esto significa que si su código Classic escribió en Table_A, su código Snowpipe Streaming High Performance puede simplemente escribir en Table_A (a través de la tubería predeterminada) sin configuración adicional.
Director de migración: el camino en dirección a el stop rendimiento
La migración está diseñada para ser un proceso sencillo y sin pérdida de datos.
Paso 1: avalar los requisitos previos
Asegúrese de que su cuenta Snowflake esté en una región admitida. A partir de noviembre de 2025, Snowpipe Streaming High Performance estará adecuado de forma militar en implementaciones comerciales de AWS, Azure y GCP.
Para obtener más información sobre cómo comenzar, incluidas referencias de SDK y ejemplos de código, consulte la documentación.
Paso 2: actualiza tu código
Actualice las dependencias de su aplicación a la última interpretación del SDK de transmisión de copos de cocaína.
Hay dos cambios secreto en la API a tener en cuenta. Primero, el constructor ahora requiere el contexto del esquema. En oficio de solo constructor (nombre de canal), utilizará constructor (nombre de canal, nombre de saco de datos, nombre de esquema). En segundo oficio, el método de ingesta cambia de insertRow(…) a appendRow(…).
Paso 3: realice la transición sin pérdida de datos
Para cambiar de Classic a Snowpipe Streaming High Performance sin perder ni duplicar registros, simplemente entregue el token de compensación.
-
Pause su aplicación de ingestión Classic.
-
Recupere el posterior token de compensación confirmado del cliente clásico mediante getLatestCommittedOffsetToken().
-
Inicialice el canal Snowpipe Streaming High Performance usando ese token.
Ejemplo de Java que muestra un nuevo flujo de API
Paso 4: probar
Una vez que su aplicación Snowpipe Streaming High Performance se esté ejecutando, use el punto final getChannelStatus o consulte su tabla de aterrizaje para confirmar que last_committed_offset_token está avanzando y que su rendimiento se ha estabilizado.
Conclusión
Snowpipe Streaming High Performance es más que un aumento de interpretación; es la casa que soportará sus cargas de trabajo en tiempo vivo durante la próxima lapso. Con un rendimiento de 10 GB/s, crecimiento del esquema nativo y precios fijos, nunca ha habido un mejor momento para modernizar. Simplemente actualizando el SDK de su cliente, abriendo un nuevo canal y cambiando su flujo de ingesta, obtendrá un gran brinco en rendimiento y eficiencia sin un tiempo de inactividad minúsculo.
Pero el valencia vivo de esta modernización va mucho más allá de las métricas de ingesta. En la era de la IA generativa y los grandes modelos de idioma, la latencia es primordial. Los agentes de IA y los modelos predictivos son tan inteligentes como los datos que los alimentan; Si sus datos están obsoletos, sus conocimientos son irrelevantes. Snowpipe Streaming High Performance ayuda a que su casa esté repertorio para la IA, brindando el contexto fresco y de desaparecido latencia que sus modelos necesitan para dedicar resultados precisos y procesables en el momento.
El futuro de los datos es el streaming y el combustible para ese futuro es el tiempo vivo. Asegúrese de que su plataforma esté repertorio para manejarlo.