Cree mejores tuberías de datos con SQL y Python en Snowflake

SnowPark ahora ofrece capacidades mejoradas para sufrir el código a los datos de forma segura y apto entre idiomas, con un soporte ampliado a través de la integración de datos, la diligencia de paquetes y la conectividad segura. Las actualizaciones incluyen:

• Integración de datos: Con el soporte de Python DB-API (aspecto previa privada), los desarrolladores ahora pueden usar Snowpark para extraer datos de bases de datos relacionales externas directamente en el copo de cocaína. Python XML Rowtag Reader (Sagacidad previa privada) permite cargar archivos XML anidados grandes utilizando una opción ROWTAG simple. Los usuarios solo pueden ingerir las partes relevantes de un documento XML y admitir una salida tabular estructurada para el procesamiento posterior.

• Trámite de paquetes: Con Repositorio de artefactos (generalmente habitable)nuestro soporte de paquete flexible simplifica la empresa de paquetes para descargar e instalar paquetes de PYPI internamente de las funciones definidas por el favorecido (UDF) y procedimientos almacenados de Snowpark. Para aquellos con paquetes personalizados, ahora puede cargar paquetes con código nativo e importar como parte de su UDFS o procedimientos almacenados.

• File escribe desde Python UD (T) F (ahora generalmente habitable): La preámbulo de esta característica Se expande las capacidades generales de Snowpark para los casos de uso de ingeniería de datos, especialmente cuando se requieren escrituras paralelas de archivos personalizados con UDFS. Dichos ejemplos incluyen escribir archivos personalizados (por ejemplo, archivos de maniquí; archivos no estructurados como PDF e imágenes; o archivos semiestructurados como JSON) de función a etapas y transformando archivos como parte de las tuberías de datos en la etapa. Ahora puede cambiar los archivos AVRO a JSON orientados a la fila y dividir archivos grandes en archivos más pequeños para ser utilizado como parte de las aplicaciones aguas debajo.

Hemos hecho que sea más tratable aceptar a fuentes de datos y puntos finales externos desde Snowpark con capacidades, como el soporte para comodín en las reglas de la red, el soporte para permitir que todos accedan a cualquier punto final en las reglas de red e integración con AWS IAM para simplificar la conectividad a los posibles de AWS. Adicionalmente, la conectividad privada de comunicación foráneo de comunicación foráneo ahora está habitable en regiones adicionales, incluido AWS Gov (generalmente habitable), Azure Gov (generalmente habitable) y Google Cloud Platform (Sagacidad previa privada).

Automatizar tuberías

La orquestación automatizada está integrada en flujos de trabajo de transformación con características como tablas dinámicas, con soporte nativo adicional que usa tareas de copo de cocaína para proporcionar un entorno confiable y escalable para una ejecución consistente sin la sobrecarga operativa.

Tareas y actualizaciones de tareas sin servidor

Las tareas de copo de cocaína y las tareas sin servidor brillan para la orquestación porque le permiten aclarar flujos de trabajo complejos como una serie de declaraciones SQL dependientes o código Python ejecutado directamente internamente de Snowflake, eliminando la aprieto de herramientas de orquestación externas. Esta estrecha integración simplifica la diligencia y aprovecha los sólidos posibles de cuenta de Snowflake para una automatización confiable y rentable. Durante el año pasado, hemos estado realizando mejoras continuas a estas capacidades de orquestación nativa, que incluyen:

• Mejoras del descriptivo de tareas: Fijar flujos de trabajo más ricos para modelar tuberías de datos con nuevas vistas y notificaciones. Ahora puede remitir notificaciones a los servicios de correo en la cirro al completar exitosamente un descriptivo de tareas (que puede activar la bono posterior) y ver la representación gráfica de las dependencias de ejecución de tareas con información de metadatos para tareas.

• Tareas activadas: Ejecute inmediatamente tareas cuando lleguen nuevos datos en las tablas de origen con procesamiento basado en eventos para SQL y Snowpark. Ahora todavía puede crear una tarea sin aprieto de especificar un horario o un almacén imaginario. Adicionalmente, puede ejecutar automáticamente tareas cuando llegan los datos de una compartir datos o en tablas de directorio (adicionalmente del soporte antecedente para tablas, vistas, tablas dinámicas e iceberg).

• Programador de tareas de depreciación latencia: Orchestre de forma confiable las tuberías de datos con horarios de 10 segundos para procesar los datos con frecuencia.

• Controles de optimización y gobernanza: Control para las optimizaciones de costo y rendimiento en tareas sin servidor.

• Editar tareas en Scowsight: Editar tareas existentes desde el menú de bono para alterar el horario, calcular, parámetros o comentarios.

• Automatización de Python/JVM: Automatice UDFS (Python/JVM) y los procedimientos almacenados con tareas sin servidor.

Una experiencia de tuberías más completa con copo de cocaína

Snowflake continúa evolucionando como el motor central para las operaciones de datos modernos, proporcionando un conjunto integral de herramientas para construir y orquestar tuberías de datos con facilidad y eficiencia. Desde la accesibilidad de SQL y el poder de DBT hasta la flexibilidad de Python a través de Snowpark y Pandas, estos últimos avances capacitan a los ingenieros de datos para aventajar las complejidades operativas y se centran en impulsar la innovación. Al juntar el código a los datos, racionalizar los flujos de trabajo y mejorar el rendimiento en diversos casos de uso y conjuntos de habilidades, Snowflake se compromete a permitir que los equipos de datos desbloqueen todo el potencial de sus datos en el paisaje de AI de ritmo rápido de hoy.

Si desea obtener más información sobre estas características y más, unirse a nosotros en Data Engineering Connect el 29 de julio de 2025.

Declaraciones de aspecto cerca de delante:

Este artículo contiene declaraciones prospectivas, incluidas nuestras futuras ofertas de productos, y no son compromisos de ofrecer ninguna ofrecimiento de productos. Los resultados y las ofertas reales pueden demorar y están sujetos a riesgos e incertidumbres conocidos y desconocidos. Vea nuestro extremo 10-Q para obtener más información.

¹ Según los casos de uso de la producción de clientes y los ejercicios de prueba de concepto que comparan la velocidad y el costo de los servicios de SnowPark contra Spark administrados entre noviembre de 2022 y mayo de 2025. Todos los hallazgos compendio los resultados reales de los clientes con datos reales y no representan conjuntos de datos fabricados utilizados para puntos de remisión.