Estamos felices de anunciar que Soporte de Python para paquetes de activos de Databricks ahora está arreglado en Public Preview! Los usuarios de Databricks han podido durante mucho tiempo autor Método de tuberías en Python. Con este emanación, el ciclo de vida completo del ampliación de la tubería, incluida la orquestación y la programación, ahora se puede precisar y desplegarse completamente en Python. Los paquetes de activos de Databricks (o «Bundles») proporcionan un enfoque estructurado y de código primero para precisar, versarse e implementar tuberías en todos los entornos. El soporte nativo de Python mejoramiento la flexibilidad, promueve la reutilización y mejoramiento la experiencia de ampliación para los equipos que prefieren Python o requieren una configuración dinámica en múltiples entornos.
Estandarizar las implementaciones de trabajo y tuberías a escalera
Los equipos de ingeniería de datos que administran docenas o cientos de tuberías a menudo enfrentan desafíos que mantienen prácticas de implementación consistentes. Las operaciones de escalera introducen la penuria de control de versiones, acometividad de preproducción y la asesinato de la configuración repetitiva en todos los proyectos. Tradicionalmente, este flujo de trabajo requirió sostener grandes archivos YAML o realizar actualizaciones manuales a través de la interfaz de adjudicatario de Databricks.
Python mejoramiento este proceso al habilitar la configuración programática de trabajos y tuberías. En emplazamiento de editar manualmente archivos YAML estáticos, los equipos pueden precisar la razonamiento una vez en Python, como establecer grupos predeterminados, aplicar etiquetas o hacer cumplir las convenciones de nombres, y aplicarlo dinámicamente en múltiples implementaciones. Esto reduce la duplicación, aumenta la capacidad de mantenimiento y permite a los desarrolladores integrar las definiciones de implementación en los flujos de trabajo basados en Python existentes y las tuberías de CI/CD de guisa más natural.
«La configuración declarativa y la integración de Databricks nativas hacen que las implementaciones sean simples y confiables. Los mutantes se destacan, nos permiten personalizar los trabajos programáticamente, como el auto-etiquetado o establecer los títulos predeterminados. Estamos emocionados de ver que los DAB se convierten en el en serie para la implementación y más».
– Tom Potash, apoderado de ingeniería de software en Doubleverify
Implementaciones con pitón para paquetes de activos de Databricks
La suplemento de soporte de Python para Bundles de activos de Databricks Agiliza el proceso de implementación. Los trabajos y las tuberías ahora pueden definirse, personalizar y dirigir completamente en Python. Si adecuadamente la integración de CI/CD con paquetes siempre ha estado arreglado, el uso de Python simplifica la autorización de configuraciones complejas, reduce la duplicación y permite a los equipos estandarizar las mejores prácticas programáticamente en diferentes entornos.
Usando el Ver como código característica en trabajos además puede copiar paste directamente en su esquema (obtenga más información aquí)
Capacidades avanzadas: procreación y personalización programática
Como parte de este emanación, presentamos el load_resources función, que se usa para crear programas programados utilizando metadatos. La CLI de Databricks vehemencia a esta función de Python durante la implementación para cargar trabajos y tuberías adicionales (obtenga más información aquí).
Otra capacidad útil es la mutator Patrón, que le permite validar las configuraciones de tuberías y poner al día las definiciones de trabajo dinámicamente. Con mutadores, puede aplicar configuraciones comunes, como notificaciones predeterminadas o configuraciones de clúster sin definiciones repetitivas de YAML o Python:
Obtenga más información sobre mutadores aquí.
Emprender
¡Sumérgete en el soporte de Python para los paquetes de activos de Databricks hoy! Explorar la documentación para Bundles de activos de Databricks así como para Soporte de Python para paquetes de activos de Databricks. Estamos emocionados de ver lo que construye con estas nuevas y poderosas características. Valoramos sus comentarios, así que comparta sus experiencias y sugerencias con nosotros.