Las transformaciones de datos son los componentes básicos de cualquier logística de datos eficaz y son cruciales para construir canales de datos sólidos. Durante abriles, los equipos de datos han confiado en dbt (utensilio de creación de datos) para incorporar las mejores prácticas de ingeniería de software (como modularidad, control de versiones y pruebas) a los flujos de trabajo de transformación de SQL y Snowpark.
Pero el proceso no siempre ha sido valentísimo. Los equipos de datos y los propietarios de plataformas a menudo se enfrentan a algunos desafíos comunes:
- Gastos generales de infraestructura: La papeleo de la computación para un orquestador foráneo (como Airflow), encima de Snowflake, agrega complejidad de mantenimiento y puede aminorar potencialmente la confiabilidad en sistemas dispares.
- Desafíos de depuración: Los registros y los datos de rendimiento se distribuyen por todo el orquestador y los registros de consultas, lo que dificulta encontrar las causas fundamentales y los cuellos de botella.
- Brechas de gobernanza: Es difícil permitir que nuevos equipos creen e implementen canalizaciones, especialmente cuando hay una curva de educación pronunciada y la seguridad uniforme es un desafío.
- Configuración de CI/CD: La configuración de una integración y entrega continuas (CI/CD) robustas y automatizadas para el código de transformación de datos a menudo requiere un importante esfuerzo de ingeniería personalizado para respaldar la calidad y una implementación rápida.
Ahora, el poder de dbt está habitable de forma nativa en Snowflake. Los proyectos dbt en Snowflake permiten a su equipo de datos crear, ejecutar y monitorear proyectos dbt directamente en Snowflake. Con el nuevo editor de Workspaces, la próxima gestación de creación de SQL en Snowflake, los equipos pueden editar y depurar proyectos. Los proyectos dbt en Snowflake ofrecen paridad total con Snowflake CLI para encargar implementaciones y pruebas de proyectos dbt a través de herramientas CI/CD, como GitHub Actions. Estas opciones nativas reducen el cambio de contexto, simplifican la configuración y aceleran todo el ciclo de vida de expansión del canal de datos.