Hoy en día, todas las organizaciones enfrentan el mismo desafío fundamental: cómo equilibrar la indigencia de retener grandes cantidades de datos con la creciente presión para controlar los costos. Es posible que una empresa de servicios financieros necesite conservar abriles de resultados de modelos para auditorías regulatorias. Una empresa de medios puede acumular terabytes de datos de registro que rara vez se tocan pero que deben preservarse. Los equipos de seguridad de todos los sectores generan un sinfín de registros que es esencial conservar pero a los que rara vez se accede. Ya sea que se trate de cumplimiento, estudio o trazabilidad operativa, la historia es la misma: los datos que alguna vez fueron críticos para las operaciones diarias eventualmente se vuelven fríos, pero siguen siendo demasiado valiosos o están obligados a eliminarlos por completo.
En Snowflake, creemos en simplificar lo arduo. Para afrontar estos desafíos, nos complace anunciar la disponibilidad común de las políticas del ciclo de vida del almacenamiento. Esta función proporciona una forma sencilla y automatizada de resolver el ciclo de vida de sus datos, lo que le ayuda a achicar drásticamente los costos de almacenamiento (entre un 55 % y un 90 %) de los datos inactivos y apresurar el cumplimiento con una sobrecarga operativa mínima.
En esta publicación de blog, mostraremos cómo puede utilizar las políticas de ciclo de vida del almacenamiento para llevar la batuta automáticamente el ciclo de vida de sus datos (desde encarpetar datos fríos hasta eliminar registros caducados) para que pueda dosificar costos, sostener el cumplimiento y centrarse en la innovación en espacio de la infraestructura.
¿Qué es una política de ciclo de vida del almacenamiento?
Una política de ciclo de vida de almacenamiento es un objeto a nivel de esquema que le permite encarpetar o eliminar datos automáticamente de tablas típico de Snowflake. Estas políticas se aplican a nivel de fila, lo que proporciona un control detallado sobre qué datos específicos se archivan o eliminan en función de un cronograma definido. Usted define una expresión de política simple y Snowflake se encarga del resto, ejecutando automáticamente la política todos los días en bienes informáticos compartidos.
Comenzar implica solo dos pasos, con un nuevo conjunto de privilegios que le permiten controlar quién administra y aplica estas políticas:
-
Crear una política que especifica qué filas encarpetar o eliminar.
-
Aplicar la política a una o más tablas.
Aquí hay un ejemplo rápido:
Paso 1: crear la política
Cree una política de ciclo de vida de almacenamiento que archive datos de más de 360 días en el nivel COLD durante cinco abriles ayer de eliminarlos.
Paso 2: aplicar la política
Adjunte la política a una tabla (my_table).
Beneficios secreto
"A escalera de Block, llevar la batuta petabytes de registros de seguridad para el cumplimiento no es solo un desafío eficaz; Es un problema tecnológico que requiere innovación”. dice Bryan Cha, ingeniero de seguridad de plataforma de personal en Block. «Necesitábamos una forma más capaz de cumplir con nuestros requisitos de retención de siete abriles sin comprometer nuestra capacidad de proteger a nuestros clientes. Cuando compartimos este desafío con Snowflake, vieron la oportunidad más amplia y crearon políticas de ciclo de vida de almacenamiento. Trabajamos juntos durante todo el explicación, probando la función en nuestro entorno de producción y compartiendo conocimientos que ayudaron a dar forma al diseño final. El resultado es una posibilidad que fortalece nuestra postura de seguridad y al mismo tiempo demuestra lo que es posible cuando se abordan los desafíos de infraestructura con una mentalidad que da prioridad a la tecnología."
Reduzca drásticamente los costos de almacenamiento
Las políticas de ciclo de vida del almacenamiento lo ayudan a optimizar los costos al trasladar automáticamente los datos más antiguos a los que se accede con poca frecuencia a niveles de archivo más económicos. Para los datos retenidos durante más de un año con recuperación periódica (por ejemplo, 10 % cada seis meses), puede dosificar entre un 67 % y un 77 % en sus costos de almacenamiento y dependencia utilizando el nivel COOL. Usando el nivel COLD, los ahorros pueden alcanzar el 90%.
Optimice el cumplimiento normativo
Automatice la retención y asesinato de datos para afrontar sin esfuerzo los requisitos de cumplimiento. Puede configurar políticas para encarpetar datos durante un período específico ayer de su asesinato permanente, o simplemente expirarlos y eliminarlos sin archivarlos, lo que le ayudará a cumplir con los estándares de gobierno de datos de su estructura.
Eliminar la complejidad operativa
Snowflake automatiza completamente el proceso del ciclo de vida de los datos, liberando a su equipo de tener que llevar la batuta scripts manuales complejos. Esto reduce la carga operativa y le permite concentrarse en obtener valía de sus datos. Puede monitorear fácilmente las ejecuciones de políticas a través de la función de tabla STORAGE_LIFECYCLE_POLICY_HISTORY para sostener una visibilidad completa.
Recuperación bajo demanda del archivo
Puede recuperar selectivamente una copia de datos archivados en una nueva tabla usando un comando simple con una cláusula WHERE, lo que le brinda el mismo control detallado para la recuperación que tiene para el archivo.
Comience hoy
Las políticas de ciclo de vida del almacenamiento ahora están disponibles de forma común para todos los clientes. Los niveles de archivo (COOL y COLD) están disponibles en todas las regiones de AWS y las políticas de vencimiento se admiten en todas las regiones y nubes (AWS, Azure, GCP). El nivel de archivo en Azure está arreglado actualmente en interpretación preliminar. Comience a simplificar su mandato de datos, reduzca los costos de almacenamiento y avance en torno a sus objetivos de cumplimiento hoy. Para obtener más información, lea elDocumentación del copo de cocaína.