Cómo Kythera Labs, un socio de Databricks construido, ahorra $ 2 millones/año usando Delta Sharing

Los sistemas de vigor generan enormes cantidades de datos confidenciales, pero mover, compartir y analizar que los datos de forma segura en todas las organizaciones siguen siendo un desafío importante. En esta publicación, veremos cómo en Kythera Labs usamos Databricks y Delta Sharing para tener la llave de la despensa más de 300 millones de registros de pacientes y apoyar colaboraciones en la atención médica y las ciencias de la vida. El blog cubrirá los problemas prácticos con los métodos de compartir datos más antiguos, por qué adoptamos el intercambio de delta y el impacto que ha tenido en nuestros costos de almacenamiento, eficiencia y colaboración en tiempo existente.

Hacer que los datos funcionen en la atención médica: el enfoque de Kythera

Kythera Labs es una compañía de tecnología de datos que capacita a las organizaciones de ciencias de la vigor y la vida con una plataforma de datos de atención médica unificada de adhesión fidelidad para el prospección. Como socio de Databricks construidoelegimos Databricks y Delta Compartir No solo para el intercambio de datos internos, sino asimismo para hospedar el intercambio de datos sin problemas con socios externos. Hoy, más del 80% de nuestros clientes usan productos construidos en la plataforma. Asimismo apoyamos colaboraciones externas, incluidas organizaciones como Ciencias Exactas, utilizando Delta Sharing en 50 espacios de trabajo activos de clientes.

¿Por qué Delta Compartir?

Kythera Labs eligió el intercambio de delta para aventajar desafíos significativos para compartir de forma segura los datos de atención médica. Con más de 300 millones de registros de pacientes que abarcan una plazo de historia clínica, los métodos tradicionales requirieron crear y mover múltiples copias completas de conjuntos de datos, impulsar los costos de almacenamiento en cientos de miles de dólares y desacelerar la entrega.

Delta compartiendo cambios que habilitan el entrada seguro y en tiempo existente a los datos en vivo sin crear copias duplicadas. En empleo de juntar y permanecer conjuntos de datos separados para cada socio o entorno, podemos compartir una sola fuente de verdad gobernada directamente. Este enfoque nos ha permitido proveer equipos internos y colaboraciones externas con solo 3.5 PB de almacenamiento, en empleo del más de 20 PB requerido.

Otra complejidad es conocer a nuestros clientes donde están en la aglomeración. Los proveedores de atención médica a menudo operan en Azure, mientras que muchas compañías farmacéuticas se ejecutan en AWS o GCP. Sin una tecnología como el intercambio del Delta, la entrega de grandes conjuntos de datos en las nubes significaría transferencias costosas, trabajo enredado de ETL y múltiples copias obsoletas dispersas entre nubes. Con el intercambio de delta, podemos proporcionar instantáneamente entrada seguro al mismo conjunto de datos en vivo, sin importar la aglomeración, mientras mantenemos el cumplimiento y eliminan copias innecesarias.

Esto no solo optimiza nuestros flujos de trabajo internos (pasando del expansión a las pruebas a la producción sin retornar a colocar datos) sino que asimismo facilita que los clientes actúen más rápido, como renovar instantáneamente un maniquí de tratamiento contra el cáncer con los datos más nuevos.

Reemplazo de enfoques heredados

Transmitido el crecimiento exponencial en el masa de datos y la complejidad, los métodos tradicionales de intercambio de datos como los servidores SFTP ya no son viables para las micción modernas. Mover archivos grandes de un flanco a otro introduce demoras, agrega riesgos de seguridad y requiere el almacenamiento de múltiples conjuntos de datos redundantes.

Si adecuadamente las API podrían ser un arbitrio, son insuficientes para compartir los vastos océanos de datos que organizaciones como Kythera administran. Encargar en las API para compartir los inmensos volúmenes de datos que administramos sería como tratar de guatar una piscina con una manguera de oasis, es técnicamente posible, pero demasiado sosegado e ineficiente para nuestras micción.

Operacionalmente, manejamos de 7 a 10 millones de transacciones diariamente al tiempo que garantizamos el cumplimiento a través de nuestra «inmueble de cúpula» personalizada basada en el intercambio de delta. Los clientes se benefician de las actualizaciones en tiempo existente a través del intercambio de pinta sin intervención manual.

Al adoptar el intercambio de delta, nos hemos alejado por completo de estos métodos heredados y ganamos eficiencia operativa al tiempo que permite una colaboración perfecta en las nubes y organizaciones.

Delta compartiendo ROI

Delta Sharing nos ha permitido eliminar los métodos de intercambio de datos heredados, disminuir las micción de almacenamiento en más del 80%y eludir más de $ 2 millones en los últimos 2 abriles. – Jeff McDonald, CEO, Kythera Labs

Delta Sharing ayudó a Kythera a disminuir las micción de almacenamiento de 24 PB proyectados a solo 3.5 PB. Durante tres abriles, la demanda de almacenamiento disminuyó de 17 Pb/mes en 2024 a 12 Pb/mes en 2023 y 6 PB/mes en 2022. Esas reducciones suman millones de ahorros. Para el contexto, las grandes compañías farmacéuticas pueden desgastar hasta $ 14 millones cada mes solo en almacenamiento.

El almacenamiento es solo parte de la historia. Los costos de cálculo para realizar las copias ETL podrían ser aún más significativas, desde igual a los ahorros de almacenamiento hasta potencialmente muchas veces mayores, dependiendo de los casos de uso.

Control de información

Delta Sharing ha transformado nuestras capacidades de intercambio de datos al disminuir los costos, mejorar la eficiencia y permitir la colaboración en tiempo existente en las nubes y organizaciones. La combinación de delta compartido, Catálogo de la mecanismoy agrupación de líquidos Asegura la escalabilidad al tiempo que mantiene el cumplimiento de los estándares de datos de atención médica, ejemplificando cómo las plataformas de datos modernas y abiertas pueden revolucionar los prospección de atención médica.