Portar las cargas de trabajo de su almacén de datos es una de las tareas más desafiantes pero esenciales para cualquier estructura. Ya sea que la motivación sea el crecimiento de su negocio y los requisitos de escalabilidad o la reducción del detención costo de licencias y hardware de sus sistemas heredados existentes, portar no es tan simple como transferir archivos. En Databricks, nuestro equipo de Servicios profesionales (PS) ha trabajado con cientos de clientes y socios en proyectos de migración y tiene un amplio historial de migraciones exitosas. Esta publicación de blog explorará las mejores prácticas y las lecciones aprendidas que cualquier profesional de datos debería considerar al determinar el capacidad, diseñar, construir y ejecutar una migración.
5 fases para una migración exitosa
En Databricks, hemos desarrollado un proceso de cinco fases para nuestros proyectos de migración basado en nuestra experiencia y conocimientos.
Antiguamente de iniciar cualquier plan de migración, comenzamos con la descubrimiento grado. Durante esta grado, nuestro objetivo es comprender las razones detrás de la migración y los desafíos del sistema heredado existente. Igualmente destacamos los beneficios de portar cargas de trabajo a la plataforma Databricks Data Intelligence. La grado de descubrimiento implica sesiones colaborativas de preguntas y respuestas y debates arquitectónicos con partes interesadas esencia del cliente, Databricks. Por otra parte, utilizamos un padre de perfiles de descubrimiento automatizado para obtener información sobre las cargas de trabajo heredadas y estimar los costos de consumo de la plataforma Databricks para calcular la reducción del TCO.
Posteriormente de completar la grado de descubrimiento, pasamos a una más profunda. evaluación. Durante esta etapa, utilizamos analizadores automatizados para evaluar la complejidad del código existente y obtener una estimación de detención nivel del esfuerzo y el costo requerido. Este proceso proporciona información valiosa sobre la construcción de la plataforma de datos coetáneo y las aplicaciones que admite. Igualmente nos ayuda a refinar el capacidad de la migración, eliminar tablas, canalizaciones y trabajos obsoletos y comenzar a considerar la construcción de destino.
en la migracion organización y grado de diseño, finalizaremos los detalles de la construcción de destino y el diseño detallado para la migración de datos, ETL, traducción del código de procedimiento almacenado y modernización de informes y BI. En esta etapa, igualmente trazaremos la tecnología entre los activos de origen y de destino. Una vez que hayamos finalizado la organización de migración, incluida la construcción de destino, los patrones de migración, las herramientas y los socios de entrega seleccionados, Databricks PS, contiguo con el socio de SI predilecto, preparará una Explicación de trabajo (SOW) de migración para el piloto (Grado I). o múltiples fases para el plan. Databricks cuenta con varios certificados Migración de socios de Brickbuilder SI quienes proporcionan herramientas automatizadas para asegurar migraciones exitosas. Por otra parte, Databricks Professional Services puede proporcionar servicios de Aval de migración contiguo con un socio de SI.
Una vez firmada la exposición de trabajo (SOW), Databricks Professional Services (PS) o el socio de entrega predilecto lleva a lugar una piloto de producción grado. En esta grado, se migra un caso de uso de un extremo a otro claramente definido a Databricks desde la plataforma heredada. Los datos, el código y los informes se modernizan a Databricks mediante herramientas automatizadas y aceleradores de conversión de código. Las mejores prácticas están documentadas y una retrospectiva de Sprint captura todas las lecciones aprendidas para identificar áreas de restablecimiento. Se crea una finalidad de incorporación de Databricks para que sirva como maniquí para las fases restantes, que normalmente se ejecutan en sprints paralelos utilizando equipos ágiles de Scrum.
Finalmente, avanzamos en dirección a la Migración en toda regla. ejecución grado. Repetimos nuestro enfoque de ejecución piloto, integrando todas las lecciones aprendidas. Esto ayuda a establecer un Centro de excelencia (CoE) de Databricks interiormente de la estructura y prosperar los equipos mediante la colaboración con equipos de clientes, socios de SI certificados y nuestro equipo de servicios profesionales para asegurar la experiencia y el éxito de la migración.
Lecciones aprendidas
Piensa en ínclito, empieza en pequeño
Es crucial durante la grado de organización comprender completamente el panorama de datos de su empresa. Igualmente importante es probar algunos casos de uso específicos de un extremo a otro durante la grado piloto de producción. No importa qué tan acertadamente planifique, es posible que algunos problemas solo surjan durante la implementación. Es mejor afrontarlos pronto para encontrar soluciones. Una excelente forma de nominar un caso de uso piloto es comenzar con el objetivo final; por ejemplo, nominar un panel de informes que sea importante para su negocio, determinar los datos y procesos necesarios para crearlo y luego intentar crear el mismo panel en su plataforma de destino como prueba. Esto le dará una buena idea de lo que implicará el proceso de migración.
Automatizar la grado de descubrimiento
Comenzamos utilizando cuestionarios y entrevistando a los administradores de la saco de datos para comprender el capacidad de la migración. Por otra parte, nuestros perfiladores de plataforma automatizados escanean los diccionarios de datos de las bases de datos y los metadatos del sistema Hadoop para proporcionarnos cifras reales basadas en datos sobre la utilización de CPU, % de ETL frente a % de uso de BI, patrones de uso por parte de varios usuarios y principales de servicio. Esta información es muy útil para estimar los costos de Databricks y el hucha de TCO resultante. Los analizadores de complejidad de código igualmente son valiosos ya que nos proporcionan la cantidad de DDL, DML, procedimientos almacenados y otros trabajos ETL que se migrarán, contiguo con su clasificación de complejidad. Esto nos ayuda a determinar los costos y los plazos de la migración.
Aproveche los convertidores de código automatizados
El uso de herramientas automatizadas de conversión de código es esencial para acelerar la migración y minimizar los gastos. Estas herramientas ayudan a convertir código heredado, como procedimientos almacenados o ETL, a Databricks SQL. Esto garantiza que no se pase por detención ninguna regla o función comercial implementada en el código heredado adecuado a la desidia de documentación. Por otra parte, el proceso de conversión normalmente ahorra a los desarrolladores más del 80 % del tiempo de progreso, lo que les permite revisar rápidamente el código convertido, realizar los ajustes necesarios y centrarse en las pruebas unitarias. Es crucial asegurar que las herramientas automatizadas puedan convertir no solo el código de la saco de datos sino igualmente el código ETL de plataformas heredadas basadas en GUI.
Más allá de la conversión de código: los datos igualmente importan
Las migraciones crean a menudo una impresión engañosa de que se negociación de un plan claramente definido. Cuando pensamos en la migración, normalmente nos centramos en convertir el código del motor de origen al de destino. Sin secuestro, es importante no advenir por detención otros detalles que son necesarios para que la nueva plataforma sea apto.
Por ejemplo, es crucial finalizar el enfoque para la migración de datos, similar a la migración y conversión de código. La migración de datos se puede obtener de forma efectiva mediante el uso de Databricks Conexión LakeFlow cuando corresponda o eligiendo uno de nuestros Herramientas de socios de ingesta de CDC. Inicialmente, durante la grado de progreso, puede ser necesario realizar cargas históricas y de puesta al día desde el EDW heredado y, al mismo tiempo, ocasionar la ingesta de datos desde las fuentes reales a Databricks. Por otra parte, es importante tener una organización de orquestación acertadamente definida utilizando Flujos de trabajo de ladrillos de datos, Mesas en vivo Deltao herramientas similares. Por otra parte, su plataforma de datos migrados debe alinearse con su progreso de software y Prácticas de CI/CD antaño de que la migración se considere completa.
No ignores la gobernanza y la seguridad
La gobernanza y la seguridad son otros componentes que a menudo se pasan por detención al diseñar y determinar el capacidad de una migración. Independientemente de sus prácticas de gobernanza existentes, recomendamos utilizar el Catálogo de mecanismo en Databricks como su única fuente de verdad para capacidades centralizadas de control de entrada, auditoría, índole y descubrimiento de datos. Portar y habilitar Unity Catalog aumenta el esfuerzo requerido para la migración completa. Por otra parte, explore las capacidades únicas que algunos de nuestros Socios de gobernanza proporcionar.
La acometividad de datos y las pruebas de favorecido son esenciales para una migración exitosa
Es crucial para el éxito del plan contar con una acometividad de datos adecuada y la décimo activa de expertos en la materia (PYME) comerciales durante la grado de prueba de saludo del favorecido. El equipo de migración de Databricks y nuestros integradores de sistemas (SI) certificados utilizan herramientas de reconciliación de datos y pruebas paralelas para asegurar que los datos cumplan con todos los estándares de calidad sin discrepancias. Una robusto alineamiento con los ejecutivos garantiza la décimo oportuna y enfocada de las PYMES durante las pruebas de saludo del favorecido, lo que facilita una transición rápida a la producción y un acuerdo sobre el desmantelamiento de los sistemas más antiguos y los informes una vez que el nuevo sistema esté en funcionamiento.
Hágalo sinceridad: ponga en actos y observe su migración
Implemente buenas prácticas operativas, como marcos de calidad de datos, manejo de excepciones, reprocesamiento y controles de observabilidad de canalización de datos, para capturar e informar métricas de procesos. Esto ayudará a identificar e informar cualquier desviación o retraso, permitiendo acciones correctivas inmediatas. Características de Databricks como Monitoreo de la casa del charcal y nuestro facturación del sistema Las tablas ayudan en la observabilidad y el seguimiento de FinOps.
Confía en los expertos
Las migraciones pueden ser un desafío. Siempre habrá compensaciones que equilibrar y problemas inesperados y retrasos que tramitar. Necesita socios y soluciones probados para los aspectos de personas, procesos y tecnología de la migración. Recomendamos creer en los expertos de Servicios profesionales de ladrillos de datos y nuestro socios de migración certificadosquienes tienen una amplia experiencia en la entrega de soluciones de migración de suscripción calidad de forma oportuna. alcanzar para comenzar su evaluación de migración.