Flujos de trabajo administrados por Amazon para Apache Airflow (Amazon MWAA) se ha convertido en una piedra angular para las organizaciones que adoptan la toma de decisiones basada en datos. Como una posibilidad escalable para ordenar tuberías de datos complejas, Amazon MWAA permite una orquestación perfecta en los servicios de AWS y los sistemas locales. Aunque AWS administra la infraestructura subyacente, debe planificar cuidadosamente y ejecutar sus actualizaciones de entorno de Amazon MWAA de acuerdo con el maniquí de responsabilidad compartida. La modernización a la última traducción de Amazon MWAA puede proporcionar ventajas significativas, incluida la seguridad mejorada a través de parches de seguridad críticos y potenciales mejoras en el rendimiento con un disección DAG más rápido y una carga de pulvínulo de datos corta. Puede usar funciones avanzadas mientras mantiene la compatibilidad del ecosistema y recibe el soporte de AWS priorizado. La esencia para las actualizaciones exitosas radica en designar la posibilidad correcta y seguir un enfoque de implementación metódica.
En esta publicación, exploramos las mejores prácticas para refrescar su entorno de Amazon MWAA y proporcionamos una timonel paso a paso para la transición sin problemas a la última traducción.
Descripción normal de la posibilidad
Amazon MWAA ofrece dos soluciones de modernización principales:
- Modernización en el área – Este método funciona mejor cuando puede acomodar el tiempo de inactividad planificado. Implementa la nueva traducción directamente en su infraestructura existente. Las actualizaciones de la traducción en el área en Amazon MWAA son compatibles con entornos que ejecutan Apache Airflow traducción 2.x y más tarde. Sin confiscación, si está ejecutando versiones de la Interpretación 1.10.Z o antecedente, debe crear un nuevo entorno y portar sus capital, porque estas versiones no son compatibles con las actualizaciones en el área.
- Modernización de COTOVER – Este método ayuda a minimizar la interrupción en los entornos de producción. Usted crea un nuevo entorno de Amazon MWAA con la traducción objetivo y luego la transición de su entorno antiguo al nuevo.
Cada posibilidad ofrece un enfoque diferente para ayudarlo a refrescar mientras trabaja para perseverar la integridad de los datos y la confiabilidad del sistema.
Modernización en el área
Las actualizaciones en el área funcionan adecuadamente para entornos donde puede programar una ventana de mantenimiento para el proceso de modernización. Durante esta ventana, Amazon MWAA conserva su historial de flujo de trabajo. Este método funciona mejor cuando puede acomodar el tiempo de inactividad planificado. Ayuda a perseverar datos históricos, proporciona un proceso de modernización directo e incluye capacidades de reversión si se producen problemas durante el aprovisionamiento. Todavía usa menos capital porque no necesita crear un entorno nuevo.
Puede realizar actualizaciones en el área a través del Consola de dirección de AWS con una sola operación. Este proceso ayuda a resumir la sobrecarga operativa al ordenar muchos pasos de modernización para usted.
Durante el proceso de modernización, su entorno no puede programar o ejecutar nuevas tareas. Amazon MWAA ayuda a ordenar el proceso de modernización e implementa medidas de seguridad: si se producen problemas durante la período de aprovisionamiento, el servicio intenta retornar a la traducción estable antecedente.
Antiguamente de comenzar una modernización en el área, le recomendamos probar sus DAG para la compatibilidad con la traducción de destino, porque los problemas de compatibilidad de DAG pueden afectar el proceso de modernización. Puedes usar el Amazon MWAA Corredor particular Para probar la compatibilidad DAG ayer de comenzar la modernización. Puede iniciar la modernización utilizando la consola y especificando la nueva traducción o el Interfaz de orientación de comandos de AWS (AWS CLI). El venidero es un ejemplo del comando de modernización de Amazon MWAA usando el AWS CLI:
El venidero diagrama muestra el flujo de trabajo de modernización en el área de Amazon MWAA y los estados.
Referirse a Preparación de actualizaciones de traducción en el área con Amazon MWAA Para más detalles.
Modernización de COTOVER
Una modernización de COTOVER proporciona una posibilidad alternativa cuando necesita minimizar el tiempo de inactividad, aunque requiere más pasos manuales y planificación operativa. Con este enfoque, crea un nuevo entorno de Amazon MWAA, migra sus metadatos y gestiona la transición entre entornos. Aunque este método ofrece más control sobre el proceso de modernización, requiere un esfuerzo adicional de planificación y ejecución en comparación con una modernización en el área.
Este método puede funcionar adecuadamente para entornos con flujos de trabajo complejos, particularmente cuando planea hacer cambios significativos anejo con la modernización de la traducción. El enfoque ofrece varios beneficios: puede minimizar el tiempo de inactividad de producción, realizar pruebas integrales ayer de cambiar los entornos y perseverar la capacidad de retornar a su entorno diferente si es necesario. Todavía puede revisar y refrescar sus configuraciones durante la transición.
Considere los siguientes aspectos del enfoque de corte. Cuando ejecuta dos entornos simultáneamente, paga por los dos entornos. El precio de cada entorno de Amazon MWAA depende de:
- Duración del tiempo de actividad del medio círculo (facturado por hora con resolución por segundo)
- Configuración del tamaño del entorno
- Capacidad de escalera cibernética para trabajadores
- Capacidad del planificador
AWS calcula el costo de trabajadores automáticos a escalera adicional por separado. Puede estimar los costos de su configuración específica utilizando el Calculadora de precios de AWS.
Para ayudar a organizar la duplicación de datos o la corrupción durante la operación paralela, recomendamos implementar DAG ideMpotentes. El planificador de flujo de donaire puega automáticamente algunas tablas de metadatos (DAG, DAG_TAG y DAG_CODE) en su nuevo entorno. Sin confiscación, debe planificar la migración de los siguientes componentes de metadatos adicionales:
- Historia de DAG
- Variables
- Configuraciones de la piscina de tragamonedas
- SLA Miss Records
- Datos de XCOM
- Registros de trabajo
- Tablas de registro
Puede designar este enfoque cuando sus requisitos prioricen un tiempo de inactividad intrascendente y puede ordenar la complejidad operativa adicional.
El proceso de modernización de COTOVER implica tres pasos principales: crear un nuevo entorno, restaurarlo con los datos existentes y realizar la modernización. El venidero diagrama ilustra el flujo de trabajo completo.
En las siguientes secciones, atravesamos los pasos esencia para realizar una modernización de COTOVER.
Requisitos previos
Antiguamente de comenzar el proceso de modernización, complete los siguientes pasos:
Crear un nuevo entorno
Complete los siguientes pasos para crear un nuevo entorno:
- Genere una plantilla para su nueva configuración de entorno utilizando el AWS CLI:
- Modificar el archivo JSON generado:
- Copiar configuraciones de su archivo de copia de seguridad
.json a .json. - Renovar el nombre del entorno.
- Mantenga el valencia del parámetro Airflowversion de su entorno existente.
- Revise y actualice otros parámetros de configuración según sea necesario.
- Copiar configuraciones de su archivo de copia de seguridad
- Crea tu nuevo entorno:
Restaurar el nuevo entorno
Complete los siguientes pasos para restaurar el nuevo entorno:
- Usar el mwaa-dr Paquete PYPI para crear y ejecutar el DAG de restauración.
- Este proceso copia metadatos de su cubo de copia de seguridad S3 al nuevo entorno.
- Verifique que su nuevo entorno contenga los metadatos esperados de su entorno diferente.
Realizar la modernización de la traducción
Complete los siguientes pasos para realizar la modernización de la traducción:
- Actualice su entorno:
- Monitorear la modernización:
- Rastree el estado del entorno en la consola.
- Esté atento a los mensajes de error o las advertencias.
- Confirmar el entorno llega al DISPONIBLE
Planifique su tiempo de transición con cuidado. Cuando su entorno diferente continúa procesando flujos de trabajo durante esta modernización, los metadatos entre entornos pueden cambiar.
Hurtar
A posteriori de revisar la estabilidad de su entorno mejorado a través del monitoreo, puede comenzar el proceso de integridad:
- Elimine su entorno diferente de Amazon MWAA utilizando el comando AWS CLI:
- Limpie sus capital asociados eliminando los datos de copia de seguridad no utilizados de los cubos S3, eliminando temporalmente Gobierno de identidad y paso de AWS (IAM) Roles y políticas creadas para la modernización y refrescar su DNS o configuraciones de enrutamiento.
Antiguamente de eliminar cualquier expediente, asegúrese de seguir las políticas de retención de copia de seguridad de su ordenamiento, perseverar los datos de copia de seguridad necesarios para sus requisitos de cumplimiento y documentar los cambios de configuración realizados durante la modernización.
Este enfoque lo ayuda a realizar una modernización controlada con oportunidades de prueba y la capacidad de retornar a su entorno diferente si es necesario.
Monitoreo y empuje
Puede rastrear el progreso de su modernización usando Amazon CloudWatch Métricas, con un enfoque en las métricas de procesamiento de DAG y los latidos del corazón. Su entorno pasa a través de varios estados durante el proceso de modernización, incluido Modernización y Creación. Cuando su entorno muestra el DISPONIBLE Estado, puede comenzar las pruebas de empuje. Recomendamos revisar la accesibilidad del sistema, probar las operaciones críticas del flujo de trabajo y revisar las conexiones externas. Para una timonel de monitoreo detallada, ver Monitoreo y métricas para flujos de trabajo administrados por Amazon para Apache Airflow.
Consideraciones esencia
Considere el uso de la infraestructura como prácticas de código (IAC) para ayudar a perseverar la dirección del entorno consistente y apoyar implementaciones repetibles. Programe copias de seguridad de metadatos usando mwaa-dr Durante los períodos de desaparecido actividad para ayudar a proteger sus datos. Al diseñar sus flujos de trabajo, implementa tuberías ideempotentes para ayudar a ordenar posibles interrupciones y perseverar la documentación de sus configuraciones y dependencias.
Conclusión
Una exitosa modernización de Amazon MWAA comienza con la selección de un enfoque que se alinea con sus requisitos operativos. Ya sea que elija una modernización en el área o de corte, la preparación exhaustiva y las pruebas ayuden a conceder una transición controlada. El uso de herramientas disponibles, capacidades de monitoreo y prácticas recomendadas puede ayudarlo a refrescar a las últimas funciones de Amazon MWAA mientras trabaja para perseverar sus operaciones de flujo de trabajo.
Para obtener detalles adicionales y ejemplos de código en Amazon MWAA, consulte el Preceptor del sucesor de Amazon MWAA y Ejemplos de Amazon MWAA Repo Github.
Apache, Apache Airflow y Airflow son marcas comerciales registradas o marcas comerciales del Apache Software Foundation en los Estados Unidos y/u otros países.
Sobre los autores
Anurag srivastava Funciona como ingeniero senior de Big Data Cloud en Amazon Web Services (AWS), especializado en Amazon MWAA. Le apasiona ayudar a los clientes a construir tuberías de datos escalables y soluciones de automatización de flujo de trabajo en AWS.
Sriharsh Adari es un arquitecto de soluciones senior en Amazon Web Services (AWS), donde ayuda a los clientes a trabajar al revés desde los resultados comerciales para desarrollar soluciones innovadoras en AWS. Con los abriles, ha ayudado a múltiples clientes en las transformaciones de la plataforma de datos en las verticales de la industria. Su dominio principal de especialización incluye logística tecnológica, disección de datos y ciencia de datos. En su tiempo dispensado, le gusta practicar deportes, ver programas de televisión en atracones y tocar la tabla.
Venu Thangalapally es un arquitecto de soluciones senior en AWS, con sede en Chicago, con una profunda experiencia en casa en la estrato, datos y disección, contenedores y modernización de aplicaciones. Se asocia con los clientes de la industria de servicios financieros para traducir los objetivos comerciales en soluciones en la estrato seguras, escalables y cumplidas que ofrecen un valencia medible. A Venu le apasiona emplear la tecnología para impulsar la innovación y la excelencia operativa. Fuera del trabajo, le gusta tener lugar tiempo con su tribu, analizar y dar largos paseos.
Chandan Rupakheti es un arquitecto de soluciones senior en AWS. Su enfoque principal en AWS radica en la intersección de los servicios analíticos, sin servidor y adtech. Es un líder técnico apasionado, investigador y mentor con una astucia peculiar para construir soluciones innovadoras en la estrato. Fuera de su vida profesional, le encanta tener lugar tiempo con su tribu y amigos, y escuchar y tocar música.