La transmisión de datos en tiempo vivo y el procesamiento de eventos son componentes críticos de las arquitecturas de sistemas distribuidos modernos. Apache Kafka se ha convertido en una plataforma líder para crear canales de datos en tiempo vivo y permitir la comunicación asincrónica entre microservicios y aplicaciones. Sin retención, ejecutar y mandar clústeres de Kafka a escalera puede ser un desafío, ya que requiere experiencia especializada y una importante sobrecarga operativa.
Streaming administrado por Amazon para Apache Kafka (Amazon MSK) es un servicio totalmente administrado que le permite crear y ejecutar aplicaciones Kafka de producción. Con Amazon MSK, puede echarse en brazos en AWS para encargarse del trabajo pesado de aprovisionar y gobernar clústeres de Kafka, mientras usted se concentra en crear aplicaciones innovadoras y canales de procesamiento de datos en tiempo vivo.
En esta publicación, exploramos cómo Fitch Group, una de las principales compañías de calificación crediticia, utilizó Amazon MSK y Replicador de Amazon MSK para conseguir resiliencia multirregional para su infraestructura Kafka de labor crítica.
Acerca de Fitch Group y su indigencia de resiliencia multirregional
Como proveedor líder mundial de servicios de información financiera, Fitch Group ofrece información positivo sobre crédito y aventura, datos sólidos y herramientas dinámicas para defender mercados financieros más eficientes y transparentes. Con empleados en más de 30 países, la civilización de credibilidad, independencia y transparencia del Corro Fitch está arraigada en toda su estructura, que incluye a Fitch Ratings, una de las tres principales agencias de calificación crediticia del mundo, y Fitch Solutions, un proveedor líder de conocimientos, datos, y descomposición.
Para seguir siendo competitivo y apto en la acelerada industria financiera, Fitch Group adoptó estratégicamente una inmueble de microservicios basada en eventos. En el corazón de este ecosistema se encuentra Kafka, específicamente Amazon MSK, que sirve como columna vertebral de sus sistemas de integración de datos.
Fitch Group utiliza Kafka para permitir que las aplicaciones envíen eventos comerciales relacionados con las calificaciones, facilitando la automatización adentro de sus sistemas de flujo de trabajo de calificaciones y proporcionando procesamiento en tiempo vivo o casi en tiempo vivo. Esta referéndum de inmueble ha corto significativamente el tiempo de comercialización de los sistemas orientados al beneficiario final, como los sitios web de Fitch Ratings Pro y Fitch Group Ratings. Encima, las sólidas capacidades de Kafka permiten la agregación y distribución fluida de datos de muchos sistemas dispares a través de su plataforma de datos, lo que mejoría la coherencia, confiabilidad y accesibilidad de los datos en toda la estructura.
Entregado el papel fundamental que desempeña Kafka en la inmueble de Fitch Group, proporcionar mecanismos sólidos de recuperación delante desastres (DR) se volvió primordial. Cualquier interrupción en su infraestructura Kafka podría tener repercusiones significativas en la automatización del flujo de trabajo de calificaciones, el procesamiento en tiempo vivo y los sistemas de cara al beneficiario final, exponiendo potencialmente a Fitch Group a riesgos regulatorios, financieros y de reputación.
Para conseguir los niveles deseados de resiliencia, Fitch Group tenía los siguientes requisitos secreto:
- Implementación multirregional – Implemente clústeres de MSK en múltiples regiones de AWS para alabar continuidad comercial y nutrir la disponibilidad del servicio durante eventos regionales o de servicio.
- Replicación automatizada – Replicar datos de Kafka en todas las regiones casi en tiempo vivo con latencia y pérdida de datos mínimas
- Espacios de nombres de temas consistentes – Nutrir los mismos nombres y estructuras de temas de Kafka en los clústeres de origen y destino para minimizar los cambios en las aplicaciones.
- Rápida recuperación – En caso de una conmutación por error, permita que las aplicaciones comiencen a consumir sin problemas desde el clúster replicado con un objetivo de tiempo de recuperación (RTO) y un objetivo de punto de recuperación (RPO) mínimos.
Descripción caudillo de la alternativa
Fitch Group optó por implementar su implementación de Kafka en varias regiones utilizando Amazon MSK y MSK Replicator. MSK Replicator es un servicio de replicación totalmente administrado que permite la replicación de datos continua y automatizada entre clústeres de MSK adentro de la misma región o entre diferentes regiones. Admite la replicación de datos entre clústeres con diferentes configuraciones, incluidos distintos recuentos de intermediarios, volúmenes de almacenamiento y versiones de Kafka. Así es como Fitch Group utilizó MSK Replicator para conseguir sus objetivos de resiliencia en múltiples regiones:
- Se implementaron clústeres de MSK en dos regiones separadas, con el clúster principal en la región principal y el clúster secundario en una región diferente para la recuperación delante desastres.
- Se configuró MSK Replicator para replicar continuamente datos del clúster primario al clúster secundario, manteniendo los mismos nombres de temas y estructuras en entreambos clústeres.
- Se implementó una método de conmutación por error de aplicaciones para cambiar automáticamente al consumo desde el clúster secundario en caso de que un clúster primario no esté apto, con un tiempo de recuperación y pérdida de datos mínimos.
El futuro diagrama ilustra esta inmueble.
Beneficios obtenidos
Al implementar Amazon MSK y MSK Replicator, Fitch Group obtuvo varios beneficios secreto:
- Recuperación delante desastres mejorada – La implementación multiregional proporciona continuidad empresarial incluso delante eventos regionales o de servicio.
- Operaciones simplificadas – La capacidad administrada de MSK Replicator descarga la complejidad operativa de las soluciones de replicación personalizadas autoadministradas, lo que reduce la carga del equipo de TI de Fitch Group.
- Escalabilidad – La alternativa puede ampliarse para manejar diferentes cargas de datos, asegurando que las capacidades de recuperación delante desastres crezcan yuxtapuesto con las deyección del negocio.
- Cambios mínimos en la aplicación – MSK Replicator admite la replicación de temas con el mismo nombre, lo que elimina la indigencia de modificaciones en las aplicaciones del consumidor, lo que reduce el esfuerzo de progreso y los posibles errores.
- Conmutación por error y conmutación por recuperación sin interrupciones – Las capacidades de replicación bidireccional permiten un cambio rápido de operaciones a la región en paciencia con una interrupción mínima y una reversión sencilla luego de que se restablezca la región primaria.
- Capacidades de prueba mejoradas – La configuración facilita los ejercicios de DR regulares sin afectar los sistemas de producción, lo que permite a Fitch Group validar sus planes de DR de guisa consistente.
Conclusión
Al utilizar Amazon MSK y MSK Replicator, Fitch Group ha implementado con éxito una infraestructura Kafka mucho resistente y escalable que cumple con sus estrictos requisitos de continuidad empresarial y recuperación delante desastres. Esta implementación en varias regiones les permite procesar datos financieros de labor crítica a escalera y, al mismo tiempo, proporciona un tiempo de inactividad y una pérdida de datos mínimos en caso de eventos de servicio o desastres. A medida que Fitch Group continúa innovando y creciendo, su sólida infraestructura Kafka proporciona una saco sólida para una futura expansión y el progreso de nuevos servicios basados en datos, mejorando en última instancia su capacidad para alabar información financiera oportuna y precisa a sus clientes.
Sobre los autores
Kalyan Janaki Es entendido sénior en descomposición y big data de Amazon Web Services. Ayuda a los clientes a diseñar y crear soluciones basadas en la nubarrón mucho escalables, eficaces y seguras en AWS.
Venu Nemallikanti es el arquitecto empresarial y líder de transmisión de eventos en Fitch Group, un proveedor de servicios de información financiera obligado mundialmente que opera en más de 30 países. Sus principales responsabilidades incluyen la supervisión de la inmueble y la implementación de soluciones de transmisión de eventos, asegurando la perfecta integración y rendimiento de los sistemas que brindan calificaciones crediticias, investigación, datos y descomposición a una clientela mundial.
Chaitanya Shah es administrador técnico principal de cuentas de AWS, con sede en Nueva York. Le encanta codificar y contribuye activamente a los laboratorios de soluciones de AWS para ayudar a los clientes a resolver problemas complejos. Proporciona orientación a los clientes de AWS sobre las mejores prácticas para sus migraciones a la nubarrón. Igualmente está especializado en la transferencia de datos de AWS y en el dominio de datos y descomposición.
Oleg Chugáyev es un arquitecto principal de soluciones y evangelista sin servidor con más de 20 abriles en TI y con múltiples certificaciones de AWS. En AWS, cicerone a los clientes en sus viajes de transformación de la nubarrón al convertir desafíos complejos en hojas de ruta viables para audiencias técnicas y comerciales.