La trámite y el escalera de los flujos de datos de modo válido es una piedra angular de éxito para muchas organizaciones. Apache Kafka ha surgido como una plataforma líder para la transmisión de datos en tiempo actual, ofreciendo una escalabilidad y confiabilidad inigualables. Sin incautación, configurar y esquilar los grupos de Kafka puede ser un desafío, requiriendo un tiempo significativo, experiencia y capital. Aquí es donde Transmisión administrada de Amazon para Apache Kafka (Amazon MSK) Los corredores Express entran en selección.
Expresar corredores son un nuevo tipo de corredor en Amazon MSK que están diseñados para simplificar la implementación y escalera de Kafka.
En esta publicación, lo acompañamos a través de la implementación de corredores MSK Express, destacando sus características centrales, beneficios y mejores prácticas para la escalado rápido de Kafka.
Características secreto de los corredores MSK Express
Los corredores de MSK Express revolucionan la trámite del clúster de Kafka al ofrecer un rendimiento anormal y la simplicidad operativa. Con hasta tres veces más de rendimiento por corredor, los corredores Express pueden manejar de modo sostenible una impresionante entrada de 500 Mbps y 1000 Mbps de salida en instancias M7G.16xL, estableciendo nuevos estándares para el rendimiento de la transmisión de datos.
Su característica destacada es su capacidad de escalera rápida, hasta 20 veces más rápida que los corredores Kafka standard, manteniendo una rápida expansión del clúster en cuestión de minutos. Esto se complementa con un 90% de recuperación más rápida de las fallas y la replicación de tres vías incorporada, proporcionando una confiabilidad sólida para aplicaciones de representación crítica.
Los corredores Express eliminan la responsabilidad tradicional de la trámite de almacenamiento al ofrecer almacenamiento ilimitado sin preprovisionamiento, al tiempo que simplifican las operaciones a través de las mejores prácticas preconfiguradas y la trámite automatizada del clúster. Con plena compatibilidad con las API de Kafka existentes y el monitoreo integral a través de Amazon CloudWatch y PrometeoLos corredores MSK Express proporcionan una posibilidad ideal para las organizaciones que buscan una infraestructura de transmisión de datos de stop rendimiento y de bajo mantenimiento.
Comparación con la implementación tradicional de Kafka
Aunque Kafka proporciona mecanismos robustos de tolerancia a fallas, su cimentación tradicional, donde los corredores almacenan datos localmente en volúmenes de almacenamiento adjuntos, puede conducir a varios problemas que afectan la disponibilidad y la resistor del clúster. El futuro diagrama compara la cimentación de implementación.
La cimentación tradicional viene con las siguientes limitaciones:
- Tiempos de recuperación extendidos – Cuando un corredor falta, la recuperación requiere copiar datos de réplicas sobrevivientes al corredor recién asignado. Este proceso de replicación puede arrostrar mucho tiempo, particularmente para cargas de trabajo de stop rendimiento o en los casos en que la recuperación requiere un nuevo prominencia, lo que resulta en períodos de recuperación extendidos y una disponibilidad corta del sistema.
- Distribución de carga subóptima – Kafka logra el consistencia de carga redistribuyendo particiones entre los corredores. Sin incautación, esta operación de reequilibrio puede forzar capital del sistema y tomar un tiempo considerable correcto al prominencia de datos que deben transferirse entre nodos.
- Operaciones de escalera compleja – Expandir un clúster Kafka requiere asociar corredores y redistribuir las particiones existentes en los nuevos nodos. Para grupos grandes con volúmenes de datos sustanciales, esta operación de escalera puede afectar el rendimiento y requerir un tiempo significativo para completar.
MSK Express Brokers ofrece almacenamiento regional de Kafka totalmente administrado y en extremo arreglado. Esto desacopla significativamente los capital de calificación y almacenamiento, abordando los desafíos antaño mencionados y mejorando la disponibilidad y la resistor de los grupos de Kafka. Los beneficios incluyen:
- Recuperación de corredores más rápida y confiable – Cuando los corredores Express se recuperan, lo hacen en hasta un 90% menos de tiempo que los corredores standard y imponen tensión insignificante en los capital de los grupos, lo que hace que la recuperación sea más rápida y confiable.
- Consistencia de carga válido -El consistencia de carga en los corredores MSK Express es más rápido y menos intensivo en capital, lo que permite operaciones de consistencia de carga más frecuentes y sin problemas.
- Escalera más rápida – Los corredores MSK Express permiten una escalera válido de clúster a través de la suplemento rápida del corredor, minimizando la sobrecarga de transferencia de datos y el tiempo de reequilibrio de partición. Los nuevos corredores se ponen operativos rápidamente correcto a los procesos de recuperación acelerados, lo que resulta en mejoras de rendimiento más rápidas y una interrupción mínima durante las operaciones de escalera.
Ejemplo de caso de uso de escalera
Considere un caso de uso que requiere una ingestión de datos de 300 Mbps en un tema de Kafka. Implementamos esto utilizando un clúster MSK con tres corredores M7G.4XLarge Express. La configuración incluía un tema con 3.000 particiones y retención de datos de 24 horas, con cada corredor inicialmente administrando 1,000 particiones.
Para prepararnos para el tráfico mayor anticipado del mediodía, necesitábamos duplicar la capacidad del clúster. Este atmósfera destaca una de las ventajas secreto de Express Brokers: escalera rápida y segura sin interrumpir el tráfico de aplicaciones o que requiere una planificación descubierta extensa. Durante este atmósfera, el clúster manejaba activamente aproximadamente 300 Mbps de ingestión. El futuro boceto muestra la entrada total en este clúster y el número de particiones que posee en tres corredores.
El proceso de escalera implicó dos pasos principales:
- Unir tres corredores adicionales al clúster, que se completó en aproximadamente 18 minutos
- Uso del control de crucero para redistribuir las 3.000 particiones uniformemente en los seis corredores, que tomó unos 10 minutos
Como se muestra en el futuro boceto, la operación de escalera se completó sin problemas, con un reequilibrio de partición que ocurre rápidamente en los seis corredores mientras mantiene el tráfico de productores ininterrumpido.
En particular, durante todo el proceso, no observamos interrupciones en el tráfico de productores. Toda la operación para duplicar la capacidad del clúster se completó en solo 28 minutos, lo que demuestra la capacidad de los corredores MSK Express para esquilar eficientemente con un impacto exiguo en las operaciones en curso.
Mejores prácticas
Considere las siguientes directrices para adoptar corredores MSK Express:
- Al implementar nuevas cargas de trabajo de transmisión en Kafka, seleccione MSK Express Brokers como su opción predeterminada. Si es incierto sobre sus requisitos de carga de trabajo, comience con Express.M7G.Large Instancias.
- Usa el Amazon MSK útil de dimensionamiento Para calcular el recuento inmejorable de corredores y escribir para su carga de trabajo. Aunque esto proporciona una buena fila de pulvínulo, siempre valida a través de pruebas de carga que simulen sus patrones de uso del mundo actual.
- Revisar e implementar Las mejores prácticas de MSK Express Broker.
- Elija tipos de instancias más grandes para stop rendimiento cargas de trabajo. Un número beocio de grandes instancias es preferible a muchas instancias más pequeñas, porque menos corredores totales pueden simplificar las operaciones de trámite del clúster y resumir la sobrecarga operativa.
Conclusión
Los corredores de MSK Express representan un avance significativo en la implementación y trámite de Kafka, ofreciendo una posibilidad convincente para las organizaciones que buscan modernizar su infraestructura de transmisión de datos. A través de su cimentación innovadora que desacopla el calculador y el almacenamiento, los corredores MSK Express ofrecen operaciones simplificadas, rendimiento superior y capacidades de escalera rápida.
Las ventajas secreto demostradas a lo dadivoso de esta publicación, incluido un rendimiento 3 veces viejo, un escalado 20 veces más rápido y un 90% de tiempos de recuperación más rápidos, hacen corredores MSK Express una opción atractiva tanto para las nuevas implementaciones de Kafka como para las migraciones de las implementaciones tradicionales.
A medida que las organizaciones continúan enfrentando demandas crecientes de procesamiento de datos en tiempo actual, los corredores MSK Express proporcionan una posibilidad a prueba de futuro que combina la confiabilidad de Kafka con la simplicidad operativa de un servicio totalmente administrado.
Para comenzar, consulte Brokers de Amazon MSK Express.
Sobre el autor
Masudur Rahaman Sayem es un arquitecto de datos de transmisión en AWS con más de 25 abriles de experiencia en la industria de TI. Colabora con clientes de AWS de todo el mundo para arquitectos e implementan soluciones sofisticadas de transmisión de datos que abordan desafíos comerciales complejos. Como perito en computación distribuida, Sayem se especializa en el diseño de la cimentación de sistemas distribuidos a gran escalera para el mayor rendimiento y escalabilidad. Tiene un gran interés y pasión por la cimentación distribuida, que aplica para diseñar soluciones de límite empresarial a escalera de Internet.