Amazon Kinesis Data Streams aguijada On-demand Advantage para aumentos instantáneos del rendimiento y transmisión a escalera

Hoy, AWS anunció el nuevo Flujos de datos de Amazon Kinesis Modo Advantage bajo demanda, que incluye capacidad de rendimiento cálido y una estructura de precios actualizada. Con esta función, puede habilitar el escalado instantáneo para aumentos repentinos de tráfico y, al mismo tiempo, optimizar los costos para cargas de trabajo de transmisión consistentes. Superioridad bajo demanda El modo es una forma rentable de transmitir con Kinesis Data Streams para casos de uso que consumen al menos 10 MiB/s en total o tienen cientos de flujos de datos en una región de AWS.

En esta publicación, exploramos esta nueva característica, incluidos casos de uso secreto, opciones de configuración, consideraciones de precios y mejores prácticas para un rendimiento espléndido.

Casos de uso del mundo vivo

A medida que los volúmenes de datos de streaming crecen y los casos de uso evolucionan, usted puede malquistar dos desafíos comunes con sus cargas de trabajo de streaming:

Desafío 1: prepararse para los picos de tráfico

Muchas empresas experimentan aumentos de tráfico predecibles pero significativos durante eventos como lanzamientos de productos, lanzamientos de contenido o ventas navideñas. Al utilizar un modo de capacidad bajo demanda, debe completar varios pasos al prepararse para picos de tráfico:

Transición al modo aprovisionado
Calcule y aumente manualmente los fragmentos en función de la demanda máxima prevista
Espere a que finalicen las operaciones de escalado.
Luego retornar al modo bajo demanda.

Este proceso de cambio de modo consumía mucho tiempo, requería una planificación cuidadosa e introdujo complejidad operativa, lo que obligó a los clientes a aceptar esta carga operativa, aprovisionar excesivamente la capacidad con mucha adelanto o arriesgarse a sufrir limitaciones durante períodos comerciales críticos, cuando la confiabilidad de la ingesta de datos es más importante.

Desafío 2: optimización de costos para cargas de trabajo consistentes

Las organizaciones con cargas de trabajo de transmisión grandes y consistentes quieren optimizar los costos sin ofrecer la simplicidad y la escalabilidad disponibles con las transmisiones bajo demanda. El modo de capacidad bajo demanda funciona acertadamente para el tráfico de datos fluctuante, pero los clientes deseaban un enfoque más financiero para manejar cargas de trabajo de transmisión de stop comba.

On-demand Advantage aborda directamente entreambos desafíos al aplaudir la capacidad de calentar flujos bajo demanda y una nueva estructura de precios. Con el nuevo modo On-Demand Advantage, ya no hay un cargo fijo por transmisión y el uso del rendimiento tiene un precio más bajo. El único requisito es que la cuenta se comprometa a transmitir con al menos 25 MiB/s de ingesta de datos y 25 MiB/s de recuperación de datos uso.

Este tirada prosperidad la transmisión de datos en múltiples industrias:

Las empresas de juegos en itinerario ahora pueden preparar sus transmisiones para los lanzamientos de juegos sin el engorroso proceso de cambiar entre modos y calcular manualmente los requisitos de fragmentos.
Los proveedores de medios y entretenimiento pueden respaldar la ingesta fluida de datos durante los principales lanzamientos de contenido y eventos en vivo.
Los servicios de comercio electrónico pueden manejar el tráfico de ventas navideñas y al mismo tiempo optimizar los costos de sus cargas de trabajo básicas.

Al combinar el escalamiento instantáneo con la rentabilidad, puede ordenar con confianza tanto aumentos de tráfico predecibles como volúmenes de transmisión consistentes sin comprometer el rendimiento o el presupuesto.

como funciona

Las características secreto del modo On-demand Advantage son un rendimiento cálido y precios por uso comprometido.

Rendimiento cálido

Con la función de rendimiento cálido, adecuado una vez que haya facultado el modo On-demand Advantage, puede configurar sus transmisiones bajo demanda de Kinesis Data Streams para tener una capacidad de rendimiento adecuado instantáneamente de hasta 10 GiB/s. Esto significa que puede preparar de guisa proactiva transmisiones bajo demanda para eventos de tráfico pico esperados sin el engorroso proceso de cambiar entre modos aprovisionados y calcular manualmente los requisitos de fragmentos. Los beneficios secreto incluyen:

La capacidad de prepararse para eventos pico para que pueda manejar los picos de tráfico sin problemas.
Alivio de la indigencia de crear soluciones de escalamiento personalizadas
La capacidad de continuar escalando automáticamente más allá del rendimiento cálido si es necesario, hasta 10 GiB/s o 10 millones de eventos por segundo.
Sin cargo adicional por surtir la capacidad cálida

Precios por uso comprometido

Cuando ha facultado el modo On-demand Advantage, la facturación de las transmisiones bajo demanda cambia a una nueva estructura que elimina el cargo por hora de transmisión y ofrece un descuento de al menos el 60% para el uso del rendimiento. Según los precios del Este de EE. UU. (Boreal de Virginia), los datos ingeridos tienen un precio un 60 % más bajo, la recuperación de datos tiene un precio un 60 % más bajo, la recuperación de datos de distribución mejorada es un 68 % más bajo y la retención extendida tiene un precio un 77 % más bajo. A cambio, te comprometes a transmitir 25 MiB/s durante al menos 24 horas. Incluso cuando el uso vivo es pequeño, si habilita esta configuración, se le cobrará el rendimiento pequeño de 25 MiB/s al precio con descuento. En caudillo, los importantes descuentos ofrecidos significan que On-demand Advantage es más rentable para casos de uso que consumen al menos 10 MiB/s en total, se distribuyen en más de dos aplicaciones de consumo o tienen cientos de flujos de datos en una región de AWS.

Empezando

Siga estos pasos para comenzar a utilizar el modo On-demand Advantage.

Autorización del modo Superioridad bajo demanda

Para comenzar a utilizar el modo Superioridad On-Demand:

En la consola de despacho de AWS

Navegue a la consola de Kinesis Data Streams
Navega hasta el Configuraciones de la cuenta pestaña
Designar Editar modo de facturación
Seleccione el Superioridad bajo demanda opción
Seleccione la casilla de demostración, Reconozco que este cambio no se puede revertir durante 24 horas.
Designar Velar cambios

Uso de la CLI de AWS

Puede ejecutar el sucesivo comando CLI para habilitar el compromiso de facturación de rendimiento pequeño:

aws kinesis update-account-settings 
--minimum-throughput-billing-commitment Status=ENABLED

Usando el SDK de AWS

Puede utilizar el SDK para habilitar el compromiso de facturación de rendimiento pequeño. El sucesivo ejemplo de Python muestra cómo hacerlo:

import boto3

client = boto3.client('kinesis')
response = client.update_account_settings(
    MinimumThroughputBillingCommitment={"Status": "ENABLED"}
)

Una vez facultado, comprometes tu transmisión a este modo de precios por un período pequeño de 24 horas, a posteriori del cual puedes optar por no participar según sea necesario.

Configurar el rendimiento en caliente

Para comenzar a utilizar el rendimiento en caliente para Kinesis Data Streams On-Demand:

Uso de la consola de despacho de AWS

Navegue a la consola de Kinesis Data Streams
Seleccione su transmisión y vaya a la pestaña Configuración
Designar Editar pegado a Rendimiento cálido
Configure el rendimiento cálido que desee (hasta 10 GiB/s)
Guardaspaldas tus cambios

Uso de la CLI de AWS

Puede ejecutar el sucesivo comando CLI para habilitar el rendimiento en caliente:

aws kinesis update-stream-warm-throughput 
  --stream-name MyStream 
  --warm-throughput-mi-bps 1000

Usando el SDK de AWS:

Puede utilizar el SDK para habilitar el rendimiento en caliente. El sucesivo ejemplo de Python muestra cómo hacerlo:

import boto3

client = boto3.client('kinesis')
response = client.update_stream_warm_throughput(
    StreamName="MyStream",
    WarmThroughputMiBps=1000
)

Incluso puede crear una nueva transmisión bajo demanda con rendimiento cálido utilizando la existente Crear flujo API o establezca un rendimiento cálido al convertir un flujo de datos del modo aprovisionado al modo On-demand Advantage.

Rapidez y mejores prácticas para un rendimiento espléndido

Cuando se trabaja con rendimiento cálido, es importante comprender cómo se gestiona la capacidad. Cada flujo puede manejar instantáneamente el tráfico hasta el nivel de rendimiento cálido configurado y escalará automáticamente más allá de eso según sea necesario.

Para un rendimiento espléndido con un rendimiento cálido:

Utilice una organización de secreto de partición distribuida uniformemente para distribuir uniformemente los registros entre fragmentos y evitar puntos de comunicación, y considere cuidadosamente su organización de secreto de partición, ya que puede ingerir un mayor de 1 MiB/s de datos por secreto de partición, independientemente del rendimiento cálido configurado.
Supervisar las métricas de rendimiento para ajustar la configuración de rendimiento cálido según los patrones de uso reales.
Implementar deducción de retroceso y reintento en aplicaciones de productor para manejar posibles limitaciones.

Para optimizar costos con precios de uso comprometidos:

Analice su rendimiento diario para demostrar que sea al menos 10 MiB/s.
Considere la posibilidad de consolidar flujos en toda su ordenamiento para maximizar el beneficio del descuento para transmisiones bajo demanda.
Utilice recuperaciones de datos rentables con: Utilice la distribución en abano mejorada – Utilice consumidores de distribución mejorada para aplicaciones que necesitan rendimiento dedicado con Costo de recuperación de datos un 68% pequeño en modo superioridad.

Rendimiento cálido en argumento

Para demostrar cómo se comporta el rendimiento cálido, habilitamos precios comprometidos en una cuenta de AWS y creamos dos flujos bajo demanda: «KDS-OD-STANDARD» y «KDS-OD-WARM-TP». La transmisión «KDS-OD-WARM-TP» se configuró con un rendimiento cálido de 100 MiB/segundo, mientras que «KDS-OD-STANDARD» permaneció como una transmisión bajo demanda frecuente sin rendimiento cálido, como se demuestra en la sucesivo captura de pantalla.

En nuestro prueba, inicialmente simulamos una ingesta de tráfico de aproximadamente 2 MiB/segundo para las transmisiones «KDS-OD-STANDARD» y «KDS-OD-WARM-TP». Usamos un UUID como secreto de partición para que el tráfico se distribuyera uniformemente entre los fragmentos de los flujos de datos de Kinesis, lo que ayudó a organizar posibles puntos de comunicación que podrían distorsionar nuestros resultados. Luego de establecer esta itinerario de colchoneta, aumentamos el tráfico de ingesta a rodeando de 28 MiB/segundo en 10 minutos. Luego aumentamos aún más el tráfico hasta exceder los 60 MiB/segundo en el interior de los 15 minutos posteriores al aumento original, como se ilustra en la sucesivo captura de pantalla.

El sucesivo croquis muestra la ThrottledRecords La métrica de CloudWatch para “KDS-OD-STANDARD” y “KDS-OD-WARM-TP” indica que la transmisión habilitada para rendimiento cálido (“KDS-OD-WARM-TP”) no encontró limitaciones durante entreambos picos de tráfico, ya que tenía configurado un rendimiento cálido de 100 MiB/segundo. Por el contrario, el flujo bajo demanda en serie (“KDS-OD-STANDARD”) experimentó una barrera cuando aumentamos el tráfico 14 veces inicialmente y 2 veces más tarde, antaño de finalmente medrar para resistir las limitaciones a cero. Este prueba demuestra que se puede utilizar el rendimiento cálido para prepararse instantáneamente para las horas pico de uso y evitar la barrera durante aumentos repentinos de tráfico.

Conclusión

Como describimos en esta publicación, el nuevo modo On-demand Advantage de Amazon Kinesis Data Streams brinda beneficios significativos para organizaciones de diferentes tamaños:

Escalado instantáneo para picos de tráfico predecibles sin sobreaprovisionamiento.
Optimización de costos para cargas de trabajo de transmisión consistentes con al menos 60% de descuento.
Operaciones simplificadas sin indigencia de cambiar entre diferentes modos de capacidad.
Flexibilidad mejorada para manejar patrones de tráfico tanto esperados como inesperados.

Con estas mejoras, puede crear y trabajar aplicaciones de transmisión en tiempo vivo a muchas escalas. Kinesis Data Streams ahora proporciona la combinación ideal de escalabilidad, rendimiento y rentabilidad.

Para obtener más información sobre estas nuevas funciones, visite el Documentación de Amazon Kinesis Data Streams.

Sobre los autores

Etiquetado Advantage, Amazon, aumentos, Data, del, escala, instantáneos, Kinesis, lanza, Ondemand, para, rendimiento, Streams, Transmisión