Muchos de ustedes eligen servicios sin servidor para sus cargas de trabajo de estudio correcto a su simplicidad y elasticidad. Pero muchos de ustedes que ejecutan consultas de cometido crítica enfrentan un desafío popular: asegurar que sus cargas de trabajo de inscripción prioridad se ejecuten cuando sea necesario y sin interferencias de otras consultas en su cuenta.
Atenea amazónica es un servicio de consulta interactivo sin servidor que simplifica el estudio de datos mediante SQL. Reservas de capacidad es una característica de Athena que aborda la menester de ejecutar cargas de trabajo críticas proporcionando capacidad sin servidor dedicada para las cargas de trabajo que especifique. Con las Reservas de Capacidad, solicitas capacidad en forma de Unidades de Procesamiento de Datos (DPU) y las asignas a tus cargas de trabajo.
En esta publicación, destacamos tres nuevas capacidades que hacen que las reservas de capacidad sean más flexibles y fáciles de establecer: mínimos reducidos para ajustes de capacidad detallados, una decisión de escalamiento inconsciente para cargas de trabajo dinámicas y controles de rendimiento y costos de capacidad.
Ya arreglado: reservas de 1 minuto y leve 4 DPU
Ayer, anunciamos un gran cambio para Reservas de Capacidad: ahora puede reservar tan solo 4 DPU (en área de 24 DPU) por tan solo 1 minuto (en área de 60 minutos). Esta modernización le permite realizar ajustes de capacidad frecuentes y detallados para adaptarse estrechamente a sus patrones de carga de trabajo y proseguir menos capacidad, con ahorros de hasta el 95 % para cargas de trabajo que se completan en menos de una hora.
Hemos optimizado Athena para consultas interactivas que necesitan una respuesta rápida, pero muchos de ustedes asimismo usan Athena para consultas no interactivas. Por ejemplo, es posible que tenga consultas que se ejecuten según una programación para preparar datos para estudio posteriores o realizar actualizaciones en tablas de Apache Iceberg. Estas consultas suelen procesar mayores volúmenes de datos y ejecutarse durante más tiempo que las consultas interactivas. Si utiliza la opción de precios basada en escaneo de Athena, todas sus consultas cuentan para su cuota a nivel de cuenta. Esto significa que sus consultas interactivas sensibles a la latencia a veces pueden terminar en posaderas detrás de consultas no interactivas que se ejecutan en su cuenta.
Las reservas de capacidad abordan problemas de priorización como este al permitir asignar capacidad dedicada a los grupos de trabajo de Athena. Por ejemplo, Twilio opera una plataforma de consultas que atiende a más de 1500 usuarios que realizan más de 2,5 millones de consultas al mes. Utilizan reservas de capacidad para cargas de trabajo importantes que necesitan tener capacidad dedicada para funcionar de modo óptima y evitar competir con otras cargas de trabajo.
Las reservas de capacidad han funcionado acertadamente cuando las cargas de trabajo han sido grandes y predecibles. Por ejemplo, los usuarios que acceden a los paneles al aparición de la excursión profesional o los trabajos de procesamiento de datos que se ejecutan continuamente las 24 horas del día, los 7 días de la semana. Sin secuestro, nos dijo que deseaba más flexibilidad para desempolvar sus reservas con viejo frecuencia, para adaptarse mejor a los cambios en la demanda.
Con las nuevas 4 DPU y mínimos de 1 minuto de Athena, ahora puede ajustar la capacidad con más frecuencia y satisfacer la demanda más estrechamente que antiguamente. Nos entusiasma ver cómo estas actualizaciones benefician sus cargas de trabajo de consultas de cometido crítica.
Escalado inconsciente para cargas de trabajo dinámicas
Los mínimos reducidos permiten ajustes frecuentes de capacidad, pero realizar esos ajustes requiere esfuerzo. Considere una carga de trabajo de inteligencia empresarial que alcanza su punto mayor por la mañana, cuando los ejecutivos revisan los paneles, pero que disminuye a lo dadivoso del día. Desea aislar esta carga de trabajo para que las consultas de inscripción prioridad no queden en posaderas detrás de consultas menos importantes.
Con mínimos de 1 minuto, ahora puede ajustar la capacidad para seguir de cerca estos patrones. Sin secuestro, ajustar manualmente la capacidad con tanta frecuencia es tedioso: es necesario monitorear la utilización, osar cuándo ascender y ajustar periódicamente la DPU.
Recientemente lanzamos un decisión de escalado inconsciente que usa Funciones de paso de AWS para orquestar ajustes de capacidad. Supervisa las métricas de utilización de la capacidad que Athena emite para Amazon CloudWatch con una granularidad de 1 minuto, analiza la señal de utilización en intervalos configurables y luego agrega o elimina condicionalmente DPU para que pueda proseguir un rendimiento constante incluso durante picos de tráfico.
Hemos hecho que esto esté arreglado como una implementación con 1 clic desde la consola de Athena: simplemente haga clic Configurar el escalado inconsciente en la página de detalles de su reserva. Cuando lo hagas, un Formación en la cúmulo de AWS La plantilla configura todos los medios que necesita. Entre los medios configurados se encuentra la máquina de estado de Step Functions, que puede ver abriendo el menú de navegación del banda izquierdo de Athena y haciendo clic en Flujos de trabajo.
Todavía puede encontrar la plantilla y la información sobre los parámetros de escalado inconsciente configurables en nuestra documentación. Ver Ajustar automáticamente la capacidad en la Consejo del agraciado de Athena.
Elegimos Step Functions para esta decisión para permitir la extensibilidad y personalización. Step Functions se integra estrechamente con los servicios de AWS y le permite determinar máquinas de estado sofisticadas en Idioma de los estados amazónicosun jerga basado en JSON para flujos de trabajo sin servidor. Esto hace que sea sencillo juntar razonamiento condicional, integrar servicios adicionales o modificar el flujo de trabajo para adaptarlo a sus requisitos específicos.
Controle el uso de DPU en los niveles de congregación de trabajo y consulta.
Parte de la facilidad de uso y simplicidad de Athena es que asigna capacidad a las consultas automáticamente en función de su complejidad. Sin secuestro, a veces evitar que una sola consulta utilice demasiada capacidad o funcione al nivel requerido de simultaneidad es más importante que el rendimiento de las consultas individuales. Recientemente lanzamos nuevos Controles de costo y rendimiento de DPU para que pueda establecer restricciones en el comportamiento de asignación de capacidad de Athena cuando utilice Reservas de capacidad.
Puede controlar la asignación de DPU en dos lugares: controles a nivel de congregación de trabajo que se aplican a todas las consultas en ese congregación de trabajo, o por consulta usando el Iniciar ejecución de consulta API. Uno y otro enfoques establecen un tipo de presupuesto al que Athena se adhiere al planificar consultas y determinar cuánta capacidad asignar.
Puede establecer límites mínimos y máximos de DPU de 4 a 124 DPU en incrementos de 4. Establecer un mayor evita que Athena asigne más DPU de lo especificado. Cuando establece un leve, le indica a Athena que asigne al menos la DPU especificada. Esto puede resultar filántropo cuando sabe que una consulta específica requiere una cantidad específica de DPU para ejecutarse de modo óptima para su caso de uso. Configure uno y otro para crear un rango. Por ejemplo, un leve de 4 y un mayor de 16 le permiten a Athena comenzar con 4 DPU y ascender a 16 si es necesario. Establecerlos en el mismo valía obliga a que las consultas se ejecuten en una cantidad exacta de DPU.
Los controles que establece a nivel de congregación de trabajo son visibles en la página de detalles del congregación de trabajo y en la reserva a la que se agregó el congregación de trabajo.
Por posterior, pero no menos importante: cada consulta que ejecute en la capacidad reservada ahora informa su uso de DPU en la consola de Athena y Obtener ejecución de consulta / Ejecución por lotesGetQuery API, que le brindan visibilidad completa de la utilización de la capacidad.
Producirse a reservas de capacidad
Comenzar con las Reservas de capacidad implica crear una reserva con el recuento de DPU deseado y luego asignar grupos de trabajo a esa reserva. Para los usuarios finales, ausencia cambia. Continúa ejecutando consultas como de costumbre y no se necesitan cambios de SQL. Para los administradores, usted crea una reserva de capacidad con el recuento de DPU deseado y luego asigna grupos de trabajo a esa reserva. Athena enruta automáticamente las consultas de los grupos de trabajo asignados a su capacidad reservada, aisladas de otras consultas en su cuenta y sin impacto en su cuota de simultaneidad a nivel de cuenta.
Conclusión
Estas actualizaciones de Reservas de capacidad le brindan viejo flexibilidad y control sobre sus cargas de trabajo de Athena. Los mínimos reducidos le permiten ajustar la capacidad en incrementos más pequeños y períodos de tiempo más cortos, lo que le permite ajustarse a sus patrones de uso más estrechamente que antiguamente. El escalado inconsciente elimina el trabajo de realizar esos ajustes manualmente. Y los controles de DPU le brindan una influencia detallada sobre cómo las consultas individuales consumen capacidad. Juntas, estas capacidades lo ayudan a optimizar costos, establecer la simultaneidad y ofrecer un rendimiento predecible para sus cargas de trabajo más críticas, todo ello preservando al mismo tiempo los beneficios sin servidor de Athena.
Para obtener más información, consulte Reservas de capacidad de Atenas en la Consejo del agraciado de Athena, Página de precios de Athenao cree su primera Reserva de Capacidad en el consola atenea.
Sobre los autores