Afianzar una capacidad informática específica puede ser un desafío, especialmente durante períodos de mucho tráfico (y reincorporación presión). Los ingenieros de datos y los administradores de plataformas están muy familiarizados con la frustración de los errores de capacidad insuficiente o «agotamiento» que ocurren cuando falta el dispersión de un clúster porque un proveedor de abundancia no puede cumplir con una solicitud para un tipo de instancia específico.
Ya sea:
AWS_INSUFFICIENT_INSTANCE_CAPACITY_FAILURECLOUD_PROVIDER_RESOURCE_STOCKOUTen Azure, oGCP_INSUFFICIENT_CAPACITY,
Estos errores interrumpen las cargas de trabajo críticas, especialmente durante los períodos críticos para el negocio, cuando el tiempo de actividad es más importante.
¿Qué son los tipos de nodos flexibles?
Tradicionalmente, los clústeres de Databricks requerían que cada nodo tuviera el tipo de instancia exacto especificado en la configuración. Si ese tipo específico no estuviera acondicionado, el dispersión del clúster fallaría.
Los tipos de nodos flexibles eliminan esta restricción. Cuando un tipo de instancia preferido no está acondicionado, Databricks recurre automáticamente a una alternativa compatible que comparte la misma forma informática. En otras palabras, el clúster se inicia correctamente utilizando una combinación de tipos de instancias similares en división de resolver por completo.
Para los equipos que necesitan un control más ajustado, asimismo pueden especificar una cinta alternativa personalizada a través de la API, incluido qué tipos de instancias probar y en qué orden.
Beneficios secreto
Menos lanzamientos de clústeres fallidos durante los picos de demanda
Los tipos de nodos flexibles reducen tanto la frecuencia como la alcance de las fallas relacionadas con la capacidad. Cuando un proveedor de abundancia no puede cumplir con el tipo de instancia preferido, Databricks recurre automáticamente a alternativas compatibles, lo que permite que los clústeres se lancen en división de difundir errores.
Uso optimizado de instancias puntuales
Para los clústeres configurados con Spot con respaldo, los tipos de nodos flexibles intentan pescar capacidad Spot en toda la cinta de respaldo ayer de retornar a instancias On-Demand. Esto aumenta la parte del clúster que se ejecuta en Spot, lo que ayuda a acortar los costos informáticos y al mismo tiempo prioriza los lanzamientos exitosos.
Visibilidad clara y control preciso
Los equipos pueden inspeccionar exactamente qué tipos de nodos se adquieren utilizando la tabla del sistema node_timeline. Por otra parte, se puede especificar un pedido alterno personalizado a través de la API, lo que permite un control preciso sobre el costo y el comportamiento del rendimiento.
Inicio rápido
Los administradores del espacio de trabajo pueden habilitar fácilmente la función en la configuración de administrador (Documentos: AWS, Azur, PCG). A partir de ahí, la función se aplica inmediatamente a todos los lanzamientos de nuevos clústeres. Los clústeres de larga duración adoptarán la función en su próximo reinicio, y los clústeres de trabajos futuros creados para trabajos existentes utilizarán la función automáticamente.
Las listas de respaldo personalizadas se pueden configurar a través de la API, independientemente de la configuración del espacio de trabajo.
Detalles adicionales
Consulte la documentación para obtener más detalles sobre la configuración de tipos de nodos flexibles con grupos de instancias, facturación, cuotas de tipos de nodos y activación/desactivación selectiva (Documentos: AWS, Azur, PCG).
Los tipos de nodos flexibles están diseñados para hacer que su plataforma de datos sea más resistente y rentable. Los administradores pueden habilitar esta función con 1 clic hoy en la configuración de dependencia del espacio de trabajo siguiendo las instrucciones de la documentación.