Tiempo de ejecución de contenedores: entrenamiento e inferencia de GPU con portátiles Snowflake

El formación forzoso predictivo sigue siendo la piedra angular de la toma de decisiones basada en datos. Sin requisa, a medida que las organizaciones acumulan más datos en una amplia variedad de formas y las técnicas de modelado continúan avanzando, las tareas de un irrefutable de datos y un ingeniero de ML se vuelven cada vez más complejas. A menudo, se dedica más esfuerzo a mandar la infraestructura, aventajar los obstáculos de la papeleo de paquetes y encarar los problemas de escalabilidad que al mejora del maniquí efectivo.

Hoy, estamos emocionados de expandir la funcionalidad de Copo de cocaína ML con el nuevo Container Runtime para Snowflake Notebooks, arreglado en traducción preliminar pública en todas las regiones comerciales de AWS. Este tiempo de ejecución totalmente administrado y basado en contenedores viene preconfigurado con las bibliotecas y marcos de Python más populares, con la flexibilidad de tirarse desde centros de código amplio como PyPi y HuggingFace. Container Runtime incluye API que paralelizan automáticamente la carga de datos y el entrenamiento de modelos. esto entrega Progreso de la velocidad de ejecución de 3 a 7 veces – basado en evaluaciones comparativas internas sobre la ejecución de la misma carga de trabajo con bibliotecas OSS fuera del tiempo de ejecución, lo que facilita la escalación capaz de sus flujos de trabajo de formación forzoso. Al utilizar Snowflake Notebooks en Container Runtime, los científicos de datos y los ingenieros de ML dedican mucho menos tiempo a la infraestructura y la escalabilidad, y pueden destinar más tiempo a desarrollar y optimizar sus modelos de ML y centrarse en el rápido impacto empresarial.

Cree modelos de formación forzoso rentables, escalables y flexibles en Snowflake

Muchas empresas ya están utilizando Container Runtime para crear de forma rentable casos de uso de formación forzoso innovador con comprensible comunicación a las GPU. Entre sus clientes se incluyen CHG Healthcare, Keysight Technologies y Avios.

CHG Sanidaduna empresa de dotación de personal taza con más de 45 abriles de experiencia en el sector, utiliza IA/ML para impulsar sus soluciones de dotación de personal para 700.000 profesionales médicos que representan 130 especialidades médicas. CHG construye y produce sus modelos de formación forzoso de extremo a extremo en Snowflake ML.

Keysight Technologies es un proveedor líder de soluciones de prueba y diseño electrónico. Con más de 5.500 millones de dólares en ingresos globales y más de 33.000 clientes en 13 industrias, Keysight posee más de 3.800 patentes para sus innovaciones. Keysight crea modelos de pronóstico y ventas escalables en Snowflake ML con Container Runtime.

Avios, líder en premios de viajes con más de 40 millones de miembros y 1500 socios, utiliza Snowflake Notebooks en Container Runtime para realizar prospección más profundos y tareas de prospección de datos con la flexibilidad necesaria para su negocio.

Simplificando la papeleo de la infraestructura de ML

Con solo unos pocos clics, Container Runtime elimina el dolor de individuo de la establecimiento de paquetes y el aprovisionamiento de infraestructura al proporcionar:

• Una configuración de portátil sencilla de decidir un Clan de cálculo para un Snowflake Notebook, que permite a los científicos de datos nominar entre un conjunto predefinido de grupos de capital (CPU o GPU) en función de la escalera y el fracción de complejidad necesarios para sus tareas que requieren un uso intensivo de capital, como el entrenamiento de modelos.

• Un conjunto de imágenes específicas de CPU y GPU en tiempo de ejecuciónpreinstalado con las bibliotecas y marcos más recientes y populares (PyTorch, XGBoost, LightGTM, Scikit-learn y muchos más) respaldando el mejora de ML, para que los científicos de datos puedan simplemente activar un Snowflake Notebook y sumergirse directamente en su trabajo.

• Entrada a paquetes de código amplio. a través de pip y la capacidad de traer cualquier maniquí desde centros como Hugging Face (ver ejemplo aquí).

Ampliar el mejora de ML

Container Runtime ayuda a los científicos de datos a iterar más rápido y centrarse en crear valía en área de mandar la infraestructura. Ofrece comprensible comunicación a una infraestructura de supermercado con carga de datos optimizada y entrenamiento de modelos distribuidos que le permite entrenar con datos y modelos muy grandes, o simplemente acelerar los flujos de trabajo de formación forzoso.

API de Snowflake ML para carga de datos Ofrecer materialización capaz de tablas Snowflake como pandas o PyTorch Dataframes. Los datos se ingieren eficientemente en paralelo y aparecen en la computadora portátil como un situación de datos al paralelizarse en múltiples CPU o GPU.

Cuando se alcahuetería de marcos de entrenamiento de modelos más complejos, como el enfoque de datos distribuidos paralelos de PyTorch, la nueva API ShardedDataConnector de Snowflake simplifica la tarea de ingerir la tabla fuente y fragmentarla para que esté arreglado para cada proceso paralelo, todo con la misma eficiencia y velocidad.

Los usuarios pueden utilizar cualquier situación de código amplio como scikit-learn, XGBoost, LightGBM, Pytorch, Tensorflow o cualquier otro para la ingeniería de funciones y el entrenamiento de modelos en estos datos materializados y no perder flexibilidad ni dilema.

API de Snowflake ML para el entrenamiento de modelos amplíe las conocidas interfaces de código amplio proporcionadas por XGBoost, LightGBM y PyTorch. Los usuarios ahora pueden simplemente importar sus cuadernos de capacitación existentes y obtener los beneficios de seguridad, escalera y costos de ejecutar Container Runtime.

Es más, con una simple extensión de las mismas API de código amplio, los usuarios pueden servirse la capacitación distribuida en múltiples CPU o GPU sin la aprieto de orquestar ninguna infraestructura subyacente. ¡Los científicos de datos ahora pueden potenciar sus esfuerzos de capacitación y entrenar modelos de modo capaz en conjuntos de datos de cientos de GB o más!

Guiar, implementar y servir modelos con facilidad

A medida que crece la complejidad del procesamiento de datos y los flujos de trabajo de ML, un condición sólido de extremo a extremo es «imprescindible» para respaldar la reproducibilidad y auditabilidad de los modelos implementados en aplicaciones posteriores. Con una perfecta integración con el Registro de modelos de copos de cocaína y el condición de ML forzoso (panorámica previa privada), los científicos de datos pueden promover fácilmente sus modelos desde un experimentación en un Notebook a una entidad completamente administrada que se rige y rastrea durante las fases de implementación y consumo.

Una vez que se registra un maniquí, se garantiza automáticamente que esté arreglado para la inferencia, ya sea como una carga de trabajo de prospección por lotes o una invocación de inferencia registro por registro desde una aplicación a través de un punto final. Los modelos registrados en Model Registry se pueden usar directamente para inferencias con opciones flexibles como se muestra a continuación:

Adicionalmente de la inferencia basada en Warehouse desde Python o SQL que se admitía anteriormente (y es una excelente opción para los modelos de CPU que usan paquetes Snowflake Conda), Model Registry ahora admite la entrega de modelos en Snowpark Container Services en panorámica previa pública en las regiones comerciales de AWS mediante un API create_service() simple pero potente. Los beneficios esencia del servicio de modelos basado en contenedores son:

• Acelere los trabajos con GPU: Los usuarios pueden ejecutar grandes modelos de ML en un montón de computación distribuido con GPU, de modo que cualquier maniquí entrenado en Container Runtime, cercano con los modelos traídos de fuentes externas, se pueda usar en Snowflake. La inferencia distribuida con múltiples procesos en nodos de instancia y GPU disponibles se maneja automáticamente y el favorecido no tiene que preocuparse por optimizar la utilización de capital.

• Utilice cualquier biblioteca de Python: Los modelos pueden usar dependencias de paquetes pip para paquetes que pueden no ser compatibles con el almacén.

• Elimine la creación y papeleo de imágenes de contenedores complejas: Snowflake automatiza la creación de una imagen de contenedor de servidor de inferencia específica del maniquí optimizado e implementa el servicio. Los usuarios no tienen que guerrear con ninguna papeleo o configuración de la imagen del contenedor.

• Opciones de inferencia flexibles: El servicio maniquí se puede invocar desde el SDK de Python, directamente desde SQL y desde los puntos finales de la API REST desde las aplicaciones.

Vea nuestro documentación para más detalles y ejemplos.

Casos de uso listos para producción en Snowflake ML

El nuevo Container Runtime para ML desbloquea la capacidad de los científicos de datos de crear procesos complejos y listos para producción directamente en Copo de cocaína ML. No es necesario sacar datos ni configurar una infraestructura de formación forzoso adicional para que sea interoperable con los flujos de trabajo o las herramientas existentes. Las cargas de trabajo de ML incluso se pueden aplicar fácilmente sobre datos a gran escalera que ejecutan técnicas de ML complejas, correcto a la compatibilidad con datos mucho optimizados y flujos de trabajo distribuidos como parte de las API de ML de Snowflake.

Los casos de uso de ML innovador posibles gracias a Snowflake con Container Runtime incluyen:

• Detección de anomalías en la imagen: En este ejemplo, una empresa de fabricación investigación crear detección de anomalías para sus flujos de trabajo de inspección industrial. Su objetivo es detectar defectos en piezas entrenando un maniquí de visión por computadora capaz de identificar imágenes anómalas. Esto requiere construir un maniquí de visión por computadora entrenado en más de un millón de imágenes. Vea este caso de uso en actividad en CONSTRUIR y seguir delante en esto inicio rápido.

• Motor de recomendaciones: En este ejemplo, una empresa general de camiones de comida investigación crear un motor de recomendaciones para impulsar cientos de camiones de comida a fin de crear recomendaciones de menús hiperlocales y mucho precisas. Demostramos cómo, utilizando un operación de recomendación basado en PyTorch, se puede entrenar e implementar un maniquí para hacer exactamente eso. ver esto inicio rápido para estudiar más.

• Difundir incrustaciones a escalera: Para crear y tratar una plataforma interna de descubrimiento de conocimientos impulsada por un flujo de trabajo RAG, es necesario crear incrustaciones a escalera a partir de datos de texto. Te demostramos cómo puedes hacer esto con el Función de incrustación de cortezauna experiencia totalmente administrada para crear incrustaciones de suscripción calidad. Si tiene casos de uso que requieren incrustaciones personalizadas, puede usar esto inicio rápido y la opción Container Runtime.

Comience con Container Runtime

Container Runtime ahora está arreglado en traducción preliminar pública en todas las regiones comerciales de AWS (excluidas las pruebas gratuitas). Intentar esta ingreso al inicio rápido de Container Runtime que lo monitor a través de la experiencia de crear un Notebook y construir un maniquí ML simple. Para estudiar cómo servirse las GPU para el mejora de modelos en Snowflake, puede seguir este inicio rápido más innovador: Entrenamiento de un maniquí XGBoost con GPUque incluye un camarada demostración en vídeo.

Para obtener más detalles sobre Container Runtime o cómo usarlo desde Snowflake Notebooks, asegúrese de consultar el documentación: Snowflake Notebooks en Container Runtime para ML.