Entrenamiento de 10,000 modelos de detección de anomalías en mil millones de registros con predicciones explicables

El poder de la detección de anomalías en toda la industria

Detección de anomalías es una técnica crucial para identificar patrones inusuales que podrían indicar posibles problemas u oportunidades. Algunos usos tempranos de la técnica incluyen ciberseguridad para detectar intrusiones y en finanzas para identificar fraude potencial, pero hoy sus aplicaciones ahora abarcan monitoreo de pacientes con atención médica, mantenimiento de la red de telecomunicaciones y más. En la fabricación específicamente, la detección de anomalías ha transformado el control de calidad y la eficiencia operativa al identificar las desviaciones de los patrones esperados en los datos de producción en tiempo vivo.

Avance de datos y descomposición en la fabricación

Los fabricantes han acogido el descomposición de datos durante décadas, utilizando el control de procesos estadísticos y las metodologías Six Sigma para optimizar la detección de puntos de producción y cambio para el mantenimiento de la maquinaria. Si aceptablemente estos enfoques revolucionaron la calidad en los primaveras ochenta y 90, la maquinaria conectada de hoy genera órdenes de magnitud más datos, desde sensores de temblor hasta lecturas térmicas. Este aumento exponencial en los datos en tiempo vivo ha impulsado a los fabricantes a adoptar técnicas sofisticadas para analizar miles de variables simultáneamente, extendiendo los principios de Six Sigma a una escalera impracticable con los métodos estadísticos tradicionales. Por ejemplo, los sensores de temblor y tensión en los ascensores pueden revelar signos tempranos de desgaste mecánico, mientras que las turbinas equipadas con sensores de temperatura y velocidad pueden marcar las caídas de rendimiento que podrían indicar una falta de piezas inminente. Al topar estos problemas con anticipación, el tiempo de inactividad se reduce, el equipo funciona más aceptablemente y los plazos de producción críticos se vuelven más fáciles de cumplir.

Los desafíos que van más allá de las estadísticas

A pesar de cualquier gran beneficio potencial, la implementación del estudios automotriz para el mantenimiento predictivo presenta varios desafíos:

1. Escalabilidad: Los entornos industriales generan grandes cantidades de datos, que a menudo alcanzan miles de millones de registros, lo que crea desafíos significativos para los grandes fabricantes. La creación y encargo de miles de modelos individualmente en numerosos activos o instalaciones es un desafío, lo que requiere posibles computacionales sustanciales y algoritmos eficientes para procesar sin incurrir en costos prohibitivos.
2. Explicación: Muchos modelos avanzados de estudios automotriz funcionan como «cajas negras», que ofrecen poca información sobre cómo hacen predicciones. Para los ingenieros y operadores de mantenimiento, comprender qué componente específico está causando una anomalía es crucial para intervenciones oportunas y efectivas. Los datos del sensor a menudo se usan para obtener información sobre las anomalías. Por ejemplo, aprender que «la temperatura del sensor 5 es superior a 80 ° C» proporciona pistas a una visión procesable.
3. Costo y complejidad: Los costos computacionales y la complejidad asociados con el estudios automotriz a gran escalera pueden ser sustanciales. Las organizaciones necesitan soluciones que no solo sean efectivas sino asimismo rentables para implementar y apoyar.

La metodología Daxs

Para topar estos desafíos, Daxs (Detección de ANomalías, Eclavosimplementeable y SCalable) se ha desarrollado como una técnica de detección de anomalías que proporciona un enfoque explicable, escalable y rentable para el mantenimiento predictivo en la fabricación. DAXS utiliza el cálculo ECOD (Funciones de distribución acumulativa empírica para la detección atípica) para detectar anomalías en los datos del sensor. A diferencia de los modelos tradicionales de caja negra, ECOD ofrece transparencia al identificar qué sensores o características específicos contribuyen a una predicción de anomalía. Los DAX pueden manejar conjuntos de datos con más de mil millones de registros y capacitar a miles de modelos que aprovechan de forma capaz las plataformas informáticas distribuidas para asegurar un rendimiento confiable y una eficiencia de rentabilidad.

Demostración de turbina eólica

En esta serie de cuadernosmostramos cómo se pueden aplicar DAX a escalera. La tarea implica monitorear miles de turbinas en el campo para fallas potenciales. Demostramos cómo se pueden utilizar 1,440 lecturas de 100 sensores integrados en 10,000 turbinas para entrenar 10,000 modelos y hacer predicciones sobre nuevas lecturas,Todo en menos de 5 minutos. Esto se logra a través de la implementación capaz de ECOD, combinada con las capacidades robustas de Databricks para resquilar las operaciones de cuenta.

¿Por qué Databricks?

Databricks proporciona una plataforma ideal para implementar Daxs correcto a sus capacidades robustas en el manejo de big data y descomposición avanzados. Con Databricks, las organizaciones pueden usar:

• Plataforma de descomposición unificado: Un entorno colaborativo que integra ingeniería de datos, ciencia de datos y estudios automotriz, racionalización de flujos de trabajo y mejorando la productividad.
• Escalabilidad y rendimiento: Los posibles informáticos escalables de Databricks y la máquina de chispa optimizada permiten un procesamiento rápido de grandes conjuntos de datos, esencial para los modelos de capacitación en miles de millones de registros.
• Eficiencia de rentabilidad: Al optimizar la asignación de posibles y utilizar la infraestructura basada en la nimbo, Databricks ayuda a achicar los costos operativos, alineándose con el objetivo de DAXS de proporcionar una decisión súper permuta.
• Herramientas avanzadas: Soporte para bibliotecas y marcos de estudios automotriz populares, lo que permite una integración perfecta del cálculo ECOD y otras herramientas de descomposición avanzados.

Sinopsis

La detección de anomalías DAXS (Detección de anomalías, explicables y escalables) ofrece un enfoque estandarizado para monitorear las operaciones de fabricación a escalera. Al capacitar modelos sobre el comportamiento de los equipos normales, los fabricantes pueden implementar esta técnica de forma rentable en múltiples líneas de producción, instalaciones y tipos de activos. Esta reutilización permite a las empresas implementar rápidamente el mantenimiento predictivo y el control de calidad, impulsando mejoras consistentes en la eficiencia y la calidad de la producción en sus operaciones.

Comience a monitorear sus operaciones para anomalías a escalera con la detección de anomalías escalable y explicable de DAXS.