Los productos electrónicos están evolucionando a la velocidad del centella, impulsados por una demanda insaciable de nuevos dispositivos de consumo, energía, transporte, robótica, conectividad, datos y más. Sin secuestro, los procesos detrás del diseño y fabricación de productos electrónicos se han mantenido prácticamente sin cambios, frenados por prácticas engorrosas, lentas y obsoletas. Es por eso magolíder en innovación de IA para la industria electrónica, se propuso crear compañeros de equipo impulsados por GenAI para la ingeniería de componentes que aceleren el tiempo para diseñar, diseñar y lograr piezas. hasta 80%.
Históricamente, los datos de productos utilizados en la ingeniería de componentes electrónicos han estado atrapados en un vocerío de hojas de datos no estructurados, manuales, erratas, API y documentación de códigos que requieren una profunda experiencia en el dominio para desbloquearlos. Las soluciones innovadoras de Wizerr son compañeros de equipo previamente capacitados en sucursal de energía, RF, sistemas inalámbricos y integrados. Son expertos en interpretar especificaciones electrónicas complejas, avisar componentes técnicamente precisos, encontrar piezas alternativas y diseñar diagramas de bloques con precisión y velocidad, lo que lleva a la repertorio de materiales (BOM) de ingeniería más optimizada.
La plataforma Databricks Data Intelligence fue fundamental para el avance de soluciones, ya que brindó a Wizerr la capacidad de armonizar, ascender y poner en funcionamiento datos más rápido que nunca y crear una alternativa praxis y escalable en cuestión de semanas.
El desafío: ascender a un millón de hojas de datos
Las hojas de datos de componentes electrónicos son documentos densos y no estructurados con tablas, diagramas y germanía técnica. Los canales de datos tradicionales luchan con el barriguita y la complejidad correcto a varios factores:
- Formatos inconsistentes: Cada hoja de datos tiene un diseño único y requiere mecanismos de investigación adaptables.
- Contextos de datos enriquecidos: Los modelos de jerigonza prócer (LLM) utilizados para impulsar herramientas como ChatGPT tienen desafíos conocidos al interpretar títulos numéricos de tablas, figuras, gráficos, archivos PDF complejos, etc. Encima, extraer e interpretar especificaciones (como rangos de voltaje o panorama de corriente) exige un razonamiento numeral preciso combinado. con razonamiento semántico específico de la industria.
- Requisitos de escalera: Procesar un millón de hojas de datos de forma masiva y respaldar operaciones en tiempo positivo con parada rendimiento y depreciación latencia, manteniendo al mismo tiempo la integridad y precisión de los datos.
- Iteración del maniquí: Entrene, experimente y refine modelos para extraer información compleja de hojas de datos y optimizar modelos GenAI para obtener respuestas de consultas precisas y contextuales.
Mientras que los canales de datos tradicionales luchaban con el barriguita y la complejidad de tales tareas, el sólido ecosistema de Databricks mejoró sustancialmente el motor de IA ELX y los flujos de trabajo de Wizerr.
Cómo Databricks simplificó los flujos de trabajo complejos
1. Ingestión paralela con Spark
Usando Apache Spark™ Gracias a sus capacidades informáticas distribuidas, Wizerr pudo ingerir y analizar miles de hojas de datos simultáneamente. El tiempo de ejecución optimizado de Databricks para Apache Spark redujo significativamente el tiempo de procesamiento. Cuando se combina con la partición y el orden Z, una ingesta que antaño tomaba días se puede realizar en cuestión de horas, ahorrando más del 90 % del costo y el tiempo de la ingesta.
Integración de Spark con Pandas en Databricks ayudó a Wizerr a portar su canalización a Databricks, brindando una experiencia de manipulación de datos perfecta y reduciendo la curva de educación para los equipos que hacen la transición al procesamiento de datos distribuidos.
Encima de disminuir costos y tiempos, Databricks todavía mejoró el manejo de errores y la trazabilidad durante el procesamiento. la plataforma Cumplimiento de Delta Lake ACID y el registro estructurado facilitó a Wizerr el aislamiento y la depuración de errores en etapas y entradas de datos específicas, en superficie de tener que retornar a ejecutar todo el proceso.
2. Gobernanza de datos mejorada con Unity Catalog
Para los clientes empresariales de Wizerr, Catálogo de mecanismo desempeñó un papel fundamental en la dirección de datos de forma segura y transparente. Los beneficios esencia incluyeron:
- Metadatos centralizados: Almacenamiento unificado para esquemas y linajes de datos, lo que facilita el seguimiento de las transformaciones de datos.
- Llegada basado en roles: Otorgar paso de forma segura a datos confidenciales, garantizando el cumplimiento de los estándares de la industria.
- Colaboración entre equipos: Permitió que varios equipos accedieran a conjuntos de datos relevantes sin duplicaciones ni silos de datos.
3. Capacitación en modelos de IA escalables
Ladrillos de datos Integración de flujo ml le dio a Wizerr la capacidad de incorporar sin problemas modelos de jerigonza optimizados en su canal, agilizando la capacitación y la implementación:
- Seguimiento del maniquí: MLflow facilitó la experimentación con diferentes LLM (como la instrucción Lumbre 3.1 8B y la instrucción Mistral 7B) y métodos de cuantificación y la comparación de métricas como latencia, rendimiento, exactitud y precisión. Según sus resultados iniciales, Wizerr está considerando mantener su propio LLM perfeccionado utilizando los servicios de alojamiento y servicio de Databricks en el futuro.
- Ajuste de hiperparámetros: ajuste: Entrenamiento de IA en cerámica de Databricks facilitó la optimización efectivo de hiperparámetros mediante el seguimiento de las configuraciones de los parámetros y su impacto en el rendimiento del maniquí para diversas configuraciones experimentales.
- Versionado e implementación: El registro de modelos de MLflow simplificó la transición de la experimentación a la producción, simplificando el control de versiones y garantizando una implementación confiable del maniquí.
4. Sotabanco de trabajo de modelos colaborativos
El entorno colaborativo de Databricks se convirtió en el centro central de Wizerr para evaluar el rendimiento del maniquí. Las comparaciones en paralelo permitieron al equipo comparar resultados para extraer especificaciones como «Tensión – Salida (Mín.)» o «Contemporáneo – Salida.» Las herramientas de visualización simplificaron el proceso de depuración con visualizaciones detalladas de las predicciones y errores del maniquí. La plataforma Databricks todavía facilitó mejoras iterativas al permitir que ingenieros, científicos de datos y expertos en el dominio colaboraran en tiempo positivo.
5. Escalado forzoso dinámico para una informática rentable
Los clústeres de escalado forzoso de Databricks se ajustaron dinámicamente para coincidir con la intensidad de la carga de trabajo de Wizerr. Durante los períodos de máxima ingesta, los clústeres se ampliaron automáticamente para manejar un parada rendimiento y se redujeron automáticamente durante los períodos de inactividad, optimizando el uso de bienes y reduciendo los costos.
6. Obra medallón y mesas delta
Gracias a la integración de tablas Delta, Unity Catalog y Spark, Wizerr puede entrar sin problemas a bases de datos tanto en el interior como fuera del entorno Databricks. Esto ha ayudado a Wizerr a consultar tablas con menos código y a utilizar la naturaleza distribuida de Spark. Encima, las operaciones CRUD entre tablas Delta y tablas SQL toman mucho menos tiempo.
El almacenamiento de datos procesados en cada etapa del proceso simplificó las comprobaciones de errores, mientras que el control de versiones de la tabla Delta permitió a Wizerr realizar un seguimiento de los cambios, comparar versiones y retroceder rápidamente si era necesario, lo que mejoró la confiabilidad del flujo de trabajo.
Resultados: transformación del procesamiento de hojas de datos
Al integrar Databricks en su flujo de trabajo, Wizerr logró varios beneficios:
- Velocidad de procesamiento más rápida: Reducción del tiempo de ingesta y investigación de hojas de datos en un 90 % y manejo de más de 1 000 000 de hojas de datos en un tiempo récord.
- Integridad de datos mejorada: La gobernanza de datos abierta y mejorada con Unity Catalog garantizó resultados consistentes y confiables.
- Iteraciones de maniquí más rápidas: MLflow y Databricks Workbench hicieron que fuera más dócil y rápido verificar y ajustar modelos de IA de código amplio.
- Escalabilidad sin esfuerzo: La edificación de Databricks permite a Wizerr ascender sin esfuerzo a medida que los volúmenes de datos continúan creciendo.
- Colaboración perfecta: Las herramientas unificadas reunieron a múltiples equipos, acelerando la toma de decisiones y la innovación.
Por qué esto es importante para los arquitectos de datos y los ingenieros de soluciones
El alucinación de Wizerr no se manejo solo de transfigurar la ingeniería de componentes electrónicos: es un maniquí de cómo cualquier industria puede poner en funcionamiento flujos de trabajo complejos de IA. Al armonizar datos, emplear modelos de IA de dominios específicos y poner en funcionamiento soluciones a escalera, Wizerr demostró lo que es posible cuando las herramientas adecuadas cumplen con la visión correcta. Databricks proporciona la flexibilidad y el poder para armonizar datos dispares en conocimientos prácticos, crear e implementar modelos de IA rápidamente y a escalera, y capacitar a los equipos para ofrecer soluciones prácticas e innovadoras más rápido que nunca.
Cada industria tiene sus desafíos. El éxito de Wizerr demuestra que con la plataforma adecuada, esos desafíos pueden convertirse en oportunidades para revolucionar la forma en que trabajamos.
Esta publicación de blog fue escrita conjuntamente por Arjun Rajput (Ejecutor de Cuentas, Databricks) y Avinash duro (CEO, Wizerr AI).