En Barracuda, estamos constantemente innovando para mantenerse a la vanguardia de las amenazas de seguridad emergentes en un panorama digital cada vez más enrevesado. Como una empresa confiada por cientos de miles de empresas en todo el mundo para proteger su correo electrónico, redes, aplicaciones y datos, entendemos la importancia crítica de las soluciones de seguridad integrales. Barracuda existe para proteger y apoyar a los clientes de por vida: ¿cómo podemos disfrutar la tecnología de IA de vanguardia para promover nuestra delegación?
Como ingeniero principal que lidera la iniciativa de plataforma Barracuda Genai, sé lo importante que es proporcionar a los equipos de productos una plataforma regional, escalable y conforme consolidada con una sobrecarga mínima al tiempo que les permite construir, iterar e ITIA e AI soluciones de IA. Barracuda AI proporciona un sencillo camino a más de 20 modelos de IA, con soporte para los últimos modelos agregados en unos días a través de API estables. Confiamos en las capacidades de rastreo avanzadas de Databricks para monitorear, solucionar problemas y mejorar nuestra plataforma de IA y estamos trabajando activamente en la integración de Databricks » Llmops Soluciones, como LLM Sentenciar métricas y monitoreo, para simplificar LLMOPS para equipos de productos que usan Barracuda AI.
Poder de rastreo para Barracuda AI
En ciberseguridad, comprender exactamente cómo los modelos de IA toman decisiones es crucial tanto para la efectividad como para la confianza. El rastreo proporciona una visibilidad sin precedentes en nuestras aplicaciones de IA, lo que nos permite rastrear cada paso del proceso de toma de decisiones desde la solicitud auténtico hasta la respuesta final.
Cuando vimos Mlflow Langchain Autologging En Databricks Data + AI Summit, nos integramos fácilmente y hemos estado cosechando beneficios desde entonces.
El rastreo nos permite:
- Siga el delirio completo de una solicitud a través de nuestro sistema
- Identificar cuellos de botella y problemas de rendimiento en tiempo auténtico
- Depurar interacciones complejas entre múltiples componentes de IA
- Afirmar un comportamiento constante en diferentes entornos
- Proporcionar pistas de auditoría para fines de seguridad y cumplimiento
Al implementar el rastreo integral en nuestra plataforma, podemos identificar y resolver los problemas rápidamente, optimizar el rendimiento y asegurar que nuestras soluciones de seguridad funcionen en su mejor momento, incluso a medida que evolucionan los patrones de ataque.
Nuestra implementación técnica
Barracuda AI se sostén en una almohadilla de tecnologías flexibles e interoperables diseñadas para maximizar el rendimiento y minimizar la sobrecarga.
Infraestructura de API Barracuda AI
Nuestra API ofrece Operai Compatible y Langchain Cañón/AIMESSAGECHUNK Puntos finales (con más próximos) que permitan una integración perfecta con herramientas y flujos de trabajo existentes. Esta capa de compatibilidad permite a los equipos de productos iterar y probar sin preocuparse por las implementaciones o los cambios en el código en los marcos de maniquí o agente. Detrás de suceso, envolvemos cuidadosamente las interfaces y manejamos las traducciones a través de una puerta de enlace de API regional y escalable desplegada a través de grupos de Kubernetes y construidas con Fastapi servido por Uvicornasegurar un comportamiento y rendimiento consistentes mientras se mantiene el rastreo detallado.
Barracuda AI Frontend
Barracuda AI además tiene una solicitud segura de SSO-Authenticed Sext.js front-end para un uso de IA más amplio en toda la empresa.
Monitoreo y registro
Las capacidades de autología de mlflow rastrean automáticamente todas las interacciones del maniquí sin requerir cambios de código extensos. Este enfoque de «establecerlo y olvidarlo» para el rastreo asegura que capturemos datos integrales incluso a medida que evoluciona nuestra plataforma.
Procesamiento y investigación de datos
La integración de Databricks ofrece potentes investigación de investigación y monitoreo que nos permiten procesar cantidades masivas de datos de rastreo de modo capaz. Para las huellas recientes (en la última hora), utilizamos la interfaz de beneficiario MLFLOW para el investigación inmediato. Para trazas exportadas más antiguas, hemos creado vistas con DBT para nuestro Databricks temperamento espacio, lo que nos permite extraer ideas y investigación significativos utilizando lengua natural.
Escenarios de uso diario
Nuestra infraestructura de rastreo respalda una variedad de casos de uso críticos que nos ayudan a persistir la excelencia en la seguridad:
Decisión de problemas de problemas complejos
Cuando los usuarios informan un comportamiento inusual, nuestros desarrolladores pueden averiguar inmediatamente el requests_id asociado y recuperar el huella correspondiente. Esto les permite rastrear todo el delirio de esa solicitud a través de nuestro sistema, identificando exactamente dónde salieron las cosas mal.
Monitoreo integral de rendimiento
Hemos construido paneles sofisticados e informes diarios que nos dan visibilidad en:
- Patrones de uso por equipo y maniquí
- Examen de costos y oportunidades de optimización
- Seguimiento de uso del token para la eficiencia
- Métricas de rendimiento del maniquí y estadísticas de latencia
Estos paneles nos permiten tomar decisiones basadas en datos sobre la asignación de fortuna e identificar oportunidades para la optimización.
Detección y prevención del injusticia
La seguridad se comercio de proteger tanto contra amenazas externas como posibles vulnerabilidades internas. Nuestro sistema de rastreo ayuda a identificar escenarios de uso indebido, como cuando las claves de expansión se implementan accidentalmente en entornos de producción.
Despacho de datos a gran escalera
El manejo de datos de trazas a escalera presenta desafíos únicos. Para rastros muy grandes que contienen cargas de contexto masivas (como bases de código extensas o grandes copias de registros), hemos implementado estrategias de truncamiento inteligente para permanecer interiormente del meta JSON de 16 MB del tipo de transformación de Databricks al preservar la información más crítica.
Igualmente priorizamos la privacidad de los datos. Para trazas en reposo en Delta Mesas del pantanoeliminamos la información de identificación personal (PII) para fines de protección de datos al tiempo que preservamos el valía analítico de nuestros datos de rastreo.
Direcciones futuras
Estamos explorando activamente varias mejoras emocionantes a nuestra plataforma Barracuda AI:
Capacidades de evaluación avanzadilla
El uso de API de evaluación y monitoreo es un suspensión en nuestra nómina de prioridades y en nuestra hoja de ruta de Hackathon. Planeamos exponer estas capacidades de evaluación a través de nuestras API de plataforma, lo que permite a los equipos evaluar y mejorar la calidad de sus soluciones de seguridad con IA.
Camino a datos democratizado
Usar Delta Delta Sharing Para permitir que los equipos ejecutaran sus propios investigación en los datos de rastreo. Esta capacidad los capacitará para obtener ideas e impulsar cambios específicos para sus aplicaciones.
Evaluación fuera de trayecto mejorada
Estamos desarrollando capacidades para la evaluación fuera de trayecto de datos de trazas, lo que permite a los equipos probar hipótesis y mejoras sin afectar los sistemas de producción. Este enfoque acelera la innovación al tiempo que mantiene la estabilidad de nuestra infraestructura de seguridad.
Monitoreo expandido
A medida que incorporamos nuevas características y mejoras en nuestra plataforma Genai, estamos explorando formas de mejorar nuestras capacidades de monitoreo. Queremos acelerar la innovación de productos, como implementar agentes de IA en Databricks que se integran con nuestra plataforma Genai y ampliar la visibilidad de nuestra infraestructura de rastreo.
Conclusión
Barracuda AI es una almohadilla para la futura innovación en Barracuda, dando a los equipos de productos la flexibilidad, el poder y la visibilidad que necesitan para construir la próxima engendramiento de soluciones de seguridad. Al centralizar las capacidades de IA, racionalizar la observabilidad a través del rastreo y disfrutar la infraestructura escalable proporcionada por Databricks, Barracuda AI se ha convertido en una piedra angular que permite muchas de nuestras iniciativas de productos. A medida que evoluciona el panorama de amenazas, seguimos comprometidos con la protección de los clientes de por vida al refinar y expandir continuamente esta almohadilla de IA, asegurando que cada opción de Barracuda se beneficie de la innovación robusta, ágil y preparada para el futuro.