Laravadouno de los marcos web más populares del mundo, lanzó su plataforma de observabilidad de primera parte, Vestigo noctámbulo de Laravelpara proporcionar a los desarrolladores información en tiempo positivo sobre el rendimiento de la aplicación. Construido completamente en los servicios administrados de AWS y Clickhouse Cloudel servicio ya procesa más de mil millones de eventos por día mientras se mantiene la latencia de consulta subsecond, lo que brinda a los desarrolladores visibilidad instantánea en la salubridad de sus aplicaciones.
Al combinar Transmisión administrada de Amazon para Apache Kafka (Amazon MSK) con Clickhouse Cloud y AWS LambdaLaravel Nightwatch ofrece un monitoreo de suspensión barriguita y mengua latencia a escalera, al tiempo que mantiene la simplicidad y la experiencia del desarrollador por la que Laravel es conocido.
El desafío: entrega de monitoreo en tiempo positivo para una comunidad de desarrolladores globales
El ámbito de Laravel impulsa millones de aplicaciones en todo el mundo, atendiendo miles de millones de solicitudes cada mes. Cada solicitud puede difundir potencialmente cientos de eventos de observabilidad, como consultas de bases de datos, trabajos en pan dulce, búsqueda de personalidad, correos electrónicos, notificaciones y excepciones. Para el tirada de Nightwatch, Laravel anticipó la asimilación instantánea de su comunidad completo, con decenas de miles de aplicaciones que envían eventos durante todo el día desde el primer día.
Laravel Nightwatch necesitaba una edificación que pudiera:
- Ingente millones de eventos JSON por segundo de las aplicaciones de los clientes de guisa confiable.
- Proporcione consultas analíticas sub-segundo para paneles en tiempo positivo.
- Escalera horizontalmente para manejar picos de tráfico impredecibles.
- Entregue todo esto de guisa rentable y de bajo mantenimiento.
El desafío era procesar datos a escalera completo y proporcionar información profunda sobre la salubridad de la aplicación sin comprometer una experiencia de configuración directa para los desarrolladores.
La alternativa: una tubería de transmisión y investigación desacoplado
Laravel Nightwatch implementó una database dual, La edificación de transmisión primero, que se muestra en la figura preparatorio, que separa las cargas de trabajo transaccionales y analíticas.
- Cargas de trabajo transaccionales – Cuentas de agraciado, configuración de ordenamiento, facturación y cargas de trabajo similares se ejecutan en Amazon RDS para PostgreSQL.
- Cargas de trabajo analíticas – Clickhouse Cloud manejan los eventos de telemetría, métricas, registros de consultas y trazas de solicitud.
Componentes secreto
Los componentes secreto de la alternativa incluyen lo sucesivo:
- Capa de ingestión
- Puerta de entrada de la API de Amazon recibe la telemetría de los agentes de Laravel integrados en las aplicaciones de los clientes
- Lambda valida y enriquece los eventos. Los eventos validados y enriquecidos se publican en Amazon MSK, divididos por escalabilidad
- Transmisión a investigación
- ClickPipes En Clickhouse Cloud, suscribirse directamente a los temas de MSK, reduciendo la falta de construir y tener la llave de la despensa tuberías de extracto, transformación y carga (ETL)
- Vistas materializadas en Clickhouse pre-Apéndice y alterar JSON RAW en formatos listos para la consulta
- Paneles y entrega
¿Por qué Amazon MSK y Clickhouse Cloud?
Nightwatch requiere una columna vertebral duradera, horizontalmente escalable y de bajo mantenimiento.
Con Brokers de Amazon MSK Expresshemos conseguido más de 1 millón de eventos por segundo durante la prueba de carga, beneficiándonos de mengua latencia, escalera elástica y operaciones simplificadas. Los corredores MSK Express no requieren dimensionamiento o aprovisionamiento de almacenamiento, escalan hasta 20 veces más rápido y recuperan un 90% más rápido que los corredores de Apache Kafka unificado, todo mientras aplican los títulos predeterminados de mejores prácticas y las cuotas del cliente para un rendimiento confiable. Su integración perfecta con otros servicios de AWS, como Lambda, Amazon Simple Storage Service (Amazon S3)y Amazon CloudWatch—Deirle directamente construir una edificación de transmisión resistente y de extremo a extremo.
Para ingerir y alterar estos eventos en tiempo positivo, NightWatch usa Clickhouse Cloud y su plataforma de integración administrada, ClickPipes. Clickhouse Cloud sobresale en las cargas de trabajo analíticas entregando un rendimiento de consulta de hasta 100 veces más rápido para el investigación en comparación con las bases de datos tradicionales basadas en filas. Sus algoritmos de compresión avanzados proporcionan hasta un 90% de capital de almacenamiento, reduciendo significativamente los costos de infraestructura al tiempo que mantiene un suspensión rendimiento. Con su edificación columna y motor de ejecución optimizado, Clickhouse Cloud puede consultar miles de millones de filas en menos de 1 segundo, lo que permite a Laravel Nightwatch servir a los paneles y investigación en tiempo positivo a escalera completo.
Al integrar Amazon MSK y Clickhouse utilizando ClickPipes, Laravel asimismo redujo la carga operativa de construir y tener la llave de la despensa tuberías ETL, reduciendo la latencia y la complejidad.
Pasar desafíos
Complejidad de pruebas
Si proporcionadamente la evaluación comparativa sintética y los conjuntos de datos de prueba producen resultados bártulos, se requiere una carga de trabajo más realista para probar rigurosamente la infraestructura y el código antiguamente de la implementación en la producción. El equipo usó Terraform para tener la llave de la despensa la infraestructura anejo con el código de aplicación, crear múltiples entornos de mejora y prueba, y permitirles probar la plataforma internamente con sus propias aplicaciones antiguamente de cada tirada.
Infraestructura múltiple
La falta de atender a múltiples regiones de almacenamiento de datos asimismo trajo desafíos: con latencia, complejidad y costar las principales preocupaciones. Sin confiscación, el AWS, Clickhouse Cloud y Cloudflare Stack pusieron a disposición un poderoso conjunto de herramientas de red y opciones de escalera. Mientras que VPC mira, la replicación de RDS y el permanencia de carga del servidor completo hicieron el trabajo pesado en el flanco de la red, la capacidad de subir y tamaño derecho cada arbitrio mantuvo los costos al intrascendente.
Rendimiento de consulta a escalera
Las vistas materializadas, la partición inteligente de la serie temporal y los códecs de clickhouse especializados ayudaron a respaldar que las consultas permanecieran subsecond incluso cuando los volúmenes de datos se convirtieron en miles de millones. Mientras tanto, la separación de cálculo permitió que las cargas de trabajo distintas se escalaran por separado mientras accedía a los mismos datos, con grupos de tamaño derecho horizontal y verticalmente dependiendo de los requisitos de cada carga.
Resultados
El tirada de Laravel Nightwatch superó las expectativas:
- 5.300 usuarios registrados en las primeras 24 horas
- 500 millones de eventos procesados el primer día
- Latencia de solicitud de tablero promedio de 97 ms
- 760,000 excepciones registradas y analizadas en tiempo positivo
Al construir en Amazon MSK y Clickhouse Cloud, pudimos subir de cero a miles de millones de eventos sin ofrendar el rendimiento o la experiencia del desarrollador.
¿Qué sigue?
Laravel planea expandir Nightwatch con:
- Más regiones atender a clientes con requisitos de soberanía de datos fuera de los Estados Unidos y la UE
- Resumen de datos más amplia proporcionar una visión aún más profunda de las aplicaciones de los clientes
- Certificación SOC 2 atender a clientes con requisitos de cumplimiento más estrictos
- Monitoreo y investigación más avanzados identificar problemas antiguamente de afectar a los usuarios
La edificación coetáneo admite cómodamente aplicaciones de todos los tamaños, desde hobby hasta empresas (incluido un nivel regalado desinteresado), y está diseñado para manejar más de un billón de eventos mensuales sin degradación del rendimiento.
Conclusión
Laravel Nightwatch demuestra cómo se pueden combinar Amazon MSK, Clickhouse Cloud y AWS Serverless Technologies para construir una plataforma de monitoreo en tiempo positivo rentable a escalera completo. Al diseñar para la escalera desde el primer día, Laravel entregó investigación de subsecond en miles de millones de eventos, mientras mantiene la experiencia amable para los desarrolladores que su comunidad retraso.
Sobre los autores