Esta publicación está cubierta con Mayank Shrivastava y Barkha Herman de Startree.
Construir una devaluación latencia, entrada concurrencia y tiempo verdadero Procesamiento analítico en cadeneta (OLAP) La decisión se ha explorado previamente en el blog de AWS Big Data, donde caminamos a través de cómo Cree una decisión de examen en tiempo verdadero con Apache Pinot en AWSen el que fuentes de transmisión, como Transmisión administrada de Amazon para Apache Kafka (Amazon MSK) y FRUJES DE DATOS DE AMAZON KINESISproduce eventos que se ingieren y procesan en tiempo verdadero internamente de Apache Pinot.
Sin retención, este enfoque requiere la autogobierno de la infraestructura requerida para ejecutar Pinot, así como una serie de procesos manuales para funcionar en producción. Culminante es una alternativa administrada que ofrece beneficios similares para los casos de uso de examen en tiempo verdadero.
En esta publicación, presentamos a Startree como una decisión administrada en AWS para equipos que buscan las ventajas de Pinot. Destacamos las distinciones secreto entre Pinot y Startree de código hendido, y proporcionamos información valiosa para las organizaciones que consideran un enfoque más simplificado para su infraestructura de examen en tiempo verdadero.
Al examinar estos aspectos, puede tomar una valor informada entre el código hendido Pinot y Startree para sus deposición de examen específicas en tiempo verdadero.
Descripción universal de Startree
Uno de los fundadores de Apache Pinot, Kishore Gopalakrishna, lanzó Startree para equipar a las organizaciones a nivel mundial con el poder de los datos en tiempo verdadero y construir una plataforma totalmente administrada para examen en tiempo verdadero. Manejar más de mil millones de consultas por semana e ingerir más de 1 millón de eventos por segundo, Culminante Estrato Elimina la carga de la papeleo de infraestructura para que las empresas puedan centrarse en ofrecer información en tiempo verdadero a los usuarios finales.
Pinot de código hendido requiere experiencia interna que pueda desafiar a los equipos técnicos perfectamente establecidos para aprovisionar el hardware, configurar entornos, ajustar el rendimiento, permanecer la seguridad, agregarse a los requisitos de gobierno de datos, dirigir actualizaciones de software y monitorear constantemente los problemas del sistema. Las organizaciones interesadas en disminuir su tiempo para valorar con una decisión administrada de Pinot pueden rendir la experiencia del equipo de Startree para acelerar la configuración, implementar una inmueble inventario para la escalera y el mantenimiento de la infraestructura de descarga.
Prosperidad de la seguridad con SOC 2, SSO y RBAC
Las características críticas de seguridad empresarial pueden ser difíciles de implementar en entornos de Pinot de código hendido. Con el Pinot administrado de Startree, el control de entrada basado en roles (RBAC) simplifica la distribución de Pinot y permite a las organizaciones asignar y monitorear el entrada de los usuarios en función de los roles para imponer entrada seguro y capaz a datos confidenciales. Startree Cloud proporciona Seguridad de punto empresarial Con el cumplimiento de SoC 2, el enigmático mejorado y las capacidades de inicio de sesión único (SSO).
Uso de la ingestión de datos automatizado a escalera
El Entorno de tareas de Minion es un componente nativo de Pinot para descargar tareas computacionalmente intensivas acullá de los otros componentes de Pinot para conservar posibles para consultas de devaluación latencia y aprobar la ingestión de flujo en tiempo verdadero. Startree puede manejar volúmenes más grandes de datos de modo capaz con implementaciones en gran medida escalables de tareas de Minion y un alguacil escalera cibernética característica que elimina los costos de infraestructura innecesarios durante los tiempos inactivos, como se ve en la figura a continuación.
El entorno de ingestión de datos instintivo de Startree es ideal para cargas de trabajo empresariales porque perfeccionamiento la escalabilidad y reduce la complejidad de mantenimiento de datos que a menudo se encuentra en las implementaciones de Pinot de código hendido. Startree admite una gran cantidad de conectores administrados, que se utilizan para permanecer metadatos sobre la fuente e ingerir datos sin problemas en la plataforma. Luego, los datos se modelan para ayudarlo a organizar y organizar los datos obtenidos de la fuente de datos seleccionada en tablas de Pinot. Los índices se configuran para optimizar el rendimiento de la consulta, según el flujo en el diagrama a continuación.
Almacenamiento escalonado para el procesamiento de consultas en tiempo verdadero
Con Pinot de código hendido, el almacenamiento escalonado se puede usar para un almacenamiento profundo como Servicio de almacenamiento simple de Amazon (Amazon S3) para el procesamiento de la copia de seguridad pero no el procesamiento de consultas, porque el almacenamiento está estrechamente adjunto con el cuenta y requiere la configuración manual de inquilinos con diferentes velocidades de almacenamiento y especificaciones del servidor. En el ulterior diagrama, se define un nivel de Amazon S3 para que los datos se muevan de SSD estrechamente acoplado al almacenamiento en la abundancia cuando los datos tienen 30 días de decrepitud.
Por otro flanco, Startree hace una transición de pequeño frecuencia accediendo a los datos al almacenamiento rentable como Amazon S3, al tiempo que mantiene el entrada rápido a los datos de entrada frecuente. Startree almacenamiento escalonado Permite la automatización para el procesamiento de consultas en tiempo verdadero con fijación de índices, captación previa y movimiento inteligente de datos entre el almacenamiento en caliente y en frío, optimizando tanto el rendimiento como el costo. El enfoque sofisticado de Startree para el almacenamiento escalonado es en gran medida flexible y reduce la sobrecarga de replicación al permanecer una sola copia en el almacenamiento de la abundancia, lo que evita las limitaciones de las copias comprimidas de la tienda profunda, como puede ver en el ulterior diagrama
Prosperidad de la escalabilidad con upserts fuera de entrada
Compañías como Ocre beneficiarse del soporte Upsert de Startree para aumentar rutinariamente 350,000 eventos por segundo, con cargas de trabajo máximas que alcanzan 1 millón de altibajos por segundo. Funcionalidad de Upsert mejorada de Startree Cloud aumenta la eficiencia, la usabilidad y la escalabilidad a través de la implementación de upserts fuera de entrada. Detrás de estampa, los servidores Pinot administran metadatos específicos de Upsert para determinar si la secreto principal de un registro recién insertado se encontró previamente e identifica el segmento presente que lo contiene. Como se muestra a continuación, Startree Cloud mueve este descenso, permitiendo un distinción escalable de metadatos a medida que se eliminan las restricciones de memoria en el montón
Historias de éxito del cliente que usan Pinot con Startree para examen en tiempo verdadero
Los siguientes clientes destacan su éxito usando Pinot para Startree:
- SOVRN proporciona datos con los pies en segundo espacio para sus clientes Con el Pinot administrado de Startree como un proveedor de soluciones ADTech para editores web, por debajo de lo que anteriormente era un tiempo de respuesta de 24 a 48 horas para producir informes.
- AmberData, una compañía de inteligencia de mercado de blockchain y cripto Estudio en tiempo verdadero para mejorar el rendimiento de las consultas, resumir los tiempos de SLA y menores costos de infraestructura. Joanes Espanol, CTO y cofundador de Amberdata, compartió sobre su experiencia con el Pinot administrado de Startree: «Ahora estamos en el rango de Subseconds to Millisegunds, y la concurrencia de consulta más entrada significa que podemos servir más clientes más rápido. Hemos podido resumir nuestros costos de infraestructura y resumir nuestras dependencias de las tecnologías más antiguas».
- Nubank identifica anomalías en conjuntos de datos masivos al instante Con Startree a la observabilidad de la potencia y la detección de anomalías en sus aplicaciones orientadas al cliente, lo que permite el monitoreo en tiempo verdadero y las ideas de los clientes a escalera.
Opciones de implementación flexibles para Startree Cloud
Startree ofrece múltiples opciones de implementación, incluido un software alojado de Startree como un servicio (SaaS) o SaaS alojado con el cliente. Startree Hosted SaaS es ideal para organizaciones interesadas en descargar completamente la carga operativa de la papeleo de infraestructura, la escalera, el ajuste de rendimiento y la seguridad de su equipo para que puedan concentrarse en los examen. SaaS alojado con el cliente de Startree proporciona flexibilidad para los clientes interesados en implementar la decisión internamente de su entorno AWS u otra plataforma de sufragio. Esto es adecuado para organizaciones que requieren mayores controles de papeleo de infraestructura en su perímetro, pero aún desean la facilidad operativa de un servicio administrado.
Pinot o Startree autogestionado
Pinot puede ofrecer valencia para escenarios de examen en tiempo verdadero con diferentes métodos de implementación. La sufragio del método de implementación se reducirá a las prioridades y las compensaciones de la ordenamiento. Los equipos con la capacidad y la voluntad de dirigir el software de código hendido en una infraestructura de productos básicos a escalera podrían optar por desplegar Pinot autogestionado en AWS. Los equipos interesados en resumir el tiempo de decisión de problemas de los cuellos de botella de rendimiento, optimizar el uso de posibles y minimizar el tiempo de inactividad pueden usar el servicio administrado de Startree.
Conclusión
En esta publicación, presentamos Startree como una decisión administrada en AWS para equipos que buscan las ventajas de Apache Pinot. Al igual que Pinot, Startree aborda la aprieto de una devaluación latencia, entrada concurrencia y tiempo verdadero Procesamiento analítico en cadeneta (OLAP) decisión. Adicionalmente, Startree ofrece una experiencia administrada para cargas de trabajo de Pinot en tiempo verdadero y por lotes, ofreciendo seguridad mejorada, ingestión de datos automatizadas, almacenamiento escalonado y upserts fuera de uso. Estas características mejoran la seguridad, la escalabilidad y la papeleo para las organizaciones que buscan ejecutar Pinot en producción.
Los desarrolladores interesados en educarse más sobre Pinot administrado pueden implementar examen en tiempo verdadero con Culminante para probarlo o Únase a una sesión con el cabecilla de producto de Startree. Startree es un socio de AWS ISVA y es Arreglado en el mercado de AWS.
Sobre los autores
Raj ramasubbu es un arquitecto de soluciones especialistas en examen senior centrado en Big Data y Analytics y AI/ML con Amazon Web Services. Ayuda a los clientes arquitectos y construyendo soluciones en gran medida escalables, performadores y basadas en la abundancia en AWS. Raj proporcionó experiencia técnica y liderazgo en la construcción de ingeniería de datos, examen de big data, inteligencia empresarial y soluciones de ciencia de datos durante más de 18 abriles antaño de unirse a AWS. Ayudó a los clientes en diversas verticales de la industria como atención médica, dispositivos médicos, ciencias de la vida, traspaso minorista, papeleo de activos, seguro de automóvil, REIT residencial, agricultura, seguro de título, sujeción de suministro, papeleo de documentos y intereses raíces.
Francisco Morillo es un arquitecto de soluciones de transmisión en AWS. Francisco trabaja con clientes de AWS, ayudándoles a diseñar arquitecturas de examen en tiempo verdadero utilizando servicios de AWS, que admite la transmisión administrada de Amazon para Apache Kafka (Amazon MSK) y el servicio administrado por Amazon para Apache Flink.
Ismail makhlouf es un arquitecto de soluciones especialistas senior para examen de datos en AWS. Ismail se centra en la inmueble de soluciones para organizaciones en su patrimonio de examen de datos de extremo a extremo, incluida la transmisión por lotes y en tiempo verdadero, big data, almacenamiento de datos y cargas de trabajo de Data Lake. Principalmente se asocia con aerolíneas, fabricantes y organizaciones minoristas para apoyarlos para alcanzar sus objetivos comerciales con plataformas de datos perfectamente arquitectadas.
Berry Renee es un administrador de incremento de socios senior del software de inicio entero de AWS, que trabaja con nuevas empresas con AWS para progresar su crecimiento.
Mayank shrivastava es ingeniero fundador de Apache Pinot y miembro de PMC para el esquema. Actualmente es miembro de Startree Inc., donde igualmente dirige su centro de excelencia.
Barkha Herman Es un tecnólogo y desarrollador defensor que fundó Witvoices y el sur de Florida Women in Tech. Ella fomenta a las comunidades tecnológicas inclusivas.