Ingestión de Amazon OpenSearch es una poderosa tubería de ingestión de datos que los clientes de AWS usan para muchos propósitos diferentes, como la observabilidad, el prospección y la búsqueda cero-ETL. Muchos clientes hoy empujan registros, rastros y métricas de sus aplicaciones a la ingestión de OpenSearch para juntar y analizar estos datos.
Hoy, nos complace anunciar que las tuberías de ingestión de OpenSearch ahora admiten la ingestión de contabilidad cruzada para fuentes basadas en push como HTTP y Opentelemetry (OTEL). Las organizaciones ahora pueden usar esta función para compartir datos sin esfuerzo entre los equipos. Por ejemplo, muchas organizaciones tienen equipos de observabilidad central: ahora estos equipos pueden crear tuberías de ingestión de OpenSearch y compartirlas con otros equipos de su ordenamiento. Asimismo puede usar esta función para ingerir datos en Servicio de Amazon OpenSearch dominios o Amazon OpenSearch Servidor sin ser colecciones en otras cuentas.
Anteriormente, compartir las tuberías de Ingestión de OpenSearch en todas las cuentas requerían que los equipos usen funciones de montón privada imaginario (VPC) para compartir el comunicación. Por ejemplo, los equipos podrían usar VPC Peering, que no siempre es factible, o AWS Transit Gateway. Las nuevas funciones de ingestión de contabilidad cruzada en OpenSearch Ingestión pueden simplificar su implementación y estrechar el costo de compartir tuberías.
Descripción caudillo de la opción
Veamos cómo compartir una tubería de una cuenta de registro central con otras dos cuentas de incremento (A y B). La cuenta de registro central puede crear una tubería de ingestión de OpenSearch utilizando una fuente basada en Push, por ejemplo, HTTP. Luego de crear la tubería, un miembro del equipo de registro central puede otorgar comunicación a los otros equipos. Pueden usar una política de medios que brinde permisos a las otras dos cuentas de equipo para crear puntos finales de tuberías. Luego de hacer este cambio, la tubería de Ingestión de OpenSearch está habitable para su uso por los otros equipos.
El ulterior diagrama ilustra esta configuración.
En las siguientes secciones, demostramos cómo implementar esta opción.
Requisitos previos
Primero, la cuenta de registro central debe tener un VPC con dos opciones habilitadas.
- ActivAntNSSupport debe establecerse en True
- ActivAdNShostNames debe establecerse en True
La cuenta de registro central incluso debe crear una tubería de ingestión de OpenSearch basada en empuje en el VPC. Esto puede ser una tubería Admitir registros de Fluentbit o Telemetría de Operentelemetry.
Las cuentas de incremento que se conectarán a la tubería incluso deben tener VPC en la misma región con las mismas opciones DNS habilitadas.
- ActivAntNSSupport debe establecerse en True
- ActivAdNShostNames debe establecerse en True
Crear política de medios
Como propietario de la tubería, puede crear una política de medios que permita a las dos cuentas de incremento crear puntos finales de tuberías contra su tubería.
La ulterior es una política de medios de ejemplo para este decorado:
La consola de Ingestión de OpenSearch hace que sea sencillo crear estas políticas, como se muestra en la ulterior captura de pantalla.
Crear punto final de la tubería
Ahora que la cuenta de registro central ha compartido permisos en su tubería, las cuentas de incremento pueden crear puntos finales de tuberías. Un punto final de la tubería es una conexión de un VPC a una tubería de ingestión de OpenSearch.
Las cuentas de incremento son responsables de crear los puntos finales de la tubería en los VPC que desean conectarse. Crean esto en las subredes que necesitan y proporcionan un familia de seguridad. El familia de seguridad debe tener una regla entrante que permita el puerto de comunicación HTTPS sobre el puerto 443 desde cualquier fuente que las cuentas de incremento necesiten para ingerir registros.
El equipo de incremento A puede crear un punto final de tuberías utilizando un comando similar al ulterior:
El equipo de incremento A incluso puede usar la consola de Ingestión de OpenSearch para crear el punto final de la tubería.
Luego de realizar este cambio, el VPC para el Equipo de Ampliación A tendrá un punto final de tuberías. Este punto final de la tubería ahora permite ingerir datos en la tubería de registro central. Ahora, Aglomeración de enumeración elástica de Amazon (Amazon EC2) instancias, Servicio de contenedores elásticos de Amazon (Amazon ECS) Las tareas, las vainas de Kubernetes y otros cómputos que se ejecutan en el VPC pueden ingerir sus datos de registro en la tubería utilizando herramientas como Fluentbit.
Al mismo tiempo o en un momento posterior, el equipo de incremento B incluso puede crear un punto final de tubería. Este equipo lo creará para su propia VPC.
Luego de esto, la tubería ahora tendrá dos puntos finales de tuberías, por lo que los dos equipos pueden ingerir sus datos de registro en el VPC de registro central.
Lustrar
Luego de crear un punto final de tuberías, cualquiera de las cuentas puede eliminarlo. Los equipos de incremento en nuestro decorado pueden usar la API DeletePipelineAndpoint para eliminarla de sus cuentas. Encima, si la cuenta de registro central debe eliminar un punto final de la tubería de una tubería, puede usar la API RevokePipelineEndPointConnections. Ambas opciones incluso están disponibles en la consola de Ingestión de OpenSearch.
Luego de retirarse los puntos finales de la tubería, el equipo de registro central incluso puede eliminar la tubería si ya no la necesitan.
Conclusión
La nueva función de punto final de tuberías para la ingestión de OpenSearch simplifica cómo puede compartir tuberías para la ingestión de contabilidad cruzada. Esto puede ayudar a los equipos a usar las potentes características de la ingestión de OpenSearch y destapar nuevas posibilidades para equipos u organizaciones que utilizan múltiples cuentas y VPC. La nueva función de punto final de tuberías está habitable hoy en las regiones de AWS, donde la ingestión de OpenSearch está habitable.
Para comenzar con la ingestión de pacto cruzado en la ingestión de OpenSearch, consulte Documentación de ingestión de OpenSearch O intente crear su primera tubería de cuenta cruzada en la consola de Ingestión de OpenSearch.
Sobre los autores