Esta publicación está coescrita por Arjan Hammink de Infor.
Las sólidas capacidades de almacenamiento y búsqueda son componentes críticos del software empresarial en la aglomeración de Infor. información Red abierta inteligente (ION) La plataforma OneView proporciona informes, paneles y visualización de datos en tiempo verdadero para ayudar a los clientes a lograr y analizar información en toda su estructura. Para mejorar la funcionalidad de búsqueda interiormente de ION OneView, Infor utilizó Servicio de búsqueda abierta de Amazon para mejorar sus productos de software y ofrecer un mejor servicio a sus clientes proporcionando visibilidad en tiempo verdadero. Al modernizar el uso de OpenSearch Service, Infor ha podido ofrecer una mejoría del 94 % en el rendimiento de búsqueda para los clientes, contiguo con una reducción del 50 % en los costos de almacenamiento.
En esta publicación, exploraremos el delirio de Infor para modernizar sus capacidades de búsqueda, los beneficios esencia que lograron y las tecnologías que impulsaron esta transformación. Incluso discutiremos cómo los clientes de Infor ahora pueden averiguar de modo más efectiva mensajes comerciales, documentos y otros datos críticos interiormente de la plataforma ION OneView.
Donde empezó Infor
ION OneView de Infor se creó sobre Elasticsearch v5.x en Amazon OpenSearch Service, alojado en ocho regiones de AWS. Esta casa permitió a los usuarios realizar un seguimiento de los documentos comerciales desde una traza consolidada, averiguar utilizando varios criterios y correlacionar mensajes mientras visualizaban el contenido según las funciones de los usuarios. Con el tiempo, Infor amplió su funcionalidad para incluir capacidades de «Enriquecer» y «Dar carpetazo», lo que añadió una complejidad significativa. El proceso Enrich crearía mensajes con capacidad de búsqueda agregando eventos relacionados, lo que requeriría actualizaciones constantes de los documentos en los índices de OpenSearch. El proceso de Archivo luego movería estos mensajes y eventos a Servicio de almacenamiento simple de Amazon (Amazon S3), mientras usa un delete_by_query para eliminar los documentos correspondientes del servicio OpenSearch. Estas cargas de trabajo de recitación, aggiornamento, escritura y matanza, contiguo con grandes índices integrales con tamaños de fragmentos de más de 100 GB, dieron como resultado Grandes volúmenes de documentos eliminados. y un crecimiento exponencial de datos que el sistema tuvo dificultades para seguir el ritmo. Para chocar las crecientes deyección de rendimiento, Infor continuamente amplió horizontalmente su dominio de servicio OpenSearch.
Desafíos
Los desafíos esencia que enfrentó Infor subrayaron la obligación de una capacidad de búsqueda más escalable, resistente y rentable que pudiera integrarse perfectamente con su entorno de aglomeración. Estos incluían la incapacidad de catalogar datos de modo efectiva adecuado a las altas tasas de ingesta, lo que resultaba en tiempos de aggiornamento y recuperación más prolongados. Los crecientes costos derivados de la ampliación de la decisión y la obligación de un incremento personalizado para habilitar funciones más nuevas del servicio OpenSearch crearon cargas operativas significativas. Encima, Infor estaba experimentando una latencia de búsqueda cada vez longevo, con una utilización de CPU que alcanzaba un mayor del 75% y ocasionalmente superaba el 90% (como se muestra en las siguientes figuras), lo que demuestra las limitaciones de rendimiento de la infraestructura existente de Infor. En conjunto, estos problemas impulsaron la obligación de Infor de una decisión de búsqueda modernizada.
Premodernización de la latencia de búsqueda
Premodernización de la utilización de la CPU
El delirio de Infor para modernizar la búsqueda con OpenSearch Service
Para chocar los crecientes desafíos con ION OneView, Infor se asoció con AWS para emprender un esfuerzo de modernización integral. Esto implicó optimizar los procesos operativos, las configuraciones de almacenamiento y la selección de instancias, al mismo tiempo que se actualizaba a las versiones posteriores interiormente del servicio OpenSearch.
Revisión operativa y mejoras.
Como esfuerzo de colaboración entre Infor y AWS, se llevó a final una revisión operativa integral del clúster de servicios OpenSearch de Infor. Con la ayuda de registros lentos y ajustando el umbrales de registrola revisión pudo identificar consultas de larga duración y el proceso de archivo que consume la longevo cantidad de capacidad de CPU. Infor reescribió las consultas de larga duración que utilizaban campos de ingreso cardinalidad, reduciendo el tiempo promedio de consulta.
A continuación, el equipo centró su atención en rediseñar el proceso de archivo de Infor para compendiar el estrés en la CPU. En división de un único índice ilustre, implementamos índices independientes basados en los tipos de atrevimiento de los clientes. Esto mejoró el rendimiento de matanza al permitir que el equipo apunte a índices antiguos, utilizando mote de índice para ejecutar la transición. Incluso reemplazamos el delete_by_query enfoque en el que se envía una consulta para situar documentos antaño de eliminarlos con una matanza en serie que pasa los ID de los documentos directamente, porque todos los ID de los documentos que se archivarán se conocían de antemano. Esto redujo el tiempo de ida y envés y el estrés de la CPU en comparación con las solicitudes de búsqueda secuenciales realizadas por delete_by_query. A esto le siguió la puesta a punto del intervalo de aggiornamento en función de los requisitos de la carga de trabajo, mejorando el rendimiento de indexación y la utilización de la memoria y la CPU.
Optimización del almacenamiento
El equipo cambió de Almacenamiento GP2 a GP3aprovisionando operaciones de entrada/salida adicionales por segundo (IOPS) y rendimiento solo cuando sea necesario. Esto resultó en una reducción del 9% en los costos de almacenamiento para la mayoría de las cargas de trabajo de Infor. En todos los casos de uso donde IOPS fue un cuello de botella, el equipo pudo proporcionar IOPS y rendimiento adicionales independientemente del tamaño del prominencia usando GP3, reduciendo aún más los costos generales de almacenamiento de Infor. Encima, implementamos una organización de sustitución basada en el tamaño de los fragmentos que proporcionaba una organización de fragmentación en la que el total de fragmentos era divisible por el número de nodos para compendiar el tamaño del fragmento al leve. número recomendado de menos de 50 GiB. Esto ayudó a avalar una distribución uniforme de datos y cargas de trabajo entre los nodos para cada índice, y las mejoras de rendimiento indicaron que sería benéfico tener más vCPU dadas las colas y latencias del reunión de subprocesos. Se eligieron los tipos de instancia de nodo de datos y avezado apropiados en función de los nuevos requisitos de almacenamiento. Para respaldar el proceso de reindexación, el equipo además amplió temporalmente los bienes informáticos y de almacenamiento.
Modernización del servicio OpenSearch
A posteriori de optimizar las configuraciones de almacenamiento y computación basadas en las mejores prácticas, el equipo de Infor ION centró su atención en el uso de últimas características de OpenSearch Servicio. Con los fragmentos ahora en un divisoria adecuado y la utilización de memoria y CPU en los niveles correctos, el equipo pudo refrescar sin problemas de la traducción 5.x de Elasticsearch a la 6.x y luego a la 7.x en OpenSearch Service. Cada aggiornamento de traducción importante requirió pruebas cuidadosas y cambios de código del banda del cliente para avalar que se utilizaran las bibliotecas de cliente compatibles adecuadas, y el equipo se tomó el tiempo necesario posteriormente de cada aggiornamento para validar exhaustivamente el sistema y proporcionar una transición sin problemas para los clientes de Infor. Este compromiso con un proceso de aggiornamento metódico permitió a Infor disfrutar las últimas características del servicio OpenSearch, como soporte Graviton, mejoras de rendimiento, corrección de errores y mejoras en la postura de seguridad, mientras minimiza las interrupciones para sus usuarios.
Optimización de la selección de instancias para el rendimiento
En colaboración con el equipo de AWS, Infor evaluó cuidadosamente los tipos de instancias locales respaldadas por memoria no volátil expresa (NVMe) para su clúster de búsqueda ION OneView, comparando opciones como Instancias i3 y R6gd para equilibrar los requisitos de memoria, latencia y almacenamiento. Para cargas de trabajo con mucha escritura, el equipo descubrió que el uso del almacenamiento NVMe proporcionaba un mejor rendimiento y precio en comparación con Volúmenes de Amazon Elastic Block Store (Amazon EBS) adecuado al detención requisito de IOPS de la carga de trabajo, lo que les permite servir menos del uso de memoria fuera del montón. Al preferir los tipos de instancias más apropiados, el clúster de búsqueda de ION OneView pudo cambiar el tamaño y compendiar la cantidad de nodos de datos en un 63 % y, al mismo tiempo, conquistar un rendimiento mejorado y una latencia estrecha. Mantenerse a la última Familias de instancias de AWS Incluso fue una consideración esencia, y el equipo optimizó aún más los costos al comprar instancias reservadas posteriormente de establecer una buena colchoneta para su rendimiento y consumo de cuenta, con descuentos que van del 30% al 50% dependiendo del plazo de compromiso.
Resultados
Las siguientes figuras muestran las mejoras de la modernización.
Se pueden ver nuevos índices con el tamaño de fragmento correcto en el aumento de fragmentos, como se muestra en la sucesivo figura.
La organización de fragmentación actualizada combinada con una aggiornamento de traducción generó un aumento de diez veces en el prominencia de tráfico y un archivado eficaz, como se muestra en la sucesivo figura.
El aumento de SearchRate se muestra en la sucesivo figura.
La sucesivo figura muestra que el aumento de CPU fue leve en comparación con el aumento de tráfico.
En la sucesivo figura se muestra la reducción de SearchLatency posterior a la aggiornamento y la implementación de la nueva organización de indexación y fragmentación.
La sucesivo figura muestra el consumición mensual durante los últimos 4 trimestres para dos productos Infor ION.
Conclusión
A través de su cuidadosa modernización de la infraestructura del servicio OpenSearch, Infor pudo conquistar una reducción del 50 % en los costos de infraestructura contiguo con una mejoría del 94 % en el rendimiento del clúster. Los clústeres optimizados ahora son más saludables y resistentes, lo que permite implementaciones azules/verdes más rápidas para procesar volúmenes de datos aún mayores.
Esta transformación exitosa fue impulsada por la estrecha colaboración de Infor con el equipo de AWS, utilizando una profunda experiencia técnica y mejores prácticas para acelerar el proceso de optimización y desbloquear todo el potencial de OpenSearch Service. La modernización del servicio OpenSearch de Infor ha permitido a la empresa alabar una experiencia de búsqueda mejorada y de detención rendimiento para sus clientes a un costo significativamente pequeño, posicionando su plataforma ION OneView para un crecimiento y éxito continuos.
Cada carga de trabajo es única y tiene sus propias características distintivas. Mientras que el mejores practicas Como se describe en la asesor para desarrolladores de Amazon OpenSearch Service sirve como una asesor valiosa, el paso más importante es implementar, probar y ajustar continuamente sus propios dominios para encontrar la configuración, la estabilidad y el costo óptimos para sus deyección específicas.
Acerca de los autores
Allan Pienaar es ingeniero de éxito del cliente y pyme de OpenSearch en AWS. Trabaja en estrecha colaboración con clientes empresariales para avalar la excelencia operativa, nutrir la estabilidad de la producción y optimizar los costos utilizando Amazon OpenSearch Service.
Gokul Sarangaraju es arquitecto senior de soluciones en AWS. Ayuda a los clientes a adoptar los servicios de AWS y brinda orientación sobre la optimización del uso y los costos de AWS. Sus áreas de especialización incluyen la creación de soluciones de exploración de datos escalables y rentables utilizando servicios y herramientas de AWS.
Arjan Hammink es Director Senior de Crecimiento de Software en Infor y aporta más de 25 abriles de experiencia en incremento de software y dirección de equipos. Actualmente supervisa Infor ION, un esquema en el que ha sido parte integral desde sus inicios en 2010, cuando comenzó como ingeniero de software. Infor ION es un middleware robusto diseñado para acelerar la integración de software, un componente esencia de Infor OS, la plataforma de tecnología en la aglomeración de Infor.