Ingestión de Amazon OpenSearch es una tubería sin servidor totalmente administrada que le permite ingerir, filtrar, trocar, enriquecer y enrutar datos a un Servicio de Amazon OpenSearch dominio o Amazon OpenSearch Servidor sin ser compendio. La ingestión de OpenSearch es capaz de ingerir datos de una amplia variedad de fuentes y tiene un rico ecosistema de procesadores incorporados para atender sus deyección de transformación de datos más complejas.
Hoy, estamos lanzando una nueva interfaz visual para la ingestión de OpenSearch que facilita la creación y establecimiento de sus tuberías de datos desde el Consola de diligencia de AWS. Con esta nueva característica, puede construir tuberías en minutos sin escribir configuraciones complejas manualmente.
La nueva interfaz visual trae tres mejoras secreto para ayudar a optimizar su flujo de trabajo:
- Un flujo de trabajo visual guiado que te manual a través de la creación de tuberías
- Configuración de permiso espontáneo que elimina el manual Mandato de identidad y golpe de AWS (IAM) Mandato de políticas
- Verificaciones de fuerza en tiempo positivo que ayudan a atrapar problemas temprano
Estas mejoras hacen que sea sencillo ingerir, trocar, enriquecer y enrutar sus datos, ya sea que esté configurando su primera tubería o arquitectando flujos de trabajo de datos sofisticados con múltiples transformaciones y sumideros.
En esta publicación, pasamos por cómo funcionan estas nuevas características y cómo puede usarlas para acelerar sus proyectos de ingestión de datos.
Descubrimiento espontáneo
Antiguamente de la interfaz visual, la creación de una tubería de ingestión de OpenSearch comenzó con la selección de un plan que proporcionó una plantilla con marcadores de posición para fuentes y sumideros. Luego necesitaría modificar manualmente esta plantilla para que coincida con sus requisitos específicos.
La nueva interfaz visual mejoría este proceso al descubrir automáticamente sus fuentes y sumideros a medida que construye. En extensión de modificar el código de la plantilla, simplemente puede elegir entre los posibles disponibles en los menús desplegables y ver la configuración de la configuración de su tubería en tiempo positivo.
Esta función de descubrimiento espontáneo elimina la pobreza de cambiar entre diferentes consolas de servicio para encontrar su fuente y detalles del sumidero. Anteriormente, tenía que navegar a servicios como Servicio de almacenamiento simple de Amazon (Amazon S3) o Amazon Dynamodb Para copiar detalles de posibles y títulos de nombre de posibles de Amazon (ARN), luego vuelva a ingresar para ingresarlos en su plantilla. Esto lo mantiene enfocado en su diseño de tuberías, racionalizando todo el proceso de creación.
Mandato de roles de IAM automatizada
Con la creación de permiso espontáneo, ya no necesita crear manualmente las políticas de IAM para sus tuberías y los componentes involucrados. Con la nueva interfaz de heredero, ahora puede crear un rol de IAM unificado automáticamente, otorgando los permisos necesarios para todos los componentes de su tubería. Esto reduce significativamente la complejidad de la diligencia de la seguridad y minimiza el aventura de errores relacionados con el permiso. Incluso puede usar sus roles existentes si ya los tiene definidos.
Fuerza en tiempo positivo
La nueva interfaz introduce capacidades de fuerza en tiempo positivo que van mucho más allá de la demostración básica de sintaxis. Mientras que las versiones anteriores solo validaron la sintaxis de palabras secreto, la nueva interfaz ejecuta su condena de procesador en tiempo positivo, captando errores de configuración y tiempo de ejecución a medida que construye. A medida que construye su tubería, la interfaz valida continuamente su configuración completa, lo que le ayuda a identificar y resolver posibles problemas como configuraciones erróneas del procesador, desajuste de tipo de datos o errores de transformación antaño de la implementación. Este enfoque de fuerza proactivo basado en la ejecución ayuda a comprobar de que sus tuberías funcionen según lo previsto desde el principio, aliviando la pobreza de esperar hasta el tiempo de ejecución para descubrir problemas de la condena de procesamiento.
Ahora que hemos cubierto las características secreto, pasemos por el proceso de crear una tubería utilizando la nueva interfaz.
Crear una tubería en OpenSearch Ingestión
Comience con la interfaz visual es sencillo: puede nominar un plan como saco de tuberías o comenzar con una pizarra limpia de una plantilla en blanco. La interfaz lo manual a través de cada paso, utilizando el descubrimiento de posibles inteligentes y las características de población cibernética para simplificar todo el proceso de creación. Para esta publicación, utilizamos el plan «cero-ETL con DynamodB».
La interfaz visual agiliza la configuración de la fuente al presentar sus tablas DynamodB en un menú desplegable obediente de navegar. Posteriormente de elegir una tabla, la interfaz maneja todos los detalles técnicos, incluida la recuperación cibernética y la configuración del ARN. Esta misma funcionalidad se extiende a la configuración de exportación de Amazon S3, donde puede nominar Examinar S3 Para elegir su cubo y carpetas directamente internamente del flujo de trabajo de creación de tuberías.
Posteriormente de configurar su fuente, puede mejorar su tubería con procesadores para trocar sus datos. El panel de configuración del procesador comienza con un campo de búsqueda donde puede encontrar y elegir el procesador que necesita. Puedes nominar Añadir Para incluir procesadores asimismo organizarlos en el orden deseado. Esta flexibilidad le permite crear flujos de trabajo de transformación de datos complejos combinando diferentes procesadores en la secuencia que necesita.
Si hay algún problema, como los campos requeridos faltantes, la interfaz muestra mensajes de error claros, lo que le permite enfrentarse los problemas antaño de avanzar. Esta fuerza en cada paso se asegura de que su tubería esté configurada correctamente antaño de la implementación.
La posterior captura de pantalla muestra un ejemplo de la interfaz visual.
Las capacidades de fuerza en tiempo positivo de la interfaz se extienden a la configuración del procesador, lo que le ayuda a identificar y resolver posibles problemas antaño de que afecten su canalización. La configuración de cada procesador se valida a medida que construye su tubería, con mensajes de error claros que lo guían con destino a la configuración adecuada. Este enfoque de fuerza proactiva asegura que su dialéctica de transformación de datos sea sólida antaño de advenir a la posterior etapa de la creación de tuberías.
El panel de configuración del fregadero ofrece flexibilidad para nominar su destino de OpenSearch. Puede elegir entre un clúster administrado o una opción sin servidor, dependiendo de sus deyección específicas. Para longevo comodidad, hemos integrado la capacidad de crear un nuevo dominio OpenSearch directamente desde esta interfaz, simplificando el proceso de configuración de la tubería de extremo a extremo.
La configuración del fregadero proporciona opciones para el mapeo dinámico y personalizado. El mapeo dinámico maneja automáticamente la detección de datos y la creación de mapeo, mientras que el mapeo personalizado le brinda un control preciso sobre su estructura de datos. Para ayudar la confiabilidad de los datos, puede habilitar una posaderas de trivio muertas (DLQ), un radio de retención para mensajes que no se pueden procesar con éxito, para capturar y gobernar cualquier evento fallido.
A medida que toma decisiones en la interfaz visual, las actualizaciones de configuración YAML/JSON correspondientes en tiempo positivo. Este comentario inmediato lo ayuda a comprender cómo sus selecciones se traducen en configuraciones técnicas, desde el proclamación de índice hasta las opciones de mapeo y la configuración avanzadilla como el tiempo de retraso de descarga y el versiones de documentos.
La configuración de seguridad ahora es perfecta con la diligencia automatizada de roles de IAM. La interfaz maneja inteligentemente la creación y diligencia de los permisos en todos los componentes de la tubería. Puede crear un nuevo rol de servicio o usar uno existente, y la interfaz genera automáticamente un rol de IAM unificado que proporciona los permisos precisos necesarios en los componentes de la tubería, desde su fuente hasta los componentes de Amazon S3 necesarios para los sumideros DLQ y OpenSearch/Amazon S3. Esta automatización no solo ahorra tiempo, sino que asimismo reduce el aventura de errores relacionados con el permiso que podrían ocurrir al gobernar los controles de golpe en múltiples posibles. La posterior captura de pantalla muestra un ejemplo.
Al consolidar la selección de posibles en una sola interfaz, hemos eliminado la pobreza de navegar entre múltiples servicios de AWS. Esto ahorra tiempo y reduce el potencial de errores que podrían ocurrir al copiar manualmente los identificadores de posibles. Una vez que se crea una tubería utilizando la interfaz visual, asimismo puede editar una tubería utilizando la misma interfaz visual para alterar rápidamente la configuración de la tubería.
Conclusión
La nueva interfaz visual para la ingestión de OpenSearch presenta flujos de trabajo visuales guiados que simplifican la creación de tuberías, el descubrimiento espontáneo de posibles, la diligencia automatizada de roles de IAM, la fuerza en tiempo positivo y las avances de configuración dinámica. Estas mejoras racionalizan colectivamente el proceso de creación de tuberías, reducen el potencial de errores y proporcionan una experiencia más intuitiva para los usuarios de todos los niveles de tacto.
¿Dispuesto para comenzar? Visite la consola de servicio de OpenSearch hoy y comience a construir su primera tubería visual. Con esta nueva interfaz, puede trocar sus flujos de trabajo de ingestión de datos y desbloquear nuevas ideas de sus datos de guisa más rápida y apto que nunca.
Sobre los autores
Sam Selvan es un arquitecto de decisión doble principal con el servicio de Amazon OpenSearch.
Jagadish Kumar (Jag) es un arquitecto de soluciones especialistas senior en AWS enfocado en el servicio de Amazon OpenSearch. Le apasiona profundamente la casa de datos y ayuda a los clientes a construir soluciones de estudio a escalera en AWS.