ESTA Representa de Reece Una Visión Soleta de CÓMO Fluye la Información, Desde la Cosecha E Ingestión Auténtico, Hasta su Almacenamiento, Procesamiento y Upero Final. CADA ETAPA facilita la transformación de datos brutos en conocimientos valiosos. Al combinar Procesamiento por lotes y de fljos, organizaciones Las pueden potenciar ciencia de datos, Inteligencia de Negocios y Estudios Autico, Impulsando Así La Innovación.
Cosecha de datos
ESTA ETAPA, LA Información Procede de Diversas Fuentes, Como Almacenes de Datos Existentes, Flujos de Datos en Tiempo Existente y Servicios o Aplicaciones finales. El Objetivo Director ES CAPTUAR Y UNÍFAR ESTOS DATOS EN UN UNNICO PUNTO DE ENTRADA, Preparando El Demarcación para su ingestión posterior en la Canalización. Por eJemplo:
Lecturas de sensores IoT (Internet de las cosas)
Registros (registros) de servidores
Flujos de redes sociales
Eventos de usuarios en aplicaciones móviles
Ingestión de datos
En este Paso, Los datos recolectados se transfieren desde sus fuentes originales alrededor de la infraestructura de almacenamiento o procesamiento. Un menudo, se utilizan Herramientas o Servicios de Ingestión Que Pueden Manejar Grandes Volúmenes de Información en Diferentes Formatos (Estructurados y No Estructurados). El Objetivo Director es Asegunrar que los datos Lleguen de forma confiable, ordenada y adecuada para la Posterior Etapa de la Canalización.
- Apache Kafka
- Amazon Kinesis
- Google Pub/Sub
- Centros de eventos de Azure
- Flume (Apache)
Almacenamiento de datos
Tras la Escalón de Ingestió, Los datos pasan a sistemas deseñados para Guardarlos de forma duradera y escalable. Depend -Del Tipo de Información (Estructurada, Semiestructurada o no Estructurada) y de lasdades de la ordenamiento, se eligen Diferentes solucionados. El Objetivo es Conservar la Información de Modo Organizada y Serie para el paralisis posterior y Procesamiento.
- Amazon S3
- HDFS (sistema de archivos distribuido Hadoop)
- Almacenamiento en la nimbo de Google
- Almacenamiento de Azure Data Lake
- Copo de cocaína
Procesamiento de datos
En esta escalón, la información de la información de Almacenada. SE PUEDEN EMPLEAR Enfoques de Procesamiento por lotes (división) para conjuntos Grandes de datos históricos, o proporcionadamente procesamientos en tiempo efectivo (stream) para manejar eventos conforme van suceddiendo.
- Apache Spark
- Apache flink
- Haz apache
- Hadoop mapreduce
- Google Dataflow
Consumo de datos
En esta Última etapa, Los resultados del procesamiento se ponen una disposición de las aplicaciones, los servicios de usuarios finales. El objetivo es traducir la información en decisiones estratégicas y Acretas. LOS Datos Pueden RefleJarse en Tableros de VisualizaciN inteligencia de negocios. De Esta Modo, La Ordenamiento de la Ordenamiento APROVECHA EL CONOCIMIENTO OBTENIDO PARA Innovar, Optimizar Procesos y ofRecer Mejores Experiencias A Sus Clientes.
Cuadro
Power Bi
Cuadernos Jupyter
Mirador
Conclusión
La Canalizació de Datos Ilustra Cada Paso esencial para trocar Información en conocimiento Aplicable. Desde la cosecha e ingestión Auténtico, Pasando por la Selección de Sistemas de Almacenamiento y Estrategias de Procesamiento, Hasta la Escalón de Consumo, LAS Organizaciones Pueden Optimizar Sus Posibles y Tomar Decises Fundamentas. AL Implementar los componentes de forma coherente, se generan Oportunidadas de innovación, Restablecimiento continua, crecimiento sostenido y una visión más profunda del negocio.
Relacionar