En esta publicación, analizamos cómo Taxbit se asoció con Servicios web de Amazon (AWS) para optimizar su decisión de exploración de impuestos criptográficos utilizando Tablas de Amazon S3logrando un hucha de costos del 82 % y tiempos de procesamiento cinco veces más rápidos.
Impuesto es una suite líder en cumplimiento tributario que presta servicios a intercambios de criptomonedas, plataformas digitales y agencias gubernamentales, genera más de 100 millones de formularios para usuarios y concilia más de 500 mil millones de transacciones de activos digitales. La suite impulsa un entorno engorroso que maneja datos de precios en tiempo verdadero de 29 intercambios de criptomonedas que cubren más de 10,000 activos digitales.
Recientemente, Taxbit experimentó desafíos con su infraestructura de datos de precios. A medida que los volúmenes de datos continuaron expandiéndose, los costos de infraestructura aumentaron marcadamente, ejerciendo presión sobre los presupuestos operativos. Al mismo tiempo, el sistema tuvo dificultades para absorber de guisa competente el creciente número de puntos de datos de precios, lo que creó cuellos de botella persistentes en su canal de datos. Estas limitaciones técnicas hicieron que los clientes perdieran datos y experimentaran tiempos de procesamiento lentos, lo que generó insatisfacción. Adicionalmente de estos desafíos operativos, Taxbit tiene estrictos requisitos de cumplimiento normativo que se deben considerar al diseñar soluciones. Esta combinación de problemas llevó a Taxbit a modernizar su infraestructura de datos de precios con un enfoque en ayudar a cumplir con los estándares regulatorios.
«Durante las cargas de trabajo máximas, nuestras soluciones procesan cientos de millones de transacciones de activos digitales a través de blockchain y intercambios de criptomonedas».
– dice Clark Roberts, CTO de Taxbit.
«Nuestra casa de saco de datos heredada se estaba convirtiendo en un cuello de botella, lo que generaba mayores costos y tiempos de respuesta más lentos para nuestros clientes empresariales y gubernamentales».
Descripción universal de la decisión
La casa modernizada de Taxbit utiliza Amazon S3 Tables con Apache Iceberg como saco, combinada con servicios de AWS especialmente diseñados para la ingesta, el procesamiento y el exploración de datos. La decisión procesa datos de precios en tiempo verdadero de 29 intercambios de criptomonedas, incluidos más de 10.000 activos digitales. Esta casa se muestra en el posterior diagrama.
La casa de canalización de datos utiliza los servicios de AWS para ofrecer una decisión integral. Básicamente, Amazon S3 Tables proporciona la infraestructura de almacenamiento escalable necesaria para establecer grandes volúmenes de datos de precios. Para el procesamiento y transformación de datos, la decisión combina EMR de Amazon y Pegamento AWSmanejando eficientemente tanto las operaciones de procedencia, transformación y carga (ETL) como los requisitos de API asíncronos.
El manejo de datos en tiempo verdadero se gestiona a través de Kinesis amazónicapermitiendo la transmisión de actualizaciones de precios. AWS Lambda Las funciones realizan múltiples tareas, incluido el tienta folleto de las API de los proveedores, la transformación de la transmisión de datos y el beneficio de datos. La orquestación de estos componentes es gestionada por Funciones de paso de AWSayudando a asegurar la coordinación de los flujos de trabajo de datos. Completando la casa, Atenea amazónica proporciona capacidades de consulta, admitiendo API sincrónicas y consultas analíticas únicas. Este enfoque crea un sistema escalable diseñado para manejar flujos de trabajo de procesamiento por lotes y en tiempo verdadero, manteniendo al mismo tiempo un parada rendimiento y confiabilidad.
Capa de ingesta de datos
La capa de ingesta opera a través de dos componentes secreto: integración de API y procesamiento de flujo. La integración API utiliza lambda funciones para sondear sistemáticamente múltiples API externas. Estas operaciones electorales son orquestadas por Puente de eventos de Amazonque gestiona las tareas programadas de resumen de datos. Adicionalmente, los oyentes de WebSocket mantienen conexiones continuas para capturar actualizaciones de precios en tiempo verdadero a medida que ocurren.
En el banda del procesamiento de flujo, Flujos de datos de Amazon Kinesis sirve como columna vertebral para manejar la ingesta de datos en tiempo verdadero a escalera. A medida que los datos fluyen, las funciones Lambda realizan transformaciones y operaciones de beneficio para preparar los datos para su uso posterior. A lo prolongado de este proceso, se aplican controles de subsistencia personalizados para ayudar a asegurar la calidad y la integridad de los datos, lo que ayuda a sostener la integridad del proceso de información de precios.
capa de almacenamiento de datos
En la capa de almacenamiento, Taxbit utiliza Amazon S3 Tables oportuno a su formato de almacenamiento optimizado Diseñado para consultas analíticas. Amazon S3 Tables está diseñado para manejar automáticamente la optimización y compactación de tablas, lo que ayuda a optimizar los procesos de suministro de datos. El sistema igualmente incorpora capacidades de delirio en el tiempo, lo que permite a Taxbit cumplir con los requisitos de auditoría y su pobreza de exploración de datos históricos.
La logística de estructura de datos está diseñada para maximizar la eficiencia y la accesibilidad. Los datos se dividen sistemáticamente por data e intercambio, lo que permite la recuperación de datos específica y un mejor rendimiento de las consultas. La implementación del almacenamiento en columnas alivio aún más la eficiencia de las consultas al minimizar los exploración de datos innecesarios. Adicionalmente, existen mecanismos de control de versiones para sostener un índole de datos claro, lo que permite un seguimiento preciso de los cambios y transformaciones de los datos a lo prolongado del tiempo.
Capa de exploración
En la capa de exploración, el motor de consultas forma la saco, utilizando Atenea amazónica para entregar un exploración ex profeso flexible de los datos de precios. Esto se complementa con Prestoconsultas basadas en que manejan agregaciones complejas de guisa competente. El sistema incluye planes de ejecución cuidadosamente elaborados y optimizados para patrones de consulta comunes, diseñados para proporcionar un rendimiento consistente y confiable.
Para maximizar la eficiencia, la capa de exploración incorpora varias optimizaciones de rendimiento secreto. El sistema utiliza un Athena. reutilizar el resultado de la consulta para minimizar el procesamiento redundante y capacidades de ejecución de consultas paralelas para manejar múltiples solicitudes simultáneas de guisa efectiva.
Seguridad y cumplimiento
La logística de protección de datos implementa múltiples capas de seguridad, comenzando con Servicio de suministro de claves de AWS (AWS KMS) enigmático de todos los datos en reposo. Esto se complementa con el enigmático TLS para los datos en tránsito, lo que ayuda a proteger el movimiento de datos en todo el sistema. El golpe a los datos y bienes se controla a través de Gobierno de golpe e identidad de AWS (IAM)proporcionando permisos detallados que aplican el principio de privilegio pequeño.
El componente de seguimiento de auditoría proporciona capacidades integrales de seguimiento y cumplimiento. AWS CloudTrail El registro captura registros detallados de las actividades del sistema, lo que permite un exploración de seguridad minucioso y una investigación de incidentes. El seguimiento del índole de datos mantiene registros claros del movimiento y las transformaciones de los datos a lo prolongado del proceso. Estas características se ven reforzadas por sólidas capacidades de coexistentes de informes de cumplimiento, lo que ayuda al sistema a demostrar el cumplimiento de los requisitos reglamentarios y las políticas de gobierno interno. Juntos, estos controles de seguridad crean un entorno que protege los datos confidenciales, mantiene la transparencia y proporciona responsabilidad.
Impacto empresarial
En particular, Taxbit logró una reducción del 82 % en los costos de infraestructura de almacenamiento y, al mismo tiempo, ofreció velocidades de procesamiento cinco veces más rápidas que su casa mencionado. La integridad de los datos para los cálculos alcanzó una precisión de aproximadamente el 99,99 % y la carga de trabajo ahora puede tolerar con éxito más de 10 000 activos digitales. Los beneficios se extendieron más allá de estas mejoras cuantitativas. La experiencia del cliente ha mejorado y los tiempos de fijación de precios de transacción se han escaso de horas a minutos. Las capacidades de decano rendimiento aumentaron la eficiencia operativa, lo que permitió una carga de datos más rápida y al mismo tiempo redujo los costos de computación. La nueva casa igualmente estableció una saco escalable que proporciona un golpe a datos más rápido y la flexibilidad para expandirse a nuevos mercados. La infraestructura moderna igualmente ha permitido a Taxbit averiguar nuevas ofertas de productos al tolerar exploración avanzados e información en tiempo verdadero que ayer eran inalcanzables. Estas capacidades crearon nuevas oportunidades de negocio y flujos de ingresos que no eran posibles bajo las limitaciones del sistema heredado.
Conclusión
La implementación de Amazon S3 Tables por parte de Taxbit ha transformado sus soluciones de cumplimiento tributario de criptomonedas, brindando un hucha de costos del 82 % y velocidades de procesamiento cinco veces más rápidas. La casa modernizada, que combina Amazon EMR, AWS Glue, Amazon Kinesis y Lambda, ahora procesa transacciones en minutos en división de horas. Adicionalmente, la casa ha ayudado a Taxbit a sostener aproximadamente un 99,99 % de precisión de los datos en más de 10.000 activos digitales. Más allá de las mejoras operativas, esta transformación ha permitido nuevas ofertas de productos y capacidades de exploración en tiempo verdadero. Al asociarse con AWS, Taxbit abordó sus desafíos de escalera y sentó las bases para una innovación continua en el espacio de los activos digitales.
Para obtener más información, consulte Tablas de Amazon S3.
Sobre los autores