En Fideicomiso en el hogarMedimos el éxito en términos de relaciones. Ya sea que estemos trabajando con individuos o empresas, nos esforzamos por ayudarlos a mantenerse «listos para lo que sigue».
Mantenerse un paso por delante de las micción financieras de nuestros clientes significa ayudar sus datos fácilmente disponibles para prospección e informes en un almacén de datos empresariales, que llamamos la plataforma de prospección e informes (HARP). Nuestro equipo de datos ahora usa Plataforma de inteligencia de datos de Databricks y estrato DBT Para construir tuberías de datos eficientes para que podamos colaborar en cargas de trabajo comerciales y compartirlas con los sistemas de socios críticos fuera de la empresa. En este blog, compartimos los detalles de nuestro trabajo con Databricks y DBT y describimos los casos de uso que nos ayudan a ser el socio que merecen nuestros clientes.
Los peligros del procesamiento tranquilo por lotes
Cuando se alcahuetería de datos, el arpa es nuestro heroína de batalla. Tan pronto como podríamos ordenar nuestro negocio sin él. Esta plataforma alpargata herramientas de prospección como Power BI, Alteryx y SAS. Durante abriles, utilizamos IBM DataStage para orquestar las diferentes soluciones interiormente del arpa, pero esta decisión ETL heredada finalmente comenzó a abrocharse bajo su propio peso. El procesamiento por lotes pasó la confusión, terminando hasta las 7:00 a.m. y dejándonos poco tiempo para depurar los datos antaño de enviarlos a las organizaciones asociadas. Luchamos por cumplir con nuestros acuerdos de nivel de servicio con nuestros socios.
No fue una intrepidez difícil mudarse a Plataforma de inteligencia de datos Databricks. Trabajamos en estrecha colaboración con el equipo de Databricks para comenzar a construir nuestra decisión, y igual de importante, planificando una migración que minimizaría las interrupciones. El equipo de Databricks recomendó que usemos Dlt-meta, un situación que funcione con Databricks Delta Live Tablas. DLT-Meta sirvió como nuestra determinación de flujo de datos, lo que nos permitió automatizar las tuberías de datos de bronce y plata que ya teníamos en producción.
Todavía nos enfrentamos al desafío de acelerar rápidamente una migración con un equipo cuyas habilidades giraban en torno a SQL. Todas nuestras transformaciones anteriores en las soluciones de IBM se habían basado en la codificación SQL. Buscando una decisión moderna que nos permita explotar estas habilidades, decidimos DBT Cloud.
Desde nuestra prueba auténtico de DBT Cloud, sabíamos que habíamos tomado la intrepidez correcta. Admite una amplia serie de entornos de ampliación y proporciona una interfaz de usufructuario basada en navegador, que minimiza la curva de formación para nuestro equipo. Por ejemplo, realizamos una transformación basada en dimensiones que cambian lentamente muy familiarmente y reducimos considerablemente nuestro tiempo de ampliación.
Cómo el Lakehouse alimenta nuestros procesos de encargo crítica
Cada procesamiento por lotes se ejecuta en Home Trust ahora se base en la plataforma de inteligencia de datos de Databricks y nuestra edificación Lakehouse. El Lakehouse no solo se asegura de que podamos obtener a datos para informes y prospección, por lo que esas actividades son. Procesa los datos que usamos:
- Habilitar procesos de renovación de préstamos en la comunidad de corredores
- Trocar datos con el Riquezas de los Estados Unidos
- Desempolvar puntajes FICO
- Destinar alertas importantes de fraude comercial
- Ejecute nuestra nalgas de recuperación predeterminada
En síntesis, si nuestro procesamiento por lotes se retrasara, nuestro resultado final recibiría un chiste. Con Databricks y DBT, nuestro gajo noctámbulo ahora termina cerca de de las 4:00 a.m., dejándonos un tiempo suficiente para depurar antaño de fomentar nuestros datos en al menos 12 sistemas externos. Finalmente tenemos toda la potencia informática que necesitamos. Ya no nos apresuramos a calar a nuestros plazos. Y hasta ahora, los costos han sido justos y predecibles.
Así es como funciona de extremo a extremo:
- Azure Data Factory deja deja archivos de datos en Azure Data Lake Storage (ADL). Para los archivos de origen SAP, SAP Data Services deja los archivos en ADL.
- A partir de ahí, DLT-Meta procesa capas de bronce y plata.
- La estrato DBT se usa para la transformación en la capa de oro, por lo que está registro para el prospección posterior.
- Luego, los datos llegan a nuestras tuberías designadas para actividades como préstamos, suscripción y recuperación predeterminada.
- Utilizamos los flujos de trabajo de Databricks y la industria de datos de Azure para toda nuestra orquestación entre plataformas.
Cero de esto sería posible sin una intensa colaboración entre nuestros equipos de prospección e ingeniería, lo que quiere sostener que carencia de eso sería posible sin DBT Cloud. Esta plataforma reúne a uno y otro equipos en un entorno donde pueden hacer su mejor trabajo. Continuamos agregando usuarios de DBT para que más de nuestros analistas puedan crear modelos de datos adecuados sin la ayuda de nuestros ingenieros. Mientras tanto, nuestros usuarios de Power BI podrán explotar estos modelos de datos para crear mejores informes. Los resultados serán una decano eficiencia y datos más confiables para todos.
La agregación de datos ocurre casi sospechosamente rápidamente
Internamente de la plataforma de inteligencia de datos de Databricks, dependiendo de los referencias y el nivel de comodidad del equipo, algunos usuarios acceden al código Cuadernos Mientras que otros usan Editor SQL.
Con mucho, la aparejo más útil para nosotros es Databricks sql – Un almacén de datos inteligente. Ayer de poder fomentar nuestros paneles para analíticos, tenemos que usar comandos SQL complicados para sumar nuestros datos. Gracias a Databricks SQL, muchas herramientas de prospección diferentes, como Power BI, pueden obtener a nuestros datos porque todo está en un solo motivo.
Nuestros equipos continúan sorprendidos por el rendimiento interiormente de Databricks SQL. Algunos de nuestros analistas solían sumar datos en Azure Synapse Analytics. Cuando comenzaron a ejecutarse en Databricks SQL, tuvieron que realizar los resultados porque no podían creer que todo un trabajo funcionara tan rápido. Esta velocidad les permite sumar más detalles a los informes y destruir más datos. En motivo de sentarse y esperar que los trabajos terminen de colgar, están respondiendo más preguntas de nuestros datos.
El catálogo de Unity es otro cambio de descanso para nosotros. Hasta ahora, solo lo hemos implementado para nuestra capa de datos de oro, pero planeamos extenderlo a nuestras capas de plata y bronce eventualmente en toda nuestra estructura.
Las capacidades de IA incorporadas ofrecen respuestas rápidas y propiciar el ampliación
Como todos los proveedores de servicios financieros, siempre estamos buscando formas de obtener más información de nuestros datos. Por eso comenzamos a usar Databricks ai/bi genie para comprometerse con nuestros datos a través del habla natural.
Conectamos a Genie a nuestros datos de préstamos, nuestro conjunto de datos más importante, luego de usar un catálogo de Unity para encubrir información de identificación personal (PII) y el comunicación basado en roles a la sala de genios. Genie utiliza una IA generativa que comprende la semántica única de nuestro negocio. La decisión continúa aprendiendo de nuestros comentarios. Los miembros del equipo pueden hacer preguntas de inteligencia y obtener respuestas informadas por nuestros datos propietarios. Genie aprende sobre cada préstamo que hacemos y puede decirle cuántas hipotecas financiamos ayer o las cuentas por cobrar en irresoluto de nuestro negocio de tarjetas de crédito.
Nuestro objetivo es utilizar más sistemas basados en PNL como Genie para eliminar la sobrecarga operativa que viene con la construcción y el mantenimiento de ellos desde cero. Esperamos exponer a Genie como un chatbot que todos en nuestro negocio pueden usar para obtener respuestas rápidas.
Mientras tanto, la plataforma de inteligencia de datos Databricks ofrece aún más capacidades de IA. Asistente de Databricks Permítanos consultar los datos a través de los cuadernos de Databricks y el editor SQL. Podemos describir una tarea en habla sencillo y luego dejar que el sistema genere consultas SQL, explicar segmentos de código e incluso corrigir errores. Todo esto nos ahorra muchas horas durante la codificación.
Sobrecosidad más devaluación significa una mejor experiencia del cliente
Aunque todavía estamos en nuestro primer año con Databricks y DBT Cloud, ya estamos impresionados por el parquedad de tiempo y costos que estas plataformas han generado:
- Tarifas de atrevimiento de software más bajas. Con el catálogo de Unity, estamos ejecutando la gobernanza de datos a través de Databricks en motivo de usar una plataforma separada. Igualmente eliminamos la carencia de una aparejo ETL heredada al ejecutar todas nuestras reglas de perfil a través de cuadernos Databricks. En total, hemos Tasas de atrevimiento de software reducidas en un 70%.
- Procesamiento por lotes más rápido. En comparación con nuestra decisión de DataStage de IBM Legacy, Databricks y DBT procesan nuestros lotes 90% más rápido.
- Codificación más rápida. Gracias a una decano eficiencia a través del asistente de Databricks, hemos redujo nuestro tiempo de codificación en un 70%.
- MÁS FÁCIL ABAJO DE LOS nuevos empleados. Fue difícil encontrar profesionales de TI con 10 abriles de experiencia con IBM DataStage. Hoy, podemos contratar nuevos graduados de buenos programas STEM y ponerlos derecho a trabajar en Databricks y DBT Cloud. Mientras estudiaran Python y SQL y utilizaran tecnologías como Anaconda y Jupyter, encajarán correctamente.
- Menos trabajo de suscripción. Ahora que estamos dominando las capacidades de IA interiormente de Databricks, estamos capacitando un maniquí de habla vasto (LLM) para realizar trabajos de adjudicación. Este tesina solo podría Reduzca nuestro trabajo de suscripción en un 80%.
- Menos tareas manuales. Utilizando las capacidades de LLM interiormente de la plataforma de inteligencia de datos Databricks, escribimos correos electrónicos de seguimiento a los corredores y los colocamos en nuestro sistema CRM como borradores. Cada uno de estos borradores ahorra algunos minutos valiosos para un miembro del equipo. Multiplique eso por miles de transacciones por año, y representa un gran parquedad de tiempo para nuestro negocio.
Con más de 500 modelos DBT en nuestra capa de datos de oro y aproximadamente media docena de modelos de ciencia de datos en Databricks, Home Trust está despierto para continuar innovando. Cada una de las mejoras tecnológicas que hemos descrito admite un objetivo inmutable: ayudar a nuestros clientes a mantenerse «listos para lo que sigue».
Para obtener más información, consulte esto Noticia de revisión de tecnología del MIT. Presenta información de entrevistas en profundidad con líderes en Apixio, Tibber, Fabuwood, Starship Technologies, Stockx, Databricks y DBT Labs.