Presentación
Equiniti (EQ)líder mundial en servicios para accionistas, pensiones y remediación, aprovechó Databricks para revolucionar su enfoque basado en datos y mejorar la experiencia del cliente en 136 países. EQ, que presta servicios a más de 6000 empresas, reconoció la exigencia de adaptarse a entornos cada vez más complejos y regulados aprovechando el poder del disección progresista y la IA generativa.
Transmitido que el acercamiento oportuno a la información es fundamental para el éxito de los clientes de Equiniti, querían hacer de los datos (y de los conocimientos basados en datos) la colchoneta de su enfoque operante y táctico. Equiniti tenía como objetivo implementar prácticas comerciales más informadas, eficientes y efectivas y usar los nuevos desarrollos en disección progresista y GenAI que mejorarían la experiencia del cliente e impulsarían la innovación interna.
Para alcanzar estos objetivos, Equiniti necesitaba construir una plataforma de datos segura y de detención rendimiento preparada para el futuro que pudiera recibir cualquier aplicación de datos e inteligencia industrial existente o nueva. Este blog describe cómo y por qué seleccionaron Databricks Data Intelligence Platform para respaldar su infraestructura y detalla los casos de uso avanzados que ya han explorado aprovechando las herramientas Databricks Platform y Databricks Mosaic AI, como el crecimiento de PensionGuru, su chatbot impulsado por GenAI.
Paso 1: identificar valencia y construir bases de datos sólidas
En ocupación de comenzar con la pregunta, «¿Para qué podemos utilizar la IA?», preguntó Equiniti. «¿Cómo podemos ofrecer nuevo valencia a nuestros clientes, utilizando datos confiables y de ingreso calidad y herramientas y técnicas modernas?»
Surgieron algunos temas comunes: obtener acercamiento a datos confiables a escalera, tener la agilidad para padecer y moverse de guisa rápida y rentable, acelerar la autorización de expertos en la materia (PYME) y los capital existentes, y poder modernizar rápidamente sus ofertas. para satisfacer las deyección del cliente.
A partir de ese trabajo auténtico, Equiniti identificó requisitos esencia para una futura plataforma de inteligencia industrial y datos en la estrato que les permitiría desbloquear mejor el valencia de sus datos:
● Gobernanza integrada de datos e IA: Sin gobernanza y control no puede acaecer valencia. Equiniti necesitaba funciones de seguridad sólidas, controles de acercamiento, pelaje espontáneo y auditoría que ayudaran a surtir el cumplimiento de los requisitos reglamentarios mediante el seguimiento del flujo y la transformación de datos en toda la plataforma y ocasionar confianza con las partes interesadas y los clientes internos y externos.
● Una plataforma unificada y abierta: Otro requisito era una bloque simple que pudiera soportar la ingeniería de datos, la ciencia de datos, el disección progresista y GenAI. Equiniti quería eliminar los silos y las duplicaciones de datos innecesarias y evitar acordar atrapado en una decisión patentada. Querían una plataforma basada en estándares y protocolos abiertos. Adicionalmente, necesitaban soporte para fuentes de datos tanto por lotes como por streaming en cualquier formato para cargas de trabajo GenAI. Dada la naturaleza distribuida de sus datos y sistemas, una plataforma única que pudiera convertirse en una fuente analítica de verdad sería un gran paso delante.
● Optimización de costos: Finalmente, Equinity necesitaba computación escalable y optimizada que mejorara el procesamiento de datos y redujera el TCO con un seguro maniquí basado en el consumo. La capacidad de comenzar con una inversión auténtico víctima y luego subir según fuera necesario era esencial.
Con estos requisitos en mente, Equiniti eligió la plataforma de inteligencia de datos Databricks como la columna vertebral de su moderna plataforma de inteligencia industrial y datos en la estrato.
Paso 2: Muévase rápido y aproveche los conjuntos de herramientas integrados
Tradicionalmente, se necesitan aportes de muchos equipos diferentes para evaluar componentes separados y servicios distintos que forman una plataforma de datos, lo que requiere la navegación de prioridades y capital en competencia para implementarlos. Sin secuestro, Equiniti pudo implementar rápida y fácilmente la plataforma Databricks y explorar todas sus capacidades integradas. La opción de padecer y subir de guisa rápida pero rentable significó que Equiniti podía tomar decisiones con confianza en la creación de prototipos de conectividad, procesamiento de datos y capacidades analíticas sin una inversión auténtico significativa en tiempo o costo. Una vez que Equiniti estableció los casos de uso principales para su implementación auténtico de IA, colaboraron con el equipo de Databricks para crear una bloque auténtico, como se muestra en la Figura 1 a continuación. A través de una serie de talleres, los arquitectos de soluciones de Databricks mostraron cómo utilizar mejor las capacidades integradas de la plataforma; Equiniti igualmente utilizó capital integrales de enseñanza a su propio ritmo para mejorar sus habilidades.
Una de las características más valiosas de la plataforma Databricks es Catálogo de pelotónuna decisión de gobernanza unificada y abierta para datos e inteligencia industrial. La capacidad de rastrear el pelaje capturado automáticamente de los datos ingeridos y cómo se transformaron y utilizaron en el maniquí fue esencia para ocasionar confianza, comprensión y aprobación por parte de los equipos de InfoSec y Peligro de Equiniti. Equiniti pudo demostrar qué datos se estaban utilizando y dónde, sin costos adicionales, gastos de implementación ni tiempo en la gobierno de un catálogo de datos separado. Adicionalmente, Compartir delta y Mercado de ladrillos de datos han sido transformadores, ya que permitieron a Equiniti compartir datos externamente con socios por primera vez. Obtener la capacidad de visualizar datos de múltiples fuentes que antiguamente eran inaccesibles o estaban aislados y utilizar datos de proveedores externos sin tener que acumular y surtir conjuntos de datos a escalera de petabytes ha permitido a Equiniti desarrollar rápida y fácilmente conocimientos que antiguamente estaban fuera de su valor. La capacidad de los equipos empresariales de descubrir y utilizar fácilmente las mismas herramientas y activos de datos desde una fuente central y confiable seguirá impulsando la calidad y el valencia de su plataforma de datos.
Para el pequeño equipo de ingeniería de Equiniti, una de las funciones que anciano capital de tiempo tuvo de la plataforma Databricks fue LakeFlow Connect. Ladrillos de datos LakeFlow proporciona Conectores integrados para la ingesta de datos de aplicaciones y bases de datos empresariales. La capacidad de crear sin problemas integraciones sin código para nuestras plataformas principales, como Workday, Salesforce y SQL Server, redujo enormemente el tiempo necesario para que los datos estuvieran disponibles en Databricks para que los modelos los consumieran. Redujo significativamente los costos de almacenamiento y computación y le ahorró a Equiniti meses de trabajo de crecimiento en comparación con el método tradicional de crear integraciones API y procesos ETL para acumular y ordenar datos. Luego, el equipo de Equiniti podría centrarse en áreas multiplicadoras de valencia, como la creación de aplicaciones Gen AI que aportarían valencia al negocio.
Finalmente, desarrollar estas nuevas aplicaciones GenAI requiere un nuevo tipo de «desarrollador de conocimiento». Se negociación de pymes especializadas que conocen profundamente el negocio (en el caso de Equiniti, el mercado de pensiones). Estos expertos deben tener acercamiento fluido a herramientas y plataformas para ofrecer comentarios cruciales y certificar que las aplicaciones GenAI brinden resultados precisos y de ingreso calidad. La facilidad de uso y accesibilidad de la plataforma Databricks Platform facilitó a las pymes colaborar eficazmente con los equipos de crecimiento e ingeniería en la creación de aplicaciones GenAI. Al usar su experiencia y sus profundos conocimientos empresariales, Equiniti pudo establecer datos reales y acoger comentarios valiosos, lo que ayudó a afinar las respuestas y ocasionar contenido para su uso en toda la ordenamiento.
Paso 3: mostrar valencia, ofrecer resultados y seguir innovando
Uno de los primeros casos de uso de GenAI de Equiniti fue el crecimiento de su chatbot GenAI, PensionGuru. Transmitido el papel de Equiniti en la filial de numerosos planes de pensiones, su Los empleados a menudo necesitan navegar e interpretar un gran tamaño de documentos, incluidas políticas, escrituras de fideicomiso y directrices. PensionGuru aborda este desafío ofreciendo respuestas instantáneas y precisas, agilizando el acercamiento a información compleja y mejorando la productividad.
La aplicación aumenta significativamente la eficiencia empresarial al automatizar el disección de documentos y minimizar el tiempo necesario para extraer detalles críticos, reduciendo así los gastos administrativos. Las tareas que antiguamente tomaban muchas horas ahora se completan en minutos. PensionGuru permite a los empleados recuperar información de forma rápida y precisa, mejorando la prestación de servicios y los procesos de toma de decisiones. Al utilizar un procesamiento progresista del verbo natural, la aplicación comprende y procesa las consultas de los usuarios de guisa inteligente, brindando información contextualmente relevante a partir de vastos conjuntos de datos. Esta innovación no sólo ahorra tiempo sino que igualmente perfeccionamiento la información basada en datos, lo que permite un enfoque más táctico para la gobierno de los planes de pensiones.
para crear PensionGuruEquiniti comenzó tomando miles de documentos de pensiones, originalmente almacenados como archivos PDF, y cargándolos en un tamaño de Databricks, como se muestra en la Figura 2 antecedente. Luego, Equiniti gestionó eficientemente estos archivos no estructurados a través de Unity Catalog, directamente desde el punto de ingesta. El futuro paso fue extraer texto de los documentos, dividirlo en partes manejables y acumular los datos en una tabla Delta. Usando Búsqueda de vectores de IA en moyálico Con una configuración sin servidor, Equiniti construyó fácilmente una colchoneta de datos vectorial para recibir capacidades de búsqueda y recuperación.
Para impulsar la aplicación, Equiniti aprovechó Servicio de modelos de IA en moyálico para establecer un punto final LLM basado en el potente y rentable maniquí de código extenso Meta Fogata 3.1 70B. Finalmente, Equiniti pudo implementar el chatbot de guisa transparente y segura para los usuarios finales con Aplicaciones de ladrillos de datosuna nueva decisión simple y sin servidor para crear aplicaciones listas para producción con gobernanza integrada sobre la plataforma Databricks Data Intelligence. La función de aplicaciones integradas supuso un gran capital de tiempo y un enorme cambio de bisagra, ya que eliminó la exigencia de que el equipo de datos de Equiniti implementara, administrara y mantuviera la infraestructura subyacente para respaldar la aplicación. En cambio, el equipo podría centrarse en ofrecer valencia empresarial en ocupación de destinar tiempo a tareas mundanas como la integración de servicios aislados y la gobierno de la infraestructura de TI.
la auténtico PensionGuru Los resultados y los comentarios han sido muy alentadores, y Equiniti continúa perfeccionando y mejorando el rendimiento de la aplicación mediante experimentación continua y capacitación de modelos. Asimismo están explorando la incorporación de un Entorno del agente de IA que les permitiría personalizar y ampliar aún más las capacidades de PensionGuruhaciéndolo aún más receptivo y adaptado a las deyección específicas de la filial del plan de pensiones. Con este enfoque, Equiniti pretende ofrecer una precisión y eficiencia aún mayores en el procesamiento y recuperación de información crítica sobre pensiones.
Conclusión
Al aspirar la plataforma Databricks Data Intelligence, Equiniti ha entregado una decisión modular, desplegable y capaz de satisfacer todas las deyección actuales y futuras de datos e inteligencia industrial. La capacidad de Databricks para equiparar la ingeniería de datos, la ciencia de datos, el enseñanza espontáneo y GenAI en una única decisión permite a Equiniti alcanzar altos niveles de eficiencia y escalabilidad. Este enfoque integral se fundamento en la gobernanza de datos fundamental con Unity Catalog, que promueve la accesibilidad de los datos en toda la ordenamiento.
Adicionalmente, las herramientas y entornos avanzados de la plataforma Databricks para el crecimiento y la implementación de modelos de IA han extenso nuevas oportunidades, impulsando tanto la innovación como la eficiencia operativa sin martirizar la integración, la seguridad y la gobernanza de los datos.
«Aunque estamos en las primeras etapas de nuestro reconvención por la IA generativa, confiamos en nuestra capacidad para ofrecer un valencia comercial significativo con la plataforma Databricks Data Intelligence».
— James West, director táctico de datos de Equiniti
Equiniti ahora está en el proceso de portar, consolidar e incorporar todas sus fuentes de datos al entorno de Databricks y capacitar e incorporar nuevos usuarios. y tenemos una gran cantidad de casos de uso de inteligencia industrial y disección avanzados en proceso para implementar en el futuro cercano.
Este blog fue escrito conjuntamente por Tomasz Kurzydym (arquitecto senior de soluciones, Databricks) y James West (Director táctico de datos, Equiniti)