Esta publicación está coescrita con Tatia Tsmindashvili, Ana Kolkhidashvili, Guram Dentoshvili, Dachi Choladze de Impel.
Impulsar Transforma el comercio minorista automotriz a través de una opción de trámite del ciclo de vida del cliente con IA que impulsa las operaciones de concesionarios y las interacciones del cliente. Su producto principal, la IA de ventas, proporciona compromiso personalizado de clientes personalizado, manejo de preguntas específicas para vehículos y consultas de intercambio y financiamiento automotriz. Reemplazando su maniquí de verbo egregio de terceros (LLM) existente con un justo Metalama maniquí desplegado en Amazon Sagemaker AIImpel logró un 20% de precisión mejorada y mayores controles de costos. La implementación utilizando el conjunto de características integrales de Amazon Sagemakerincluyendo entrenamiento maniquí, cuantización de peso consciente de activación (AWQ) y contenedores de inferencia de modelos grandes (LMI). Este enfoque específico del dominio no solo mejoró la calidad de la salida sino que además mejoró la seguridad y la sobrecarga operativa en comparación con las LLM de uso militar.
En esta publicación, compartimos cómo Impel mejoría la experiencia del cliente del concesionario automotriz con LLMS ajustados en Sagemaker.
Impel’s Sales AI
Impel optimiza cómo los minoristas automotrices se conectan con los clientes mediante la entrega de experiencias personalizadas en cada punto de contacto, desde la investigación auténtico hasta la importación, el servicio y la repetición de negocios, actuando como un conserje digital para los propietarios de vehículos, al tiempo que brinda capacidades de personalización de los minoristas para las interacciones de los clientes. Sales AI utiliza IA generativa para proporcionar respuestas instantáneas durante todo el día a los posibles clientes a través del correo electrónico y el texto. Esto mantuvo el compromiso durante las primeras etapas del alucinación de importación de automóviles de un cliente conduce a citas en la sala de exposición o conexiones directas con equipos de ventas. Sales AI tiene tres características principales para proporcionar esta billete constante del cliente:
- Esquema – resume los compromisos de clientes pasados para obtener la intención del cliente
- Coexistentes de seguimiento -Proporciona un seguimiento constante a los clientes comprometidos para ayudar a advertir viajes de importación de clientes estancados
- Personalización de respuesta – Personaliza las respuestas para alinearse con la transporte minorista y las especificaciones de importación del cliente
Dos factores esencia impulsaron la transición de su proveedor de LLM existente: la aprieto de personalización del maniquí y optimización de costos a escalera. El maniquí de fijación de precios por parte de su opción antedicho se volvió prohibitiva en costo a medida que crecieron los volúmenes de transacciones, y las limitaciones en el ajuste les impidieron usar completamente sus datos patentados para la mejoría del maniquí. Al desplegar un maniquí de metalama meta justo en Sagemaker, Impel logró lo subsiguiente:
- La previsibilidad de los costos a través de precios alojados, mitigando los cargos por discernimiento
- Anciano control de la capacitación y personalización del maniquí, lo que lleva a una mejoría del 20% entre las características centrales
- Procesamiento seguro de datos propietarios en el interior de su cuenta AWS
- Escalado inevitable para satisfacer el pico en la demanda de inferencia
Descripción militar de la opción
Impel elige Sagemaker AI, un servicio en la nimbo totalmente administrado que construye, capacita e implementa modelos de estudios inevitable (ML) utilizando infraestructura, herramientas y flujos de trabajo de AWS para ajustar un maniquí metalama para la IA de ventas. MetaLlama es un maniquí poderoso, aceptablemente adecuado para tareas específicas de la industria correcto a sus fuertes capacidades de seguimiento de instrucciones, soporte para ventanas de contexto extendidas y manejo apto del conocimiento del dominio.
Impel utilizado Contenedores de sagemaker lmi implementar la inferencia LLM en los puntos finales de Sagemaker. Estos contenedores Docker especialmente diseñados ofrecen un rendimiento optimizado para modelos como Meta Fogosidad con soporte para los modelos finos de Lora y AWQ. Impel Utilizó el ajuste fino de Lora, una técnica apto y rentable para adaptar LLM para aplicaciones especializadas, a través de Amazon Sagemaker Studio cuadernos que se ejecutan en ML.P4DE.24xLarge instancias. Este entorno administrado simplificó el proceso de crecimiento, permitiendo al equipo de Impel integrar sin problemas herramientas populares de código libre como Pytorch y Torchtune para la capacitación de modelos. Para la optimización del maniquí, impulga las técnicas AWQ aplicadas para aminorar el tamaño del maniquí y mejorar el rendimiento de la inferencia.
En la producción, impulse los puntos finales de inferencia desplegados en ML.G6E.12xLarge Instancias, impulsadas por cuatro GPU NVIDIA y ingreso capacidad de memoria, adecuada para servir modelos grandes como MetaLlama de guisa apto. Impel usó el sagemaker Característica de escalera cibernética incorporada Para resquilar automáticamente los contenedores de servicio basados en solicitudes concurrentes, que ayudaron a satisfacer las demandas de tráfico de producción variables mientras optimizan el costo.
El subsiguiente diagrama ilustra la edificio de la opción, que muestra el maniquí justo e inferencia del cliente.
Casa de relato de IA de ventas de Impel.
El equipo de I + D de Impel se asoció estrechamente con varios equipos de AWS, incluido su equipo de cuentas, equipo de logística de Genai y equipo de servicio de Sagemaker. Este equipo aparente colaboró en múltiples sprints que condujeron a la momento de dispersión de IA de ventas ajustada para revisar las evaluaciones de modelos, el rendimiento de la sagmaker de relato, optimizar las estrategias de escalera e identificar las instancias óptimas de Sagemaker. Esta asociación abarcó sesiones técnicas, reuniones de columna estratégica y discusiones operativas y de costos para posteriormente de implementación. La estrecha colaboración entre Impel y AWS fue fundamental para realizar el mayor potencial del maniquí de impel-ajustado alojado en Sagemaker AI.
Proceso de evaluación del maniquí sintonizado
La transición de Impel a su maniquí de metalama justo entregó mejoras a través de métricas esencia de rendimiento con mejoras notables en la comprensión de la terminología específica del automóvil y la engendramiento de respuestas personalizadas. Las evaluaciones humanas estructuradas revelaron mejoras en las áreas críticas de interacción con el cliente: las respuestas personalizadas mejoraron del 73% al 86% de precisión, el extracto de la conversación aumentó del 70% al 83%, y la engendramiento de mensajes de seguimiento mostró la provecho más significativa, saltando del 59% al 92% de precisión. La subsiguiente captura de pantalla muestra cómo los clientes interactúan con la IA de ventas. El proceso de evaluación del maniquí incluyó el equipo de I + D de Impel que califica varios casos de uso atendidos por el proveedor de LLM titular y los modelos ajustados de Impel.
Ejemplo de una interacción con el cliente con AI de ventas.
Encima de la calidad de la salida, impulga la latencia y el rendimiento medidos para validar la preparación de producción del maniquí. Utilizando AWSCURL para solicitudes HTTP firmadas con SIGV4, el equipo confirmó estas mejoras en las métricas de rendimiento del mundo vivo, asegurando una experiencia óptima del cliente en entornos de producción.
Uso de modelos específicos de dominio para un mejor rendimiento
La crecimiento de la IA de ventas de Impel progresó de un LLM de propósito militar a un maniquí específico de dominio y justo. Utilizando datos anónimos de interacción con el cliente, impulga un maniquí de almohadilla arreglado públicamente arreglado, lo que resulta en varias mejoras esencia. El nuevo maniquí exhibió un aumento del 20% en la precisión entre las características centrales, mostrando una comprensión mejorada de la industria automotriz y una utilización de ventanas de contexto más apto. Al hacer la transición a este enfoque, Impel logró tres beneficios principales:
- La seguridad de los datos mejorada a través del procesamiento interno en el interior de sus cuentas de AWS
- Reducción de la dependencia de las API externas y los proveedores de terceros
- Anciano control eficaz para el escalera y la personalización
Estos avances, contiguo con la mejoría significativa de la calidad de la salida, validaron el cambio decisivo de Impel cerca de un maniquí de IA específico de dominio para la IA de ventas.
Expandir la innovación de IA en el comercio minorista automotriz
El éxito de Impel implementa modelos ajustados en Sagemaker ha establecido una almohadilla para extender sus capacidades de IA para apoyar una gradación más amplia de casos de uso adaptados a la industria automotriz. Impel planea hacer la transición a modelos internos y específicos de dominio para extender los beneficios de una precisión y rendimiento mejorados en todo el conjunto de productos de billete del cliente. Con la sagacidad, el equipo de I + D de Impel está avanzando sus capacidades de IA al incorporar flujos de trabajo de engendramiento aumentada (RAG) de recuperación, llamadas de funciones avanzadas y flujos de trabajo agente. Estas innovaciones pueden ayudar a ofrecer sistemas adaptativos y conscientes del contexto diseñados para interactuar, razonar y efectuar en tareas minoristas automotrices complejas.
Conclusión
En esta publicación, discutimos cómo Impel ha mejorado la experiencia del cliente del concesionario automotriz con LLMS ajustados en Sagemaker.
Para las organizaciones que consideran transiciones similares a modelos ajustados, la experiencia de Impel demuestra cómo trabajar con AWS puede ayudar a alcanzar mejoras de precisión y oportunidades de personalización del maniquí mientras se crea capacidades de IA a derrochador plazo adaptadas a las evacuación específicas de la industria. Conéctese con su equipo de cuenta o visite Amazon Sagemaker AI Para asimilar cómo Sagemaker puede ayudarlo a implementar y establecer modelos ajustados.
Sobre los autores
Nicholas scozzafava es un arquitecto de soluciones senior en AWS, centrado en los clientes de inicio. Antiguamente de su rol presente, ayudó a los clientes empresariales a navegar sus viajes en la nimbo. Le apasiona la infraestructura en la nimbo, la automatización, las devops y ayuda a los clientes a construir y resquilar en AWS.
Sam Sudakoff es un regente de cuentas senior en AWS, centrado en la startup estratégica ISVS. SAM se especializa en paisajes tecnológicos, AI/ML y soluciones de AWS. La pasión de Sam radica en resquilar startups y conducir transformaciones SaaS y IA. En particular, su trabajo con la nueva startup de AWS ISVS se ha centrado en construir asociaciones estratégicas e implementar iniciativas de ir al mercado que cierran la tecnología empresarial con soluciones de inicio innovadoras, al tiempo que mantienen una estricta añadidura con la seguridad de los datos y los requisitos de privacidad.
Vivek Gangasani es un arquitecto de soluciones especializadas principales para la inferencia en AWS. Ayuda a las empresas de IA generativas emergentes a construir soluciones innovadoras utilizando servicios de AWS y cuenta acelerado. Actualmente, se centra en desarrollar estrategias para ajustar y optimizar el rendimiento de inferencia de modelos de idiomas grandes. En su tiempo desocupado, Vivek disfruta de caminar, ver películas y probar diferentes cocinas.
Dmitry Soldatkin es un arquitecto senior de soluciones de IA/ML en AWS, que ayuda a los clientes a diseñar y construir soluciones de IA/ML. El trabajo de Dmitry cubre una amplia gradación de casos de uso de ML, con un interés principal en la IA generativa, el estudios profundo y la escalera de ML en toda la empresa. Ha ayudado a empresas en muchas industrias, incluidos seguros, servicios financieros, servicios públicos y telecomunicaciones. Antiguamente de unirse a AWS, Dmitry era un arquitecto, desarrollador y líder de tecnología en investigación de datos y campos de estudios inevitable en la industria de servicios financieros.
Tatia tsmindashvili es un investigador senior de estudios profundo en Impel con una MSC en ingeniería biomédica e informática médica. Tiene más de 5 abriles de experiencia en IA, con intereses que abarcan agentes de LLM, simulaciones y neurociencia. Puedes encontrarla en LinkedIn.
Ana Kolkhidashvili es la directora de I + D en Impel, donde dirige iniciativas de IA centradas en modelos de idiomas grandes y sistemas de conversación automatizados. Tiene más de 8 abriles de experiencia en IA, especializada en grandes modelos de idiomas, sistemas de conversación automatizados y PNL. Puedes encontrarla en LinkedIn.
Guram dentoshvili es el director de ingeniería e I + D en Impel, donde lidera el crecimiento de soluciones de IA escalables e impulsa la innovación en los productos de IA conversacionales de la compañía. Comenzó su carrera en Pulsar AI como ingeniero de estudios inevitable y jugó un papel esencia en la construcción de tecnologías de IA adaptadas a la industria automotriz. Puedes encontrarlo en LinkedIn.
Dachi Choladze es el director de innovación de Impel, donde dirige iniciativas en logística de IA, innovación y crecimiento de productos. Tiene más de 10 abriles de experiencia en plan tecnológico e inteligencia químico. Dachi es el cofundador de Pulsar AI, la primera startup de IA exitosa a nivel mundial de Georgia, que luego se fusionó con Impel. Puedes encontrarlo en LinkedIn.
Deepam Mishra es asesor de SR de nuevas empresas en AWS y asesora a las nuevas empresas sobre ML, IA generativa y seguridad y responsabilidad de IA. Antiguamente de unirse a AWS, Deepam cofundó y dirigió un negocio de IA en Microsoft Corporation y Wipro Technologies. Deepam ha sido un patrón e inversor en serie, ya que fundó 4 nuevas empresas de IA/ML. Deepam se friso en el campo de acción metropolitana de Nueva York y disfruta de conocer a los fundadores de IA.