Esta es una publicación de blog invitada coescrita con Jordan Knight, Sara Reynolds, George Lee de Viajeros.
Los modelos de colchoneta (FMS) se utilizan de muchas maneras y funcionan admisiblemente en tareas que incluyen procreación de texto, recopilación de texto y respuesta de preguntas. Cada vez más, los FM están completando tareas que se resolvieron previamente mediante el formación supervisado, que es un subconjunto de formación inevitable (ML) que implica algoritmos de capacitación utilizando un conjunto de datos etiquetado. En algunos casos, los modelos supervisados más pequeños han demostrado la capacidad de funcionar en entornos de producción al tiempo que cumplen con los requisitos de latencia. Sin incautación, hay beneficios en la construcción de un clasificador basado en FM utilizando un servicio API como la colchoneta de Amazon, como la velocidad para desarrollar el sistema, la capacidad de cambiar entre modelos, una rápida experimentación para iteraciones de ingeniería rápida y la extensibilidad a otros relacionados. Tareas de clasificación. Una decisión dirigida por FM igualmente puede proporcionar una argumento para las panorama, mientras que un clasificador tradicional carece de esta capacidad. Encima de estas características, los FM modernos son lo suficientemente potentes como para cumplir con los requisitos de precisión y latencia para reemplazar los modelos de formación supervisados.
En esta publicación, pasamos por cómo el Centro de Innovación Generativo de IA (Genaiic) colaboró con los principales viajeros de la compañía de seguros de propiedades y víctimas para desarrollar un clasificador basado en FM a través de ingeniería rápida. Los viajeros reciben millones de correos electrónicos al año con las solicitudes de agentes o clientes para las políticas de servicio. El sistema Genaiic y los viajeros construidos utilizan las capacidades predictivas de FMS para clasificar los correos electrónicos de solicitud de servicio complejos y, a veces, ambiguos, en varias categorías. Este clasificador FM alimenta el sistema de automatización que puede dosificar decenas de miles de horas de procesamiento manual y redirigir ese tiempo alrededor de tareas más complejas. Con los modelos Claude de Anthrope en Amazon Bedrock, formulamos el problema como una tarea de clasificación, y a través de la ingeniería rápida y la asociación con los expertos de las materias comerciales, logramos una precisión de clasificación del 91%.
Formulación de problemas
La tarea principal fue clasificar los correos electrónicos recibidos por los viajeros en una categoría de solicitud de servicio. Solicitudes involucradas en áreas como cambios de dirección, ajustes de cobertura, actualizaciones de salario o cambios de exposición. Aunque utilizamos un FM previamente capacitado, el problema se formuló como una tarea de clasificación de texto. Sin incautación, en oportunidad de utilizar el formación supervisado, que normalmente implica capital de capacitación, utilizamos ingeniería rápida con pocos disparos de incitación a predecir la clase de un correo electrónico. Esto nos permitió usar un FM previamente capacitado sin tener que incurrir en los costos de la capacitación. El flujo de trabajo comenzó con un correo electrónico, entonces, hexaedro el texto del correo electrónico y cualquier archivo adjunto de PDF, el maniquí recibió una clasificación por parte del maniquí.
Cerca de señalar que ajustar un FM es otro enfoque que podría acaecer mejorado el rendimiento del clasificador con un costo adicional. Al curar una registro más larga de ejemplos y panorama esperadas, se puede capacitar un FM para funcionar mejor en una tarea específica. En este caso, dada la precisión ya era incorporación simplemente usando ingeniería rápida, la precisión a posteriori del ajuste tendría que acreditar el costo. Aunque en el momento del compromiso, los modelos Claude de Anthrope no estaban disponibles para ajustar en Amazon Bedrock, ahora el ajuste de Fino de Anthrope Haiku está en pruebas beta a través de Amazon Bedrock.
Descripción militar de la decisión
El futuro diagrama ilustra la tubería de decisión para clasificar un correo electrónico.
El flujo de trabajo consta de los siguientes pasos:
- El correo electrónico en bruto se ingiere en la tubería. El texto del cuerpo se extrae de los archivos de texto de correo electrónico.
- Si el correo electrónico tiene un archivo adjunto PDF, el PDF se analiza.
- El PDF se divide en páginas individuales. Cada página se portero como una imagen.
- Las imágenes de la página PDF son procesadas por Amazon Textract para extraer texto, entidades específicas y datos de tabla utilizando el inspección de caracteres ópticos (OCR).
- Se analiza el texto del correo electrónico.
- El texto se limpia de etiquetas HTML, si es necesario.
- El texto del cuerpo de correo electrónico y el archivo adjunto PDF se combinan en un solo mensaje para el maniquí de idioma ilustre (LLM).
- Claude de Anthrope clasifica este contenido en una de las 13 categorías definidas y luego devuelve esa clase. Las predicciones para cada correo electrónico se utilizan aún más para el exploración del rendimiento.
Amazon Textract sirvió múltiples propósitos, como extraer el texto sin procesar de los formularios incluidos en AS archivos adjuntos en correos electrónicos. Se incluyó ascendencia de entidad adicional y detección de datos de tabla para identificar nombres, números de política, fechas y más. La salida de Amazon Textract se combinó con el texto del correo electrónico y se entregó al maniquí para osar la clase apropiada.
Esta decisión no tiene servidor, que tiene muchos beneficios para la ordenamiento. Con una decisión sin servidor, AWS proporciona una decisión administrada, facilitando un último costo de propiedad y una reducción de la complejidad de mantenimiento.
Datos
El conjunto de datos de la verdad de tierra contenía más de 4,000 ejemplos de correo electrónico etiquetados. Los correos electrónicos sin procesar estaban en formato .msg de Outlook y formato .Eml sin procesar. Aproximadamente el 25% de los correos electrónicos tenían archivos adjuntos PDF, de los cuales la mayoría eran formularios de seguro de Acord. Los formularios PDF incluyeron detalles adicionales que proporcionaron una señal para el clasificador. Solo se procesaron los accesorios PDF para localizar el repercusión; Otros archivos adjuntos fueron ignorados. Para la mayoría de los ejemplos, el texto del cuerpo contenía la mayoría de la señal predictiva que se alineaba con una de las 13 clases.
Ingeniería rápida
Para construir un aviso cachas, necesitábamos comprender completamente las diferencias entre las categorías para proporcionar explicaciones suficientes para el FM. Al analizar manualmente los mensajes de texto y la consultoría con expertos en negocios, el aviso incluía una registro de instrucciones explícitas sobre cómo clasificar un correo electrónico. Las instrucciones adicionales mostraron a Claude de Anthrope cómo identificar frases esencia que ayudan a distinguir la clase de un correo electrónico de los demás. El aviso igualmente incluyó algunos ejemplos de disparo que demostraron cómo realizar la clasificación y ejemplos de salida que mostraron cómo el FM debe formatear su respuesta. Al proporcionar al FM ejemplos y otras técnicas de incrustación, pudimos achicar significativamente la varianza en la estructura y el contenido de la salida de FM, lo que lleva a resultados explicables, predecibles y repetibles.
La estructura del aviso fue la futuro:
- Definición de persona
- Instrucción militar
- Ejemplos de pocos disparos
- Definiciones detalladas para cada clase
- Entrada de datos de correo electrónico
- Instrucción de salida final
Para obtener más información sobre la ingeniería rápida para el Claude de Anthrope, consulte la ingeniería rápida en la documentación antrópica.
“La capacidad de Claude para comprender la terminología de seguros compleja y el verbo matizado de la política lo hace particularmente versado en tareas como la clasificación de correo electrónico. Su capacidad para interpretar el contexto y la intención, incluso en comunicaciones ambiguas, se alinea perfectamente con los desafíos que enfrentan las operaciones de seguro. Estamos emocionados de ver cómo los viajeros y AWS han explotado estas capacidades para crear una decisión tan capaz, lo que demuestra el potencial de IA para transfigurar los procesos de seguro «.
– Jonathan Pelosi, antrópico
Resultados
Para que un clasificador basado en FM se use en la producción, debe mostrar un suspensión nivel de precisión. Las pruebas iniciales sin ingeniería rápida arrojaron una precisión del 68%. A posteriori de utilizar una variedad de técnicas con Claude V2 de Anthrope, como ingeniería rápida, categorías de condensación, ajuste del proceso de procesamiento de documentos y la mejoramiento de las instrucciones, la precisión aumentó al 91%. Claude Instant en el roca mamá de Amazon igualmente funcionó admisiblemente, con una precisión del 90%, con áreas adicionales de mejoramiento identificadas.
Conclusión
En esta publicación, discutimos cómo FMS puede automatizar de modo confiable la clasificación de los correos electrónicos del servicio de seguros a través de ingeniería rápida. Al formular el problema como una tarea de clasificación, un FM puede funcionar lo suficientemente admisiblemente para los entornos de producción, al tiempo que mantiene la extensibilidad en otras tareas y subiendo y funcionando rápidamente. Todos los experimentos se realizaron utilizando los modelos Claude de Anthrope en Amazon Bedrock.
Sobre los autores
Jordan Altruista es un irrefutable senior de datos que trabaja para viajeros en el Unidad de Investigación e Investigación de Seguros de Negocios. Su pasión es resolver problemas desafiantes de visión por computadora del mundo existente y explorar nuevos métodos de última procreación para hacerlo. Tiene un interés particular en el impacto social de los modelos ML y cómo podemos continuar mejorando los procesos de modelado para desarrollar soluciones de ML que sean equitativas para todos. En su tiempo franco, puede encontrarlo progresar, caminar o continuar desarrollando sus habilidades de cocina poco rudimentarias.
Sara Reynolds es propietario de un producto en viajeros. Como miembro del equipo de IA Enterprise, tiene esfuerzos avanzados para transfigurar el procesamiento en el interior de las operaciones utilizando IA y tecnologías basadas en la nimbo. Recientemente obtuvo su MBA y PhD en tecnologías de formación y se desempeña como profesora adjunta en la Universidad del Septentrión de Texas.
George Lee es AVP, ciencia de datos y plomo generativo de IA para International en Travelers Insurance. Se especializa en el avance de soluciones empresariales de IA, con experiencia en IA generativa y modelos de idiomas grandes. George ha liderado varias iniciativas de IA exitosas y posee dos patentes en la evaluación de riesgos con IA. Recibió su arte en informática de la Universidad de Illinois en Urbana-Champaign.
Francisco Calderón es un irrefutable de datos en el Centro de Innovación Generativa de IA (Gaiic). Como miembro del Gaiic, ayuda a descubrir el arte de lo posible con los clientes de AWS utilizando tecnologías generativas de IA. En su tiempo franco, a Francisco le gusta tocar música y guitarra, tocar fútbol con sus hijas y disfrutar del tiempo con su grupo.
Isaac privadora es un irrefutable principal de datos del Centro de Innovación AI AI AWS, donde desarrolla soluciones generativas basadas en IA generativas a medida para enfrentarse los problemas comerciales de los clientes. Su enfoque principal radica en la construcción de sistemas de IA responsables, utilizando técnicas como trapo, sistemas de múltiples agentes y ajuste de maniquí. Cuando no está inmerso en el mundo de la IA, Isaac se puede encontrar en el campo de golf, disfrutando de un partido de fútbol o senderos con su fiel compañero canino, Barry.