Cómo BQA optimiza los informes de calidad de la educación utilizando Amazon Bedrock

Poliedro el valencia de los datos hoy en día, las organizaciones de diversas industrias están trabajando con grandes cantidades de datos en múltiples formatos. Revisar y procesar manualmente esta información puede ser una tarea desafiante y que requiere mucho tiempo, con un beneficio para posibles errores. Aquí es donde el procesamiento inteligente de documentos (IDP), próximo con el poder de IA generativasurge como una alternativa revolucionaria.

Mejorar las capacidades de IDP es la integración de IA generativa, que aprovecha grandes modelos de verbo (LLM) y técnicas generativas para comprender y originar texto similar al humano. Esta integración permite a las organizaciones no solo extraer datos de los documentos, sino todavía interpretar, resumir y originar conocimientos a partir de la información extraída, lo que permite flujos de trabajo de procesamiento de documentos más inteligentes y automatizados.

El Autoridad de Calidad de la Educación y la Formación (BQA) desempeña un papel fundamental en la mejoría de la calidad de los servicios de educación y formación en el Reino de Bahrein. BQA revisa el desempeño de todas las instituciones de educación y capacitación, incluidas escuelas, universidades e institutos vocacionales, promoviendo así el avance profesional del renta humano de la nación.

BQA supervisa un proceso integral de aval de calidad, que incluye el establecimiento de estándares de desempeño y la realización de revisiones objetivas de las instituciones de educación y capacitación. El proceso implica la colección y el observación de documentación extensa, incluidos informes de autoevaluación (SER), evidencia de respaldo y diversos formatos de medios de las instituciones que se están revisando.

La colaboración entre BQA y AWS se facilitó a través de la Centro de innovación en la cúmulo (CIC), una iniciativa conjunta de AWS, Tamkeeny universidades líderes en Bahrein, incluidas Politécnico de Bahrein y Universidad de Bahréin. El software CIC tiene como objetivo fomentar la innovación en el interior del sector manifiesto proporcionando un entorno de colaboración donde las entidades gubernamentales pueden trabajar en estrecha colaboración con consultores de AWS y estudiantes universitarios para desarrollar soluciones de vanguardia utilizando las últimas tecnologías en la cúmulo.

Como parte del software CIC, BQA ha creado una alternativa de prueba de concepto, aprovechando el poder de los servicios de AWS y las capacidades de IA generativa. El objetivo principal de esta prueba de concepto fue probar y validar las tecnologías propuestas, demostrando su viabilidad y potencial para optimizar los procesos de diligencia de datos e informes de BQA.

En esta publicación, exploramos cómo BQA utilizó el poder de Roca Amazónica, Inicio rápido de Amazon SageMakery otros servicios de AWS para optimizar el flujo de trabajo genérico de informes.

El desafío: racionalizar los informes de autoevaluación

BQA tradicionalmente ha proporcionado a las instituciones de educación y formación una plantilla para el SER como parte del proceso de revisión. Las instituciones deben presentar un portafolio de revisión que contenga el SER completo y material de respaldo como evidencia, que en ocasiones no se adhirió completamente a los estándares de presentación de informes establecidos.

El proceso existente tenía algunos desafíos:

• Envíos inexactos o incompletos – Las instituciones pueden proporcionar información incompleta o inexacta en los informes presentados y en las pruebas de respaldo, lo que genera lagunas en los datos necesarios para una revisión exhaustiva.
• Pruebas de respaldo faltantes o insuficientes – El material de respaldo proporcionado como evidencia por las instituciones frecuentemente no fundamentaba las afirmaciones hechas en sus informes, lo que cuestionaba el proceso de evaluación.
• Requiere mucho tiempo y capital – El proceso requirió asignar mucho tiempo y capital para revisar las presentaciones manualmente y hacer un seguimiento con las instituciones para solicitar información adicional si fuera necesario para rectificar las presentaciones, lo que ralentizó el proceso de revisión genérico.

Estos desafíos resaltaron la carencia de un enfoque más ágil y valioso para el proceso de presentación y revisión.

Descripción genérico de la alternativa

La alternativa propuesta utiliza Amazon Bedrock y el maniquí Amazon Titan Express para habilitar funcionalidades IDP. La casa integra a la perfección múltiples servicios de AWS con Amazon Bedrock, lo que permite una procedencia y comparación de datos eficientes.

Amazon Bedrock es un servicio totalmente administrado que brinda paso a stop rendimiento modelos de fundacion (FM) de las principales empresas emergentes de IA y Amazon a través de una API unificada. Ofrece una amplia variedad de FM, lo que le permite designar el maniquí que mejor se adapte a su caso de uso específico.

El próximo diagrama ilustra la casa de la alternativa.

La alternativa consta de los siguientes pasos:

1. Los documentos relevantes se cargan y almacenan en un Servicio de almacenamiento simple de Amazon (Amazon S3) cubo.
2. Se envía una notificación de evento a un Servicio de huesito dulce simple de Amazon (Amazon SQS) para alinear cada archivo para su posterior procesamiento. Amazon SQS actúa como un búfer, lo que permite que los diferentes componentes envíen y reciban mensajes de forma confiable sin estar acoplados directamente, lo que mejoría la escalabilidad y la tolerancia a fallas del sistema.
3. La procedencia de texto AWS Lambda La función es invocada por la huesito dulce SQS, procesando cada archivo en huesito dulce y usando Extracto de Amazon para extraer texto de los documentos.
4. Los datos de texto extraídos se colocan en otra huesito dulce SQS para el próximo paso de procesamiento.
5. Esta nueva huesito dulce que contiene el texto extraído invoca la función Lambda de esquema de texto. Esta función envía una solicitud a SageMaker JumpStart, donde se implementa un maniquí de concepción de texto Meta Apasionamiento para resumir el contenido según el mensaje proporcionado.
6. En paralelo, se invoca la función InvokeSageMaker Lambda para realizar comparaciones y evaluaciones. Compara el texto extraído con los estándares BQA en los que se entrenó el maniquí, evaluando el cumplimiento, la calidad y otras métricas relevantes del texto.
7. Los datos resumidos y los resultados de la evaluación se almacenan en un AmazonDynamoDB mesa
8. A pedido, la función InvokeBedrock Lambda invoca a Amazon Bedrock para originar resúmenes y comentarios de IA generativa. La función construye un mensaje detallado diseñado para encaminar al Maniquí Amazon Titan Express en la evaluación de la presentación de la universidad.

Ingeniería rápida con Amazon Bedrock

Para explotar el poder de Amazon Bedrock y cerciorarse de que el resultado generado cumpliera con la estructura y los requisitos de formato deseados, se desarrolló un mensaje cuidadosamente primoroso de acuerdo con las siguientes pautas:

• Presentación de pruebas – Presentar la evidencia presentada por la institución bajo el indicador relevante, proporcionando al maniquí el contexto necesario para la evaluación.
• Criterios de evaluación – Describir los criterios específicos con respecto a los cuales se debe evaluar la evidencia.
• Instrucciones de evaluación – Instruya al maniquí de la próximo forma:
  • Indique N/A si la evidencia es irrelevante para el indicador.
  • Evaluar la autoevaluación de la universidad en función de los criterios
  • Asigne una puntuación del 1 al 5 para cada comentario, citando evidencia directamente del contenido.
• Formato de respuesta – Especifique la respuesta en forma de viñetas, centrándose en el observación y la evidencia relevantes, con un confín de 100 palabras.

Para utilizar esta plantilla de solicitud, puede crear una función Lambda personalizada con su tesina. La función debe manejar la recuperación de los datos requeridos, como el nombre del indicador, la evidencia presentada por la universidad y los criterios de la epígrafe. Internamente de la función, incluya la plantilla de solicitud y complete dinámicamente los marcadores de posición (${indicatorName}, ${JSON.stringify(allContent)}y ${JSON.stringify(c.comment)}) con los datos recuperados.

Luego, el maniquí de Amazon Titan Text Express generará la respuesta de evaluación según las instrucciones proporcionadas, adhiriéndose al formato y las pautas especificadas. Puede procesar y analizar la respuesta del maniquí en el interior de su función, extrayendo la puntuación de cumplimiento, observación relevantes y evidencia.

La próximo es una plantilla de mensaje de ejemplo:

for (const c of comments) {
        const prompt = `
        Below is the evidence submitted by the university under the indicator "${indicatorName}":
        ${JSON.stringify(allContent)}
    
         Analyze and Evaluate the university's eviedence based on the provided rubric criteria:
        ${JSON.stringify(c.comment)}

        - If the evidence does not relate to the indicator, indicate that it is not applicable (N/A) without any additional commentary.
        
       Choose one from the below compliance score based on evidence submitted:
       1. Non-compliant: The comment does not meet the criteria or standards.
        2.Compliant with recommendation: The comment meets the criteria but includes a suggestion or recommendation for improvement.
        3. Compliant: The comment meets the criteria or standards.

        THE END OF THE RESPONSE THERE SHOULD BE EITHER SCORE: (SCORE: COMPLIANT OR NON-COMPLIANT OR COMPLIANT WITH RECOMMENDATION)
        Write your response in concise bullet points, focusing strictly on relevant analysis and evidence.
        **LIMIT YOUR RESPONSE TO 100 WORDS ONLY.**

        `;

        logger.info(`Prompt for comment ${c.commentId}: ${prompt}`);

        const body = JSON.stringify({
          inputText: prompt,
          textGenerationConfig: {
            maxTokenCount: 4096,
            stopSequences: (),
            temperature: 0,
            topP: 0.1,
          },
        });

La próximo captura de pantalla muestra un ejemplo de la respuesta generada por Amazon Bedrock.

Resultados

La implementación de Amazon Bedrock permitió a las instituciones obtener beneficios transformadores. Al automatizar y optimizar la colección y el observación de documentación extensa, incluidos los SER, la evidencia de respaldo y diversos formatos de medios, las instituciones pueden conseguir una longevo precisión y coherencia en sus procesos de presentación de informes y preparación para el proceso de revisión. Esto no sólo reduce el tiempo y el costo asociados con el procesamiento manual de datos, sino que todavía mejoría el cumplimiento de las expectativas de calidad, mejorando así la credibilidad y la calidad de sus instituciones.

Para BQA, la implementación ayudó a conseguir uno de sus objetivos estratégicos centrado en optimizar sus procesos de presentación de informes y conseguir mejoras significativas en una variedad de métricas críticas, mejorando sustancialmente la eficiencia y eficiencia genérico de sus operaciones.

Las métricas esencia de éxito previstas incluyen:

• Tiempos de respuesta más rápidos para originar informes de autoevaluación con un 70% de precisión y que cumplan con los estándares, lo que conduce a una longevo eficiencia genérico.
• Reducción del peligro de errores o incumplimientos en el proceso de reporte, haciendo cumplir los lineamientos establecidos.
• Capacidad para resumir envíos extensos en viñetas concisas, lo que permite a los revisores de BQA analizar y comprender rápidamente la información más pertinente, lo que reduce el tiempo de observación de evidencia en un 30 %.
• Funcionalidad de feedback de cumplimiento más precisa, que permite a los revisores evaluar de forma efectiva los envíos según los estándares y pautas establecidos, al tiempo que logra una reducción del 30 % en los costos operativos a través de optimizaciones de procesos.
• Transparencia y comunicación mejoradas a través de interacciones fluidas, lo que permite a los usuarios solicitar documentos adicionales o aclaraciones con facilidad.
• Comentarios en tiempo existente, lo que permite a las instituciones realizar los ajustes necesarios con prontitud. Esto es particularmente útil para persistir la precisión y la integridad del remesa.
• Toma de decisiones mejorada al proporcionar información sobre los datos. Esto ayuda a las universidades a identificar áreas de mejoría y tomar decisiones basadas en datos para mejorar sus procesos y operaciones.

La próximo captura de pantalla muestra un ejemplo de concepción de nuevas evaluaciones utilizando Amazon Bedrock.

Conclusión

Esta publicación describió la implementación de Amazon Bedrock en la Autoridad de Calidad de Educación y Capacitación (BQA), lo que demuestra el potencial transformador de la IA generativa para revolucionar los procesos de aval de calidad en los sectores de educación y capacitación. Para aquellos interesados ​​en explorar más los detalles técnicos, el código completo para esta implementación está arreglado en el próximo repositorio de GitHub. Si está interesado en realizar una prueba de concepto similar con nosotros, envíe su idea de desafío al Politécnico de Bahrein o Universidad de Bahréin Sitio web del CIC.

Sobre el autor

Maram Al Saegh es arquitecta de infraestructura de cúmulo en Amazon Web Services (AWS), donde ayuda a los clientes de AWS a acelerar su alucinación a la cúmulo. Actualmente, se centra en el ampliación de soluciones innovadoras que aprovechen la IA generativa y el estudios inconsciente (ML) para entidades del sector manifiesto.